Publications

Scholman, Merel; Marchal, Marian; Brown, AriaRay; Demberg, Vera

DiscoNaija: A discourse-annotated parallel Nigerian Pidgin-English corpus Journal Article

Language Resources and Evaluation, pp. 3597-3633, 2025.

This article presents a parallel English-Nigerian Pidgin corpus of PTB 3.0-style discourse relation annotations, named DiscoNaija. We explain the corpus design criteria, report inter-annotator agreement, and alignment and projection evaluations. We also present an update to a Nigerian Pidgin connective lexicon, named NaijaLex 2.0. An exploratory corpus analysis focused on comparing the distributions found in DiscoNaija to those found in PDTB 3.0 and a comparable corpus of English, DiscoSPICE. We identify various features of Nigerian Pidgin discourse coherence: (i) relations tend to be expressed implicitly more often in Nigerian Pidgin in general; (ii) anti-chronological temporal relations tend to be expressed less and are more likely to be expressed explicitly in Nigerian Pidgin; and (iii) coordinating conjunctions occur less frequently in Nigerian Pidgin than in English. The DiscoNaija corpus can facilitate a multitude of applications and research purposes, for example to function as training data to improve the performance of discourse relation parsers for Nigerian Pidgin, and to facilitate research into discourse features of creole languages.

@article{scholman_etal_2025_disconaija,
title = {DiscoNaija: A discourse-annotated parallel Nigerian Pidgin-English corpus},
author = {Merel Scholman and Marian Marchal and AriaRay Brown and Vera Demberg},
url = {https://link.springer.com/article/10.1007/s10579-025-09850-3},
doi = {https://doi.org/10.1007/s10579-025-09850-3},
year = {2025},
date = {2025},
journal = {Language Resources and Evaluation},
pages = {3597-3633},
abstract = {

This article presents a parallel English-Nigerian Pidgin corpus of PTB 3.0-style discourse relation annotations, named DiscoNaija. We explain the corpus design criteria, report inter-annotator agreement, and alignment and projection evaluations. We also present an update to a Nigerian Pidgin connective lexicon, named NaijaLex 2.0. An exploratory corpus analysis focused on comparing the distributions found in DiscoNaija to those found in PDTB 3.0 and a comparable corpus of English, DiscoSPICE. We identify various features of Nigerian Pidgin discourse coherence: (i) relations tend to be expressed implicitly more often in Nigerian Pidgin in general; (ii) anti-chronological temporal relations tend to be expressed less and are more likely to be expressed explicitly in Nigerian Pidgin; and (iii) coordinating conjunctions occur less frequently in Nigerian Pidgin than in English. The DiscoNaija corpus can facilitate a multitude of applications and research purposes, for example to function as training data to improve the performance of discourse relation parsers for Nigerian Pidgin, and to facilitate research into discourse features of creole languages.
},
pubstate = {published},
type = {article}
}

Copy BibTeX to Clipboard

Project:   B2

Yung, Frances Pik Yu; Demberg, Vera

On Crowdsourcing Task Design for Discourse Relation Annotation Inproceedings

Roth, Michael; Schlechtweg, Dominik (Ed.): Proceedings of Context and Meaning: Navigating Disagreements in NLP Annotation, International Committee on Computational Linguistics, pp. 12-19, Abu Dhabi, UAE, 2025.

Interpreting implicit discourse relations involves complex reasoning, requiring the integration of semantic cues with background knowledge, as overt connectives like “because” or “then” are absent. These relations often allow multiple interpretations, best represented as distributions. In this study, we compare two established methods that crowdsource implicit discourse relation annotation by connective insertion: a free-choice approach, which allows annotators to select any suitable connective, and a forced-choice approach, which asks them to select among a set of predefined options. Specifically, we re-annotate the whole DiscoGeM 1.0 corpus – initially annotated with the free-choice method – using the forced-choice approach. The free-choice approach allows for flexible and intuitive insertion of various connectives, which are context-dependent. Comparison among over 130,000 annotations, however, shows that the free-choice strategy produces less diverse annotations, often converging on common labels. Analysis of the results reveals the interplay between task design and the annotators’ abilities to interpret and produce discourse relations.

@inproceedings{yung-demberg-2025-crowdsourcing ,
title = {On Crowdsourcing Task Design for Discourse Relation Annotation},
author = {Frances Pik Yu Yung and Vera Demberg},
editor = {Michael Roth and Dominik Schlechtweg},
url = {https://aclanthology.org/2025.comedi-1.2/},
year = {2025},
date = {2025},
booktitle = {Proceedings of Context and Meaning: Navigating Disagreements in NLP Annotation},
pages = {12-19},
publisher = {International Committee on Computational Linguistics},
address = {Abu Dhabi, UAE},
abstract = {Interpreting implicit discourse relations involves complex reasoning, requiring the integration of semantic cues with background knowledge, as overt connectives like “because” or “then” are absent. These relations often allow multiple interpretations, best represented as distributions. In this study, we compare two established methods that crowdsource implicit discourse relation annotation by connective insertion: a free-choice approach, which allows annotators to select any suitable connective, and a forced-choice approach, which asks them to select among a set of predefined options. Specifically, we re-annotate the whole DiscoGeM 1.0 corpus - initially annotated with the free-choice method - using the forced-choice approach. The free-choice approach allows for flexible and intuitive insertion of various connectives, which are context-dependent. Comparison among over 130,000 annotations, however, shows that the free-choice strategy produces less diverse annotations, often converging on common labels. Analysis of the results reveals the interplay between task design and the annotators’ abilities to interpret and produce discourse relations.

},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Project:   B2

Pollkläsener, Christina; Yung, Frances Pik Yu; Lapshinova-Koltunski, Ekaterina

Capturing variation of discourse relations in English parallel data through automatic annotation and alignment Journal Article

Across Languages and Cultures, 25, pp. 288–309, 2024, ISSN 1588-2519.
We present a study of discourse connectives and discourse relations in English parallel texts, i.e. in written and spoken originals, as well as translation and interpreting from German. For this, we apply automatic procedures to annotate discourse connectives and relations they trigger in a parallel corpus. We look at distributions of various connectives and discourse relations, comparing spoken and written mode, as well as original and translated or interpreted language production. Furthermore, we analyse the translation patterns in terms of translation entropy. We link our observations to the phenomena of explicitation and implicitation. We find that in both interpreting and translation, explicitation and implicitation patters are affected by the cognitive complexity of the discourse relation signalled by the connective. Moreover, we also show that the difference in the specificity of the same connectives in interpreting and translation also depends on the type of relation they trigger.

@article{Pollkläsener-etal-2024,
title = {Capturing variation of discourse relations in English parallel data through automatic annotation and alignment},
author = {Christina Pollkl{\"a}sener and Frances Pik Yu Yung and Ekaterina Lapshinova-Koltunski},
url = {https://akjournals.com/view/journals/084/25/2/article-p288.xml},
doi = {https://doi.org/10.1556/084.2024.00903},
year = {2024},
date = {2024},
journal = {Across Languages and Cultures},
pages = {288–309},
volume = {25},
number = {2},
abstract = {

We present a study of discourse connectives and discourse relations in English parallel texts, i.e. in written and spoken originals, as well as translation and interpreting from German. For this, we apply automatic procedures to annotate discourse connectives and relations they trigger in a parallel corpus. We look at distributions of various connectives and discourse relations, comparing spoken and written mode, as well as original and translated or interpreted language production. Furthermore, we analyse the translation patterns in terms of translation entropy. We link our observations to the phenomena of explicitation and implicitation. We find that in both interpreting and translation, explicitation and implicitation patters are affected by the cognitive complexity of the discourse relation signalled by the connective. Moreover, we also show that the difference in the specificity of the same connectives in interpreting and translation also depends on the type of relation they trigger.
},
pubstate = {published},
type = {article}
}

Copy BibTeX to Clipboard

Projects:   B7 B2

Bourgonje, Peter; Demberg, Vera

Generalizing across Languages and Domains for Discourse Relation Classification Inproceedings

Kawahara, Tatsuya; Demberg, Vera; Ultes, Stefan; Inoue, Koji; Mehri, Shikib; Howcroft, David; Komatani, Kazunori (Ed.): Proceedings of the 25th Annual Meeting of the Special Interest Group on Discourse and Dialogue, Association for Computational Linguistics, pp. 554-565, Kyoto, Japan, 2024.

The availability of corpora annotated for discourse relations is limited and discourse relation classification performance varies greatly depending on both language and domain. This is a problem for downstream applications that are intended for a language (i.e., not English) or a domain (i.e., not financial news) with comparatively low coverage for discourse annotations. In this paper, we experiment with a state-of-the-art model for discourse relation classification, originally developed for English, extend it to a multi-lingual setting (testing on Italian, Portuguese and Turkish), and employ a simple, yet effective method to mark out-of-domain training instances. By doing so, we aim to contribute to better generalization and more robust discourse relation classification performance across both language and domain.

@inproceedings{bourgonje-demberg-2024-generalizing,
title = {Generalizing across Languages and Domains for Discourse Relation Classification},
author = {Peter Bourgonje and Vera Demberg},
editor = {Tatsuya Kawahara and Vera Demberg and Stefan Ultes and Koji Inoue and Shikib Mehri and David Howcroft and Kazunori Komatani},
url = {https://aclanthology.org/2024.sigdial-1.47/},
doi = {https://doi.org/10.18653/v1/2024.sigdial-1.47},
year = {2024},
date = {2024},
booktitle = {Proceedings of the 25th Annual Meeting of the Special Interest Group on Discourse and Dialogue},
pages = {554-565},
publisher = {Association for Computational Linguistics},
address = {Kyoto, Japan},
abstract = {The availability of corpora annotated for discourse relations is limited and discourse relation classification performance varies greatly depending on both language and domain. This is a problem for downstream applications that are intended for a language (i.e., not English) or a domain (i.e., not financial news) with comparatively low coverage for discourse annotations. In this paper, we experiment with a state-of-the-art model for discourse relation classification, originally developed for English, extend it to a multi-lingual setting (testing on Italian, Portuguese and Turkish), and employ a simple, yet effective method to mark out-of-domain training instances. By doing so, we aim to contribute to better generalization and more robust discourse relation classification performance across both language and domain.},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Project:   B2

Marchal, Marian; Scholman, Merel; Sanders, Ted J. M.; Demberg, Vera

What processing instructions do connectives provide? Modeling the facilitative effect of the connective Inproceedings

Proceedings of the Annual Meeting of the Cognitive Science Society, 46, pp. 3435-3441, 2024.

Connectives like ‘because’ are referred to as ‘processing instructions’ as they facilitate processing of linguistic material directly following the connective. In an expectation-driven account of discourse processing, this can be attributed to predictions that readers make about the upcoming discourse relation, but also to predictions about up-coming discourse content. By modeling these two accounts, termed the relation prediction account and the content prediction account respectively, we show that they make different predictions about when the presence of a connective is most beneficial. In a self-paced reading study, we replicate the facilitative effect of the connective on processing, but do not find any evidence that this effect can be explained by a strong or weak version of either of the two accounts. This suggests that the role of the connective goes above and beyond informing the reader about the upcoming relation and content and possibly triggers a different processing strategy.

@inproceedings{marchal-etal-2024,
title = {What processing instructions do connectives provide? Modeling the facilitative effect of the connective},
author = {Marian Marchal and Merel Scholman and Ted J. M. Sanders and Vera Demberg},
url = {https://escholarship.org/uc/item/2sc1k7pf},
year = {2024},
date = {2024},
booktitle = {Proceedings of the Annual Meeting of the Cognitive Science Society},
pages = {3435-3441},
abstract = {Connectives like ‘because’ are referred to as ‘processing instructions’ as they facilitate processing of linguistic material directly following the connective. In an expectation-driven account of discourse processing, this can be attributed to predictions that readers make about the upcoming discourse relation, but also to predictions about up-coming discourse content. By modeling these two accounts, termed the relation prediction account and the content prediction account respectively, we show that they make different predictions about when the presence of a connective is most beneficial. In a self-paced reading study, we replicate the facilitative effect of the connective on processing, but do not find any evidence that this effect can be explained by a strong or weak version of either of the two accounts. This suggests that the role of the connective goes above and beyond informing the reader about the upcoming relation and content and possibly triggers a different processing strategy.},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Project:   B2

Bourgonje, Peter; Lin, Pin-Jie

Projecting Annotations for Discourse Relations: Connective Identification for Low-Resource Languages Inproceedings

Strube, Michael; Braud, Chloe; Hardmeier, Christian; Jessy Li, Junyi; Loaiciga, Sharid; Zeldes, Amir; Li, Chuyuan (Ed.): Proceedings of the 5th Workshop on Computational Approaches to Discourse (CODI 2024), Association for Computational Linguistics, pp. 39-49, St. Julians, Malta, 2024.

We present a pipeline for multi-lingual Shallow Discourse Parsing. The pipeline exploits Machine Translation and Word Alignment, by translating any incoming non-English input text into English, applying an English discourse parser, and projecting the found relations onto the original input text through word alignments. While the purpose of the pipeline is to provide rudimentary discourse relation annotations for low-resource languages, in order to get an idea of performance, we evaluate it on the sub-task of discourse connective identification for several languages for which gold data are available. We experiment with different setups of our modular pipeline architecture and analyze intermediate results. Our code is made available on GitHub.

@inproceedings{bourgonje-lin-2024-projecting,
title = {Projecting Annotations for Discourse Relations: Connective Identification for Low-Resource Languages},
author = {Peter Bourgonje and Pin-Jie Lin},
editor = {Michael Strube and Chloe Braud and Christian Hardmeier and Junyi Jessy Li and Sharid Loaiciga and Amir Zeldes and Chuyuan Li},
url = {https://aclanthology.org/2024.codi-1.4},
year = {2024},
date = {2024},
booktitle = {Proceedings of the 5th Workshop on Computational Approaches to Discourse (CODI 2024)},
pages = {39-49},
publisher = {Association for Computational Linguistics},
address = {St. Julians, Malta},
abstract = {We present a pipeline for multi-lingual Shallow Discourse Parsing. The pipeline exploits Machine Translation and Word Alignment, by translating any incoming non-English input text into English, applying an English discourse parser, and projecting the found relations onto the original input text through word alignments. While the purpose of the pipeline is to provide rudimentary discourse relation annotations for low-resource languages, in order to get an idea of performance, we evaluate it on the sub-task of discourse connective identification for several languages for which gold data are available. We experiment with different setups of our modular pipeline architecture and analyze intermediate results. Our code is made available on GitHub.},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Project:   B2

Yung, Frances Pik Yu; Ahmad, Mansoor; Scholman, Merel; Demberg, Vera

Prompting Implicit Discourse Relation Annotation Inproceedings

Proceedings of Linguistic Annotation Workshop of European Chapter of the Association for Computational Linguistics, 2024.

Pre-trained large language models, such as ChatGPT, archive outstanding performance in various reasoning tasks without supervised training and were found to have outperformed crowdsourcing workers. Nonetheless, ChatGPT’s performance in the task of implicit discourse relation classification, prompted by a standard multiple-choice question, is still far from satisfactory and considerably inferior to state-of-the-art supervised approaches. This work investigates several proven prompting techniques to improve ChatGPT’s recognition of discourse relations. In particular, we experimented with breaking down the classification task that involves numerous abstract labels into smaller subtasks. Nonetheless, experiment results show that the inference accuracy hardly changes even with sophisticated prompt engineering, suggesting that implicit discourse relation classification is not yet resolvable under zero-shot or few-shot settings.

@inproceedings{yung-etal-2024-prompting,
title = {Prompting Implicit Discourse Relation Annotation},
author = {Frances Pik Yu Yung and Mansoor Ahmad and Merel Scholman and Vera Demberg},
url = {https://arxiv.org/abs/2402.04918},
year = {2024},
date = {2024},
booktitle = {Proceedings of Linguistic Annotation Workshop of European Chapter of the Association for Computational Linguistics},
abstract = {Pre-trained large language models, such as ChatGPT, archive outstanding performance in various reasoning tasks without supervised training and were found to have outperformed crowdsourcing workers. Nonetheless, ChatGPT's performance in the task of implicit discourse relation classification, prompted by a standard multiple-choice question, is still far from satisfactory and considerably inferior to state-of-the-art supervised approaches. This work investigates several proven prompting techniques to improve ChatGPT's recognition of discourse relations. In particular, we experimented with breaking down the classification task that involves numerous abstract labels into smaller subtasks. Nonetheless, experiment results show that the inference accuracy hardly changes even with sophisticated prompt engineering, suggesting that implicit discourse relation classification is not yet resolvable under zero-shot or few-shot settings.},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Project:   B2

Yung, Frances Pik Yu; Scholman, Merel; Zikanova, Sarka; Demberg, Vera

DiscoGeM 2.0: A parallel corpus of English, German, French and Czech implicit discourse relations Inproceedings

Calzolari, Nicoletta; Kan, Min-Yen; Hoste, Veronique; Lenci, Alessandro; Sakti, Sakriani; Xue, Nianwen (Ed.): Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), ELRA and ICCL, pp. 4940-4956, Torino, Italia, 2024.

We present DiscoGeM 2.0, a crowdsourced, parallel corpus of 12,834 implicit discourse relations, with English, German, French and Czech data. We propose and validate a new single-step crowdsourcing annotation method and apply it to collect new annotations in German, French and Czech. The corpus was constructed by having crowdsourced annotators choose a suitable discourse connective for each relation from a set of unambiguous candidates. Every instance was annotated by 10 workers. Our corpus hence represents the first multi-lingual resource that contains distributions of discourse interpretations for implicit relations. The results show that the connective insertion method of discourse annotation can be reliably extended to other languages. The resulting multi-lingual annotations also reveal that implicit relations inferred in one language may differ from those inferred in the translation, meaning the annotations are not always directly transferable. DiscoGem 2.0 promotes the investigation of cross-linguistic differences in discourse marking and could improve automatic discourse parsing applications. It is openly downloadable here: https://github.com/merelscholman/DiscoGeM.

@inproceedings{yung-etal-2024-discogem-2,
title = {DiscoGeM 2.0: A parallel corpus of English, German, French and Czech implicit discourse relations},
author = {Frances Pik Yu Yung and Merel Scholman and Sarka Zikanova and Vera Demberg},
editor = {Nicoletta Calzolari and Min-Yen Kan and Veronique Hoste and Alessandro Lenci and Sakriani Sakti and Nianwen Xue},
url = {https://aclanthology.org/2024.lrec-main.443},
year = {2024},
date = {2024},
booktitle = {Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)},
pages = {4940-4956},
publisher = {ELRA and ICCL},
address = {Torino, Italia},
abstract = {We present DiscoGeM 2.0, a crowdsourced, parallel corpus of 12,834 implicit discourse relations, with English, German, French and Czech data. We propose and validate a new single-step crowdsourcing annotation method and apply it to collect new annotations in German, French and Czech. The corpus was constructed by having crowdsourced annotators choose a suitable discourse connective for each relation from a set of unambiguous candidates. Every instance was annotated by 10 workers. Our corpus hence represents the first multi-lingual resource that contains distributions of discourse interpretations for implicit relations. The results show that the connective insertion method of discourse annotation can be reliably extended to other languages. The resulting multi-lingual annotations also reveal that implicit relations inferred in one language may differ from those inferred in the translation, meaning the annotations are not always directly transferable. DiscoGem 2.0 promotes the investigation of cross-linguistic differences in discourse marking and could improve automatic discourse parsing applications. It is openly downloadable here: https://github.com/merelscholman/DiscoGeM.},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Project:   B2

Lin, Pin-Jie; Scholman, Merel; Saeed, Muhammed; Demberg, Vera

Modeling Orthographic Variation Improves NLP Performance for Nigerian Pidgin Inproceedings

Calzolari, Nicoletta; Kan, Min-Yen; Hoste, Veronique; Lenci, Alessandro; Sakti, Sakriani; Xue, Nianwen (Ed.): Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), ELRA and ICCL, pp. 11510-11522, Torino, Italia, 2024.

Nigerian Pidgin is an English-derived contact language and is traditionally an oral language, spoken by approximately 100 million people. No orthographic standard has yet been adopted, and thus the few available Pidgin datasets that exist are characterised by noise in the form of orthographic variations. This contributes to under-performance of models in critical NLP tasks. The current work is the first to describe various types of orthographic variations commonly found in Nigerian Pidgin texts, and model this orthographic variation. The variations identified in the dataset form the basis of a phonetic-theoretic framework for word editing, which is used to generate orthographic variations to augment training data. We test the effect of this data augmentation on two critical NLP tasks: machine translation and sentiment analysis. The proposed variation generation framework augments the training data with new orthographic variants which are relevant for the test set but did not occur in the training set originally. Our results demonstrate the positive effect of augmenting the training data with a combination of real texts from other corpora as well as synthesized orthographic variation, resulting in performance improvements of 2.1 points in sentiment analysis and 1.4 BLEU points in translation to English.

@inproceedings{lin-etal-2024-modeling-orthographic,
title = {Modeling Orthographic Variation Improves NLP Performance for Nigerian Pidgin},
author = {Pin-Jie Lin and Merel Scholman and Muhammed Saeed and Vera Demberg},
editor = {Nicoletta Calzolari and Min-Yen Kan and Veronique Hoste and Alessandro Lenci and Sakriani Sakti and Nianwen Xue},
url = {https://aclanthology.org/2024.lrec-main.1006},
year = {2024},
date = {2024},
booktitle = {Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)},
pages = {11510-11522},
publisher = {ELRA and ICCL},
address = {Torino, Italia},
abstract = {Nigerian Pidgin is an English-derived contact language and is traditionally an oral language, spoken by approximately 100 million people. No orthographic standard has yet been adopted, and thus the few available Pidgin datasets that exist are characterised by noise in the form of orthographic variations. This contributes to under-performance of models in critical NLP tasks. The current work is the first to describe various types of orthographic variations commonly found in Nigerian Pidgin texts, and model this orthographic variation. The variations identified in the dataset form the basis of a phonetic-theoretic framework for word editing, which is used to generate orthographic variations to augment training data. We test the effect of this data augmentation on two critical NLP tasks: machine translation and sentiment analysis. The proposed variation generation framework augments the training data with new orthographic variants which are relevant for the test set but did not occur in the training set originally. Our results demonstrate the positive effect of augmenting the training data with a combination of real texts from other corpora as well as synthesized orthographic variation, resulting in performance improvements of 2.1 points in sentiment analysis and 1.4 BLEU points in translation to English.},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Project:   B2

Scholman, Merel; Marchal, Marian; Demberg, Vera

Connective comprehension in adults: The influence of lexical transparency, frequency, and individual differences Journal Article

Discourse Processes, 2024.

The comprehension of connectives is crucial for understanding the discourse relations that make up a text. We studied connective comprehension in English to investigate whether adult comprehenders acquire the meaning and intended use of connectives to a similar extent and how connective features and individual differences impact connective comprehension. A coherence judgment study indicated that differences in how well people comprehend connectives depend on the lexical transparency but not on the frequency of the connective. Furthermore, individual variation between participants can be explained by their vocabulary size, nonverbal IQ, and cognitive reasoning style. Print exposure was not found to be relevant. These findings provide further insight into the factors that influence discourse processing and highlight the need to consider individual differences in discourse comprehension research as well as the need to examine a wider range of connectives in empirical studies of discourse markers.

@article{Scholman_etal_2024,
title = {Connective comprehension in adults: The influence of lexical transparency, frequency, and individual differences},
author = {Merel Scholman and Marian Marchal and Vera Demberg},
url = {https://www.tandfonline.com/doi/full/10.1080/0163853X.2024.2325262},
doi = {https://doi.org/10.1080/0163853X.2024.2325262},
year = {2024},
date = {2024},
journal = {Discourse Processes},
abstract = {

The comprehension of connectives is crucial for understanding the discourse relations that make up a text. We studied connective comprehension in English to investigate whether adult comprehenders acquire the meaning and intended use of connectives to a similar extent and how connective features and individual differences impact connective comprehension. A coherence judgment study indicated that differences in how well people comprehend connectives depend on the lexical transparency but not on the frequency of the connective. Furthermore, individual variation between participants can be explained by their vocabulary size, nonverbal IQ, and cognitive reasoning style. Print exposure was not found to be relevant. These findings provide further insight into the factors that influence discourse processing and highlight the need to consider individual differences in discourse comprehension research as well as the need to examine a wider range of connectives in empirical studies of discourse markers.

},
pubstate = {published},
type = {article}
}

Copy BibTeX to Clipboard

Project:   B2

Marchal, Marian

Searching for signals : readers' sensitivity to signals for discourse relations PhD Thesis

Saarland University, Saarbruecken, Germany, 2024.

For comprehension to be successful, readers and listeners need to understand the meaning of individual words and sentences, but also have to know how these words and sentences are related to each other. That is, comprehenders need to establish a coherent mental representation of the discourse (Sanders et al., 1992; Zwaan & Rapp, 2006; Van den Broek, 2010). Discourse relations, which refer to the relations between segments in a text (Hobbs, 1979; Sanders et al., 1992; Zufferey & Degand, 2024), are an important part of such a mental representation. Readers and listeners can infer these relations based on linguistic information (e.g. connectives) as well as extra-linguistic information (e.g. world knowledge). This dissertation set out to investigate to what extent readers use these different types of information. Specifically, we examined four factors that could influence how readers exploit linguistic signals for discourse relations: characteristics of the linguistic signal, of the discourse relation, of the reader and of the language. Connectives, such as because or but, are the most salient linguistic signals for discourse relations and have been shown to help readers to process the discourse relation (e.g. Cozijn et al., 2011; Kleijn et al., 2019; Köhne-Fuetterer et al., 2021). However, most relations are signaled by linguistic cues other than connectives (cf. Das & Taboada, 2018b) and much less is known about whether readers exploit these signals. We discuss five features in which connective and non-connective cues differ and argue that readers’ sensitivity to linguistic signals depends on the salience and informativeness of the cue. Furthermore, we extend previous research on the role of linguistic cues in discourse relation processing, by investigating a non-lexical signal of discourse relations, showing that such a cue can influence readers’ off-line expectations about upcoming discourse relations. Secondly, to what extent readers rely on linguistic information may depend on the discourse relation. Discourse relations have been shown differ with respect to their processing difficulty (e.g. Sanders & Noordman, 2000). In line with the causality-by-default hypothesis (Sanders, 2005), we find evidence that the presence of a connective facilitates reading more in non-causal than in causal relations. In addition, we show that the processing difficulty of a relation is dependent on how predictable the relation type and its content is. However, we do not find evidence that predictability of the relation influences whether readers rely on the presence of a connective. Thirdly, we provide evidence that readers draw on their domain knowledge when inferring discourse relations. The availability of domain knowledge was also found to influence whether readers can exploit non-connective signals for discourse relations, since these signals sometimes require domain knowledge. Finally, we explored whether the use of non-linguistic signals depends on language typology. We hypothesized that speakers of synthetic languages would rely more on the presence of linguistic signals for discourse relations than speakers of analytic languages, but find no evidence for this. In sum, readers draw on both linguistic and non-linguistic information to establish a coherent mental representation. In addition, the research in this dissertation shows that the extent to which readers exploit linguistic cues depends on characteristics of the signal, the discourse relation and the reader. By investigating the processes involved in establishing coherence, this research provides theoretical insights into language understanding and human cognition, but can also inform research on how to improve readers’ text comprehension as well as the readability of texts.


Sprache ist ein zentraler Aspekt des täglichen Lebens. Wir verwenden Sprache, um unseren Freunden Witze zu erzählen, den Ideen eines Freundes zuzuhören, einen Artikel über die letzten Wahlen zu lesen und eine E-Mail von einem Kollegen zu beantworten. Diese Vorgänge scheinen uns oft mühelos, aber Sprache zu produzieren und zu verstehen ist ein komplizierter Prozess, und eine Fähigkeit, die nur dem Menschen eigen ist. Um zum Beispiel einen geschriebenen Satz zu verstehen, muss man nicht nur eine Abfolge an Buchstaben in sinnvolle Wörter entschlüsseln, sondern auch verstehen, wie diese Wörter strukturiert sind, um einen sinnvollen Satz zu bilden. Bei längeren Textausschnitten, die auch als Diskurs bezeichnet werden, müssen die Leser außerdem verstehen, wie die verschiedenen Sätze miteinander in Relation stehen und wie die im Text beschriebenen Konzepte mit dem vorhandenen Weltwissen zusammenhängen. Erst dann ergibt der Diskurs einen Sinn. Theorien des Diskursverständnisses gehen davon aus, dass Leser und Hörer eine mentale Repräsentation des Textes aufbauen. Damit das Verstehen erfolgreich ist, muss diese mentale Repräsentation kohärent sein (Hobbs, 1979; Sanders et al., 1992; Kehler, 2006). Dies bedeutet dass die Teilaspekte der mentalen Repräsentation auf sinnvolle Weise miteinander verbunden sein sollten. Selbst wenn die Teilaspekte eines Textes scheinbar nicht miteinander verbunden sind, versuchen die Leser dennoch, Kohärenz herzustellen (Hobbs, 1979). Betrachten Sie den folgenden Diskurs: Anna fährt mit dem Fahrrad zur Arbeit. Sie liebt Pizza. Auf den ersten Blick ergibt das keinen Sinn, aber der Leser wird trotzdem versuchen, diesen Text zu verstehen. Er könnte annehmen, dass Annas Vorliebe für Pizza dazu geführt hat, dass sie in letzter Zeit sehr viel gegessen hat und nun versucht, diese Kalorien auszugleichen, indem sie mit dem Fahrrad zur Arbeit fährt. So hat er Kohärenz hergestellt, indem er hergeleitet hat, wie diese Sätze zusammenhängen: Annas Liebe zu Pizza ist der Grund, warum sie mit dem Fahrrad zur Arbeit fährt. Diese Relationen zwischen Sätzen in einem Diskurs bzw. ihre mentalen Repräsentationen werden als Diskursrelationen bezeichnet (Sanders et al., 1992; Zufferey & Degand, 2024) und die Teile der Diskursrelation werden Argumente genannt. Diskursrelationen sind der Schwerpunkt der Forschung in dieser Dissertation. Wie stellen die Leser Kohärenz her? Eine Möglichkeit, wie Leser dies tun, ist die Verwendung sprachlicher Signale. Die auffälligsten Signale für Diskursrelationen sind Konnektive wie weil, aber und deshalb. Sie wurden ausgiebig erforscht und frühere Arbeiten haben gezeigt, dass sie Lesern helfen, die Diskursrelation zu verarbeiten (z.B., Cozijn et al., 2011), bevorstehendes Material vorherzusagen (z.B., Köhne-Fuetterer et al., 2021) und einen Text besser zu verstehen (z.B., Kleijn et al., 2019). Es gibt jedoch auch andere Anhaltspunkte, die dem Leser helfen können, eine Relation zwischen den Sätzen zu erkennen. Zur Veranschaulichung: Im Diskurs Anna liebt Pizza. John hasst sie. sind die Verben Antonyme, die signalisieren, dass die beiden Sätze im Gegensatz zueinander stehen. Im Vergleich zu Konnektiven ist über die Rolle dieser nicht-konnektiven Signale bei der Verarbeitung und dem Verständnis von Diskurs weit weniger bekannt. Schließlich könnten die Leser auf ihr Hintergrundwissen zurückgreifen, um die Relation zu verstehen. Zum Beispiel in dem Diskurs Anna wurde sehr braun. Sie fuhr in den Urlaub nach Griechenland. kann die kausale Relation zwischen Bräunung und Urlaub in Griechenland aus dem Wissen abgeleitet werden, dass Griechenland im Allgemeinen sehr sonnig ist. Leser können also sprachliche und außersprachliche Informationsquellen nutzen, um daraus zu schließen, wie die Teile eines Diskurses zusammenhängen. Es ist jedoch noch unklar, ob Menschen dies immer tun. Verlassen sich zum Beispiel Sprecher verschiedener Sprachen in ähnlicher Weise auf Konnektive als Hinweise auf die Diskursrelation? Und nutzen Leser auch nicht-konnektive Signale, um Kohärenz herzustellen? In dieser Dissertation wurde daher untersucht, welche Faktoren die Sensibilität der Leser für sprachliche Signale von Diskursrelationen beeinflussen. Genauer gesagt wurden vier Faktoren untersucht, die Einfluss darauf haben könnten, wie Leser sprachliche Informationen über Diskursrelationen nutzen: Merkmale des Signals, der Diskursrelation, des Lesers und der Sprache. Zur Untersuchung dieser Faktoren präsentieren wir einen Überblick über frühere Arbeiten sowie vier empirische Studien. Kapitel 3 gibt einen Überblick über die bisherige Literatur zur Natur sprachlicher Signale und ihrer Rolle bei der mentalen Repräsentation und Verarbeitung, um zu untersuchen, wie die Eigenschaften des Signals die Sensibilität der Leser für das Signal beeinflussen. Wir definieren Diskursrelationssignal als jedwedes sprachliche Element, das Informationen über die Diskursrelation liefert. Wir zeigen, dass sich diese Signale in Bezug auf verschiedene Merkmale unterscheiden. So sind einige Diskurssignale, wie z.B. Konnektive, auf die Signalisierung von Diskursrelationen spezialisiert und tragen nicht zu den Wahrheitsbedingungen der Argumente bei. Andere Diskurssignale, wie Antonyme, liefern nicht nur Informationen über die Diskursrelation, sondern haben auch propositionale Bedeutung. Zweitens sind einige Signale informativer darüber, welche Diskursrelation signalisiert wird, als andere. Zum Beispiel wird weil nur in kausalen result-Relationen verwendet, während gleichzeitig sowohl in zeitlichen synchronous- als auch in negativen contrast-Relationen verwendet werden kann. Drittens unterscheiden sich Diskurssignale darin, ob ihre Form kontextabhängig ist. Konnektive werden grammatikalisiert und sind daher unveränderlich, wohingegen ganze Phrasen wie aus diesem Grund, wegen des Wetters oder Antonyme durchaus veränderlich sind. Viertens: Die bisherigen Beispiele für Diskurssignale sind alle lexikalisch. Dies muss jedoch nicht der Fall sein. Es ist bekannt, dass auch die syntaktische Struktur (Crible & Pickering, 2020) und die Prosodie (Hu et al., 2023) Unterschiede zwischen den Relationstypen signalisieren. Schließlich haben sprachliche Signale, die nicht auf die Signalisierung der Diskursrelation spezialisiert sind, eine andere primäre Bedeutung. Diese Bedeutung kann der der Diskursrelation ähnlich sein, wie z.B. die Negation im Fall von contrast-Relationen, sie kann aber auch unabhängig davon sein (wie im Fall bestimmter syntaktischer Strukturen). Auf der Grundlage von Erkenntnissen aus der bisherigen Literatur argumentieren wir, dass diese Eigenschaften beeinflussen, wie empfindlich Leser auf das sprachliche Signal reagieren. Je auffälliger und informativer das Diskurssignal ist, desto stärker ist seine Wirkung auf die Diskursverarbeitung und -repräsentation. Diese Hypothese wird durch die Ergebnisse von zwei empirischen Studien gestützt. In Kapitel 6 untersuchten wir die Sensibilität der Leser für einen nicht-spezialisierten, nicht-lexikalischen Hinweis auf Diskursrelationen: freie Gerundien. Freie Gerundien sind Nebensätze, die mit einem Partizip Präsens beginnen, wie in Painting his house, Mo wore an old sweater. (Mo trug beim Streichen seines Hauses einen alten Pullover.) Eine Korpusuntersuchung zeigt, dass freie Gerundien häufig in result-Relationen vorkommen. Darüber hinaus erwarteten die Leser mehr result-Relationen, wenn sie in einer Fortsetzungsaufgabe ein freies Gerundium vorfanden. Wir fanden jedoch keine Hinweise darauf, dass die Leser bei anderen Aufgaben auf diese Art von Signalen reagieren. Bei einer Aufgabe zur Auswahl von Paraphrasen hing die Präferenz der Leser für freie Gerundien nicht von der Art der Relation (d. h. result oder specification) ab. Darüber hinaus zeigte ein self-paced reading Experiment nicht, dass das Vorhandensein eines freien Gerundiums beim Lesen von result-Relationen förderlich ist. Diese Ergebnisse stehen im Gegensatz zu denen aus Kapitel 5, die zeigen, dass das Vorhandensein eines Konnektivs zu einer schnelleren Verarbeitung von result-Relationen führt. Im Gegensatz zu freien Gerundien sind Konnektive jedoch informativere und speziellere Signale, die zudem unveränderlich und lexikalisch sind. In Kapitel 4 haben wir untersucht, wie die Sensibilität der Leser für Konnektive von den Eigenschaften der Diskursrelation abhängt. Genauer gesagt haben wir zweiself-paced reading Experimente durchgeführt, in denen wir den erleichternden Effekt des Vorhandenseins eines Konnektivs in result-Relationen mit contrast-Relationen (Experiment 1) und mit concession-Relationen (Experiment 2) verglichen haben. Entgegen unseren Erwartungen, die wir aus früheren Arbeiten ableiten konnten, fanden wir in Experiment 1 keinen Effekt des Konnektivs für eine der beiden Relationen, was möglicherweise auf methodische Limitationen zurückzuführen ist. In Experiment 2 wurde die Relation jedoch schneller gelesen, wenn ein Konnektiv vorhanden war, im Vergleich dazu wenn es nicht vorhanden war. Dieser Effekt hing vom Relationstyp ab. Genauer gesagt erleichterte das Konnektiv das Lesen bei concession-Relationen, nicht aber bei result-Relationen. Dies deutet darauf hin, dass sich die Leser mehr auf ein Konnektiv verlassen, wenn die Relation ohne das Konnektiv schwieriger zu erschließen ist. Bei result-Relationen könnten die Leser zu dieser Interpretation gelangen, unabhängig davon, ob ein Konnektiv (vgl. causality-by-default hypothesis Sanders, 2005) vorhanden ist. In den Experimenten in Kapitel 4 wurde auch untersucht, ob die Wirkung eines Konnektivs unterschiedlich auf das Lesen im Deutschen im Vergleich zum Englischen ist (d. h. Eigenschaften der Sprache). Synthetische Sprachen, wie das Deutsche, haben mehr Flexionsmorphologie und ein höheres Morphem-Wort-Verhältnis als analytische Sprachen, wie das Englische. So kodiert das Deutsche, nicht aber das Englische, Unterschiede zwischen der ersten und zweiten Person bei Verben und dem Kasus bei Substantiven. In synthetischen Sprachen ist die Bedeutung häufiger im sprachlichen Signal kodiert, während Sprecher analytischer Sprachen die Bedeutung häufiger aus dem Kontext erschließen müssen. Wir stellten daher die Hypothese auf, dass Sprecher des Deutschen stärker auf das Vorhandensein eines Konnektivs reagieren würden als Sprecher des Englischen (Blumenthal-Dramé, 2021). Wir fanden jedoch in keinem der beiden Experimente Belege für diese Hypothese. In Kapitel 5 haben wir untersucht, ob die Sensibilität der Leser für das Vorhandensein eines Konnektivs von einer anderen Eigenschaft der Relation, der Vorhersagbarkeit der Relation, abhängt. Frühere Studien haben gezeigt, während des Verstehens von Sprache ständig Vorhersagen getroffen werden (z.B. Altmann & Kamide, 1999; Heilbron et al., 2022) und dass die Verarbeitungsschwierigkeit eines Wortes proportional zu seiner Unerwartetheit ist (vgl. Levy, 2008; Wilcox et al., 2023). Wir untersuchten, ob dies auch für die Verarbeitung von Diskursrelationen gilt. Genauer gesagt untersuchten wir zwei Arten von Unerwartetheit: die des Relationstyps (d. h., ob die Relation ein result war oder nicht) und die des Inhalts der Relation. Zur Veranschaulichung: Wenn man Angela hatte monatelang die Miete nicht bezahlt liest, könnten die Leser Erwartungen darüber haben, ob der Sprecher als nächstes darüber sprechen wird, warum Angela die Miete nicht bezahlt hat (d. h. eine reason-Relation) oder darüber, was die Konsequenzen dieses Zahlungsrückstands sind (d. h. eine result-Relation). Mit anderen Worten, sie sagen den Relationstyp voraus. Darüber hinaus könnten Leser vorhersagen, was solche Folgen sein könnten (z.B. der Besuch eines verärgerten Vermieters oder eine Zwangsräumung). Dabei handelt es sich um eine Vorhersage über den Inhalt der Relation. Wir stellten die Hypothese auf, dass die Schwierigkeit der Verarbeitung von Angela wurde zwangsgeräumt proportional zur Unerwartetheit des Relationstyps und des Inhalts angesichts des Kontexts sein würde. Darüber hinaus wollten wir untersuchen, ob dies den erleichternden Effekt des Konnektivs erklären würde: Das Konnektiv könnte die Unerwartetheit des bevorstehenden Relationstyps und -inhalts verringern und damit die Verarbeitungsschwierigkeiten reduzieren. In einem Experiment zur Satzvervollständigung konnten wir tatsächlich zeigen, dass result-Relationen eher erwartet werden, wenn ein Konnektiv vorhanden ist, und dass dies den Lesern hilft, genauere Vorhersagen über den Inhalt zu treffen. In einem anschließenden self-paced reading Experiment und Eye-Tracking fanden wir Hinweise darauf, dass vorhersehbare Inhalte schneller gelesen werden. Wenn die Relation result erwarteter war, wurde die Relation ebenfalls schneller gelesen, aber nur, wenn diese genauere Vorhersagen über den Inhalt ermöglichte. Überraschenderweise stellten wir fest, dass first-pass Lesezeiten bei vorhersehbareren result-Relationen länger waren, wenn man andere Arten von Unerwartetheit (z.B. über die Inhalt des Relations) berücksichtigt. Möglicherweise wollen die Leser ihre Vorhersage über die Art der Relation bestätigen, wenn sich ihre Vorhersage über den Inhalt nicht bestätigte. Darüber hinaus war der erleichternde Effekt des Konnektivs unabhängig von den Auswirkungen der Unerwartetheit. Zusammengefasst fanden wir keine Hinweise darauf, dass die Sensibilität der Leser für das Vorhandensein eines Konnektivs davon abhängt, wie vorhersehbar der Relationstyp oder der Inhalt ist. In Kapitel 7 wurde untersucht, ob und wie die Eigenschaften des Lesers an sich einen Einfluss darauf haben, ob er sprachliche Signale ausnutzt. Genauer gesagt fragten wir ob Fachwissen die Interpretation von Diskursrelationen und die Nutzung sprachlicher Signale durch den Leser beeinflusst. Wir baten Experten aus den Bereichen Biomedizin und Wirtschaft Konnektive in Texte aus ihrer eigenen Domäne (z.B. biomedizinische Experten, die biomedizinische Forschungsarbeiten lesen) und aus der anderen Domäne (z.B. biomedizinische Experten, die Wirtschaftszeitungen lesen) einzufügen. Diese Konnektive wurden in Relationsklassen eingeteilt, um ihre Genauigkeit bei der Ableitung der Zielrelation zu untersuchen. Biomedizinische Experten waren bei der Ableitung von Relationen in biomedizinischen Texten erfolgreicher als Wirtschaftsexperten, was zeigt, dass die Leser ihr Fachwissen nutzen, um Diskursrelationen abzuleiten. Bei der Interpretation von Relationen in den Wirtschaftszeitungen wurde kein solcher Unterschied festgestellt, wahrscheinlich weil diese sich an ein breiteres Publikum richten als biomedizinische Forschungsarbeiten. Wenn die Relation nicht auf der Grundlage des vorhandenen Wissens abgeleitet werden kann, nehmen die Leser unspezifizierte Interpretationen vor. Darüber hinaus zeigen wir, dass Leser sprachliche Signale für Diskursrelationen nutzen, aber dass solche Hinweise manchmal Fachwissen erfordern. Um zum Beispiel zu verstehen, dass zwei Begriffe Antonyme sind, müssen die Leser zunächst wissen, was diese Begriffe bedeuten. Doch selbst wenn diese Signale nur allgemeines Wissen erfordern, nutzten Leser mit geringen Kenntnissen sie nicht immer. Dies deutet darauf hin, dass nicht-konnektive Signale vom Leser nur genutzt werden um bereits bestehende Interpretationen von Diskursrelationen zu bestätigen. Die Untersuchungen in dieser Dissertation liefern wertvolle Einblicke in verschiedene Theorien der Sprachverarbeitung. Zunächst einmal zeigen die Ergebnisse in Bezug auf die Diskursverarbeitung, dass Leser sowohl sprachliche (Konnektive und nichtkonnektive Signale) als auch außersprachliche Informationsquellen (Hintergrundwissen) nutzen, um Kohärenz herzustellen. Wir zeigen auch, dass die Sensibilität der Leser für Signale von Diskursrelationen von den Eigenschaften des Signals, der Relation und auch des Lesers selbst abhängt. So ist die Wirkung eines sprachlichen Signals stärker, wenn es auffälliger und informativer ist, die Relation nicht kausal ist und der Leser sich auf vorhandenes Wissen verlassen kann, um die Bedeutung des Signals zu bestätigen. Zweitens leisten die hier vorgestellten Untersuchungen einen Beitrag zu informationstheoretischen Konzepten der Sprachverarbeitung, indem sie zeigen, dass die Unerwartetheit des Inhalts und der Diskursstruktur die Verarbeitungsschwierigkeiten beeinflussen, aber nicht die erleichternde Wirkung des Konnektivs erklären. Drittens leistet die vorliegende Dissertation einen Beitrag zur Forschung über statistisches Lernen, indem sie aufzeigt, dass Leser sich der Korrelationen zwischen syntaktischer Struktur und Bedeutung auf Diskursebene bewusst sind. Viertens zeigt die Arbeit im Hinblick auf die Forschung zu individuellen Unterschieden, dass die Interpretation von Diskursrelationen und die Verwendung von sprachlichen Signalen vom Hintergrundwissen der Leser abhängt. Fünftens erweitern wir die sprachübergreifende Forschung zur Sprachverarbeitung und stellen fest, dass es sprachübergreifende Ähnlichkeiten bei der Verwendung von Konnektiven zur Verarbeitung von Diskursrelationen gibt. Schliesslich unterstreicht diese Dissertation auch die Bedeutung konvergenter Evidenz, indem sie zeigt, dass die Kombination von verschiedenen wissenschaftlichen Methoden die Theoriebildung erleichtern kann.

@phdthesis{Marchal_Diss_2024,
title = {Searching for signals : readers' sensitivity to signals for discourse relations},
author = {Marian Marchal},
url = {https://publikationen.sulb.uni-saarland.de/handle/20.500.11880/40058},
doi = {https://doi.org/20.500.11880/40058},
year = {2024},
date = {2024},
school = {Saarland University},
address = {Saarbruecken, Germany},
abstract = {For comprehension to be successful, readers and listeners need to understand the meaning of individual words and sentences, but also have to know how these words and sentences are related to each other. That is, comprehenders need to establish a coherent mental representation of the discourse (Sanders et al., 1992; Zwaan & Rapp, 2006; Van den Broek, 2010). Discourse relations, which refer to the relations between segments in a text (Hobbs, 1979; Sanders et al., 1992; Zufferey & Degand, 2024), are an important part of such a mental representation. Readers and listeners can infer these relations based on linguistic information (e.g. connectives) as well as extra-linguistic information (e.g. world knowledge). This dissertation set out to investigate to what extent readers use these different types of information. Specifically, we examined four factors that could influence how readers exploit linguistic signals for discourse relations: characteristics of the linguistic signal, of the discourse relation, of the reader and of the language. Connectives, such as because or but, are the most salient linguistic signals for discourse relations and have been shown to help readers to process the discourse relation (e.g. Cozijn et al., 2011; Kleijn et al., 2019; K{\"o}hne-Fuetterer et al., 2021). However, most relations are signaled by linguistic cues other than connectives (cf. Das & Taboada, 2018b) and much less is known about whether readers exploit these signals. We discuss five features in which connective and non-connective cues differ and argue that readers’ sensitivity to linguistic signals depends on the salience and informativeness of the cue. Furthermore, we extend previous research on the role of linguistic cues in discourse relation processing, by investigating a non-lexical signal of discourse relations, showing that such a cue can influence readers’ off-line expectations about upcoming discourse relations. Secondly, to what extent readers rely on linguistic information may depend on the discourse relation. Discourse relations have been shown differ with respect to their processing difficulty (e.g. Sanders & Noordman, 2000). In line with the causality-by-default hypothesis (Sanders, 2005), we find evidence that the presence of a connective facilitates reading more in non-causal than in causal relations. In addition, we show that the processing difficulty of a relation is dependent on how predictable the relation type and its content is. However, we do not find evidence that predictability of the relation influences whether readers rely on the presence of a connective. Thirdly, we provide evidence that readers draw on their domain knowledge when inferring discourse relations. The availability of domain knowledge was also found to influence whether readers can exploit non-connective signals for discourse relations, since these signals sometimes require domain knowledge. Finally, we explored whether the use of non-linguistic signals depends on language typology. We hypothesized that speakers of synthetic languages would rely more on the presence of linguistic signals for discourse relations than speakers of analytic languages, but find no evidence for this. In sum, readers draw on both linguistic and non-linguistic information to establish a coherent mental representation. In addition, the research in this dissertation shows that the extent to which readers exploit linguistic cues depends on characteristics of the signal, the discourse relation and the reader. By investigating the processes involved in establishing coherence, this research provides theoretical insights into language understanding and human cognition, but can also inform research on how to improve readers’ text comprehension as well as the readability of texts.


Sprache ist ein zentraler Aspekt des t{\"a}glichen Lebens. Wir verwenden Sprache, um unseren Freunden Witze zu erz{\"a}hlen, den Ideen eines Freundes zuzuh{\"o}ren, einen Artikel {\"u}ber die letzten Wahlen zu lesen und eine E-Mail von einem Kollegen zu beantworten. Diese Vorg{\"a}nge scheinen uns oft m{\"u}helos, aber Sprache zu produzieren und zu verstehen ist ein komplizierter Prozess, und eine F{\"a}higkeit, die nur dem Menschen eigen ist. Um zum Beispiel einen geschriebenen Satz zu verstehen, muss man nicht nur eine Abfolge an Buchstaben in sinnvolle W{\"o}rter entschl{\"u}sseln, sondern auch verstehen, wie diese W{\"o}rter strukturiert sind, um einen sinnvollen Satz zu bilden. Bei l{\"a}ngeren Textausschnitten, die auch als Diskurs bezeichnet werden, m{\"u}ssen die Leser au{\ss}erdem verstehen, wie die verschiedenen S{\"a}tze miteinander in Relation stehen und wie die im Text beschriebenen Konzepte mit dem vorhandenen Weltwissen zusammenh{\"a}ngen. Erst dann ergibt der Diskurs einen Sinn. Theorien des Diskursverst{\"a}ndnisses gehen davon aus, dass Leser und H{\"o}rer eine mentale Repr{\"a}sentation des Textes aufbauen. Damit das Verstehen erfolgreich ist, muss diese mentale Repr{\"a}sentation koh{\"a}rent sein (Hobbs, 1979; Sanders et al., 1992; Kehler, 2006). Dies bedeutet dass die Teilaspekte der mentalen Repr{\"a}sentation auf sinnvolle Weise miteinander verbunden sein sollten. Selbst wenn die Teilaspekte eines Textes scheinbar nicht miteinander verbunden sind, versuchen die Leser dennoch, Koh{\"a}renz herzustellen (Hobbs, 1979). Betrachten Sie den folgenden Diskurs: Anna f{\"a}hrt mit dem Fahrrad zur Arbeit. Sie liebt Pizza. Auf den ersten Blick ergibt das keinen Sinn, aber der Leser wird trotzdem versuchen, diesen Text zu verstehen. Er k{\"o}nnte annehmen, dass Annas Vorliebe f{\"u}r Pizza dazu gef{\"u}hrt hat, dass sie in letzter Zeit sehr viel gegessen hat und nun versucht, diese Kalorien auszugleichen, indem sie mit dem Fahrrad zur Arbeit f{\"a}hrt. So hat er Koh{\"a}renz hergestellt, indem er hergeleitet hat, wie diese S{\"a}tze zusammenh{\"a}ngen: Annas Liebe zu Pizza ist der Grund, warum sie mit dem Fahrrad zur Arbeit f{\"a}hrt. Diese Relationen zwischen S{\"a}tzen in einem Diskurs bzw. ihre mentalen Repr{\"a}sentationen werden als Diskursrelationen bezeichnet (Sanders et al., 1992; Zufferey & Degand, 2024) und die Teile der Diskursrelation werden Argumente genannt. Diskursrelationen sind der Schwerpunkt der Forschung in dieser Dissertation. Wie stellen die Leser Koh{\"a}renz her? Eine M{\"o}glichkeit, wie Leser dies tun, ist die Verwendung sprachlicher Signale. Die auff{\"a}lligsten Signale f{\"u}r Diskursrelationen sind Konnektive wie weil, aber und deshalb. Sie wurden ausgiebig erforscht und fr{\"u}here Arbeiten haben gezeigt, dass sie Lesern helfen, die Diskursrelation zu verarbeiten (z.B., Cozijn et al., 2011), bevorstehendes Material vorherzusagen (z.B., K{\"o}hne-Fuetterer et al., 2021) und einen Text besser zu verstehen (z.B., Kleijn et al., 2019). Es gibt jedoch auch andere Anhaltspunkte, die dem Leser helfen k{\"o}nnen, eine Relation zwischen den S{\"a}tzen zu erkennen. Zur Veranschaulichung: Im Diskurs Anna liebt Pizza. John hasst sie. sind die Verben Antonyme, die signalisieren, dass die beiden S{\"a}tze im Gegensatz zueinander stehen. Im Vergleich zu Konnektiven ist {\"u}ber die Rolle dieser nicht-konnektiven Signale bei der Verarbeitung und dem Verst{\"a}ndnis von Diskurs weit weniger bekannt. Schlie{\ss}lich k{\"o}nnten die Leser auf ihr Hintergrundwissen zur{\"u}ckgreifen, um die Relation zu verstehen. Zum Beispiel in dem Diskurs Anna wurde sehr braun. Sie fuhr in den Urlaub nach Griechenland. kann die kausale Relation zwischen Br{\"a}unung und Urlaub in Griechenland aus dem Wissen abgeleitet werden, dass Griechenland im Allgemeinen sehr sonnig ist. Leser k{\"o}nnen also sprachliche und au{\ss}ersprachliche Informationsquellen nutzen, um daraus zu schlie{\ss}en, wie die Teile eines Diskurses zusammenh{\"a}ngen. Es ist jedoch noch unklar, ob Menschen dies immer tun. Verlassen sich zum Beispiel Sprecher verschiedener Sprachen in {\"a}hnlicher Weise auf Konnektive als Hinweise auf die Diskursrelation? Und nutzen Leser auch nicht-konnektive Signale, um Koh{\"a}renz herzustellen? In dieser Dissertation wurde daher untersucht, welche Faktoren die Sensibilit{\"a}t der Leser f{\"u}r sprachliche Signale von Diskursrelationen beeinflussen. Genauer gesagt wurden vier Faktoren untersucht, die Einfluss darauf haben k{\"o}nnten, wie Leser sprachliche Informationen {\"u}ber Diskursrelationen nutzen: Merkmale des Signals, der Diskursrelation, des Lesers und der Sprache. Zur Untersuchung dieser Faktoren pr{\"a}sentieren wir einen {\"U}berblick {\"u}ber fr{\"u}here Arbeiten sowie vier empirische Studien. Kapitel 3 gibt einen {\"U}berblick {\"u}ber die bisherige Literatur zur Natur sprachlicher Signale und ihrer Rolle bei der mentalen Repr{\"a}sentation und Verarbeitung, um zu untersuchen, wie die Eigenschaften des Signals die Sensibilit{\"a}t der Leser f{\"u}r das Signal beeinflussen. Wir definieren Diskursrelationssignal als jedwedes sprachliche Element, das Informationen {\"u}ber die Diskursrelation liefert. Wir zeigen, dass sich diese Signale in Bezug auf verschiedene Merkmale unterscheiden. So sind einige Diskurssignale, wie z.B. Konnektive, auf die Signalisierung von Diskursrelationen spezialisiert und tragen nicht zu den Wahrheitsbedingungen der Argumente bei. Andere Diskurssignale, wie Antonyme, liefern nicht nur Informationen {\"u}ber die Diskursrelation, sondern haben auch propositionale Bedeutung. Zweitens sind einige Signale informativer dar{\"u}ber, welche Diskursrelation signalisiert wird, als andere. Zum Beispiel wird weil nur in kausalen result-Relationen verwendet, w{\"a}hrend gleichzeitig sowohl in zeitlichen synchronous- als auch in negativen contrast-Relationen verwendet werden kann. Drittens unterscheiden sich Diskurssignale darin, ob ihre Form kontextabh{\"a}ngig ist. Konnektive werden grammatikalisiert und sind daher unver{\"a}nderlich, wohingegen ganze Phrasen wie aus diesem Grund, wegen des Wetters oder Antonyme durchaus ver{\"a}nderlich sind. Viertens: Die bisherigen Beispiele f{\"u}r Diskurssignale sind alle lexikalisch. Dies muss jedoch nicht der Fall sein. Es ist bekannt, dass auch die syntaktische Struktur (Crible & Pickering, 2020) und die Prosodie (Hu et al., 2023) Unterschiede zwischen den Relationstypen signalisieren. Schlie{\ss}lich haben sprachliche Signale, die nicht auf die Signalisierung der Diskursrelation spezialisiert sind, eine andere prim{\"a}re Bedeutung. Diese Bedeutung kann der der Diskursrelation {\"a}hnlich sein, wie z.B. die Negation im Fall von contrast-Relationen, sie kann aber auch unabh{\"a}ngig davon sein (wie im Fall bestimmter syntaktischer Strukturen). Auf der Grundlage von Erkenntnissen aus der bisherigen Literatur argumentieren wir, dass diese Eigenschaften beeinflussen, wie empfindlich Leser auf das sprachliche Signal reagieren. Je auff{\"a}lliger und informativer das Diskurssignal ist, desto st{\"a}rker ist seine Wirkung auf die Diskursverarbeitung und -repr{\"a}sentation. Diese Hypothese wird durch die Ergebnisse von zwei empirischen Studien gest{\"u}tzt. In Kapitel 6 untersuchten wir die Sensibilit{\"a}t der Leser f{\"u}r einen nicht-spezialisierten, nicht-lexikalischen Hinweis auf Diskursrelationen: freie Gerundien. Freie Gerundien sind Nebens{\"a}tze, die mit einem Partizip Pr{\"a}sens beginnen, wie in Painting his house, Mo wore an old sweater. (Mo trug beim Streichen seines Hauses einen alten Pullover.) Eine Korpusuntersuchung zeigt, dass freie Gerundien h{\"a}ufig in result-Relationen vorkommen. Dar{\"u}ber hinaus erwarteten die Leser mehr result-Relationen, wenn sie in einer Fortsetzungsaufgabe ein freies Gerundium vorfanden. Wir fanden jedoch keine Hinweise darauf, dass die Leser bei anderen Aufgaben auf diese Art von Signalen reagieren. Bei einer Aufgabe zur Auswahl von Paraphrasen hing die Pr{\"a}ferenz der Leser f{\"u}r freie Gerundien nicht von der Art der Relation (d. h. result oder specification) ab. Dar{\"u}ber hinaus zeigte ein self-paced reading Experiment nicht, dass das Vorhandensein eines freien Gerundiums beim Lesen von result-Relationen f{\"o}rderlich ist. Diese Ergebnisse stehen im Gegensatz zu denen aus Kapitel 5, die zeigen, dass das Vorhandensein eines Konnektivs zu einer schnelleren Verarbeitung von result-Relationen f{\"u}hrt. Im Gegensatz zu freien Gerundien sind Konnektive jedoch informativere und speziellere Signale, die zudem unver{\"a}nderlich und lexikalisch sind. In Kapitel 4 haben wir untersucht, wie die Sensibilit{\"a}t der Leser f{\"u}r Konnektive von den Eigenschaften der Diskursrelation abh{\"a}ngt. Genauer gesagt haben wir zweiself-paced reading Experimente durchgef{\"u}hrt, in denen wir den erleichternden Effekt des Vorhandenseins eines Konnektivs in result-Relationen mit contrast-Relationen (Experiment 1) und mit concession-Relationen (Experiment 2) verglichen haben. Entgegen unseren Erwartungen, die wir aus fr{\"u}heren Arbeiten ableiten konnten, fanden wir in Experiment 1 keinen Effekt des Konnektivs f{\"u}r eine der beiden Relationen, was m{\"o}glicherweise auf methodische Limitationen zur{\"u}ckzuf{\"u}hren ist. In Experiment 2 wurde die Relation jedoch schneller gelesen, wenn ein Konnektiv vorhanden war, im Vergleich dazu wenn es nicht vorhanden war. Dieser Effekt hing vom Relationstyp ab. Genauer gesagt erleichterte das Konnektiv das Lesen bei concession-Relationen, nicht aber bei result-Relationen. Dies deutet darauf hin, dass sich die Leser mehr auf ein Konnektiv verlassen, wenn die Relation ohne das Konnektiv schwieriger zu erschlie{\ss}en ist. Bei result-Relationen k{\"o}nnten die Leser zu dieser Interpretation gelangen, unabh{\"a}ngig davon, ob ein Konnektiv (vgl. causality-by-default hypothesis Sanders, 2005) vorhanden ist. In den Experimenten in Kapitel 4 wurde auch untersucht, ob die Wirkung eines Konnektivs unterschiedlich auf das Lesen im Deutschen im Vergleich zum Englischen ist (d. h. Eigenschaften der Sprache). Synthetische Sprachen, wie das Deutsche, haben mehr Flexionsmorphologie und ein h{\"o}heres Morphem-Wort-Verh{\"a}ltnis als analytische Sprachen, wie das Englische. So kodiert das Deutsche, nicht aber das Englische, Unterschiede zwischen der ersten und zweiten Person bei Verben und dem Kasus bei Substantiven. In synthetischen Sprachen ist die Bedeutung h{\"a}ufiger im sprachlichen Signal kodiert, w{\"a}hrend Sprecher analytischer Sprachen die Bedeutung h{\"a}ufiger aus dem Kontext erschlie{\ss}en m{\"u}ssen. Wir stellten daher die Hypothese auf, dass Sprecher des Deutschen st{\"a}rker auf das Vorhandensein eines Konnektivs reagieren w{\"u}rden als Sprecher des Englischen (Blumenthal-Dram{\'e}, 2021). Wir fanden jedoch in keinem der beiden Experimente Belege f{\"u}r diese Hypothese. In Kapitel 5 haben wir untersucht, ob die Sensibilit{\"a}t der Leser f{\"u}r das Vorhandensein eines Konnektivs von einer anderen Eigenschaft der Relation, der Vorhersagbarkeit der Relation, abh{\"a}ngt. Fr{\"u}here Studien haben gezeigt, w{\"a}hrend des Verstehens von Sprache st{\"a}ndig Vorhersagen getroffen werden (z.B. Altmann & Kamide, 1999; Heilbron et al., 2022) und dass die Verarbeitungsschwierigkeit eines Wortes proportional zu seiner Unerwartetheit ist (vgl. Levy, 2008; Wilcox et al., 2023). Wir untersuchten, ob dies auch f{\"u}r die Verarbeitung von Diskursrelationen gilt. Genauer gesagt untersuchten wir zwei Arten von Unerwartetheit: die des Relationstyps (d. h., ob die Relation ein result war oder nicht) und die des Inhalts der Relation. Zur Veranschaulichung: Wenn man Angela hatte monatelang die Miete nicht bezahlt liest, k{\"o}nnten die Leser Erwartungen dar{\"u}ber haben, ob der Sprecher als n{\"a}chstes dar{\"u}ber sprechen wird, warum Angela die Miete nicht bezahlt hat (d. h. eine reason-Relation) oder dar{\"u}ber, was die Konsequenzen dieses Zahlungsr{\"u}ckstands sind (d. h. eine result-Relation). Mit anderen Worten, sie sagen den Relationstyp voraus. Dar{\"u}ber hinaus k{\"o}nnten Leser vorhersagen, was solche Folgen sein k{\"o}nnten (z.B. der Besuch eines ver{\"a}rgerten Vermieters oder eine Zwangsr{\"a}umung). Dabei handelt es sich um eine Vorhersage {\"u}ber den Inhalt der Relation. Wir stellten die Hypothese auf, dass die Schwierigkeit der Verarbeitung von Angela wurde zwangsger{\"a}umt proportional zur Unerwartetheit des Relationstyps und des Inhalts angesichts des Kontexts sein w{\"u}rde. Dar{\"u}ber hinaus wollten wir untersuchen, ob dies den erleichternden Effekt des Konnektivs erkl{\"a}ren w{\"u}rde: Das Konnektiv k{\"o}nnte die Unerwartetheit des bevorstehenden Relationstyps und -inhalts verringern und damit die Verarbeitungsschwierigkeiten reduzieren. In einem Experiment zur Satzvervollst{\"a}ndigung konnten wir tats{\"a}chlich zeigen, dass result-Relationen eher erwartet werden, wenn ein Konnektiv vorhanden ist, und dass dies den Lesern hilft, genauere Vorhersagen {\"u}ber den Inhalt zu treffen. In einem anschlie{\ss}enden self-paced reading Experiment und Eye-Tracking fanden wir Hinweise darauf, dass vorhersehbare Inhalte schneller gelesen werden. Wenn die Relation result erwarteter war, wurde die Relation ebenfalls schneller gelesen, aber nur, wenn diese genauere Vorhersagen {\"u}ber den Inhalt erm{\"o}glichte. {\"U}berraschenderweise stellten wir fest, dass first-pass Lesezeiten bei vorhersehbareren result-Relationen l{\"a}nger waren, wenn man andere Arten von Unerwartetheit (z.B. {\"u}ber die Inhalt des Relations) ber{\"u}cksichtigt. M{\"o}glicherweise wollen die Leser ihre Vorhersage {\"u}ber die Art der Relation best{\"a}tigen, wenn sich ihre Vorhersage {\"u}ber den Inhalt nicht best{\"a}tigte. Dar{\"u}ber hinaus war der erleichternde Effekt des Konnektivs unabh{\"a}ngig von den Auswirkungen der Unerwartetheit. Zusammengefasst fanden wir keine Hinweise darauf, dass die Sensibilit{\"a}t der Leser f{\"u}r das Vorhandensein eines Konnektivs davon abh{\"a}ngt, wie vorhersehbar der Relationstyp oder der Inhalt ist. In Kapitel 7 wurde untersucht, ob und wie die Eigenschaften des Lesers an sich einen Einfluss darauf haben, ob er sprachliche Signale ausnutzt. Genauer gesagt fragten wir ob Fachwissen die Interpretation von Diskursrelationen und die Nutzung sprachlicher Signale durch den Leser beeinflusst. Wir baten Experten aus den Bereichen Biomedizin und Wirtschaft Konnektive in Texte aus ihrer eigenen Dom{\"a}ne (z.B. biomedizinische Experten, die biomedizinische Forschungsarbeiten lesen) und aus der anderen Dom{\"a}ne (z.B. biomedizinische Experten, die Wirtschaftszeitungen lesen) einzuf{\"u}gen. Diese Konnektive wurden in Relationsklassen eingeteilt, um ihre Genauigkeit bei der Ableitung der Zielrelation zu untersuchen. Biomedizinische Experten waren bei der Ableitung von Relationen in biomedizinischen Texten erfolgreicher als Wirtschaftsexperten, was zeigt, dass die Leser ihr Fachwissen nutzen, um Diskursrelationen abzuleiten. Bei der Interpretation von Relationen in den Wirtschaftszeitungen wurde kein solcher Unterschied festgestellt, wahrscheinlich weil diese sich an ein breiteres Publikum richten als biomedizinische Forschungsarbeiten. Wenn die Relation nicht auf der Grundlage des vorhandenen Wissens abgeleitet werden kann, nehmen die Leser unspezifizierte Interpretationen vor. Dar{\"u}ber hinaus zeigen wir, dass Leser sprachliche Signale f{\"u}r Diskursrelationen nutzen, aber dass solche Hinweise manchmal Fachwissen erfordern. Um zum Beispiel zu verstehen, dass zwei Begriffe Antonyme sind, m{\"u}ssen die Leser zun{\"a}chst wissen, was diese Begriffe bedeuten. Doch selbst wenn diese Signale nur allgemeines Wissen erfordern, nutzten Leser mit geringen Kenntnissen sie nicht immer. Dies deutet darauf hin, dass nicht-konnektive Signale vom Leser nur genutzt werden um bereits bestehende Interpretationen von Diskursrelationen zu best{\"a}tigen. Die Untersuchungen in dieser Dissertation liefern wertvolle Einblicke in verschiedene Theorien der Sprachverarbeitung. Zun{\"a}chst einmal zeigen die Ergebnisse in Bezug auf die Diskursverarbeitung, dass Leser sowohl sprachliche (Konnektive und nichtkonnektive Signale) als auch au{\ss}ersprachliche Informationsquellen (Hintergrundwissen) nutzen, um Koh{\"a}renz herzustellen. Wir zeigen auch, dass die Sensibilit{\"a}t der Leser f{\"u}r Signale von Diskursrelationen von den Eigenschaften des Signals, der Relation und auch des Lesers selbst abh{\"a}ngt. So ist die Wirkung eines sprachlichen Signals st{\"a}rker, wenn es auff{\"a}lliger und informativer ist, die Relation nicht kausal ist und der Leser sich auf vorhandenes Wissen verlassen kann, um die Bedeutung des Signals zu best{\"a}tigen. Zweitens leisten die hier vorgestellten Untersuchungen einen Beitrag zu informationstheoretischen Konzepten der Sprachverarbeitung, indem sie zeigen, dass die Unerwartetheit des Inhalts und der Diskursstruktur die Verarbeitungsschwierigkeiten beeinflussen, aber nicht die erleichternde Wirkung des Konnektivs erkl{\"a}ren. Drittens leistet die vorliegende Dissertation einen Beitrag zur Forschung {\"u}ber statistisches Lernen, indem sie aufzeigt, dass Leser sich der Korrelationen zwischen syntaktischer Struktur und Bedeutung auf Diskursebene bewusst sind. Viertens zeigt die Arbeit im Hinblick auf die Forschung zu individuellen Unterschieden, dass die Interpretation von Diskursrelationen und die Verwendung von sprachlichen Signalen vom Hintergrundwissen der Leser abh{\"a}ngt. F{\"u}nftens erweitern wir die sprach{\"u}bergreifende Forschung zur Sprachverarbeitung und stellen fest, dass es sprach{\"u}bergreifende {\"A}hnlichkeiten bei der Verwendung von Konnektiven zur Verarbeitung von Diskursrelationen gibt. Schliesslich unterstreicht diese Dissertation auch die Bedeutung konvergenter Evidenz, indem sie zeigt, dass die Kombination von verschiedenen wissenschaftlichen Methoden die Theoriebildung erleichtern kann.},
pubstate = {published},
type = {phdthesis}
}

Copy BibTeX to Clipboard

Project:   B2

Varghese, Nobel; Yung, Frances Pik Yu; Anuranjana, Kaveri; Demberg, Vera

Exploiting Knowledge about Discourse Relations for Implicit Discourse Relation Classification Inproceedings

Strube, Michael; Braud, Chloe; Hardmeier, Christian; Jessy Li, Junyi; Loaiciga, Sharid; Zeldes, Amir (Ed.): Proceedings of the 4th Workshop on Computational Approaches to Discourse (CODI 2023), Association for Computational Linguistics, pp. 99-105, Toronto, Canada, 2023.

In discourse relation recognition, the classification labels are typically represented as one-hot vectors. However, the categories are in fact not all independent of one another on the contrary, there are several frameworks that describe the labels‘ similarities (by e.g. sorting them into a hierarchy or describing them interms of features (Sanders et al., 2021)). Recently, several methods for representing the similarities between labels have been proposed (Zhang et al., 2018; Wang et al., 2018; Xiong et al., 2021). We here explore and extend the Label Confusion Model (Guo et al., 2021) for learning a representation for discourse relation labels. We explore alternative ways of informing the model about the similarities between relations, by representing relations in terms of their names (and parent category), their typical markers, or in terms of CCR features that describe the relations. Experimental results show that exploiting label similarity improves classification results.

@inproceedings{varghese-etal-2023-exploiting,
title = {Exploiting Knowledge about Discourse Relations for Implicit Discourse Relation Classification},
author = {Nobel Varghese and Frances Pik Yu Yung and Kaveri Anuranjana and Vera Demberg},
editor = {Michael Strube and Chloe Braud and Christian Hardmeier and Junyi Jessy Li and Sharid Loaiciga and Amir Zeldes},
url = {https://doi.org/10.18653/v1/2023.codi-1.13},
doi = {https://doi.org/10.18653/v1/2023.codi-1.13},
year = {2023},
date = {2023},
booktitle = {Proceedings of the 4th Workshop on Computational Approaches to Discourse (CODI 2023)},
pages = {99-105},
publisher = {Association for Computational Linguistics},
address = {Toronto, Canada},
abstract = {In discourse relation recognition, the classification labels are typically represented as one-hot vectors. However, the categories are in fact not all independent of one another on the contrary, there are several frameworks that describe the labels' similarities (by e.g. sorting them into a hierarchy or describing them interms of features (Sanders et al., 2021)). Recently, several methods for representing the similarities between labels have been proposed (Zhang et al., 2018; Wang et al., 2018; Xiong et al., 2021). We here explore and extend the Label Confusion Model (Guo et al., 2021) for learning a representation for discourse relation labels. We explore alternative ways of informing the model about the similarities between relations, by representing relations in terms of their names (and parent category), their typical markers, or in terms of CCR features that describe the relations. Experimental results show that exploiting label similarity improves classification results.},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Project:   B2

Lin, Pin-Jie; Saeed, Muhammed; Chang, Ernie; Scholman, Merel

Low-Resource Cross-Lingual Adaptive Training for Nigerian Pidgin Inproceedings

Proceedings of the 24th INTERSPEECH conference, 2023.

Developing effective spoken language processing systems for low-resource languages poses several challenges due to the lack of parallel data and limited resources for fine-tuning models. In this work, we target on improving upon both text classification and translation of Nigerian Pidgin (Naija) by collecting a large-scale parallel English-Pidgin corpus and further propose a framework of cross-lingual adaptive training that includes both continual and task adaptive training so as to adapt a base pre-trained model to low-resource languages. Our studies show that English pre-trained language models serve as a stronger prior than multilingual language models on English-Pidgin tasks with up to 2.38 BLEU improvements; and demonstrate that augmenting orthographic data and using task adaptive training with back-translation can have a significant impact on model performance.

@inproceedings{lin-et-al-2023,
title = {Low-Resource Cross-Lingual Adaptive Training for Nigerian Pidgin},
author = {Pin-Jie Lin and Muhammed Saeed and Ernie Chang and Merel Scholman},
url = {https://arxiv.org/abs/2307.00382},
year = {2023},
date = {2023},
booktitle = {Proceedings of the 24th INTERSPEECH conference},
abstract = {Developing effective spoken language processing systems for low-resource languages poses several challenges due to the lack of parallel data and limited resources for fine-tuning models. In this work, we target on improving upon both text classification and translation of Nigerian Pidgin (Naija) by collecting a large-scale parallel English-Pidgin corpus and further propose a framework of cross-lingual adaptive training that includes both continual and task adaptive training so as to adapt a base pre-trained model to low-resource languages. Our studies show that English pre-trained language models serve as a stronger prior than multilingual language models on English-Pidgin tasks with up to 2.38 BLEU improvements; and demonstrate that augmenting orthographic data and using task adaptive training with back-translation can have a significant impact on model performance.},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Project:   B2

Hoek, Jet; Scholman, Merel

Expressing non-volitional causality in English Book Chapter

Jędrzejowski, Łukasz; Fleczoreck, Constanze (Ed.): Micro- and Macro-variation of Causal Clauses: Synchronic and Diachronic Insights, John Benjamins Publishing Company, pp. 167–183, Amsterdam, 2023.
English because is assumed to be polysemous in that it can be used to mark causal relations in all domains. The current study examines this claim and explores the suitability of because to mark non-volitional content relations. In a parallel corpus study, we investigate how causal relations translated into Dutch using doordat (prototypically marking non-volitional causal relations), omdat (marking content relations), and want (marking epistemic and speech act relations) were originally expressed in English. The results show that while omdat and want are indeed typically translations of because in English, non-volitional doordat is not. A qualitative analysis reveals that non-volitional causality is more often expressed in English in a single discourse unit or using a connective restricted to the content domain. These findings have important consequences for the presumed domain generality of English because and call for a reconsideration of English translation recommendations for doordat.

@inbook{hoek-scholman-2023,
title = {Expressing non-volitional causality in English},
author = {Jet Hoek and Merel Scholman},
editor = {Łukasz Jędrzejowski and Constanze Fleczoreck},
url = {https://benjamins.com/catalog/slcs.231.06hoe},
year = {2023},
date = {2023},
booktitle = {Micro- and Macro-variation of Causal Clauses: Synchronic and Diachronic Insights},
pages = {167–183},
publisher = {John Benjamins Publishing Company},
address = {Amsterdam},
abstract = {

English because is assumed to be polysemous in that it can be used to mark causal relations in all domains. The current study examines this claim and explores the suitability of because to mark non-volitional content relations. In a parallel corpus study, we investigate how causal relations translated into Dutch using doordat (prototypically marking non-volitional causal relations), omdat (marking content relations), and want (marking epistemic and speech act relations) were originally expressed in English. The results show that while omdat and want are indeed typically translations of because in English, non-volitional doordat is not. A qualitative analysis reveals that non-volitional causality is more often expressed in English in a single discourse unit or using a connective restricted to the content domain. These findings have important consequences for the presumed domain generality of English because and call for a reconsideration of English translation recommendations for doordat.
},
pubstate = {published},
type = {inbook}
}

Copy BibTeX to Clipboard

Project:   B2

Marchal, Marian; Scholman, Merel; Demberg, Vera

How Statistical Correlations Influence Discourse-Level Processing: Clause Type as a Cue for Discourse Relations Journal Article

Journal of Experimental Psychology: Learning, Memory, and Cognition, Advance online publication, 2023.
Linguistic phenomena (e.g., words and syntactic structure) co-occur with a wide variety of meanings. These systematic correlations can help readers to interpret a text and create predictions about upcoming material. However, to what extent these correlations influence discourse processing is still unknown. We address this question by examining whether clause type serves as a cue for discourse relations. We found that the co-occurrence of gerund-free adjuncts and specific discourse relations found in natural language is also reflected in readers’ offline expectations for discourse relations. However, we also found that clause structure did not facilitate the online processing of these discourse relations, nor that readers have a preference for these relations in a paraphrase selection task. The present research extends previous research on discourse relation processing, which mostly focused on lexical cues, by examining the role of non-semantic cues. We show that readers are aware of correlations between clause structure and discourse relations in natural language, but that, unlike what has been found for lexical cues, this information does not seem to influence online processing and discourse interpretation.

@article{marchal-etal-2023,
title = {How Statistical Correlations Influence Discourse-Level Processing: Clause Type as a Cue for Discourse Relations},
author = {Marian Marchal and Merel Scholman and Vera Demberg},
url = {https://doi.org/10.1037/xlm0001270},
year = {2023},
date = {2023},
journal = {Journal of Experimental Psychology: Learning, Memory, and Cognition},
publisher = {Advance online publication},
abstract = {

Linguistic phenomena (e.g., words and syntactic structure) co-occur with a wide variety of meanings. These systematic correlations can help readers to interpret a text and create predictions about upcoming material. However, to what extent these correlations influence discourse processing is still unknown. We address this question by examining whether clause type serves as a cue for discourse relations. We found that the co-occurrence of gerund-free adjuncts and specific discourse relations found in natural language is also reflected in readers’ offline expectations for discourse relations. However, we also found that clause structure did not facilitate the online processing of these discourse relations, nor that readers have a preference for these relations in a paraphrase selection task. The present research extends previous research on discourse relation processing, which mostly focused on lexical cues, by examining the role of non-semantic cues. We show that readers are aware of correlations between clause structure and discourse relations in natural language, but that, unlike what has been found for lexical cues, this information does not seem to influence online processing and discourse interpretation.
},
pubstate = {published},
type = {article}
}

Copy BibTeX to Clipboard

Project:   B2

Yung, Frances Pik Yu; Scholman, Merel; Lapshinova-Koltunski, Ekaterina; Pollkläsener, Christina; Demberg, Vera

Investigating Explicitation of Discourse Connectives in Translation Using Automatic Annotations Inproceedings

Stoyanchev, Svetlana; Joty, Shafiq; Schlangen, David; Dusek, Ondrej; Kennington, Casey; Alikhani, Malihe (Ed.): Proceedings of the 24th Meeting of Special Interest Group on Discourse and Dialogue (SIGDIAL), Association for Computational Linguistics, pp. 21-30, Prague, Czechia, 2023.

Discourse relations have different patterns of marking across different languages. As a result, discourse connectives are often added, omitted, or rephrased in translation. Prior work has shown a tendency for explicitation of discourse connectives, but such work was conducted using restricted sample sizes due to difficulty of connective identification and alignment. The current study exploits automatic methods to facilitate a large-scale study of connectives in English and German parallel texts. Our results based on over 300 types and 18000 instances of aligned connectives and an empirical approach to compare the cross-lingual specificity gap provide strong evidence of the Explicitation Hypothesis. We conclude that discourse relations are indeed more explicit in translation than texts written originally in the same language. Automatic annotations allow us to carry out translation studies of discourse relations on a large scale. Our methodology using relative entropy to study the specificity of connectives also provides more fine-grained insights into translation patterns.

@inproceedings{yung-etal-2023-investigating,
title = {Investigating Explicitation of Discourse Connectives in Translation Using Automatic Annotations},
author = {Frances Pik Yu Yung and Merel Scholman and Ekaterina Lapshinova-Koltunski and Christina Pollkl{\"a}sener and Vera Demberg},
editor = {Svetlana Stoyanchev and Shafiq Joty and David Schlangen and Ondrej Dusek and Casey Kennington and Malihe Alikhani},
url = {https://aclanthology.org/2023.sigdial-1.2},
doi = {https://doi.org/10.18653/v1/2023.sigdial-1.2},
year = {2023},
date = {2023},
booktitle = {Proceedings of the 24th Meeting of Special Interest Group on Discourse and Dialogue (SIGDIAL)},
pages = {21-30},
publisher = {Association for Computational Linguistics},
address = {Prague, Czechia},
abstract = {Discourse relations have different patterns of marking across different languages. As a result, discourse connectives are often added, omitted, or rephrased in translation. Prior work has shown a tendency for explicitation of discourse connectives, but such work was conducted using restricted sample sizes due to difficulty of connective identification and alignment. The current study exploits automatic methods to facilitate a large-scale study of connectives in English and German parallel texts. Our results based on over 300 types and 18000 instances of aligned connectives and an empirical approach to compare the cross-lingual specificity gap provide strong evidence of the Explicitation Hypothesis. We conclude that discourse relations are indeed more explicit in translation than texts written originally in the same language. Automatic annotations allow us to carry out translation studies of discourse relations on a large scale. Our methodology using relative entropy to study the specificity of connectives also provides more fine-grained insights into translation patterns.},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Projects:   B2 B7

Pyatkin, Valentina; Yung, Frances Pik Yu; Scholman, Merel; Tsarfaty, Reut; Dagan, Ido ; Demberg, Vera

Design Choices for Crowdsourcing Implicit Discourse Relations: Revealing the Biases introduced by Task Design Journal Article

Transactions of the Association for Computational Linguistics (TACL) , 2023.

Disagreement in natural language annotation has mostly been studied from a perspective of biases introduced by the annotators and the annotation frameworks. Here, we propose to analyze another source of bias: task design bias, which has a particularly strong impact on crowdsourced linguistic annotations where natural language is used to elicit the interpretation of laymen annotators. For this purpose we look at implicit discourse relation annotation, a task that has repeatedly been shown to be difficult due to the relations‘ ambiguity. We compare the annotations of 1,200 discourse relations obtained using two distinct annotation tasks and quantify the biases of both methods across four different domains. Both methods are natural language annotation tasks designed for crowdsourcing. We show that the task design can push annotators towards certain relations and that some discourse relations senses can be better elicited with one or the other annotation approach. We also conclude that this type of bias should be taken into account when training and testing models.

@article{Pyatkinetal.,
title = {Design Choices for Crowdsourcing Implicit Discourse Relations: Revealing the Biases introduced by Task Design},
author = {Valentina Pyatkin and Frances Pik Yu Yung and Merel Scholman and Reut Tsarfaty and Ido Dagan and Vera Demberg},
url = {https://arxiv.org/abs/2304.00815},
year = {2023},
date = {2023},
journal = {Transactions of the Association for Computational Linguistics (TACL)},
abstract = {Disagreement in natural language annotation has mostly been studied from a perspective of biases introduced by the annotators and the annotation frameworks. Here, we propose to analyze another source of bias: task design bias, which has a particularly strong impact on crowdsourced linguistic annotations where natural language is used to elicit the interpretation of laymen annotators. For this purpose we look at implicit discourse relation annotation, a task that has repeatedly been shown to be difficult due to the relations' ambiguity. We compare the annotations of 1,200 discourse relations obtained using two distinct annotation tasks and quantify the biases of both methods across four different domains. Both methods are natural language annotation tasks designed for crowdsourcing. We show that the task design can push annotators towards certain relations and that some discourse relations senses can be better elicited with one or the other annotation approach. We also conclude that this type of bias should be taken into account when training and testing models.},
pubstate = {published},
type = {article}
}

Copy BibTeX to Clipboard

Project:   B2

Scholman, Merel; Blything, Liam; Cain, Kate; Evers-Vermeul, Jacqueline

Discourse Rules:The Effects of Clause Order Principles on the Reading Process Journal Article

Language, Cognition and Neuroscience, 37(10), pp. 1277-1291, 2022, ISSN 2327-3798 .

In an eye-tracking-while-reading study, we investigated adult monolinguals’ (N=80) processing of two-clause sentences embedded in short narratives. Three principles theorized to guide comprehension of complex sentences were contrasted: one operating at the clause level, namely clause structure (main clause – subordinate clause or vice versa), and two operating at the discourse-level, namely givenness (given-new vs. new-given) and event order (chronological vs. reverse order). The results indicate that clause structure mainly affects early stages of processing, whereas the two principles operating at the discourse level are more important during later stages and for reading times of the entire sentence. Event order was found to operate relatively independently of the other principles. Givenness was found to overrule clause structure, a phenomenon that can be related to the grounding function of preposed subordinate clauses. We propose a new principle to reflect this interaction effect: the grounding principle.

@article{Merel_Rules_2022,
title = {Discourse Rules:The Effects of Clause Order Principles on the Reading Process},
author = {Merel Scholman and Liam Blything and Kate Cain and Jacqueline Evers-Vermeul},
url = {https://www.tandfonline.com/doi/full/10.1080/23273798.2022.2077971},
doi = {https://doi.org/10.1080/23273798.2022.2077971},
year = {2022},
date = {2022},
journal = {Language, Cognition and Neuroscience},
pages = {1277-1291},
volume = {37(10)},
abstract = {In an eye-tracking-while-reading study, we investigated adult monolinguals’ (N=80) processing of two-clause sentences embedded in short narratives. Three principles theorized to guide comprehension of complex sentences were contrasted: one operating at the clause level, namely clause structure (main clause - subordinate clause or vice versa), and two operating at the discourse-level, namely givenness (given-new vs. new-given) and event order (chronological vs. reverse order). The results indicate that clause structure mainly affects early stages of processing, whereas the two principles operating at the discourse level are more important during later stages and for reading times of the entire sentence. Event order was found to operate relatively independently of the other principles. Givenness was found to overrule clause structure, a phenomenon that can be related to the grounding function of preposed subordinate clauses. We propose a new principle to reflect this interaction effect: the grounding principle.},
pubstate = {published},
type = {article}
}

Copy BibTeX to Clipboard

Project:   B2

Mayn, Alexandra; Demberg, Vera

Pragmatics of Metaphor Revisited: Modeling the Role of Degree and Salience in Metaphor Understanding Inproceedings

Proceedings of the Annual Meeting of the Cognitive Science Society, 43(43), CogSci2022, pp. 3178ff., 2022.

Experimental pragmatics tells us that a metaphor conveys salient features of a vehicle and that highly typical featurestend to be salient. But can highly atypical features also be salient? When asking if John is loyal and hearing “John is afox”, will the hearer conclude that John is disloyal because loyalty is saliently atypical for a fox? This prediction followsfrom our RSA-based model of metaphor understanding which relies on gradient salience. Our behavioral experimentscorroborate the model’s predictions, providing evidence that high and low typicality are salient and result in high in-terpretation confidence and agreement, while average typicality is not salient and makes a metaphor confusing. Ourmodel implements the idea that other features of a vehicle, along with possible alternative vehicles, influence metaphorinterpretation. It produces a significantly better fit compared to an existing RSA model of metaphor understanding,supporting our predictions about the factors at play.

@inproceedings{Mayn_2022_of,
title = {Pragmatics of Metaphor Revisited: Modeling the Role of Degree and Salience in Metaphor Understanding},
author = {Alexandra Mayn and Vera Demberg},
url = {https://escholarship.org/uc/item/7kq207zs},
year = {2022},
date = {2022},
booktitle = {Proceedings of the Annual Meeting of the Cognitive Science Society, 43(43)},
pages = {3178ff.},
publisher = {CogSci2022},
abstract = {Experimental pragmatics tells us that a metaphor conveys salient features of a vehicle and that highly typical featurestend to be salient. But can highly atypical features also be salient? When asking if John is loyal and hearing “John is afox”, will the hearer conclude that John is disloyal because loyalty is saliently atypical for a fox? This prediction followsfrom our RSA-based model of metaphor understanding which relies on gradient salience. Our behavioral experimentscorroborate the model’s predictions, providing evidence that high and low typicality are salient and result in high in-terpretation confidence and agreement, while average typicality is not salient and makes a metaphor confusing. Ourmodel implements the idea that other features of a vehicle, along with possible alternative vehicles, influence metaphorinterpretation. It produces a significantly better fit compared to an existing RSA model of metaphor understanding,supporting our predictions about the factors at play.},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Project:   B2

Scholman, Merel; Pyatkin, Valentina; Yung, Frances Pik Yu; Dagan, Ido ; Tsarfaty, Reut; Demberg, Vera

Design Choices in Crowdsourcing Discourse Relation Annotations: The Effect of Worker Selection and Training Inproceedings

Proceedings of the Thirteenth Language Resources and Evaluation Conference, Marseille, France, European Language Resources Association, pp. 2148–2156, 2022.

Obtaining linguistic annotation from novice crowdworkers is far from trivial. A case in point is the annotation of discourse relations, which is a complicated task. Recent methods have obtained promising results by extracting relation labels from either discourse connectives (DCs) or question-answer (QA) pairs that participants provide. The current contribution studies the effect of worker selection and training on the agreement on implicit relation labels between workers and gold labels, for both the DC and the QA method. In Study 1, workers were not specifically selected or trained, and the results show that there is much room for improvement. Study 2 shows that a combination of selection and training does lead to improved results, but the method is cost- and time-intensive. Study 3 shows that a selection-only approach is a viable alternative; it results in annotations of comparable quality compared to annotations from trained participants. The results generalized over both the DC and QA method and therefore indicate that a selection-only approach could also be effective for other crowdsourced discourse annotation tasks.

@inproceedings{ Scholmanet-al22-3,
title = {Design Choices in Crowdsourcing Discourse Relation Annotations: The Effect of Worker Selection and Training},
author = {Merel Scholman and Valentina Pyatkin and Frances Pik Yu Yung and Ido Dagan and Reut Tsarfaty and Vera Demberg},
url = {https://aclanthology.org/2022.lrec-1.231/},
year = {2022},
date = {2022},
booktitle = {Proceedings of the Thirteenth Language Resources and Evaluation Conference, Marseille, France},
pages = {2148–2156},
publisher = {European Language Resources Association},
abstract = {Obtaining linguistic annotation from novice crowdworkers is far from trivial. A case in point is the annotation of discourse relations, which is a complicated task. Recent methods have obtained promising results by extracting relation labels from either discourse connectives (DCs) or question-answer (QA) pairs that participants provide. The current contribution studies the effect of worker selection and training on the agreement on implicit relation labels between workers and gold labels, for both the DC and the QA method. In Study 1, workers were not specifically selected or trained, and the results show that there is much room for improvement. Study 2 shows that a combination of selection and training does lead to improved results, but the method is cost- and time-intensive. Study 3 shows that a selection-only approach is a viable alternative; it results in annotations of comparable quality compared to annotations from trained participants. The results generalized over both the DC and QA method and therefore indicate that a selection-only approach could also be effective for other crowdsourced discourse annotation tasks.},
pubstate = {published},
type = {inproceedings}
}

Copy BibTeX to Clipboard

Project:   B2

Successfully