@phdthesis{aurnhammer2024thesis,
title = {Expectation-based retrieval and integration in language comprehension},
author = {Christoph Aurnhammer},
url = {https://doi.org/10.22028/D291-41500},
doi = {https://doi.org/10.22028/D291-41500},
year = {2024},
date = {2024},
school  = {Saarland University},
publisher = {Saarl{\"a}ndische Universit{\"a}ts- und Landesbibliothek},
address = {Saarbruecken, Germany},
abstract = {To understand language, comprehenders must retrieve the meaning associated with the words they perceive from memory and they must integrate retrieved word meanings into a representation of utterance meaning. During incremental comprehension, both processes are constrained by what has been understood so far and hence are expectation-based mechanisms. Psycholinguistic experiments measuring the electrical activity of the brain have provided key evidence that may elucidate how the language comprehension system organises and implements expectation-based retrieval and integration. However, the field has converged neither on a generally accepted formalisation of these processes nor on their mapping to the two most salient components of the event-related potential signal, the N400 and the P600. Retrieval-Integration theory offers a mechanistic account of the underpinnings of language comprehension and posits that retrieval is indexed by the N400 and integration is indexed by the P600. Following these core assumptions, this thesis demonstrates the expectation-based nature of language comprehension in which both retrieval (N400) and integration (P600) are influenced by expectations derived from an incrementally constructed utterance meaning representation. Critically, our results also indicate that lexical association to the preceding context modulates the N400 but not the P600, affirming the relation of the N400 to retrieval, rather than to integration. Zooming in on the role of integration, we reveal an important novel dimension to the interpretation of the P600 by demonstrating that P600 amplitude — and not N400 amplitude — is continuously related to utterance meaning plausibility. Finally, we examine the single-trial dynamics of retrieval and integration, establishing that words that are more effortful to retrieve tend to be more effortful to integrate, as evidenced by a within-trial correlation of N400 and P600 amplitude. These results are in direct opposition to traditional and more recent proposals arguing that (1) the N400 indexes integration processes, (2) integration — as indexed by the N400 — is merely “quasi-compositional”, and (3) the P600 is a reflection of conflicting interpretations generated in a multi-stream architecture. Rather, our findings indicate that (1) integration is continuously indexed by the P600, (2) integration is fully compositional, and (3) a single-stream architecture in which the N400 continuously indexes retrieval and the P600 continuously indexes integration is sufficient to account for the key ERP data. We conclude that retrieval and integration are two central mechanisms underlying language processing and that the N400 and the P600 should be considered part of the default ERP signature of utterance comprehension. Future study of expectation-based language processing should adopt a comprehension-centric view on expectancy and hence focus on integration effort, as indexed by the P600.

<hr />

Um Sprache zu verstehen, m{\"u}ssen Menschen die Bedeutung einzelner Worte abrufen und sie m{\"u}ssen die Bedeutungen dieser Worte in eine Bedeutungsrepr{\"a}sentation der {\"A}u{\ss}erung integrieren. Diese Prozesse erfolgen inkrementell: Mehr oder weniger jedes wahrgenommene Wort eines Satzes wird sofort einem Bedeutungsabrufungsprozess unterzogen und die abgerufene Wortbedeutung wird in die {\"A}u{\ss}erungsbedeutung integriert. Die inkrementelle Sprachverarbeitung ist dabei nicht allein von den wahrgenommen Informationen bestimmt sondern stark erwartungsbasiert: Das bislang Verstandene weckt Erwartungen dar{\"u}ber, was als n{\"a}chstes kommuniziert wird. Zum Beispiel erleichtert das Verarbeiten des Teilsatzes „Gestern sch{\"a}rfte der Holzf{\"a}ller die ...“ die Bedeutungsabrufung und Bedeutungsintegration f{\"u}r das Wort „Axt“ (Beispiel aus Kapitel 3). Lautet der Teilsatz jedoch „Gestern a{\ss} der Holzf{\"a}ller die ...“ sollte keine Erleichterung f{\"u}r Abrufung und Integration desWortes „Axt“ gegeben sein. Zentraler Baustein hierf{\"u}r ist die inkrementell erstellte Bedeutungsrepr{\"a}sentation des Teilsatzes. Die Teilsatzbedeutung kann m{\"o}gliche zuk{\"u}nftigeWortbedeutungen voraktivieren und dadurch deren Abrufung erleichtern. Ebenso kann die bislang erstellte Bedeutung der {\"A}u{\ss}erung die Integration vonWortbedeutungen in die angepasste {\"A}u{\ss}erungsbedeutung erleichtern, wenn die neuen Informationen dem Weltwissen gem{\"a}{\ss} erwartbar sind. Der Einfluss der Bedeutungsrepr{\"a}sentation einer {\"A}u{\ss}erung auf Abrufung und Integration l{\"a}sst sich mit dem generellen Begriff der Erwartbarkeit eines Wortes beschreiben. Diese Dissertation fu{\ss}t auf der Annahme, dass das Sprachverst{\"a}ndnis ma{\ss}geblich durch die erwartungsbasierten Prozesse der Bedeutungsabrufung und Bedeutungsintegration gepr{\"a}gt ist. Wenn diese beiden Prozesse tats{\"a}chlich ma{\ss}gebliche Bestandteile des Sprachverst{\"a}ndnisses sind, stellt sich die Frage, wie der kognitive Aufwand der Abrufung und der Integration gemessen werden kann. Ein vielversprechender Ansatz um zu verstehen, wie Menschen Bedeutung abrufen und integrieren, w{\"a}re es, die „Hardware“, welche diese kognitiven Prozesse implementiert – n{\"a}mlich das menschliche Gehirn – direkt zu messen, w{\"a}hrend Versuchspersonen Sprache verarbeiten. In der Tat wurden entscheidende Erkenntnisse {\"u}ber das Wie und Wann des Sprachverst{\"a}ndnisses im Gehirn durch die Messung ereigniskorrelierter Potentiale (EKP) gewonnen. EKP werden aus dem Elektroenzephalogramm (EEG) berechnet und offenbaren die auf der Kopfhaut gemessene elektrische Aktivit{\"a}t des Gehirns im Verlauf der Zeit nach der Pr{\"a}sentation eines Stimulus. In den Experimenten, welche f{\"u}r diese Arbeit durchgef{\"u}hrt wurden, werden als Stimuli einzelne Worte, welche zusammen einen Satz formen, pr{\"a}sentiert. Dadurch l{\"a}sst sich zum Beispiel das EKP erwartbarerWorte mit jenem nicht erwartbarer Worte vergleichen („Gestern [sch{\"a}rfte/a{\ss}] der Holzf{\"a}ller die Axt“). Unterschiede in der Erwartbarkeit eines Wortes gehen im EKP – unter anderem – mit Unterschieden in der Amplitude sogenannter EKP-Komponenten, zeitlich abgegrenzter Teile des EKPs, einher. Zwei EKP-Komponenten haben im Besonderen zu wichtigen Erkenntnissen f{\"u}r die Erforschung des Sprachverst{\"a}ndnisses gef{\"u}hrt: Die N400-Komponente, ein negativer Ausschlag des EKPs, welcher etwa 400 Millisekunden nach der Pr{\"a}sentation eines Stimulus seine maximale Amplitude erreicht, und die P600-Komponente, eine anhaltende, positive Abweichung des Signals, welche etwa ab 600 Millisekunden nach der Pr{\"a}sentation des Stimulus sichtbar wird. Seit der Entdeckung dieser EKP-Komponenten hat die elektrophysiologische Forschung die Sensitivit{\"a}t beider Komponenten hinsichtlich verschiedener sprachlicher sowie nicht-sprachlicher Variablen untersucht. Trotz der Vielzahl der EKP-Resultate, welche innerhalb der Sprachverarbeitungsforschung vorgelegt wurden, ist das Forschungsfeld weder bei einer allgemein anerkannten formellen Beschreibung der zum Sprachverst{\"a}ndnis notwendigen Prozesse (z.B. Abrufung und Integration) noch zu einer unumstrittenen Zuordnung dieser Prozesse zu EKPKomponenten (z.B. N400 und P600) angelangt. Die daraus resultierende Ungewissheit behindert Fortschritte in der Beschreibung der neurokognitiven Implementation des Sprachverst{\"a}ndnisses, was in der Konsequenz die effektive Entwicklung experimenteller Sprachstudien sowie deren eindeutige Auswertung erschwert. Zur L{\"o}sung dieses Problems k{\"o}nnen komputationale Modelle des Sprachverst{\"a}ndnisprozesses entwickelt werden, welche, erstens, die enthaltenen Prozesse (z.B. Abrufung und Integration) mit mathematischer Genauigkeit beschreiben. Aufgrund dieser exakten Beschreibungen k{\"o}nnen dann, zweitens, explizite und {\"u}berpr{\"u}fbare Vorhersagen f{\"u}r neuronale Indikatoren (z.B. N400 und P600) getroffen werden. Die zu Anfang ausgef{\"u}hrte Beschreibung des Sprachverarbeitungsprozesses durch die Funktionen der Bedeutungsabrufung und der Bedeutungsintegration entspricht dem komputationalem Retrieval-Integration-Modells der Elektrophysiologie des Sprachverst{\"a}ndnisses (Brouwer et al., 2017; Brouwer et al., 2012, kurz RI-Modell). Gem{\"a}{\ss} dem RI-Modell indiziert die Amplitude der N400 die kognitive Leistung beim Abrufen von Wortbedeutungen, wobei negativere Werte h{\"o}herem Aufwand entsprechen. Die Amplitude der P600 wird als Index der kognitiven Leistung bei der Beudeutungsintegration betrachtet, wobei positivere Werte h{\"o}herem Aufwand entsprechen. Das Ziel dieser Dissertation ist es, spezifische Vorhersagen des RIModells empirisch zu validieren, wobei diese mit alternativen Interpretationen der N400 und P600 sowie mit alternativen Modellen verglichen werden. Zu diesem Zwecke werden zun{\"a}chst die EKP-Methode sowie wegweisende Resultate zusammengefasst (Kapitel 2). Basierend auf diesem {\"U}berblick werden die funktionalen Interpretationen der N400 und P600 sowie deren Rolle in Modellen der Elektrophysiologie der Sprachverarbeitung nachgezeichnet. Dem folgen drei Studien, welche entscheidende Hypothesen des RI-Modells empirisch untersuchen. Die erste Hypothese betrifft die zentrale Rolle, welche die erwartungsbasierte Sprachverarbeitung innerhalb des RI-Modells einnimmt: Der Aufwand sowohl von Abrufung als auch von Integration sollte stark durch die Erwartbarkeit eines Wortes moduliert werden. Neue erhobene EKP-Daten zeigen (Kapitel 3), dass unerwartete Worte tats{\"a}chlich sowohl die N400 als auch die P600 modulieren („Gestern [sch{\"a}rfte/a{\ss}] der Holzf{\"a}ller [...] die Axt“). Die gleichzeitige Modulation von N400 und P600 bedeutet jedoch, dass aufgrund dieser Daten alleine nicht entschieden werden kann, welchem Prozess – Abrufung oder Integration – die beiden EKPKomponenten entsprechen. Um dieses Problem zu l{\"o}sen, wurde zus{\"a}tzlich eine Manipulation der lexikalischen Assoziation vorgenommen („Gestern [sch{\"a}rfte/a{\ss}] der Holzf{\"a}ller, [bevor er das Holz stapelte/bevor er den Film schaute], die Axt“). Der eingeschobene, assoziierte Nebensatz („bevor er das Holz stapelte“) sollte die Wortbedeutung des Zielwortes („Axt“) voraktivieren und dadurch dessen Abrufung zus{\"a}tzlich erleichtern, jedoch ohne dabei Einfluss auf den Aufwand der Bedeutungsintegration zu nehmen. Die Ergebnisse zeigen, dass die Pr{\"a}sentation lexikalisch assoziierter Worte zu einer weiteren Reduktion der N400 f{\"u}hrt, aber keinen Einfluss auf die P600 hat, was darauf hindeutet, dass die N400 Bedeutungsabrufung indiziert, w{\"a}hrend die P600 eindeutig der Bedeutungsintegration zuordenbar ist. Nachfolgend wurden Verhaltensstudien durchgef{\"u}hrt, in denen Lesezeiten gemessen wurden, welche ermitteln, wie lange Leser auf einzelnen Worten verweilen, was Aufschluss {\"u}ber den kognitiven Aufwand bei der Sprachverarbeitung geben kann. Diese Verhaltensdaten {\"a}hneln den Modulationsmustern der P600, was eine direkte Verbindung von Lesezeiten und der P600 mit dem Aufwand bei der Wortintegration nahelegt. Modulationen der Lesezeiten durch lexikalische Assoziation fielen k{\"u}rzer und weniger reliabel aus, was es m{\"o}glich erscheinen l{\"a}sst, dass die etablierte Verbindung von Lesezeiten zur N400 nur korrelativ sein k{\"o}nnte. In der Summe st{\"u}tzen die erhobenen Lesezeitdaten die oben ausgef{\"u}hrte Interpretation der EKP Daten. Eine zentrale Vorhersage des RI-Modells ist, dass die P600-Komponente von jedem Wort innerhalb einer {\"A}u{\ss}erung erzeugt wird und dass die Amplitude der P600 kontinuierlich den Aufwand der Integration indiziert. Als Teil dieser Dissertation werden erstmals EKP-Daten, welche diese Hypothese unterst{\"u}tzen, pr{\"a}sentiert. Eine post-hoc Analyse der EKP-Daten des ersten Experiments zeigt, dass sowohl die N400 als auch die P600 bei Zielworten der Kontrollkondition, welche keiner Manipulation unterlag, graduell mit der Erwartbarkeit des Zielwortes variieren. Dies w{\"u}rde nahelegen, dass die P600 nicht allein durch eindeutig unplausible S{\"a}tze hervorgerufen wird, sondern tats{\"a}chlich einen kontinuierlichen Index des Integrationsaufwandes darstellt. Die zweite experimentelle Studie ist speziell der Erforschung dieser Hypothese gewidmet (Kapitel 4). In diesem Experiment wird zun{\"a}chst ein Kontextparagraph pr{\"a}sentiert, welcher den Beginn einer kurzen Geschichte enth{\"a}lt: „Ein Tourist wollte seinen riesigen Koffer mit in das Flugzeug nehmen. Der Koffer war allerdings so schwer, dass die Dame am Check-in entschied, dem Touristen eine extra Geb{\"u}hr zu berechnen. Daraufhin {\"o}ffnete der Tourist seinen Koffer und warf einige Sachen hinaus. Somit wog der Koffer des einfallsreichen Touristen weniger als das Maximum von 30 Kilogramm.“ Diesem Kontextparagraphen folgen abschlie{\ss}ende S{\"a}tze, in welchen das Zielwort („Tourist“) plausibel, weniger plausibel, oder implausibel ist („Dann [verabschiedete / wog / unterschrieb] die Dame den Touristen...“). Eine zuerst durchgef{\"u}hrte Verhaltensstudie zeigt Verlangsamungen der Lesezeit als Funktion der Plausibilit{\"a}t, was die erfolgreiche Manipulation der Stimuli unterstreicht. Die Ergebnisse der danach durchgef{\"u}hrten EKP-Studie demonstrieren eindeutig, dass die Amplitude der P600 kontinuierlich als Funktion der Plausibilit{\"a}t variiert. Das experimentelle Design erlaubt zudem die Interpretation der N400 als Index der Bedeutungsabrufung zu {\"u}berpr{\"u}fen: Die wiederholte Pr{\"a}sentation des Zielwortes im vorangegangenen Kontextparagraph sollte die Bedeutungsabrufung in allen drei Konditionen gleicherma{\ss}en erleichtern - unabh{\"a}ngig von Unterschieden in der Plausibilit{\"a}t. In der Tat zeigen die EKP-Daten keinerlei Modulation der N400, was also die Zuordnung dieser EKP-Komponente zum Abrufungsprozess st{\"u}tzt. Zus{\"a}tzlich testet dieses Design die Vorhersagen einer Gruppe von alternativen Modellen des Sprachverst{\"a}ndnisses, sogenannten Multi-Stream-Modellen. Multi- Stream-Modelle sagen eine verst{\"a}rkte N400 f{\"u}r eine Kondition („Dann unterschrieb die Dame den Tourist“) und eine verst{\"a}rkte P600 f{\"u}r eine andere Kondition („Dann wog die Dame den Tourist“) vorher. Dies ist abh{\"a}ngig davon, ob der implausible Satz eine alternative, plausible Interpretation nahelegt („Dann wog die Dame den Koffer“ anstelle von „Dann wog die Dame den Touristen“) oder nicht („Dann unterschrieb die Dame den Koffer“). Da keine der Konditionen eine verst{\"a}rkte N400 hervorruft, wurde die Vorhersage der Multi-Stream-Modelle durch dieses zweite Experiment falsifiziert. Stattdessen best{\"a}tigen die Ergebnisse die Vorhersagen des Single- Stream RI-Modells und stellen starke Evidenzen f{\"u}r die Interpretation der P600 als kontinuierlichen Index der Bedeutungsintegration bereit. Aus der Architektur des RI-Modells und der Erkenntnis, dass sowohl Bedeutungsabrufung als auch Bedeutungsintegration stark erwartungsbasiert sind, folgt eine weitere Vorhersage: Die Amplitude der N400 (je negativer die Amplitude desto h{\"o}her der Abrufungsaufwand) und die Amplitude der P600 (je positiver die Amplitude desto h{\"o}her der Integrationsaufwand) m{\"u}ssen negativ korreliert sein. Auf Prozessebene bedeutet dies: Worte, welche mehr Bedeutungsabrufung erfordern, sollten generell auch schwieriger zu integrieren sein. Diese Vorhersage steht wiederum im Kontrast zu Multi-Stream-Modellen, welche vorhersagen, dass durch jedes Wort entweder eine Verst{\"a}rkung der N400 oder der P600 produziert werden sollte. Diese unterschiedlichen Hypothesen werden in neuen statistischen Analysen zuvor erhobener EKP-Daten {\"u}berpr{\"u}ft (Kapitel 5). Die Resultate zeigen erstmals, dass die Amplituden der N400 und der P600 auf der Ebene einzelner EEG-Signale – und nicht nur auf der Ebene von durchschnittlichen EKP – korreliert sind. Diese Ergebnisse st{\"a}rken damit weiter das RI-Modell und sind schwer mit der Architektur eines Multi-Stream-Modells zu vereinbaren. Zusammengefasst zeigt diese Doktorarbeit die separierbaren Einfl{\"u}sse von lexikalischer Assoziation und Erwartbarkeit auf die N400. Die P600 wird dagegen nicht durch lexikalische Assoziationen moduliert, sondern reagiert darauf, wie stark die Satzbedeutung als Funktion der Erwartbarkeit und Plausibilit{\"a}t angepasst werden muss. Dabei ist die P600 keine kategorische Reaktion auf implausible Stimuli, sondern stellt einen kontinuierlichen Index des Bedeutungsintegrationsaufwandes dar. Des Weiteren konnte gezeigt werden, dass graduelle Modulationen der N400 und der P600 innerhalb einzelner EEG-Signale korrelieren, was auf die Organisation der erwartungsbasierten Prozesse Abrufung und Integration in einer Single- Stream-Architektur hindeutet. F{\"u}r beide experimentellen Designs wurden neben EKP-Daten auch Lesezeitdaten erhoben, welche im Kontext verst{\"a}ndnisbasierter Erwartbarkeit eine direkte Verbindung von Lesezeiten mit der P600 nahelegen. Die Ergebnisse dieser Dissertation sind unvereinbar mit traditionellen sowie neueren Theorien, welche argumentieren, dass die N400 Aspekte der Bedeutungsintegration indiziert. Im Speziellen widersprechen die Ergebnisse mehreren Schl{\"u}sselhypothesen von Multi-Stream-Modellen, welche aussagen, dass die N400 strukturunsensible Integration indiziert, w{\"a}hrend die P600 Konflikte zwischen strukturunsensibler und struktursensibler Integration widerspiegelt. Stattdessen lassen sich die Resultate mit wesentlich weniger Annahmen durch das Single-Stream-Modell der Retrieval-Integration-Theorie erkl{\"a}ren (siehe Diskussion in Kapitel 6). Demnach fu{\ss}t das Sprachverst{\"a}ndnis imWesentlichen auf den Mechanismen der Bedeutungsabrufung sowie der Bedeutungsintegration, welche im EKP-Signal als N400- und P600-Komponente messbar sind. Beide Komponenten werden standardm{\"a}{\ss}ig durch jedes Wort einer {\"A}u{\ss}erung hervorgerufen, wobei ihre Amplituden kontinuierlich den kognitiven Aufwand der Bedeutungsabrufung (N400) sowie der Bedeutungsintegration (P600) indizieren. Basierend auf den Ergebnissen dieser Dissertation ziehe ich den Schluss, dass eine an Erkenntnissen {\"u}ber das Sprachverst{\"a}ndnis interessierte Forschung der P600 zentrale Bedeutung beimessen sollte. Anhang A enth{\"a}lt eine theorieneutrale Abhandlung {\"u}ber die rERP Methode (Smith &amp; Kutas, 2015a), einem statistischen Analyseverfahren, welches in der gesamten Dissertation zur Auswertung von EKP- und Lesezeitdaten zum Einsatz kommt. Alle Daten und s{\"a}mtlicher Code, welche zur Reproduktion der Analysen und Graphiken dieser Arbeit, einschlie{\ss}lich des Anhangs, notwendig sind, werden im Thesis Repository bereitgestellt (https://www.github.com/caurnhammer/ AurnhammerThesis). Jedwede Studien, welche mit menschlichen Partizipanten durchgef{\"u}hrt wurden, erhielten eine Ethik-Zulassung durch die Deutsche Gesellschaft f{\"u}r Sprachwissenschaft (DGfS). Teile dieser Arbeit basieren auf Ver{\"o}ffentlichungen in wissenschaftlichen Journalen (Kapitel 3: Aurnhammer et al., 2021; Kapitel 4: Aurnhammer, Delogu, et al., 2023; Kapitel 5: Aurnhammer, Crocker, and Brouwer, 2023).},
pubstate = {published},
type = {phdthesis}
}