@phdthesis{Höltje_Diss_2020,
title = {Interactions between immediate and delayed feedback processing and memory encoding: an investigation using event-related potentials},
author = {Gerrit H{\"o}ltje},
url = {https://publikationen.sulb.uni-saarland.de/handle/20.500.11880/30348},
doi = {https://doi.org/https://dx.doi.org/10.22028/D291-32889},
year = {2020},
date = {2020},
school  = {Saarland University},
address = {Saarbruecken, Germany},
abstract = {Feedback-based learning relies on a procedural learning system mediated by dopaminergic reward prediction error (RPE) signals. Recent neuroimaging research indicates that the processing of temporally delayed feedback is supported by the hippocampus, a brain structure associated with declarative memory processes, but it is still unknown how delayed feedback processing and memory encoding interact. In this dissertation project, in a series of three experiments, a subsequent memory paradigm was employed to investigate how the incidental encoding of feedback pictures in a probabilistic learning task affects the event-related potential (ERP) correlate of RPEs in feedback processing, i.e., the feedback-related negativity (FRN), and how this interaction is modulated by feedback timing, valence, and explicit outcome expectations. In Experiment 1, task-unrelated scene pictures were presented together with performance feedback in the learning task. In an ensuing test phase, a surprise recognition memory test for the pictures was conducted. FRN amplitudes measured in the feedback-locked ERPs recorded during the learning phase (FRNpeak) and in the negative minus positive feedback difference wave (FRNdiff) were compared for subsequently remembered and forgotten feedback pictures. Pictures were remembered better when presented together with positive than with negative feedback, and ERP amplitudes in the FRNdiff time window predicted subsequent memory only for positive feedback pictures. Consistent with previous studies, shortly delayed (SD, 500 ms) feedback elicited larger FRNdiff amplitudes than long delayed feedback (LD, 6500 ms), whereas the reverse pattern was found in FRNpeak amplitudes. As evidenced by behavioral estimates and ERP old/new effects, positive feedback enhanced memory by boosting familiarity-based recognition. However, feedback timing did not affect memory, presumably because participants did not need to process the scene pictures in order to learn from feedback. In Experiment 2, the picture category signaled the valence of the feedback. LD feedback pictures were associated with better memory and more recollective processing than shortly delayed ones. Feedback processing as reflected in the FRNpeak was attenuated for remembered as compared to forgotten LD feedback pictures. This suggests that when feedback was delayed, feedback processing and memory encoding competed for similar neural processing resources. As evidence by large FRNdiff amplitudes in the SD condition, the evaluation of shortly delayed feedback strongly relied on the procedural learning system. A complementary model-based single trial analysis was conducted to validate models of the functional significance of the FRN. Consistent with previous studies, feedback-locked N170 and P300 amplitudes were sensitive to feedback delay. Experiment 3 tested the hypothesis that the putative involvement of declarative learning processes in delayed feedback processing is mediated by the spontaneous generation of explicit outcome expectations during the feedback delay. A delayed feedback condition was compared with a Prediction condition in which participants were asked on each trial to predict the category of the upcoming feedback picture. Memory for the feedback pictures did not differ between the Prediction and Delay conditions. The FRNpeak subsequent memory effect obtained in Experiment 2 was replicated in both conditions, but more pronounced in the Prediction condition. As evidenced by ERP old/new effects, negative feedback pictures that disconfirmed explicit outcome expectations were associated with stronger recollective processing than those presented in the Delay condition. Positive feedback pictures elicited a recognition bias and increased familiarity signals in the memory test, which could reflect a generalization of reward value to pictures of the same category (indoor or outdoor scene). Taken together, the findings obtained in this dissertation show multiple ways by which feedback processing and memory encoding can interact, and how this interaction is shaped by feedback timing, valence, and explicit outcome expectations.

<hr />

Feedbackbasiertes Lernen beruht auf einem prozeduralen Lernsystem, das auf der neurobiologischen Ebene durch dopaminerge Belohnungsvorhersagefehlersignale vermittelt wird. Studien mit bildgebenden Verfahren weisen darauf hin, dass die Verarbeitung von zeitlich verz{\"o}gertem Feedback durch den Hippocampus unterst{\"u}tzt wird, eine Hirnstruktur, die mit deklarativen Ged{\"a}chtnisprozessen assoziiert ist. Es ist jedoch noch nicht bekannt, wie die Verarbeitung von verz{\"o}gertem Feedback mit der Ged{\"a}chtnisenkodierung interagiert. In diesem Dissertationsprojekt wurde in einer Serie von drei Experimenten die Methode der nachfolgenden Erinnerung verwendet, um zu untersuchen, wie die inzidentelle Enkodierung von Feedbackbildern in einer probabilistischen Lernaufgabe sich auf das im ereigniskorrelierten Potenzial (EKP) messbare Korrelat von Belohnungsvorhersagefehlern in der Feedbackverarbeitung, die Feedback-Negativierung (FRN), auswirkt und wie diese Interaktion durch zeitliche Charakteristika und Valenz des Feedbacks sowie durch explizite Ergebniserwartungen moduliert wird. Im ersten Experiment wurden Bilder von Innenr{\"a}umen und Landschaften zusammen mit dem Feedback in der Lernaufgabe pr{\"a}sentiert, wobei die Bilder nicht relevant f{\"u}r die Aufgabe waren. In der darauf folgenden Testphase wurde ein unerwarteter Rekognitionstest f{\"u}r die Bilder durchgef{\"u}hrt. FRN-Amplituden wurden in den w{\"a}hrend der Feedbackpr{\"a}sentation aufgezeichneten EKP gemessen (FRNpeak), sowie in der Differenzwelle, die durch die Subtraktion der durch positives Feedback erzeugten EKP von den durch negatives Feedback erzeugten EKP gebildet wurde (FRNdiff). Beide FRN-Ma{\ss}e wurden f{\"u}r sp{\"a}ter erinnerte und sp{\"a}ter vergessene Bilder verglichen. Bilder, die zusammen mit positivem Feedback gezeigt wurden, wurden besser erinnert als solche, die mit negativem Feedback gepaart wurden, und EKP-Amplituden im Zeitfenster der FRNdiff pr{\"a}dizierten sp{\"a}tere Erinnerung ausschlie{\ss}lich f{\"u}r Bilder, die zusammen mit positivem Feedback pr{\"a}sentiert wurden. {\"U}bereinstimmend mit fr{\"u}heren Studien erzeugte kurz verz{\"o}gertes Feedback (500 ms) gr{\"o}{\ss}ere FRNdiff-Amplituden als lang verz{\"o}gertes Feedback (6500 ms), wohingegen das umgekehrte Muster f{\"u}r FRNpeak-Amplituden gefunden wurde. Wie durch behaviorale Ma{\ss}e und EKP-Alt/Neu-Effekte belegt, st{\"a}rkte die Verarbeitung von positivem Feedback vor allem das vertrautheitsbasierte Erinnern der zeitgleich pr{\"a}sentierten Bilder, jedoch wirkten sich die zeitlichen Parameter der Feedbackpr{\"a}sentation nicht auf das Ged{\"a}chtnis aus, vermutlich weil eine Verarbeitung der Bilder nicht notwendig war, um das Feedback zum Lernen zu nutzen. Im zweiten Experiment wurde daher die Bildkategorie (Innenraum oder Landschaft), mit der Valenz des Feedbacks verkn{\"u}pft. Lang verz{\"o}gerte Feedbackbilder waren mit besserer Erinnerung und st{\"a}rkerer rekollektiver Verarbeitung assoziiert als solche, die mit kurzer Verz{\"o}gerung pr{\"a}sentiert worden waren. Die Feedbackverarbeitung, gemessen als FRNpeak-Amplitude, war geringer f{\"u}r lang verz{\"o}gerte Feedbackbilder, die anschlie{\ss}end erinnert wurden als f{\"u}r solche, die nicht erinnert wurden. Dies legt nahe, dass die Verarbeitung von zeitlich verz{\"o}gertem Feedback und die Ged{\"a}chtnisenkodierung auf {\"a}hnliche neuronale Verarbeitungskapazit{\"a}ten zugreifen. Wie anhand von FRNdiff-Amplituden ersichtlich, beruhte die Evaluation von zeitlich kurz verz{\"o}gertem Feedback in starkem Ausma{\ss} auf dem prozeduralen Lernsystem. Eine erg{\"a}nzende, modellbasierte Analyse auf der Ebene einzelner Lerndurchg{\"a}nge wurde durchgef{\"u}hrt, um Modelle der funktionalen Bedeutsamkeit der FRN zu validieren. {\"U}bereinstimmend mit vorherigen Studien wurden durch die Feedbackverarbeitung hervorgerufene N170- und P300-Amplituden durch die zeitliche Verz{\"o}gerung des Feedbacks moduliert. Das dritte Experiment {\"u}berpr{\"u}fte die Hypothese, dass die mutma{\ss}liche Beteiligung von deklarativen Lernprozessen bei der Verarbeitung von verz{\"o}gertem Feedback durch die spontane Entwicklung expliziter Ergebniserwartungen w{\"a}hrend der Feedbackverz{\"o}gerung vermittelt wird. Eine Bedingung mit verz{\"o}gertem Feedback wurde mit einer Vorhersage-Bedingung kontrastiert, in der die Probanden in jedem Lerndurchgang die Kategorie des Feedbackbildes pr{\"a}dizierten. Die Erinnerung an die Feedbackbilder unterschied sich nicht zwischen den beiden Bedingungen. Der Effekt der nachfolgenden Erinnerung in den FRNpeak-Amplituden, der in Experiment 2 gefunden wurde, wurde in beiden Bedingungen repliziert, war jedoch in der Vorhersage-Bedingung st{\"a}rker ausgepr{\"a}gt. Wie durch EKP-Alt/Neu-Effekte belegt, waren negative Feedbackbilder, die die explizite Erwartung eines positiven Ergebnisses verletzten, mit einer st{\"a}rkeren rekollektiven Verarbeitung verkn{\"u}pft. Positive Bilder waren im Ged{\"a}chtnistest mit besonders vielen falsch positiven Ged{\"a}chtnisurteilen assoziiert, was mit einer Generalisierung des Belohnungswertes zu Bildern der gleichen Kategorie zusammenh{\"a}ngen k{\"o}nnte. Zusammengefasst zeigen die Ergebnisse dieser Dissertation, dass die Feedbackverarbeitung und die Ged{\"a}chtnisenkodierung auf mehreren Wegen interagieren k{\"o}nnen. Die zeitlichen Charakteristika der Feedbackpr{\"a}sentation, die Valenz des Feedbacks und explizite Ergebniserwartungen stellen wichtige Faktoren dar, die diese Interaktion beeinflussen.},
pubstate = {published},
type = {phdthesis}
}