Electrophysiological mechanisms of foraging decisions and feedback processing

Abstract

Die Jobsuche stellt für Menschen einen schwierigen Entscheidungsprozess dar, bei der aktuelle Optionen verglichen, potentielle zukünftige Angebote berücksichtigt und aus Erfahrungen gelernt werden muss um letztlich die richtige Wahl zu treffen. Das Verständnis solch komplexer Entscheidungsfindungsprozesse und Feedback- Mechanismen, die den Erfahrungen im wirklichen Leben ähneln, ist jedoch noch unvollständig. Die sequenzielle Entscheidungsfindung beim Menschen wurde bisher nur begrenzt untersucht. Außerdem gibt es widersprüchliche Erkenntnisse über die zugrunde liegende neuronale Dynamik im Zusammenhang mit Feedbackverarbeitung. Diese Arbeit umfasst zwei Untersuchungen zur Entscheidungsfindung und Feedback-Verarbeitung. Die erste Studie befasst sich mit dem Explorations- /Exploitationsdilemma und untersucht das Gleichgewicht zwischen der Nutzung vorhandener und der Suche nach neuen Ressourcen. Sie konzentriert sich insbesondere auf Entscheidungen zum sogenannten Foraging, bei denen Individuen eine aktuelle Option ausschöpfen und dabei den richtigen Zeitpunkt für die Erkundung neuer Ressourcen bestimmen müssen. Dabei war die Hypothese, dass Individuen sich normativen Vorhersagen über optimales Verhalten in dieser Foraging-Umgebung annähern. Weiterhin wurde erwartet, dass sich das adaptive Entscheidungsverhalten in neuronalen Korrelaten widerspiegelt, die den zeitlichen Verlauf dieser Entscheidung beschreiben. Die zweite Studie befasst sich mit typischen Performanz-rückmeldungsbezogenen elektrophysiologischen Korrelaten (Feedback-related negativity: FRN; P3) und ihrer Kodierungsspezifität in Bezug auf Feedback-Valenz und Erwartbarkeit. Hier lautete die Hypothese, dass sich Belohnungsvorhersagefehler (RPE) im neuronalen Signal nach der Rückmeldung widerspiegeln. Außerdem wurde erwartet, dass der FRN-Latenzbereich einen vorzeichenbehafteten RPE kodiert, der Valenz und Unerwartbarkeit einschließt. Das Signal sollte sich dementsprechend zwischen Feedback, welches besser oder schlechter als erwartet ist, unterscheiden. Das Signal im P3-Latenzbereich sollte hauptsächlich durch Überraschung beeinflusst sein. Darüber hinaus wurde angenommen, dass die Verhaltensanpassung nach Feedback mit dem Signal im FRN-Latenzbereich assoziiert ist. Um diese Hypothesen zu testen, wurden zwei kognitive Experimente mit großen Stichproben gesunder Teilnehmer durchgeführt und 64-Kanal-EEG-Daten aufgezeichnet. Das erste Experiment beinhaltete eine Aufgabe, bei der die Teilnehmer den Belohnungsgewinn innerhalb eines bestimmten Zeitrahmens maximieren sollten, indem sie Entscheidungen darüber trafen, wann sie die aktuellen Optionen zugunsten von potenziell lohnenderen Alternativen verlassen. Im zweiten Experiment nahmen die Teilnehmer an einer Zeitschätzungsaufgabe teil, bei der sie auf der Grundlage von manipulierten Zeitfenstern für richtige Antworten ein erwartetes oder unerwartetes Feedback erhielten. Anhand von Regressionsanalysen wurde festgestellt, dass die Teilnehmer sich normativen Entscheidungen bei der Nahrungssuche annäherten, aber systematische Verzerrungen aufwiesen. Es wurden unterschiedliche Frequenzmuster in den Delta-, Theta- und Beta-Bändern identifiziert, die mit Explorations- und Exploitationsmechanismen in Foraging-Paradigmen verbunden sind. In Bezug auf rückmeldungsbezogene Prozesse wurden bestehende Befunde im FRN-Latenzbereich repliziert, die einen vorzeichenbehafteten RPE widerspiegeln, während der P3- Latenzbereich mit Überraschung und positivem Feedback in Verbindung gebracht wurde. Bemerkenswerterweise korrelierte der P3-Latenzbereich, und nicht die FRN, mit Verhaltensanpassungen nach dem Feedback. Insgesamt deuten diese Ergebnisse auf ein komplexes Zusammenspiel verschiedener neuronaler Oszillationen hin, die für die sequenzielle Entscheidungsfindung verantwortlich sind. Der Entscheidungsprozess beginnt früh in der Foraging-Phase und kumuliert möglicherweise, bis ein Schwellenwert erreicht wird, der zu einer Entscheidung führt. In künftigen Studien könnte die Untersuchung der Rolle etablierter rückmeldungsbezogener Korrelate für das Lernen in diesen Entscheidungsprozessen wertvolle Erkenntnisse liefern.

Job search represents a difficult decision-making process for people, where current options have to be compared, potential future offers have to be considered, and learning from experience is necessary to ultimately make the right choice. However, the understanding of such complex decision-making processes and feedback mechanisms similar to real-life experiences remains incomplete. Sequential decision-making in humans has received limited attention, and there is conflicting evidence regarding the underlying neuronal dynamics related to feedback. This work aims to address this issue within two investigations on decision-making and feedback processing. The first study addressed the exploration-exploitation dilemma. Specifically, it focused on foraging decisions, where individuals must exploit a current option while determining the right time to explore new resources. I expected that individuals approximate normative predictions of optimal behavior within this foraging environment, reflected in neural correlates that describe the temporal progression of this decision. The second study delved into typical feedback-related electrophysiological correlates (Feedback-related negativity: FRN; P3) and their encoding specificity concerning feedback valence and expectedness. The hypothesis suggested that reward prediction errors (RPE) are coded in the neural signal post- feedback. The FRN latency range was thought to encode a signed RPE, incorporating valence and unexpectedness, whereas the P3 should mainly be influenced by surprise. Moreover, behavioral adaptation was expected to be associated with the signal in the FRN latency range. To test these hypotheses, two cognitive experiments were conducted with large samples of healthy participants, recording 64-channel EEG data. The first experiment involved a patch-leaving task, where participants aimed to maximize reward gain within a certain time frame, making decisions on when to leave current options for potentially more rewarding alternatives. In the second experiment, participants engaged in a time estimation task, receiving feedback based on manipulated correct answer time windows to introduce expected or unexpected feedback. Results show that participants approximated normative foraging decisions but exhibited systematic biases. Through single-trial regression analyses, I identified distinct frequency patterns in the delta, theta, and beta bands, linked to exploration and exploitation mechanisms in patch-leaving paradigms. Concerning feedback-related processes, existing findings of the EEG signal in the FRN latency range reflecting a signed RPE were replicated, while the P3 latency range was associated with surprise and positive valence feedback. Notably, the P3 latency range, rather than the FRN, correlated with post-feedback behavioral adjustments. Overall, these results indicate a complex interplay of various neural oscillations responsible for sequential decision-making, starting early in the foraging phase and possibly accumulating until a threshold is reached, leading to a decision. In future studies, exploring the role of established feedback-related correlates on learning in these decision-making processes could yield valuable insights.