Predictions of visible and occluded motion in the primary visual cortex

Abstract

Processing dynamically occluded objects, also known as motion extrapolation, is a most complex cognitive process and fundamental for the survival of human and non-human animals. Understanding how humans extrapolate occluded objects has been the focus of psychologists and cognitive scientists since the 40s, when there was a growing interest in comprehending how gunners can better track targets even if they are occluded by clouds. Early behavioural studies showed that motion extrapolation works through a tracking mechanism, rather than a simple internal countdown clocking, as once hypothesized. Later, other researchers concluded that extrapolating objects rely on spatially-specific mental representation. However, most fMRI studies so far only reported the engagement of higher-level visual areas during dynamic occlusion which lack a fine-grained spatial specificity. Here, I investigate the engagement of the primary visual cortex during the processing of motion extrapolation, by addressing three central questions: what is the role of the primary visual cortex in the processing of dynamic occluded objects? Can the manipulation of the predictability of temporal information of occluded target differently enhance activity of the primary visual cortex, as posited by the predictive coding theory? What is the causal relation between processing of temporal information of a moving stimulus and activity in the primary visual area? The first question was addressed by using a prediction motion paradigm and a combination of techniques, such as fMRI, retinotopic maps and multivariate pattern analysis (MVPA) at the single-subject level, to account for subject-specific anatomical variability and other methodological issues. Results indicated that extrapolating occluded motion trajectories enhanced activity in low-level visual regions, including the primary visual area. Additionally, occluded motion direction could be predicted from activity patterns in low-level visual areas during visible period of motion, supporting the idea of a mental representation of motion trajectory in a visually-specific format. The second question was addressed by using the interception paradigm and the same combination of techniques. Results demonstrated that higher and lower predictability levels equally increased responses in the primary visual cortex; and here I discuss that if motion extrapolation is processed according to the predictive coding model, predictive error may have been silenced by additional attentional mechanisms, as proposed by an interactive prediction-attention model. In addition, it was observed that fast motion consistently enhanced activity pattern in the primary visual cortex, compared to slow velocity. Moreover, findings from the first study were replicated, by showing that response during visible and occlusion periods follow a similar pattern of activity. The third question was addressed by using transcranial magnetic stimulation (TMS) over the primary visual cortex and by observing the effect on stimulus temporal information. However, results did not provide robust evidence to draw conclusions about the causal involvement of V1 with temporal information processing. In sum, these studies provided evidence that temporal information can be found along the stimulus trajectory potentially pointing at a conjoined spatio-temporal representation in low-level visual areas during visible and dynamically occluded stimulations, thereby significantly extending previous research.

Die Verarbeitung dynamisch verdeckter Objekte, auch bekannt als Bewegungsextrapolation, ist ein äußerst komplexer kognitiver Prozess und grundlegend für das Überleben von Menschen und nichtmenschlichen Tieren. Das Verständnis, wie Menschen verdeckte Objekte extrapolieren, war seit den 40er Jahren das Hauptaugenmerk von Psychologen und Kognitionswissenschaftlern, angesichts eines wachsenden Interesses daran, zu verstehen, wie Kanoniere Ziele besser verfolgen können, selbst wenn diese von Wolken verdeckt sind. Frühe Verhaltensstudien zeigten, dass die Bewegungsextrapolation über einen Verfolgungsmechanismus funktioniert und nicht über einen einfachen internen Countdown, wie früher angenommen wurde. Später kamen andere Forscher zu dem Schluss, dass die Extrapolation von Objekten auf einer räumlich spezifischen mentalen Repräsentation beruht. Die meisten fMRT-Studien berichteten bisher nur über eine Modulation der Aktivität in höheren visuellen Arealen während der dynamischen Okklusion, denen allerdings eine feinkörnige räumliche Spezifität fehlt. In der vorliegenden Arbeit untersuchte ich die Beteiligung des primären visuellen Kortex an der Verarbeitung von Bewegungsextrapolation, indem ich drei zentrale Fragen stellte: Welche Rolle spielt der primäre visuelle Kortex bei der Verarbeitung dynamischer verdeckter Objekte? Kann eine Manipulation der Vorhersagbarkeit zeitlicher Informationen von verdeckten Zielen die Aktivität des primären visuellen Kortex modulieren, wie dies von der prädiktiven Codierungstheorie postuliert wird? Welcher kausale Zusammenhang besteht zwischen der Verarbeitung zeitlicher Informationen eines Bewegungsreizes und der Aktivität im primären visuellen Cortex? Die erste Frage wurde durch die Verwendung eines Vorhersagebewegungsparadigmas und einer Kombination von Techniken wie fMRI, retinotoper Kartierung und multivariater Musteranalyse (MVPA) auf Einzelsubjektebene angegangen, um subjektspezifische anatomische Variabilität und andere methodische Probleme zu berücksichtigen. Die Ergebnisse weisen darauf hin, dass die Extrapolation einer verdeckten Bewegungsbahn die Aktivität in niederen visuellen Arealen, einschließlich des primären Sehbereichs, verstärkt. Darüber hinaus kann die verdeckte Bewegungsrichtung aus Aktivitätsmustern in niederen visuellen Arealen während sichtbarer Bewegungsperioden vorhergesagt werden, was die Idee einer mentalen Repräsentation der Bewegungsbahn in einem visuell spezifischen Format unterstützt. Die zweite Frage wurde unter Verwendung des Interception-Paradigmas und der gleichen Kombination von Techniken untersucht. Die Ergebnisse zeigen, dass höhere und niedrigere Vorhersagbarkeitsniveaus die Aktivität in primären visuellen Kortex gleichermaßen modifizieren; möglicherweise wird der Vorhersagefehler durch zusätzliche Aufmerksamkeitsmechanismen ausgeglichen - wie von einem interaktiven Prädiktions-Aufmerksamkeitsmodell vorgeschlagen. Darüber hinaus werden die Ergebnisse der ersten Studie repliziert, indem gezeigt wird, dass die neuronalen Antworten während sichtbarer und verdeckter Perioden einem ähnlichen Aktivitätsmuster folgen. Des Weiteren wird beobachtet, dass schnelle Bewegungen - im Kontrast zu langsamen - konsistent das Aktivitätsmuster in primären visuellen Kortex erhöhen. Die dritte Frage wurde durch die Verwendung transkranieller Magnetstimulation (TMS) über dem primären visuellen Kortex und durch Beobachtung der Wirkung auf die zeitliche Information des Stimulus beatwortet. Die hier angewandte TMS-Doppelpuls-Methode über dem primären visuellen Kortex lieferte jedoch keine robusten Belege, um Schlussfolgerungen über die Beteiligung von primärem visuellem Kortex an der zeitlichen Informationsverarbeitung zu ziehen. Zusammenfassend liefern diese Studien Beweise dafür, dass der zeitlichen Informationsverarbeitung entlang der Stimulus-Trajektorie gefunden werden kann, was möglicherweise auf eine verbundene räumlich-zeitliche Repräsentation in niederen visuellen Arealen während sichtbarer und dynamisch verdeckter Stimulationen hinweist, wodurch bisherige Forschungsergebnisse erheblich erweitert werden.