Audiovisuelle Bewegungsvorhersage im dreidimensionalen Raum

Abstract

Die Fähigkeit zur Bewegungsvorhersage ist essentiell für unseren Alltag, z.B. um uns sicher im Straßenverkehr zu bewegen. Die bisherige Ergebnislage dazu gestaltet sich inkonsistent, wobei der Fokus auf die visuelle Modalität, verschiedene Aufgabenstellungen sowie divergentes Stimulusmaterial Gründe dafür darstellen können. Daher erfolgte in dieser Arbeit die systematische Untersuchung potentieller Einflussfaktoren der Bewegungsvorhersage. In sechs Experimenten bewegte sich eine Kugel in einer Box auf den Betrachter zu, die Kugel wurde kurzzeitig von einer Brücke verdeckt und erschien im Anschluss auf einer visuell passenden oder nicht passenden Bahn wieder. Die Kugelbewegung konnte unimodal (visuell) präsentiert oder von einem in der Tiefe moduliertem weißen Rauschen begleitet werden, das sich entweder in die gleiche oder entgegengesetzte Richtung bewegte. Die Probanden reagierten mit Tastendruck, sobald die Kugel wiedererschien (zeitliche Detektion, Experiment 1); schätzten, wann die Kugel eine bestimmte Position erreichen würde (zeitliche Extrapolation, Experiment 2) oder unterschieden, ob die Kugel nach der Verdeckung einer passenden oder nicht passenden Bahn folgte (räumliche Diskrimination, Experimente 3, 4 und 5). Für die Untersuchung des Einflusses realitätsnaher Stimuli wurde in den Experimenten 1 bis 4 eine dreidimensionale (3D) Darstellung (echt-3D, mit Disparitätsinformationen) mit einer pseudo-3D-Version (ohne Disparitätsinformationen) verglichen. Im 5. Experiment wurde der echt-3D-Variante eine vereinfachte zweidimensionale (2D) Version (einfach-2D) gegenübergestellt, die weder Disparitätsnoch Schatten- oder Perspektivenhinweise enthielt. In Experiment 6 erfolgte ein Aufgabenvergleich (Detektion vs. Diskrimination) für die einfach-2D- und echt-3D-Präsentation ohne Tonstimulation. Die Daten sprechen dafür, dass in den zeitlichen Aufgaben (Detektion und Extrapolation) zusätzliche Toninformationen genutzt werden, jedoch offenbarte sich die Tonnutzung während der Extrapolation erst in einer crossvalidierten Post-hoc-Analyse der Daten. Dabei unterschieden sich die Probanden darin, zu welchem Zeitpunkt der Schätzung sie von den Tönen profitieren konnten. Für die drei audiovisuellen Diskriminationsexperimente ergab die klassische Overall-Analyse diffuse bis keine signifikanten Effekte. Bayes-Analysen und ebenfalls crossvalidierte Post-hoc-Analysen deuten auf interindividuelle Unterschiede in der Nutzung visueller Informationen in der räumlichen Diskrimination hin, wobei die Mehrheit der Probanden von visuell passenden Bahnen profitierte. Für die Nutzung auditorischer Informationen konnten hingegen keine Hinweise auf ein konstantes Nutzungsverhalten gefunden werden, vielmehr scheinen hier zumeist Fluktuationen innerhalb der Probanden vorzuliegen. Die Präsentationsdimension beeinflusste das Verhalten der Probanden dahingehend, dass während der Detektion der visuelle Erleichterungseffekt ohne Disparitätsinformationen größer ausgeprägt war, in Experiment 6 hingegen war dieser für die echt-3D-Präsentation größer als in der einfach-2D-Darbietung. In den audiovisuellen Diskriminationsexperimenten konnte kein Einfluss der Präsentationsdimension gefunden werden, wobei dies vermutlich auf die Tonstimulation zurückzuführen ist. Die inkohärenten Toneinflüsse deuten auf eine nicht erfolgte Integration von Ton- und Bildinformationen hin, die dazu führte, dass die Probanden die Töne eher als störend empfanden und die Tonstimulation dadurch ein Rauschen in den Daten erzeugte. Gründe für diese ausbleibende Integration werden diskutiert. Insgesamt verdeutlichen die Ergebnisse, dass Aufgabenanforderungen, individuelle Unterschiede und der Realitätsgrad des Stimulusmaterials die audiovisuelle Bewegungsvorhersage modulieren. In zukünftigen Untersuchungen sollten daher nicht nur Unterschiede zwischen den Probanden bedacht, sondern auch die Interaktionen mit einer alltagsnahen Stimulusgestaltung detaillierter untersucht werden.

Predicting motion is an essential skill in our everyday life (e. g. in road traffic). Previous studies failed to find consistent results. Possible reasons might be that they focused predominantly on the visual modality, used different tasks as well as divergent stimulus material. Therefore, potential factors governing motion prediction were tested in this study. In a series of six psychophysical experiments a ball followed a trajectory towards the observer and temporarily disappeared behind an occluding element. The ball could reappear on a visually congruent or incongruent path and its movement could be accompanied by a continuously moving white noise. The additional sound moved in the same or in a different direction than the ball movement. A unimodal visual-only condition was also presented. Participants indicated when the ball reappeared after occlusion (temporal detection, experiment 1), or extrapolated when the ball would have reached a specified target position (temporal extrapolation, experiment 2). In experiments 3, 4, and 5 they discriminated whether the ball reappeared on a visually congruent or incongruent path (spatial discrimination). All experiments were conducted varying the factor visual depth to compare the influence of realistic stimulus material. Stimuli were presented on a stereoscopic screen with disparity cues in three-dimensional (3D) space (real-3D) and were contrasted with a pseudo-3D version which contained no disparity information (experiment 1 – 4). For experiment 5 a simplified two-dimensional (2D) version with missing disparity as well as no cast shadows and no perspective cues served as a comparison. In experiment 6 two tasks (detection vs. discrimination) were compared for real-3D and simplified-2D presentation without auditory stimulation. Participants benefitted from additional sounds during detection. A post-hoc cross-validation procedure revealed that this was also the case for temporal extrapolation. However, participants differed in the point of time at which they profited from sounds. Most of them performed better in auditory conditions for one extrapolation distance only while their performance was impaired for the second distance. For audiovisual discrimination experiments solely diffuse or non-significant effects were found during classical overall analyses. Bayesian analyses and similar posthoc cross-validation procedures like in experiment 2 revealed that most participants profited from visually congruent paths. However, auditory stimulation still modulated behaviour nonsystematically. Auditory impact seemed to fluctuate during experimental sessions. Furthermore, dimensional presentation affected visual facilitation in two experiments. During experiment 1 visual facilitation was more pronounced during pseudo-3D than real-3D sessions, whereas in experiment 6 this effect was more distinctive for real-3D than simplified-2D stimulation. No effect of stimulus material was found in audiovisual discrimination experiments which might be due to a missing integration of visual and auditory input. Therefore, participants may have misinterpreted auditory stimuli as non-useful noise and could probably be distracted by sounds. Reasons for non-existing multimodal integration are discussed. Together, the results of these experiments indicate that task demands, individual differences, and a realistic experimental environment modulate audiovisual motion prediction and need to be considered in future research.