Of individual and collaborative experiences: training and learning in immersive environments for medical education

Abstract

The ongoing digital transformation is fundamentally reshaping the landscape of medical education. Mixed Reality (MR) technologies contribute significantly to these advancements by introducing immersive simulations that enhance user engagement and learning outcomes. However, designing such systems for educational purposes involves addressing interdisciplinary challenges. A crucial aspect of this process is understanding students’ needs and the pedagogical framework while integrating technological considerations. Therefore, the overarching question in this thesis is: How can immersive experiences be designed to enrich medical education? The first part of this work addresses the design of virtual environments by exploring the impact of visual and interactive fidelity in medical task simulations. This investigation provides a practical framework for balancing realism, development effort, and user needs. The findings indicate that higher fidelity enhances the user experience, while no significant differences in task performance were observed across the selected interaction modalities. The second part focuses on the field of anatomical education and introduces a fully immersive virtual environment designed to foster individual knowledge construction. Through interdisciplinary collaboration, a system was developed that leverages natural hand interaction to enhance understanding of embryonic heart development. The results indicate that effective visualizations in MR must strike a balance between simplicity and sufficient contextual detail, while interactions should cater to varying levels of user expertise and spatial reasoning. Furthermore, when this application was used as a supplementary learning tool during exam preparation by medical students, it demonstrated a measurable knowledge gain. Building on these insights, the third part focuses on the development of collaborative approaches across different MR systems and compares them to individual learning applications. The study concluded that there were no significant differences in educational outcomes between individual learning environments and collaborative setups, as both effectively supported knowledge acquisition for embryonic heart development. While individual environments facilitated learning with greater user control, collaborative approaches enhanced social presence and teamwork dynamics. The final part extends the focus to advanced practical training in the context of liver surgery. A cross-modality MR-based platform was developed to explore different modalities and learning approaches using curated clinical use cases. A study involving teachers and students demonstrated the potential of this cross-modality system to effectively support both collaborative and explorative learning in liver surgery education. This thesis explores how user-centered principles can guide the design of MR systems for medical education, addressing technical and pedagogical challenges through varied technologies, learning approaches, and interaction principles. It further advances understanding by examining human-computer interaction methods and interaction design decisions to improve MR-based educational tools.

Die fortschreitende digitale Transformation verändert die Landschaft der medizinischen Ausbildung grundlegend. Mixed-Reality-Technologien (MR) tragen wesentlich zu diesen Fortschritten bei, indem sie immersive Simulationen ermöglichen, die sowohl die Motivation der Lernenden erhöhen als auch das Lernen verbessern. Die Entwicklung solcher Systeme erfordert jedoch die Bewältigung interdisziplinärer Herausforderungen. Ein zentraler Aspekt dabei ist das Verständnis der Bedürfnisse von Lernenden und der pädagogischen Rahmenbedingungen, während gleichzeitig technologische Überlegungen einbezogen werden müssen. Die zentrale Fragestellung dieser Arbeit lautet daher: Wie können immersive Erlebnisse gestaltet werden, um die medizinische Ausbildung zu bereichern? Der erste Teil dieser Arbeit beschäftigt sich mit der Gestaltung virtueller Umgebungen, indem der Einfluss visueller und interaktiver Qualitäten in medizinischen Aufgabensimulationen untersucht wird. Diese Untersuchung liefert einen praxisorientierten Rahmen, um Realismus, Entwicklungsaufwand und Benutzerbedürfnisse in Einklang zu bringen. Die Ergebnisse zeigen, dass eine höhere visuelle Qualität die Nutzererfahrung verbessert, während bei den gewählten Interaktionsmodalitäten keine signifikanten Unterschiede in der Aufgabenleistung festgestellt wurden. Der zweite Teil konzentriert sich auf den Bereich der anatomischen Ausbildung und stellt eine vollständig immersive virtuelle Umgebung vor, die darauf ausgelegt ist, individuelle Wissensbildung zu fördern. In einer interdisziplinären Zusammenarbeit wurde ein System entwickelt, das natürliche Interaktionen nutzt, um das Verständnis der embryonalen Herzentwicklung zu verbessern. Die Ergebnisse zeigen, dass effektive Visualisierungen in MR ein Gleichgewicht zwischen Einfachheit und ausreichendem kontextuellem Detail finden müssen, während die Interaktionen auf unterschiedliche Kompetenzstufen und räumliches Vorstellungsvermögen der Nutzer abgestimmt sein sollten. Darüber hinaus wurde bei der Verwendung dieses Systems als unterstützendes Lernwerkzeug während der Prüfungsphase von Medizinstudierenden ein messbarer Wissenszuwachs festgestellt. Aufbauend auf diesen Erkenntnissen befasst sich der dritte Teil mit der Entwicklung kollaborativer Ansätze auf verschiedenen MR-Systemen und vergleicht diese mit individuellen Lernanwendungen. Die Studie ergab keine signifikanten Unterschiede in den Lernergebnissen zwischen individuellen Lernumgebungen und kollaborativen Ansätzen, jedoch unterstützten beide effektiv die Wissensvermittlung zur embryonalen Herzentwicklung. Während individuelle Umgebungen das Lernen durch mehr Benutzerkontrolle erleichterten, verbesserten kollaborative Ansätze die soziale Interaktion und die Teamdynamik. Der abschließende Teil erweitert den Fokus auf einen fortgeschrittenen Ausbildungszweig im Kontext der Leberchirurgie. Eine plattformübergreifende MR-basierte Anwendung wurde entwickelt, um verschiedene Modalitäten und Lernansätze mithilfe kuratierter klinischer Anwendungsfälle zu erforschen. Eine Studie mit Lehrenden und Studierenden zeigte das Potenzial dieses plattformübergreifenden Systems, um sowohl kollaboratives als auch exploratives Lernen in der Leberchirurgie-Ausbildung effektiv zu unterstützen. Diese Arbeit untersucht, wie nutzerzentrierte Prinzipien die Gestaltung von MR-Systemen für die medizinische Ausbildung leiten können, indem technische und pädagogische Herausforderungen durch unterschiedliche Technologien, Lernansätze und Interaktionsprinzipien adressiert werden. Sie erweitert das Verständnis, indem Methoden und Interaktionsdesign-Entscheidungen analysiert werden, um MR-basierte Systeme für die medizinische Ausbildung zu verbessern.