Interactive medical visualization for experts and broad audiences

Abstract

Over the past decades, numerous approaches have been developed for the visualization of medical data that support patient-specific decisions regarding the diagnosis and treatment of many diseases in everyday clinical practice. One focus is on the computer-aided analysis and visualization of measured and simulated blood flow data to improve the diagnosis and treatment of cardiovascular diseases. Central questions are how the complexity of flow as well as the forces acting on the vessel wall change over the cardiac cycle, what influence different treatment scenarios have on blood flow, and whether there are differences in terms of flow behavior between patients and healthy people. In addition, careful planning and training of surgical procedures can increase treatment success and reduce patient risk. However, the basis for this are perceptionbased representations of complex anatomical relationships. Spatial distances, such as between a tumor and surrounding vessels, must be depicted clearly in order to plan an optimal access route and resection volume. In this context, virtual reality (VR) systems are increasingly used to recreate real scenarios in the operating room. In order to verify the suitability of visualization techniques for such scenarios, extensive user studies based on objectively created experiments need to be conducted. While much research in the past has focused on the development of visualization techniques for medical experts, there is a strong interest among the general public in medical topics such as the links between lifestyle and disease as well as information about innovative treatments. These topics are often presented in a narrative format in popular television shows as well as in a variety of YouTube videos. Most of these narrative formats follow a linear structure based on manually created illustrations, where the only possible interaction is to move to the next or previous view. Therefore, important research aspects are the creation of data-driven medical narratives based on 3D anatomical models, the design of interaction, the choice of a motivating and engaging structure, and the right balance between content depth and comprehensibility. In this cumulative postdoctoral thesis, we first present several computational methods, developed for medical experts, that support the visual analysis of complex medical flow data. We also present approaches for creating perception-based experiments and resulting user studies comparing surface visualization techniques in desktop and VR systems. Finally, we describe concepts for creating data-driven, interactive visualizations of medical data for a broad audience. All described techniques were developed during my time as a postdoctoral researcher and realized and evaluated in close collaboration with various experts as well as representatives of the general public.

In den letzten Jahrzehnten wurden zahlreiche Ansätze für die Visualisierung von medizinischen Daten entwickelt, die im klinischen Alltag patienten-spezifische Entscheidungen hinsichtlich der Diagnose und Behandlung verschiedenster Erkrankungen unterstützen. Ein Schwerpunkt liegt dabei auf der computergestützten Analyse und Visualisierung von gemessenen und simulierten Blutflussdaten, um die Diagnose und Behandlung von kardiovaskulären Erkrankungen zu verbessern. Zentrale Fragen sind hierbei, wie sich die Komplexität des Flusses sowie die auf die Gefäßwand wirkenden Kräfte über den Herzzyklus ändern, welchen Einfluss verschiedene Behandlungsszenarien auf den Blutfluss haben und ob es Unterschiede hinsichtlich des Flussverhaltens zwischen Patienten gibt. Darüber hinaus können eine sorgfältige Planung sowie das Trainieren von chirurgischen Eingriffen den Behandlungserfolg steigern und das Risiko für den Patienten reduzieren. Die Grundlage dafür sind jedoch wahrnehmungsbasierte Darstellungen komplexer anatomischer Verhältnisse. Räumliche Abstände, wie zum Beispiel zwischen einem Tumor und umliegenden Gefäßen, müssen gut erkennbar abgebildet werden, um einen optimalen Zugangsweg sowie das Resektionsvolumen planen zu können. In diesem Zusammenhang kommen vermehrt Virtual Reality (VR) Umgebungen zum Einsatz, die es ermöglichen reale Szenarien im Operationssaal nachzubilden. Um die Eignung von Visualisierungstechniken für derartige Szenarien zu überprüfen, müssen umfangreiche Nutzerstudien auf Basis von objektiv erstellten Experimenten durchgeführt werden. Während sich in der Vergangenheit zahlreiche Forschungsarbeiten auf die Entwicklung von Visualisierungstechniken für medizinische Experten fokussiert haben, besteht in der breiten Öffentlichkeit ein starkes Interesse an medizinischen Themen wie den Zusammenhängen zwischen Lebensstil und Krankheiten sowie an Informationen über innovative Behandlungsmethoden. Diese Themen werden in populären Fernsehsendungen sowie in einer Vielzahl von YouTube-Videos oft in einem narrativen Format präsentiert. Die meisten dieser narrativen Formate folgen einer linearen Struktur basierend auf manuell erstellten Illustrationen, bei der die einzige mögliche Interaktion darin besteht, zur nächsten oder vorherigen Ansicht zu wechseln. Wichtige Forschungsaspekte sind daher die Erstellung daten-getriebener, medizinischer Geschichten basierend auf anatomischen 3D Modellen, die Gestaltung von Interaktion, die Wahl einer motivierenden und einbeziehenden Struktur, sowie das richtige Verhältnis zwischen inhaltlicher Tiefe und Verständlichkeit. In dieser kumulativen Habilitationsschrift werden zunächst verschiedene computergestützte Methoden, entwickelt für medizinische Experten, vorgestellt, die die visuelle Analyse von komplexen medizinischen Flussdaten unterstützen. Zudem stellen wir Ansätze zur Erstellung von wahrnehmungsbasierten Experimenten vor und daraus resultierende Nutzerstudien, bei denen Oberflächenvisulisierungen in Desktopund VR-Systemen verglichen werden. Abschließend beschreiben wir Konzepte zur Erstellung von daten-getriebenen, interaktiven Visualisierungen medizinischer Daten für ein breites Publikum. Alle beschriebenen Techniken wurden in meiner Zeit als Postdoktorandin entwickelt und in enger Zusammenarbeit mit verschiedenen Experten sowie Vertreter der breiten Öffentlichkeit realisiert und evaluiert.