Disease stories: visual and narrative strategies for scientific disease communication

Abstract

Communicating medical topics is a fundamental task for physicians and public health institutions, whether during patient-physician consultations or when promoting preventive measures to the general public. However, low health literacy can hinder individuals’ ability to understand health information and make informed decisions about their own health. Narrative medical visualization aims to bridge this gap by making complex medical information accessible and understandable to lay audiences. It integrates visuals, data, and storytelling to communicate medical information in an engaging and effective way. This thesis focuses on a subtype of narrative medical visualization, namely disease stories, exploring the design space for communicating information about diseases, particularly regarding prevention and treatment decisions. In collaboration with experts from the fields of medicine and design, several diseases are used as exemplary applications. A formalized design process for creating disease stories is introduced, outlining essential components. Key design decisions are investigated through a series of case studies focusing on story content, character, structure, and target audiences. Two case studies compare different visualization (Phong shading, outlines and feature lines, hatching and Fresnel shading) and presentation techniques (showing time steps side-by-side or successive) for depicting pathological growth and shrinkage, using cerebral aneurysms and primary liver tumors as examples. Evaluations with participants from a lay audience provide quantitative data on task performance and self reported preferences regarding the compared techniques. Another case study explored the AI-assisted creation of characters for disease stories. As a proof of concept, characters were generated based on data from patients with non-alcoholic fatty liver disease extracted from an epidemiological study. The generated characters were evaluated both by lay participants, who assessed how accurately the characters conveyed the underlying patient information, and by design experts, who discussed potential refinements. Additionally, a character-driven story structure was developed for a case study on cerebral small vessel disease (CSVD). The study compared three versions of the story: one with a patient as the protagonist, another with a physician, and a third with no human protagonist. A survey targeted at a lay audience was used to examine how these narrative choices shaped the user experience. The CSVD story was later restructured following a tension arc structure and, together with a story about bicuspid aortic valve, was implemented as both an interactive slideshow and a scrollytelling version. A case study with lay participants analyzed user behavior and preferences across these different versions. To gain insight into real-world audience perspectives beyond controlled lab studies, comments from educational YouTube videos on various health topics were collected and analyzed using natural language processing. This analysis investigated user sentiment, emotions, and motivations for engaging with health-related content online. While these studies only explore a small portion of the vast design space of disease stories, the results provide valuable insights. Through the investigation of key design decisions, the strengths and limitations of the proposed implementations are discussed. The findings contribute to the foundation for the interdisciplinary design of disease stories, supporting future research at the intersection of visualization and health communication.

Die Vermittlung medizinischer Themen ist eine grundlegende Aufgabe für Ärzte und Einrichtungen des öffentlichen Gesundheitswesens, sei es bei Arzt-Patienten-Konsultationen oder bei der Förderung von Präventionsmaßnahmen in der breiten Öffentlichkeit. Eine geringe Gesundheitskompetenz kann jedoch die Fähigkeit des Einzelnen beeinträchtigen, Gesundheitsinformationen zu verstehen und informierte Entscheidungen über die eigene Gesundheit zu treffen. Die narrative medizinische Visualisierung zielt darauf ab, dieses Hindernis zu überwinden, indem sie komplexe medizinische Informationen für ein Laienpublikum zugänglich und verständlich macht. Sie integriert Visualisierungen, Daten und Geschichten, um medizinische Informationen auf ansprechende und effektive Weise zu vermitteln. Diese Arbeit konzentriert sich auf eine Unterart der narrativen medizinischen Visualisierung, die Krankheitsgeschichten, und untersucht den Gestaltungsspielraum für die Vermittlung von Informationen über Krankheiten, insbesondere im Hinblick auf Präventions- und Behandlungsentscheidungen. In Zusammenarbeit mit Experten aus den Bereichen Medizin und Design werden verschiedene Krankheiten als Anwendungsbeispiele herangezogen. Es wird ein formalisierter Designprozess für die Erstellung von Krankheitsgeschichten vorgestellt, der die wesentlichen Komponenten umreißt. Einige essenzielle Designentscheidungen werden anhand einer Reihe von Fallstudien untersucht, die sich auf Inhalt, Charakter, Struktur und Zielgruppen der Geschichten konzentrieren. In zwei Fallstudien werden verschiedene Visualisierungs- (Phong Shading, Outlines und Feature lines, Hatching und Fresnel Shading) und Präsentationstechniken (Darstellung von Zeitschritten nebeneinander oder nacheinander) zur Visualisierung von pathologischem Wachstum und Rückbildung am Beispiel von zerebralen Aneurysmen und primären Lebertumoren verglichen. Auswertungen mit Teilnehmern aus einem Laienpublikum liefern quantitative Daten über die Leistung bei den gestellten Aufgaben und zu den selbst berichteten Präferenzen bezüglich der verglichenen Techniken. Eine weitere Fallstudie untersucht die KI-gestützte Erstellung von Charakteren für Krankheitsgeschichten. Zur Erprobung des Konzepts wurden Charaktere auf der Grundlage von Daten von Patienten und Patientinnen mit nichtalkoholischer Fettlebererkrankung aus einer epidemiologischen Studie erstellt. Die generierten Charaktere wurden sowohl von Laien bewertet, die beurteilten, wie genau die Charaktere die zugrundeliegenden Patienteninformationen wiedergeben, als auch von Designexperten, die mögliche Verbesserungen diskutierten. Darüber hinaus wurde für eine Fallstudie über die zerebrale Kleingefäßerkrankung (CSVD) eine charaktergesteuerte Erzählstruktur entwickelt. In der Studie wurden drei Versionen der Geschichte verglichen: in einer Version trat eine Patientin als Protagonist auf, in einer anderen eine Ärztin und in der letzten kein menschlicher Protagonist. Innerhalb einer Umfrage mit Laien wurde untersucht, wie sich diese narrativen Entscheidungen auf das Nutzererlebnis auswirkten. Die CSVD-Geschichte wurde später anhand eines Spannungsbogens umstrukturiert und zusammen mit einer Geschichte über bikuspide Aortenklappen sowohl als interaktive Diashow als auch als Scrollytelling-Version umgesetzt. In einer Fallstudie mit Laien wurden das Nutzerverhalten und die Präferenzen für die verschiedenen Versionen analysiert. Um über kontrollierte Laborstudien hinaus Einblicke in die Perspektiven realer Nutzer zu erhalten, wurden Kommentare von YouTube-Videos zu verschiedenen Gesundheitsthemen gesammelt und mithilfe von Natural Language Processing analysiert. Diese Analyse untersuchte die Stimmung, die Emotionen und die Beweggründe der Nutzer, sich mit gesundheitsbezogenen Online-Inhalten zu beschäftigen. Auch wenn diese Studien nur einen kleinen Ausschnitt des breiten Gestaltungsspielraums von Krankheitsgeschichten untersuchen, liefern die Ergebnisse wertvolle Erkenntnisse. Durch die Untersuchung essenzieller Designentscheidungen werden die Stärken und Schwächen der umgesetzten Implementierungen diskutiert. Die Ergebnisse liefern Grundlagen zur interdisziplinären Gestaltung von Krankheitsgeschichten und unterstützen zukünftige Forschung an der Schnittstelle zwischen Visualisierung und Gesundheitskommunikation.