Maps, risk and visualization-supported reports for multimodal medical image data

Abstract

Die Auswertung multimodaler medizinischer Bilddaten, das heißt von Daten, die mit verschiedenen bildgebenden Geräten, wie zum Beispiel Computer- oder Positronen-Emissions- Tomographen, aufgenommen werden, bieten unterschiedliche Perspektiven auf Gewebe. Einerseits sind diese für verschiedene Aufgaben vorteilhaft, wenn nicht sogar notwendig, um zum Beispiel metabolischeAuffälligkeiten genau auf ihren morphologischenUrsprung beziehen zu können. Andererseits bringt diese erhöhte Anzahl von Bildquellen einen hohen mentalen Aufwand mit sich, da sie simultan zu bewerten und miteinander abzugleichen sind. Um Ärzte bei verschiedenen Aufgaben zu unterstützen, existieren in der klinischen Praxis bereits grundlegende Visualisierungs-, Bildanalyse- und Interaktionsmethoden. In dieser Arbeit werden neue Visualisierungstechniken für (multimodale) medizinische Bilddaten vorgestellt. Diese zielen primär darauf ab, die oben genannten Methoden zu verbessern und Ärzte und/oder klinische Experten kognitiv zu unterstützen. Die Anatomieausbildung, interventionelle Radiologie und die Dokumentation von Befunden, Diagnosen und Behandlungsentscheidungen sind Disziplinen, die von solchen Methoden profitieren. In Bezug auf den Titel dieser Arbeit werden beispielsweise kartenbasierte Präsentationen, sogenannte Floor Maps, eingesetzt, um Medizinstudenten am Anfang ihres Studiums räumlich komplexe anatomische Anordnungen näher zu bringen. Darüber hinaus werden Techniken vorgestellt, die kognitive Unterstützung bei der Diagnose, der Interventionsplanung und -durchführung in der interventionellen Radiologie bieten. Beispielsweise verorten diese Techniken metabolisch verdächtige Läsionen auf einen Blick mit ihrem anatomischen Kontext oder unterstützen Ärtze klinisch praktikable Instrumentenpfade in solche Läsionen zu finden und zu bewerten. Am Ende wird eine Verarbeitungspipeline beschrieben, um klinische Berichte von thorakalen Lymphknotenmetastasen von Patienten mit primären Lungenkarzinomen zu erstellen. Die meisten der in dieser Arbeit vorgestellten Techniken wurden von klinischen Experten, das heißt unter anderem von Anatomielehrern, Neuroradiologen und Nuklearmedizinern, evaluiert. Diese Auswertungen erfolgten über interaktive Fragebögen und/oder think-aloud-Gesprächen. Insgesamt bestätigten die Experten die individuellen Potentiale und Möglichkeiten der vorgestellten Methoden, so zum Beispiel die Potentiale • gebäudeähnliche Präsentationen und Interaktionsmöglichkeiten zu verwenden, um die zweidimensionale Exploration von medizinischen Bildern zu verbessern, • einer visualisierungsgestützten Risikobewertung, um das Finden und Bewerten von nadelbasierten Eingriffen in der Wirbelsäule zu unterstützen, • von Visualisierungen, die Transparenzen, Silhouetten- und Kantenhervorhebungen kombinieren, um metabolische Hotspots in der Lunge darzustellen und • der Verwendung von Patienten-unabhängigen und kartenbasierten Darstellungen, um die Erzeugung von klinischen Berichten und die interdisziplinäre Kommunikation, zum Beispiel in Tumor Boards, zu vereinfachen.

The assessment of multimodal medical image data, i. e. of images that are acquired via different imaging devices, such as Computed or Positron Emission Tomography scanners, offer different perspectives on tissue. On the one hand, for certain clinical tasks, such multiple perspectives are beneficial if not even necessary, for example, to accurately relate metabolic peaks to their morphological origin. On the other hand, however, with an increased number of image sources, the mental effort to assess all image sources simultaneously increases. In clinical practice, basic visualization, image analysis and interaction facilities already exist to support physicians. Within this thesis, new approaches and visualization techniques for (multimodal) medical image data are presented that aim to enhance the aforementioned (established) facilities and to support physicians and/or clinical experts cognitively. Anatomy education, interventional radiology, and the documentation of findings, diagnoses and treatment decisions are disciplines and/or tasks that can benefit from such support. With respect to this thesis’ title, for example, map-based presentations, so-called floor maps, are employed to provide building-like overviews of spatially complex anatomical arrangements to human medicine students to support their initial understanding about such anatomical regions. Furthermore, techniques that provide cognitive support during diagnoses, intervention planning and execution in interventional radiology are presented. These techniques, for example, relate metabolically suspicious lesions to their anatomical context at a glance or support physicians to find and assess clinically feasible instrument pathways into such lesions. Finally, a processing pipeline is described to create clinical reports with respect to thoracic and/or mediastinal lymph not metastases in patients with primary lung cancer. Most of the techniques presented in this thesis were evaluated by clinical experts, e. g. by anatomy teachers, neuroradiologists or nuclear medicine physicians. These evaluations were carried out via interactive questionnaires and think-aloud interviews. Overall, the experts acknowledged the potentialities of the presented methods, i. e. the potential • to employ building-like presentations and interaction facilities to enhance the twodimensional exploration (slicing) of medical images, • to improve the pathway finding process for needle-based interventions in the spine via visualization-supported risk assessment, • to employ combinations of transparencies, silhouettes and boundary enhancements to convey metabolic hotspots in the lung and • to use patient-unspecific map-based presentations to simplify the processes of clinical reporting and interdisciplinary communication, e. g. in tumor boards.