Multimodal deep learning for enhanced prostate cancer diagnosis and grading

Abstract

Prostate cancer represents the second leading cause of cancer-related mortality among men, with computer-aided diagnosis (CAD) systems showing significant potential to enhance diagnostic accuracy and reduce inter-reader variability in clinical practice. However, current approaches suffer from critical limitations, including incomplete utilization of clinical data beyond MRI scans, sensitivity to multimodal misalignment between imaging sequences, limited diagnostic granularity relying on subjectively radiologically assigned scores rather than histopathological findings, and data scarcity challenges that hinder robust model development. This dissertation presents a comprehensive framework that addresses these limitations through four key contributions. First, a multimodal integration approach was developed that effectively combines MRI data with longitudinal clinical information, including irregularly sampled PSA measurements and patients’ demographics. This approach achieved superior performance (AUC 0.843) compared to image-only models (AUC 0.808). Second, a modality-robust image analysis method was implemented using simulated translational shifts during training, as a data augmentation technique, improving detection sensitivity by up to 20% for small lesions under misaligned conditions. Third, by extending beyond traditional binary classification to provide clinically relevant histopathological insights, the granular diagnostic prediction schemes were investigated using multi-class models that distinguish between different Gleason scores and benign conditions like prostatitis, which are typically challenging for the human eye to differentiate from low-grade cancer on MRI. Fourth, a zone-conditioned diffusion model was developed to generate synthetic volumetric MRI data, significantly improving zonal prostate segmentation performance when real training data are limited (improving Dice scores from 71.1 to 82.3 for peripheral zone segmentation with only 24 real images). Extensive validation was conducted on both internal (630 cases) and external multi-center datasets (419 cases from 160 different MRI scanners), demonstrating robust performance across different clinical settings and imaging protocols. The proposed methods maintained competitive performance at clinically relevant operating points compared to radiological assessment using PI-RADS scoring, suggesting potential for reducing unnecessary biopsies while maintaining high detection sensitivity for clinically significant prostate cancer. This work demonstrates that CAD systems achieve greater clinical value when designed to reflect real-world diagnostic workflows, particularly through incorporating multiple data sources and modeling temporal biomarker progression. The proposed approaches in this work bridge theoretical advancements with practical clinical considerations, representing a significant step toward developing trustworthy deep learning-aided diagnosis systems suitable for real-world clinical deployment.

Prostatakrebs stellt die zweithäufigste Ursache für krebsbedingte Sterblichkeit bei Männern dar. Computergestützte Diagnosesysteme (CAD) zeigen signifikantes Potenzial zur Verbesserung der Diagnosegenauigkeit und Reduzierung der Interrater-Variabilität in der klinischen Praxis. Aktuelle Ansätze leiden jedoch unter kritischen Limitationen, einschließlich unvollständiger Nutzung klinischer Daten jenseits von MRT-Aufnahmen, Empfindlichkeit gegenüber multimodaler Fehlausrichtung zwischen Bildsequenzen, begrenzter diagnostischer Granularität, die auf subjektiv radiologisch zugewiesenen Scores anstatt auf histopathologischen Befunden beruht, und Herausforderungen der Datenknappheit, die eine robuste Modellentwicklung behindern. Diese Dissertation präsentiert ein umfassendes Framework, das diese Limitationen durch vier Schlüsselbeiträge adressiert. Erstens wurde ein multimodaler Integrationsansatz entwickelt, der MRT-Daten effektiv mit longitudinalen klinischen Informationen kombiniert, einschließlich unregelmäßig abgetasteter PSA-Messungen und Patientendemographien. Dieser Ansatz erreichte verbesserte Leistung (AUC 0,843) im Vergleich zu reinen Bildmodellen (AUC 0,808). Zweitens wurde eine modalitätsrobuste Bildanalysemethode implementiert, die simulierte Translationsverschiebungen während des Trainings als Datenaugmentierungstechnik nutzt und die Detektionssensitivität für kleine Läsionen unter fehlausgerichteten Bedingungen um bis zu 20% verbessert. Drittens wurden durch Erweiterung über traditionelle binäre Klassifikation hinaus zur Bereitstellung klinisch relevanter histopathologischer Einblicke granulare diagnostische Vorhersageschemata mittels Mehrklassen modellen untersucht. Diese unterscheiden zwischne Gleason-Scores und benignen Zuständen wie Prostatitis unterscheiden, welche für das menschliche Auge schwer von niedriggradigen Karzinomen im MRT zu differenzieren sind. Viertens wurde ein zonenbasiertes Diffusionsmodell entwickelt, um synthetische volumetrische MRT-Daten zu generieren. Das verbessert die Leistung der zonalen Prostatensegmentierung bei begrenzten realen Trainingsdaten erheblich (Verbesserung der Dice-Scores von 71,1 auf 82,3 für die Segmentierung der peripheren Zone mit nur 24 realen Bildern). Umfangreiche Validierung wurde sowohl an internen (630 Fälle) als auch externen multizentrischen Datensätzen (419 Fälle von 160 verschiedenen MRT-Scannern) durchgeführt. Es zeigte sich eine robuste Leistung über verschiedene klinische Settings und Bildgebungsprotokolle hinweg. Die vorgeschlagenen Methoden behielten kompetitive Leistung an klinisch relevanten Betriebspunkten im Vergleich zur radiologischen Bewertung mittels PI-RADS-Scoring bei, was das Potenzial zur Reduzierung unnötiger Biopsien bei gleichzeitiger Aufrechterhaltung hoher Detektionssensitivität für klinisch signifikante Prostatakarzinome suggeriert. Diese Arbeit demonstriert, dass CAD-Systeme größeren klinischen Wert erreichen, wenn sie darauf ausgelegt sind, reale diagnostische Arbeitsabläufe widerzuspiegeln, insbesondere durch die Einbeziehung multipler Datenquellen und die Modellierung temporaler Biomarker-Progression. Die in dieser Arbeit vorgeschlagenen Ansätze überbrücken theoretische Fortschritte mit praktischen klinischen Überlegungen und stellen einen bedeutenden Schritt zur Entwicklung vertrauenswürdiger Deep-Learning-gestützter Diagnosesysteme dar, die für den realen klinischen Einsatz geeignet sind.