Exploiting supplementary data and knowledge for improved CNN-based segmentation of prostate structures in T2-weighted MRI

Abstract

Magnetic resonance imaging (MRI) is gaining increasing importance for the diagnosis and treatment of prostate cancer (PCa). One integral part in the analysis of MRI scans is the segmentation of prostate structures, which are needed for multiple tasks in clinical assessment of PCa, and for the planning and monitoring of therapeutic interventions. Convolutional neural networks (CNNs) have proven to be the top choice for many computer vision tasks, including medical image analysis. Consequently, a large body of research has been carried out on CNNbased segmentation of the prostate whole gland and its subdivision into two anatomical zones: the peripheral zone (PZ) and the transition zone (TZ). Far less research has been conducted on the segmentation of other structures that are relevant in PCa assessment and treatment planning. In this thesis, we set out to close this gap by investigating not only an improved segmentation of the whole gland, but extending the automatic segmentation to a more detailed division of the interior prostate gland, and to adjacent structures that are relevant for reducing the risks of adverse therapy side effects. In this context, we contribute novel methods that leverage supplementary data from different levels of clinical datasets to improve the accuracy and robustness of CNN algorithms for prostate structure segmentation. With our work, we aim to mitigate challenges in their development with respect to prostate structures segmentation in specific, and CNN-based methods in general. These challenges include the quality of underlying images, the necessity of a large amount of labeled training data, and the performance drop due to domain shift. To overcome the lower image quality in parts of the prostate on axial MRI scan directions, we propose a 3D anisotropic multi-stream CNN. Our method improves the segmentation performance for the prostate by allowing for incorporation of multiple scan directions. Moreover, we contribute a novel, semi-supervised learning algorithm to leverage unlabeled data for improving the segmentation outcomes and reducing the CNN’s demand for labeled data. Lastly, we exploit that, although the CNN’s performance drops on data from different distributions, its knowledge can be used to improve in the new domain. We introduce a simple yet effective semi-supervised domain adaptation technique that improves the segmentation quality in the new domain with only small amounts of labelled data. With our proposed methods, this thesis takes a further step towards reliable automatic segmentation of prostate structures. Thereby, we do not only focus on the improvement of the CNN algorithms, but we also introduce means to make the methods more applicable in practice.

Die Magnetresonanztomographie (MRT) gewinnt zunehmend an Bedeutung für die Diagnose und Behandlung von Prostatakarzinomen. Ein wesentlicher Bestandteil der Analyse von MRT-Bildern ist die Segmentierung von Prostatastrukturen. Diese werden für verschiedene Aufgaben bei der klinischen Beurteilung von Prostatakarzinomen sowie für die Planung und Überwachung fokaler und lokoregionaler therapeutischer Eingriffe benötigt. Convolutional Neural Networks (CNNs) haben sich als primäre Lösung für viele Aufgaben im Bereich der Computer Vision erwiesen. Dies schließt auch die medizinische Bildanalyse mit ein. Folglich wurden zahlreiche Forschungsarbeiten zur CNN-basierten Segmentierung der gesamten Prostata und ihre Unterteilung in zwei anatomische Zonen (periphere Zone (PZ) und Übergangszone (TZ)) entwickelt. Weit weniger erforscht wurde die Segmentierung anderer Strukturen, die für die Beurteilung und die Behandlungsplanung von Prostatakrebs relevant sind. In dieser Arbeit beabsichtigen wir diese Lücke zu schließen, indem wir nicht nur eine verbesserte Segmentierung der gesamten Prostata anvisieren, sondern die automatische Segmentierung auf eine detailliertere Unterteilung der inneren Prostata ausweiten. Darüber hinaus weiten wir die Segmentierung auf benachbarte Strukturen aus, die für die Reduktion von Therapienebenwirkungen relevant sind. In diesem Zusammenhang stellen wir neue Methoden vor, die zusätzliche Daten von verschiedenen Ebenen klinischer Datensätze nutzen, um die Genauigkeit und Robustheit von CNN-Algorithmen zur Segmentierung der Prostatastruktur zu verbessern. Mit unserer Arbeit zielen wir darauf ab, Herausforderungen bei der Entwicklung und Anwendung von CNN-Algorithmen in Hinblick auf Prostatasegmentierung im Speziellen und CNN-Methoden im Allgemeinen, zu verringern. Zu diesen Herausforderungen gehören die Qualität der zugrundeliegenden Bilder, die Notwendigkeit großer Mengen an gelabelten Trainingsdaten sowie Performanceeinbußen aufgrund des sogenannten Domain-Shifts. Um die geringere Bildqualität in Teilen der Prostata bei axialen MRT-Scanrichtungen zu kompensieren, stellen wir ein anisotropes 3DMultistream- CNN vor. Unsere Methode verbessert die Segmentierungsqualität für die Prostata, indem es die Einbeziehung mehrerer Scanrichtungen ermöglicht. Darüber hinaus führen wir einen neuartigen semi-supervised Algorithmus ein, der ungelabelte Daten zur Verbesserung der Segmentierungsergebnisse nutzt und somit den Bedarf des CNN an annotierten Daten reduziert. Des Weiteren machen wir uns zunutze, dass die Performance des CNN bei Daten aus verschiedenen Verteilungen zwar abnimmt, dessen Wissen aber genutzt werden kann, um die Ergebnisse auf neuartigen Daten zu verbessern. Wir stellen ein einfaches aber effektives semi-supervised Verfahren zur sogenannten Domain Adaptation vor, das die Segmentierungsqualität in der neuen Domain mit einer kleinen Menge an gelabelten Daten verbessert. Mit den von uns entwickelten Methoden leistet diese Arbeit einen Beitrag für eine zuverlässigere automatische Segmentierung von Prostatastrukturen. Dabei haben wir unseren Fokus nicht nur auf die Verbesserung von quantitativen Ergebnisse der CNN-Algorithmen gelegt, sondern auch auf die Verbesserung ihrer Anwendung in der Praxis.