A deep learning framework for predicted 4D MRI

Abstract

Organbewegungen stellen eine ungelöste Herausforderung bei bildgesteuerten Interventionen wie Strahlentherapie, Biopsien oder Tumorablationen dar. In dem Be- streben, dieses Problem zu lösen, hat sich das Forschungsgebiet der zeitaufgelösten volumetrischen Magnetresonanztomographie oder 4D MRT entwickelt. Die derzeiti- gen Techniken sind jedoch für die meisten Interventionen ungeeignet, da sie nicht über eine ausreichende zeitliche und/oder räumliche Auflösung verfügen und lange Aufnahme- und Rekonstruktionszeiten haben. In dieser Arbeit wurde ein öffentlicher Datensatz erstellt, welcher aus dynamischen 2D und statischen 3D Leber magnetic resonance imaging (MRI) von 20 gesunden Probanden besteht und für die Entwicklung und das Testen von 4D MRI Methoden genutzt werden kann. Auf diesem Datensatz wurde eine klassische Sortier- und Stacking-Methode, welche Template-Updates nutzt entwickelt und getestet. Sie dient als Referenz für die anschließende Entwicklung eines auf Deep Learning basierenden Ansatzes. Es wird gezeigt, dass Template-Updates die Robustheit der Methode gegenüber ouf-of-plane Bewegungen der verfolgten Landmarken verbessern und gleichzeitig die Rekonstruktion beschleunigen. Ein neuartiges, auf Deep Learning basierendes Framework für die Erstellung von 4D Leber MRI wurde auf demselben Datensatz entwickelt und getestet. Es ver- wendet ein Deep-Learning-Netzwerk, bei dem Input und Output nach dem hier vorgeschlagenen Konzept der transitiven Informationsbrücken organisiert werden. Dies macht die Methode zu einer durchgängig trainierbaren Lösung für das 4D MRI Rekonstruktionsproblem. Die netzwerkunabhängige Eigenschaft des Ansatzes wurde mit verschiedenen Architekturen getestet. Das Framework erreicht Rekon- struktionszeiten von unter einer Sekunde für hochauflösende 3D Leber MRI mit großem field of view (FOV) und ermöglicht so echtzeit 4D Leber MRI. Darüber hinaus wird eine Transfer-Learning-Strategie vorgeschlagen, um die Menge der Trainingsdaten und damit die für die 4D MRI Rekonstruktion benötigte vorherige Aufnahmezeit zu reduzieren. Damit wird dem medizinischen Hintergrund Rechnung getragen, dass lange Aufnahmezeiten medizinisch und wirtschaftlich nicht praktika- bel sind. Es wird eine Ensembling-Strategie vorgeschlagen, bei der mehrere Modelle ein 4D MRI vorhersagen. Es wird gezeigt, dass der Mittelwert der Vorhersagen eine verbesserte Qualität und einen verbesserten Vorhersagefehler aufweist. Zudem wird die Standardabweichung der Vorhersagen zur Berechnung einer Unsicherheitskarte verwendet. Darüber hinaus wird die Wiederverwendung von Trainindaten als transi- tive Informationsbrücken vorgeschlagen, um die Zeit für die vorherige Erfassung von Trainingsdaten zu reduzieren. Es wird gezeigt, dass diese Wiederverwendung auch die Vorhersagequalität verbessert.

Organ motion poses an unresolved challenge in image-guided interventions like radiation therapy, biopsies or tumor ablation. In the pursuit of solving this problem, the research field of time-resolved volumetric magnetic resonance imaging or 4D MRI has evolved. However, current techniques are unsuitable for most interventional settings because they lack sufficient temporal and/or spatial resolution and have long acquisition and reconstruction times. In this work a public data set of dynamic 2D and static 3D liver MRI of 20 healthy sub- jects was established for the development and testing of 4D MRI methods. On this dataset a classical sorting and stacking method that utilizes template updates was developed and tested as a baseline for the subsequent development of a deep learn- ing based approach. It is shown that template updates improve robustness against out of plain motion of tracked landmarks, while speeding up the reconstruction at the same time. A novel deep learning based framework for the generation of 4D liver MRI was developed and tested on the same dataset. It uses a deep learning network where the input and output are organized according to the here proposed concept of transitive information bridges. This makes the method an end-to-end trainable solution to the 4D MRI reconstruction problem. The approaches network agnostic property was tested with different architectures. The framework achieves sub-second reconstruction times for high resolution, large FOV 3D liver MRI , thus facilitating real-time 4D liver MRI. Furthermore a transfer learning strategy is proposed to reduce the amount of training data and thus the prior acquisition time needed for 4D MRI reconstruction. This addresses the medical background where long acquisition times are medically and economically not feasible. An ensembling strategy is proposed in which multiple models predict a 4D MRI . It is shown that the mean of the predictions has an improved quality an prediction error and the standard deviation is used to calculate an uncertainty map. Furthermore, also to reduce prior acquisition times needed for training data, the reuse of training samples as transitive information bridges is proposed. It is shown that this re-utilization also improvement prediction quality.