Prior knowledge for deep learning based interventional cone beam Computed Tomography reconstruction

Abstract

Computed tomography (CT) is a non-invasive imaging method for anatomical structures. Due to its fast acquisition time, it is also suitable for surgery in near real-time using interventional C-arm devices. However, the biggest downside of CT is the harmful Xradiation that this imaging method is based on and that the patient as well as the surgeons are exposed to. The dose can be reduced by acquiring fewer X-ray projections or by reducing the current of the X-ray tube, which leads to streaking artifacts or noisy reconstructions, respectively. Deep learning has become one of the major machine learning methods in the past decade and also found its way into medical imaging. Compared to traditional approaches, deep learning and convolutional neural networks (CNNs) are usually very fast and superior in accuracy. For this reason, the aim of this thesis is to investigate how CNNs can be applied to interventional CT to reduce the amount of radiation while maintaining the image quality of the reconstructions. Several studies have shown that, despite training plain CNNs already improves the image quality, providing more specific, task-related information is beneficial for guiding neural networks to solutions that resemble the sought outcomes closer. In this thesis, the influence of this prior knowledge for the task of optimizing sparse view CT reconstructions is investigated systematically by categorizing it into the three classes Algebraic, Machine Learning and Temporal and Model Prior Knowledge. Examples of each category are explained and investigated, it is discussed if and how the categories can be combined to accumulate and concentrate the information, how the models perform with respect to different numbers of acquired projections, and which evaluation metrics are suited best for assessing the quality of the optimized CT images. Moreover, failed attempts are presented and possible reasons and explanations for why the initial hypotheses had to be rejected are explored. These studies are going to give a deeper insight into what information is essential and beneficial for interventional CT reconstructions using deep learning architectures. Further analyses will show to what extent the developed models can be applied in clinical practice and which limitations have to be dealt with.

Die Computertomographie (CT) ist ein nicht-invasives Bildgebungsverfahren für anatomische Strukturen. Aufgrund ihrer schnellen Aufnahmezeit eignet sie sich auch für chirurgische Eingriffe in nahezu Echtzeit mit interventionellen C-Bogen-Geräten. Der größte Nachteil der CT ist jedoch die schädliche Röntgenstrahlung, auf der diese Bildgebungsmethode beruht und der sowohl der Patient als auch die Chirurgen ausgesetzt sind. Die Dosis kann reduziert werden, indem weniger Röntgenprojektionen aufgenommen werden oder die Stromstärke der Röntgenröhre reduziert wird, was zu Streifenartefakten bzw. verrauschten Rekonstruktionen führt. Deep Learning hat sich im letzten Jahrzehnt zu einer der wichtigsten Methoden des maschinellen Lernens entwickelt und auch in der medizinischen Bildgebung Einzug gehalten. Im Vergleich zu traditionellen Ansätzen sind Deep Learning und Convolutional Neural Networks (CNNs) in der Regel sehr schnell und in ihrer Genauigkeit überlegen. Aus diesem Grund soll in dieser Arbeit untersucht werden, wie CNNs in der interventionellen CT eingesetzt werden können, um die Strahlenbelastung zu reduzieren und gleichzeitig die Bildqualität der Rekonstruktionen zu erhalten. Studien haben gezeigt, dass, obwohl das Training einfacher CNNs bereits die Bildqualit ät verbessert, die Bereitstellung spezifischerer, aufgabenbezogener Informationen von Vorteil ist, um neuronale Netze zu Lösungen zu führen, die den angestrebten Ergebnissen näher kommen. In dieser Arbeit wird der Einfluss dieses Vorwissens für die Aufgabe der Optimierung von CT-Rekonstruktionen aus wenigen Projektionen systematisch untersucht, indem es in die drei Klassen Algebraisches, Machine Learning und Temporales und Modellvorwissen eingeteilt wird. Beispiele für jede Kategorie werden erläutert und untersucht, es wird diskutiert, ob und wie die Kategorien kombiniert werden können, um die Informationen zu akkumulieren und zu konzentrieren, wie die Qualität der Modelle mit der Anzahl der erfassten Projektionen korreliert und welche Bewertungsmetriken sich am besten für die Beurteilung der Qualität der optimierten CT-Bilder eignen. Darüber hinaus werden gescheiterte Versuche vorgestellt und mögliche Gründe und Erklärungen dafür erforscht, warum die ursprünglichen Hypothesen verworfen werden mussten. Diese Studien geben einen tieferen Einblick, welche Informationen für interventionelle CT-Rekonstruktionen unter Verwendung von Deep-Learning-Architekturen wesentlich und nützlich sind. Weitere Analysen zeigen, inwieweit die entwickelten Modelle in der klinischen Praxis angewendet werden können und welche Einschränkungen zu beachten sind.