Projector-based augmented reality and touchless interaction to support MRI-guided interventions

Abstract

Bei minimal-invasiven perkutanen Eingriffen, wie z.B. der thermischen Tumorablation, bedienen sich Radiologen bildgebender Verfahren, die Auskunft über die aktuelle Position des Ablationsapplikators und die umgebenden Risikostrukturen geben. Bei MRT-gestützten Interventionen werden diese Bilddaten auf einem Bildschirm neben dem MRI dargestellt und separieren so die Informationen vom Operationsfeld, was die Hand-Augen-Koordination erschwert, die mentale Beanspruchung des Arztes erhöht und eine ohnehin schon problematische ergonomische Situation verschlimmert. Darüber hinaus ist die Software zur Steuerung des MRT und Bereitstellung der Bilddaten für die Diagnostik konzipiert, also mit vielen Funktionen, die bei Interventionen nicht benötigt werden, und kann nur mit konventionellen Eingabemodalitäten wie Trackball, Maus oder Tastatur bedient werden. Aus diesem Grund wird die Steuerung desMRT und die Interaktion mit Bilddaten oft an Assistenten delegiert, was eine Indirektion einführt, die häufig Verwirrung und Frustration verursacht und den Ablauf der Intervention stört. In dieser Dissertation werden Lösungsansätze für diese Probleme präsentiert. Es werden das erste projektorbasierteAugmented-Reality-Nadel-Navigationssystem für den Einsatz innerhalb der MRT-Röhre zur Unterstützung MRT-geführter Interventionen sowie ein berührungsloses Gestensteuerungs-Interface zur direkten, sterilen interventionellen Interaktion mit medizinischen Bilddaten und Steuerung des MRT vorgestellt. Das Projektor-Kamera-System wird mit einem structured-Light-Ansatz kalibriert und mit dem MRT registriert, um die visuellen Informationen von zwei eigens entwickelten Nadel-Navigationskonzepten exakt mit dem Operationsfeld zu überlagern. Das berührungslose Gestenset ist metaphorisch und selbsterklärend gestaltet und wurde in zwei verschiedenen Interventionsszenarien evaluiert. Die Auswertung zeigt vielversprechende Ergebnisse in Bezug auf Genauigkeit und Gebrauchstauglichkeit. Aufgrund ihres allgemeinen Designs können die in dieser Arbeit vorgestellten Systeme und Konzepte nicht nur den Arbeitsablauf von MRT-geführten perkutanen Ablationen verbessern, sondern auch auf andere Interventionen übertragen werden. In zukünftigen Arbeiten sollten die Projektionsund Navigationsinformationen an sich durch Atmung bewegende innere und äußere Strukturen angepasst werden, um schließlich die klinische Anwendbarkeit erreichen zu können.

During minimally-invasive percutaneous interventions, such as thermal ablations of tumours, the radiologist relies on imaging modalities that provide information about the current pose of the ablation applicator and the surrounding risk structures. In the case of MRI-guided interventions this image data is presented on a screen next to the MRI thus separating the information from the operating field complicating the hand-eye coordination, increasing the mental demand of the physician and worsening an already challenging ergonomic situation. Furthermore, the software to control the MRI and providing the image data is designed for diagnostic scenarios, hence with many features not needed during interventions, and can only be operated with conventional input modalities such as a trackball, mouse, or a keyboard. This is why the control of the MRI and interaction with image data is often delegated to assistants, which introduces an indirection that frequently causes confusion and frustration and disturbs the workflow of intervention. This dissertation addresses these issues by presenting the first projector-based augmented reality navigation system to be used inside the MRI bore to support MRIguided interventions and by introducing a touchless gesture-controlled interface to interact with medical images and control the MRI directly and sterilely during interventions. The projector-camera system is calibrated with a structured-light approach and registered with the MRI to align the visual information of two developed needle navigation concepts accurately with the operating field. The touchless gesture set is designed to be metaphoric and self-describing and was evaluated in two different image-guided intervention scenarios. The evaluation shows promising results regarding accuracy and usability. Due to their general design the systems and concepts presented in this thesis may not only improve the workflow of MRI-guided percutaneous ablations, but may also be transferred to other interventional scenarios. In future works, the projection and navigation information should be adapted to moving inner and outer structures caused by breathing to eventually be able to reach clinical applicability.