Projective augmented reality techniques for the navigation of percutaneous needle insertions

Abstract

Proven benefits of minimally invasive interventions have led to an increased prevalence of treatments requiring precisely targeted insertions of needle-shaped instruments and the development of interventional navigation systems to improve their quality. However, provided information is usually conveyed by external monitors. The resulting separation of useful information and the patient is mentally demanding. Visualizing the navigation aids directly on the patient using augmented reality (AR) can help overcome these issues. However, only an insufficient amount of fundamental research has focused on the design and hardware selection of such AR needle navigation systems. Among available solutions, projective AR seems to be particularly suitable for clinical use due to the separation of devices and displayed content, but has been even less thoroughly investigated. This work attempts to bridge this gap from two different research directions. A first part investigates rather general aspects of projective AR to ensure the perceptibility of visualized contents. This includes investigations on improving perceptual issues as well as on interacting with projected volume renderings. Results of two experiments examining depth perception suggest that enabling the depth cue stereopsis has a great effect on depth estimation accuracy. However, encoding distance information to the appearance of virtual objects may be almost equally contributing. In addition, preserving parts of the actual projection surface occluding underlying virtual structures is beneficial by providing further depth information. With respect to interaction, results of two experiments revealed advantages of using gestures based on the natural motion of hand-held devices to explore volumetric image data in projective AR. It was also found that voice commands are a beneficial tool to allow for discrete interaction tasks. A second part of this work focuses on projective AR in the field of AR needle navigation. First, different navigation visualization paradigms were compared in two empirical user studies. A two-dimensional crosshairs-shaped concept could be assessed to convey insertion angle and depth information the most precisely in projective AR. Results also suggest benefits of logarithmically scaled information indicators as well as color mapping. A follow-up experiment investigated differences in various AR display devices. Using the crosshairs concept, projective AR was shown to be superior to a tablet PC, a head-mounted display (HMD) and a conventional navigation setup using an external monitor. A concluding experiment focused on the interaction of navigation concepts differing in their dimensionality and AR display devices. There, stereoscopic projective AR was compared to a state-of-the-art HMD. Results ascertained that the two-dimensional crosshairs concept enables highest precision. A three-dimensional see-through vision concept also showed promising results. For three-dimensional concepts, the HMD may be more advantageous while projective AR may be best implemented using two-dimensional visualizations not requiring stereoscopy. With these findings, this work contributes to the general field of projective AR and to the application area of instrument navigation in medical AR. The outcomes enable evidence-based recommendations on which AR display technique and which visualization concept to use for navigated needle insertion tasks.

Die nachweislichen Vorteile minimalinvasiver Eingriffe haben zu einer gestiegenen Anzahl an Behandlungen geführt, bei denen nadelförmige Instrumente präzise eingeführt werden. Zudem wurden chirurgische Navigationssysteme entwickelt, um die Qualität dieser Eingriffe zu verbessern. Die Trennung von nützlichen Informationen und dem Patienten, resultierend durch eine Darstellung auf externen Monitoren, ist jedoch mental belastend. Die Visualisierung von Navigationshilfen direkt auf dem Patienten mittels Augmented Reality (AR) kann helfen, diese Probleme zu lösen. Allerdings wurde bislang nicht ausreichend Forschung zum Design und zur Hardwareauswahl solcher AR-Nadelnavigationssysteme betrieben. Unter den verfügbaren Lösungen scheint projektive AR besonders geeignet zu sein. Diese Methode ist aber noch weniger gründlich untersucht worden. Die vorliegende Arbeit versucht, diese Lücke aus zwei verschiedenen Forschungsrichtungen zu schließen. Im ersten Teil werden eher allgemeine Aspekte der projektiven AR untersucht. Die Ergebnisse von zwei Experimenten zur Verbessung der Wahrnehmbarkeit projizierter Inhalte deuten darauf hin, dass binokulare Tiefenhinweise einen großen Einfluss haben. Die Kodierung von Entfernungsinformationen in das Erscheinungsbild virtueller Objekte kann jedoch einen fast ebenso großen Effekt erzielen. Darüber hinaus ist die visuelle Erhaltung von Teilen der Projektionsfläche, die die darunter liegenden virtuellen Strukturen verdeckt, von Vorteil, da dies weitere Tiefeninformationen liefert. Zwei Experimente zur Interaktion mit projizierten Volumendatendarstellungen haben gezeigt, dass die Verwendung von Gesten, die auf der natürlichen Bewegung von Handgeräten basieren, Vorteile bei der Erkundung der Daten bietet. Ebenso wurde festgestellt, dass Sprachbefehle für diskrete Interaktionsaufgaben von Vorteil sind. Der zweite Teil dieser Arbeit konzentriert sich auf projektive AR im Bereich der AR-Nadel- navigation. Zunächst wurden in zwei empirischen Nutzerstudien verschiedene Navigationsvisualisierungen verglichen. Es konnte festgestellt werden, dass ein zweidimensionales Konzept in Form eines Fadenkreuzes die Einstichwinkel- und Einstichtiefeninformationen am präzisesten vermittelt. Die Ergebnisse deuten auch auf die Vorteile von logarithmisch skalierten Informationsindikatoren sowie von Farbkodierung hin. Ein Folgeexperiment untersuchte die Unterschiede zwischen verschiedenen AR-Ausgabegeräten. Unter Verwendung des Fadenkreuzkonzepts zeigte sich, dass projektive AR einem Tablet-PC, einem Head-Mounted-Display (HMD) und einem konventionellen Monitor überlegen ist. Ein abschließendes Experiment befasste sich mit dem Zusammenspiel von Navigationsvisualisierungen unterschiedlicher Dimensionsgrade und AR-Ausgabegeräten. Dabei wurde stereoskopische projektive AR mit einem modernen HMD verglichen. Es zeigte sich, dass das zweidimensionale Fadenkreuzkonzept die höchste Präzision ermöglicht. Ein dreidimensionales Röntgensichtkonzept zeigte ebenfalls vielversprechende Ergebnisse. Für dreidimensionale Konzepte könnte das HMD vorteilhafter sein, während projek- tive AR am besten mit zweidimensionalen Visualisierungen umgesetzt werden kann. Mit diesen Ergebnissen trägt diese Arbeit zum allgemeinen Bereich der projektiven AR und zum Anwendungsbereich der Instrumentennavigation in medizinischer AR bei. Die Ergebnisse ermöglichen evidenzbasierte Empfehlungen, welches AR-Display und welches Visualisierungskonzept für navigierte Nadeleinstiche verwendet werden sollten.