Touchless, direct input methods for human-computer interaction to support image-guided interventions

Abstract

Bei minimal-invasiven Eingriffen werden Katheter oder Nadeln durch Inzisionen in den Körper des Patienten geführt um die Zielstruktur zu erreichen ohne dabei eine offene chirurgische Operation zu erfordern. Während eines solchen Eingriffs hat der Operateur weder direkte Sicht auf die Werkzeuge, noch auf Ziel- oder Risikostrukturen und ist auf bildgebende Verfahren wie Ultraschall, Röntgenbildgebung oder Magnetresonanztomographie angewiesen. Eine Anpassung der Echtzeit-Bildgebung, der Zugriff auf Planungsdaten oder auf bereits aufgenommene Bilder kann während einer Intervention erforderlich werden. Aufgrund der Gefahr die Sterilität zu verletzen, können herkömmliche Eingabegeräte wie Maus und Tastatur nicht ohne weiteres verwendet werden. Im der klinischen Praxis müssen Touchscreens, Tasten oder Joysticks mit steriler Folie abgedeckt werden. Alternativ werden Interaktionsaufgaben verbal oder gestisch an einen Assistenten delegiert. Beide Ansätze sind nicht optimal: Stellvertreter-Interaktion ist anfällig für Missverständnisse und abhängig von der Erfahrung des Assistenten. Die Verwendung von steril abgedeckten, konventionellen Eingabegeräten ist umständlich und nicht möglich wenn beide Hände für die Durchführung der Intervention benötigt werden. Direkte Interaktion ist jedoch wichtig, um ein tieferes Verständnis für die medizinischen Bilddaten zu entwickeln. Die vorgestellte Arbeit untersucht alternative Eingabemethoden für die direkte Interaktion mit Computersystemen in Situationen, in denen die Hände steril gehalten werden müssen und nicht jederzeit zur Verfügung stehen. Für MRT-geführten Nadelinterventionen wird eine berührungslose, einhändige Gestensteuerung vorgestellt und mit der Delegation an einen Assistenten verglichen. Für Situationen in denen die Hände nicht verfügbar sind werden handfreie Eingabemethoden zur grundlegenden Interaktion mit medizinischen Bilddaten untersucht. Als Eingabekanäle werden die Blickrichtung, die Füße, Sprachbefehle und Körperbewegungen eingesetzt. Sekundäre, zeitgleich ausgeführte Aufgaben wie die Interaktion mit Bilddaten beeinflussen möglicherweise die primäre, medizinische Aufgabe. Daher wird die Eignung und Auswirkung verschiedener handfreier Eingabemethoden während der Ausführung einer manuellen Aufgabe untersucht. Zudem werden passive Eingabemethoden für sekundäre Aufgaben aus natürlichem Nutzerverhalten abgeleitet und auf die resultierende subjektive Arbeitsbelastung untersucht.

During minimally-invasive procedures, catheters or needles are inserted into the patient’s body through small incisions and navigated to the desired structure without the need for open surgery. During such a procedure, the clinician does not have a direct view on the tools, the target or risk structures and therefore relies on imaging modalities such as ultrasound, X-ray or magnetic resonance imaging. Adjustment of live images, access to planning data or previously acquired images might become necessary during an intervention. Due to the risk of breaking asepsis, conventional input devices such as mouse and keyboards cannot be used without further measures. In clinical practice, touchscreens, buttons or joysticks need to be covered in sterile plastic sheeting. Alternatively, an assistant is instructed verbally or gesturally to act as a proxy user. Both approaches are not optimal: Proxy-user interaction is prone to misunderstandings and relies on the experience of the assistant. Using plastic-draped, conventional input devices is cumbersome and not possible in case both hands are required to perform the intervention. However, direct interaction is essential to gain a deeper understanding of medical image data. The presented work investigates alternative input methods for direct interaction with computer systems for situations where the hands are sterile and not available at all times. Touchless, one-handed gesture input is presented and compared to proxy-user interaction for MRI-guided needle interventions. Hands-free input methods for basic interaction with medical images are investigated for situations with the hands occupied. Gaze, feet, voice commands and body movements are employed as input channels. Direct, concurrently performed image manipulation might influence the primary, medical task. Therefore, the suitability and impact of different hands-free input methods while performing a manual task is investigated. Further, passive input methods for secondary tasks derived from natural user behavior are investigated regarding the resulting subjective workload.