Collaborative virtual reality for laparoscopic liver surgery training and planning

Abstract

Chirurgische Trainings- und Planungssoftware für die laparoskopische Leberchirurgie ist für die mentale Vorbereitung, die Unterstützung der Entscheidungsfindung sowie die Verbesserung der psychomotorischen Fähigkeiten essentiell. Desktop-basierte Systeme sind leicht zugänglich, bieten jedoch im Vergleich zu Virtual-Reality-Systemen (VR-Systemen) nur eingeschränkte Interaktions- und Visualisierungsmöglichkeiten. Zudem sind ein kollaboratives Training und die Planung mit mehreren Chirurgen nur begrenzt möglich. Das Ziel dieser Arbeit ist die Erforschung neuartiger immersiver VR-Anwendungen zur Unterstützung von Ärzten bei der Ausbildung, Planung und interprofessionellen Zusammenarbeit in der laparoskopischen Leberchirurgie. Dies kann sowohl in einer gemeinsamen Umgebung als auch räumlich getrennt stattfinden. Zunächst wird eine kollaborative VR-Umgebung für die Ausbildung in der laparoskopischen Leberchirurgie erforscht und entwickelt. Hierfür werden laparoskopische chirurgische Joysticks verwendet und in einen virtuellen Operationssaal integriert. Laparoskopische Verfahren, wie die Simulation von Schnitten in Echtzeit, werden in diesem Zusammenhang anhand von Patientendaten realisiert und ausgewertet. Außerdem wird eine Möglichkeit für das interprofessionelle Teamtraining innerhalb der laparoskopischen Umgebung vorgestellt. Ziel ist es, die intraoperative Kommunikation zwischen Chirurgenteams und Anästhesisten während Eingriffen zu verbessern und zu trainieren. Dazu werden zwei medizinische Trainingsszenarien ausgearbeitet und von Experten bewertet. In einem weiteren Schritt wird eine kollaborative VR-Umgebung für die Planung von Leberoperationen untersucht. Hierbei erfolgt eine Verbesserung der Resektionsplanung durch eine erweiterte virtuelle Resektionstechnik sowie eine Echtzeit- Visualisierung der Risikokarte. Schlussendlich wird eine fortgeschrittene chirurgische Trainingsumgebung entwickelt, welche die vorgestellten Prototypen für das laparoskopische Training, das interprofessionelle Teamtraining und die Planung der Leberchirurgie in einer Umgebung zusammenführt. In diesem Kontext wird eine Technik zur Optimierung der Gruppennavigation in der kollaborativen VR-Umgebung präsentiert. Jede Umgebung wurde von Fachleuten in einer Nutzerstudie evaluiert. Die Ergebnisse liefern wertvolle Erkenntnisse über potenzielle Vorteile sowie klinische Anwendbarkeit und beinhalten Feedback für weitere Verbesserungen. In dieser Arbeit wird ein neuer Ansatz für die Zusammenarbeit bei der chirurgischen Planung und Ausbildung vorgestellt. Dieser bildet die Grundlage für eine umfassende klinische Bewertung, lässt sich auf andere chirurgische Disziplinen übertragen und eröffnet neue Wege für die künftige chirurgische Ausbildung.

Surgical training and planning software in laparoscopic liver surgery is essential in providing mental preparation, supporting decision making, and improving psychomotor skills. Desktop-based systems are easily-accessible. However, they provide limited interaction and visualization possibilities compared to virtual reality (VR) setups. Moreover, collaborative training and planning among surgeons are only viable to a limited extent. Within this dissertation, the aim is to investigate novel immersive VR to support physicians in laparoscopic liver surgery training, planning, and interprofessional collaboration in a co-located or remote environment. First, a collaborative VR environment for laparoscopic liver surgery training is investigated and developed. Laparoscopic surgical joysticks are used and integrated into a virtual operating room, and laparoscopic procedures, such as real-time cutting simulation on real patient data, are developed and evaluated. Second, an environment for interprofessional team training in the laparoscopic setting is proposed. The aim is to improve and train intraoperative communication between surgical teams and anesthesiologists during laparoscopic procedures. Therefore, two medical training scenarios are proposed and assessed by experts. Third, a collaborative VR environment aimed at liver surgery planning is investigated. This objective is to improve virtual resection planning with an enhanced virtual resection technique and a real-time risk map visualization. The last objective of this dissertation is to develop an advanced surgical training environment, which is an integration of proposed prototypes of laparoscopic training, interprofessional team training, and liver surgery planning, into one environment. Moreover, a group navigation technique is proposed to optimize the navigation processes in the collaborative VR environment. Each proposed environment was evaluated by domain experts in a user study. The results reveal valuable insights on potential benefits, clinical applicability, and feedback for further improvement. This dissertation presents a new approach for collaboration in surgical planning and training. It builds a basis for extensive clinical evaluation, transfers to other surgical disciplines, and opens new directions for future surgical training.