Automatisierte bild- und videobasierte Mimikanalyse für die Messung von Schmerzen und Facial Action Units

Abstract

Schmerzen sind eine persönliche Erfahrung und lassen sich nur indirekt messen. Alle bisher bekannten Maße haben ihre Schwächen, was oft zur suboptimalen Behandlung von Patienten beiträgt. Die vorliegende Arbeit schlägt neue Methoden zur objektiven und automatisierten Messung von akuten Schmerzen vor. Diese könnten insbesondere Patienten zugutekommen, die sich nicht selbst zu ihren Schmerzen äußern können, wie Säuglingen, bewusstlosen Patienten oder Patienten mit schwerer Demenz. Die vorgeschlagenen Methoden erfassen und interpretieren Schmerzreaktionen im Gesicht mit Hilfe von digitalen Kameras und künstlicher Intelligenz. Primärer Forschungsgegenstand der Arbeit ist die bild- und videobasierte Erkennung und Messung von Mimik, zum einen von Schmerzmimik, zum anderen von Action Units (AUs) nach dem Facial Action Coding System (FACS), die zur Beschreibung von beliebigen Gesichtsausdrücken dienen. Dies geschieht im Kontext verschiedener Herausforderungen, von denen insbesondere nicht-frontale Kopfposen, die begrenzte Verfügbarkeit von Daten, die Charakteristik von Schmerzen, sowie das Ziel der kostengünstigen und einfachen Anwendbarkeit adressiert werden. Als maschinelle Lernverfahren werden Convolutional Neural Networks (CNN), Support Vector Machines (SVM), Random Forests, Transferlernen und Multi-Task-Lernen angewendet und für die Problemstellungen adaptiert. Vorgeschlagen und evaluiert werden unter anderem auch verschiedene neue Verfahren zur Merkmalsextraktion aus Einzelbildern sowie zur zeitlichen Integration von Bildinformationen für die videobasierte Erkennung. Zusätzlich werden mit Methoden der Computergrafi Datensätze generiert, die beim maschinellen Lernen zum Einsatz kommen. Vergleiche mit Methoden anderer Autoren und mit der Leistungsfähigkeit von Menschen zeigen die Nützlichkeit der vorgeschlagenen Methoden.

Pain is a personal experience and can only be measured indirectly. All available measures have their weaknesses, which often contribute to suboptimal treatment of patients. This work propses new methods for measuring acute pain objectively and automatically. These may be beneficial especially for patients, who cannot utter on their pain experience, such as newborns, unconcious patients, or patients with severe dementia. The proposed methods capture and interpret facial pain reactions with digital cameras and artificial intelligence. The research addresses image and video based recognition of facial expression, namely of facial expression of pain and of Action Units (AUs) as defined in the Facial Action Coding System (FACS), which can be used to describe any facial expression. The recognition is associated with different challenges, of which the work especially addresses: non-frontal head poses, limited available data, charactertistics of pain, and the goal to develop an afforable and easy-to-use technology. Convolutional Neural Networks (CNN), Support Vector Machines (SVM), Random Forests, transfer learing, and multitask learning are used and adapted for handling the problems. Among others, the work proposes and evaluates new methods for extracting features from single images and for temporal integration of image information for video-based recognition. Additionally, computer graphics is used for generating machine-learning datasets. The usefulness of the proposed methods is shown by comparing them with methods of other authors and with human performance.