An automatic and multi-modal system for continuous pain intensity monitoring based on analyzing data from five sensor modalities

Abstract

Pain is an unpleasant feeling associated with tissue damage or psychological factors (non-physical). It is a reliable indicator of health issues. Pain assessment needs to be done for vulnerable patients who cannot self-report their pain, such as intensive care patients, people with dementia, or adults with cognitive impairment. So far, the current methods in the clinical application are subjected to biases and errors; moreover, such methods do not facilitate continuous pain monitoring. Therefore, recent studies have proposed and developed automatic pain assessment methodologies due to their possibility to objectively and robustly measure and monitor pain. Regarding medical evidence, facial expressions, vocalizations, and physiological signals are valid indicators of pain. Hence, this thesis presents an automatic system for continuous monitoring of pain intensity based on analyzing data from five sensor modalities (frontal RGB video [frontal faces], audio, Electrocardiogram [ECG], Electromyogram [EMG], and Electrodermal Activity [EDA]) in the X-ITE Pain Database. Further, due to the promising multi-modality fusion, two and all modalities are fused using a model and a late fusion to produce more reliable information with less uncertainty. In recent years, other authors have proposed automated methods for pain recognition by using features that were extracted independently per time series of a given sequence. However, the obtained results were poor due to the lack of representation of movement dynamics. Therefore, in this work, three distinct real-time methods are proposed to solve this problem for more reliable monitoring of continuous pain intensity. These methods are based on classifying descriptors of facial expressions from frontal faces, audio, and physiological time series and using a sliding-window strategy to obtain 10s-length input samples. The first proposed method is a Random Forest [RF] baseline method (Random Forest classifier [RFc] and Random Forest regression [RFr]), the second is Long-Short Term Memory Network (LSTM), and the third is LSTM using a sample weighting method (called LSTM-SW). The sample weighting method is used to reduce the weight of misclassified samples with less facial response in the training set to improve the performance. In regard to classification and regression, several experiments using the three proposed methods (RF, LSTM, and LSTM-SW) are conducted in order to gain insights into monitoring continuous pain intensity using data from single, two, and all modalities from the X-ITE Pain Database. Before data is fed into models, it is pre-processed; 11 datasets were obtained to simplify the imbalanced database problem, improve the results, and generalize the capability of the proposed system. This system recognizes pain intensity (low, moderate, and severe) for two pain stimulus types (phasic and tonic) and two qualities (heat and electrical stimuli). The results: (1) report that regression performs better than classification in imbalanced datasets, (2) show that LSTM and LSTM-SW methods outperform significantly guessing (majority of votes = no pain) and RF, (3) emphasize that EDA is the best single modality, (4) confirm that model fusion using multiple modalities ([facial expressions and EDA] or [EMG and EDA] or [facial expressions, audio, ECG, EMG, and EDA]) overcomes the limitations of single modalities, the performance improves significantly in 10 out of 11 datasets, (5) present that the models using all modalities (facial expressions, audio, ECG, EMG, and EDA) outperform those models using two modalities ([facial expressions and EDA] or [EMG and EDA]) with imbalanced tonic datasets, and (6) show that most model fusion models using EMG and EDA modalities are the best when using phasic imbalanced datasets and Heat Tonic Dataset [HTD] (almost balanced dataset). These findings are the baseline results for future research related to real-time pain intensity monitoring systems using single or multiple sensor modalities in the X-ITE Pain Database.

Schmerz ist ein unangenehmes Gefühl, welches mit Gewebeschäden oder psychologischen (nicht-körperlichen) Faktoren verbunden ist. Zudem ist es ein zuverlässiger Indikator für Gesundheitsprobleme. Eine Schmerzbewertung muss für gefährdete Patienten durchgeführt werden, die ihre Schmerzen nicht selbst angeben können, wie z. B. Intensivpatienten, Menschen mit Demenz oder Erwachsene mit kognitiven Beeinträchtigungen. Bisher sind die aktuellen Methoden in der klinischen Anwendung mit Verzerrungen und Fehlern behaftet; darüber hinaus ermöglichen solche Verfahren keine kontinuierliche Schmerzüberwachung. Daher haben neuere Studien aufgrund ihrer Möglichkeit einer objektiven und robusten Messung sowie Überwachung von Schmerzen automatische Schmerzbewertungsmethoden vorgeschlagen und entwickelt. Aus medizinischer Sicht sind Gesichtsausdrücke, Lautäußerungen und physiologische Signale gültige Schmerzindikatoren. Daher präsentiert diese Arbeit ein automatisches System zur kontinuierlichen Überwachung der Schmerzintensität basierend auf der Analyse von Daten von fünf Sensormodalitäten (frontales RGBVideo [Frontalgesichter], Audio, Elektrokardiogramm [EKG], Elektromyogramm [EMG] und Elektrodermale Aktivität [EDA] ) in der X-ITE-Schmerzdatenbank. Darüber hinaus werden aufgrund der vielversprechenden Fusion mehrerer Modalit äten zwei und alle Modalitäten unter Verwendung von Modell- und Entscheidungsfusion fusioniert, um zuverlässigere Informationen mit weniger Unsicherheit zu erzeugen. In den letzten Jahren haben andere Autoren automatisierte Verfahren zur Schmerzerkennung unter Verwendung von Merkmalen vorgeschlagen, die unabhängig pro Zeitreihe aus einer bestimmten Sequenz extrahiert wurden. Die erzielten Ergebnisse waren jedoch aufgrund der fehlenden Darstellung der Bewegungsdynamik unzuverlässig. Daher werden in dieser Arbeit drei unterschiedliche Echtzeitmethoden vorgeschlagen, um dieses Problem für eine zuverlässigere Überwachung der kontinuierlichen Schmerzintensität zu lösen. Diese Methoden basieren auf der Klassifizierung von Deskriptoren von Gesichtsausdrücken aus frontalen Gesichtern, Audio- und physiologischen Zeitreihen und der Verwendung einer Sliding- Window-Strategie, um Eingabeproben mit einer Länge von 10 Sekunden zu erhalten. Die erste vorgeschlagene Methode ist eine Random Forest [RF]-Basismethode (Random Forest Classifier [RFc] und Random Forest Regression [RFr]), die zweite ist ein Long-Short Term Memory Network (LSTM) und die dritte ist ein LSTM mit Stichprobengewichtung (genannt LSTM-SW). Die Probengewichtungsmethode wird verwendet, um das Gewicht falsch klassifizierter Proben mit geringerer Gesichtsreaktion im Trainingssatz zu reduzieren und dadurch die Leistung zu verbessern. In Bezug auf Klassifizierung und Regression wurden mehrere Experimente mit den drei vorgeschlagenen Methoden (RF, LSTM und LSTM-SW) durchgeführt, um Einblicke in die Überwachung der kontinuierlichen Schmerzintensität unter Verwendung von Daten von einzelnen, zwei und allen Modalitäten aus der XITE- Schmerzdatenbank zu gewinnen. Bevor Daten in Modelle eingespeist werden, werden sie vorverarbeitet; es wurden 11 Datensätze erhalten, um das Problem der unausgeglichenen Datenbank zu vereinfachen, die Ergebnisse zu verbessern und die Leistungsfähigkeit des vorgeschlagenen Systems zu verallgemeinern. Dieses System erkennt die Schmerzintensität (niedrig, mittel und stark) für zwei Arten von Schmerzreizen (phasisch und tonisch) und für zwei Qualitäten (Wärme und elektrische Reize). Die Ergebnisse zeigen (1), dass die Regression in unausgewogenen Datensätzen besser abschneidet als die Klassifizierung; (2), dass LSTM- und LSTM-SW-Methoden das Schätzen und RF deutlichübertreffen; (3), dass EDA die beste Einzelmodalit ät ist, (4), dass Modellfusion mit mehreren Modalitäten ([Gesichtsausdruck und EDA] oder [EMG und EDA] oder [Gesichtsausdruck, Audio, EKG, EMG und EDA]) die Einschränkungen einzelner Modalitätenüberwindet (es verbessert sich die Leistung in 10 von 11 Datensätzen signifikant); (5), dass die Modelle, die alle Modalitäten (Gesichtsausdruck, Audio, EKG, EMG und EDA) verwenden, die Modelle mit zwei Modalitäten ([Gesichtsausdruck und EDA] oder [EMG und EDA]) mit unausgewogenen tonischen Datensätzenübertreffen und (6), dass die meisten Modellfusionsmodelle, die EMG- und EDA-Modalitäten verwenden, die besten sind, wenn phasisch unausgeglichene Datensätze und Heat Tonic Dataset [HTD] (fast ausgeglichener Datensatz) verwendet werden. Diese Ergebnisse sind die Basisergebnisse für die zukünftige Forschung im Zusammenhang mit Echtzeit- Schmerzintensitätsüberwachungssystemen unter Verwendung von Einzel- oder Multisensormodalitäten in der X-ITE-Schmerzdatenbank.