Empathy for the user : towards true peerlike assistance systems

Abstract

One of the most prevalent signs of integrated human-machine living is the wide array of available personal computer devices and their use as assistance systems. Over time this developed from fairly limited virtual notepads to smart-home integrated control and coordination tools adapted for their individual users. While this development increased both the value of the provided assistance, as well as the ease of accessibility for the individual user, with their specific needs and idiosyncrasies, it also developed towards specific limits hindering potential future developments and possible improvements. Given the current designs, the main area of research is concentrated on the optimization of human-machine interaction through easier and more robust voice control schemes to the detriment of true systematic improvements. The original idea behind assistive technology ranges from the currently employed human-machine interfaces to much more integrated systems, which can be described as technical assistants, companions or even peers. All these expressions are intended to describe continuously closer approximations to human-like capabilities and responsibilities. The overarching topic of this thesis is an exploration of the different aspects of such an advanced assistive system, specifically how it connects with my research and how potential further research might be necessary for the fulfilment of this goal of a human-like technical assistant system. The structural organisation of this thesis follows a potential information processing pipeline, as it could be used in such an assistance system, where the external inputs need to be extracted, categorised and interpreted depending on the current situation for a system to provide the necessary and adequate reactions, as required by the user. An important aspect of this will be the change from a purely user controlled reactive system, as usual nowadays, into a more independently deciding and acting system which is approximating human decision processes. The different areas of my research in relation to this pipeline are as follows: The first area is the external feature layer. While this includes the whole technical aspect of interfacing the real world environment with the following technical system, in conjunction with my research it primarily contains examinations of the feature extraction and optimisation process. This is necessary, as a reasonably extensive and advanced system would work on a wide variety of information and input signals, leading to a fast approaching overload of most available personal computer systems. A sensible pre-processing step can reduce the computational load and improve the results of the following calculations. The second layer described is the categorisation layer of the system, practically where the purely technical feature values are categorised into assistance relevant information or classes. As a technical system possesses no human understanding or empathy, such abilities need to be approximated through other means. This part of my research deals with solutions using machine learning architectures as a base. Given the complexity and variability of human expressions, which can be strongly influenced by a high degree of individuality and dependency on the situation, a purely rule-based approach would reach its limits fast. Using self-learning methods, which employ human annotated examples instead, allows for a much easier implementation of non-directly measurable information into a system. Special attention is given to the effect of constantly increasing complex architectures and their requirements for equally increasing example data sets. A secondary topic examined here will be the search for alternatives to this paradigm of development through the use of less complex architectures without lowering the capabilities. The third and last layer examined will be the decision making aspect, which proposes, based on the information from the former layers, a sensible action to follow. This part of the thesis will consist of two parallel examinations: First of a practical implementation of a semi-reactive method for working under uncertain situations, and second an examination into the theoretical implications of a cognitive architecture as full alternative for a control mechanism. This second example is a potential way into a human peer-like system architecture, which closely resembles the human decision making process and would allow an even closer integration into the human-machine environment than alternative current architectures.

Eines der am weitesten verbreiteten Anzeichen des integrierten Mensch- Maschine-Lebens ist die breite Palette verfügbarer Personal-Computer Geräte und deren Einsatz als Assistenzsysteme. Im Laufe der Zeit hat sich dies von relativ begrenzten virtuellen Notizblöcken zu Smart-Home integrierten Steuerungs- und Koordinationstools entwickelt, die an die jeweiligen Benutzer angepasst sind. Während diese Entwicklung sowohl den Gegenwert der bereitgestellten Hilfestellungen als auch die Verfügbarkeit für den Einzelnen, mit jeweils spezifischen Bedürfnissen und Eigenheiten, steigerte, entwickelte es sich auch in die Richtung spezifischer Grenzen die weitere potenzielle Entwicklungen und mögliche Verbesserungen verhindern. Angesichts der aktuellen Designs ist der Hauptforschungsbereich die Optimierung der Mensch-Maschinen-Interaktion durch einfachere und robustere Sprachsteuerungsmethoden, was zu Lasten echter systematischer Verbesserungen geht. Die ursprüngliche Idee hinter Assistenztechnologien reicht von den derzeit verwendeten Mensch-Maschine-Schnittstellen bis hin zu viel stärker integrierten Systemen, die mit Begriffen wie technischen Assistenten, Companions oder sogar Peers beschrieben werden können. All diese Ausdrücke sollen eine immer stärkere Annäherung an menschliche Fähigkeiten und Verantwortlichkeiten beschreiben. Das übergreifende Thema dieser Dissertation sind die Untersuchungen der verschiedenen Aspekte eines solchen fortschrittlichen Assistenzsystems, speziell in Verbindung mit der von mir betriebenen Forschung. Potentielle weitere Entwicklungen werden diskutiert, um dieses Ziel eines menschenähnlichen technischen Assistenzsystems zu erreichen. Die strukturelle Aufteilung in dieser Arbeit folgt einer Informationsverarbeitungspipeline, wie sie in einem solchen potentiellen Assistenzsystem verwendet werden könnte, wobei die externen Eingaben je nach aktueller Situation extrahiert, klassifiziert und interpretiert werden müssen, damit ein System das Notwendige und angemessenen Reaktionen, wie vom Benutzer gefordert, bereitstellen kann. Ein wichtiger Aspekt ist dabei der Wandel von einem rein benutzergesteuerten reaktiven System, wie es standardisiert üblich ist, zu einem eigenständiger entscheidenden und handelnden System, das sich menschlichen Entscheidungsprozessen annähert. Die verschiedenen Forschungsbereiche, die ich in Bezug auf diese Pipeline durchgeführt habe, sind wie folgt: Der erste Bereich ist die externe Feature-Schicht. Diese umfasst übergreifend den gesamten technischen Aspekt der Anbindung der realen Umgebung an die folgenden technischen Systeme, in Verbindung mit meiner Forschung aber vor allem Untersuchungen zu Merkmalsextraktionen und Optimierungsprozessen. Dies ist notwendig, da ein einigermaßen umfangreiches und fortschrittliches System mit einer Vielzahl von Informationen und Eingangssignalen arbeiten müsste, was zu einer raschen Überlastung der meisten verfügbaren persönlichen Computer Systeme führen würde. Ein sinnvoller Vorverarbeitungsschritt kann die Rechenlast verringern und die Ergebnisse der nachfolgenden Berechnungen verbessern. Die zweite beschriebene Schicht ist die Interpretationsschicht des Systems, im praktischen dazu da, die rein technischen Merkmale in assistenzrelevante Informationen umzuwandeln. Da technische Systeme kein menschliches Verständnis oder Einfühlungsvermögen besitzen, müssen solche Fähigkeiten auf andere Weise erzeugt werden. In Anbetracht meines Forschungsgebiets befasst sich dieser Abschnitt mit Lösungen, die maschinelles Lernen als Grundlage verwenden. Angesichts der Komplexität und Variabilität der menschlichen Ausdrucksweise, speziell wenn beein flusst durch ein hohes Maß an individuellen sprachlichen Gewohnheiten, sind selbst bei thematisch ähnlichen Äußerungen hohe Unterschiede festzustellen. Daher wird ein rein regelbasierter Ansatz schnell an seine technischen Grenzen stoßen müssen. Stattdessen können selbstlernende Methoden verwendet werden, die von Menschen annotierte Beispiele verwenden, damit nicht direkt messbare Informationen viel einfacher in ein System implementiert werden können. Besonderes Augenmerk wird dabei auf die Auswirkung immer komplexer werdender Systeme und deren Anforderungen an ebenso wachsende Beispieldatenmengen gelegt. Ein sekundäres Thema dieser Arbeit wird die Suche nach Alternativen zu diesem Entwicklungsparadigma durch die Verwendung weniger komplexer Architekturen ohne Verringerung der Fähigkeiten sein. Die dritte und letzte untersuchte Ebene ist die Entscheidungsebene, die auf der Grundlage der Informationen aus den vorherigen Ebenen eine sinnvolle Maßnahme vorschlägt und befolgt. Dieser Teil besteht aus zwei parallelen Untersuchungen in dieser Arbeit. Erstens einer praktischen Umsetzung einer semi-reaktiven Methode für das Arbeiten in unsicheren Situationen und zweitens eine Untersuchung, die sich mit den theoretischen Implikationen einer kognitiven Architektur als ein Kontrollmechanismus befasst. Dieser zweite Punkt ist ein möglicher Weg in eine menschenähnliche Systemarchitektur, die dem menschlichen Entscheidungs-findungsprozess sehr ähnlich ist und eine noch engere Integration in die Mensch- Maschine-Umgebung ermöglichen würde als andere alternative Architekturen.