Interactive restriction of a mobile robot's workspace in traditional and smart home environments

Abstract

Nowadays, mobile service robots can autonomously navigate in human-centered environments, e.g. traditional or smart home environments, and provide services to humans, such as vacuum cleaning, fetching objects or acting as social robots. Although humans appreciate these services of robots, there are scenarios in which humans want to restrict the workspaces of their mobile robots, e.g. due to privacy concerns or to avoid robots’ navigation errors. For this purpose, a human has to specify restriction areas in an interaction process with a robot. This interaction is challenging due to the transfer of complex spatial information about the restriction areas and the necessity to provide feedback during the interaction process with only limited mobile robot’s on-board capabilities. Moreover, the interaction process has to fulfill ambitious user requirements concerning (1) correctness, (2) flexibility, (3) completeness, (4) accuracy, (5) interaction time, (6) user experience and (7) learnability. Current solutions to this problem, i.e. the interactive restriction of a mobile robot’s workspace, do not optimally address these user requirements. However, an appropriate solution to this problem is essential to foster the deployment of mobile robots in human-centered environments. To address this problem, we propose virtual borders as a data structure to flexibly model restriction areas. These non-physical borders are incorporated into a human-aware navigation framework to enable a human the restriction of a mobile robot’s workspace and change of its navigational behavior. In order to allow a human to specify the components of a virtual border in a traditional home environment, we propose two alternative interaction methods based on (1) a laser pointer and (2) augmented reality (AR). Experimental results show that the laser pointer approach mostly features an acceptable performance on the user requirements but without a significant improvement with respect to a state-of-the-art solution. This state-of-the-art solution was identified in a literature review and is based on sketching restriction areas on an occupancy grid map (OGM) of the environment. In contrast to this, the second proposed interactionmethod based on AR reveals a good performance on most of the user requirements outperforming the state-of-the-art solution. The reasons for the inferiority of the proposed laser pointer approach are two drawbacks identified in the evaluation: (1) a direct line of sight between human and mobile robot is required, which leads to an increase of interaction time and negatively affects user experience aspects. (2) In addition, the limited robot’s on-board feedback capabilities only allow simple feedback, which has a negative effect on the user experience. To improve the laser pointer approach, we address these drawbacks by incorporating components of a smart home environment into the interaction process. To this end, we extend the laser pointer method by leveraging a (1) smart camera network, (2) a smart display and (3) a smart speaker to enhance themobile robot’s perceptual and interaction capabilities. A particular challenge is the cooperative perception of laser spots from multiple stationary and mobile cameras during the interaction process. Therefore, we propose a multi-stage algorithm to extract a single virtual border from multiple camera observations. The results of an experimental evaluation demonstrate that the interaction method features an improved interaction time and user experience while not negatively affecting the other user requirements. In terms of user requirements, the interactionmethod thus performs better on average than the state-of-the-art solution. Finally, all interaction methods available so far (state-of-the-art as well as proposed interaction methods) are based on pure human-robot interaction (HRI), i.e. a human specifies a restriction area by explicitly defining all components of a virtual border. This is time intensive and leads to a linear interaction time with respect to the length of a virtual border. We tackle this limitation by proposing a learning and support system (LSS) on top of the smart home’s camera network, which aims to reduce the interaction time. This system learns from multiple interaction processes and supports a human through appropriate recommendations for virtual borders in future interaction processes. To this end, the LSS employs a combination of semantic segmentation, frequent itemset mining and AR. An experimental evaluation of the LSS reveals a reduced interaction time to a constant level without a negative effect on the other user requirements. Hence, these learning capabilities can further improve the state-of-the-art performance. In summary, this work provides novel solutions to interactively restrict the workspace of a mobile robot, which achieve good results on the user requirements in our evaluations and outperform the current state-of-the-art solution in traditional as well as smart home environments.

Heutzutage können mobile Serviceroboter autonom in menschenzentrierten Umgebungen navigieren, wie z.B. in herkömmlichen oder intelligentenWohnumgebungen, und denMenschenDienste anbieten, wie z.B. staubsaugen, Gegenstände holen oder als soziale Roboter agieren. Obwohl Menschen diese Dienste der Roboter schätzen, gibt es Szenarien, in denen die Menschen den Arbeitsbereich der mobilen Roboter einschränken wollen, z.B. aus Gründen der Privatsphäre oder um Navigationsfehler der Roboter zu vermeiden. Hierzu muss ein Mensch Restriktionsbereiche in einem Interaktionsprozess mit dem Roboter spezifizieren. Diese Interaktion ist aufgrund des Transfers von komplexen räumlichen Informationen über die Restriktionsbereiche und der Notwendigkeit für Feedback während des Interaktionsprozesses mit eingeschränkten Fähigkeiten des mobilen Roboters anspruchsvoll. Zudem muss der Interaktionsprozess ambitionierte Benutzeranforderungen hinsichtlich (1) Korrektheit, (2) Flexibilität, (3) Vollständigkeit, (4) Genauigkeit, (5) Interaktionszeit, (6) Nutzererlebnis und (7) Lernfähigkeit erfüllen. Aktuelle Lösungen für dieses Problem, d.h. die interaktive Beschränkung des Arbeitsbereichs eines mobilen Roboters, gehen nicht optimal auf diese Anforderungen ein. Eine angemessene Lösung dieses Problems ist jedoch wichtig, um den Einsatz mobiler Roboter in menschenzentrierten Umgebungen zu fördern. Umdieses Problem zu adressieren, verwenden wir virtuelle Grenzen als Datenstruktur zur flexiblen Modellierung von Restriktionsbereichen.Diese nicht-physischenGrenzenwerden in ein menschenfreundliches Navigations-Framework integriert, um Menschen die Beschränkung des Arbeitsbereichs eines mobilen Roboters und die Änderung dessen Navigationsverhaltens zu ermöglichen. Um einem Menschen die Spezifizierung der Komponenten einer virtuellen Grenze in einer herkömmlichenWohnumgebung zu erlauben, schlagen wir zwei alternative Interaktionsmethoden vor, die auf einem (1) Laserpointer und (2) Augmented Reality (AR) basieren. Experimentelle Ergebnisse zeigen, dass der Laserpointer-Ansatz meistens eine akzeptable Leistung bezüglich der Benutzeranforderungen aufweist, jedoch ohne signifikante Verbesserung in Bezug auf den aktuellen Stand der Technik. DieseMethode des aktuellen Stands der Technik wurde in einer Literaturrecherche ermittelt und basiert auf dem Zeichnen von Restriktionsbereichen auf einer Belegungskarte der Umgebung. ImGegensatz dazu offenbart der zweite Ansatz basierend auf AR eine gute Leistung in Bezug auf die meisten Benutzeranforderungen und übertrifft die Leistung des Stands der Technik. Die Gründe für dieUnterlegenheit des Laserpointer-Ansatzes sind zweiNachteile, die in der Evaluation identifiziert wurden: (1) eine direkte Sichtverbindung zwischenMensch und mobilem Roboter ist erforderlich. Dies führt zu einer Erhöhung der Interaktionszeit und wirkt sich negativ auf die Aspekte des Nutzererlebnisses aus. (2) Zudem erlauben die begrenzten Feedbackmöglichkeiten des mobilen Roboters nur einfaches Feedback, was sich negativ auf das Nutzererlebnis auswirkt. Um den Laserpointer-Ansatz zu verbessern, reagieren wir auf diese Nachteile, indem wir Komponenten einer intelligenten Wohnumgebung in den Interaktionsprozess integrieren. Zu diesem Zweck erweitern wir die Laserpointer-Methode um ein (1) Kameranetzwerk, (2) ein intelligentes Display und (3) einen intelligenten Lautsprecher, um die Wahrnehmungs- und Interaktionsmöglichkeiten des mobilen Roboters zu stärken. Eine besondere Herausforderung hierbei ist die kooperative Wahrnehmung von Laserpunkten durch mehrere stationäre und mobile Kameras während des Interaktionsprozesses. Daher entwickeln wir einen mehrstufigen Algorithmus, um eine einzige virtuelle Grenze aus mehreren Kamerabildern zu extrahieren. Die Ergebnisse einer experimentellen Auswertung zeigen, dass die Interaktionsmethode eine verbesserte Interaktionszeit und ein verbessertes Nutzererlebnis bietet, ohne die anderen Benutzeranforderungen negativ zu beeinflussen. In Bezug auf die Benutzeranforderungen erzielt die Interaktionsmethode somit imDurchschnitt eine bessere Leistung als der Stand der Technik. Schließlich basieren alle bisher erwähnten Interaktionsmethoden (sowohl Stand der Technik als auch in der Arbeit entwickelte Interaktionsmethoden) auf reiner Interaktion zwischenMensch und Roboter, d.h. einMensch spezifiziert einen Restriktionsbereich durch explizite Definition der Komponenten einer virtuellenGrenze.Dies ist zeitintensiv und führt zu einer linearen Interaktionszeit in Bezug auf die Länge einer virtuellen Grenze.Wir gehen auf diese Einschränkung ein, indem wir ein Lern- und Unterstützungssystem (LSS) entwickeln, das auf dem Kameranetzwerk der intelligenten Wohnumgebung aufbaut und auf die Reduzierung der Interaktionszeit abzielt. Dieses System lernt aus mehreren Interaktionsprozessen und unterstützt den Menschen durch geeignete Empfehlungen für virtuelle Grenzen in zukünftigen Interaktionsprozessen. Zu diesem Zweck verwendet das LSS eine Kombination aus semantischer Segmentierung, Frequent ItemsetMining und AR. Eine experimentelle Auswertung des LSS zeigt eine reduzierte Interaktionszeit auf ein konstantes Niveau, ohne die anderen Benutzeranforderungen negativ zu beeinflussen. Daher können diese Lernfähigkeiten die Leistung des Stands der Technik weiter verbessern. Zusammenfassend bietet diese Arbeit neue Lösungen zur interaktiven Einschränkung des Arbeitsbereichs eines mobilen Roboters, die gute Ergebnisse bezüglich der Benutzeranforderungen in den Evaluationen erzielen und die aktuelle Lösung des Stands der Technik sowohl in herkömmlichen als auch intelligentenWohnumgebungen übertreffen.