Rock, paper, scissor: What's a substitute for hammer? : an approach to substitute selection for missing tool using robot-centric conceptual knowledge about objects

Abstract

When a robot is operating in a dynamic environment, it cannot be assumed that a tool required to solve a given task will always be available. Consider, for instance, a scenario where a robot is asked to serve drinks where the robot has to use a tray to serve the drinks. If the robot finds the tray, the task will progress, but what if the tray is unavailable. Such situations are common occurrences in our daily lives. In situations like these a robot would be expected to improvise like humans from the other available objects, for example, by using an eating plate for serving. This skill is significant when operating in a dynamic, uncertain environment because it allows a robot to adapt to unforeseen situations. The question is: how can a robot determine which object in the environment is a suitable substitute for a missing tool? For substitute selection, we took inspiration from the way humans select a substitute from the existing objects for a missing tool wherein humans take into consideration conceptual knowledge about object’s physical and functional properties. For instance, consider a scenario in which one has to choose between a plate and a mouse pad as an alternative for a tray. For a tray whose designated purpose is to carry, rigid and flat are more relevant to carry than a material or a color of a tray. In order to find a suitable substitute, the relevant properties of the missing tool need to correspond, as large a degree as possible, to the properties of the available objects. In this work, we have proposed an approach to substitute selection where a conceptual knowledge-driven computation is performed to identify the relevant properties of the missing tool and determine a substitute on the basis of shared relevant properties. The question is, how to acquire such knowledge about the properties. An argument has been put forth in cognitive science for bottom-up generation of knowledge in which humans and animals alike develop conceptual understanding of objects based on their own perceptual experiences with objects. We have followed suit and propose that knowledge about properties should be generated from the sensory measurements of the properties. We have termed such bottomup generation of knowledge from the sensory measurements as robot-centric knowledge. We propose an extensible property estimation framework which consists of estimations methods to obtain the sensory measurements of physical properties (rigidity, weight, etc.) and functional properties (containment, support, etc.) from household objects. In our second contribution we employ 1) unsupervised clustering methods to transformthe sensory measurements of the properties into symbols, and then 2) bivariate joint frequency distributions and sample proportion to generate conceptual knowledge about objects. In this work, we have presented a proof of concept of the proposed approaches. We acquired a dataset comprising six physical and four functional properties of 110 household objects using the proposed property estimation methods. This dataset was used to evaluate the property estimation methods and the semantics of the considered properties within the dataset. Furthermore, the dataset is used to generate the proposed robot-centric conceptual knowledge which is then used by our proposed substitute selection system to identify a substitute from the available objects in different missing tool scenarios.

Wenn ein Roboter in einer dynamischen Umgebung agiert, kann nicht davon aus-gegangen werden, dass einWerkzeug, das zur Lösung einer bestimmten Aufgabebenötigt wird, immer verfügbar ist. Nehmen wir zum Beispiel ein Szenario, indem ein Roboter aufgefordert wird, Getränke zu servieren, wobei der Roboter ein Tablett benutzen muss, um die Getränke zu servieren. Wenn der Roboter das Tablett findet, wird die Aufgabe erfüllt, aber was ist, wenn das Tablett nicht verfügbar ist? Solche Situationen kommen in unseremtäglichen Leben häufig vor. Insolchen Situationen wird von einem Roboter erwartet, dass er wie einMensch ausanderen verfügbaren Gegenständen improvisiert, indem er zumBeispiel einen Essteller zum Servieren verwendet. Diese Fähigkeit zur Improvisation ist von großer Bedeutung, wenn er in einer dynamischen, unbekannten Umgebung eingesetzt wird, denn sie ermöglicht es einem Roboter, sich an unvorhergesehene Situationen anzupassen. Die Frage ist: Wie kann ein Roboter feststellen, welches Objekt in derUmgebung ein geeigneter Ersatz für ein fehlendesWerkzeug darstellt Für die Auswahl eines Ersatzes haben wir uns von der Art undWeise inspirieren lassen, wie Menschen einen solche Aufgabe aus den bereits vorhandenen Objekten lösen. Dazu berücksichtigenMenschen insbesondere das konzeptionelle Wissen über die physischen und funktionalen Eigenschaften des Objekts. Betrachten wir zumBeispiel ein Szenario, in demman zwischen einem Teller und einemMauspad als Alternative für ein Tablett wählen muss. Bei einem Tablett, dessen Hauptzweck das Tragen ist, sind die Eigenschaften wie starr und flach wichtiger als das Material oder die Farbe eines Tabletts. Um einen geeigneten Ersatz zu finden, müssen die relevanten Eigenschaften des fehlendenWerkzeugs so weit wie möglich mit den Eigenschaften der verfügbaren Objekte übereinstimmen. In dieser Forschungsarbeit haben wir einen Ansatz für die Auswahl eines Ersatz es vorgeschlagen, bei dem eine konzeptionelle, wissensbasierte Berechnung durchgeführt wird, umdie relevanten Eigenschaften des fehlenden Werkzeugs zu ermitteln und einen Ersatz auf der Grundlage der gemeinsamen relevanten Eigenschaften zu bestimmen. Die Frage ist, wieman sich diesesWissen über die Eigenschaften aneignet. In der Kognitionswissenschaft wurde ein Argument für die Bottom-up-Erzeugung vonWissen vorgebracht, wonachMenschen und Tiere gleichermaßen ein begriffliches Verständnis von Objekten auf derGrundlage ihrer eigenenWahrnehmungserfahrungen mit Objekten entwickeln. Wir sind diesem Beispiel gefolgt und schlagen vor, dass das Wissen über Eigenschaften aus den sensorischen Messungen der Eigenschaften gewonnen werden sollte. Wir haben eine solche Bottom-up-Generierung von Wissen aus den sensorischen Messungen als roboterzentriertes Wissen bezeichnet. Wir schlagen einen erweiterbaren Rahmen für die Schätzung von Eigenschaften vor, der aus Schätzungs methoden besteht, um die sensorischen Messungen der physikalischen Eigenschaften (Steifigkeit,Gewicht usw.) und der funktionalen Eigenschaften (Behältnis, Halt usw.) von Haushaltsgegenständen zu erhalten. In unserem zweiten Beitrag schlagen wir 1) unüberwachte Clustering-Methoden vor, umdie sensorischen Messungen der Eigenschaften in Symbole umzuwandeln, und dann 2) bivariate gemeinsame Häufigkeitsverteilungen und Stichprobenanteile, um konzeptionellesWissenüber Objekte zu generieren. In dieser Forschungsarbeit haben wir ein Proof of Concept der vorgeschlagenen Ansätze vorgestellt. Wir haben einen Datensatz mit sechs physikalischen und vier funktionalen Eigenschaften von 110 Haushaltsgegenständen erstellt und dabei die vorgeschlagenen Methoden zur Eigenschaftsschätzung verwendet. Dieser Datensatz wurde verwendet, um die Methoden zur Schätzung der Eigenschaftenund die Semantik der betrachteten Eigenschaften innerhalb des Datensatzes zubewerten. Darüber hinaus wird der Datensatz verwendet, um das vorgeschlagene roboterzentrierte konzeptionelleWissen zu generieren, das dann von unserem vorgeschlagenen Ersatzauswahlsystem verwendet wird, um einen Ersatz aus den verfügbaren Objekten in verschiedenen Szenarien mit fehlendem Werkzeug zu identifizieren.