Decision-making algorithms : collective, social, and individual learning

Abstract

Decision-making is considered as a vital mechanism that can allow linking multiple autonomous systems (e.g., agents) together to design a more intelligent and capable artificial system than considering each of them in isolation. To model or to engineer such a successful collective autonomous distributed system is a very challenging task, as the resulting collective behaviour is a self-organised and emergent phenomenon arisen from the local interactions between the agents and their environment. It does not rely upon a particular leader and is based only on incomplete and noisy sensory information acquired by single individuals. In this way, the collective decision-making mechanism and the underlying collective information processing represent one of the means of designing autonomy at the global level. The current thesis focuses on the question of how individuals have to integrate the personal noisy assessments of their physical and social surroundings to make accurate collective decisions. The existing state-of-the-art collective decision-making strategies are dominated by biologically inspired approaches and generally established opinion-based models of voting. Although they are described as simple and have low computational requirements, they are highly dependent on the environmental context that can limit their performance. This thesis proposes solutions to enhance the accuracy, the speed, and the generality of existing collective decision-making algorithms, which can be generalised across various spatial patterns in the environment. In this regard, the thesis presents models of decision-making based on preferences and beliefs along with opinions. Furthermore, it proposes three mechanisms for sharing evidence to update personal beliefs. These mechanisms are defined as collective, social, and individual learning. The best-of-n problem is considered, where a swarm of artificial agents has to come to a consensus on the best option out of n available alternatives. Specifically, the collective perception scenario as the spatially distributed consensus achievement task is addressed and the issue of scalability for n È 2 is studied. For this purpose, the multi-featured benchmark set generator is proposed consisting of nine spatial visual patterns with different characteristics and noise variability. We introduce an Ising-based binary decision-making model which includes preferences and opinions, generalising the state-of-the-art models of voting such as the majority rule and the voter model. Inspired by the cognitive dissonance theory, the proposed co-adaptation process of preference-opinion dynamics is designed to resolve the inconsistency between the agent’s personal preference and an expressed opinion. As a result, the developed collective decision-making mechanism has been shown to be as fast as the majority rule while also being as accurate as the voter model, combining the best of both strategies. Moreover, assigning preferences to the agents initially in the process allows a designer to steer the self-organisation process to a particular outcome. Other strategies for controlling self-organised collective decisions utilising isomorphic transformations of the environment are also proposed in this thesis. The agent-based simulations conducted on a diverse set of environmental patterns show that the spatial distribution and clustering levels of the features, along with their quantitative ratio, define the difficulty of the task and can significantly deteriorate the collective performance. In this regard, we present the belief-based decision-making model employing the evidence theory in the context of the best-of-n framework. The experiments performed on the proposed benchmark set of collective perception scenarios with n È 2 options and twelve most common operators of evidence fusion indicate the viability and generality of the established collective decision-making strategy. Finally, the superiority of social learning over the collective and the individual learning types is highlighted in terms of the accuracy of the produced collective decisions.

Entscheidungsfindung wird als ein wichtiger Mechanismus betrachtet, der es ermöglicht, mehrere autonome Systeme (z. B. Agenten) miteinander zu verbinden, um ein intelligenteres und leistungsfähigeres künstliches System zu entwerfen, als jedes einzelne von ihnen isoliert betrachtet. Ein solches erfolgreiches kollektives autonomes verteiltes System zu modellieren oder zu entwickeln ist eine sehr anspruchsvolle Aufgabe, da das resultierende kollektive Verhalten ein selbstorganisiertes und emergentes Phänomen ist, das aus den lokalen Interaktionen zwischen den Agenten und ihrer Umgebung entsteht. Es ist nicht auf einen bestimmten Anführer angewiesen und basiert nur auf unvollständigen und verrauschten sensorischen Informationen, die von einzelnen Individuen aufgenommen werden. Auf diese Weise stellen der kollektive Entscheidungsfindungsmechanismus und die zugrunde liegende kollektive Informationsverarbeitung eines der Mittel zur Gestaltung der Autonomie auf globaler Ebene dar. Die vorliegende Arbeit beschäftigt sich mit der Frage, wie Individuen die persönlichen verrauschten Einschätzungen ihrer physischen und sozialen Umgebung integrieren müssen, um korrekte kollektive Entscheidungen zu treffen. Bestehende kollektive State-of-the-Art-Entscheidungsstrategien werden überwiegend von biologisch inspirierten Ansätzen und allgemein etablierten meinungsbasierten Modellen der Abstimmung dominiert. Obwohl sie als einfach beschrieben werden und einen geringen Rechenaufwand haben, sind sie stark vom Umgebungskontext abhängig, was ihre Leistung einschränken kann. Diese Arbeit schlägt Lösungen vor, um die Genauigkeit, die Geschwindigkeit und die Allgemeinheit bestehender kollektiver Entscheidungsalgorithmen zu verbessern, die über verschiedene räumliche Muster in der Umgebung verallgemeinert werden können. In diesem Zusammenhang stellt die Arbeit Modelle der Entscheidungsfindung vor, die auf Präferenzen und Überzeugungen sowie Meinungen basieren. Außerdem schlägt es drei Mechanismen vor, um durch einen Evidenzaustausch persönliche Überzeugungen zu aktualisieren. Diese Mechanismen werden als kollektives, soziales und individuelles Lernen definiert. Es wird das Best-of-n-Problem betrachtet, bei dem ein Schwarm von künstlichen Agenten einen Konsens über die beste Option aus n verfügbaren Alternativen finden muss. Insbesondere wird das kollektive Wahrnehmungsszenario als räumlich verteilte Konsensleistungsaufgabe behandelt und die Frage der Skalierbarkeit für n È 2 untersucht. Zu diesem Zweck wird ein Generator mit mehreren Merkmalen vorgeschlagen, der aus neun räumlichen visuellen Mustern mit unterschiedlichen Eigenschaften und Rauschvariabilität besteht. Wir stellen ein Ising-basiertes binäres Entscheidungsmodell vor, das Präferenzen und Meinungen berücksichtigt und die State-of-the-Art-Modelle der Abstimmung wie die Mehrheitsregel und das Wählermodell verallgemeinert. Inspiriert von der Theorie der kognitiven Dissonanz ist der vorgeschlagene Co-Anpassungsprozess der Präferenz- Meinungs-Dynamik darauf ausgelegt, die Inkonsistenz zwischen persönlicher Präferenz des Agenten und einer geäußerten Meinung aufzulösen. Ergebnisse zeigen, dass der entwickelte kollektive Entscheidungsfindungsmechanismus so schnell wie die Mehrheitsregel und gleichzeitig so genau wie das Wählermodell ist, wobei es das Beste aus beiden Strategien kombiniert. Darüber hinaus erlaubt die Zuweisung von Präferenzen an die Agenten zu Beginn des Prozesses einem Designer, den Selbstorganisationsprozess auf ein bestimmtes Ergebnis zu lenken. Andere Strategien zur Steuerung selbstorganisierter kollektiver Entscheidungen, die isomorphe Transformationen der Umgebung nutzen, werden in dieser Arbeit ebenfalls vorgeschlagen. Agentenbasierte Simulationen, die mit einer Vielzahl von Umgebungsmustern in dieser Arbeit durchgeführt wurden, zeigen, dass die räumliche Verteilung und die Clusterungsebenen der Merkmale sowie ihr quantitatives Verhältnis die Schwierigkeit der Aufgabe definieren und die kollektive Leistung erheblich verschlechtern können. In diesem Zusammenhang stellen wir das auf Überzeugungen basierte Entscheidungsfindungsmodell vor, das die Evidenztheorie im Kontext des Best-of-n-Frameworks verwendet. Die Experimente, die mit dem vorgeschlagenen Benchmark-Set von kollektiven Wahrnehmungsszenarien mit n È 2 Optionen und zwölf häufigsten Operatoren der Evidenzfusion durchgeführt wurden, zeigen die Durchführbarkeit und Allgemeinheit der etablierten kollektiven Entscheidungsstrategie. Schließlich wird die Überlegenheit des sozialen Lernens gegenüber der kollektiven und der individuellen Lerntypen in Bezug auf die Genauigkeit der produzierten kollektiven Entscheidungen hervorgehoben.