Hier wird Wissen Wirklichkeit Organic Computing – Teil 3d, Folie 1 - Prof. Dr. Uwe Brinkschulte In einem Multiagenten-System (MAS) verfolgen mehrere interagierende,

Hier wird Wissen Wirklichkeit Organic Computing – Teil 3d, Folie 1 - Prof. Dr. Uwe Brinkschulte

In einem Multiagenten-System (MAS) verfolgen mehrere interagierende, intelligente Agenten Ziele oder erledigen andere Aufgaben.

Ein Agent ist eine Entität, die ihre Umgebung wahrnimmt und darauf reagiert.

Ein Agent verhält sich autonom in dem Sinne, dass er sein Verhalten kontrolliert und (teilweise) von seiner Erfahrung abhängig macht.

Ein intelligenter Agent arbeitet flexibel und rational in einer sich verändernden Umgebung.

Ein MAS ist ein Beispiel für Distributed Artificial Intelligence.

3.6 Multiagenten-Systeme und Auktionen


Warum ist verteilte Intelligenz heute so interessant?

Steigende Komplexität von Systemen und Anwendungen

Moderne Systeme oft vernetzt und heterogen

Geographisch verteilte Datenquellen

Zentralisierung skaliert nicht mehr

Computer müssen nicht nur als bloße Teile eines solchen Systems, sondern zunehmend autonom und individuell agieren → Agenten



Traditionelle KI:

– Intelligenz als Eigenschaft isolierter Einzelkomponenten

– Kognitive Prozesse in Individuen

– Psychologie und Verhaltensforschung als Inspiration

Verteilte KI:

– Intelligenz entsteht aus Interaktion

– Soziale Prozesse zwischen Individuen

– Soziologie und Ökonomie als Inspiration



Wesentliche Forschungsinteressen im Umfeld von MAS:

Problemlösungsstrategien (Problem Solving)

Planen (Planning)

Suchverfahren (Search)

Entscheidungsfindung (Decision Making)

Lernverfahren (Learning)

Koordination (per Kooperation oder im Wettbewerb)



Wesentliche Eigenschaften eines MAS:

– Agenten haben unvollständige Information und begrenzte Fähigkeiten

– Dezentrale Kontrolle des Systems

– Dezentrale Datenhaltung

– Asynchrone Kommunikation und Berechnungen



Wesentliche Herausforderungen:

– Wie Aufgaben zerlegen, Teilaufgaben zuweisen, Teilergebnisse zusammenfügen?

– Welche Kommunikation (Mechanismen und Protokolle)?

– Wie repräsentieren Agenten ihre Aktionen, Pläne, und Wissen?

– Wie können Agenten ihre Interaktionen verstehen? Wie verbessern? Wie sich sinnvoll verhalten?

– Wie werden Konflikte erkannt und gelöst? Wie verschiedene Ergebnisse zusammengefaßt?



Wesentliche Herausforderungen:

– Wie kann man ein MAS in der Praxis planen und implementieren?

– Wie lokale Berechnungen und Kommunikation abwägen?

– Wie fehlerhaftes oder schädliches Systemverhalten verhindern?

– Wie können Agenten sich (z.B. in Gruppen) organisieren um Probleme gemeinsam zu lösen?

– Wie kann man ein MAS formal spezifizieren und analysieren?



Einige existierende Anwendungen für MAS:

– Elektronischer Handel (Käufer-/Verkäuferagenten)

– Echtzeitmonitoring und -management von Telekommunikationsnetzen

– Modellierung und Analyse von Transportsystemen und Verkehr

– Optimierung von Produktions- und Geschäftsprozessen (Agenten repräsentieren z.B. Abteilungen)

– Entertainment (Computerspiele)

– Untersuchung und Simulation komplexer sozialer Phänomene (z.B. Verhalten bei Massenpanik, Staus)



Generell eignen sich Probleme, die

– inhärent verteilt sind:

• räumlich (Daten an verschiedenen Orten)

• zeitlich (Daten fallen zu untersch. Zeiten an)

• semantisch (Daten erfordern unterschiedliche Interpretation oder Erfahrung, Sprachen, etc.

• funktional (Datenzugriff erfordert unterschiedliche Fähigkeiten)

– inhärent komplex sind:

• zentralisierte Lösung zu aufwändig



Beim Entwurf eines MAS spielen bestimmte Eigenschaften der Umgebung eine große Rolle:

– Können Agenten auf alle (Zustands-)Informationen zugreifen? (meist nicht!)

– Sind die Folgen einer Agenten-Aktion deterministisch, also exakt vorhersagbar? (nicht in der echten Welt!)

– Läßt sich das System in eine Reihe unabhängiger Episoden einteilen?

– Ist die Umgebung statisch oder dynamisch?

– Ist die Umgebung diskret oder kontinuierlich?



Definition eines Agenten:

Ein Agent ist ein Computersystem eingebettet in einer Umgebung, die er über Sensoren wahrnimmt und über Aktoren autonom beeinflußt, um seine Ziele zu erreichen.

Beispiele für (nichtintelligente) Agenten:

• Regelsysteme (z.B. Thermostat: “zu kalt” → Heizung an, “Temperatur ok” → Heizung aus)

• Email-Monitor: Benachrichtigung bei Ankunft von neuen Mails

• eBay®-Agent: Bietet automatisch, bis Maximalwert erreicht wird



Intelligente Agenten sind flexibel, d.h. sie sind

• reaktiv: Zeitnahe Anpassung an Änderungen der Umgebung (ereignisgesteuert)

• proaktiv: Zielgerichtetes Ergreifen der Initiative

• sozial: Interaktion mit anderen Agenten (und evtl. Menschen) zum Erreichen ihrer Ziele



Abstrakte Agenten-Architekturen

• Ein rein reaktiver Agent reagiert direkt auf seine Umgebung, ohne Vergangenes zu berücksichtigen (z.B. der Thermostat)

• Ein kognitiver Agent besitzt einen Zustand und kann somit vergangene Erfahrungen speichern und in sein künftiges Verhalten einfließen lassen



Logik-basierte Agenten

• Umgebung und erwünschtes Verhalten durch logische Formeln (z.B. First Order Logic) repräsentiert

• Anwendung üblicher Regeln der Deduktion

• Ist eine von mehreren Formeln (ausgehend vom aktuellen Zustand) beweisbar, wird die durch sie beschriebene Aktion durchgeführt

• Probleme: Formulierung der Realität in Logik; (praktischer) Rechenaufwand; (theoretische) Berechenbarkeit; ...



(Stark vereinfachtes) Beispiel:

Ein Agent soll sich in einem Gitternetz so lange nach vorn bewegen, bis er auf ein Hindernis trifft, und sich dann drehen. Wir definieren folgende Prädikate:

• In(x, y): Agent ist in Feld (x, y)

• Facing(d): Agent schaut in Richtung d

• Obstacle(x, y): Hindernis in Feld (x, y)

Lässt sich aus logischen Regeln mit diesen Prädikaten die Formel Do(a) ableiten, wird Aktion a ausgeführt.



(Stark vereinfachtes) Beispiel:

Folgende Regeln bewegen den Roboter nach Norden, bis er auf ein Hindernis trifft, und drehen ihn dann:

• In(x, y) ⋀ Facing(north) ⋀ ¬Obstacle(x, y+1)→ Do(forward)

• In(x, y) ⋀ Facing(north) ⋀ Obstacle(x, y+1)→ Do(turn)

Für jeden Zustand darf genau eine Regel beweisbar sein. Man sieht leicht, dass der Aufwand für komplexere Aufgaben rapide zunimmt!



Reaktive Agenten: “subsumption architecture”

• Auf unterster Ebene bilden einfachste task accomplishing behaviors die gegebenen Eingaben auf bestimmte Aktionen ab

• Höhere Ebenen wählen aus den von unten angebotenen Aktionen aus

• Bottom-Up: Je höher in der Hierarchie, desto abstrakter

• Agenten-Verhalten ergibt sich aus Emergenz!

• Vorteile: einfach, effizient, robust, elegant

• Nachteile: nur lokale, kurzfristige Entscheidungen, nicht lernfähig



Beispiel für einen reaktiven Agent: Mobiler Roboter

• Auf unterster Ebene könnte ein Ziel lauten “vermeide Kollision”. Verhaltensweisen auf dieser Ebene implementieren Reflexe

• Darüber liegen Ziele wie “laufe herum”, die komplexeres Verhalten implementieren

• Globale Ziele (“erforsche die Umgebung”) liegen auf der höchsten Ebene

• Alle Ebenen greifen auf Sensoren und Aktoren zu. Dies kann zu Konflikten führen und stellt ein Problem dieser Agenten-Architektur dar



BDI-Architektur (Belief-Desire-Intention)

Das BDI-Modell entstand aus der philosophischen Betrachtung praktischen Denkens (practical reasoning) heraus – zu jeder Zeit zu entscheiden, mit welcher Aktion das Ziel unter den aktuellen Umständen am besten erreicht werden kann.

Grundlegende Fragestellung:

• Welche Ziele wollen wir erreichen?

• Wie erreichen wir sie?




• Beliefs sind die Überzeugungen, die der Agent über seine aktuelle Umgebung hat

• Intentions sind die (längerfristigen) Absichten, die der Agent verfolgt. Sie stabilisieren den Entscheidungsprozess und fokussieren das Denken des Agenten

• Desires sind die möglichen Handlungsoptionen, die sich jeweils aus den aktuellen Überzeugungen und Absichten ergeben



Beispiel für einen BDI-Agenten: RoboCup

• Beliefs: Informationen über den aktuellen Zustand des Spielfeldes (z.B. Spieler- und Ballpositionen) – wird auch “Weltmodell” genannt

• Desires: aktuell mögliche primitive Aktionen (z.B. Ball halten, passen, oder schießen, Agent bewegen)

• Intentions: längerfristige Ziele

• Tor erzielen

• Besser postierten Gegner anspielen

• Gegnerisches Tor verhindern




Absichten (Intentions) spielen einige wichtige Rollen:

• Sie treiben zweckgerichtetes Denken voran – sie fokussieren den Agenten auf seine Aufgaben

• Sie beschränken zukünftige Überlegungen – der Agent wird Handlungsoptionen vermeiden, die seinen Absichten zuwiderlaufen

• Sie sind persistent – sie sollten nicht ohne guten Grund fallengelassen werden (z.B. wenn das Ziel unrealistisch oder unnötig wird)

• Sie beeinflussen zukünftige Überzeugungen (Beliefs)




Eine Schlüsselrolle spielt die Balance zwischen diesen Prinzipien.

• Absichten (Intentions) sollten manchmal geändert werden (z.B. weil das zu erreichende Ziel irrelevant wird, nicht mehr erreichbar ist oder schon erreicht wurde)

• Es ist also sinnvoll, dass der Agent von Zeit zu Zeit seine Absichten überdenkt

• Das Fallenlassen von Absichten zieht jedoch Folgekosten nach sich – es kostet Zeit und Ressourcen!




Es ergibt sich ein Dilemma, das abzuwägen ist:

• Überdenkt der Agent seine Absichten nicht oft genug, wird er versuchen, Ziele zu erreichen, die nicht mehr erreichbar sind oder nicht mehr erreicht werden müssen

• Überdenkt er sie zu häufig, fokussiert er sich nicht ausreichend auf seine Ziele und wird sie nicht erreichen

Ein Aspekt beim Design eines BDI-Agenten ist also die Frage, wie vorsichtig – oder wagemutig – er vorgehen soll.



Zyklischer Ablauf des BDI-Entscheidungsprozesses

• Die aktuellen Überzeugungen (Beliefs) werden an die Wahrnehmung der Realität angepaßt

• Aus diesen Überzeugungen und den aktuellen Absichten (Intentions) werden Handlungsoptionen (Desires) generiert

• Durch einen Denkprozess (Deliberation) werden aus diesen Optionen, auf Basis der bereits vorhandenen Absichten, neue Absichten selektiert und/oder vorhandene übernommen. Diese Absichten bestimmen den Fokus des Agenten

• Der Fokus bestimmt die nächste Aktion des Agenten



Beispiel RoboCup

Die aktuellen Überzeugungen (Beliefs) werden regelmäßig angepasst

• durch neue Sensorinformationen

• durch Entfernen veralteter Annahmen

Aus dem aktualisierten Weltbild und der aktuell verfolgten Absicht (Intention, z.B. „mit Ball in Richtung Tor dribbeln und dann aus guter Position abziehen“) werden mögliche Optionen (Desires) generiert:

• Körper bewegen (Drehung oder Beschleunigung)

• Ball bewegen (Impuls in eine bestimmte Richtung)



Beispiel RoboCup

Ggf. muss die Absicht an die Realität (also die aktualisierten Beliefs) angepasst werden. Nach Ballverlust kann der Agent beispielsweise sein Ziel “zum Tor dribbeln” nicht länger verfolgen, sondern muss z.B. versuchen, den Ball zurückzuerobern.

Oft gilt es abzuwägen:

• Ein wagemutiger Agent würde versuchen, den Ball so lange wie möglich zu halten, um ein Tor zu erzielen

• Ein vorsichtiger Agent würde bereits den Plan ändern und zum Mitspieler passen, bevor der Gegner eine Chance zur Attacke hat



Multiagenten-Systeme

In einem Multiagenten-System befinden sich mehrere Agenten in derselben Umgebung. Diese stellt die Infrastruktur für Interaktion zur Verfügung, also z.B. Kommunikationswege und Protokolle für Daten- und Informationsaustausch.

Ein MAS ist im Normalfall offen gestaltet und ist nicht das Werk eines zentralen Designers.

Agenten sind in der Umgebung verteilt und handeln autonom, auf Basis lokaler Informationen, entweder aus Eigeninteresse oder kooperativ.



Koordination in einem MAS

In einer gemeinsam genutzten Umgebung beschreibt der Grad der Koordination, inwiefern überflüssige Arbeit vermieden, Ressourcen sinnvoll genutzt, Blockaden verhindert und ein sicherer Zustand gewährleistet werden können.

– Kooperative Agenten verhalten sich sozial und arbeiten zusammen, z.B. bei der Entwicklung gemeinsamer Pläne. Oft teilen sie auch Information.

– Egoistische oder konkurrierende Agenten koordinieren sich über Verhandlungen (Negotiation)



Wichtige Prinzipien für erfolgreiche Koordination sind

• Verpflichtungen (Commitments): Agenten verpflichten sich, eine übernommene Aufgabe auch zu erfüllen. Eine eingegangene Verpflichtung beeinflusst auch das zukünftige Verhalten des Agenten

• Konventionen: Sie bestimmen, inwieweit Verpflichtungen unter sich ändernden Rahmenbedingungen einzuhalten sind

Verpflichtet sich ein Agent, etwas zu tun, können andere Agenten sich entsprechend darauf einstellen, solange die Rahmenbedingungen keine Änderung erforderlich machen.



Die Kohärenz beschreibt, wie gut ein MAS als Ganzes funktioniert.

Eine Herausforderung ist es, globale Kohärenz zu gewährleisten, ohne explizite globale Kontrolle zu haben; d.h. das emergente Verhalten des Gesamtsystems sollte sinnvoll und erstrebenswert sein.

Agenten müssen selbst in der Lage sein, gemeinsame Ziele und Aufgaben zu finden, unnötige Konflikte zu vermeiden, und gemeinsames Wissen zu sammeln.

Neben sozialen oder organisatorischen Strukturen gibt es auch verschiedene auf Markt-Mechanismen basierende Methoden, um Kohärenz zu erreichen.



Kooperation in einem MAS

Ein wesentlicher Aspekt der Koordination ist die Zerlegung von Aufgaben in Teilaufgaben sowie deren Zuweisung an bestimmte Agenten.

Ein solcher Divide-and-Conquer-Ansatz kann die Komplexität einer Aufgabe verringern.

Jedoch muss das System verschiedene Alternativen abwägen, und auch Ressourcen und Fähigkeiten der Agenten berücksichtigen!

Weiter kann es zu Abhängigkeiten und Konflikten kommen.



Die Zerlegung in Teilaufgaben (Task Decomposition) kann auf verschiedene Weise erfolgen:

• durch den Systementwurf bei der Implementierung

• durch die Agenten selbst, z.B. durch hierarchische Planung

• direkt aus dem Problem folgend

• räumlich, d.h. aufgrund der örtlichen Verteilung von Daten und Entscheidungspunkten

• funktional, d.h. aufgrund der Möglichkeiten einzelner Agenten



Die Zuweisung von Teilaufgaben an Agenten kann ebenfalls verschiedentlich erfolgen:

• bedingt durch verfügbare Ressourcen

• bedingt durch Fähigkeiten der verfügbaren Agenten

• Zuweisung durch bestimmte, besonders wissende Agenten

• Zuweisung zusammengehöriger Teilaufgaben an benachbarte Agenten (reduziert Kommunikations- und Synchronisationskosten)

• Neu-Zuweisung an besser geeignete Agenten, falls nötig oder angebracht



Häufig verwendete Mechanismen für die Zuweisung von Aufgaben an Agenten sind:

• Marktmechanismen

• Auktionsmechanismen

• Multiagenten-Planung (Distributed Planning)

• Organisationsstrukturen (Agent Societies)



Blackboard-Systeme

Vergleichbar zu einer Gruppe von Menschen, die an einer Tafel gemeinsam ein Problem lösen.

Agenten bringen ihr Wissen bzw. Lösungsansätze in einen gemeinsamen Wissenspool (Blackboard) ein. Ändert sich dessen Zustand (z.B. durch Hinzufügung neuer Ideen), überprüfen die Agenten, ob sie die neue Information verwenden können.

Auf diese Weise ergeben sich Lösungen inkrementell.



Multiagenten-Planung

Verteilte Problemlösung erfordert sowohl Gruppenkohärenz (Agenten wollen zusammenarbeiten) und Kompetenz (Agenten wissen, wie sie zusammenarbeiten können).

Kohärenz in solchen Systemen ist i.A. per Design gewährleistet. Der Fokus liegt also auf der Kompetenz.

Generell müssen Probleme (ggf. rekursiv) zerlegbar sein, Teilprobleme von einzelnen Agenten lösbar sein, sowie Teilergebnisse kombinierbar sein, um verteilte Problemlösungsstrategien anwenden zu können.



Verhandlungen (Negotiation)

In einem nicht-kooperativen System, wo Agenten eigene Ziele und Strategien haben, können Verhandlungen zu gemeinsamen Lösungen führen.

Agenten kommunizieren ihre (evtl. in Konflikt stehenden) Positionen und versuchen, durch Kompromisse oder alternative Ansätze zu einer Einigung zu kommen.

Ein gutes Verhandlungssystem ist so gestaltet, dass sinnvolle Kompromisse zu Vorteilen für beide Agenten führen und Konfliktlösung so attraktiv wird.



Auktionen: Contract Net

Das Contract Net-Protokoll ist eines der am häufigsten benutzten Verfahren zur Taskzuweisung in MAS. Es lehnt sich an die bei Unternehmen üblichen Verfahrensweisen zur Waren- und Dienstevergabe an.

Agenten können zwei Rollen übernehmen:

• Der Manager möchte eine Aufgabe gelöst haben

• Der Auftragnehmer (Contractor) könnte die gestellte Aufgabe lösen

Die Rollenverteilung ist nicht fix und kann für jede einzelne Aufgabe variieren.




Das Protokoll verläuft grob wie folgt:

• Der Manager schreibt eine Aufgabe aus

• Geeignete Agenten antworten mit Angeboten, die den Grad der Eignung beinhalten (z.B. die entstehenden Kosten, oder die erzielbare Qualität)

• Der Manager wählt das am besten geeignete Angebot aus; der entsprechende Agent verpflichtet sich, die Aufgabe seinem Angebot entsprechend zu lösen

• Nach Erledigung erhält der Manager das Ergebnis zur Weiterverarbeitung




Mit bestimmten Erweiterungen (z.B. Vergabe mehrerer Teilaufgaben “im Paket”; die Möglichkeit, Aufgaben zu tauschen; die Möglichkeit, Aufgaben weiter zu vergeben etc.) kann Contract Net eine optimale Verteilung herbeiführen.

Eine suboptimale Verteilung kann oft sehr schnell gefunden werden, indem nicht auf Antwort aller anderen Agenten gewartet wird. Der Mechanismus ist daher (durch klar definierte Deadlines) auch für Echtzeitsysteme geeignet.



Marktmechanismen

Die vorher genannten Mechanismen erfordern direkte Kommunikation zwischen den beteiligten Agenten, was nicht immer möglich ist und in großen MAS nicht skaliert.

Marktbasierte Systeme umgehen dieses Problem. In solch einem System ist alles, was für die Agenten von Interesse ist, über Preise geregelt.

Es gibt zwei Typen von Agenten:

• Konsumenten, die “Waren” austauschen

• Produzenten, die “Waren” in andere umwandeln



Marktmechanismen

Agenten bieten Preise für Waren, die so angelegt sind, dass sie ihren Gewinn oder Nutzen maximieren. Der Warenaustausch erfolgt jedoch zum Marktpreis, der durch Angebot und Nachfrage geregelt ist.

Es ergibt sich ein Gleichgewicht, in dem

• Konsumenten ihren Nutzen maximieren;

• Produzenten ihren Gewinn maximieren;

• die Netto-Nachfrage insgesamt 0 für alle Waren ist.

Die Modellierung eines Problems als funktionierender Markt ist jedoch häufig schwierig!


Documents

Hier wird Wissen Wirklichkeit Organic Computing – Teil 3d, Folie 1 - Prof. Dr. Uwe Brinkschulte In einem Multiagenten-System (MAS) verfolgen mehrere interagierende,