Agent based computational economics1 Schwerpunkt-Seminar im SS2001

agent based computational economics 1

Schwerpunkt-Seminar im SS2001

Was sind Agenten ?

Autonome Gebilde die in eine Umwelt mit folgenden möglichen Eigenschaften eingebettet sind:

– zugänglich / unzugänglich– deterministisch / nichtdeterministisch– zyklisch / nichtzyklisch– statisch / dynamisch– diskret / kontinuierlich

Interaktion Agent Umgebung

Agenten und Objekte

Unterschied zwischen Agenten und Objekten der OOP:

“Objects do it for free, agents do it for money”

Eigenschaften von intelligenten Agenten

Wichtige Eigenschaften• Reaktivität:

Wahrnehmung der Umwelt und daraus resultierendes zielgerichtetes Verhalten

• Pro-Aktivität: Eigenständiges zielorientiertes Verhalten

• Sozialkompetenz: Interaktion mit anderen Softwareagenten und Menschen

Architekturen für Systeme intelligenter Agenten I

Abstrakte Ansätze zur Beschreibung von Agentensystemen

• Parameter von Agentensystemen• rein reaktive Agenten• Agenten mit differenzierter

Wahrnehmung• Agenten mit interner Zustandsmaschine

Architekturen für Systeme intelligenter Agenten II

Parameter von Agentensystemen

• Zustände der Umwelt S = {s1, s2, s3, ... }

• Aktionen des Agenten A = {a1, a2, a3, ... }

• Zustände der Umgebung S x A (S)• Aufzeichnung der Interaktion Agent / Umwelt

als Historie h: s0 (a0) s1(a1) s2(a2) s3(a3) s u

Architekturen für Systeme intelligenter Agenten III

Rein reaktive Agenten

Ohne Bezug zur Vergangenheit d.h. jede Entscheidung erfolgt nur aufgrund der aktuell beobachtbaren Zustands-variablen (kein Gedächtnis)

Architekturen für Systeme intelligenter Agenten IV

Agenten mit differenzierter Wahrnehmung

• Differenzierung zwischen zwei Subsystemen des Agenten:– Wahrnehmung: S P – Aktionen: P A

• Der Agent besitzt mehrere Sensoren P und entscheidet welche Wahrnehmung für seine nächste Aktion a relevant sind

Architekturen für Systeme intelligenter Agenten V

Architekturen für Systeme intelligenter Agenten VI

Agenten mit interner Zustandsmaschine

• Zusätzlich zum Aktionsraum A wird noch ein

interner Zustandsraum I (Gedächtnis) eingeführt.

• Der interne Zustand I wird mit der Wahrnehmung P auf einen neuen internen Zustand I abgebildet: I x P I

Architekturen für Systeme intelligenter Agenten VII

Agenten mit interner Zustandsmaschine

• Zustandsmaschine:

Die Aktion eines Agenten erfolgt in Abhängigkeit des Internen Zustands (i0) und

der Wahrnehmung (s)

Formale Darstellung einer Aktion:

aktion ( i0, s)

Architekturen für Systeme intelligenter Agenten VIII

Konkrete Realisierungen

von Agentenarchitekturen I

Konkrete Realisierungen

• Logik-basierte Agenten

• Reaktive Agenten

• Überzeugung–Wunsch–Absicht–Systeme (BDI-Systeme)

Konkrete Realisierungen

von Agentenarchitekturen II

Logik-basierte Agenten • Symbolische AI:

Es werden logische Schlüsse aus der symbolisch repräsentierten Umwelt gezogen.

• Agenten besitzen Datenbanken die ihre–„Überzeugungen“ ( Believes ) und –„Arbeitsregeln“ ( Deduction–Rules )

repräsentieren, aus denen mittels Logik erster Ordnung die nächsten Aktionen bestimmt werden.

( Wenn–Dann–Logik )

Konkrete Realisierungen

von Agentenarchitekturen III

Logik-basierte Agenten

Probleme:

• Konsistenz der Datenbanken alles Agenten (häufig nicht in polynominaler Zeit lösbar)

• Umsetzung der Wahrnehmung in Believes ( z.B. Bilder)

Konkrete Realisierungen von

Agentenarchitekturen IV

Reaktive Agenten

• Alternative zum Einsatz des symbolischen Paradigmas

• Rationales Verhalten ist an die Umgebung gebunden und ein Produkt von Interaktion

• Intelligenz der Agenten ist ein emergenter Prozess einfacher Handlungsweisen

Konkrete Realisierungen von

Agentenarchitekturen V

Reaktive Agenten• Subsumtions–Architektur

– Situation Aktion– Verhaltensweisen der Agenten die auf Erfüllung einfacher

Teilaufgaben gerichtet sind– Keine symbolische Verarbeitung von Fakten nötig – Hierarchie der Verhaltensweisen: Schichtenmodell – Inhibitionsbeziehung der einzelnen Schichten– Starke Wahrnehmungs-Handlungskopplung – Niedrige Komplexität O(n²) der resultierenden Prozesse

Konkrete Realisierungen von

Agentenarchitekturen VI

Reaktive Agenten• Probleme

– Kein Umweltmodell: hinreichend lokale Information für den Agenten ist notwendig

– Tendenz zu myopischem Verhalten der Agenten

– Lernfähigkeit ist schwer implementierbar

– Emergenz schwer versteh- und kontrollierbar

– Effektive Agenten mit mehr als 10 Schichten (Regeln) sind kaum realisierbar

Konkrete Realisierungen von

Agentenarchitekturen VII

Überzeugung–Wunsch–Absicht–Systeme (BDI-Systeme)

• Grundlage der BDI-Architektur ist sog. „praktisches Denken“, also:

Welche Ziele habe ich und was sind die geeignetsten Mittel diese zu erreichen?

Konkrete Realisierungen von

Agentenarchitekturen VII

BDI-SystemeRolle der drei Grundelemente (Believe-Desire-Intention)

Absichten (Intentions)

werden von Überzeugungen (Believe) beeinflusst

beschränken zukünftige Wünsche (Desire)

Aber auch

Wünsche (D) hängen von Überzeugungen ab

Wünsche (D) beeinflussen Absichten (I)

sollten längeren Bestand haben

Konkrete Realisierungen von

Agentenarchitekturen VIII

BDI-SystemeDilemma

• Absichten müssen regelmäßig auf Validität überprüft werden

• Zu hoher Aufwand für Validitätskontrolle ist aktionshemmend

Abwägung: Proaktivität vs. Reaktivität (zielorientiertes vs. ereignisgesteuertes Verhalten)

Konkrete Realisierungen von Agentenarchitekturen IX

Elemente eines BDI-Systems

• Funktionstripel (B,D,I) mit den zugehörigen DB’s • Funktion zur Überzeugungskorrektur

brf: (Bel) x P (Bel)• Funktion zur Wunschgenerierung

option: (Bel) x (Int) (Des) • Filterfunktion zur Absichtsgenerierung

filter: (Bel) x (Des) x (Int) (Int)

Konkrete Realisierungen von Agentenarchitekturen X

Elemente eines BDI-Systems

• Aktionsgenerierung

function action (p:P) : AbeginB := brf (B,p)D := options(D,I)I := filter(B,D,I)return execute(I)

end

Schichtarchitekturen

• Notwendigkeit der Strukturierung von reaktivem und proaktivem Verhalten innerhalb einer Architektur

• Verwendung einer Hierarchie von interagierenden Schichten– Horizontale Schichten: direkte Verbindung der

Schichten mit Sensoren und Ausgabeeinheit – Vertikale Schichten: Ein- und Ausgabe wird über

eine Basisschicht bewerkstelligt

Schichtarchitekturen II

Horizontale Schichtarchitektur I

Probleme:

• Max. mn Interaktionen sind zu betrachten

• Kontrollsystem zur Koordination ist erforderlich

Beispiel für horizontale Architektur: TouringMachines

Horizontale Schichtarchitektur II

Vertikale Schichtarchitektur I

• Architektur mit einem Durchlauf

• Architektur mit zwei Durchläufen– Max. m2(n-1) Interaktionen– Weniger Flexibilität– Reduzierte Fehlertoleranz

Beispiel für vertikale Architektur:

Interrap

Vertikale Schichtarchitektur II

Multiagentensysteme und Gemeinschaften von Agenten

Distributed–Artificial–Intelligence DAI

Motivation der Distributed–Artificial–Intelligence:

1. Information liegen in der realen Welt meist verteilt vor, da die Objekte, auf welche sie sich beziehen, auch örtlich verteilt sind.

2. Die Menge der verfügbaren Informationen kann den Rahmen der Möglichkeiten eines einzelnen Systems sprengen.

Vorteile der DAI

Vorteile der Distributed–Artificial–Intelligence

• Mächtigkeit durch Parallelverarbeitung • Erzeugung systemübergreifender Expertise • Fehlertoleranz durch Redundanz • Höhere Wiederverwertbarkeit von Fachwissen • Objektivierung von Entscheidungen durch div.

Perspektive

Eigenschaften von Multiagentenumgebungen

Eigenschaften von Multiagentenumgebungen

• Bieten Infrastruktur mit festgelegten Kommunikations- und Interaktionsprotokollen

• Offenheit des Systems und dezentraler Entwurf der Architektur

• Agenten im System sind autonom verteilt und können egoistisch oder kooperativ sein

Agenten-Kommunikation

Bedeutungsebenen

Bedeutungsebenen

• beschreibend/vorschreibend• individuelle/vereinbarte Bedeutung• subjektive/objektive Bedeutung• individuelle/gesellschaftliche Bedeutung• Semantik/Pragmatik (Sprachgebrauch)

Weitere Eigenschaften der Bedeutungsebenen: Kontext, Mächtigkeit, Identität, Kardinalität

Kommunikationstypen

Intention und Ergebnis des Kommunikationsakts

Kommunikationsebenen

• Schichtung von Protokollen– Untere Ebene: Verbindungsmethode– Mittlere Ebene: Format / Syntax– Obere Ebene: Bedeutung / Semantik

• Topologie von Protokollen: Binäre / n-äre Kommunikation

• Datenstruktur von Protokollen Sender, Empfänger, Sprache,

De-/Kodierung, Resultierende Aktionen

Sprechakte

• Linguistik : Theorie humaner Sprechakte

• Aspekte eines Sprechakts:– Illokutiver Akt:

• Äußerungsakt: Physikalische Äußerung• Propositionsakt: Inhaltliche Intention der Äußerung• Illokutive Beimessung: Intendierte Bedeutung der

Äußerung außerhalb der direkten wahrnehmbaren inhaltlichen Intention

– Perlokution: Aus der Äußerung resultierende Handlung

KQML I

• Knowledge Query and Manipulation Language

• Trennt Semantik des Kommunikationsprotokolls von der Semantik der Nachricht

• Alle Information die zum Verständnis des Inhalts einer Nachricht notwendig ist in der Kommunikation beinhaltet

• Syntax: Lisp-artig, nicht domänenspezifisch

KQML II

• Wichtige Bestandteile des Protokolls • :sender• :receiver• :content • :language• :ontologie• :content

• Implementierung von PROLOG, LISP, SQL möglich

KQML III

KIF

• Knowledge Interchange Format• Symbolische Logik zur Beschreibung Fakten,

Definitionen, Kurzfassungen, Inferenzregeln, Metawissen

• Logische Operatoren wie bei LISP: Negation, Disjunktion, Konjunktion usw.

Ontologien

• Spezifikation von Objekten, Konzepten und Beziehungen auf einem Wissensgebiet

• Definition:Ontologie ist eine Sammlung von Konzepten und den Relationen zwischen eben diesen. Eine Ontologie muss formal definiert sein, damit sie im Rahmen eines wissensbasierten Systems computergestützt verarbeitet werden kann. Der Gegenstandsbereich einer Ontologie wird Domäne genannt.

Interaktions-Protokolle für Agenten

Interaktions-Protokolle für Agenten

• Gemeinsame Ziele bestimmen• Gemeinsame Aufgaben identifizieren• Unnötige Konflikte vermeiden• Gemeinsame Verwaltung von Wissen und

Erkenntnis

Koordinationsprotokolle I

Probleme verteilter Datenhaltung und Prozessteuerung

• Zeitgerechte Informationszuteilung• Synchronisation der Handlungen• Vermeidung von redundantem Arbeitseinsatz

Koordinationsprotokolle II

Globale Lösung mit Und/Oder-Zielgraph

• Erstellen des Und/Oder-Graph: Abhängigkeiten bestimmen und klassifizieren

• Zuweisung bestimmter Regionen des Graphs an passende Agenten

• Überwachung der Entscheidungen über die Zuweisung von Regionen an Agenten

• Durchlaufen des Graphs• Sicherstellung der erfolgreichen Abarbeitung des

Graphs

Koordinationsprotokolle III

Dezentrale Agentenmechanismen zur Zielsuche

• Zusagen: Agenten entscheiden über ihre Mitwirkung an einem gemeinsamen Ziel und geben „verbindliche“ Zusagen ab

• Konventionen: Regelwerk unter dem „verbindliche“ Zusagen gebrochen werden können

Kooperationsprotokolle I

Zerlegung und Verteilung von Aufgaben: divide-and-conquer

• Zerlegung direkt beim Systementwurf oder implizit im Und/Oder-Graph– Verteilung nach folgenden Kriterien– Vermeidung von Überlast– Verteilung nach passenden Fähigkeiten– Überlappung von Verantwortlichkeiten zur Zielkohärenz– Aufgabenzuweisung durch Agenten mit weitem Blickwinkel– Interdependente Aufgaben in örtlicher u. semantischer Nähe– Dynamische Neuzuordnung bei sich ändernder Priorität

Kooperationsprotokolle II

Zerlegung und Verteilung von Aufgaben: divide-and-conquer

• Verteilungsmechanismen – Marktmechanismen – Vertragsnetze – Multiagentenplanung – Organisationsstrukturen

Kooperationsprotokolle III

Vertragsnetze

• Zuweisungsproblem: Welche Aufgabe / Welcher Agent

• Manageragent: Auftragsankündigung, Angebotsevaluierung, Kontraktbildung, Ergebnisauswertung

• Vertragsagent: Entgegennahme von Auftragsangeboten, Kapazitätsauswertung, Ablehnung oder Gegenangebot, Ausführung bei Annahme durch Manager, Ergebnisauswertung

Kooperationsprotokolle IV

Informationsplattformsysteme • Spezialisten arbeiten kooperativ über eine

gemeinsame Informationsplattform verbunden an der Lösung eines Problems

• Eigenschaften von Informationsplattformsystemen – Unabhängigkeit des repräsentierten Expertenwissens– Breite Auswahl an Problemlösungstechniken– Flexible Informationsdarstellung– Gemeinsame Sprache zum Informationsaustausch– Ereignisgesteuerte Aktivierung von Prozessen– Kontrollinstanz für Problemlösungsstrategien– Schrittweise Lösung von Problemen

Kooperationsprotokolle V

Verhandlungssysteme • Agenten führen Verhandlungen um ihre

unterschiedlichen Individualziele zu erreichen. Die ausgehandelten Entscheidungen beinhalten Zugeständnisse und Alternativlösungen

• Eigenschaften von Verhandlungssystemen – Effizienz– Stabilität– Einfachheit– Verteiltheit– Symmetrie

Kooperationsprotokolle VI

Wissenserhaltungssysteme • Agenten verfügen über Wissenserhaltungssysteme

(Truth-Maintenance-System) die sie für sich und gegenseitig auf ihre Konsistenz überprüfen

• Eigenschaften der TMS der einzelnen Agenten – Stabil: Daten sind verifiziert oder nicht nichtverifiziert – Gut fundiert: Glaubwürdigkeit der Daten ist nicht zyklisch

interdependent – Logisch konsistent: Daten sind stabil und es existiert kein

logischer Widerspruch

Kooperationsprotokolle VII

Wissenserhaltungssysteme

• Eigenschaften der TMS des gesamten Agentensystems

– Datenänderung sollte mit so wenigen Agenten wie möglich erfolgen

– Datenänderungen sollten möglichst wenig andere Daten tangieren

Kooperationsprotokolle VIII

Marktmechanismus• Koordination der Agentengemeinschaft erfolgt nur

über den Preis• Präferenzen und Fähigkeiten schlagen sich im Preis

nieder• Konsumentenagenten

– Betreiben Güteraustausch– Maximieren Nutzen unter Budgetrestriktionen

• Produzentenagenten– Betreiben Gütertransformation– Maximieren Gewinn unter technologischen Restriktionen

• Nettonachfrage ist Null Gleichgewichtslösung

Kooperationsprotokolle IX

Agentengemeinschaften

• Hochgradig dezentrale Lösungen erfordern soziale Interpretation

• Gruppen von Agenten– Definieren Rollen– Funktionieren wie kleine Gesellschaften

• Soziale Abhängigkeit der Gruppe– Freiwillige: Anpassung an die Rolle die aus dem Akzeptieren

einer sozialen Verpflichtung resultiert– Unfreiwillige: Beschränkung durch das autonome Verhalten

anderer Agenten

Kooperationsprotokolle X

Agentengemeinschaften

• Eigenschaften eines kooperativen Teams – Alle Agenten teilen das gleiche Ziel– Jeder Agent muss einen Beitrag zur Erreichung des

gemeinsamen Ziels leisten– Jeder Agent akzeptiert entsprechende Aufgabenzuweisung