1 More than a paradigm, swarms are almost, at times, an archetype. Millonas, 1993 zitiert aus Swarm Intelligence; Kennedy & Eberhart Ausarbeitung und Vortragspräsentation

1

More than a paradigm, swarms are almost, at times, an archetype.

Millonas, 1993 zitiert aus„Swarm Intelligence“; Kennedy & Eberhart

Ausarbeitung und Vortragspräsentation J.Frietsch Sommer 2003

2

Ant Colony Algorithmen & Stigmergy

Gliederung– Definition

• TSP

• Stigmergy

– Ant System • Charakteristik

– Ant Colony System • Modifikationen zu AS

– Studien zur Funktionsweise

3



• TSP

• Stigmergy




4


• Definition

Traveling Salesman Problem

• Sei V = {a,..., z} eine Anzahl Städte,

E = { (i, j) : i, j V} eine Anzahl von Kanten,

(i, j) = (j, i) ein Kostenmaß, das mit Kante

(i, j) E in Zusammenhang steht. • Dann ist das TSP das Problem eine geschlossene

Tour minimaler Kosten zu finden, die durch jede Stadt genau einmal führt.

5


• Definition

Mathematisches• für die 1-te Stadt von n Städten gibt es n-1 mögliche

Verbindungen• für die 2-te Stadt gibt es dann noch n-2 mögl. Kanten

(...) für die (n-1)-te folglich n-(n-1) Kanten, die zur n-ten Stadt führt, wo die Tour geschlossen wird.

• man erhält durch Kombination (n-1)! mögliche Touren• das sind doppel so viele wie notwendig, weil der Kreis

sowohl von a bis z als auch rückläufig von z bis a beschritten wird, bei gleicher Länge L

• es gibt also insgesamt (n-1)!/2 mögliche Lösungen

6


• Definition

Traveling Salesman Problem

Warum TSP?: • klassisches Pfadoptimierungsproblem

• leicht zu adaptieren für Ameisenstaaten• große Anzahl von Vergleichsalgorithmen

• didaktisch leicht zugänglich

• NP-hartes Problem, jedoch nicht aufgrund derAnzahl der Lösungen, sondern weil die Länge der Wege im schlimmsten Fall brute force aufsummiert und verglichen werden muss. .

7


• Definition

Stigmergy

• indirekte Informationsvermittlung

• durch die Analyse sich • verändernden Umweltparametern

Beispiele: Google (Pagerank)

Insektensoziäten

8



• TSP

• Stigmergy




9


• Ant System

• der Ant System Algorithmus wurde von Dorigo, Maniezzo und Colorni vorgestellt (1996)

• bei kleineren TSP konkurrenzfähig

zu herkömmlichen heuristischenAlgorithmen wie GA oder SA.

10


• Ant System

Idee: dynamische Pheromon-Markierung

• (+) Feedback: virt. Pheromone bestärken die Lösungen die an der Prod. vorangegangener guter Lösungen beteiligt waren.

• (-) Feedback: Zerfall virt. Phero.spurenverhindert, das der Schwarm auf suboptimale Lösungen konvergiert.

11


• Ant System

Ziel: Suche nach Tmax

Prinzip: Etablieren eines Attraktors

• (+) Suchen der jeweils kürzesten Tour T+

der Iteration t mit der Länge L+

• (-) Erhöhung der Freiheitsgrade desSystems um vom Attraktor abweichen zu können

12


• Ant System

Grundlagen:• Sei

n die Zahl der Städte und m die Zahl der Ameisen k, dann gilt vereinfachend m = n (jeder Ameise ihre Stadt)

• In der Iteration t (t = 1,...,tmax) findet jede Ant in n - 1 Schritten eine Tour T der Länge L, eine davon ist die kürzeste T+ = ein vorläufiger Attraktor

13


• Ant System

Stadtübergänge (Transitions):• Regeln für den Übergang einer Ant k von der Stadt

i nach j 1 Sie hat ein Arbeitsgedächtnis J, in dem die Städte

vermerkt sind, die sie noch besuchen muss

2 Der Kehrwert der Distanz d ist die Erreichbarkeit 3 Die Intensität der Pheromonspur von i nach j ist

ij(t) die in der globalen Pheromonverteilung

gespeicherte Information verändert sich während der

Problemlösung und repräsentiert den Erfahrungsgewinn des Ameisenstaates

14


• Ant System

Entscheidungsgesetz ( für i nach j )

(Transition Rule)

p: Wahrscheinlichkeit

: Erreichbarkeit

: Spurintensität

J: Arbeitsgedächtnis

der Ant k

15


• Ant System

Pheromonmarkierung (t): nach Ende der Tour für jede Kante, die auf dem Weg der Ant k lag.

Je kürzer die Tour war desto mehr Pheromon

Q: Belohnungsquant

kij (t): Pheromon-Menge der Ant k für Kante(i, j)

16


• Ant System

Probleme!

(+): der Attraktor wird zu mächtig!

Früher oder später enden alle Ameisen auf dem gleichen Pfad, der einer der zufälligen Anfangsfluktuationen entspricht

suboptimale Lösung und Stagnation

17


• Ant System

(-): der Ausweg:

Einführung einer Zerfallskonstante für das Pheromon (mit 0 < <1) Korrekturformel (Global Update Rule):

18



• TSP

• Stigmergy




19


• Ant System

Charakteristik:

• (+) Elite-Ameisen zur Verbesserung der Performance

• sie markieren die beste gefundene Lösung T+ zusätzlich• Sinn: Vermutlich enthält diese bereits Kanten von Tmax

die so bei jeder Iteration „bestärkt“ werden. • Unterstützung des Attraktors und Ermöglichung einer

Feinjustierung durch Anzahl der Elite-Ameisen

20


• Ant System

Charakteristik:

• konkurrenzfähig: bei kleineren TSP (30-70 n)

• schwach: bei komplexen TSP konvergierte der Algorithmus zu früh auf suboptimale Lösungen

• hohe Diversität an Lösungspopulationen

21



• TSP

• Stigmergy




22


• Ant Colony System

• Ist eine Weiterentwicklung von Ant System und entstand in Zusammenarbeit vonDorigo & Gambardella (1997)

• außergewöhnlich leistungsstarke Performance auch bei komplexerenProblemfeldern.

23



3 wichtige Weiterentwicklungen

1 eine verfeinerte Transition Rule

2 Local Update Rule in d. Schrittschleife

3 eine geänderte globale Korrekturformel alsWeiterentwicklung der Elite-Ameise(Global Update Rule)

24



zu 1: Transition Rule• durch Hinzufügen einer Konstante qo wird eine

Feinjustierung möglich (0 < q0 < 1), indem qo bei jedem Schritt mit einer beliebigen Zufallszahl qverglichen wird . (0 < q < 1)

q < q0 :(+) sichere Stadt u nahe am Attr.

q > q0 :

(-) Erkundung wird bevorzugt.

25




Feinjustierung möglich (0 < q0 < 1)

q < q0 :(+): die Ant k nutzt das gesamte gespeicherte Problemwissen und wählt eine sichere Stadt u

nach: arg max u Jki {[iu(t)] * [iu]

}

26




Feinjustierung möglich (0 < q0 < 1)

q > q0 :(-): die Ant k wählt analog der Entscheidungsregel aus Ant System eine Stadt ihres Arbeitsgedächtnisses J

27



zu 2: Local Update Rule in der Schrittschleife

• (-) beim Passieren d. Kante (i, j) durch k

ij(t)← (1 - ρ)* ij(t) + ρ * 0

wird die Spurintensität vermindert d.

h.

je länger die Iteration voranschreitet

desto unattraktiver wird T+

28



zu 2: Local Update Rule in der Schrittschleife

• die führt zu einer besseren Ausnutzung der in der Pheromonspur enthaltenen Information.

• Bleibt T+ die kürzeste Verbindung nach Ende der Iteration, bleibt er trotzdem der Attraktor und wird durch die Global Update Rule bestärkt

29



zu 3: Global Update Rule nach der Iteration

• die Beste Ameise markiert am Ende der Tour nur die Kanten, die seit t = 1 T+ waren

ij(t)← (1 - ρ)* ij(t) + ρ * ij(t) mit ij(t) = 1/L+

• (+) Sinn: es wird vordringlich in der Nähe von T+ gesucht.

30



Verfahrensfluß::

• Ant k entscheidet zwischen (+) u und (-) J• (+): es wird vordringlich in der Nähe des

Attraktors T+ gesucht• (-) durch das Local Update Rule wird es

möglich von T+ abzuweichen und andere Lösungsalternativen zu erkunden

• (+) Schlägt die Erkundung fehl, bleibt T+ Attraktor der nächsten Iteration

31



• TSP

• Stigmergy




32


• Studien der Funktionsweise

50 Städte Standard-Problem im ACS gelöst

• Anschaulich ist zu sehen, dass es nicht immer die am stärksten markierten Kanten sind, die den Kreis schließen.

• Jede schwache Kante, kann Ausgangspunkt für eine alternative Lösung werden.

33



50 Städte Problem im ACS gelöst

34



50 Städte Problem im ACS gelöst

• in der folgenden oberen Grafik ist die Standardabweichung von L gegen die Iteration aufgetragen.

• in der unteren Grafik der durchschnittliche Vernetzungsgrad der einzelnen Knoten

• ist Tmax ermittelt müsste der Vernetzungsgrad 2 erreicht sein. = rein in die Stadt und raus aus der Stadt

35



Standardabweichung und Vernetzungsgrad

36



• Lösungspopulationen konvergieren nicht aufein gemeinsames Lösungsoptimum

• fortwährend werden neue Lösungsalternativen produziert

• zeigt sich z.B in einer hohen Standardabweichung der Tourlänge L

• durchschnitt. Knotenverzweigung größer 2 ( nämlich 5)

• d. h. selbst wenn Tmax ermittelt ist, sucht ACS weiter, aber Tmax wird der ewige Attr. bleiben.

37



• diese Nonkonvergenz-Eigenschaften sind charakt. für viele Swarm basierte Systeme

• hohe Diversität seiner Lösungspopulationenbewahrt ihn in lokalen Optima gefangen zu werden

• deshalb besondere Eignung für dynamische Problemfelder, bei denen die Ausgangsbedingungen sich in Realzeit ändern(z.B. indem neue Städte hinzugefügt werden).

38


Conclusio

• archetype

Die von den Ameisen erkundete und mit Pheromonen markierte Welt fungiert als eine Art Gedächtnis, das die Entscheidungsgrundlage liefert für die nächste, bessere!, Erkundungswelle des Schwarms.

39


• Literatur

• [1] KENNEDY, J. & EBERHART, R.. (2001): Swarm Intelligence. Morgan Kaufmann Publishers. San Francisco, San Diego, New York, Boston, London, Sydney, Tokyo.

• [2] BONABEAU, E, DORIGO, M. & THERAULAZ, G. (1999): Swarm Intelligence - from Natural to Artificial Systems. Oxford.

• [3] DORIGO, M. & GAMBARDELLA, L.M. (1997): Ant Colony System: A Cooperative Learning Approach to the Traveling Salesman Problem. IEEE Transactions on Evolutionary Computation, Vol. 1, No. 1, 53-66.

• [4] DORIGO, M., Di CARO, G. & GAMBARDELLA, L.M. (1999): Ant Algorithms for Discrete Optimization. Artificial Life, Vol. 5, No. 3, 137-172.

Documents

1 More than a paradigm, swarms are almost, at times, an archetype. Millonas, 1993 zitiert aus Swarm Intelligence; Kennedy & Eberhart Ausarbeitung und Vortragspräsentation