Upload
rosamond-moorman
View
104
Download
0
Embed Size (px)
Citation preview
Adaptive
SystemeProf. Rüdiger Brause
WS 2011
Organisation
„Einführung in adaptive Systeme“ B-AS-1, M-AS-1
• Vorlesung Dienstags 10-12 Uhr, SR9
• Übungen Donnerstags 12-13 Uhr, SR 9
„Adaptive Systeme“ M-AS-2
• Vorlesung Donnerstags 10-12 Uhr, SR9
• Übungen Donnerstags 13-14 Uhr, SR 9
Gemeinsames Übungsblatt, unterteilt in 2 Teile
Ausgabe: Dienstags, Abgabe: Dienstags
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 2 -
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 3 -
Vorschau Themen
1. Einführung und Grundlagen
2. Lernen und Klassifizieren
3. Merkmale und lineare Transformationen
4. Lokale Wechselwirkungen: Konkurrentes Lernen
5. Netze mit RBF-Elementen
6. Rückgekoppelte Netze
7. Zeitdynamik und Lernen
8. Fuzzy-Systeme, Evolutionäre und genetische Algorithmen
9. Simulationstechnik
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 4 -
Arten von Adaptiven Systeme
Vorbild Gehirn Neuronale Netze Psychologisch-kognitive Modelle
Biologische Systeme Evolutionäre Systeme Schwarm-Intelligenz: Ameisen-Algorithmen,... Molekular-genetische Selbstorganisation
Soziale Systeme Gruppenprozesse Soziale Selbstordnung
Physikalische Systeme Synergieeffekte
Technische Systeme
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 5 -
Selbst-anpassende Systeme - statt programmieren
Beispiel: Temperaturregler statt fester Heizeinstellung
„Lernende“ Systeme Trainierte Systeme (Trainingsphase-Testphase) Selbstlernende Systeme (Orientierung an Daten)
Einleitung: Was sind Adaptive Systeme ?
HeizungVorgabe
Adapt. Regelung
Sensor
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 7 -
Einsatzgebiete Adaptiver Systeme
Echtzeitreaktionen Stahlwalzstraßen, Flugzeugsteuerung,..
Analytisch unbekannte AbhängigkeitenPolymerchemie, DNA-Schätzungen, ..
Analytisch nicht zugängige Abhängigkeitenpsychische Faktoren, ergebnisverändernde Messungen,..
Analytisch nur unter großem Aufwand bearbeitbare,hochdimensionale Gesetzmäßigkeiten Wechselkursabhängigkeiten,..
Statistische Analysen durch untrainierte Benutzer (?!)
Klassifizierung
Grundlagen
Modellierung
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 8 -
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 9 -
Vorbild Gehirn
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 10 -
Das Vorbild: Gehirnfunktionen
Unterteilung des Gehirns in funktionale Bereiche
Gehirn = 2-dim „Tuch“
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 11 -
Das Vorbild: Gehirnfunktionen
Unterteilung der Neuronenschicht: Darstellungsarten
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 12 -
Das Vorbild: Gehirnfunktionen
Neuronentypen
a)-c) Pyramidenzellen
f,h) Stern/Glia zellen
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 13 -
Das Vorbild: Gehirnfunktionen
Pyramidalzellen
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 14 -
Spikes
Das Vorbild: Gehirnfunktionen
Signalverarbeitung Output
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 15 -
Das Vorbild: Gehirnfunktionen
Signalverarbeitung Input
Ruhe-potential
Eingabe ZellkernFrequenzmodulierung Dekodierung
Einheitsladungen
Zell-Potential ~ Eingabe-Spikefrequenz
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 16 -
Das Vorbild: Gehirnfunktionen
Signalverarbeitung Input-OutputTintenfisch-Riesenneuron: Ausgabe-Spikefrequenz ~ Zellstrom
Lineares Modell
Zell-Potential ~ Eingabe-Spikefrequenz Ausgabe-Spikefrequenz ~ Zellstrom
Ausgabe-Freq. ~ Eingabe-Freq.
Klassifizierung
Grundlagen
Modellierung
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 17 -
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 18 -
Modellierung
Informatik: Granularität Paralleler Aktivität
Grob: Computer, Jobs (Lastverteilung) wenig Komm.
Fein: Multi-CPU, Threads viel Komm.
Sehr fein: formale Neuronen, Funktionen sehr viel Komm
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 19 -
Modellierung formaler Neuronen
x1 x2x3
w1w2 w3
y
z
Akti-vierung
Ausgabe (Axon)
Gewichte (Synapsen)
Eingabe (Dendriten)x = (x1, ... ,xn)
w = (w1, ... ,wn)
Dendriten
Axon
Zellkörper
Synapsen
i
n
1iixw
y = S(z) z = = wTxsquashing
function
radial basis function
Ausgabefunktionen
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 20 -
Formale Neuronen
Code-Beispiel „formales Neuron“
float z (float w[ ],float x[ ]) {/* Sigma-Neurons: Aufsummieren aller Eingaben */float sum;
sum = 0; /* Skalarprodukt bilden */ for (int i=0;i<length(x);i++) {
sum= sum + w(i)*x(i); } return sum;}
float S (float z) {(* begrenzt-lineare Ausgabefunktion*)float s=1.0; float Zmax=1; float k=Zmax/s;
z = z*k;if (z> s) z = Zmax;if (z<-s) z =-Zmax;return z;
}
Aktivität
Ausgabe
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 21 -
DEF Schicht
Schichten
x = (x1 x2 xn)
neural layer
y = (y1 y2 ym)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 22 -
Modellierung der Netze
Feed-forward vs. Feedback-Netze
DEF feedforward Netz der gerichtete Graph ist zyklenfrei
Problem: feedforward oder nicht?
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 23 -
lineare Schicht
Lineare Transformation mit NN
x = (x1 x2 xn)
neurallayer
y = (y1 y2 ym)
)w,...,(w=y
) w,...,(w =y
mnm1m
1n111
x
x
y = = W·x Matrix-Multiplikation
y
y
w w
w w
x
xn
n
m mn n
1 11 1
1
1
Klassifizierung
Grundlagen
Modellierung
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 24 -
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 25 -
Klassenbildung
Erfahrung: Es gibt ähnliche Dinge, „Arten“, „Klassen“,
z.B. Buchstabe A
? Woher kommt das ?
Plato: Ideen angeboren
Ideenlehre:
Dinge in Reinstform von der Seele im Jenseits gesehen,
Erfahrung davon = „wie Schatten an einer Wand“(Höhlenmetapher)
Aristoteles: Ideen erworben
Zuerst werden Dinge mit den
Sinnen erfaßt,
dann die Idee dazu entwickelt
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 26 -
Klassenbildung: Beispiel Iris
Iris Setosa Iris Virginica
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 27 -
Klassenbildung heute
Objekte werden durch Merkmale beschrieben z.B. qualitativ Mensch = (groß, braune Augen, dunkle Haare, nett, ...)
quantitativ Mensch = (Größe=1,80m, Augenfarbe=2, Haarfarbe=7, ...)
Idee = Form = „Klassenprototyp“
Breite
Höh
e Muster eines Objekts
(Breite, Höhe) = x
Breite
c2
Höh
e
c1
Trennung von Klassen
Blütensorte 1 Blütensorte 2
Klassenprototyp
Klassifizierung = Ermitteln der Geradengleichung bzw Parameter c1,c2.
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 28 -
Klassentrennung
Breite x1
c2
Höh
e x
2
c1
Klassentrennung durch Trenngerade
mit f(x1) = x2= w1x1+w3
z<0 z=0 bzw. z := w1x1+w2x2+w3x3 = 0
z>0 mit w2 :=-1, x3 := 1n
i ii 1
w xMit z = = wTx
Klassenentscheidung
y = S(z) =
2 Klasse aus 0z 1
1 Klasse aus 0z 0
x
x
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 29 -
Klassentrennung durch formales Neuron
Klassentrennung durch binäres Neuron
n
i ii 1
w xz = = wTx
Klassenentscheidung
y = SB(z) =
2 Klasse aus 0z 1
1 Klasse aus 0z 0
x
x
z = wTxSB(z) y = 0: Klasse 1
y = 1: Klasse 2
x1
x2
x3
xn-1
...
1
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 30 -
Trennung mehrerer Klassen
Lineare Separierung
xr
xp
xk
xq
x2
x1
(1,0)
(0,0)
(0,1)
(1,1)
1 Neuron: 1 Trennlinie(Ebene)
2 Neurone: 2 Trennlinien
(Ebenen)
Bereiche trennbar in 4 Klassen (y1,y2)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 31 -
Trennung mehrerer Klassen
DEF Lineare Separierung
Seien Muster x und Parameter w gegeben. Zwei Klassen 1 und 2
des Musterraums = 12 mit 12 =
heißen linear separierbar,
falls eine Hyperebene {x*} existiert mit g(x*) = wTx* = 0,
so daß für alle x1 gilt g(x)<0 und für alle x2 gilt g(x)>0.
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 32 -
WIE erhalten wir die richtigen Gewichte,
d.h. die richtige Klassifizierung
?
Lernen !