Ingo Rechenberg

Organisches Rechnen (Organic Computing)

Struktur und Arbeitsweise neuronaler Netzwerke

PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik, Bioinformatik“

Ein „organischer Computer" (OC) ist definiert als ein selbst-organisierendes System, das sich den jeweiligen Umgebungsbedürfnissen dynamisch anpasst. Organische Computersysteme haben sog. „Self-x-Eigenschaften": Sie sind selbst-konfigurierend, selbst-optimierend, selbst-heilend, selbst-erklärend und selbst-schützend.

Organische Computersysteme verhalten sich eher wie intelligente Assistenten als starre Befehlsempfänger. Sie sind flexibel, robust gegenüber (Teil)ausfällen und in der Lage, sich selbst zu optimieren. Der Entwurfsaufwand sinkt, da nicht jede Variante im Voraus programmiert werden muss.

Gesellschaft für Informatik e.V.

Entwicklung Neuronaler Netze

Ein Meilenstein der Bionik

Anwendung neuronaler Netze:

Mustererkennung, Bildverarbeitung, Robotik, Prozessautomatisierung, Diagnose, Medizin, Betriebswirtschaft, Finanzdienstleistungen Wissensverarbeitung

Natürliches Neuronales Netz

Eingangsneuronen

Zwischenneuronen

Ausgangsneuron

Künstliches Neuronales Netz

KNN

Neuronales Netz

NN

Eigenheiten einer Nervenzelle

Schwellverhalten des Encoders

Impulsfortleitung im Axon

Zeitverhalten der Synapse

Summiereigenschaft des Zellsomas

Signalgewichtung durch Länge des Dendriten

Soma Encoder

Axon

Dendri

t

PSP PSP > 50mV

Arbeitsweise einer (biologischen) Nervenzelle

Streichung des Schwellverhaltens des Encoders

Neuron 0. OrdnungSpannungshöhe statt Impulse

Streichung des Zeitverhaltens der Synapse

Summiereigenschaft des Zellsomas

Signalgewichtung durch Länge des Dendriten

Neuron 0. Ordnung

(Technische Realisierung)

Neuron 1. OrdnungSpannungshöhe statt Impulse

Streichung des Zeitverhaltens der Synapse

Streichung des Schwellverhaltens des Encoders aufgehoben !

Signalgewichtung durch Länge des Dendriten

Summiereigenschaft des Zellsomas

(Technischen Realisierung)

Neuron 1. Ordnung (a)

UeUa

Ue

Ua

(Technischen Realisierung)

Neuron 1. Ordnung (b)

UeUa

Ua

Ue

Neuron 2. Ordnung

Impulsfortleitung

Spannungs-Frequenzwandler mit Schwelle

Verzögerungs-glied 1. Ordnung

Summiereigenschaft des Zellsomas

Signalgewichtung durch Länge des Dendriten

Neuron 2. Ordnung(Technische Realisierung)

Berliner Bionik-Neuron

U

U

F

F

VZ1

VZ1

VZ1

Spannungs-Frequenzwandlermit Schwellwert

Zurück zum Neuron 0. Ordnung

Eingangsneuronen

Zwischenneuronen

Ausgangsneuron

Netz mit Neuronen 0. Ordnung

Reduktionsgesetz für eine Neuronales Netz 0. Ordnung

Belehren statt programmieren eines NN

Donald O. Hebb (1904-1985)

HEBB-Regel

Häufiger Gebrauch einer Synapse

macht diese stärker leitfähig !

Frank ROSENBLATTs Perceptron

Neuronales Netz 1. Ordnung (a)

2-schichtig mit springendem Ue-Ua-Verhalten (Schwell-wertelement) und diskreter Verstellung der Gewichte

UeUa

Regel 1:Wenn die Reaktion falsch als 0 klassifiziert wird, dann Gewichte der aktiven Eingänge um +1 erhöhen.

Regel 2:Wenn die Reaktion falsch als 1 klassifiziert wird, dann Gewichte der aktiven Eingänge um -1 erniedrigen.

+1

+1

1

1

0 statt 1

1 statt 0

Die Perceptron Lernregel

Lernregel:

Back Propagation

Evolutionsstrategie

UeUa

Heute

Neuronales Netz 1. Ordnung (b)

3-schichtig mit sigmoidem Ue-Ua-Verhalten (weiches Schwellwertelement) und kontinuierlicher Verstellbarkeit der Gewichte

Die sigmoide Kennlinie wird durch die Fermi-Funktion beschrieben:

xy e1

1

x

y

)1(dd yyx

y

Sie zeichnet sich durch die besondere mathematische Eigenschaft aus:

UeUa

Belehrung (Training) mit Backpropagation

Neuron 1: 1e11

1 neta

Neuron 3:

Neuron 2: 2e11

2 neta

3e11

3 neta

Neuron i: j Ferminet

iiaijj wa

4143131 awawnet

4243232 awawnet

6365353 awawnet

w46

a5

w24

w35

a2

a3

a1w

13 w14w23

w45 w36

1 2

3 4

5 6

a4

a6

Einfachstes 3-schichtiges Neuronales Netz

j = nummerierte Eingänge

Durchrechnung des gesamten Netzes

Weiches Schwellwertelement

Fehler: 222

211 )()( ** 2

121 aaaaF

Soll Soll IstIst

w46

a5

w24

w35

a2

a3

a1

w13 w

14w23

w45 w36

1 2

3 4

5 6

a4

a6

),,,,,,,( 4636453524142313 wwwwwwwwfF

e1 e2

Es gilt, die Gewichte w so zu verstellen, dass

F zu einem Minimum (möglichst Null) wird.

grad

h sei = 1

h sei = 2

Die Idee des Gradientenfortschritts

Unsichtbare

geneigte Ebene

2 Elementarschritte in die x-Richtung

1 Elementarschritt in die y-Richtung

Experimentator

Fehler: 222

211 )()( ** 2

121 aaaaF

Soll Soll IstIst

Angenommen, die 8 Gewichte können über Zahnräder eines Getriebes verstellt werden. Dann gibt es eine Übersetzung für jedes Zahnrad, bei der sich F maximal schnell ver-mindern würde, wenn wir an der Hauptwelle drehen. Die Übersetzungen sind gleich den Ableitungen von F nach den Gewichten w. w

46

a5

w24

w35

a2

a3

a1w

13 w14w23

w45 w36

1 2

3 4

5 6

a4

a6Getriebeübersetzung für 13w

1313Δ w

Fw

Getriebeübersetzung für 35w35

35Δ wFw

= Schrittweitebegrenzt durch EbenenstückchenDer Gradientenfortschritt

Approximation als Ebenenstückchen

Oder nach der Gradientenidee:Jedes Gewicht muss so geändert werden wie sich der Fehler mit einer Änderung des Gewichts ändert !

Gewichtsänderungen

),,,,,,,( 4636453524142313 wwwwwwwwfF

Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum.

Getriebefaktor (Gewichtsänderung) für 13w

31111131

113)1()( *1

1 aaaaawnet

neta

aF

wF

Getriebefaktor (Gewichtsänderung) für 35w

353

31

135

33

11 w

netneta

anet

neta

aF

wF

353

32

2

33

22 w

netneta

anet

neta

aF

53313111135

)1()1()( * aaawaaaawF

533232222 )1()1()( * aaawaaaa

222

211 )()( ** 2

121 aaaaF 4143131 awawnet

Vorteil der Fermi-Funktion (weiches Schwellwertelement)

Fermi: 11 e11

neta )1(1d

d11

1 aaneta

Weg der Rechnung

1. Vorwärtsrechnung zur Bestimmung von

1a 2aund

Fehler2

222

11 )()( ** 21

21 aaaa

w46

a5

w24

w35

a2

a3

a1w

13 w14w23

w45 w36

1 2

3 4

5 6

a4

a6

Anfangsgewichtevorgegeben

w36w45 w

46

w35

w14w23 w

24

2

w13

Weg der Rechnung

1. Vorwärtsrechnung zur Bestimmung von

1a 2aund

Fehler 222

211 )()( ** 2

121 aaaa

2. Rückwärtsrechnung zur Bestimmung von

bis

13Δ w

24Δ w14

Δw23Δw

35Δ w

46Δ w36

Δw45Δw

a2a1

1

3 4

5 613Δw 46Δw

Weg der Rechnung

1. Vorwärtsrechnung zur Bestimmung von

1a 2aund

Fehler2

222

11 )()( ** 21

21 aaaa

2. Rückwärtsrechnung zur Bestimmung von

bis

3. Einstellung der neuen Gewichte

bis

w46

w24

w35

a2a1w

3 w14w23

w45 w36

1 2

3 4

5 613Δw 46Δw

13w 46w

z. B. 35)(35)(35 Δwww altneu

Text

Belehrung (Training) mit der Evolutionsstrategie

Fortschreiten entlang des steilsten Anstiegs im Fall der Existenz eines „Berges“

bei kleinen Schritten

Universelles Naturgesetz„Starke Kausalität“

w46

a5

w24

w35

a2

a3

w13 w

14w23

w45 w36

1 2

3 4

5 6

a4

a6

a1 Mutieren der Gewichte

13w 46wbis1

Bestimmung des Fehlers

222

211 )()( ** aaaaF

3

Durchlaufen des Netzes zur Bestimmung von

1a 2aund2

Die Operation wird -mal durchgeführt (= 1 Generation). Dann wird das Netz mit dem kleinsten Fehler zum Ausgang einer neuen „Generation“.

Text

Es sei w ein Vektor mit den Komponenten

5645363524231413 ,,,,,,, wwwwwwwww

Algorithmus der (1, ) – Evolutionsstrategie mit MSR

11NE1N zww ggg

22NE2N zww ggg

zww gggNEN

eiltnormalvert)1,0(,, /21 nzzz n

ggNBE

1 ww )(),(),()( NN2N1NB min gggg FFFF wwww

ggNBE

1

1E1N gg

2E2N gg

ggEN

eiltnormalvert schlogarithmi

-Würfel

z-Würfel

Streuung

Mutation der Mutabilität undVererbbarkeit der Mutabilität

„Knackpunkt“ der Evolutionsstrategie

DNA-Kopierer

DNA

w

0

2

+ zi

0 1

w

i

ze

Zur Erzeugung der Mutationen z und

2 3 412

13

Interpretation der Kurve: Eine Zufallszahl zwischen 1/2 und 1/3 ist genau so häufig wie zwischen 2 und 3

logarithmisch normalverteilt (Dichte )

normalverteilt (Dichte z)

ES-Theorie:

10 - 20% optimale Erfolgswahscheinlichkeit

Von-Neumann-Computer

versus

Neuronencomputer

Kleine Mutation

Verbesserung unwahrscheinlich

0111111111 = 5111111111111 = 1023

Kausalität

Schwache Kausalität

Starke Kausalität

Gleiche Ursache → Gleiche Wirkung

Ähnliche Ursache → Andere Wirkung

Ähnliche Ursache → Ähnliche Wirkung

Text

Starke Kausalität

Normalverhalten der Welt

Eingang: Neigung der Kaffeekanne

Ausgang: Stärke des Kaffeestroms

Schwach kausales Verhalten Stark kausales Verhalten

Klassischer Computer Neuronencomputer

Nicht evolutionsfähig Evolutionsfähig

Exemplarische Anwendungsgebiete Neuronaler Netze

Signalverarbeitung:Spracherkennung, Bilderkennung, Bildanalyse, Biometrie

Robotik:Motorische Steuerung, Handlungsentscheidungen, Autonome Systeme

Wirtschaft:Kreditwürdigkeitsbeurteilungen, Börsenkurs- und Wirtschaftsprognosen

Psychologie:Modellierung kognitiver Vorgänge, Simulation neuronaler Strukturen

Medizin:Elektronische Nasen, Diagnose, Protein Design, EEG-Auswertung

Die Entscheidungshilfe für AktienanlegerWas ist Stock NeuroMaster?

Stock NeuroMaster wurde entwickelt, um Vorhersagen aus bestimmten Marktsituationen zu treffen, die Ihnen bei der Bestimmung des richtigen Kauf- und Verkaufszeitpunktes helfen.

                                                                                                                                          

Jetzt verdienen Sie an der Börse endlich Geld!

Modernste neuronale Netzwerktechnologie ("künstliche Intelligenz") hat es jetzt ermöglicht mit einem Standard-PC Vorhersagen ungeahnter Genauigkeit zu treffen.

Der Stock NeuroMaster nutzt neuronale Netze als Instrument, um die historischen Börsen-kurse interessanter Aktien zu analysieren. Basierend auf den Ergebnissen dieser Analyse spricht die Software konkrete Kauf- oder Verkaufsempfehlungen aus.

?

Vorschläge für eine Übungs-/Praktikums-Ausarbeitung zur Vorlesung Bionik II

Zur Wanderwellentheorie von Georg von Békésy: Aufbau eines mechanischen Modells, das eine frequenzabhängige Wanderwelle erzeugt.Zur Navigation von Nachttieren: Ist das Licht des Nachthimmels polarisiert?. Experimente mit Polarisationsfiltern in der Nacht.Aufbau eines mechanischen Enzyms: Funktioniert das in der Vorlesung vorgestellte Winkelmolekül?Experimente mit dem Fensteroperator von Lohmann. Welches Ausgangssignal ergeben verschieden konstruierte Figuren und Figurenmengen.Eigenschaften von Fensteroperatoren: Versuche mit eigens entworfenen neuen Fensteroperatoren.Suche im Internet nach neuen exotischen Biosensoren, die in der Vorlesung nicht behandelt wurden.MP3-Player und laterale Inhibition. Kompression digital gespeicherter Audiodateien durch Kenntnis der seitlichen Hemmung der Haarzellen in der Cochlea.Laterale Inhibition der Riechsinneszellen in der Riechschleimhaut. Welche Vorteile könnte hier die Inhibition aufweisen?Entwicklungen und Trends des Organic Computing; Was leisten Neuronale Netze heute: Recherche im Internet.Bionik ist Bionik: Statt eines Themas aus der Vorlesung Bionik II können Sie auch ein Thema aus der Vorlesung Bionik I oder ein Thema aus dem gesamten Bereich der Bionik als Hausaufgabe bearbeiten.

Ende

Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum.

Getriebefaktor (Gewichtsänderung) für 13w

31111131

113)1()( *1

1 aaaaawnet

neta

aF

wF

Getriebefaktor (Gewichtsänderung) für 35w

353

31

135

33

11 w

netneta

anet

neta

aF

wF

353

32

2

33

22 w

netneta

anet

neta

aF

53313111135

)1()1()( * aaawaaaawF

533232222 )1()1()( * aaawaaaa

Deshalb Rückwärtrechnung

Man mache sich klar: Bei idealer starker Kausalität (Funktionsstetigkeit) ist bei kleinen Mutationen die Erfolgswahrscheinlichkeit gleich 50%. Es trifft also nicht zu (wie oft behauptet wird), dass eine erfolgreiche Mutation in der Evolution ein extrem seltenes Ereignis darstellt. Nur große erfolg-reiche Mutationen sind sehr selten!

Die 50% Erfolgswahrscheinlichkeit (differentiell) kleiner Mutationen ergibt sich aus der Tatsache, dass eine Berglandschaft in der unmittelbaren Nähe durch ein geneigtes Ebenenstückchen approximiert werden kann (Prinzip der Linearisierung).

Vorteil der evolutionsstrategischen Trainingsmethode:

Die Fehler an den Ausgängen müssen nicht explizit bekannt sein. Die Ausgänge des Neuronalen Netzes können z. B. die Bewegung eines Roboters steuern, dessen Ist-Trajektorie mit der Soll-Trajektorie verglichen wird und den zu minimierenden Fehler darstellt.