Vorlesung BionikII /Biosensorik

Freitag: 10 -12 ct Hörsaal: H 0110

Grenzempfindlichkeit biologischer Rezeptoren

Sinnesorgane als Modelle für technische Messgeräte

Der Biosensor als bionisch-biotechnologisches Zwittersystem

Rechnen mit Molekülen (DNA-Chips und DNA-Computing)

Struktur und Arbeitsweise Neuronaler Netzwerke

Exotische Messsysteme in der Natur

Signalwandlung und Signalverarbeitung in Biosensoren

Beginn: 15. 04. 05

Die Inhibition - Leistung einer elementaren Neuronenschaltung

Ingo Rechenberg

PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik“

Organisches Rechnen (Organic Computing)

Struktur und Arbeitsweise neuronaler Netzwerke

Entwicklung Neuronaler Netze

Ein Meilenstein der Bionik

Anwendung neuronaler Netze:

Mustererkennung,

Bildverarbeitung,

Robotik,

Prozessautomatisierung,

Diagnose, Medizin,

Betriebswirtschaft,

Finanzdienstleistungen

Wissensverarbeitung

Neuronales Netz

Eingangsneuronen

Zwischenneuronen

Ausgangsneuron

Neuronales Netz

Eigenheiten einer Nervenzelle

Schwellverhalten des Encoders

Impulsfortleitung

Zeitverhalten der Synapse

Streichung des Schwellverhaltens des Encoders

Neuron 0. OrdnungSpannungshöhe statt Impulse

Streichung des Zeitverhaltens der Synapse

Neuron 0. Ordnung

(Technische Realisierung)

Neuron 1. OrdnungSpannungshöhe statt Impulse

Streichung des Zeitverhaltens der Synapse

Streichung des Schwellverhaltens des Encoders aufgehoben !

(Technischen Realisierung)

Neuron 1. Ordnung (a)

UeUa

Ue

Ua

(Technischen Realisierung)

Neuron 1. Ordnung (b)

UeUa

Ua

Ue

Neuron 2. Ordnung

Impulsfortleitung

Spannungs-Frequenzwandler mit Schwelle

Verzögerungs-glied 1. Ordnung

Neuron 2. Ordnung(Technische Realisierung)

Berliner Bionik-Neuron

U

U

F

F

VZ1

VZ1

VZ1

Reduktionsgesetz für eine Neuronales Netz 0. Ordnung

Donald O. Hebb (1904-1985)

HEBB-Regel

Häufiger Gebrauch einer Synapse

macht diese stärker leitfähig !

Frank ROSENBLATTs Perceptron

Neuronales Netz 1. Ordnung (a)

2-schichtig mit springendem

Ue-Ua-Verhalten und diskreter Verstellung der Gewichte

UeUa

Regel 1:

Wenn die Reaktion falsch als 0 klassifiziert wird, dann Gewichte der aktiven Eingänge um +1 erhöhen.

Regel 2:

Wenn die Reaktion falsch als 1 klassifiziert wird, dann Gewichte der aktiven Eingänge um -1 erniedrigen.

+1

+1

1

1

0 statt 1

1 statt 0

Die Perceptron Lernregel

Lernregel:

Back Propagation

Evolutionsstrategie

UeUa

Heute

Neuronales Netz 1. Ordnung (b)

3-schichtig mit sigmoidem

Ue-Ua-Verhalten und konti-nuierlicher Verstellbarkeit der Gewichte

Die sigmoide Kennlinie wird durch die Fermi-Funktion beschrieben:

xy

e11

x

y

)1(dd yy

xy

Sie zeichnet sich durch die besondere mathematische Eigenschaft aus:

UeUa

Training mit Backpropagation

Neuron 1: 1e11

1 neta

Neuron 3:

Neuron 2: 2e11

2 neta

3e11

3 neta

Neuron i: j Ferminet

iiaja

4143131 awawnet

4243232 awawnet

6365353 awawnet

w4

6

a5

w2

4

w3

5a2

a3

a1w

13 w

14w23

w45w

36

1 2

3 4

5 6

a4

a6

Einfachstes 3-schichtiges Neuronales Netz

Fehler:2

222

11 )()( ** aaaaF

Soll Soll IstIst

Angenommen, die 8 Gewichte können über Zahnräder eines Getriebes verstellt werden. Dann gibt es eine Übersetzung für jedes Zahnrad, bei der sich F maximal schnell ver-mindern würde, wenn wir an der Hauptwelle drehen. Die Übersetzungen sind gleich den Ableitungen von F nach den Gewichten w. w

46

a5

w2

4

w3

5a2

a3

a1w

13 w

14w23

w45w

36

1 2

3 4

5 6

a4

a6

Getriebeübersetzung für 13w13

13ΔwFw

Getriebeübersetzung für 35w35

35ΔwFw

= Schrittweite

Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum.

Getriebefaktor (Gewichtsänderung) für 13w

3111113

1

113)1()( *1

1aaaaa

wnet

neta

aF

wF

Getriebefaktor (Gewichtsänderung) für 35w

35

3

3

1

135

33

11 w

netneta

anet

neta

aF

wF

35

3

3

2

2

33

22 w

netneta

anet

neta

aF

53313111135

)1()1()( * aaawaaaawF

533232222 )1()1()( * aaawaaaa

Weg der Rechnung

1. Vorwärtsrechnung zur Bestimmung von

1a 2aund

Fehler2

222

11 )()( ** aaaa w

46

a5

w2

4

w3

5a2

a3

a1w

13 w

14w23

w45w

36

1 2

3 4

5 6

a4

a6

w36w45 w

46

w3

5

w14w23 w

24

2

w1

3Weg der Rechnung

1. Vorwärtsrechnung zur Bestimmung von

1a 2aund

Fehler2

222

11 )()( ** aaaa

2. Rückwärtsrechnung zur Bestimmung von

bis

13

Δw

24

Δw14

Δw23Δw

35

Δw

46

Δw36

Δw45Δw

a2a1

1

3 4

5 613Δw 46Δw

Weg der Rechnung

1. Vorwärtsrechnung zur Bestimmung von

1a 2aund

Fehler2

222

11 )()( ** aaaa

2. Rückwärtsrechnung zur Bestimmung von

bis

3. Einstellung der neuen Gewichte

bis

w4

6w

24

w3

5a2a1

w3 w

14w23

w45w

36

1 2

3 4

5 6

13Δw 46Δw

13w 46w

z. B. 35)(35)(35 Δwww altneu

Training mit der Evolutionsstrategie

w4

6

a5

w2

4

w3

5a2

a3

w1

3 w14w23

w45w

36

1 2

3 4

5 6

a4

a6

a1Mutieren der Gewichte

13w 46wbis1

Bestimmung des Fehlers

222

211 )()( ** aaaaF

3

Durchlaufen des Netzes zur Bestimmung von

1a 2aund2

Die Operation wird -mal durchgeführt (= 1 Generation). Dann wird das Netz mit dem kleinsten Fehler zum Ausgang einer neuen „Generation“.

Es sei w ein Vektor mit den Komponenten

5645363524231413 ,,,,,,, wwwwwwwww

Algorithmus der (1, ) – Evolutionsstrategie mit MSR

11NE1Ng zww gg

22NE2N zww ggg

zww gggNEN

eiltnormalvert)1,0(,, /21 nzzz n

ggNBE

1 ww )(),(),()( NN2N1NB min gggg FFFF wwww

ggNBE

1

1E1N gg

2E2N gg

ggEN

eiltnormalvert schlogarithmi

-Würfel

z-Würfel

Mutation der Mutabilität undVererbbarkeit der Mutabilität

„Knackpunkt“ der Evolutionsstrategie

DNA-Kopierer

DNA

w

0

2

+ zi

0 1

w

i

ze

Zur Erzeugung der Mutationen z und

2 3 412

13

Interpretetion der Kurve: Eine Zufallszahl zwischen 1/2 und 1/3 ist genau so häufig wie zwischen 2 und 3

logarithmisch normalverteilt (Dichte )

normalverteilt (Dichte z)

ES-Theorie: 20% Erfolgswahscheinlichkeit

Von-Neumann-Computer

versus

Neuronencomputer

Mutation

Verbesserung unwahrscheinlich

Kausalität

Schwache Kausalität

Starke Kausalität

Gleiche Ursache → Gleiche Wirkung

Ähnliche Ursache → Andere Wirkung

Ähnliche Ursache → Ähnliche Wirkung

Schwach kausales Verhalten Stark kausales Verhalten

Klassischer Computer Neuronencomputer

Nicht evolutionsfähig Evolutionsfähig

Ende