37
Neuronale Netze Romy Kuttner, Franco Haberland Romy Kuttner, Franco Haberland

Neuronale Netze

  • Upload
    analu

  • View
    101

  • Download
    0

Embed Size (px)

DESCRIPTION

Neuronale Netze. Romy Kuttner, Franco Haberland. Neuronale Netze. Motivation / biologischer Ursprung Grundbegriffe Aufbau eines neuronalen Netzes Matrizendarstellung Lernregeln Netztypen und Anwendungen. Gliederung. Neuronale Netze. Motivation. - PowerPoint PPT Presentation

Citation preview

Page 1: Neuronale Netze

Neuronale Netze

Romy Kuttner, Franco HaberlandRomy Kuttner, Franco Haberland

Page 2: Neuronale Netze

1. Motivation / biologischer Ursprung

2. Grundbegriffe

3. Aufbau eines neuronalen Netzes

1. Matrizendarstellung

2. Lernregeln

3. Netztypen und Anwendungen

Neuronale Netze

GliederungGliederung

Page 3: Neuronale Netze

Neuronale Netze

Motivation / biologischer UrsprungMotivation / biologischer Ursprung

Motivation

Das menschliche Gehirn benötigt für bestimmte Aufgaben wesentlich weniger Zeit als ein Computer.Außerdem liefert das Gehirn auch dann noch korrekte Ergebnisse, wenn es zu einem Ausfall einiger für die Problemlösung notwendiger Nervenzellen kommt.Selbst wenn die "Eingaben" ungenau sind, kann das Gehirn sie noch erkennen. Ein Computer liefert in diesen Fällen fehlerhafte bzw. unbrauchbare Ergebnisse.

Die Idee ist daher, die Arbeitsweise des Gehirns auf Maschinen zu übertragen.

Page 4: Neuronale Netze

Neuronale Netze

Motivation / biologischer UrsprungMotivation / biologischer Ursprung

Biologischer Ursprung

Neuronale Netze beziehen sich auf das Neuronennetz des menschlichen Gehirns.

Dieses besteht aus vielen Milliarden Nervenzellen und Verbindungen. Dabei sind die Neuronen die Grundbausteine des Nervensystems.

Die Neuronen bilden Ausläufer aus, die an den Enden Verdickungen, die sogenannten Synapsen haben können. Diese sorgen für die Weiterleitung von Reizen an andere Nerven- oder Muskelzellen.

Page 5: Neuronale Netze

Neuronale Netze

Motivation / biologischer UrsprungMotivation / biologischer Ursprung

Biologischer Ursprung

Page 6: Neuronale Netze

Neuronale Netze

AufbauAufbau

Aufbau

Neuronale Netze bestehen aus mehreren Neuronen.

Diese Neuronen werden auch als Units bezeichnet.

Sie dienen dazu, Informationen aus der Umwelt oder von anderen Neuronen aufzunehmen und an andere Units oder die Umwelt in modifizierter Form weiterzuleiten.

Page 7: Neuronale Netze

Neuronale Netze

AufbauAufbau

Units

Man unterscheidet dabei zwischen 3 verschiedenen Arten von Neuronen:

input-units, output-units und hidden-units.

Page 8: Neuronale Netze

Neuronale Netze

AufbauAufbau

Units

Man unterscheidet dabei zwischen 3 verschiedenen Arten von Neuronen:

input-units, output-units und hidden-units.

Input-units sind Neuronen, die von der Außenwelt Signale empfangen können.

Page 9: Neuronale Netze

Neuronale Netze

AufbauAufbau

Units

Man unterscheidet dabei zwischen 3 verschiedenen Arten von Neuronen:

input-units, output-units und hidden-units.

Input-units sind Neuronen, die von der Außenwelt Signale empfangen können.

Output-units geben dagegen Signale an die Außenwelt ab.

Page 10: Neuronale Netze

Neuronale Netze

AufbauAufbau

Units

Man unterscheidet dabei zwischen 3 verschiedenen Arten von Neuronen:

input-units, output-units und hidden-units.

Input-units sind Neuronen, die von der Außenwelt Signale empfangen können.

Output-units geben dagegen Signale an die Außenwelt ab.

Die hidden-units sind die Neuronen, welche sich zwischen input- und output-units befinden.

Page 11: Neuronale Netze

Neuronale Netze

AufbauAufbau

Page 12: Neuronale Netze

Neuronale Netze

AufbauAufbau

Verbindungen

Die Units sind miteinander durch Kanten verbunden. Die Stärke der Verbindung zwischen zwei units wird durch ein Gewicht ausgedrückt. Je größer der Absolutbetrag des Gewichtes ist, desto größer ist der Einfluss einer Unit auf eine andere Unit.

Page 13: Neuronale Netze

Neuronale Netze

AufbauAufbau

Verbindungen

Die Units sind miteinander durch Kanten verbunden. Die Stärke der Verbindung zwischen zwei units wird durch ein Gewicht ausgedrückt. Je größer der Absolutbetrag des Gewichtes ist, desto größer ist der Einfluss einer Unit auf eine andere Unit.

Ein positives Gewicht bringt zum Ausdruck, dass eine Unit auf eine andere einen exzitatorischen Einfluss ausübt.

Page 14: Neuronale Netze

Neuronale Netze

AufbauAufbau

Verbindungen

Die Units sind miteinander durch Kanten verbunden. Die Stärke der Verbindung zwischen zwei units wird durch ein Gewicht ausgedrückt. Je größer der Absolutbetrag des Gewichtes ist, desto größer ist der Einfluss einer Unit auf eine andere Unit.

Ein positives Gewicht bringt zum Ausdruck, dass eine Unit auf eine andere einen exzitatorischen Einfluss ausübt.

Ein Gewicht von Null besagt, dass sich die beiden Units derzeit gegenseitig nicht beeinflussen.

Page 15: Neuronale Netze

Neuronale Netze

AufbauAufbau

Verbindungen

Die Units sind miteinander durch Kanten verbunden. Die Stärke der Verbindung zwischen zwei units wird durch ein Gewicht ausgedrückt. Je größer der Absolutbetrag des Gewichtes ist, desto größer ist der Einfluss einer Unit auf eine andere Unit.

Ein positives Gewicht bringt zum Ausdruck, dass eine Unit auf eine andere einen exzitatorischen Einfluss ausübt.

Ein Gewicht von Null besagt, dass sich die beiden Units derzeit gegenseitig nicht beeinflussen.

Ein negatives Gewicht bedeutet, dass der Einfluss inhibitorisch ist.

Page 16: Neuronale Netze

Neuronale Netze

AufbauAufbau

Input

Der Input, den ein Neuron von einer anderen Unit empfängt, hängt von zwei Werten ab, die zumeist multiplikativ miteinander verknüpft sind:

Output (bzw. Aktivitätslevel) der sendenden Einheit

Gewicht zwischen den beiden Neuronen

Page 17: Neuronale Netze

Neuronale Netze

AufbauAufbau

Input

Der Input, den ein Neuron von einer anderen Unit empfängt, hängt von zwei Werten ab, die zumeist multiplikativ miteinander verknüpft sind:

Output (bzw. Aktivitätslevel) der sendenden Einheit

Gewicht zwischen den beiden Neuronen

Je stärker der Aktivitätslevel der sendenden Einheit und je höher das Gewicht zwischen den beiden Units, desto größer ist der Einfluss (Input) auf die empfangende Einheit.

Ist einer der beiden Terme gleich Null, so ist kein Einfluss vorhanden.

Page 18: Neuronale Netze

Neuronale Netze

AufbauAufbau

Darstellung

Page 19: Neuronale Netze

Neuronale Netze

AufbauAufbau

Beispiel

Page 20: Neuronale Netze

Neuronale Netze

AufbauAufbau

BeispielPropagierungsfunktion:

Page 21: Neuronale Netze

Neuronale Netze

AufbauAufbau

BeispielPropagierungsfunktion:

Aktivierungsfunktion:

Page 22: Neuronale Netze

Neuronale Netze

AufbauAufbau

Ausgabe Unit1:

o1

Ausgabe Unit2:

o2

Eingabe Unit3:net3

Schwellen-wert Unit3:

S3

Ausgabe Unit3:

o3

Eingabe Unit4:net4

Schwellen-wert Unit4:

S4

Ausgabe Unit4:

o4 XOR

0 0 0*1+0*1 = 0 1,5 00*1+0*1+0*

(-2) = 0 0,5 0 0

0 1 0*1+1*1 = 0 1,5 00*1+1*1+0*

(-2) = 0 0,5 1 1

1 0 1*1+0*1 = 1 1,5 01*1+0*1+0*

(-2) = 1 0,5 1 1

1 1 1*1+1*1 = 2 1,5 11*1+0*1+1*

(-2) = 0 0,5 0 0

Page 23: Neuronale Netze

Neuronale Netze

AufbauAufbau

Vergleich

Die Neuronen künstlicher neuronaler Netze sind im Vergleich zu ihren natürlichen Vorbildern sehr stark idealisiert. Trotzdem gibt es viele Gemeinsamkeiten: - Die massive Parallelität der Neuronen- Relativ einfache Elemente: Neuronen verarbeiten die Aktivierungen der Vorgängerneuronen und die Stärke der Verbindung zu einer Ausgabe.- Die Neuronen sind durch gewichtete Verbindungen (biologisch: Synapsen) miteinander verbunden.- Die Verbindungsgewichte bei künstlichen Neuronen sind modifizierbar. Das entspricht der Plastizität der Synapsen beim biologischen Vorbild.- Ein Neuron ist mit sehr vielen anderen Neuronen verbunden (hohe Konnektivität).

Page 24: Neuronale Netze

Neuronale Netze

AufbauAufbau

Vergleich

Künstliches neuronales Netz

Biologisches Vorbild

viel geringere Anzahl der Neuronen (102 – 104)

ca. 1011 Neuronen

viel geringere Anzahl von Verbindungen

höhere Anzahl an Verbindungen zwischen den Neuronen

Stärke einer Synapse wird ausschließlich durch das Gewicht bestimmt

Einfluß verschiedener Neurotransmitter auf die Stärke einer Synapse

Page 25: Neuronale Netze

Neuronale Netze

AufbauAufbau

Zusammenfassung

Ein Neuronales Netz ist ein Paar (U, V) mit einer Menge U von Units und einer Menge V von Verbindungen. Es besitzt die Struktur eines gerichteten Graphen, für den die folgenden Einschränkungen und Zusätze gelten:i. Die Knoten des Graphen heißen Units.ii. Die Kanten heißen Verbindungen.iii. Jede Unit kann eine beliebige Menge von Verbindungen empfangen, über die es seine Eingabe erhält.iv. Jede Unit kann genau eine Ausgabe über eine beliebige Menge von Verbindungen aussenden.v. Das Neuronale Netz erhält aus Verbindungen, die der "Außenwelt" entspringen, Eingaben und gibt seine Ausgaben über in der "Außenwelt" endende Verbindungen ab.

Page 26: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung

Verbindungen anderer Units zu einer einzelnen Unit j ergeben den Eingabevektor xj von j. Die gewichtete Eingabe kann man in Form einer Matrix beschreiben. Zeilen und Spalten identifiziert man mit den Neuronen; in den Kreuzungspunkt schreibt man das Gewicht der Verbindung.

Page 27: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung

Verbindungen anderer Neuronen zu einem einzelnen Neuron j ergeben den Eingabevektor xj von j. Die gewichtete Eingabe kann man in Form einer Matrix beschreiben. Zeilen und Spalten identifiziert man mit den Neuronen; in den Kreuzungspunkt schreibt man das Gewicht der Verbindung.

Page 28: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung

Page 29: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung

input-Schicht – hidden-Schicht

Gewichtsmatrizen:

Page 30: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung

input-Schicht – hidden-Schicht

Gewichtsmatrizen:

1 2 3

4

5

6

7

Page 31: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung

input-Schicht – hidden-Schicht

Gewichtsmatrizen:

1 2 3

4 -0,5

5

6

7

Page 32: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung

input-Schicht – hidden-Schicht

Gewichtsmatrizen:

1 2 3

4 -0,5

5 0

6 0,8

7 0

Page 33: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung

input-Schicht – hidden-Schicht

Gewichtsmatrizen:

1 2 3

4 -0,5 0,2 0

5 0 0 0

6 0,8 -0,2 0

7 0 0,3 0.5

Page 34: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung

input-Schicht – hidden-Schicht

Gewichtsmatrizen:

1 2 3

4 -0,5 0,2 0

5 0 0 0

6 0,8 -0,2 0

7 0 0,3 0.5

hidden-Schicht – output-Schicht

4 5 6 7

8 -0,7 0,8 0,5 0,1

Page 35: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung1 2 3 4 5 6 7 8

1

2

3

4

5

6

7

8

Page 36: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung1 2 3 4 5 6 7 8

1 -0,5 0,8

2 0,2 -0,2 0,3

3 0 0,5

4 -0,7

5 0,8

6 0,5

7 0,1

8

Page 37: Neuronale Netze

Neuronale Netze

MatrixdarstellungMatrixdarstellung

Matrixdarstellung1 2 3 4 5 6 7 8

1 0 0 0 -0,5 0 0,8 0 0

2 0 0 0 0,2 0 -0,2 0,3 0

3 0 0 0 0 0 0 0,5 0

4 0 0 0 0 0 0 0 -0,7

5 0 0 0 0 0 0 0 0,8

6 0 0 0 0 0 0 0 0,5

7 0 0 0 0 0 0 0 0,1

8 0 0 0 0 0 0 0 0