RETI NEURALI - 2

RETI NEURALI - 2

TIPI DI APPRENDIMENTO– Esistono due tipi di apprendimento:

• Supervisionato• Non supervisionato

– L’apprendimento supervisionato fa uso di una serie di esempi di cui si conosce l’output

– L’apprendimento non supervisionato classifica l’input mediante autoorganizzazione

APPRENDIMENTO SUPERVISIONATO


– Algoritmo:– N esempi ciascuno composto da k input – J output– Ogni ciclo viene chiamato epoca di

apprendimento– Durante l’addestramento la rete impara la

relazione fra input ed output


– Algoritmo:


– Regola Delta generalizzata:

Errore = ( Dj – Oj) 2

wij = - (d err / dwij)

Vogliamo minimizzare l’errore Facciamo piccoli spostamenti di segno

opposto alla derivata della funzione errore



– In questo modo ci spostiamo sempre nella direzione opposta a quella in cui l’errore cresce: se l’errore E cresce all’aumentare di wji i pesi vengono diminuiti, mentre se E diminuisce al crescere di wji i pesi vengono aumentati.

– Ad ogni ciclo ci avviciniamo al minimo dell’errore

– Quando l’errore è minore di la rete si ferma.


– Questo è il cosiddetto metodo del gradiente decrescente

– E’ la base dell’algoritmo di apprendimento backpropagation (retropropagazione dell’errore)

– Nelle reti a più strati non si può applicare direttamente perché mentre conosciamo l’errore sullo strato di output non conosciamo l’errore sullo strato hidden

– L’algoritmo arriva alla soluzione mediante manipolazioni matematiche


– Quando la rete ha appreso si congelano i pesi e si utilizza la rete in testing, ossia per risolvere problemi nuovi

– Quanto migliore è la scelta del training set, tanto più facile per la rete è generalizzare

– Le reti backpropagation sono le più potenti e versatili attualmente implementate

APPRENDIMENTO SUPERVISIONATO– TEOREMA DI HECHT-NIELSEN-

KOLMOGOROV:

Data una qualsiasi funzione f:{0,1}n --> Rm, f(x) = y, f puo’ essere implementata esattamente da una rete neurale feedforward a tre strati con n elementi nel primo strato, 2n+1 elementi nello strato nascosto, ed m elementi nello strato di output.

APPRENDIMENTO NON SUPERVISIONATO

– La SOM e’ stata sviluppata negli anni 80 da T. Kohonen sulla base di precedenti studi di neurofisiologia.

– Consiste in uno strato di N elementi, detto strato competititvo.

– Ciascuno di questi riceve n segnali x1,…,xn che provengono da uno strato di input di n elementi, le cui connessioni hanno peso wij.


– La SOM e’ stata sviluppata negli anni 80 da T. Kohonen sulla base di precedenti studi di neurofisiologia.

– Consiste in uno strato di N elementi, detto strato competititvo.

– Ciascuno di questi riceve n segnali x1,…,xn che provengono da uno strato di input di n elementi, le cui connessioni hanno peso wij.



Per stimare l’intensita’ Ii dell’input :

Ii = D(wi,x)

wi=(wi1,…,win)T

x i =(x1,...,xn)T

D(u,x) e’ una qualche funzione distanza, ad es. quella euclidea.


– A questo punto viene messa in atto una competizione per valutare quale elemento ha la minore intensita' di input (ossia quale wi e’

il piu’ vicino ad x).

– La SOM prevede a questo punto un meccanismo cosiddetto di inibizione laterale, che e' presente anche in natura sotto forma di trasformazioni chimiche a livello sinaptico.


– Nella regione corticale del cervello, neuroni fisicamente vicini mostrano legami piu' forti, mentre ad una certa distanza iniziano a mostrare legami inibitori.

– Ciascun elemento riceve sia stimoli eccitatori da parte degli elementi adiacenti (neighborhood), sia stimoli inibitori da parte degli elementi piu' lontani, secondo la forma "a cappello messicano".



– L'esistenza della neighborhood e' utile per non polarizzare la rete su pochi neuroni vincenti.

– A questo punto ha luogo la fase di apprendimento, secondo la cosiddetta "winner Take All Law" (WTA).

– I dati di training consistono in una sequenza di vettori di input x .


– Lo strato di Kohonen decide poi il neurone vincitore sull abase della distanza minima.

– Ora i pesi vengono modificati secondo la legge

winew = wiold + (x - wiold)zi

0<<1 e decresce lentamente nel tempo con una legge del tipo

(t) = [1 - t/] dove e' un'opportuna costante.



– Essendo zi <> 0 solo per il neurone vincitore, i pesi dei

neuroni vincenti ruotano sempre piu' verso gli stimoli vettorialmente piu' vicini, fino a sovrapporsi idealmente con essi.

– La SOM effettua cosi' una quantizzazione vettoriale, ossia una mappatura da uno spazio a molte dimensioni in uno spazio con numero minore di dimensioni, conservando la topologia di partenza.


– La SOM classifica bene pattern topologicamente ben distribuiti, ma si trova in maggiore difficolta' nel caso di ditribuzioni non lineari.

– E’ evidente l'importanza della configurazione iniziale dei pesi, che deve essere il piu' possibile simile alla topologia di input.

Documents

RETI NEURALI - 2