View
1.450
Download
3
Category
Preview:
Citation preview
NIELINIOWE SIECI
NUERONOWE
W czym tkwi problem…
Rodzaje sieci neuronowych nieliniowych
•Sieć typu MLP•Sieć typu RBF•Sieć typu PNN•Sieć Kohonena
Sieć typu MLP
Powstanie• Frank Rosenblatt 1958„Principles of neurodynamics: Perceptrons and the theory of brain mechanisms”• Minsky i Papert The Perceptrons, 1969
Źródło: http://www.ieee.org/about/awards/bios/rosenblatt_recipients.html http://www.ieee.org/about/awards/bios/rosenblatt_recipients.html http://www.computerhistory.org/fellowawards/hall/bios/Marvin,Minsky/
Charakterystyka sieci
• Posiada minimum 3 warstwy• Wejściowa• Ukryta• Wyjściowa
• Połączenia występują tylko z neuronami z sąsiednich warstw• Ilość neuronów jest dowolna
Charakterystyka sieci• Uniwersalny aproksymator
Źródło: ssi.dug.net.pl/dydaktyka/5_semestr/sztuczna.../ai_ssn_w3.ppt
Proces uczenia• Algorytm wstecznej propagacji błędów• Algorytm gradientów sprzężonych• Algorytm pseudoinwersji• Algorytm próbkowania• Algorytm K-średnich• Algorytm K-najbliższych sąsiadów
Wykorzystanie
• Analiza obrazów• Modelowanie procesów• Klasyfikacja• Sterowanie jakością (np. mas formerskich)• Prognozowanie (np. ciśnień podziemnego
magazynu gazu)
Sieć typu RBF
Powstanie
Dave Broomhead i David Lowe(1988), a następnie uzupełniona przez Johna Moody’ego i Christiana Darkina w 1989 roku
Źródło: http://www.cs.ubc.ca/~lowe/
Budowa
Żródło:http://smp.if.uj.edu.pl/~kopiec/prace/referat.pdf
Właściwości sieci
• Składa się z trzech warstw• Warstwa ukryta składa się z neuronów
wzbudzanych przy pomocy radialnej funkcji bazowej, a nie liniowej kombinacji sygnałów wejściowych i wag
• Jest to sieć ontogeniczna - podczas procesu nauki modyfikujemy architekturę sieci
Uczenie sieci
• Dwa etapy• etap doborów centrów(c) oraz
odchyleń(współczynników wygładzania) neuronów radialnych;• doboru odpowiednich wag dla
neuronów warstwy wyjściowej (optymalizacja warstwy wyjściowej)
Uczenie sieci
•Metody do wyznaczania centrów• Próbkowanie powtórne• Algorytm k-średnich
•Metody pozwalające nam określić odchylenia neuronów radialnych• Definiowane przez użytkownika• Przydział metodą k-najbliższych kwadratów• Równomierny podział odchyleń
Zastosowanie sieci RBF
• Rozwiązywanie problemów klasyfikacyjnych
• W wielu aspektach przetwarzanie i rozpoznawanie wielu wzorców
• Odtworzenie trójwymiarowej struktury obiektów
Sieci regresyjne PNN
Powstanie sieci
• D. F. Specht (1990/1991) „Probablistic Neural Network”
PNN - Rozbudowana sieć RBF o ukrytą jednostkę centralną zwaną jądrem w każdym przypadku szkoleniowym i jest zazwyczaj fukcją gęstości prawdopodobieństwa podobnie jak funkcja Gaussowska
Właściwości sieci
• Sieć PNN jest przedewszystkim klasyfikatorem• PNN reprezentuje metodę statystyczną
tzw. dyskryminację jdrową, przestawioną w postaci czterech warstw:
– Warstwa wejściowa– Warstwa wzorców– Warstwa sumowania– Warstwa wyjściowa
Uczenie sieci PNN
• Zbiór uczący powinien być reprezentatywny dla analizowanych populacji• Dodawanie i usuwanie przykładów
uczących powoduje jedynie dodawanie i usuwanie neuronów w warstwie drugiej• Uczenie bazuje głównie na doborze
wartości współczynników dyspersji •Na bazie wiedzy o analizowanym problemie•Używając technik heurystycznych (np. leave-one-out)
Wady i zalety
• ZALETY:• Szybki proces
uczenia• Dodawanie i
usuwanie nowych przypadków bez dużych zmian w uczeniu
• WADY:• Duże wymagania co
do pamięci • Wolne działanie
sieci• Duże wymagania
dotyczące jakości danych uczących
• Mniejsze zdolności uogólniające w porównaniu z sieciami wielowarstwowymi
Sieć Kohonena
Powstanie
• Teuvo Kohonen (1981)
• Emerytowany profesor Amademii Fińskiej
• Twórca ponad 300 publikacji oraz 4 książek w tym trzecie wydanie „Sieci samoorganizujące się”
• Od roku 1960 przedstawił wiele fundamentalnych koncepcji na temat sieci nauronowych
Źródło: http://www.scholarpedia.org/article/User:Kohonen
Charakterystyka sieci
• występuje w niej współczynnik konkurencji• uczy się bez nadzoru• służy do analizy danych i rozpoznawania nowych danych• Budowa zbliżona do ludzkiego mózgu
Topologia sieci
Źródło: http://kik.pcz.pl/nn/samoorg.php?art=3
Architektura sieci• Jedne nauron niewiele znaczy• Połączenie neuronów w grupę daje możliwość
prowadzenia skomplikowanych operacji• Najczęściej stosuje się schemat sieci
jednowarstwowej jednokierunkowej
Żródło: http://zsi.tech.us.edu.pl/~anowak/files/som.pdf
Wykorzystanie sieci Kohonena
• Analiza danych i kojarzenie podobnych klas danych• Wykrywanie nowości w danych
uczących i reagowanie na nie
Uczenie siecisamouczenie
Uczenie siecisamouczenie
Uczenie siecisamouczenie
Uczenie siecibardzo duży współczynnik uczenia
Uczenie siecibardzo duży współczynnik uczenia
Uczenie siecimały współczynnik uczenia
Uczenie siecimały współczynnik uczenia (stan po pewnym czasie nauki)
Uczenie siecidlugie uczenie = nie przyjmowanie nowości
Uczenie siecijak to działa…
Źródło: http://home.agh.edu.pl/~asior/stud/doc/Kohonen_09.pdf
DZIĘKUJĘ ZA UWAGĘ
Literatura i źródła• http://home.agh.edu.pl/~asior/stud/doc/Kohonen_09.pdf,
20/10/2010• www.is.umk.pl/~duch/Wyklady/NN-CI/CI-b.ppt, 20/10/2010• http://smp.if.uj.edu.pl/~kopiec/prace/referat.pdf, 20/10/2010• http://www.statsoft.pl/textbook/stneunet.html, 20/10/2010• P. Boniecki, Elementy modelowania neuronowego w
rolnictwie, Poznań 2008, s. 54-55• http://www.statsoft.pl/czytelnia/neuron/pwersnn.html,
28/05/2010• http://www.kik.pcz.czest.pl/nn/samoorg.php?art=2,
28/05/2010• http://
www.faqs.org/faqs/ai-faq/neural-nets/part2/section-20.html, 20/10/2010
Recommended