View
48
Download
1
Category
Preview:
DESCRIPTION
Symulacje Ludzkiej Pamięci. Włodzisław Duch Katedra Metod Komputerowych, Uniwersytet Mikołaja Kopernika, Grudziądzka 5, 87-100 Toruń. WWW: http://www.phys.uni.torun.pl/~duch. Fizyka i s ieci neuronowe . Pamięć Najprostsz e model e pami ę ci skojarzeniow ych Sieci atraktorowe - PowerPoint PPT Presentation
Citation preview
Symulacje Ludzkiej Pamięci.
Włodzisław DuchKatedra Metod Komputerowych,Uniwersytet Mikołaja Kopernika,
Grudziądzka 5, 87-100 Toruń.WWW: http://www.phys.uni.torun.pl/~duch
PlanPlan
1. Fizyka i sieci neuronowe.2. Pamięć3. Najprostsze modele pamięci skojarzeniowych4. Sieci atraktorowe5. Pamięć semantyczna6. Pamięć robocza i SMNI 7. Pamięć epizodyczna.8. Model amnezji9. Degeneracja pamięci10. Leabra - symulacje psychologiczne11. Perspektywy modeli neuronowych
Sieci neuronowe i fizykaWielkie wyzwanie fizyki:
stworzenie modelu świata, który da się zrozumieć.
Mózg: najbardziej skomplikowany obiekt w znanym Wszechświecie.Działanie mózgu mogą wyjaśnić tylko modele, na wielu poziomach, od molekuł do globalnych stanów dynamicznych.
Mózg jest zbyt ważny, by zostawić go neurofizjologom. Neurofizyka i neuroinformatyka; Cognitive computational neurosciences.Institute for Theoretical Neurophysics, Uni Bremen
Sieci neuronowe1938 N. Rashevsky, neurodynamika - sieci neuronowe
jako układy dynamiczne, sieci rekurencyjne.
1943 W. McCulloch, W. Pitts, sieci neuronowe=układy logiczne
1958 F. Rosenblatt, perceptron, sieć jako funkcja; MLP, RBF, 1986 wsteczna propagacja błędów; liczne zastosowania.
1973 Chr. von der Malsburg, samoorganizacja w mózgu;1982 Kohonen, Self-Organized Mapping
Impulsujące szczegółowe modele neuronówModele stochastyczne; sieci bezwagowe ...
Model HopfieldaWektor potencjałów wejściowych V(0)=Vini , czyli wejście = wyjście.
Dynamika (iteracje) sieć Hopfielda osiąga stany stacjonarne = odpowiedzi sieci (wektory aktywacji elementów) na zadane pytanie Vini (autoasocjacja). t - czas dyskretny (numer iteracji).Stany stacjonarne = atraktory punktowe.
1 sgn 1 sgni i ij j jj
V t I t W V
1 gdzie sgn lub V t f W V t f
Reguła Hebba„Kiedy akson komórki A jest dostatecznie blisko by pobudzić komórkę B i wielokrotnie w sposób trwały bierze udział w jej pobudzaniu, procesy wzrostu lub zmian metabolicznych zachodzą w obu komórkach tak, że sprawność neuronu A jako jednej z komórek pobudzających B, wzrasta.”
D. O. Hebb, 1949
Na poziomie molekularnym:
LTP - Long Term Potentiation
LTD - Long Term Depression
E. Kandel, Nobel 2000
PamięćZe względu na czas trwania: 1. LTM - pamięć długotrwała - lata. Kora + hipokamp. 2. Pamięć krótkotrwała (STM), robocza (WM), operacyjna - sekundy
do minut, przy ciągłym odświeżaniu godzin; aktualizuje kombinacje stanów LTM. Stan dynamiczny mózgu.
3. Pamięć natychmiastowa, ikonograficzna, pętla fonologiczna - od ułamków do kilku sekund. Lokalny stan dynamiczny.
Ze względu na rodzaje pamięci.1. Pamięć rozpoznawcza (recognition memory) - już to widziałem,
choć nie mogłem sobie przypomnieć (kora śród- i około-węchowa). 2. Pamięć opisowa (deklaratywna): epizodyczna i semantyczna. 3. Pamięć nieopisowa (niedeklaratywna): proceduralna, odruchów
warunkowych (gotowości reakcji, dyspozycyjności), habituacja-sentetyzacja (nieasocjacyjna) oraz torowanie (priming).
4. Pamięć jawna (świadoma, explicit) i utajona (nieświadoma, implicit).
5. Pamięć emocjonalna - często utajona, ale dzięki połączeniom hipokamp-kora przejściowa-ciało migdałowate bywa jawna.
BCM: pamięć autoasocjacyjna
110000
010001
1 1 0 0 0 0
1 1 0 0 0 1
0 0 0 0 0 0
0 0 0 0 0 0
0 0 0 0 0 0
0 1 0 0 0 1
Pamięć rozpoznawcza.
Niższy próg - rozpoznawanie błędnych wektorów.
X W X
Binarne synapsy - możliwe biologicznie! Resorpcja kolców dendrytycznych.
BAM, Bidirectional Associative Memory - heteroasocjacja.
W - macierz połączeń synaptycznych.
- próg pobudzenia
Cechy modelu BCM1. Zdolność do rozpoznawania uszkodzonych wzorców –
adresowalność kontekstowa. 2. Czas nie zależy od liczby zapamiętanych wzorców. 3. Uszkodzenie części macierzy połączeń nie prowadzi do
zapomnienia konkretnych wzorców - brak lokalizacji. 4. Interferencja (mylenie się) dla podobnych wzorców jest
częstsza niż dla wzorców odmiennych. 5. Przepełnienie pamięci (macierzy wag) prowadzi do
chaotycznego zachowania.
Wniosek: najprostsze systemy rozproszone wykazują cechy typowej pamięci skojarzeniowej.
Pamięć i atraktoryZa pamięć biologiczną odpowiedzialne są sieci atraktorowe.Modele wyrastające z sieci Hopfielda - tylko atraktory punktowe, zbyt proste.DMS, Delayed Match to Sample - małpa musi nauczyć się sekwencji wielu obrazów; w fazie testu po krótkiej prezentacji jednego obrazu i przerwie rzędu 30 s ma pokazać sekwencję kilku obrazów.
Wysoka aktywność (20 Hz) neuronów IT i PF do 30 s po prezentacji, pomiary z wielu elektrod.Korelacje czasowe przechodzą w korelacje aktywności. Model Amita pozwala odtworzyć krzywą korelacji.
• D. Amit, N. Brunel, S. Fusi, 1993-2000, teoria i symulacje
Spoczynkowa aktywność neuronów (1-5 impulsów/s) Ok. 10.000 impulsów/s dochodzi do neuronu w pobliżu progu.
1. Stabilna sieć z aktywnością spoczynkową: globalny atraktor.2. Uczenie się przez tworzenie nowych atraktorów.
Założenia ogólne:• Aktywność tła ma charakter stochastyczny.• Jednorodność: neurony w identycznym środowisku. • Wystarczy aktywność neuronu = liczbie impulsów na sekundę. • Spontaniczna aktywność różnych neuronów nie jest skorelowana. • Aktywacja neuronu jest sumą wkładów synaptycznych. • Gaussowski rozkład wkładów synaptycznych.
Model Amita
Schemat kolumnySchemat kolumnySieć kolumn (ok. 1 mm2), każda 105 neuronów = 103 mikrokolumn.Połączenia: populacje pobudzające i hamujące (bez adaptacji) wewnątrz modułu, pobudzające dochodzące z zewnątrz (komórki piramidowe).50-80% impulsów z lokalnych obwodów pobudzających. Ok. 20% jednostek hamujących; 104 synaps E i 2000 synaps I na neuron.
Działanie sieciDziałanie sieciSprawności synaptyczne: tylko LTP i LTD, ok. 5x słabsze. Depolaryzacja membrany V(t) o 10ms opisana jest równaniem:
( )( ) ( ) ( ); ( ) ki i i i ij j ij
i j k
V t V t I t I t W t t d
Wyniki symulacji programem SpikeNet, 2000-400.000 neuronów. Uczenie: początkowo moduł biorący udział w rozpoznawaniu zwiększa w nieselektywny sposób częstość impulsacji dla wszystkich sygnałów.Powyżej krytycznej wartości wzmocnienia LTP pojawiają się lokalne atraktory na tle globalnej aktywności - struktura sygnału uczącego. Etap 1: komórki mikrokolumn reagują na nauczone bodźce.Etap 2: aktywność spoczynkowa rośnie do około 20 Hz, utrzymuje się po zniknięciu bodźca - aktywna reprezentacja bodźca w pamięci. Pobudzenia wewnętrzne silniejsze niż zewnętrzne, utrzymują spontaniczną aktywność, modelowane przez rozkład Poissona. Etap 3: powstają korelacje pomiędzy mikrokolumnami.Implementacja VLSI - gotowa.
Pamięć semantycznaJak z epizodów tworzy się pamięć semantyczna? Model McClleland-Naughton-O’Reilly (1995).Uczenie synaptyczne, powstawanie reprezentacji wewnętrznych.
Relacje pomiędzy wektorami pobudzeń dla słów da się zinterpretować w przestrzeni ok. 300-wymiarowej.Porównanie rezultatów eksperymentów mierzących szybkość skojarzeń i wektorów w przestrzeni cech na obrazach MDS.Semantyka - oparta na relacjach podobieństwa.
Pamięć roboczaPamięć aktywna, dynamiczna, jej zawartość to treść świadomości.Czas trwania rzędu sekund, pojemność 7±2 obiekty (Miller 1956). Testy: głównie nieskorelowane słowa/liczby/symbole.
Porcjowanie: grupowanie prostszych obiektów w obiekty wyższego rzędu, mechanizm uczenia „divide and conquer”, pozwala pamiętać więcej pomimo ograniczeń STM.Dla obiektów wzrokowych STM mieści tylko 4±2 obiekty - np. chińskie znaki jeśli ktoś nie zna chińskiego.
Jak WM wiąże się z aktywnością EEG? Jak uzasadnić magiczną liczbę 7?
SMNILester Ingber, od 1983 r, SMNI, Statistical Mechanics of Neocortical Interactions (Phys. Rev. A & E).
Teoria statystyczna, uśrednianie po mikro i minikolumnach. Mikrokolumy 110 neuronów; kolumny 105- 106 neuronów. Mezoskopowy nieliniowy Lagrangian określa rozkład p. impulsacji w mikrokolumnie po oddziaływaniu z neuronami kolumny, uwzględniając oddziaływania międzykolumowe (neurony piramidowe) i szum synaptyczny.
Ewolucja parametrów modelu (sprawności synaptyczne, progi pobudzeń, częstości impulsacji n. hamujących i pobudzających) symulowana jest (PATHINT) metodą całkowania po trajektoriach a parametry dopasowane za pomocą Adaptive Simmulated Annealing.
Rezultaty SMNIPierwsze oszacowania pojemności STM w 1984 roku. Atraktory STM: warunkowe rozkłady prawdopodobieństwa pobudzeń kolumn kory. Czas =10 ms.Lokalne oddziaływania minikolumn - czasy rzędu 5 wystarczą do silnych interferencji atraktorów. Konieczne są oddziaływania długozasięgowe i „odświeżanie” falami 40 Hz: naiwne oszacowanie: 25 ms/3.5ms7. Reguła 7±2 i 4±2 - różnica wynika z l. neuronów/mikroklumnę. Większość kory - 110 n/mikrokolumna; kora wzrokowa ma 220. Efekt najlepszego pamiętania początku i końca listy, najsłabiej w środku - statystyka atraktorów. Struktura EEG - oscylacje 16 Hz, korelaty WM?
Pamięć epizodyczna
Pamięć trwała jest rezultatem stanów atraktorowych minikolumn kory mózgu, zapisana jest w synapsach w sposób rozproszony.Pamięć epizodyczna - odtworzenie stanu mózgu w momencie epizodu.
Układ neuromodulacji reguluje plastyczność hipokampa i kory.
Pamięć średnioterminowa zapisana jest w sieciach hipokampa, jako wskaźniki do kolumn kory (?)
Powstawanie trwałej pamięci
Amnezja wsteczna
Główna przyczyna: utrata łączy do kory.
Objawy: gradienty Ribota czyli im starsze wspomnienia tym lepiej pamiętane.
Amnezja następcza
Główna przyczyna: uszkodzenie systemu neuromodulacji. Wtórnie: utrata łączy z korą.
Objawy:Brak możliwości zapamiętania nowych faktów.
Amnezja semantycznaGłówna przyczyna: uszkodzenie łączy wewnątrzkorowych. Objawy: Trudności w znajdowaniu słów, rozumieniu, zapamiętanie nowych faktów wymaga ciągłego powtarzania.
SymulacjeMurre, Meeter (w trakcie): uszkodzenie łączy wewnątrzkorowych. 200 kolumn korowych; 42 kolumny hipokampa; neuromodulacja wpływa na parametry, ale nie jest explicite uwzględniana.Połączenia wewnątrz i pomiędzy neuronami - bez ograniczeń.Binarne neurony stochastyczne, p. wysłania impulsu zależy od pobudzeń i hamowania, szybkiego (wymuszone I) i powolnego (spontaniczne I).Uczenie Hebbowskie (Singer 1990), szybkość uczenia w korze mała. Nakrywanie wzorców: spore w hipokampie, niewielkie w korze.
Symulacje normalnego uczenia i przypominania: akwizycja - szybkie uczenie, hipokamp. konsolidacja - powolne korowe, spontaniczne przypominanie;testowanie - częściowe wektory, ile kolumn prawidłowo pobudzonych? Potęgowe prawo zapominania, w wyniku interferencji nowych faktów.Gradienty Ribota i amnezja wsteczna; zanik RA, chwilowa amnezja globalna (TGA) w wyniku zaniku aktywności w hipokampie; AA i jej korelacje z RA; izolowana RA, pamięć utajona, poziomy analizy ...
Degeneracja pamięciDegeneracja pamięci, np. w chorobie Alzheimera, może być związana z utratą słabych synaps. Jak wpłynie taka utrata na pojemność pamięci?
Odpowiedzi - na razie tylko w oparciu o modele Hopfielda.Kompensacja - pozostałe synapsy mogą się zaadoptować do nowej sytuacji. Jaka kompensacja jest najlepsza?
11
n oij ij
dkW Wd
d - stopień uszkodzeniak=k(d) funkcja kompensacji
Silne synapsy ulegają dalszemu wzmocnieniu.Samo d nie świadczy jeszcze o stopniu uszkodzenia pamięci.
KompensacjaKompensacja
Poprawne odpowiedzi Poprawne odpowiedzi jako funkcja ułamka jako funkcja ułamka usuniętych połączeń usuniętych połączeń bez i z kompensacją.bez i z kompensacją.
Zmiana wielkości Zmiana wielkości basenów atrakcji w basenów atrakcji w wyniku uczenia z wyniku uczenia z kompensacją. kompensacją.
Leabra
Realizm biologiczny. Rozproszone reprezentacje. Konkurencja k-WTA. Dwukierunkowa propagacja aktywacji. Uczenie Hebbowskie. Uczenie redukujące błędy.
Wiele zastosowań do modelowania percepcji, uwagi, pamięci, zjawisk lingwistycznych i myślenia/planowania.
Eksperymenty A-not B
Piaget (1954) - eksperymenty A-not B z niemowlętami i małpami.
E - eksperymentator, N - niemowlę, A, B - miejsca
1. N obserwuje, jak E chowa zabawkę w A, po krótkiej przerwie ją tam znajduje; powtarza się to kilka razy.
2. N obserwuje, jak E chowa zabawkę w B, ale po krótkiej przerwie szuka zabawki nadal w A.
Uczenie faworyzuje A, aktywacja WM (kora prefrontalna) B.Lezje kory prefrontalnej u rezusów i N - silny efekt A-not B.
Konkurencja pomiędzy uczeniem synaptycznym i aktywacjami.Symulacje - Munakata (1998).
Rezonans stochastyczny Synchronizacja impulsów nie jest idealna - czy
wariancja to szum czy ukryty sygnał? W układach sensorycznych (dotyk 1996; wzrok 1997)
czułość wzrasta.
Usher, Feingold (Biological Cybernetics 83, L11-L16,2000) badali czas odpowiedzi na pytania z tabliczki mnożenia. Szum: sekwencja tonów o przypadkowej częstości, 50-90 dB.Wyniki tłumaczy prosty model oparty na modelach neuronów całkujących zaszumione pobudzenia z upływnością (noisy leaky integrator).
Perspektywy
Sieci impulsujące, bliższe temu, co neurofizjolog mierzy.
Modele pamięci obejmujące szerszy zakres zjawisk.
Integracja z modelami układów sensorycznych. Integracja z czynnościami poznawczymi.
Fizyka umysłu?
Recommended