Struktury bezskalowe w rekurencyjnych sieciach neuronowych · Sieci neuronowe Model przepływowy Podsumowanie Bibliograﬁa Grafy losowe, model Erd˝os’a-R ´enyi Model Small World

Spis treściWstęp

Sieci neuronoweModel przepływowy

PodsumowanieBibliografia

Struktury bezskalowe w rekurencyjnych sieciachneuronowych

Filip Piękniewski

Wydział Matematyki i InformatykiUMK

Prezentacja na Seminarium Probabilistyczne KTPiAS dostępna nahttp://www.mat.uni.torun.pl/~philip/sem_2007.pdf

6 grudnia 2007

Filip Piękniewski Struktury bezskalowe w rekurencyjnych sieciach neuronowych

http://www.mat.uni.torun.pl/~philip/sem_2007.pdf

Spis treściWstęp



1 WstępGrafy losowe, model Erdos’a-RenyiModel Small World Network (Watts-Strogatz)Sieci bezskalowe, model Barabasi-AlbertRozkład Pareto

2 Sieci neuronowePerceptronSieci Feed Forward NetworkSieci rekurencyjneModel HopfieldaSieci impulsująceDynamiczne sieci impulsująceModel Eugene Izhikevicha

3 Model przepływowyGrafy przepływu impulsówModel matematyczny i dowód bezskalowościWarianty modelu przepływowegoWyniki numeryczneBezskalosowść w sieciach dynamicznych?

4 PodsumowanieCo dalej?Podsumowanie


Spis treściWstęp



Grafy losowe, model Erdos’a-RenyiModel Small World Network (Watts-Strogatz)Sieci bezskalowe, model Barabasi-AlbertRozkład Pareto

Grafy losowe, model Erdos’a-Renyi

Ciekawym z punktu widzenia informatyki jest to jak wyglądaprzeciętny graf?

Sformułowanie to wymaga określenia czym jest ”przeciętny”graf!

Oznacza to zdefiniowanie przestrzeni probabilistycznej, którejelementami będą grafy, oraz zadania pewnej miary na tejprzestrzeni.

Jak to zrobić?


Spis treściWstęp





Łatwo zdefiniować przestrzeń wszystkich grafów nwierzchołkowych i zadać na niej miarę jednostajną (osobnąkwestią jest problem losowania z tego rozkładu)

Wszystkich grafów jest jednak nieskończenie wiele, podobniejak liczb rzeczywistych, nie da się zatem zadawać na nichmiary poprzez przypisanie każdemu grafowi skończonegoprawdopodobieństwa...

Możliwe są inne podejścia do stworzenia modelu grafulosowego, każdy jednak model może być inny bo...

... do końca nie wiemy czym jest graf losowy...


Spis treściWstęp





Podstawowym modelem grafu losowego był od lat modelErdos’a-Renyi[Erdos and Renyi(1959), Erdos and Renyi(1960)]Zakłada on następującą drogę wylosowania grafu:

Ustalamy pewną liczbą p ∈ (0, 1), wybieramy liczbą naturalnąn (losowo)Pomiędzy każdą z n2 par wierzchołków dodajemy krawędźprawdopodobieństwem p

Model E-R jest przyzwoicie losowy, a jednocześnie na tyleprosty, iż dało się go łatwo zbadać


Spis treściWstęp





Łatwo sprawdzić, iż histogram stopni wierzchołków w modeluE-R ma rozkład dwumianowy:

P(deg(v) = k) =

(nk

)pk(1− p)n−k (1)

który zbiega do rozkładu Poissona przy n→∞Warto też odnotować przejścia fazowe w grafach E-R. Dlap < (1−ε) ln n

n graf prawie na pewno nie będzie spójny.

Natomiast dla p > (1−ε) ln nn praktycznie z pewnością będzie

spójny.


Spis treściWstęp




Model E-R ma jednak pewne wady które powodują, że nienadaje się do symulowania grafów empirycznych

Po pierwsze, grafy E-R nie przejawiają struktury lokalnej, nieposiadają dobrze zdefiniowanych ośrodków i skupisk

Grafy empiryczne nie przejawiają rozkładu dwumianowego whistogramach stopni wierzchołków...


Spis treściWstęp




Model Small World Network (Watts-Strogatz)

Grafy empiryczne mają często dość dziwne cechy. Pomimo iżznaczna większość połączeń jest lokalnych (graf dziedziczypewną strukturę odległości), to średnia długość drogi liczonaw ilości krawędzi między dowolną parą wierzchołków jestbardzo niewielka, znacznie mniejsza niż w pełni lokalnymgrafie

Własność ta została zaobserwowana przez socjologów wstrukturze znajomości w społeczeństwie ludzkim, nosi nazwęfenomenu sześciu uścisków dłoni

Okazuje się, że przeciętnie pomiędzy dowolnymi dwomaosobami na świecie istnieje łańcuch sześciu osób któreuścisnęły sobie dłonie


Spis treściWstęp





W 1998 roku Watts i Strogatz [Watts and Strogatz(1998)]zauważyli, iż pewien bardzo prosty proces losowy prowadzi dopowstania dobrze zlokalizowanych sieci z niewielką średniąodległością między wierzchołkamiModel sprowadza się do następującego algorytmu:

Zacznij od zlokalizowanej sieci, np. kraty lub pierścienia wktórym każdy wierzchołek połączony jest z kilkomanajbliższymi sąsiadamiNastępnie losowo pozamieniaj wierzchołki startowe pewnejilości krawędzi

Jak się okazuje, wystarczy zaingerować w kilka procentkrawędzi, aby średnia odległość dramatycznie spadła


Spis treściWstęp





Rysunek: Od grafu zlokalizowanego (po lewo) do grafu losowego (prawo).Sieci małego świata są blisko grafów lokalnych, jednak niewielka ilośćlosowych połączeń istotnie skraca średnią drogę między wierzchołkami.


Spis treściWstęp




Sieci bezskalowe, model Barabasi-Albert

Model W-S interpoluje między grafami z lokalną strukturąpołączeń a losowymi grafami E-R

Wiele grafów empirycznych, pozornie losowych jest raczejbliżej grafów zlokalizowanych niż E-R

Sama lokalność i niewielka średnia odległość to jednak niewszystko

Wiele empirycznych grafów posiada bardzo specyficznyrozkład stopni wierzchołków, nie przypominający rozkładudwumianowego


Spis treściWstęp





2 4 6 8 10 12 14

0.05

0.10

0.15

0.20

0.25

0.30

0.35

Rysunek: Rozkład stopni wierzchołków spotykany w grafachempirycznych (niebieski) oraz ten spodziewany w dużych grafachlosowych w sensie Erdos’a-Renyi (różowy)


Spis treściWstęp





10.05.02.0 3.01.5 15.07.0

0.001

0.01

0.1

1

Rysunek: Rozkład stopni wierzchołków spotykany w grafachempirycznych (niebieski) oraz ten spodziewany w dużych grafachlosowych w sensie Erdos’a-Renyi (różowy), wykres logarytmiczny.


Spis treściWstęp





Grafy empiryczne okazują się posiadać rozkład stopniwierzchołków raczej przypominający rozkład Pareto, czyli≈ k−γ dla pewnego γ > 2.

Właściwość ta, nosi nazwę bezskalowości, gdyż zarówno małejak i duże grafy tego typu parametryzują się za pomocąpewnego γ. Oznacza to, że rozkład stopni wierzchołkówzasadniczo nie różni się dla małych i dla dużych instancji.

Skoro tak, to oznacza, iż istnieje pewien proces przyrostu,który z małego grafu bezskalowego tworzy duży, jednocześniezachowując parametr prawa potęgowego.

Przez ładnych parę lat nie było wiadomo co to za mechanizm.


Spis treściWstęp





W roku 1999 Albert-Laszló Barabasi oraz Reka Albertzaproponowali model [Barabasi and Albert(1999)], który wnaturalny sposób produkuje sieć bezskalową.Od czasu tej publikacji posypała się lawina prac z analizamirozmaitych grafów, w których obserwuje się strukturębezskalową:

WWW [Albert et al.(1999)Albert, Jeong, and Barabasi],Sieć kolaboracji naukowej[Barabasi et al.(2002)Barabasi, Jeong, Neda, Ravasz, Schubert, and Vicsek],Sieć cytowań [Redner(1998)],Sieci ekologiczne [Montoya and V.(2002)],Sieci lingwistyczne [i Cancho and Sole(2001)]Sieci metabolizmu[Jeong et al.(2000)Jeong, Tombor, Albert, Oltvai, and Barabasi]I wiele innych [Albert and Barabasi(2002b)].


Spis treściWstęp





Model B-A jest bardzo prosty:Załóżmy, że mamy już pewien graf bezskalowy (na początkujeden wierzchołek)Dodajemy nowy wierzchołek i łączymy go z już obecnymi wten sposób, iż preferowane są te wierzchołki które wpoprzednim grafie miały wysokie stopnie. Losujemy zatempewną ilość wierzchołków z którymi nowy zostanie połączony,z rozkładu proporcjonalnego do obecnego histogramu stopniwierzchołków.

Można pokazać, że taki model zbiega do grafu bezskalowego zγ = 3


Spis treściWstęp





Sieci bezskalowe mają dość ciekawe cechy:

Istnieje niewielka ilość węzłów o wysokich stopniach (hubów)oraz cała masa węzłów o niskich stopniach

Są dobrze sklasteryzowane, zatem istnieje pewna strukturalokalna

Przejawiają cechy sieci małego świata, ze względu na istnieniehubów, średnia droga między wierzchołkami jest bardzoniewielka

Podobnie jak w życiu, gdy masz dużo łatwo ci zdobyć więcej.Gdy twoja praca jest już cytowana, łatwiej zdobyć dalszecytowania...


Spis treściWstęp





Rysunek: Grafy: losowy E-R, małego świata W-S, bezskalowy B-A. Wprzypadku tego ostatniego rzuca się w oczy wezeł skupiający wielepołączeń, i spora liczba dość osamotnionych węzłów.


Spis treściWstęp





Rysunek: Większa sięć losowa (lewo) i bezskalowa (prawo).


Spis treściWstęp




Rozkład Pareto

Rozkłady bezskalowe (γ = k + 1)to tak zwane rozkładyPareto o następujących własnościach:

P(X > x) =

(x

xm

)−k(2)

gęstości

f (x , k, xm) = kxkm

xk+1 (3)

Wartości oczekiwanej

E (X ) =kxm

k − 1(4)


Spis treściWstęp




Rozkład Pareto


P(X > x) =

(x

xm

)−k(2)

gęstości


xk+1 (3)


E (X ) =kxm

k − 1(4)


Spis treściWstęp




Rozkład Pareto


P(X > x) =

(x

xm

)−k(2)

gęstości


xk+1 (3)


E (X ) =kxm

k − 1(4)


Spis treściWstęp




Rozkład Pareto


P(X > x) =

(x

xm

)−k(2)

gęstości


xk+1 (3)


E (X ) =kxm

k − 1(4)


Spis treściWstęp




Rozkład Pareto

1.0 1.5 2.0 2.5 3.0 3.5 4.0

0.5

1.0

1.5

2.0

2.5

3.0

Rysunek: Rozkład Pareto dla k = 1, 2, 3.


Spis treściWstęp



PerceptronSieci Feed Forward NetworkSieci rekurencyjneModel HopfieldaSieci impulsująceDynamiczne sieci impulsująceModel Eugene Izhikevicha

Sieci Neuronowe

Sieci neuronowe to dział informatyki rozwijający się od lat 50nieco z boku głównego nurtu

W dziedzinie tej istnieją dwa równoważne cele badawcze:zrozumieć w jaki sposób układy nerwowe zwierząt i człowiekaprowadzą obliczenia oraz jak tą samą funkcjonalność przenieśćna maszynę Turinga.

Inspiracją wielu koncepcji w sieciach neuronowych sąnierzadko brutalnie uproszczone modele działania neuronów.Często nawet jeśli model pojedynczej jednostki jest bardzoprosty, układ wielu takich jednostek posiada ciekawemożliwości.


Spis treściWstęp




Sieci Neuronowe

Z początku sieci neuronowe rozwijały się dość wolno, modeleneuronu przypominały nieco bramki logiczne, wydawało sięjednak, iż uzyskanie ”ludzkiej” inteligencji na komputerze jestna wyciągnięcie ręki... później badania przyspieszyły zaśentuzjazm opadł...

W latach 70 i 80 XX wieku, w czasie burzliwego rozwojuinformatyki wokół sieci neuronowych pojawiły się działy takiejak machine learning, fuzzy logic, data mining. Dzisiaj możnacałą tą dziedzinę nazwać soft computing.

W pobliżu sieci neuronowych pojawiła się nowa dziedzinaneuroscience, która za przedmiot swoich badań objęła neuronybiologiczne


Spis treściWstęp




Neurony

Biologiczne neurony pomimo mikroskopijnych rozmiarów sąskomplikowanymi urządzeniami elektrochemicznymi.

Każde przekazanie sygnału elektrochemicznego wiąże się zfalą skomplikowanych przemian błony komórkowej.

W każdym punkcie błony przemiany te są opisywaneskomplikowanym równaniem różniczkowym Hodgkina-Huxleya [Hodgkin and Huxley(1952)].

W największym uproszczeniu można przyjąć, iż neuronprzyjmuje sygnały z dendrytów i sumuje je. Jeśli zsumowanysygnał przekroczy pewien próg, neuron wzbudza się, wysyłającsygnał dalej. To brutalne uproszczenie stało się podstawądziałania perceptronu.


Spis treściWstęp




Neurony

Równania Hodkina-Huxleya:

CmdVdt

= −gL(V − VL)− gNam3h(V − VNa)− gKn4(V − VK )

dmdt

= αm(V )(1−m)− βm(V )m

dhdt

= αh(V )(1− h)− βh(V )h

dndt

= αn(V )(1− n)− βn(V )n


Spis treściWstęp




50 100 150 200time

-20

20

40

60

80

100

120Vm

membrane voltage versus time

Rysunek: Przykładowy przebieg zmian potencjału na membranieneuronowej w odpowiedzi na sygnał 6.2 milivolta


Spis treściWstęp




50 100 150 200time

10

20

30

gNa

sodium channel conductance versus time

Rysunek: Przykładowy przebieg zmian przewodnictwa jonów sodu namembranie neuronowej w odpowiedzi na sygnał 6.2 milivolta


Spis treściWstęp




50 100 150 200time

-5

5

10

15gK

potassium channel conductance versus time

Rysunek: Przykładowy przebieg zmian przewodnictwa jonów potasu namembranie neuronowej w odpowiedzi na sygnał 6.2 milivolta


Spis treściWstęp




Perceptron

Rysunek: Schemat perceptronu, za f można wziąć funkcję progową lubtanh.


Spis treściWstęp




Perceptron

Pojedynczy perceptron potrafi (po odpowiednim dostosowaniuwag), rozwiązywać tak zwane problemy liniowo separowalne.

Działanie tego prostego mechanizmu sprowadza się nawyznaczeniu płaszczyzny w przestrzeni wejśćparametryzowanej wagami i progiem.

Dla punktów wejścia znajdujących się z jednej strony tejpłaszczyzny perceptron zwraca 1 (sygnał wzbudzenia), dlapozostałych -1 (sygnał braku wzbudzenia).

Granice decyzji można nieco ”rozmyć” poprzez zastosowaniesigmoidalnej funkcji aktywacji (zamiast progowej)


Spis treściWstęp




Perceptron

-10 -5 5 10

-1.0

-0.5

0.5

1.0

Rysunek: Funkcja sigmoidalna, w tym przypadku tangens hiperboliczny.


Spis treściWstęp




Perceptron

-10

-5

0

5

10

-10

-5

0

5

10

-1.0

-0.5

0.0

0.5

1.0

Rysunek: Geometryczne przedstawienie zadania realizowanego przezperceptron.


Spis treściWstęp




Sieci Feed Forward Network

Problem liniowo separowalny nie jest niczym ciekawym...

Pojedynczy perceptron nie jest zbyt ”inteligentny”, ale byćmoże siła w ilości?

Okazuje się, że już sieć złożona z trzech warstw perceptronówjest w stanie rozwiązać po odpowiednim doborze wag iprogów dowolny problem klasyfikacji.

Jak jednak dobierać wagi i progi? To zagadnienie nosi nazwę”problemu uczenia” i wymaga zastosowania ”algorytmuuczenia sieci”

Problem w tym, że do połowy lat 70 XX wieku taki algorytmdla MLP (multi layer perceptron) nie był znany...


Spis treściWstęp





...

...

...

Rysunek: Schemat sieci MLP (Multi Layer Perceptron). Informacja w tejsieci biegnie z dołu do góry zawsze w jednym kierunku, stąd ”Feedforward network”.


Spis treściWstęp





Sposobem na rozwiązanie trudnych problemów jest częstowyrażenie ich w terminach optymalizacji.

Dana sieć neuronowa to ostatecznie funkcja zależna odparametrów (wag i progów) która przykładowi przypisujewartość aktywacji.

Zbiór przykładów zawiera także docelowe aktywacje (dlategonazwany jest zbiorem treningowym). Zbiór treningowypowinien być niesprzeczny.

Przez OW (e) oznaczmy aktywację sieci z macierzą wag W(wektor progów θ można uwikłać w macierz W łącząc każdąjednostkę ze sztucznym wejściem stale równym jeden) naprzykładzie e.


Spis treściWstęp




Algorytm wstecznej propagacji

Mając pewien zbiór przykładów (ei , ti ) gdzie ei jest wejściemdo sieci a ti oczekiwanym wyjściem możemy wyrazić problemuczenia sieci w terminach minimalizacji błęduśredniokwadratowego:

E =n∑i=1

||OW (ei )− ti || (5)

Następnie aplikujemy algorytm spadku gradientowego nafunkcji E:

W := W − η[∂E∂wi ,j

]i=1...n,j=1...m

(6)


Spis treściWstęp




Algorytm wstecznej propagacji

Od tej pory cały problem sprowadza się do efektywnego policzeniapochodnej względem wag...W ogólności przy wielu tysiącach zmiennych policzenie gradientujest bardzo trudne i niestabilne numerycznie...Jeśli sieć ma charakter jednokierunkowy, można jednak bardzołatwo wyliczyć pochodną, poprzez proces w którym w odpowiednisposób przesyłamy błąd jako aktywację do tyłuAlgorytm ten nosi nazwę ”algorytmu wstecznej propagacji” i jestbez wątpienia perełkąWsteczną propagację zawdzięczamy Paulowi Werbosowi[Werbos(1974)], który zaproponował tą metodę w swojej pracydoktorskiej w 1974 roku. Algorytm został zapomniany i na nowoodkryty w latach 80 przez Rumelharta, Hintona i Williamsa[Rumelhart et al.(1986)Rumelhart, Hinton, and Williams].


Spis treściWstęp




Sieci rekurencyjne

Uczenie algorytmem wstecznej propagacji o ile w sieci nie mapołączeń zwrotnych (rekurencji)

Jest to duże ograniczenie, gdyż biologiczne sieci są częstoprawie całkowicie rekurencyjne...

Ta stytuacje wymaga trochę innego podejścia, zahaczającegoo mechanikę statystyczną ...


Spis treściWstęp




Sieci rekurencyjne

-1

+1 -1

-1

+1

+1

-1

-1

+1

+1

Rysunek: Przykład sieci w pełni rekurencyjnej. Właściwie trudno nawetokreślić które jednostki są wejściowe a które wyjściowe. Można ustalić, żecała sieć jest wejściem i wyjściem, wtedy wynikiem działania sieci możebyć pewien stan równowagi.


Spis treściWstęp




Sieci rekurencyjne

W roku 1982 J. Hopfield [Hopfield(1982)] zaproponowałprosty model rekurencyjnej sieci neuronowej wraz zeskutecznym algorytmem uczenia opartym o tak zwaną regułęHebba.

Reguła Hebba [Hebb(1949)] była używana już wcześniej w takzwanym uczeniu bez nadzoru

Reguła ta sprowadza się do obserwacji, iż w biologicznychneuronach synapsy często używane do wymiany sygnałów sięrozrastają, te zaś które nie są używane zmniejszają się.

W języku sztucznych sieci neuronowych tłumaczy się to nawzmacnianie połączeń pomiędzy skorelowanymi jednostkami


Spis treściWstęp




Model Hopfielda

Sieć składa się z n jednostek binarnych, każda jednostkaprzyjmuje wartości ze zbioru {−1, 1}Wszystkie jednostki są połączone, wagi w układzie zadajemacierz W = [wi ,j ], zakładamy że wi ,i = 0 oraz wi ,j = wj ,iZ siecią stowarzyszona jest funkcja energetyczna:

E = −12

∑i<j

wi ,jσiσj +∑i

θiσi (7)

Pierwszy czynnik sumy zależy od wewnętrznych interakcjisieci, drugi zwany jest polem zewnętrznym.


Spis treściWstęp




Model Hopfielda

W trakcie swojej ewolucji sieć startuje ze stanu początkowegoa następnie w każdym kroku:

wybieramy losowo jednostkę σiobliczamy pole lokalne dla tej jednostki czyli

Σi =∑j

wj,iσj (8)

Sprawdzamy czy Σi > θi . Jeśli tak, ustawiamy σi = 1, gdyΣi < θi ustawiamy σi = −1, zaś gdy Σi = θi pozostawiamysieć bez zmian.

Powyższa dynamika w wersji asynchronicznej (narazuaktualniamy tylko jedną jednostkę) nigdy nie zwiększaglobalnej energii układu, a zatem zbiega do pewnegominimum.


Spis treściWstęp




Model Hopfielda

Oznaczmy przez σ stan wyjściowy sieci, a przez σ′ stan po dokonaniuzmiany przez dynamikę. Załóżmy, że zmieniony został neuron i :

E(σ′)−E(σ) = −12

∑j

wi ,jσj(σ′i−σi )−θi (σ′i−σi ) ≤ −(σ′i−σi )(Σi−θi ) ≤ 0

(9)Jeśli założymy, że przy Σi = θi nie następuje zmiana sieci, toostatnia nierówność jest ostra. Ponieważ energia jest funkcjąograniczoną, zatem w trakcie dynamiki asynchronicznej osiąganyjest pewne minimum (lokalne). Zatem problem uczenia sieci,sprowadza się do odpowiedniego zaprojektowania krajobrazuenergetycznego...


Spis treściWstęp




Model Hopfielda


E(σ′)−E(σ) = −12

∑j




Spis treściWstęp




Model Hopfielda


E(σ′)−E(σ) = −12

∑j




Spis treściWstęp




Model Hopfielda

Ukształtowanie krajobrazu energetycznego sprowadza się doustalenia macierzy wagZałóżmy, iż chcemy, aby minima energetyczne przypadały wokreślonych konfiguracjach wzorcowych Iµ = {ζµi }sieciUstalmy miarę podobieństwa konfiguracji sieci σ do wzorca µ:

Mµ(σ) =1N

∑i

σiζµi =

1N< σ, Iµ > (10)

Ustalmy funkcję energetyczną jako błąd średniokwadratowyodtwarzania wzorca:

E(σ) =12

N∑µ

(Mµ(σ))2 (11)


Spis treściWstęp




Model Hopfielda

Wtedy:

E(σ) =−12N

∑µ

∑i ,j

σiζµi ζ

µj σj −

12

P ≡ −12N

∑µ

∑i ,j

σiζµi ζ

µj σj (12)

Ustalając:1N

∑µ

ζµi ζµj = wi ,j (13)

Mamy:

E =−12

∑i ,j

σiσjwi ,j (14)

Zatem wagi zdefiniowane regułą Hebba ustalają dobry krajobrazenergetyczny.


Spis treściWstęp




Model Hopfielda

Wtedy:

E(σ) =−12N

∑µ

∑i ,j

σiζµi ζ

µj σj −

12

P ≡ −12N

∑µ

∑i ,j

σiζµi ζ

µj σj (12)

Ustalając:1N

∑µ


Mamy:

E =−12

∑i ,j

σiσjwi ,j (14)



Spis treściWstęp




Model Hopfielda

Wtedy:

E(σ) =−12N

∑µ

∑i ,j

σiζµi ζ

µj σj −

12

P ≡ −12N

∑µ

∑i ,j

σiζµi ζ

µj σj (12)

Ustalając:1N

∑µ


Mamy:

E =−12

∑i ,j

σiσjwi ,j (14)



Spis treściWstęp




Model Hopfielda

Wtedy:

E(σ) =−12N

∑µ

∑i ,j

σiζµi ζ

µj σj −

12

P ≡ −12N

∑µ

∑i ,j

σiζµi ζ

µj σj (12)

Ustalając:1N

∑µ


Mamy:

E =−12

∑i ,j

σiσjwi ,j (14)



Spis treściWstęp




Model Hopfielda

Sieci Hopfielda mają tendencję do popadania w minimalokalne, aby tego uniknąć stosuje się wersję stochastycznądynamiki (maszyna Boltzmanna[Ackley et al.(1985)Ackley, Hinton, and Sejnowski])

Model Hopfielda znajduje zastosowanie w rozpoznawaniuwzorców, a także jako model prostych układów nerwowych dlarobotów, biotów, systemów agentowych

Prawdziwe neurony nie działają w sposób asynchroniczny,faktycznie zaś przesyłają impulsy których przesunięcia czasowemogą mieć istotne znaczenie dla przetwarzanego sygnału.

Dotychczas wymienione modele neuronowe zupełnie ignorująto zjawisko...


Spis treściWstęp




Sieci impulsujące

Trzecią generacją modeli neuronowych są tak zwane sieciimpulsujące (spiking neural network) opisane obszernie w[Gerstner and Kistler(2002)].Zagadnienie sprowadza się do mniej lub bardziej dokładnegomodelowania dynamiki błony komórkowej z uwzględnieniemopóźnień i innych czynników wpływających na impulsyNajprostszą wersją neuronu impulsującego jest tzw. integrateand fire. Neuron całkuje po czasie nadchodzący sygnał, gdycałko osiągnie pewien próg, wysyła własny sygnał, zerujączliczaną całkę (ewentualnie wchodząc w okres refrakcjipoprzez przyjęcie ujemnej wartości całki).Minimalnym ulepszeniem jest model leaky integrate and fire wktórym część zbieranego potencjału umyka


Spis treściWstęp




Dynamiczne sieci impulsujące

Model integrate and fire nie przejawia żadnych oscylacji,tymczasem o neuronach wiadomo, iż ich odpowiedź impulsowanie zależy jedynie od mocy sygnału, ale także od częstotliwościi jej synchronizacji z wewnętrznym rytmem komórki.

Tego typu przekształcenie nie jest realizowalne za pomocąprostego splotu czy podobnych mechanizmów, wymagazastosowania układu równań różniczkowych o odpowiedniobogatej przestrzeni fazowej

Punktem wyjścia może być równanie Hodkina-Huxleya, którepasuje do wyników empirycznych, jednak jest ono dośćskomplikowane i (prawdopodobnie) nadmierniesparametryzowane


Spis treściWstęp





Z pewnością niezbędnym minimum do wygenerowaniaoscylacji jest układ dwóch równań różniczkowych, jednookreślające odpowiednik potencjału membrany, oraz drugiskładnik wolny, odpowiadający przewodności kanałówjonowych

Przestrzenią fazową takie układu jest płaszczyzna, stankomórki zatacza na tej płaszczyźnie cykle

Nadchodzący sygnał wejściowy na bieżąco wpływa natrajektorie układu


Spis treściWstęp





-0.5 0.5 1.0

-1.0

-0.5

0.5

1.0

5 10 15 20

-1.0

-0.5

0.5

1.0

Rysunek: Trajektorie w przestrzeni fazowej pewnego dwu parametrowegoukładu (lewo), wykres zmian poszczególnych parametrów układu (prawo).


Spis treściWstęp





Układy dynamiczne, zależnie od parametrów posiadają pewneulubione częstotliwości wzbudzające i inne wygaszające...

Nawet niewielkie pobudzenie trafiające w neuron wodpowiednim stanie może wywołać silne pobudzenieujawniające się szeregiem impulsów

Silne wzbudzenie trafiające w nieodpowiednim momenciemoże minąć bez echa...


Spis treściWstęp




Model FitzHugh-Nagumo

Równania Hodkina-Huxleya są skomplikowane i mają dużozmiennych. Już w latach 60-tych XX wieku trwały prace nadstworzeniem modelu, który dziedziczyłby większość cechneurodynamiki, a jednocześnie aby był prosty i minimalistycznyPrace te doprowadziły Richarda FitzHugz [FitzHugh(1961),Nagumo et al.(1962)Nagumo, Arimato, and Yoshizawa] doogólnej koncepcji uproszczonego neuronu, dla którego następniezostał podany równoważny układ elektryczny przez Jin-IchiNagumo. Model ten ma ogólną formę:

dVdt

= f (V )− U + I

dUdt

= a(bV − cU)

(15)

gdzie f jest wielomianem trzeciego stopnia, a, b, c są parametramizaś I jest sygnałem wejściowym.


Spis treściWstęp




Model Eugene Izhikevicha

Eksperymentując z modelem FiztHugh-Nagumo w 2003 rokuEugene Izhikevich zaproponował jeszcze bardziej uproszczonymodel [Izhikevich(2003)].Wyraża się on następującym równaniem:

dVdt

= 0.04V 2 + 5V + 140− U + I

dUdt

= a(bV − U)

(16)

Przy czym gdy potencjał V przekroczy 30mV (impuls), całyukład jest resetowany i V := c , U := U + d . Zależnie oddoboru parametrów a,b,c,d układ przejawia wszystkie znanerodzaje aktywności neuronowej.


Spis treściWstęp




Model Eugene Izhikevicha

0 100 200 300 400 500 600 700 800 900 10000

50

100

150

200

250

300

350

400

450

500

550

600

650

700

750

800

850

900

950

1000

Rysunek: Wykres aktywności 1000 losowo połączonych jednostekIzhikevicha. Widać fazy globalnej synchronizacji. Tego typusynchronizacje są źródłem fal mózgowych.


Spis treściWstęp



Grafy przepływu impulsówModel matematyczny i dowód bezskalowościWarianty modelu przepływowegoWyniki numeryczneBezskalosowść w sieciach dynamicznych?

Model przepływowy

Jak dotychczas dwie dziedziny - grafy losowe oraz sieci neuronowerozwijały się niezależnieW 2005 roku wraz z Tomaszem Schreiberem postanowiliśmyrozpocząć projekt który związałby ze sobą te dwie dziedzinyNasze intuicje kierowały nas na sieci bezskalowe, gdyż mnogośćich występowania w naturze sugeruje iż są ważnym pojęciemDotychczasowe badania empiryczne biologicznych siecineuronowych nie wykazywały struktury bezskalowej wpołączeniach[Amaral et al.(2000)Amaral, Scala, Barthelemy, and Stanley,Koch and Laurent(1999)]Postanowiliśmy zbadać dlaczego, a jednocześnie zaprezentowaćmodele Hopfieldo podobne, w których bezskalowość spontaniczniesię objawia


Spis treściWstęp




Model przepływowy

Potrzebowaliśmy modelu, który łączyłby cechy modeluHopfielda i sieci impulsujących

Powinien być szybki, gdyż interesujące nas zjawiska występujądopiero w instancjach mających tysiące jednostek

Nasz model nie był tworzony z myślą o rozwiązywaniukonkretnych problemów algorytmicznych, raczej jakofundament syntezy dziedzin

Ostatecznie powstał model, który można określić jakodyskretna sieć impulsująca, nazwaliśmy go roboczo modelprzepływowy


Spis treściWstęp




Model przepływowy

Model składa się z n jednostek σi ∈ N, połączonych losowo zwagami gaussowskimi.

Model wyposażony jest funkcję energetyczną postaci:

E(σ) :=12

∑i 6=j

wij |σi − σj | (17)

Dynamika modelu przedstawia się następująco:Losujemy dwie jednostki σi ,σj . Sprawdzamy czy σi > 0Sprawdzamy czy przeniesienie jednostki potencjału z σi do σjzmniejsza energięJeśli tak, akceptujemy zmianę, w przeciwnym wypadkuprzywracamy oryginalny stan


Spis treściWstęp




Rysunek: Schemat modelu przepływowego, jednostki wymieniają tokeny(niebieskie dropsy).


Spis treściWstęp






Spis treściWstęp






Spis treściWstęp






Spis treściWstęp






Spis treściWstęp




Model przepływowy

Model przepływowy w tym sformułowaniu nie rozwiązujeżadnego konkretnego problemu

Dziedziczy cechy modelu Hopfielda, ma asynchronicznądynamikę

Jednocześnie jest to model impulsujący, przepływ jednostkipotencjału można traktować jako impuls nerwowy

Każda jednostka ma nieograniczony zbiór stanów zamiastzbioru {−1, 1}


Spis treściWstęp




Model przepływowy

Łatwo zauważyć, że w modelu przepływowym dodatnie wagiwspomagają zgodność jednostek, ujemne zaś niezgodność

Wydaje się zatem, że struktura optimów energetycznych tegoukładu jest bardzo skomplikowana

Tak jednak nie jest, w modelu przepływowym unikatowymstanem minimalnej energii jest przypadek w którym jednajednostka o najlepszej konfiguracji wag względem resztyprzechowuje całą energię

Aby tego dowieść potrzebujemy pewnych faktów ipomocniczych pojęć


Spis treściWstęp




Model przepływowy

Dla każdej jednostki σi zdefiniujmy wsparcie następująco:

Si := −∑j 6=i

wi ,j (18)

Wagi wi ,j były wylosowane z rozkładu normalnego o wariancji1 i wartości oczekiwanej 0, zatem Si są zmiennymi losowymi orozkładzie normalnym z wariancją N − 1, w dodatku Si sąpraktycznie niezależne (każdy Si z innym współdzieli tylkojeden wyraz sumy)

Oznaczmy przez S:k , k-tą największą wartość spośród Si


Spis treściWstęp




Model przepływowy

Z teorii wartości ekstremalnych wiadomo, iż S:k może byćprzybliżany przez

S:k ≈

√2N

log2(N)

(log 2 log2 N − log

√log2 N

ξk2√

log 2

)(19)

przy czym ciąg 0 < ξ1 < ξ2 < ... jest wybrany z procesupunktowego Poissona, z intensywnością 1

π exp(−t), t > 0 orazξk jest rzędu log k

Wybierzmy niewielki ułamek o(N) wszystkich jednostek któreprzechowują najwięcej potencjału. Nazwijmy tę grupę elitą,zaś pozostałych tłumem.


Spis treściWstęp




Model przepływowy

Z teorii wartości ekstremalnych wiadomo, iż S:k może byćprzybliżany przez

S:k ≈

√2N

log2(N)


√log2 N

ξk2√

log 2

)(19)

przy czym ciąg 0 < ξ1 < ξ2 < ... jest wybrany z procesupunktowego Poissona, z intensywnością 1

π exp(−t), t > 0 orazξk jest rzędu log k

Wybierzmy niewielki ułamek o(N) wszystkich jednostek któreprzechowują najwięcej potencjału. Nazwijmy tę grupę elitą,zaś pozostałych tłumem.


Spis treściWstęp




Model przepływowy

Ponieważ elita jest bardzo niewielka (jej udział zbiega do zeraprzy N →∞), zatem energia przybiera wygodną formę:

E(σ) ≈ −∑i∈elite

σiSi +12

∑j ,l∈bulk

wj ,l |σj − σl | (20)

Wynika z tego, że za każdym razem w gdy w toku dynamikiproponowany jest przepływ z elementu tłumu σj do elitarnegoelementu σi , spodziewana zmiana energii jest przybliżana przez−Si plus czynnik związany z interakcją tłum-tłum. Generalnienie mamy kontroli nad tym dodatkowym czynnikiem, jednakjeśli σi jest jednym z neuronów o największym wsparciu, wtedyjest prawie pewne, iż dodatkowy czynnik będzie zaniedbywalnyw porównaniu z −Si .


Spis treściWstęp




Model przepływowy



σiSi +12

∑j ,l∈bulk

wj ,l |σj − σl | (20)



Spis treściWstęp




Model przepływowy



σiSi +12

∑j ,l∈bulk

wj ,l |σj − σl | (20)



Spis treściWstęp




Model przepływowy

Jeśli w elicie znajdzie się element o wysokim wsparciu, wtedyprzepływy w jego kierunku stają się bardzo prawdopodobne, zaśodwrotne praktycznie niemożliwe. Zatem z wielkimprawdopodobieństwem taki element pozostanie w elicie tracącswój potencjał jedynie dla kolegów z elity o jeszcze wyższymwsparciu.Jeśli na początku ewolucji pewien neuron o niskim wsparciu, jegopotencjał zostanie szybko wyssany, gdy tylko do elity wejdzieelement o większym wsparciu.Ostatecznie w tłumie nie będzie już praktycznie w ogólepotencjału, wtedy Hamiltonian przyjmuje postać:


σiSi (21)

i wszystkie dalsze transfery będą się odbywały wewnątrz elity.


Spis treściWstęp




Model przepływowy

Ponieważ różnice energii wynikające z wag połączeń międzyelementami elity są zaniedbywalnie małe, w porównaniu zczynnikiem pochodzącym od wsparcia, więc na samym końcudynamika układu przyjmuje prostą formę

Wybierane są dwa losowe elementy elity, następnie następuje(prawie na pewno) przepływ potencjału od tego z mniejszymwsparciem do tego z większym wsparciem

Ostatecznie na placu boju pozostaje jedna jednostkaskupiająca cały potencjał


Spis treściWstęp




Grafy przepływu impulsów

To co nas najbardziej interesowało w modelu przepływowym,oprócz tego dokąd zmierza potencjał, było to którędy następująprzepływyPrzepływy te indukują pewien graf, zwany grafemprzepływowym o zbiorze wierzchołków identycznym ze zbioremneuronów, oraz krawędziami dokładnie dam gdzie nastąpiłprzepływ.Krawędzi na których przepływ nastąpił wielokrotnie traktujemyjako multikrawędzie, lub krawędzie z wagą.Obserwacje numeryczne wskazywały, iż grafy przepływu dlamodelu przepływowego mają strukturę bezskalową z γ ≈ 2,naszym następnym celem badań było zanalizować ten fakt ipodać jego formalne wyjaśnienie.


Spis treściWstęp




Grafy przepływu impulsów

Schemat grafuprzepływowego. W obrębieelity, potencjał płyniepraktycznie zawsze wkierunku rosnącego wsparcia(interakcje elita-elita sązaniedbywalne), w tłumieposzczególne wagi mająwiększe znaczenie.

Tłum

Elita

wsparcie


Spis treściWstęp




Model matematyczny i dowód bezskalowości

Ustalmy K << N oznaczające rozmiar elity. Niech K →∞przy N →∞Niech ui , i = 1...K będą jednostkami elity, w kolejnościmalejącego wsparcia

Jednostka potencjału wpada do elity w jednostce uk0 , anastępnie pnie się po ukl , kl+1 < kl (losowo) aż dotrze do u1 itam już pozostaje.

Stopnie wejściowe wierzchołków elity w oryginalnej sieci sąprzybliżane, przez liczby Di , oznaczające ile jednostekpotencjału przeszło przez ui w drodze do u1.


Spis treściWstęp





Rozważmy ciąg zmiennych losowych X0,X1,X2, ... takich, że X0

jest jednostajna na (0, 1), Xl+1 jest jednostajna na (0,Xl) dlal > 0. Wtedy łatwo widać, iż:

kl = dKXle (22)

Zdefiniujmy πi , i = 1... jako prawdopodobieństwo, że jednostkapotencjału odwiedza ui . Wtedy πi = P(∃lkl = i) i dla odpowiedniodużych K mamy:

πi = E∣∣∣∣{l ,Xl ∈

[i − 1

K,

iK

]}∣∣∣∣ , i > 1 (23)


Spis treściWstęp





W takim przypadku wartości Di są rozmieszczone zgodnie zrozkładem dwumianowym b(πi , n), gdzie n jest całkowitą liczbąjednostek potencjału. Zauważmy, że ciąg Tl = − log Xl jestprocesem punktowym Poissona o intensywności 1 na R+. Stądmamy:

πi = E∣∣∣∣{l ,Tl ∈

[− log

(i

K

),− log

(i − 1

K

)]}∣∣∣∣ ≈ 1i

(24)

Zatem dla dużych n na mocy prawa wielkich liczb

Di ≈ni

(25)


Spis treściWstęp





Z tego wynika, że dla dużych k mamy:

|{i ,Di > k}| ≈ nk

(26)

czyli|{i ,Di ≈ k}| ≈ n

k2 (27)

co dowodzi, iż powstała sieć jest siecią bezskalową z γ = 2.


Spis treściWstęp





Z tego wynika, że dla dużych k mamy:

|{i ,Di > k}| ≈ nk

(26)

czyli|{i ,Di ≈ k}| ≈ n

k2 (27)

co dowodzi, iż powstała sieć jest siecią bezskalową z γ = 2.


Spis treściWstęp




Warianty modelu przepływowego

Przebadaliśmy także pewne warianty modelu przepływowegodla zmodyfikowanej funkcji energetycznej:

E =12

∑i 6=j

wi ,j |σi − σj |α (28)

dla α ∈ (0, 1).Warto zauważyć, że przypadek α = 1 sprowadza się dopoprzedniego modelu.Intuicyjnie widać, iż dla α < 1 stan w którym jeden elementzgarnia cały potencjał nie jest już optymalny energetycznie.W tym przypadku optimum jest znacznie bardziejskomplikowane i polega na odpowiednim rozmieszczeniupotencjału w wielu jednostkach.


Spis treściWstęp




Podobnie jak poprzednio wyróżniamy pewien podzbiór (elitę) irozbijamy funkcję energetyczną następująco:

E(σ) =12

∑i∈elite,j∈bulk

wij |σi−σj |α+12

∑i,j∈bulk


∑i,j∈elite

wij |σi−σj |α

(29)Podobnie jak w poprzednim wypadku możemy zignorować czynnik

elita-elita (ze względu na jej zaniedbywalną wielkość) oraztłum-tłum ze względu na niewielki wkład energetyczny wynikającyz niewielkich wag.


Spis treściWstęp





E(σ) =12



∑i,j∈bulk


∑i,j∈elite

wij |σi−σj |α




Spis treściWstęp





E(σ) =12



∑i,j∈bulk


∑i,j∈elite

wij |σi−σj |α




Spis treściWstęp




Ostatecznie funkcja energetyczna wyraża się następująco:

E(σ) ' 12


wij |σi−σj |α '12


wij |σi |α =12

∑i∈elite

Si |σi |α

(30)Ze względu na fakt, iż tłum przeciętnie ma mało potencjału. Si są

niezależnymi zmiennymi Gaussowskimi o wariancji rzędu N. Abyprzejść dalej trzeba oszacować wartości sum Gaussowskich Si .


Spis treściWstęp




Ostatecznie funkcja energetyczna wyraża się następująco:

E(σ) ' 12


wij |σi−σj |α '12


wij |σi |α =12

∑i∈elite

Si |σi |α

(30)Ze względu na fakt, iż tłum przeciętnie ma mało potencjału. Si są

niezależnymi zmiennymi Gaussowskimi o wariancji rzędu N. Abyprzejść dalej trzeba oszacować wartości sum Gaussowskich Si .


Spis treściWstęp




Niech N = 2M dla pewnego M. Istnieje permutacja δ taka, że

Sδ(i) '

√2N

log2 N


√log2 N

log i2√

log 2

)(31)

(czynnik√NM/2 =

√2N

log2 Njest odpowiedzialny za skalowanie

wariancji)


Spis treściWstęp




Przekształcając otrzymane wyrażenie mamy, że:

Si =√

2N√

log2 N(1 + o(1))︸︷︷︸aN

−√

2N√log2 N2

√log 2

log i (32)

Zauważmy, iż warunek równowagi energetycznej w rozważanymukładzie można określić jako stan w którym nie następują żadneprzepływy potencjału, czyli pochodna energii ze względu na stanpowinna być stała:

[(σi )α]′Si = ασα−1

i Si = const (33)

zatem:

σi = c · S1

1−α

i (34)


Spis treściWstęp




Podsumowując mamy ostatecznie:

S1

1−α

i ' a1

1−α

N +1

1− αa

11−α−1

N log i ' c1 − c2 log i (35)

Ile jest takich σi w elicie dla których σi = k dla ustalonego k? Topytanie można postawić następująco: ile jest takich i , żec1 − c2 log i ' k? Mamy:

log i ' c1 − kc2

(36)

równoważnie

i ' exp(

c1 − kc2

)(37)

Jest zatem w przybliżeniu exp(c1−kc2

)węzłów o stopniu k . Jest to

zanik wykładniczy, ale niezmiernie powolny.Filip Piękniewski Struktury bezskalowe w rekurencyjnych sieciach neuronowych

Spis treściWstęp




Wyniki numeryczne

Wynik teoretyczny jest w znakomitej zgodności zobserwacjami naumerycznymi[Piekniewski and Schreiber(2007)]

Zależnie od rozmiaru sieci i sposobu estymacjiwspółczynników wynik oscyluje w okolicach 2.0

Estymowanie gęstości rozkładów Pareto jest trudne, dlategoczasem lepiej estymować współczynnik prawa potęgowegodystrybuanty, który różni się od współczynnika potęgowegogęstości o 1.


Spis treściWstęp




Wyniki numeryczne

100

101

102

103

10!1

100

101

102

103

in!degree distribution

Degree

Nu

mb

er

of

no

de

s

100

101

102

103

10!2

10!1

100

101

102

103

out!degree distribution

Degree

Nu

mb

er

of

no

de

s

Student Version of MATLAB

Rysunek: Histogram stopni wejściowych wierzchołków dla siecizawierającej 2000 jednostek (wykres log-log). Czarna kreska jestestymacją nachylenia za pomocą metody najmniejszych kwadratów.Wyliczony współczynnik jest w okolicach 2.1.


Spis treściWstęp




Wyniki numeryczne

100 101 102 103 104100

101

102

103

104

Rysunek: Dystrybuanta empiryczna stopni wejściowych wierzchołków dlaukładu 6000 neuronów (wykres log-log). Czerwona kreska jest estymacjąnachylenia za pomocą metody najmniejszych kwadratów. Wyliczonywspółczynnik dla gęstości to 1.956.


Spis treściWstęp




Bezskalosowść w sieciach dynamicznych?

Podstawową cechą modelu przepływowego jest to, że każdajednostka posiada dokładną pamięć ilości potencjału którąposiada.Jeśli do danej jednostki wiele razy sygnał przyszedł, to zwiększato szanse iż pewne sygnały wyjdą (o ile dany neuron nie jest welicie)Aktywny neuron (dużo dostający) ma większe szanse pozostaćaktywnym w dalszym ciągu, pojawia się zjawisko preferowanegodoczepiania (preferential attachment), niezbędnego doutworzenia sieci bezskalowej.Dlaczego zatem zwykłe neurony nie ujawniają takich własności?Może mają zbyt krótką pamięć stanu?


Spis treściWstęp





Najprostszym sposobem zrobienia z neuronu czegośmądrzejszego jest wzięcie kilku neuronów i połączenie ich wsieć

Jeśli pojedynczy neuron (dynamiczny) ma za małą pamięć tomoże grupka kilkunastu będzie już więcej pamiętać?

Na fali tego pomysłu, wiosną 2007 przeprowadziliśmy pewienzaskakujący eksperyment numeryczny z wykorzystaniemdynamicznych neuronów Eugene Izhikevicha.


Spis treściWstęp





Rysunek: Badany układ składałsię z kilku tysięcy grup, w każdejpo około 15 neuronówdynamicznych Izhikevicha,pobudzanych lekkim szumem (wcelu wywołania rezonansustochastycznego) orazpołączonych z pozostałymi zapomocą pojedynczego ”neuronubramy”.

Group leader

Group

Graph being a subject of analysis

Neuron

Small amountof random noise


Spis treściWstęp





Każda z powstałych grup w trakcie dynamiki pobudzała się lubwygaszała, pewne z nich stale impulsowałyW trakcie trwania dynamiki połączenia między grupami byłyustalone jako losowe z rozkładu normalnego. Wewnątrz każdejgrupy około 20% połączeń było inhibicyjnych, reszta byłapobudzająca.Dynamika układu indukuje pewien nowy graf, ze zbioremwierzchołków tożsamym ze zbiorem grup, oraz zbiorem ważonychkrawędzi, na których waga zdefiniowana jest następująco:

Przebiegi czasowe impulsów grup leżących na krańcach krawędzizostały lekko rozmazaneNastępnie zostały wymnożone po współrzędnych i scałkowaneWaga została zdefiniowana jako wartość całki. Miara ta mierzykorelację między przebiegami aktywności


Spis treściWstęp






Rysunek: Przykładowy przebieg aktywności układu 3000 grup neuronów,po około 15 neuronów każda.


Spis treściWstęp





100 101 102 103 104100

101

102

103

104Degree histogram

Degree

Num

ber o

f nod

es


Rysunek: Histogram stopni węzłów w indukowanym grafie (wykreslog-log). Wyraźnie widoczny jest rozkład potęgowy.


Spis treściWstęp





Graf indukowany przez grupy neuronów okazuje się grafembezskalowym z wykładnikiem γ ≈ 2Dokładnie ten sam eksperyment w którym grupy neuronówzastąpiono pojedynczymi jednostkami owocuje rozkładamiwykładniczymi, podobnymi do tych które obserwuje się zbiologicznych sieciach neuronowychJest to zatem pewne wyjaśnienie obserwacji empirycznych,pojedyncze neurony (nawet dynamiczne) nie mają dośćpamięci stanu aby wykształcić preferowane przyczepianiekonieczne do powstania bezskalowościJak się okazuje już grupki kilkunastu neuronów maja dośćskomplikowaną neurodynamikę, aby pamiętać swój stan iswoją historię dość długo [Piekniewski(2007)]


Spis treściWstęp



Co dalej?Podsumowanie

Co dalej?

Model przepływowy ma szereg ciekawych uogólnień nadktórymi obecnie pracujemy

Grupy neuronów analizowane w ostatniej pracy są niecosztuczne, potrzebny jest model spontaniczniewykształcających się grup, a następnie analiza połączeńpomiędzy takimi grupami[Izhikevich et al.(2004)Izhikevich, Gally, and Edelman]

Być może prezentowane modele mają jakąś interpretacjęsocjologiczną lub ekonomiczną?


Spis treściWstęp



Co dalej?Podsumowanie

Podsumowanie

Przedstawiony został model przepływowy stanowiący pomostpomiędzy sieciami neuronowymi a grafami bezskalowymi

Przedstawiona została analiza teoretyczna dwóch wariantówmodelu przepływowego wraz z dowodem oraz wyniki badańnumerycznych

Przedstawiony został przedsionek badań w dziedziniedynamicznych sieci impulsujących w kontekście bezskalowychpołączeń między grupami impulsujących neuronów


Spis treściWstęp



D. Ackley, G. Hinton, and T. Sejnowski.

A learning algorithm for boltzmann machines.Cognitive Science, 9:147–169, 1985.

Reka Albert and Albert-Laszló Barabasi.

Statistical mechanics of complex networks.Reviews of modern physics, (74):47–97, January 2002a.

Reka Albert and Albert-Laszló Barabasi.

Statistical mechanics of complex networks.Reviews of Modern Physics, 74:47, 2002b.URL http://www.citebase.org/abstract?id=oai:arXiv.org:cond-mat/0106096.

Reka Albert, Hawoong Jeong, and Albert-Laszló Barabasi.

Diameter of the world-wide web.Science, 401:130–131, Septmeber 1999.

L. A. Amaral, A. Scala, M. Barthelemy, and H. E. Stanley.

Classes of small-world networks.Proc Natl Acad Sci U S A, 97(21):11149–11152, October 2000.ISSN 0027-8424.doi: 10.1073/pnas.200327197.URL http://dx.doi.org/10.1073/pnas.200327197.

Albert-Laszló Barabasi and Reka Albert.

Emergence of scaling in random networks.Science, (286):509–512, October 1999.

Albert-Laszló Barabasi, Hawoong Jeong, Zoltan Neda, Erzsebet Ravasz, A. Schubert, and Tamas Vicsek.


http://www.citebase.org/abstract?id=oai:arXiv.org:cond-mat/0106096

http://dx.doi.org/10.1073/pnas.200327197

Spis treściWstęp



Evolution of the social network of scientific collaborations.Physica A, 311(4):590–614, 2002.

P. Erdos and A. Renyi.

On random graphs. i.Publicationes Mathematicae, 6:290–297, 1959.

P. Erdos and A. Renyi.

The evolution of random graphs.Magyar Tud. Akad. Mat. Kutató Int. Kozl., 5:17–61, 1960.

R. FitzHugh.

Impulses and physiological states in models of nerve membrane.Biophysics Journal, 1:445–466, 1961.

Wulfram Gerstner and Werner M. Kistler.

Spiking Neuron Models: Single Neurons, Populations, Plasticity.Cambridge University Press, Cambridge, UK, 2002.

D.O. Hebb.

The Organization of Behavior.Wiley, New York, 1949.

A. L Hodgkin and A. F. Huxley.

A quantitative description of membrane current and its application to conduction and excitation in nerve.Journal of Physiology, 117:500–544, 1952.

J.J Hopfield.

Neural networks and physical systems with emergent collective computational abilities.


Spis treściWstęp



In Proceedings of the National Academy of Sciences, volume 79, pages 2554–2558. Washington : TheAcademy, 1982.

Ramon Ferrer i Cancho and Ricard V. Sole.

The small-world of human language.Proceedings of the Royal Society of London B, 268(1482):2261–2265, November 7 2001.

Eugene M. Izhikevich.

Dynamical systems in Neuroscience: The Geometry of Excitability and Bursting.MIT Press., Boston, 2006.

Eugene M. Izhikevich.

Simple model of spiking neurons.IEEE Transactions on Neural Networks, (14):1569– 1572, 2003.URL http://www.nsi.edu/users/izhikevich/publications/spikes.pdf.

Eugene M. Izhikevich, Joe A. Gally, and Gerald M. Edelman.

Spike-timing dynamics of neuronal groups.Cerebral Cortex, (14):933– 944, 2004.URL http://vesicle.nsi.edu/users/izhikevich/publications/reentry.pdf.

Hawoong Jeong, B. Tombor, Reka Albert, Zoltan N. Oltvai, and Albert-Laszló Barabasi.

The large-scale organization of metabolic networks.Nature, 407(6804):651–653, October 5 2000.

Christof Koch and Gilles Laurent.

Complexity and the Nervous System.Science, 284(5411):96–98, 1999.doi: 10.1126/science.284.5411.96.


http://www.nsi.edu/users/izhikevich/publications/spikes.pdf

http://vesicle.nsi.edu/users/izhikevich/publications/reentry.pdf

Spis treściWstęp



URL http://www.sciencemag.org/cgi/content/abstract/284/5411/96.

Jose M. Montoya and Ricard V. Sole V.

Small world patterns in food webs.Journal of Theoretical Biology, 214(3):405–412, February 7 2002.

J. S. Nagumo, S. Arimato, and S. Yoshizawa.

An active pulse transmission line simulating a nerve axon.Proceedings of the IRE, 50:2061–2070, 1962.

Filip Piekniewski.

Emergence of scale-free graphs in dynamical spiking neural networks.In Proc. IEEE International Joint Conference on Neural Networks, Orlando, Florida, USA, August 2007.IEEE Press.

Filip Piekniewski and Tomasz Schreiber.

Emergence of scale-free spike flow graphs in recurrent neural networks.In Proc. IEEE FOCI, pages 357–362, 2007.

S. Redner.

How popular is your paper? an empirical study of the citation distribution.European Physical Journal B, 4(2):131–134, 1998.

D. E. Rumelhart, G. E. Hinton, and R. J. Williams.

Learning internal representations by error propagation.In D. Rumelhart and J. McClelland, editors, Parallel Distributed Processing, volume 1, pages 318–362. MITPress, Cambridge, MA, 1986.

Duncan J. Watts and Steven H. Strogatz.


http://www.sciencemag.org/cgi/content/abstract/284/5411/96

Spis treściWstęp



Collective dynamics of small-world networks.Nature, (393):440–442, June 1998.

P. Werbos.

Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences.PhD thesis, Harvard, 1974.


Documents

Struktury bezskalowe w rekurencyjnych sieciach neuronowych · Sieci neuronowe Model przepływowy Podsumowanie Bibliograﬁa Grafy losowe, model Erd˝os’a-R ´enyi Model Small World