7. GRANGEROV KAUZALITET, KONEKTIVNOST, BCI

Metod Grendžerovog kauzaliteta se uspešno primenjuje, prvo na ekonomske modele i kretanja na berzi, još od šezdesetih godina, za šta je Grendžer dobio i Nobelovu nagradu 2003. Potom je uočeno da se metod može primeniti na raznorodne sisteme čija priroda odgovara ovom modeliranju, gde su linearnost i stacionarnost vremenskih sekvenci/signala dominantne pretpostavke. Ukazivanjem na medjuzavisnosti prethodnih stanja elemenata sistema i njihovog ponašanja u trenutku t, govori se i o meri konektivnosti elemenata sistema.

Tipičan primer bi mogla biti saobraćajna mreža, u čijim se čvorovima meri protok, ali se odredjuje i medjuzavisnost protoka za pojedinačne parove elemenata sistema. Na sličnu situaciju nailazimo u različitim električnim i upravljačkim mrežama, kao i u modeliranju neuronskih medjupovezanosti, što će biti razmotreno nešto kasnije. Razmatramo jednostavniju varijantu linearnih stohastičkih modela.

Za početak, zamislimo saobraćajnu mrežu, u kojoj imamo tri relativno bliska autoputa više protočnosti, grubo usmerenih S/J koji su mestimično povezani sistemom kapilarnih puteljaka i pretpostavimo da na istoj paraleli merimo protok na glavnim saobraćajnicama, slika 86. Redovno, saobraćaj na tri autoputa ponašaće se slučajno, bez uočljivog kauzaliteta, iako postoje kapilarne medjuveze. Medjutim, u slučaju povećane gustine saobraćaja, ili ako npr. u trenutku t dodje do saobraćajne nezgode, npr. u označenoj tački srednjeg puta, severni tok, ovo će za posledicu imati zagušenje saobraćaja na ovom smeru srednjeg puta.

Za odredjeno vreme kapilarnim vezama doći će do prenosa povišenja viskoznosti na susedne autoputeve u istom smeru, uz redukciju protoka vozila, kao i prelaz putnog protoka ka više determinističkom ponašanju i naglašenijoj medjupovezanosti, sa odredjenim vremenom kašnjenja t’ - t, gde je t’ vreme na nivou merenja, označena paralela sa odgovarajućim kašnjenjem u odnosu na t.

Na taj način, sistem u kome na početku imamo npr. nezavisne slučajne veličine, u kraćoj tranziciji, prelazi u više deterministički sistem u kome su prethodno nezavisne veličine postale povezane i medjuzavisne.

Slika 86. Primer mreže puteva sa merenjem protoka na ljubičastom nivou. Crvena tačka je mesto udesa na severnom toku srednjeg autoputa sa indukovanim zagušenjem. Nakon nekog vremena, kapilarnom viskoznošću dolazi do povećanja gustine protoka na susednim putevima u istom smeru.

7.1. Mere moždane konektivnosti

U poslednjoj dekadi milenijuma, projekt mozak je bio drugi finansirani, posle Human Genome Project. Danas istraživanja mozga imaju izuzetnu podršku širom planete.

EEG i MEG rezolucija prevazišla je već neko vreme 1/4k elektroda. Kako je broj neurona u mozgu reda veličine > 2ଷ, broj sinapsi 2ଵହ, sa povećanjem selektivnosti povećavaće se i pomenuta rezolucija. U ispitivanju medjupovezanosti aktivnosti izmedju signala sa različitih pozicija - elektroda, (već sada imamo bar 256 * 256 = 2ଵ mogućih parova signala), u rezoluciji 2ଵ Hz, daje 2ଵ଼ stanja u 4-dimenzionom grafu koji korespondira jednosatnoj aktivnosti mozga.

Naravno, u odredjenim zadacima aktiviraju se neke putanje, i broj čvorova – tačaka u kojima se mere moždani signali koji se funkcionalno povezuju ne mora biti veliki. Ovde ćemo prikazati primere nekih merenja signala sa povezanim računananjem mera kauzaliteta - konektivnosti koje su objavili timovi sa najvećim doprinosom u ovoj oblasti. Primenjuje se blago uopštenje Grendžerovog postupka za utvrdjivanje medjuzavisnosti dva signala (bivar) na slučaj medjuzavisnosti - povezanosti više promenljivih (multivar), na šta češće nailazimo u praksi, posebno u tipu primera koji su karakteristični i koje niže kratko navodimo.

7.2. Primer moždane konektivnosti i poredjenje mera

(Bacala-Sameshima publikovano u [36], slično i u [35]).

Sledeći primer je relativno pojednostavljen slučaj merenja medjuzavisnosti moždanih signala. Uzima se šest moždanih signala sa elektroda (čije su uobičajene oznake) DG, CA3, CA1, A17, A3, A10. Zatim se računaju mere konektivnosti PDC i DTF (u frekventnom domenu) za parove označenih čvorova, pa maksimumi ovih mera u datom frekventnom interval, sa odredjenim smerovima što se prikazuju na slici 87 u obliku matrice power spektara (kompozita), dok su u Tabeli 1 date relativne razlike po merenju za parove koje odgovaraju eksperimentu sa slike 87 i još jednom eksperimentu u sekvenci sa istim uslovima i rasporedom elektroda.

Slika 87. Matrice mere konektivnosti (osenčeni spektri) za parove signala, za meru PDC, levo, i DTF, desno. Puna linija prikazuje meru DC (reprodukovano iz [36]).

A10 0.18

0.25

0.53

0.58

0.03

0.06

0.06

0.10

0.09

0.09

A10

0.77

0.82

0.32

0.76

0.49

0.32

0.33

0.22

0.31

0.19

A3 0.09

0.13

0.27

0.28

0.06

0.14

0.04

0.12

0.07

0.17

A3

0.09

0.28

0.49

0.79

0.32

0.22

0.06

0.07

0.14

0.09

A17 0.41

0.43

0.41

0.47

0.11

0.17

0.12

0.23

0.10

0.23

A17

0.44

0.37

0.36

0.68

0.11

0.34

0.07

0.18

0.11

0.13

CA1 0.66

0.49

0.39

0.53

0.23

0.57

0.32

0.32

0.11

0.38

CA1

0.14

0.20

0.29

0.65

0.53

0.66

0.44

0.41

0.25

0.28

CA3 0.27

0.61

0.46

0.50

0.33

0.51

0.39

0.29

0.67

0.48

CA3

0.24

0.27

0.26

0.65

0.54

0.72

0.28

0.22

0.52

0.28

DG 0.44

0.58

0.44

0.59

0.47

0.35

0.47

0.35

0.41

0.31

DG

0.10

0.15

0.09

0.36

0.19

0.39

0.53

0.57

0.30

0.49

A10 A3 A17 CA1 CA3 DG A10 A3 A17 CA1 CA3 DG

Tabela 1. Leva strana korespondira prvom eksperimentu, koji odgovara slici 87, dok desna strana odgovara sledećem (sukcesivnom) eksperimentu. Svaka koordinata matrice sadrži gore PDC spektralni maksimum iz spektra na korespondentnim koordinatama na slici 87; ispod je prikazan spektralni maksimum za DTF, slično dobijen iz slike 87. Mera konektivnosti od čvora i prema čvoru j prikazana je po kolonama, tako npr. prva kolona sadrži veze A10 prema zonama definisanim oznakama vrsta (reprodukovano iz [36]).

Ovde su korišćene normalizovane mere sa kodomenom [0,1], razdeljenim u petodelnu particiju (svaki element particije dijametra 0.2), dakle sa pragom-nulom = 0.2; spektralni maksimumi su gradirani u pet vrednosti – intenziteta konektivnosti, čime je omogućena konstrukcija dijagrama (usmerenog grafa) konektivnosti po svakoj od ovih mera, što je prikazano na slici 88.

Slika 88. Iz matrica konektivnosti u tabeli 1 levo, dobijeni su (usmereni) grafovi konektivnosti za redom mere PDC i DTF, sa razloženim intenzitetima (reprodukovano iz [36]).

Istovetnim postupkom iz tabele 1, desno, dobijeni su grafovi konektivnosti za ove mere konektivnosti u drugom navedenom eksperimentu, što je prikazano na slici 89. Prikazani parovi grafova konektivnosti ukazuju na esencijalne razlike dobijene upotrebom mera PDC i DTF.

Slika 89. Iz matrica konektivnosti u tabeli 1 desno, dobijeni su (usmereni) grafovi konektivnosti za redom mere PDC i DTF, sa razloženim intenzitetima (reprodukovano iz [36]).

Ovakav način predstavljanja moždane konektivnosti postao je uobičajen u publikovanju eksperimentalnih rezultata ove oblasti, ne samo za grupe istraživača koji se oslanjaju na ove najpopularnije mere, nego je isti način prikazivanja moždane konektivnosti opšte prihvaćen i za raznovrsne specifične mere konektivnosti.

7.3. Primer moždane konektivnosti 2 (Blinowska – Kaminski)

Kreatori DTF mere konektivnosti i timovi istraživača koji koriste ovu meru u svežijim publikacijama [41-2, 45, 83] daju i izuzetne eksperimente - primere u kojima se verifikuju i zamišljene kognitivne aktivnosti, što je samo po sebi od izuzetnog značaja. Primeri grafova DTF konektivnosti prikazani su na slikama 92 i 93.

Slika 92. Diagrami konektivnosti iz eksperimenta sa kognitivnim sadržajem preuzeti iz [41].

Slika 93. Diagrami konektivnost preuzeti iz [42]. Instance propagacije u gamma bandu (35–41 Hz) za vreme pomeranja desnog prsta (desno) i zamišljenog pomeranja.

U oba primera uočava se da nema prikazanih tranzitnih čvorova u grafovima, a to je situacija koju ova mera (DTF) ne predstavlja adekvatno: ne razlikuje kumulativno dejstvo i izdvojen direktan uticaj čvorova, što je već pokazano u literaturi, zbog čega ovi autori povremeno pribegavaju upotrebi dopunskih mera konektivnosti za karakterizaciju – generisanje grafova konektivnosti. Izbegavajući prikaze kompletnih data setova, npr. za slučaj sa slike 92, autori prikazuju matrice distribucija spektara – kompozita. Tako, matrice na slici 94 poslužile su za

dobijanje grafova konektivnosti na slikama 92 i 93, slično upotrebi matrica spektara u izdvajanju spektralnih maksimuma i naknadnom generisanju tabele 1 za potrebe konstrukcije grafova konektivnosti u prethodnom primeru.

Slika 94. (prema [41]) Dvadesetokanalni EEG i 400 parova signala: ”Tipičan primer DTF funkcije za subjekt u uslovima memorisanja (a) i rezonovanja (b)”. Prikazane distribucije, DTF – power spektri u bandu 0 – 40Hz. Usmerenje slično kao na gornjim matricama (kolona → vrsta).

Dopunu komentara ovde prikazanih primera iz literature daćemo još u primerima forenzičkih analiza.

7.4. BBI mozak-mozak-interfejs

Dajemo kratak prikaz nedavno publikovanog eksperimenta u kome se ostvaruje sledeći scenario.

Jedan dobrovoljac je povezan na EEG i vidi igricu u kojoj puca u leteći cilj zamišljanjem pokreta ruke kojim aktivira pucanje na računaru. Signal se internetom prenosi do drugog kompjutera gde je prikopčan drugi subjekt i gde se uz transkranijalnu magnetsku stimulaciju prenosi u regiju u kojoj je kontrola pokreta ruke drugog subjekta. Drugi subjekt bez učešća svoje volje, pokreće rukom komandu na kompjuteru, obavlja pucanje i pogadja cilj, koji ni ne vidi.

Ovaj eksperiment je više puta ponavljan, sa dosta uspešnim rezultatima. Deo promašaja se dosta logično objašnjava otežanim uslovima pogadjanja kompjutera kod drugog subjekta.

Slika 95. Demonstracija povezivanja dva udaljena mozga, prikopčanih EEG-kompjuterima preko Interneta, sa uspešnim prenosom sadržaja iz mozga prvog subjekta u mozak drugog subjekta, ovde motorične komande – telepatija; avgusta 2013, Univerzitet u Washingtonu.

7.5. BCI → BCI

Krug od BCI do BCI. BCI je već više od desetak godina uveden i raširen akronim, BCI = Brain Computer Interface, označava originalno sistem izmedju mozga i računara, kojim se omogućava prenos izvesnih elektrofiziloških korelata mentalnih sadržaja, do (specijalizovanog) softvera u kome se obavljaju funkcije, lokalizacije, detekcije i klasifikacije, pa time i prepoznavanja oblika- paterna, čime se omogućava i aktiviranje raznovrsno integrisanih akcija posredstvom računara. Ako malo napustimo uobičajeni laički jezik, onda ovde u stvari imamo SSI – za Spirit-Softver Interfejs: kompjuter je medium gde se dešava softver, čija je esencija algoritam; slično, mozak je medijum ili prostor u kome se dešava npr. duh, pa bi ovakva specijalizacija bila prieciznija i smislenija. Ako u moru imamo brod, a na kopnu top ili raketu, onda je uobičajeno da se govori o funkciji vatra: zemlja-more, iako ovde top, odnosno raketa nišani i gadja brod. Slični običaji su rašireni mnogostruko. Pre nego što se upustimo u detalje BCI, navešćemo nekoliko činjenica koje mogu biti od interesa. Za sada je strelica jednostrano usmerena, recimo od mozga prema računaru, ali se ne vide ograničenja da se ne uspostavi i drugi smer, za šta je, naravno,

neophodno detaljnije upoznavanje funkcionisanja (živog) mozga i možda malo tehničkih dopuna.

U jubilarnom broju (jesen 1995.) povodom 125-godina Scf. American donosi raznovrsne poglede na razvoj nauke u srednjoročnom periodu; izmedju ostalog tu imamo i prvi zvanični izveštaj o eksperimentima u Right Patterson AF bazi/Dayton, OH – pokušajima razvoja sistema u kome piloti upravljaju funkcijama borbenih aviona direktno kontrolom odredjenih prepoznatljivih moždanih sadržaja – voljno generisanih elektrofizioloških stanja.

Već u to vreme pojavili su se nezavisni eksperimenti u nezavisnim laboratorijama sa sličnim ciljevima, ne baš pucanja, ali kontrole elemenata eksteriora putem voljno kontrolisane moždane elektrofiziologije, koji danas odredjujemo akronimom BCI. Tu su se desila i neka naša istraživanja, čiji će deo biti upotrebljen u ilustraciji problematike, sa prvim uspesima 93. na 94. godinu, a kojima je prethodilo detaljno ispitivanje budućih sadržaja od značaja za BCI, tehničko tehnološki zahtevi i pre svega neophodan matematički aparat, kao i ispitivanja na papirnatim EEG još krajem 80ih. Tome su prethodili značajni dogadjaji u matematičkom modeliranju mozga, pre svega potvrdom da je Grangerov model kauzaliteta, originalno usmeren u ekonomsku sferu, kojim se došlo do veoma ozbiljnih mogućnosti predikcije berzanskih trendova, a za šta je Klive Granger dobio 2003. Nobelovu nagrdu, primenljiv i kao model za odredjivanje mere konektivnosti moždanih centara, a što je odmah dalje razvijano naporima mnoštva istraživača, kako statističara, tako i fizičara, inženjera, biofizičara i matematičara.

Broj uspešnih primena je u naglom i neprekidnom širenju, obuhvatajući i regione i zemlje gde se ovakva istraživanja i tehnologije do juče nisu ni koristile. Medju pionire koji su i danas vodeći u ovom polju, pomenimo uzbudljive izveštaje timova Linz-Austrija, Babyloni - Cincotti Roma, Kenedy et al. 2000; Donaghue 2002; Schalk et al. 2004; Kubler et al. 2007, potpunije u npr. [37-8, 87].

Primeri primena obuhvataju aktiviranje mehanike u okruženju, npr. upravljanje invalidskim kolicima, upravljanje veštačkom rukom, upravljanje aparatima u okruženju, surfovanje po Internetu, navigacija po Austrijskoj nacionalnoj biblioteci, upravljanje letelicama, pucanje, ali se prelazi i na rad sa kognitivnim sadržajima koji uključuju npr. unutrašnju muziku [72, 82], elementarne apstraktne operacije [41-2], (policijski) poligraf i mnoštvo primena u širenju. U većini ovih istraživanja dominantnu ulogu imaju i modeli moždane konektivnosti, kojima se omogućava odredjivanje paterna aktivacije moždanih lokusa koji prate specifične aktivnosti i sadržaje.

Navedimo i da je nedavno u BCI-2000 globalnom krugu povezanih istraživača u ovom polju, proširen poziv za doktorante za učešće u “najjače finansiranim projektima” od strane USAF i obaveštajnih agencija, uz ograničenje na US državljane, kao i da je polazni akronim dobio semantičko proširenje BCI, za Brain Computer Integration, čime je odmah naglašeno o kojim proširenim namenama i ciljevima se radi, naravno, usmerenim u potrebe investitora.

BCI je danas tehničko polje, a mogućnost lake obuke korisnika kojima se omogućava da jednostavno aktiviraju okolne aparate i održavaju neprekidno upravljanje kompleksnih sistema jednostavnom kontrolom pojedinih svojih elementarnih mentalnih stanja predstavlja uzbudljivu realnost koja već uključuje bitne promene u samostalnosti osoba sa teškim hendikepima, sa pokušajima i nadom za izgradnju tehničkih premošćenja njihovih funkcionalnih teškoća i time unapredjenje kvaliteta života hendikepiranih.

S druge strane ovaj početni zamah označava pomak za celu kulturu, otvaranjem nove nade za bidirekcioni BCI kojim će se uspostaviti direktna komunikacija i, nadamo se, deoba kognitivnih funkcija po obliku sličnih modernism e-konferencijama, a koja bi se proširila i u kolektivnu unutrašnju muziku i matematičke seminare, sa zajedničkim konstrukcijama i dokazima, korišćenjem zajedničkih mentalnih monitora-tabli kao što danas koristimo table u školi.

Napomenimo da polje vapi za višeslojnom transparetnom 3D real time grafikom sa punom navigacijom, za BCI strukturne real time prezentacije. Za početak, problematiku ilustrujemo upotrebom nisko i visokofrekventnih domena EEG (i MEG) signala, dostupnih iz naših vlastitih snimanja i eksperimenata u domaćim laboratorijama gde smo integrisali sisteme osposobljene i za namene ove vrste [82].

Slika 96. Elementi neophodne 3D grafike za mapiranje moždane aktivnosti; levo, slojevito prikazane moždane structure; sredina: kolor kompoziti u NMR snimcima, za bolju kolor kontratnu definiciju procesa; desno: cilj- potrebne su nam transparentno definisane moždane strukture za monitoring- 3D real time mapiranje aktivnosti I paterna aktivacije moždane konektivnosti.

7.6. BCI – DSP aspekti

Ako je B = { x i | i I} ortonormirana baza u Hilbertovom prostoru X, onda Furijeovi koeficijenti vektora Xx se računaju sa x̂ i= ( xx, i), i I, gde je (x,y) skalarni proizvod vektora x, y, x̂ i su projekcije x na bazne vektore x i, i I. Furijeov razvoj vektora x u odnosu na bazu B odredjen je formulom

Ii

xx ˆ i x i .

Sume su uvek prebrojive, u aproksimacijama, konačne. Ako su elementi baze uobičajene trigonometrijske funkcije, gornji razvoj naziva se klasičnim. Većina eksperimenata je u kontrolisanim uslovima, npr. filtriraju se signali iznad neke zadate frekvencije, čime se baze redukuju u konačne. Već duže vreme popularni su i razvoji zasnovani na talasićima. Ortonormiranost klasične baze obezbedjuje da ista dosta zadovoljavajuće može da posluži u analizi moždanih signala i izdvajanju komponenti signala koje su u rezonanci sa elementima baze.

Ako u dobijenim spektrima nema naglašenih ili dominantnih linija ili bandova, onda primenjeni razvoj sa datom bazom teško da pruža poboljšani uvid u kompleksnost ispitivanog fenomena. Inače, ako signali sadrže neke uobičajene talasne komponente, onda će iste biti raspoznatljive u Furijeovom spektru; ako su komponente signala oblika koji oduraraju od klasičnih talasnih, onda odgovarajući talasići mogu da ponude korisniji razvoj.Za miksove, već smo rekli ranije da je stvar dodatno otežana.

Neinvazivni EEG signali prikupljeni u kontaktu sa kožom lobanje su do neke mere linearno zavisni [38, 67-8], što nameće izvesne teškoće, ali i posebne mogućnosti: ako je neka frekvencija prisutna u više signala, onda se ova osobina može iskoristiti za relativno pojačanje iste i da se proizvedu signali-kompoziti u kojima se može eliminisati dosta šuma, kao i dosta lokalnih aktivnosti, pa da se tako, naglase svojstva-formacije koje postaju lakše prepoznatljive, a mogu biti korisne za BCI.

Većina savremenih BCI koristi LF deo spektara EEG signala. Eksperimentalni subjekti uče kako da generišu neka mentalna stanja – zamišljanjem, najčešće motoričnih akcija, koje se mogu uočiti u signalima/spektrima. Ovo može da posluži za odredjivanje jednostavnog komandnog jezika, kojim se posredstvom softvera za prepoznavanje/klaisifikaciju može omogućiti upravljanje eksteriora povezanog sa kompjuterom.

Slika 97. Na levoj slici, u desnom delu imamo 16 signala iz 4 eksperimenta po 4; levo su njihovi spektri i inicijalni segmenti spektara. Na desnoj slici imamo 16 segmenata spektara, kao i na levoj strani leve slike, a u levoj koloni imamo pokoordinatne proizvode segmenata spektara iz istog eksperimenta.

Slika 98. (GIS/IBISS) Kompozitni spektrogrami rezultantnih produkt spektara sa slike 97, prikazuju voljno generisane spektralne formacije koje su podobne za jednostavnu automatizovanu ekstrakciju i klasifikaciju u realnom vremenu.

U prikazanim eksperimentima, sa odredjenim uspehom eksperimentalni subject pali/gasi (aktivira/dezaktivira) frekventne impulse u niskom bandu do 6Hz, zatim na frekvencijama od 10 i 12 Hz, što je prikazano na slici 97, kao i tip Morze-kod manipulacije u bandu 12-14Hz.

Signali su prikupljeni sa 4 elektrode na glavi, semplovano na 1kHz; akvizicija je obavljena ukupno 4 puta, čime je dobijena matrica od 16 signala; potom su dobijeni spektri, pa njihove projekcije, ovde početni komadi (LF) do 30Hz. Po eksperimentima su izračunati pokoordinatni proizvod ovih spektralnih derivata iz kojih su dobijeni vremenski spektrogrami – prikazani u koloru, kojima se ilustruju mogućnosti BCI aplikacija.

Ovakvi BCI mogu biti korisni ako je korisniku olakšano da nauči da generiše, aktivira/gasi impulse na odredjenim frekvencijama i ako nisu izloženi pojačanim zahtevima. Inače, moglo bi se reći da im je dosta sužen domen primene, budući da se tu operiše sa redukovanim skupom pouzdano prepoznatljivih stanja-reprezentacija. Priroda signala – niske i jako niske frekvencije utiču na produženo vreme neophodno za prepoznavanje pojedinačnih komandi, čime se dobija veće kašnjenje u odnosu na vreme generisanja signala. Obe okolnosti odredjuju tekuća ograničenja na eskpresivnu moć BCI komandnih jezika, kao i na vreme izvršenja komande u spoljnom okruženju,a cca. 0.5 do 1 s, čime se BCI ograničava primena na jednostavne i usporenije aplikacije. U novije vreme, navedeni problem usmerili su pažnju prema višim frekvencijama u EEG (timovi Krugera- 2006, Watkinsa-2006. i drugih), što bi moglo omogućiti poželjna poboljšanja.

7.7. HF primeri

U EEG laboratoriji, odelenja za neurobiologiju Instituta za biološka istraživanja koja je ciljano opremana unapredjivanim generacijama akvizicionog hardvera i softvera, kao i softvera za visookorezolutnu realno vremensku 3D spektroskopiju, sa blokovima operatora za izvršavanje,

filtriranja, modulacija- kompozita na svim vrstama struktura, u preliminarnoj fazi obavljeni su test – eksperimenti sa prisutnim pacovima koji su imali implantirane electrode direktno u mozak, unutar redovne eksperimentalne prakse ove laboratorije. Upotrebom jednostavnog analognog akustičkog ton generator, uz odgovarajuću akviziciju (1kHz) generisan je jednostavan tonski stimulus na cca 212Hz, koji je potom identifikovan u spektru prikupljenih signala.

Promenom tonske stimulacije, pomeranjem ove frekvencije na više i na dole, neposredno je uočeno da se odgovarajuća spektralna linija pomera redom desno, pa levo. U datom spektru na nižim učestanostima bile su prisutne spektralne formacije različite prirode čija je ukupna i lokalna energija prevazilazila amplitude ovde interesantne linije, ali je ista ostala uočljiva u svojoj spektralnoj okolini i odmah je bilo jasno gde se ista otprilike nalazi, pre verifikacije sa modulacijama frekvencije. Na taj način je identifikovan prvi ton u mozgu. Sa humanim eksperimentalnim subjektima nije bilo moguće koristiti implantirane elektrode, nego isključivo standardne EEG elektrode.

U seriji eksperimenata, sa poboljšanom rezolucijom semplovanja preko 4KHz, kasnije do 10KHz koji su obavljeni po sledećem jednostavnom scenariju: puštani su pojedinačni tonovi sa skromne organe, subjekt je smešten u Faradejev kavez, aktivirana je dvokanalna nefiltrirana akvizicija u navedenim rasponima semplovanja tokom kraćeg vremenskog intervala, sa različitim rasporedom elektroda, ali na pozicijama sa očekivanim boljim odgovorom. Signali su arhivirani i na njima obavljena spektroskopska analiza. Pošto su tonovi bili odredjeni u toku snimanja, bile su odredjene i njihove frekvencije, kao i niz harmonika. U spektrima bliže LF svuda su opstajale masivnije formacije, kao i artefakti 50Hz koji odgovaraju napajanju i prisutni su u okolini, zajedno sa svojim harmonicima. Medjutim, ovde interesantne frekvencije koje korespondiraju proizvedenim tonovima i njihovim harmonicima, bile su direktno uočljive u odnosu na svoju spektralnu okolinu. Sami stimulusi –sintetički tonovi sa priručne organe skromnijeg kvaliteta, imali su manje defekte u proizvedenim harmonicima kojima se boji ton po želji korisnika, a koji su takodje bili vidljivi u dobijenim spektrima.

Jednostavna kalibracija sistema koja je prethodila koristila je dva sintetička tona-stimulusa, na 1kHz i na 3 kHz, prikazano na slici 99 [77]. Potom je izvršena serija snimanja u navedenim okolnostima sa eksterno proizvedenim pojedinačnim tonovima, uz povremeno pomeranje elektroda i sa više eksperimentalnih subjekata. Jedan od boljih odgovora prikazan je na slici 100.

Različitim rasporedjivanjem elektroda dobijene su manje ili više kvalitetne registracije proizvedenih tonova sa dosta uočljivom direktnom reprezentacijom tonova u spektrima i spektrogramima, odnosno, kompozitima. Nakon obavljenih snimanja, izvršeni su raznovrsni testovi laboratorije i uočeno je dosta šuma, kao i da prikazani sistem obiluje mogućnostima za proizvodnju teže odstranjivih artefakata.

Slika 99. (GIS/IBISS) Kalibracija sistema za neuro akustičke eksperimente. Snimljeni nefiltrirani EEG signali, dvokanalno, sa prisutnim kalibracionim sintetičkim signalima na 1kHz i 3kHz, desno; njihovi pojedinačni spektri, sa dominantnim linijama koje odgovaraju kalibracionim frekvencijama; prikazani su I vremenski spektrogrami, u kojima se vidi velika formacija – brdo u LF, ali i veoma čisto separirane spektralne linije koje odgovaraju kalibraciji.

Slika 100. Eksterna stimulacija. Dvokanalno snimljen EEG sa spolja generisanim tonom C1 (truba). Prikazani su nefiltrirani EEG signali, dole desno, njihovi spektri, gore desno i sredina; u spektrima je naglašena distribucija u nižem frekventnom opsegu – bandu (LF), kojoj je pridružen najveći deo energije. Na spektru gore desno, bolje nego na spektru u sredini, uočavaju se linije na cca. 260Hz i multipli – ekvidistantno rasporedjeni u spektru koji odgovaraju proizvedenom tonu C1. Pokoordinatnim množenjem proizveden je kompozit – spektar, dole levo, dok je nakon odsecanja LF u polaznim spektrima i sukcesivnim pokoordinatnim množenjem dobijem spektar u sredini, levo, u kome se spektralne linije koje korespondiraju proizvedenom tonu i njihove spektralne okoline poboljšano vide (obratiti pažnju na poslednja dva (para) izraženijih harmonika, sa uočljivim defektima (koji zamućuju) proizvedeni ton. U sredini, gore i dole vide se spektrogrami generisani povezivanjem polaznih spektara. Gore levo, na spektrogramu kompozita vide se detalji tonske vremensko/frekventne dinamike.

U dosta obeshrabrujućim okolnostima, usled prisustva većeg broja tonskih artefakata, obavljeni su preliminarni eksperimenti sa zamišljenim tonovima po sličnom scenariju. Tonski deo obavljen je tako što je prvo proizveden odredjeni pojedinačni ton na istoj organi u trajanju do 2 s, praćeno pauzom od nekoliko sekundi, a za to vreme je prva eksperimentalna subjekt muzikolog dr. Katarina Tomašević zamislila prethodno odsvirani ton i paralelno je obavljena osmokanalna akvizicija sa sličnim parametrima.

U dobijenom spektrima i spektrogramima uočene su linije koje odgovaraju zamišljenim tonovima. Višestruko ponovljeni slični eksperimenti dali su u jednom delu verifikaciju: da su zamišljeni tonovi stvarno i prisutni u zabeleženim signalima. U priloženim primerima vide se detalji eksperimenata i analize. Scenario je sasvim sličan sprovedenim u mnogim drugim eksperimentima i različitim laboratorijama, samo što su u ovima pretežno zamišljane raznovrsne motoričke aktivnosti, karakteristične za domen niskih frekvencija, LF, uključujći baš i bendove u gore prikazanim spektrogramima.

Na slici 101 prikazan je jedan eksperiment sa unutrašnjim tonom C2. Osmokanalna nefiltrirana visokofrekventna akvizicija, prikaz signala i korespondentnih spektara, sa označenim mestom u spektru koje odgovara zamišljenom tonu. Različiti pokoordinatni proizvodi – kompoziti su koršćeni u izgradnji 3D kompozita. U 3D kompozitima je frekvencija koja odgovara zamišljenom tonu različito zastupljena/odsutna. Sledi da je parcijalna linearna zavisnost polaznih spektara u poželjnim bandovima ili sasvim odsutna ili delimično/različito prisutna, što ukazuje na činjenicu da se zamišljeni ton ne nalazi ravnomerno ili bilo kako u svim izračunatim spektrogramima, tj da je srazmerno zastupljen u snimljenim signalima. Sledi da traženjem

Slika 101. (GIS/IBISS) Levo. Nefiltrirani EEG signali, osmokanalni snimak sa prisutnim unutrašnjim (zamišljenim) tonom C2. Desno su prikazani spektri ovih signala, sa pokazivačem centriranim na zonu C2 snimljenog tona, gde se vidi da zamišljeni ton u svojoj spektralnoj okolini nije uočljiv.

Slika 102. Kompoziti – pokoordinatni proizvodi spektralnih segmenata 500 – 545Hz. Levo product svih 8 ulaza, gde se vide obrisi linije 545Hz, koja odgovara zamišljenom – unutrašnjem tonu – C2; desno pokoordinatni proizvod – kompozit istog spektralnog segmenta, za 4 ulaza: dva frontalna i dva lateralna EEG kanala. Linija 545Hz je prisutna, zajedno sa dodatnim maskirajućim komponentama.

Slika 103. (Sistem za akviziciju i analizu signala u realnom vremenu razvijan u GIS – 3. generacija). Kompozitni spektar – deo spektrograma 500 - 545Hz, bolja selekcija kanala u pokoordinatnim proizvodima. Unutrašnji C2 se u svom spektralnom okruženju odlično izdvaja.

Slika 104. (Sistem za akviziciju i analizu signala u realnom vremenu razvijan u GIS – 2. generacija). Distribucija energija po spektru u vremenu. Levo spektar kompozit – LF, interval 0 -45Hz; u distribuciji se uočavaju linije do (kompozitne) magnitude 16, dok većina ne pada ispod 4. Desno, kompozitni spektrogram sa prethodne slike, 500 -545Hz, gde je (maksimalna) magnitude linije unutrašnjeg tona jednaka 1, tako da na ovaj deo kompozitnog spektra odlazi do 1% energije levog kompozita, ali je tražena spektralna linija dobro lokalno izdvojena i raspoznatljiva.

najboljeg odgovora imamo otvorene mogućnosti za poboljšanje prepoznavanja unutrašnjeg tona, ali postaje jasno da definicija prisutnog kriterijuma ne može biti fleksibilna. Drugi eksperiment u kome je ekstrakcija iste frekvencije nešto otežana, iako se vidi da je ista prisutna – centralna dominantna linija u kompozitima- spektrogramima na slici 105. Slabija lokalna izdvojenost unutrašnjeg tona C2 prisutna je i u primeru na slici 106 levo, ali je lokalna izdvojenost u kompozitnom spektru odlična (gornji spektrogram na slici 106 levo, isto na desnjoj strani – bočni 3D pogled). Eksperimenti sa kamer tonom A1, slike 107-108, prikazuju pojedinačne signale, njihove kompozitne spektre sa odličnim lokalnim izdvajanjem frekventne formacije koja odgovara traženom unutrašnjem tonu A1 na 440 - 444Hz.

Slika 105. Drugi eskperiment sa zamišljenim – unutrašnjim tonom C2; korespondirajuća spektralna linija je dobro uočljiva u oba kompozita, iako se uočavaju i druge spektralne formacije, pa zadatak bolje lokalizacije tražene spektralne linije zahteva dopunske napore.

Slika 106. Još jedan eksperiment sa zamišljenim – unutrašnjim tonom C2. Levo imamo spektrograme dva pojedinačna kanala unutar spektralne okoline zamišljenog tona C2, donji i srednji spektrogram; kompozit spektrogram gornji na levoj strani, bočni pogled – na desnoj strani, pokazuje da se u frekventnoj okolini zamišljenog tona C2 kompozitna spektralna formacija odlično izdvaja.

Slika 107. Unutrašnji ton A1 (440 -444Hz), ovde centriran na 439.4Hz. Prikazani su signali, njihovi spektri i delovi spektara – okolina zamišljenog tona, kompozitni spektri, sa (lokalno) dominantnom formacijom koja odgovara unutrašnjem tonu.

Na taj način, uz prepoznavanje frekvencija koje odgovaraju unutrašnjim tonovima u realnom vremenu, ako se isto ostvari automatizovano, mogu se kontrolisana fiziološka stanja koja odgovaraju unutrašnjim tonovima, kao i melodijske i eventualno složenije tonske sekvence dalje upotrebiti u efikasnijem BCI.

Skorijim MEG eksperimentima Andreasa Ioannidesa 2007. ([64]) pokazano je da se u prisustvu (sasvim jednostavne) muzike aktivira mnoštvo spregnutih procesa na različitim i udaljenim

Slika 108. Unutrašnji ton A1 (440 - 444Hz), ovde centriran na 443.4Hz. Prikazani su signali, spektri i okolina zamišljenog tona u kompozitnom spektru, sa (lokalno) dominantnom formacijom koja odgovara unutrašnjem tonu.

lokacijama u mozgu, čime se povećava i verovatnoća pojavljivanja istih komponenti u većem broju moždanih (EEG/MEG) signala na različitim mestima, a time se poboljšavaju i mogućnosti lokalizacije i prepoznavanja elemenata- pojedinačnih tonova, kroz parcijalnu linearnu zavisnost prisutnu u većem broju signala. Za očekivati je da isto važi i za unutrašnju, zamišljenu muziku i njene sastojke. Muzika se sastoji od individualnih tonova i ako možemo da detektujemo ove, moćićemo i da rekonstruišemo i muziku u mozgu, pa i unutrašnju. Specifično za BCI zasnovan na unutrašnjim tonovima – muzici, ovde imamo prelaz sa sporijeg pulsnog na tonsko biranje, koristeći tonske sekvence – melodije u ekspresivno bogatom hijerarhijskom komandnom jeziku interfejsa, sa veoma brzim i visoko pouzdanim voljno generisanim prekidanjem. Različiti tonovi imaju različite prve harmonike čime se omogućava dopunska pouzdanost u razdvajanju i prepoznavanju individualnih tonova.

Na taj način, ostvarila bi se veća klasa brzo prekidnih/izmenljivih kontrolabilnih stanja sa prepoznavanjem u realnom vremenu, što bi bila dobra osnova za formalizovani sistem, kao npr. prirodni jezik ili komandni jezik operativnog sistema, sa brzim sekvencama komandnih akcija i nivoa.

Navedeni postupci zahtevaju potpunu automatizaciju na bar jednom podskupu moguće interesantnif fizioloških stanja za ove namene, pre integracije ovako definisanog BCI, što unosi dopunske zahteve od kojih će neki još biti diskutovani.

Dosta velika populacija bi mogla biti uključena u korišćenje ovakvog BCI, svi sa umereno dobrim muzičkim sluhom. Napomenimo, da više bioloških vrsta, veoma efikasno kroz duže periode evolucije koristi tonski organizovane – muzičke jezike (žabe, ptice, delfini, kitovi).

Navedimo da su se i druge laboratorije i istraživači okrenuli VF baziranim EEG sadržajima kao osnovi za BCI sa bržim izmenama i većim brojem kontrolisanih stanja.