Upload
truongngoc
View
212
Download
0
Embed Size (px)
Citation preview
ALMA MATER STUDIORUM – UNIVERSITÀ DI BOLOGNA
CAMPUS DI CESENA
SCUOLA DI INGEGNERIA E ARCHITETTURA
CORSO DI LAUREA MAGISTRALE IN INGEGNERIA BIOMEDICA
TITOLO DELLA TESI:
Sviluppo di un sistema BCI EEG-based per il controllo
del movimento di un modello di arto superiore
Tesi in
Bioingegneria della Riabilitazione LM
Relatore
Prof. Angelo Cappello
Correlatrice
Ing. Anna Lisa Mangia
Presentata da
Valeria Mondini
Sessione Terza
Anno Accademico 2013-2014
3
Indice
Introduzione ...................................................................................... 7
1. I sistemi Brain-Computer Interface (BCI)........................... 10
1.1 Definizione di sistema BCI........................................................ 10
1.2 Tecniche di estrazione del segnale cerebrale............................... 12
Elettroencefalografia (EEG)........................................................... 13
Elettrocorticorticografia (ECoG).................................................... 14
Registrazione intracorticale (Intracortical Neuron Recording)............. 15
Magnetoencefalografia (MEG)........................................................ 15
Risonanza magnetica funzionale (fMRI)............................................. 17
Spettroscopia nel vicino infrarosso (NIRS)......................................... 17
1.3 Il segnale EEG......................................................................... 19
Elettrodi per EEG (passivi o attivi, wet o dry)................................... 19
Il Sistema Internazionale 10/20....................................................... 20
Spettro del segnale EEG................................................................ 22
1.4 Segnali di controllo nei sistemi BCI EEG-based.......................... 24
Visual Evoked Potentials (VEP)...................................................... 25
Potenziali evocati P300................................................................. 26
Slow Cortical Potentials (SCP)....................................................... 28
Ritmi sensorimotori e protocollo Motor Imagery................................ 29
1.5 Il presente lavoro di tesi........................................................... 32
2. Materiali e Metodi ..................................................................... 34
2.1 Acquisizione e processing del segnale......................................... 34
Acquisizione dei segnali................................................................. 34
Re-referencing con CAR (Common Average Reference) modificato........ 35
Filtraggio temporale..................................................................... 37
Il metodo CSP.............................................................................. 37
Feature Selection.......................................................................... 40
4
Classificatore Lineare Support Vector Machine (SVM)........................ 41
2.2 Il software sviluppato (piattaforma LabVIEW 2011) ................... 44
Modello di arto superiore............................................................... 45
Training ...................................................................................... 46
Training e Updating...................................................................... 49
Classification............................................................................... 56
2.3 Test del software sviluppato...................................................... 58
I soggetti..................................................................................... 58
Modalità di svolgimento delle prove................................................. 60
2.4 Independent Component Analysis.............................................. 62
Il metodo ICA (Independent Component Analysis).............................. 62
2.5 Modalità di presentazione dei risultati....................................... 66
Presentazione dei risultati dei soggetti............................................. 66
Presentazione dei risultati del sistema.............................................. 69
3. Risultati e Discussione ...............................................................72
3.1 Soggetto DB............................................................................. 72
Timeline delle sessioni di addestramento.......................................... 72
Performances in fase di Training e Updating..................................... 72
Performances in Classification........................................................ 73
Sorgenti ICA associabili a ERD/ERS (sessione migliore) ..................... 73
Commento generale....................................................................... 74
3.2 Soggetto ALM.......................................................................... 76
Timeline delle sessioni di addestramento.......................................... 76
Performances in fase di Training e Updating..................................... 76
Performances in Classification........................................................ 77
Sorgenti ICA associabili a ERD/ERS (sessione migliore) ..................... 77
Commento generale....................................................................... 78
3.3 Soggetto MR............................................................................ 80
Timeline delle sessioni di addestramento.......................................... 80
Performances in fase di Training e Updating..................................... 80
Performances in Classification........................................................ 81
Sorgenti ICA associabili a ERD/ERS (sessione migliore) ..................... 81
5
Commento generale....................................................................... 82
3.4 Soggetto VM........................................................................... 84
Timeline delle sessioni di addestramento.......................................... 84
Performances in fase di Training e Updating..................................... 84
Performances in Classification....................................................... 85
Sorgenti ICA associabili a ERD/ERS (sessione migliore) ..................... 85
Commento generale....................................................................... 86
3.5 Performances del sistema......................................................... 88
Evoluzione della separabilità del training set.................................... 88
Commento generale....................................................................... 91
3.6 Discussione generale................................................................ 93
Confronto con la letteratura........................................................... 93
Possibili miglioramenti del sistema................................................ 100
Conclusioni..................................................................................... 104
Bibliografia................................................................................... 108
7
Introduzione
Con il termine brain-computer interface (BCI) si intende un sistema
in grado di misurare e tradurre direttamente i segnali cerebrali in
istruzioni per periferiche di vario tipo (sistemi per la comunicazione,
carrozzine, protesi e ortesi etc.), realizzando un canale di
comunicazione che prescinde dai normali output neuromuscolari del
sistema nervoso centrale. La possibilità di realizzare un sistema di
questo tipo, utilizzabile anche da pazienti a stadi più o meno avanzati
di SLA (Sclerosi Laterale Amiotrofica) o anche solo semplicemente
paralizzati, ha nutrito negli ultimi decenni l’interesse della ricerca.
Da un punto di vista concettuale, possiamo pensare ad un generico
sistema BCI come composto da tre blocchi: un blocco di acquisizione
del segnale, uno di condizionamento (che traduce il segnale acquisito in
istruzioni per la periferica) e uno di feedback, che chiude il cerchio
dando un riscontro al soggetto dello stato mentale in cui si è portato. I
sistemi BCI sono tanti e diversi, e possono essere categorizzati secondo
diversi punti di vista: uno di questi è la tecnica di acquisizione del
segnale cerebrale, che può essere invasiva o non invasiva. Tra le
modalità non invasive, la tecnica più diffusa in quest’ambito è
l’elettroencefalografia (EEG), grazie alla sua buona portabilità, bassi
rischi per il paziente e buona risoluzione temporale. A loro volta, le
BCI EEG-based possono sfruttare diversi segnali di controllo: i più
comuni sono i VEP (Visual Evoked Potentials), i potenziali evocati
P300, gli SCP (Slow Cortical Potentials) e i ritmi sensorimotori.
In questo lavoro di tesi, è stato sviluppato un sistema BCI EEG-
based che sfrutta, come segnale di controllo, la modulazione dei ritmi
sensorimotori tramite immaginazione motoria della mano destra o
sinistra. Maggiori dettagli in generale sulle modalità di acquisizione del
8
segnale cerebrale, sulla tecnica EEG in particolare, sui segnali di
controllo dei sistemi BCI EEG-based e sui ritmi sensorimotori, sono
presenti nel primo capitolo della tesi.
Il cuore di questo lavoro è naturalmente consistito nella
progettazione del software del sistema, in grado di leggere i segnali
acquisiti e di processarli per dare un feedback al soggetto. Il software
qui descritto è stato in particolare basato su piattaforma LabVIEW
2011. L’obbiettivo dell’esperimento era quello di addestrare un
soggetto a controllare tramite EEG il movimento (rotazione) di un
modello di arto superiore simulato sullo schermo. Per ora, l’arto
superiore è stato modellato come un semplice segmento rigido 1-link,
vincolato alla spalla.
Oltre a progettare il software LabVIEW, in questo lavoro di tesi il
sistema è stato anche testato su quattro persone. Maggiori informazioni
su come siano stati processati i segnali, sull’implementazione del
software e sulle modalità di svolgimento degli esperimenti possono
essere ritrovati nel secondo capitolo.
Nel terzo e ultimo capitolo della tesi, infine, si riporteranno i
risultati ottenuti. Seguirà un’ultima parte in cui il sistema qui descritto
sarà confrontato con lavori simili in letteratura. In questo modo, il
sistema potrà essere contestualizzato, e nuove idee per possibili
miglioramenti potranno emergere.
10
1. I sistemi Brain-Computer Interface (BCI)
1.1 Definizione di sistema BCI
Secondo la definizione di J. Wolpaw del 2002, una brain-computer
interface (BCI) è “un sistema in grado di misurare e convertire
l’attività del sistema nervoso centrale in un output artificiale che può
sostituire, ripristinare, enfatizzare, supplire o migliorare gli output
naturali, cambiando in questo modo le interazioni in atto tra il sistema
nervoso centrale e l’ambiente interno od esterno” [1]. In altri termini,
un sistema BCI realizza un nuovo canale di comunicazione verso
l’esterno, traducendo direttamente i segnali cerebrali in istruzioni per
periferiche di vario tipo (es. sistemi per la comunicazione, protesi e
ortesi, carrozzine), senza che sia necessaria la mediazione dei muscoli
o dei nervi periferici [2].
Con un sistema di questo tipo, la comunicazione e l’interazione con
l’ambiente sarebbero nuovamente possibili anche in soggetti affetti da
gravi disordini neuromuscolari, il che spiega in parte il grande interesse
della ricerca in questo campo negli ultimi decenni [3].
Concettualmente, possiamo pensare ad un generico sistema BCI
come costituito dalle seguenti parti:
1. Signal Acquisition
2. Signal Processing
3. Feedback
Il modulo di acquisizione del segnale (signal acquisition) è quello
che permette di registrare l’attività cerebrale del paziente,
convertendola in un segnale fruibile per successive elaborazioni. Le
modalità di acquisizione del segnale possono essere varie, e saranno
meglio descritte nel prossimo paragrafo.
11
Il modulo di condizionamento del segnale (signal processing) è
quello che di fatto traduce i segnali cerebrali estratti in comandi per la
periferica, e può essere a sua volta pensato come composto dalle
seguenti sottoparti:
preprocessing del segnale: comprende i vari tipi di filtraggio
(spaziale o temporale) e in generale le operazioni finalizzate al
miglioramento del rapporto segnale/rumore, identificazione delle
porzioni di segnale più significative, rimozione di artefatti etc.
estrazione di features dal segnale preprocessato
classificazione
selezione dell’azione da intraprendere in base alla
classificazione
Il feedback (es. movimento dell’arto meccanico/carrozzina,
selezione di un simbolo su uno schermo) rappresenta la conseguenza
tangibile dell’attività cerebrale del soggetto. Se la specifica
applicazione BCI richiede un addestramento dell’utente, il feedback
svolge un ruolo fondamentale: palesando infatti alla persona le
conseguenze dello stato mentale in cui si è portata, le permette di
capire come interagire con il sistema. Il feedback stesso rappresenta al
contempo elemento sia di “ricompensa” che di “punizione”, a seconda
della sua concordanza o meno rispetto alle intenzioni del soggetto.
Figura 1. Schema a blocchi di un generico sistema BCI real-time.
12
Una rappresentazione schematica di quanto appena detto può essere
ritrovata in Figura 1.
1.2 Tecniche di estrazione del segnale cerebrale
Parlando di BCI, è possibile descrivere la grande varietà di sistemi
secondo diversi punti di vista: uno di questi riguarda la tecnica
utilizzata per la detezione del segnale.
All’interno di questo paragrafo si andranno a descrivere diverse
tecniche di neuroimaging che possono essere impiegate all’interno di
sistemi BCI. Una prima distinzione può essere fatta in base al tipo di
attività cerebrale monitorata:
1. segnali elettrofisiologici
2. segnali emodinamici
Con il termine “segnale elettrofisiologico” si intendono le
variazioni di campo elettromagnetico/i flussi di corrente locali che sono
diretta conseguenza dell’attività neuronale. In campo BCI, le modalità
di detezione del segnale che rilevano l’attività elettrofisiologica sono
l’elettroencefalografia e la magnetoencefalografia (EEG e MEG, non-
invasive), l’elettrocorticografia (ECoG) e la registrazione intracorticale
(invasive).
Per quanto riguarda invece il “segnale emodinamico”, questo si basa
sul fatto che il glucosio nel sangue viene rilasciato ad un tasso
maggiore in un’area di neuroni attivi rispetto ad una di neuroni inattivi
[4][5]. Come conseguenza, si può osservare una variazione locale
dell’equilibrio tra la concentrazione di ossiemoglobina e
deossiemoglobina: il valore del rapporto tra le due forme mostra
dunque localmente un andamento che è funzione del livello di attività
delle aree cerebrali [4][5][6]. Le variazioni del rapporto locale tra
ossiemoglobina e deossiemoglobina possono essere quantificate da
metodi di neuroimaging come la risonanza magnetica funzionale
(fMRI) o la spettroscopia nel vicino infrarosso (NIRS) [4][5]. Non
essendo la risposta emodinamica una conseguenza immediata
dell’attività dei neuroni, come lo è invece il segnale elettrofisiologico,
13
queste due ultime modalità di neuroimaging sono anche dette
“indirette” [5].
Dopo questa breve introduzione sui principi alla base delle modalità
di estrazione del segnale cerebrale, si fornirà di seguito una breve
descrizione di ciascuna tecnica, evidenziando vantaggi e svantaggi
nell’ottica della progettazione di un sistema BCI.
Elettroencefalografia (EEG)
L’elettroencefalografia (EEG, Figura 2) è una tecnica non invasiva
che valuta l’attività elettrofisiologica del cervello attraverso la misura
dei potenziali sullo scalpo. Il segnale EEG è un segnale ottenuto come
differenza di potenziale tra due elettrodi (di cui almeno uno posizionato
sullo scalpo) [5]. Ciò che rappresenta l’EEG è principalmente l’attività
elettrica dei neuroni piramidali nella corteccia poiché, grazie alle loro
caratteristiche di sincronizzazione, disposizione e prossimità rispetto
allo scalpo, danno luogo a campi elettrici che si sommano
efficacemente e sono così rilevabili in superficie [7].
I principali problemi dell’EEG sono la ridotta ampiezza dei segnali,
unitamente a un’elevata sensibilità
al rumore (linee di distribuzione
elettrica, artefatti muscolari,
artefatti da movimento oculare
etc), nonché una risoluzione
spaziale intrinsecamente
deteriorata dal passaggio dei
segnali attraverso più strati di
tessuto e soprattutto attraverso il
cranio, che opera come elemento
di “sfocatura spaziale”[8].
Nonostante questi problemi,
l’EEG rimane di gran lunga la
modalità di neuroimaging più
diffusa in ambito BCI [5]. Tra i Figura 2 : EEG
14
punti di forza ritroviamo infatti una buona risoluzione temporale
(dell’ordine delle decine di millisecondi [8]), buona portabilità del
sistema, costi relativamente bassi, semplicità e sicurezza di utilizzo
(essendo un metodo non invasivo).
Data la grande diffusione dei sistemi BCI EEG-based e dato che il
sistema sviluppato nel presente lavoro di tesi è di questo tipo, si
riprenderà più estesamente la descrizione della tecnica EEG anche nel
prossimo paragrafo, mentre nel paragrafo successivo si introdurranno i
segnali di controllo più utilizzati nei sistemi BCI EEG-based. La
tecnica EEG è stata già qui brevemente citato solo per completezza e
per facilitare il confronto con altre tecniche di neuroimaging.
Elettrocorticorticografia (ECoG)
L’elettrocorticografia (ECoG, Figura 3) è una metodo di
registrazione invasivo in cui un array di elettrodi viene posizionato
direttamente sulla corteccia cerebrale, in seguito a craniotomia [4][5][8].
L’array di elettrodi può essere posizionato esternamente rispetto alla
dura madre (ECoG epidurale) oppure internamente (ECoG subdurale)
[5].
I vantaggi di questa tecnica rispetto all’EEG, essendo in questo caso
l’array di elettrodi a contatto con la corteccia, sono ovviamente una
maggiore ampiezza del segnale e un miglior rapporto segnale-rumore,
grazie anche ad una minore sensibilità agli artefatti [5][8]. L’ECoG
presenta anche una maggiore risoluzione temporale ma soprattutto
spaziale, per via dell’assenza di tessuti da attraversare, che mescolano
ed attenuano i segnali [8][9].
Naturalmente, il grande svantaggio dell’ECoG è la sua invasività, che
comporta rischi non trascurabili per il paziente: per questo motivo, i
primi studi su ECoG sono stati eseguiti su animali [5]. Un altro problema
dell’ECoG riguarda il fatto che tuttora non è stato del tutto chiarito quale
sia la stabilità a lungo termine dei segnali acquisiti [5][8].
Attualmente, l’impianto di ECoG non è diffuso, anche se la tecnica
viene a volte utilizzata prima di trattare chirurgicamente i pazienti affetti
da epilessia, per localizzare i centri epilettici [8]. Durante il periodo di
15
monitoraggio, è possibile sfruttare l’impianto anche per finalità di
ricerca, tra cui anche quella sulle BCI basate su immaginazione motoria
[8][10]–[12].
Registrazione intracorticale (Intracortical Neuron Recording)
La registrazione intracorticale (Figura 3) è una tecnica invasiva che
misura l’attività elettrica nella materia grigia cerebrale [5]. La tecnica
prevede l’inserimento di un array di microelettrodi che penetrano nella
corteccia, per catturare potenziali d’azione e local field potentials dai
neuroni [4].
Dall’array di microelettrodi impiantato possono essere ottenuti,
tramite processing diversi, tre tipi di segnale:
1. single-unit activity (SUA), che analizza lo spiking di un neurone
2. multiple-unit activity (MUA), che analizza lo spiking di un
insieme di neuroni
3. local field potentials (LFP), ottenuti da un filtraggio passa-basso
dei valori di potenziale extracellulare [13]
Come l’ECoG, anche le registrazioni intracorticali condividono i
vantaggi di avere un’elevata risoluzione
spaziale e temporale e di essere sistemi
portabili. Per quanto riguarda invece i
problemi, oltre all’invasività, occorre
ricordare che l’accuratezza dei segnali
potrebbe essere deteriorata a seconda
della reazione del tessuto cerebrale
all’impianto del microelettrodo [5].
Inoltre, anche la sensibilità dello
strumento potrebbe variare nel corso del
tempo [5].
Magnetoencefalografia (MEG)
La magnetoencefalografia (MEG, Figura 4) torna ad essere una
tecnica non invasiva. In particolare, la MEG registra sullo scalpo le
Figura 3 : Le tecniche EEG, ECoG
e Intracort ical neuron recording
16
fluttuazioni del campo magnetico indotte dalle popolazioni di neuroni
cerebrali, principalmente corticali [8]. Uno dei vantaggi dell’utilizzo dei
campi magnetici rispetto a quelli elettrici è che i primi risultano essere
meno disturbati dalla presenza del cranio e dello scalpo [5], anche se i
processi neurofisiologici che producono i segnali MEG sono gli stessi
che per i segnali EEG [5].
Dal momento che l’ampiezza dei
segnali rilevati dalla MEG è
estremamente piccola (dell’ ordine dei
10-14 Tesla [8]) e trascurabile rispetto
al campo magnetico terrestre, le
registrazioni MEG vanno effettuate in
una stanza magneticamente
schermata, il che contribuisce a
rendere il sistema non portabile
[4][5][8][14]. Inoltre, per rilevare
segnali di così piccola entità sono
necessari dispositivi superconduttori a
interferenza quantistica (SQUID), che
devono essere continuamente
raffreddati per garantire la
superconduttività [5][14]. I moderni sistemi MEG sono costituiti
tipicamente da array di circa 300 sensori SQUID; all’array viene data
una forma “a elmo”, e i sensori vengono continuamente raffreddati
grazie al passaggio di elio liquido a una temperatura prossima allo zero
assoluto [4][14]. A partire dai dati di campo magnetico rilevati attorno
allo scalpo dai sensori SQUID, un computer ricava una mappa nel tempo
dell’attività cerebrale, risolvendo un problema inverso simile a quello
dell’EEG [4][14]. Per quanto riguarda l’accuratezza spazio-temporale, la
MEG risulta essere leggermente migliore rispetto all’EEG [5].
A causa della non-portabilità del sistema MEG e dei costi elevati
dell’apparecchiatura, le BCI MEG-based si trovano ancora allo stadio
iniziale, anche se qualche studio è stato fatto [5][15]–[17].
Figura 4: MEG
17
Risonanza magnetica funzionale (fMRI)
Diversamente dalle modalità viste finora, la risonanza magnetica
funzionale (fMRI, Figura 5) è una tecnica “indiretta”, che si basa sul
segnale emodinamico.
La fMRI è una tecnica di neuroimaging non invasiva in grado di
rilevare, oltre alle variazioni di volume e al flusso ematico cerebrale, il
livello di ossigenazione del sangue durante l’attivazione dei neuroni
[5][14]. In particolare, la modulazione del rapporto tra ossiemoglobina e
deossiemoglobina indotta dall’attività neuronale genera una variazione
di contrasto nell’immagine dovuta al cosiddetto fenomeno “blood
oxygenation level dependent” (BOLD) [4]. Il fenomeno BOLD dipende
dalle diverse proprietà magnetiche delle forme ossigenata e deossigenata
dell’emoglobina (la deossiemoglogina è paramagnetica,
l’ossiemoglobina è leggermente diamagnetica), per cui alla variazione
del rapporto locale tra le due forme corrisponde una diversa intensità
dell’immagine [4][18]. Grazie al fenomeno BOLD, la fMRI può fornire
mappe di attivazione che rivelano le aree cerebrali coinvolte in
particolari processi mentali [4].
Nell’ottica della realizzazione di un sistema BCI, uno dei grandi
vantaggi della fMRI è l’elevata risoluzione spaziale (circa 2-3mm il lato
del voxel [14]), mentre tra gli svantaggi abbiamo la non-portabilità,
l’elevata sensibilità rispetto a movimenti della testa e la bassa
risoluzione temporale [5][14]. In effetti, la risoluzione temporale della
fMRI è di soli 1-2 secondi, cui si aggiungono i fisiologici ritardi delle
risposte emodinamiche, che vanno dai 3 ai 6 secondi [5][14].
Per questi motivi, l’uso di fMRI in tecnologie BCI è relativamente
recente [5][19], [20].
Spettroscopia nel vicino infrarosso (NIRS)
Anche la spettroscopia nel vicino infrarosso (NIRS, Figura 5), come la
fMRI, è un metodo indiretto per l’analisi dell’attività cerebrale. In
particolare, la NIRS è un metodo ottico, che sfrutta la radiazione
infrarossa per rilevare le variazioni dell’ossigenazione del sangue a
seconda dell’attività dell’area analizzata [5]. La stima dell’ossigenazione
18
è resa possibile dalle proprietà ottiche dell’emoglobina, che assorbe la
radiazione infrarossa in modo differente nella forma ossigenata o meno
[4]. Il grado di ossigenazione di un tessuto può dunque essere
determinato illuminando la porzione e misurando la quantità di luce che
emerge, anche perché nell’intervallo di lunghezze d’onda in cui lavora la
NIRS (700-900 nm) la pelle, il tessuto e l’osso sono quasi trasparenti,
mentre l’emoglobina è molto sensibile [4]. Data la natura del sistema, in
cui i sensori vengono appoggiati sullo scalpo, la luce infrarossa penetra
all’interno del cranio ad una profondità massima di 1-3 cm, perciò
l’analisi non può essere che limitata agli strati più esterni della corteccia
[5]. L’informazione spaziale sull’attività della corteccia è ottenuta
applicando array multipli di sensori NIRS (optodi) attorno allo scalpo,
dando origine a quella che viene anche chiamata DOT, “diffuse optical
tomography” [4][5][14].
Nell’ottica della progettazione di un sistema BCI real-time anche la
NIRS, come la fMRI, soffre delle limitazioni dovute ai ritardi della
risposta emodinamica, anche se la sua risoluzione temporale sarebbe
accettabile (dell’ordine dei millisecondi [5]). Inoltre, anche la
risoluzione spaziale è piuttosto bassa (circa 1 cm [5]).
Dal lato dei vantaggi, la NIRS presenta un’ottima portabilità, la non
invasività e costi piuttosto limitati [5]. In effetti, la fattibilità della
detezione di task mentali tramite NIRS è stata già mostrata in alcuni
studi [5][21], [22].
Figura 5 : A sinistra: fMRI, a destra: NIRS
19
La Tabella 1 riassume brevemente le caratteristiche delle modalità di
neuroimaging appena descritte. Prima vedere quali siano i segnali di
controllo tipicamente utilizzati nei sistemi BCI, si tratterà più
estesamente nel prossimo paragrafo il segnale EEG.
1.3 Il segnale EEG
Come già accennato, i segnali EEG vengono ottenuti come
differenze di potenziale tra elettrodi posizionati sullo scalpo. Maggiori
informazioni sul tipo di elettrodi utilizzabili, sul loro posizionamento e
sulle caratteristiche spettrali del segnale EEG possono essere ritrovate
nelle seguenti sezioni.
Elettrodi per EEG (passivi o attivi, wet o dry)
L’elettrodo è il mezzo attraverso il quale il potenziale elettrico sullo
scalpo viene registrato [23]. Normalmente, gli elettrodi usati in clinica
sono costituiti di AgCl [5][23], e necessitano dell’interposizione di gel
tra elettrodo e scalpo per abbassare l’impedenza di contatto. Per
registrare il segnale in modo accurato, infatti, l’impedenza di contatto
elettrodo-cute dovrebbe essere sempre rimanere tra 1 kΩ e 10 kΩ [24], il
che può essere ottenuto solo attraverso una corretta preparazione della
pelle e con l’interposizione di gel o pasta elettrolitica.
I principali problemi dell’utilizzo di gel/pasta elettrolitica sono
l’allungamento dei tempi di preparazione del soggetto, proporzionale al
Tabella 1: Tabel la r iassuntiva del le caratterist iche del le modalità di
neuroimaging descri t te[5]
20
numeri di canali acquisiti, e la continua manutenzione richiesta per
assicurare una buona qualità del segnale [5]. Il progressivo seccarsi del
gel, infatti, modifica poco alla volta l’impedenza di contatto, il che
influenza negativamente la qualità delle registrazioni [24]. Inoltre,
soprattutto nelle configurazioni con elevato numero di canali, occorre
prestare attenzione affinché il gel non scivoli anche tra un elettrodo e
l’altro, perché questo formerebbe un cortocircuito [24].
Per far fronte a questo tipo di problemi, sono stati introdotti anche
elettrodi di tipo dry, “a secco”, che non necessitano dell’uso di gel [5].
Gli elettrodi del tipo dry, dovendo gestire impedenze di contatto
elettrodo-cute piuttosto elevate, sono generalmente elettrodi attivi, ossia
sfruttano una preamplificazione e/o dei buffer direttamente a valle
dell’elettrodo [5][25], [26]. La tecnologia degli elettrodi attivi si può ad
ogni modo trovare anche su elettrodi di tipo wet. Naturalmente, il fatto
di avere un circuito direttamente a valle di ogni elettrodo aumenta il
costo del sistema.
Ricapitolando, possiamo distinguere gli elettrodi da EEG in questo
modo:
a secco (dry) oppure con gel (wet), a seconda che sia prevista o
meno l’interposizione di un mezzo conduttivo per abbassare
l’impedenza di contatto
attivi o passivi, a seconda della presenza o meno di un circuito
di preamplificazione a direttamente sull’elettrodo
In questo lavoro di tesi è stato fatto uso di elettrodi passivi di tipo wet.
Il Sistema Internazionale 10/20
Nelle registrazioni multicanale, normalmente si segue per il
posizionamento degli elettrodi sullo scalpo il Sistema Internazionale
10/20 [27]. Questo sistema utilizza come riferimenti quattro punti di
repere anatomico:
il nasion, punto craniometrico situato sulla linea mediana
alla radice del naso e identificabile da una piccola depressione
[28]
21
l’ inion , punto craniometrico sulla nuca corrispondente alla
protuberanza occipitale esterna [28]
i punti preauricolari , piccole depressioni alla radice degli
zigomi, subito anteriormente al trago [27]
Figura 6 Sistema Internazionale 10/20
Il nome del sistema deriva dal fatto che le posizioni degli elettrodi
sono determinate a intervalli del 10% e del 20% della distanze che
congiungono i punti nasion-inion e i punti preauricolari destro e sinistro
(Figura 6).
Lo standard definisce anche la nomenclatura degli elettrodi. In
particolare, il nome di ogni elettrodo inizia con una sigla che dipende
dalla localizzazione, per cui avremo A per le locazioni auricolari, C per
la regione centrale, P per le parietali, F per le frontali, Fp per quelle
fronto-polari, O per quelle occipitali. I nomi degli elettrodi sono
completati poi da un’appendice, che è un numero pari per gli elettrodi a
destra, dispari per gli elettrodi a sinistra, la lettera ‘z’ (che sta per zero)
per gli elettrodi sulla linea mediana [27].
Il Sistema Internazionale 10/20 del 1958 [27] definiva le locazioni di
19 elettrodi + 2 sui lobi auricolari. Successivamente, per permettere il
posizionamento di più elettrodi, il sistema è stato esteso alle versioni
10/10 e 10/5, per arrivare a definire più di 300 locazioni [29], [30]. La
versione 10/5 descritta in [30] non è però standardizzata [24].
22
Per ridurre i tempi di preparazione del soggetto, spesso si utilizzano
elettrodi premontati su cuffia già nelle posizioni definite dallo standard.
Spettro del segnale EEG
Due parametri fondamentali per descrivere il segnale EEG sono
l’ampiezza e la frequenza delle oscillazioni. In termini di ampiezza,
mentre le oscillazioni sulla superficie cerebrale possono anche arrivare
alla decina di mV, sullo scalpo le ampiezze registrabili sono dell’ordine
del centinaio di µV [31]. Dal punto di vista spettrale, invece, il segnale
EEG occupa un range di frequenze compreso tra gli 0.5 e 100 Hz [31].
All’interno di questo range possiamo individuare poi delle sotto-bande
(ritmi EEG, Figura 7), di interesse perché correlate a stati fisiologici
(sonno, rilassamento, attenzione, concentrazione etc) o patologici
(epilessia, tumori, coma etc) [32].
I ritmi EEG sono cinque (theta, delta, alfa, beta e gamma), e
saranno brevemente qui descritti.
Ritmi delta (δ): le onde delta hanno frequenza compresa tra 0.5 e
4Hz, ed un’ampiezza normalmente inferiore ai 100 µV [31]. Negli
adulti, le onde delta sono associate a stati di sonno profondo, mentre
una grande attività in banda delta nello stato di veglia è da considerarsi
patologica [5]. Nei bambini, l’ampiezza delle onde delta diminuisce
all’aumentare dell’età.
Ritmi theta (θ): le onde theta hanno frequenza compresa tra 4 e
7Hz, e ampiezza normalmente inferiore ai 100 µV [31]. Come il ritmo
delta, anche le onde theta sono maggiormente presenti nei bambini,
mentre negli adulti sono associate a stati di sonno o di meditazione [5].
In alcuni adulti il ritmo theta è associato anche a stress emotivo, in
particolare frustrazione, ad esempio subito dopo l’improvvisa
rimozione di uno stimolo piacevole [31].
Ritmi alfa ( α): le onde alfa cadono nella banda compresa tra 8 e
13Hz, ed hanno un’ampiezza inferiore a 10 µV [31]. Queste onde si
registrano in condizione di veglia, ma indicano uno stato di
rilassamento. Nelle aree occipitali, ad esempio, l’ampiezza delle onde
alfa aumenta molto quando si chiudono gli occhi, mentre diminuisce
drasticamente alla riapertura, oppure se viene fatto uno sforzo mentale
23
[5]. In particolare, quando il soggetto è attento e concentrato su una
specifica attività, alle onde alfa si sostituiscono ritmi a frequenza
maggiore [31].
Nello stesso range di frequenze del ritmo alfa ma con localizzazione
nell’area della corteccia motoria si rileva anche il ritmo mu,
particolarmente interessante perché fortemente correlato sia al
movimento, sia alla sua semplice osservazione quando eseguito da altri
(grazie ai neuroni specchio [33][34]), sia alla sua sola immaginazione,
dopo un po’ di addestramento [5][35], [36].
Ritmi beta (β): le onde beta occupano il range di frequenze tra 13 e
30Hz e hanno ampiezza inferiore a 20 µV [31]. Queste onde si
registrano nelle aree frontali, centrali e parietali, e si manifestano
durante lo stato di veglia ad occhi aperti quando il soggetto è coinvolto
in un’attività mentale [5][31]. I ritmi beta sono anche associati
all’attività motoria, e vengono modulati sia durante il movimento reale
che con l’immaginazione motoria [35].
Ritmi gamma (γ): i ritmi gamma hanno frequenze maggiori di 30Hz
e indicano uno stato di profonda concentrazione [5]. Il ritmo gamma si
instaura anche in relazione ad alcune funzioni motorie e durante la
contrazione massimale dei muscoli [5]. I ritmi gamma sono meno
utilizzati nei sistemi BCI basati su EEG perché maggiormente
suscettibili ad artefatti muscolari o elettrooculografici [5].
Figura 7. Ritmi EEG
24
1.4 Segnali di controllo nei sistemi BCI EEG-based
Rispetto al tipo di segnale di controllo utilizzato, possiamo
classificare i sistemi BCI in questo modo:
esogeni o endogeni, a seconda che sia necessaria o meno la
presenza di uno stimolo esterno per indurre la manifestazione del
segnale
dipendenti o indipendenti, a seconda che il buon
funzionamento della BCI necessiti o meno della mediazione
delle normali vie d’uscita del sistema nervoso centrale (ad
esempio, i muscoli degli occhi per dirigere lo sguardo verso un
punto)
In questo paragrafo saranno descritti quattro segnali di controllo
tipicamente utilizzati nei sistemi BCI EEG-based: visual-evoked
potentials e potenziali evocati P300 (esogeni), Slow Cortical Potentials
e ritmi sensorimotori (endogeni). Prima di iniziare questa breve
descrizione, è utile accennare i concetti di potenziale evocato (evoked
potential, EP) e potenziale evento-correlato (event-related potential,
ERP).
Un potenziale evocato (EP) è una segnale rilevabile come
variazione dell’EEG che si manifesta in seguito alla presentazione di
uno stimolo [37]. I potenziali evocati sono normalmente segnali molto
piccoli, perciò richiedono particolari tecniche di filtraggio per essere
estratti [37] (ad esempio, la media dei segnali EEG su più ripetizioni
dello stimolo).
I potenziali evento-correlati (ERP) sono piccoli cambiamenti
dell’attività EEG legati a eventi esterni (come ad esempio un atto
motorio) o interni (come ad esempio un pensiero) [38].
Si può a questo punto procedere con la descrizione dei segnali di
controllo più comunemente utilizzati nelle BCI EEG-based. In base alle
loro caratteristiche, alcuni dei segnali descritti in seguito potranno
essere più adatti alla progettazione di sistemi BCI per comunicazione
oppure per controllo (del movimento di carrozzine, di una protesi etc).
25
Visual Evoked Potentials (VEP)
I Visual Evoked Potentials (VEP) sono potenziali evocati rilevabili
sulla corteccia occipitale a seguito della ricezione di uno stimolo visivo
[5] e riflettono il processamento dell’informazione visiva da parte del
cervello [39]. A seconda della frequenza della stimolazione, possiamo
distinguere i potenziali VEP “transienti” (TVEP) dai potenziali VEP
“steady-state” (SSVEP) [5]. In particolare, se la frequenza di
stimolazione visiva è bassa (<2Hz [40]), allora il segnale indotto è una
risposta transiente, chiamata appunto TVEP. Se invece la stimolazione
visiva è ripetuta ad una frequenza superiore ai 6Hz [40], tale per cui
l’intervallo di stimolazione è inferiore alla durata di un singolo TVEP,
allora le risposte evocate si accavalleranno, e ciò che viene generato è
un SSVEP [5][39]. Avendo caratteristiche differenti, i segnali TVEP e
SSVEP sono solitamente rilevati con approcci diversi: se da un lato i
TVEP possono essere riconosciuti da algoritmi di template-matching
[39], la detezione degli SSVEP avviene solitamente attraverso l’analisi
spettrale dei segnali, ad esempio stimando la PSD (power spectral
density) [39].
Un potenziale TVEP può essere indotto con diverse strategie,
purché queste comportino cambiamenti nel campo visivo [5]. In
particolare, gli stimoli utilizzati possono essere di due tipi:
stimoli flash, se sono emessi da punti luminosi che lampeggiano
stimoli pattern, se prevedono o la comparsa/scomparsa
improvvisa di un pattern sul background, o l’inversione del
pattern (ad esempio, una scacchiera) [41]
Chiaramente, le risposte evocate sono diverse a seconda del tipo di
stimolo presentato [5].
I segnali SSVEP sono indotti dagli stessi stimoli visivi dei TVEP,
ma ripetuti nel tempo. Ad esempio, se lo stimolo è di tipo flash,
l’SSVEP tende ad assomigliare a una sinusoide con frequenza
fondamentale uguale a quella di stimolazione [5], perciò un’analisi
dello spettro del segnale riesce ad individuarlo.
Grazie alle loro caratteristiche, gli SSVEP possono essere sfruttati
in ambito BCI ad esempio per la selezione di bottoni/lettere. In
26
particolare, se i bottoni sono fatti lampeggiare con frequenze diverse,
sarà possibile identificare quale sia quello che il soggetto sta fissando
andando ad analizzare lo spettro del segnale. Esempi di sistemi di
questo tipo sono quelli di Middendorf et al. del 2000 [42] e di Gao et al.
del 2003 [40], che utilizzava una griglia di 48 stimolatori LED.
Uno dei vantaggi dei sistemi BCI VEP-based è che questi
richiedono pochissimo training [5]. D’altra parte, i sistemi VEP-based
richiedono spesso che l’utente sia in grado di fissare lo sguardo in un
punto, il che esclude l’utilizzo su pazienti allo stadio avanzato di SLA,
non più in grado di controllare i muscoli del collo e degli occhi [5][43].
Per questo motivo, i sistemi BCI VEP-based sono generalmente
considerati sistemi dipendenti. In realtà, diversi studi [44]–[46] hanno
mostrato che i VEP possono essere modulati anche dalla sola attenzione
prestata verso un determinato punto nello spazio, in modo quindi
indipendente dalla funzione neuromuscolare [43].
Per le loro caratteristiche, i sistemi BCI VEP-based possono essere
adatti sia per la comunicazione (attraverso ad esempio la selezione di
lettere sullo schermo [47]) sia per il controllo di carrozzine [48][49] o
anche di protesi [50].
Potenziali evocati P300
I potenziali evocati P300 si
manifestano come piccoli
picchi positivi a seguito di
stimoli infrequenti di tipo
visivo, somatosensoriale o
auditivo [5], quando questi
sono interposti a stimoli più
frequenti o di routine [43]. I
potenziali evocati P300 sono
rilevabili sulla corteccia parietale
[43], circa 300 ms dopo lo stimolo
“strano”.
Figura 8 : Matrice di simboli
ut i l izzata nel la BCI di Farwell e
Donchin del 1988. In alto la parola
composta “B-R-A-I-N”
27
Per spiegare come i potenziali P300 possano essere usati in una
BCI, si prenderà come esempio uno dei primi sistemi BCI di questo
tipo, di Farwell e Donchin del 1988 [51]. Nel sistema, su uno schermo
veniva mostrata una matrice 6x6 di simboli, che potevano essere lettere
o brevi comandi come “space” o “backspace” (Figura 8). Le righe e le
colonne della matrice lampeggiavano una alla volta ogni 125 ms [43],
mentre all’utente veniva chiesto di prestare attenzione contando quante
volte la riga o la colonna contenente il simbolo desiderato era
illuminata. Dal momento che l’evento “la riga/colonna di interesse
lampeggia” è un evento improbabile frapposto a tanti più probabili,
quando queste si illuminavano si manifestava il potenziale P300, il che
rendeva possibile capire quale fosse il simbolo desiderato [43][51]. In
generale, le BCI basate su P300 sviluppate anche in seguito presentano
un funzionamento di base analogo a quello di Farwell e Donchin [5]. In
persone con problemi alla vista, anche stimoli di tipo auditivo sono
stati tentati [52].
Uno dei vantaggi delle BCI basate su P300 è che queste non
richiedono training [5]. Più è “improbabile” lo stimolo e più è grande è
l’ampiezza della P300 [53] tuttavia, se l’utente si abitua agli stimoli
“infrequenti”, si ridurrà l’ampiezza della P300 e le performance della
BCI potrebbero peggiorare [5][54]. Un altro svantaggio dei sistemi BCI
P300-based è il ridotto flusso di informazione in uscita, che permette la
selezione di solo pochi caratteri al minuto [5]. In effetti, data la piccola
entità del picco P300, per identificarlo occorre che le righe/colonne
lampeggino più volte per ogni scelta, in modo da poter fare una media
tra più ripetizioni cancellando così i contributi EEG non in fase [5].
Negli anni, per migliorare l’accuratezza delle BCI basate su P300 sono
stati proposte diverse strategie [5], tra cui quella di impiegare algoritmi
più complessi della semplice media tra epoche per evidenziare i
potenziali evocati [55], variare la dimensione e il colore dei simboli
nella matrice di selezione [56], utilizzare algoritmi a correzione
d’errore [57].
Nonostante il ridotto flusso d’informazione permesso dal segnale
P300, oltre che nelle BCI per la comunicazione (come in [51]) il
28
segnale è stato negli anni utilizzato anche per il controllo di carrozzine
(come ad esempio in [58]).
Slow Cortical Potentials (SCP)
Gli Slow Cortical Potentials (SCP) sono piccole e lente variazioni
del potenziale corticale che durano da 300ms a qualche secondo [59],
rilevabili anche tramite EEG [5][43]. In particolare, gli SCP fanno parte
dello spettro EEG <1Hz [5]. Questi lenti shift di potenziale sono legati
a cambiamenti del livello di attività corticale [5], tali per cui SCP
negativi corrispondono ad un’aumentata attività, mentre shift positivi si
associano ad una ridotta attivazione della corteccia [43]. Attraverso
l’addestramento, è possibile sia per pazienti sani che paralizzati
imparare a controllare volontariamente gli SCP, che possono essere
così impiegati come segnali di controllo in sistemi BCI [5][43], ad
esempio per muovere un cursore su uno schermo [59].
Uno dei gruppi più attivi nell’ambito dei sistemi BCI basati su SCP
è quello di Birbaumer et al, di cui si ricorda qui il dispositivo “Thought
Translation Device” (TTD) del 2000 [59]. Nella pubblicazione [59]
viene descritto il TTD e i risultati ottenuti su cinque pazienti
totalmente paralizzati. Il sistema TTD era utilizzato sia per il training
della persona (in regime di condizionamento operante) sia per la
comunicazione, una volta che l’accuratezza della classificazione avesse
superato stabilmente il 75% [59]. Il sistema prelevava il segnale EEG
da 5 elettrodi sullo scalpo, ed era completato da un dispositivo di
rilevamento del movimento oculare per rimuovere questo tipo di
artefatto. Durante una prima fase di training, il soggetto imparava a
controllare sia gli shift SCP positivi che negativi attraverso la
visualizzazione del movimento verticale di un cursore sullo schermo,
rinforzato positivamente anche da una faccina sorridente che compariva
ogniqualvolta un target presentato in alto o in basso fosse raggiunto.
Dopo questa prima fase, veniva chiesto alla persona se si trovasse
meglio ad utilizzare come segnale di controllo l’SCP positivo oppure
negativo [59], continuando di conseguenza il training fino ad arrivare
alla fase di “free spelling”. In quest’ultima fase, la lettera veniva
29
selezionata dimezzando di volta in volta l’alfabeto, fino ad arrivare al
carattere desiderato [59]. Di cinque pazienti testati, tre sono arrivati alle
fasi di spelling, uno di questi dopo qualche settimana di training mentre
gli altri due dopo alcuni mesi [59]. Con un programma di questo tipo,
l’utente che presentava un’accuratezza compresa tra il 65% e il 90%
poteva scrivere da 0.15 fino a 3 lettere al minuto [43], e la velocità di
scrittura poteva essere eventualmente migliorata applicando algoritmi
di predizione delle parole più probabili basati sulle prime lettere
digitate [59].
In generale, anche se il successo del training SCP dipende da
numerosi fattori, tra cui ad esempio lo stato psicologico del paziente, la
motivazione e il contesto sociale [5], e nonostante il flusso di
informazione relativamente basso fornito da un sistema BCI SCP-
based, questo segnale di controllo rimane comunque utile per
permettere la comunicazione a pazienti locked-in in maniera non
invasiva [43].
Ritmi sensorimotori e protocollo Motor Imagery
Sono comunemente chiamati “ritmi sensorimotori” le oscillazioni
del segnale EEG rilevabili nelle aree prossime alla corteccia motoria e
sensoriale primarie, e che occupano le bande mu (8-13Hz) e beta (13-
30Hz). I ritmi sensorimotori hanno come caratteristica quella di essere
modulati in corrispondenza di un qualsiasi task motorio, ma il grande
successo di questi ritmi in ambito BCI deriva dal fatto che un soggetto
può apprendere come controllarli anche senza la necessità di un vero
movimento [5]. In particolare, è stato ampiamente provato da numerosi
studi ([35], [36], [60], [61]…) che è possibile innescare anche tramite la
sola immaginazione del movimento (motor imagery), cambiamenti del
pattern dei ritmi sensorimotori simili a quelli che si ottengono con il
movimento reale [5][43].
Le modulazioni dei ritmi sensorimotori che risultano da una
stimolazione sensoriale, da un atto motorio o dalla sua immaginazione
possono essere di due tipi, chiamati event-related desynchronization
(ERD) e event-related synchronization (ERS) dei ritmi mu e beta [62].
30
In particolare, gli ERD si associano ad una diminuzione dell’ampiezza
dei ritmi, mentre gli ERS sono legati ad un aumento [62]. Le dinamiche
delle oscillazioni cerebrali possono formare pattern spaziotemporali
anche complessi, per cui in una specifica locazione possono verificarsi
contemporaneamente ad esempio desincronizzazioni alle basse
frequenze e sincronizzazioni alle alte frequenze [62].
Figura 9. ERD ed ERS nei tre soggetti dello studio di Pfurtscheller e Neuper
[61] durante l’immaginazione motoria della mano destra o sinistra.
Una caratteristica nota del movimento volontario è che questo
induce la desincronizzazione ERD dei ritmi mu e beta sensorimotori
[61]. In particolare, la desincronizzazione inizia circa 2 secondi prima
dell’atto motorio nell’emisfero controlaterale, e diventa simmetrica con
l’esecuzione del movimento [61]. Poiché, come accennato
precedentemente, l’immaginazione motoria coinvolge funzioni e
regioni cerebrali simili a quelli attivi nella programmazione e
preparazione dei movimenti veri [60][62], anche durante
l’immaginazione motoria si può osservare una desincronizzazione ERD
in banda mu e beta nell’emisfero controlaterale [61]. Non solo, la
desincronizzazione ERD si accompagna spesso ad una sincronizzazione
ERS nell’emisfero ipsilaterale, a simili componenti di frequenza
31
[61][63]. Un’importante caratteristica di queste oscillazioni è inoltre la
precisa organizzazione somatotopica [62], motivo per cui i pattern
associati all’immaginazione del movimento di una mano, ad esempio,
saranno distinguibili (e simmetrici) rispetto a quelli associati
all’immaginazione del movimento dell’altra. Per capire meglio questo
concetto, in Figura 9 sono riportati come esempio i tre soggetti dello
studio [61] durante l’immaginazione motoria della mano destra e della
mano sinistra. Per ognuno dei soggetti è stata riportata la banda di
frequenza all’interno della quale si evidenziavano le maggiori
differenze tra le due immaginazioni. Si noti come per il primo soggetto
sia ben visibile solo l’ERD nell’emisfero controlaterale al movimento,
mentre per gli altri due sia accennata anche l’ERS nell’emisfero
ipsilaterale.
Data la localizzazione degli ERD ed ERS sulle aree sensori motorie,
per registrare in modo appropriato questi cambiamenti è utile
posizionare gli elettrodi in prossimità di queste aree [63]. Anche se gli
elettrodi solitamente ritenuti più interessanti per lo studio
dell’immaginazione motoria della mano destra vs sinistra sono C3 e C4
[63][59], è ragionevole pensare che più segnali si registrano dalle aree
prossime alla corteccia motoria (e sensoriale) primaria e più possa
migliorare, in teoria, l’accuratezza di classificazione dei due stati
mentali [63]. Naturalmente, più segnali si sceglie di registrare e più
diminuisce la portabilità del sistema BCI, dato il maggiore ingombro
degli elettrodi e i tempi di preparazione proporzionalmente più lunghi.
Uno degli svantaggi dei sistemi BCI di questo tipo è che richiedono
il training del soggetto, poiché il controllo volontario dei ritmi
sensorimotori non è immediato e molte persone trovano difficile
l’immaginazione motoria [5]. Tuttavia, l’indipendenza della BCI e
l’endogenicità del segnale, una volta completato l’addestramento,
giustificano il grande interesse verso questo tipo di controllo. Sistemi
molto noti come la Graz BCI [64], Berlin BCI [65] e Wadsworth BCI
[66] impiegano infatti i ritmi sensorimotori come segnali di controllo
[5]. Infine, essendo i ritmi sensorimotori segnali versatili e veloci,
32
possono essere impiegati con successo sia per il controllo sia di
carrozzine [67] che di cursori nello spazio sia 2D [68] che 3D [69].
1.5 Il presente lavoro di tesi
All’interno del presente lavoro di tesi è stato sviluppato il software
per la realizzazione di un sistema BCI non invasivo basato su segnale
EEG.
L’obiettivo di questo particolare studio era quello di permettere il
controllo del movimento di un modello di arto superiore, visualizzato
su uno schermo. Poiché il grado di libertà del modello è uno solo
(movimento verso l’alto oppure verso il basso), sono necessari due soli
stati mentali, associati a diversi pattern EEG. Si è scelto di utilizzare il
protocollo motor imagery, e di impiegare come stati mentali
l’immaginazione del movimento della mano destra vs mano sinistra.
Maggiori dettagli sui metodi utilizzati e sui soggetti testati
all’interno del presente lavoro di tesi saranno forniti nel prossimo
capitolo.
34
2. Materiali e Metodi
2.1 Acquisizione e processing del segnale
In questa sezione sarà descritto l’hardware tramite il quale il
segnale EEG è stato acquisito, il numero di elettrodi utilizzati e la loro
configurazione. Successivamente, si passerà a descrivere i diversi step
di condizionamento del segnale, dal preprocessing tramite filtraggio
spaziale e temporale alla classificazione. Grazie a questi elementi, sarà
possibile nel prossimo paragrafo spiegare come sia organizzato il
software sviluppato in questo lavoro di tesi.
Acquisizione dei segnali
Per l’acquisizione del segnale EEG è stato impiegato l’amplificatore
Brainbox EEG-1166 (Braintronix), in grado di acquisire
contemporaneamente fino a 64 canali. All’interno dell’amplificatore,
ogni canale veniva digitalizzato separatamente e contemporaneamente
(non è dunque stato necessario il ri-allineamento temporale) con un
campionamento a 32768 Hz e 16 bit di risoluzione. Il segnale poteva
essere poi successivamente sottocampionato ad una frequenza di
campionamento scelta, che in questo lavoro di tesi era di 128 Hz.
Per l’acquisizione sono stati utilizzati elettrodi da EEG passivi in
Ag/AgCl di tipo wet (si è dunque reso necessario l’uso di gel
elettrolitico per la riduzione delle impedenze di contatto), premontati
su cuffia in accordo al Sistema Internazionale 10/20 esteso [29].
Siccome in questo lavoro di tesi si sono utilizzati come segnali di
controllo i ritmi sensorimotori e la strategia scelta era quella
dell’immaginazione motoria della mano destra vs sinistra, gli elettrodi
acquisiti sono stati tutti posizionati nell’area sovrastante la corteccia
motoria/sensoriale primaria. In particolare, sono stati acquisiti in totale
35
11 elettrodi + l’elettrodo di riferimento (lobo auricolare destro) e
l’elettrodo di massa. Gli undici elettrodi acquisiti (evidenziati in Figura
10) erano Fc5, Fc1, Fc2, Fc6, C3, Cz, C4, Cp5, Cp1, Cp2 e Cp6.
Figura 10 Gli 11 elettrodi acquisi t i per i l control lo del sistema BCI
Re-referencing con CAR (Common Average Reference) modificato
Il primo processing subito dai segnali EEG acquisiti era una re-
referenziazione, poiché nel 1997 McFarland et al. asserirono [70] che i
migliori montaggi per sistemi BCI basati sui ritmi sensorimotori erano
il Large Laplacian e il Common Average Reference (CAR).
Applicare il filtro Large Laplacian significa stimare la derivata
seconda spaziale della distribuzione di potenziale sullo scalpo
sottraendo ad ogni locazione la media dei potenziali nelle 4 locazioni di
contorno, saltando in ogni direzione la locazione più prossima (Figura
11). Applicare il filtro spaziale CAR significa invece sottrarre alla
tensione misurata in ogni locazione la media delle tensioni di tutti gli
elettrodi registrati, supposti equamente distribuiti sullo scalpo (Figura
11), e con l’opzione di includere o meno l’elettrodo posizionato sul
lobo auricolare. Secondo McFarland et al [70], il motivo per cui il
Large Laplacian e il CAR sono migliori rispetto al normale riferimento
auricolare è che questi due metodi si comportano come filtri spaziali
passa-alto, che enfatizzano dunque l’attività focalizzata dalle sorgenti
EEG locali mentre al contempo riducono le attività largamente
36
distribuite, come quelle dovute agli artefatti (es. artefatto muscolare,
movimenti oculari e blinking, ritmo alfa visivo, ECG) [70].
Figura 11. I montaggi Ear Reference, CAR, Small Laplacian e Large
Laplacian.
Nel sistema sviluppato in questo lavoro di tesi, avendo scelto di
impiegare solamente 11 elettrodi + il riferimento auricolare per
questioni di aumentata portabilità, il segnale EEG è stato re-
referenziato con un “CAR modificato”. In particolare, invece di
utilizzare per il CAR elettrodi distribuiti su tutto lo scalpo, si sono
impiegati solamente gli 11 elettrodi acquisiti, decidendo però di
includere anche la tensione rilevata sull’orecchio destro. Il motivo
dell’inclusione dell’elettrodo auricolare dipende dal fatto che in questo
modo, una volta che il segnale sia stato re-referenziato, comunque le
sequenze temporali relative agli 11 elettrodi sullo scalpo sono ancora
linearmente indipendenti. L’indipendenza dei segnali è un aspetto
molto importante, come sarà chiarito in seguito, dal momento che in
questo lavoro di tesi si fa uso del metodo CSP (Common Spatial
Pattern).
Si è ritenuto che il metodo “CAR modificato” fosse una scelta
ragionevole dal momento che, per come è implementato, ci si aspetta
che il suo comportamento come filtro spaziale sia intermedio tra un
Large Laplacian e un CAR tradizionale (ritenuti da McFarland et al
[70] i migliori filtri per questo tipo di applicazione). Ricapitolando,
ogni segnale sullo scalpo è stato dunque re-referenziato come segue:
)(1
1
1auricolare
n
iiiiCAR VV
nVV +
+−= ∑
=
(1)
con n=11 (numero di elettrodi acquisiti).
37
Un ultimo aspetto da sottolineare quando si applicano filtri tipo il
CAR o il Laplaciano, come raccomandato McFarland et al. nel loro
studio [70], è che questi funzionano meglio se tutti i canali sono
allineati temporalmente. Questo significa che, nel caso in cui i segnali
siano digitalizzati in modo sequenziale tramite MUX (multiplexer), è
raccomandabile un ri-allineamento temporale tramite interpolazione. In
questo lavoro di tesi si è tenuto conto di questo aspetto ma il
riallineamento non è stato necessario, poiché l’hardware a disposizione
permetteva la digitalizzazione simultanea dei canali.
Filtraggio temporale
Dopo la re-referenziazione tramite CAR modificato, gli 11 segnali
relativi agli elettrodi sullo scalpo venivano filtrati in frequenza nella
banda 8-30Hz. Il filtraggio era eseguito tramite un filtro di Butterworth
passa-banda di ordine 8.
La scelta di filtrare in questo modo dipende dal fatto che nella
banda 8-30Hz sono contenute tutte le componenti di frequenza mu e
beta interessanti per la discriminazione degli stati mentali. Inoltre,
Müller e Gerking [71] hanno mostrato che l’accuratezza di
classificazione del movimento della mano destra e della mano sinistra
possono essere migliorate utilizzando interamente questa larga banda
passante, piuttosto che utilizzare bande più ristrette (come ad esempio
le banda alfa (8-13Hz) e beta alta (19-30Hz)) [63].
Il metodo CSP
Uno dei possibili approcci alla classificazione di dati EEG multi-
canale relativi a diverse immaginazioni motorie prevede l’uso
dell’algoritmo Common Spatial Pattern (CSP). L’applicazione del
metodo CSP in quest’ambito fu suggerita per la prima volta da Ramoser
[72] nel 2000 [73].
L’idea di base del metodo CSP è quella di trovare una matrice W
che permetta di proiettare i dati EEG multi-canale in un nuovo spazio,
all’interno del quale i segnali presentino massima differenza di
varianza tra una classe e l’altra [73]. In particolare, chiamando X la
38
matrice NxT dei segnali EEG eventualmente preprocessati (con N
numero di canali, T numero di campioni per ogni canale), la matrice di
proiezione W trasforma X in Z in questo modo:
WXZ = (2)
Le righe della matrice W contengono i diversi pesi dati agli elettrodi
registrati, mentre i segnali in Z sono le nuove serie temporali sulla base
delle quali verrà fatta la classificazione degli stati mentali [73].
Per ottenere la matrice W, il metodo CSP prevede la simultanea
diagonalizzazione delle matrici di covarianza normalizzate medie
relative alle due classi di segnali. In particolare, date due matrici di
segnali EEG multicanale XR e XL relative alle classi “R” (right) e “L”
(left) con segnali a valor medio nullo, entrambe di dimensione NxT, le
corrispondenti matrici di covarianza normalizzate si calcolano come:
)( TRR
TRR
RXXtraccia
XXR = e
)( TLL
TLL
LXXtraccia
XXR = (3)
dove naturalmente XT è la trasposta della matrice X e traccia(A) calcola
la somma degli elementi della diagonale di A.
Le matrici di covarianza normalizzate medie RR e LR si calcolano a
questo punto mediando i valori di RR e di RL rispetto alle varie
ripetizioni di ciascuna classe. A partire dalle matrici di covarianza
normalizzata medie RR e LR è possibile ora definire la matrice di
covarianza composita R, che deve essere diagonalizzata:
TLR UURRR 00Σ=+= (4)
dove U0 è la matrice di autovettori di R, mentre Σ è la matrice
diagonale dei corrispondenti autovalori, con ordinamento decrescente.
La matrice di sbiancamento P della matrice R, ottenibile come:
TUP 01−Σ= (5)
permette ora di trasformare le matrici medie di covarianza normalizzata
RR e LR nelle matrici SR e SL:
TRR PRPS = e T
LL PRPS = (6)
39
Le matrici SR e SL hanno la proprietà di condividere gli stessi
autovettori (matrice U), mentre la somma dei corrispondenti autovalori
per le due matrici sarà sempre pari a 1, ossia:
TRR UUS Σ= T
LL UUS Σ= IRL =Σ+Σ (7)
Dal momento che la somma dei due corrispondenti autovalori in ΣR e
ΣL è sempre pari a uno, ciò significa che gli autovettori con i maggiori
autovalori in SR corrispondono a quelli con i minori autovalori in SL, e
viceversa. Questa proprietà rende gli autovettori in U utili per la
classificazione delle due distribuzioni [72]. In effetti, la proiezione
dell’EEG sbiancato con P sul primo e sull’ultimo autovettore di U
(ossia, i due autovettori corrispondenti rispettivamente ai massimi
autovalori λR e λL), fornirà dei vettori di feature che saranno ottimi per
la discriminazione delle due popolazioni nel senso dei minimi quadrati
[72]. Dunque, la matrice di proiezione W cercata dall’algoritmo CSP si
ottiene a questo punto come:
PUW T= (8)
Con la matrice di proiezione W, il segnale originale EEG può essere
trasformato nelle componenti scorrelate Z (Equazione (2), Z= WX). Il
segnale originale EEG può poi naturalmente essere ricostruito a partire
da Z in questo modo:
ZWX 1−= (9)
dove la matrice W-1 è l’inversa di W, e le colonne di W-1 sono i
cosiddetti “spatial pattern”. Gli spatial pattern possono essere
considerati come vettori di distribuzione delle sorgenti EEG tempo-
invarianti [72][73]. La prima e l’ultima colonna di W-1 sono i più
importanti spatial pattern, che spiegano la massima varianza di un task
contemporaneamente alla minima varianza dell’altro [73].
Si noti come la matrice di sbiancamento P preveda l’inversione
della matrice Σ. Questo è il motivo per cui, come già accennato nel
precedente paragrafo, è importante che i segnali relativi ai canali
acquisiti rimangano linearmente indipendenti anche dopo eventuali
filtraggi temporali e/o spaziali. Se così non fosse, almeno uno degli
40
autovalori sulla diagonale di Σ sarebbe nullo, da cui deriva che
det(Σ)=0 e dunque che Σ non è invertibile.
Feature Selection
Per costruzione, la varianza della prima riga di Z è massima per
l’immaginazione motoria della mano destra, e diminuisce gradualmente
nelle successive righe. Viceversa, la varianza della prima riga di Z sarà
minima per l’immaginazione motoria della mano sinistra, aumentando
a mano a mano nelle seguenti righe [63]. Da questo deriva naturalmente
che le varianze dei segnali in Z saranno massimamente differenti tra i
due task di immaginazione motoria nelle primissime e nelle ultimissime
righe della matrice [63].
Per la classificazione dei due stati mentali, saranno proprio le
varianze delle nuove serie temporali in Z ad essere utilizzate, non
necessariamente tutte, ma solo le più significative. In particolare,
Müller e Gerking [71] si sono chiesti quale fosse il numero ottimale di
proiezioni per la costruzione del vettore di features, concludendo che
questo numero è quattro (ossia le prime due e le ultime due righe di Z)
[63]. Considerando dunque N canali EEG acquisiti, il vettore di
varianze utilizzato in questo lavoro di tesi è:
[ ]21
22
221 −= NNVAR σσσσ (10)
in cui:
∑=
=T
tii tz
1
22 ))((σ (11)
sempre perché, dato il filtraggio temporale nella banda 8-30Hz, i
segnali hanno valor medio nullo.
Dal vettore di varianze di dimensione d=4, si è ottenuto dunque il
vettore di features f in questo modo:
)log(4
1∑
=
=
ddVAR
VARf
(12)
la divisione di ogni elemento di VAR per la somma delle varianze e la
trasformazione logaritmica del rapporto servono per normalizzare la
41
distribuzione degli elementi di f [63]. I vettori di features così estratti
possono essere a questo punto utilizzati per addestrare un classificatore
lineare [63], che in questo lavoro di tesi è un SVM (Support Vector
Machine).
Classificatore Lineare Support Vector Machine (SVM)
Il classificatore scelto in questo lavoro di tesi è il Support Vector
Machine (SVM) lineare [74][75][76].
L’idea di base del classificatore SVM lineare è quella di cercare di
determinare l’iperpiano di separazione ottimo, in grado di separare al
meglio (ovvero, con il maggior margine possibile) le classi, senza
alcuna assunzione sulla densità di probabilità delle stesse [74].
Iniziamo dal caso più semplice, ossia quello di dati linearmente
separabili. Date due classi di pattern linearmente separabili e un
training set di n campioni:
(x1, y1), (x2, y2), … , (xn, yn)
dove x i dℜ∈ sono i pattern e 1,1−+∈iy sono le label, esistono
normalmente diversi iper-piani in grado di separare le due classi di
pattern. L’iperpiano di separazione può essere ora descritto da due
parametri, w e b, con w vettore normale all’iperpiano e |b|/||w|| distanza
dell’iperpiano dall’origine (Figura 12), dove con si intende la norma
euclidea [74][75].
Figura 12. Iperpiani di separazione per il caso linearmente separabile. I
support vectors sono cerchiati.
42
L’equazione:
D(x)=w·x + b=0 (13)
descrive dunque il luogo dei punti x che appartengono all’iperpiano di
separazione. Non imponendo inoltre la norma unitaria al vettore w
normale, allora la distanza di un generico pattern xp dall’iperpiano è
esprimibile come:
r=(w·xp + b)/||w|| = D(xp)/||w|| (14)
La famiglia di iperpiani descritti da (w,b) in grado di separare i pattern
del problema sia ora quella per cui:
w·x i + b 1≥ se yi=+1
w·x i + b 1≤ se yi=-1 i∀ con i=1, 2, …n (15)
o, in forma più compatta:
yi · (w·x + b) 1≥ i∀ con i=1, 2, …n (16)
mentre i pattern più vicini all’iperpiano di separazione, sia da una parte
che dall’altra, sono quelli giacenti o su H1 o su H2 (Figura 12), luoghi
dei punti per cui vale:
|D(x)|=1 ossia r=1/w (17)
Si definisce margine (Figura 12) la distanza tra i due iperpiani H2
(corrispondente a D(x)=1) e H1 (corrispondente a D(x)=-1), pertanto il
margine corrisponde formalmente a:
margine=2/w (18)
Nella teoria SVM, l’iperpiano ottimo di separazione è quello che
soddisfa i vincoli dei pattern mentre al contempo massimizza il
margine. Per trovare l’iperpiano ottimo (w,b) occorre dunque risolvere
il seguente problema di ottimizzazione:
Massimizzare:
Vincolo:
2/ w
yi · (w·x + b) 1≥ i∀ con i=1, 2, …n
43
Questo problema può essere più agevolmente risolto passando
attraverso una formulazione Lagrangiana e utilizzando le condizioni di
Karush-Kuhn-Tucker, come spiegato in dettaglio nel documento [75].
I pattern del training set che giacciono sul margine (cerchiati in
Figura 12) sono detti support vector. Uno dei vantaggi del
classificatore SVM è dunque quello per cui la soluzione finale sarà
funzione solo di questi pattern, indipendentemente dal numero di
elementi n del training set [74]. In questo modo, si riduce la
complessità del calcolo della soluzione.
Per scongiurare l’ipotesi che l’algoritmo di ricerca dell’iperpiano
SVM fallisca perché non tutti i pattern sono perfettamente separabili, è
possibile rilassare i vincoli di separazione, per far sì che alcuni pattern
(comunque il minimo possibile) possano valicare il confine della classe
[74]. Per fare questo, si introducono n variabili di slack 0≥iξ , una per
ogni pattern, e si modifica il vincolo in questo modo:
yi · (w·x + b) 1≥ - iξ con i=1, 2, …n (19)
Una rappresentazione grafica di quanto appena detto può essere
ritrovata in (Figura 13).
Per ciascuno dei pattern xi del training set, la variabile di
slack 0≥iξ codifica la deviazione dal margine [74], per cui per i
pattern del training set separabili la variabile di slack sarà nulla,
riconducendosi in questo modo al caso precedente [74].
Figura 13 Classificatore SVM lineare nel caso di pattern non linearmente
separabili
44
In questa estensione, la teoria SVM indica che l’iperpiano ottimo è
quello che contemporaneamente massimizza il margine e allo stesso
tempo minimizza il numero di elementi non correttamente classificati,
modificando il problema di ottimizzazione come segue:
Minimizzare:
Vincolo:
w /2 + ∑=
⋅n
iic
1
ξ
yi · (w·x + b) 1≥ - iξ i∀ con i=1, 2, …n
Nella formulazione appena mostrata compare il parametro c, detto soft
margin parameter. Questo parametro definisce quale peso abbiano le
variabili di slack nella funzione da minimizzare. In particolare,
scegliendo un soft margin parameter elevato, allora sarà data molta
importanza all’evitare il più possibile le misclassificazioni (a discapito,
eventualmente, di un margine più ridotto). Viceversa, con un soft
margin parameter piccolo, allora il vincolo sulle misclassificazioni
sarà più rilassato, mentre viene data più importanza alla
massimizzazione del margine.
In questo lavoro di tesi è stata impiegata questa seconda
formulazione del classificatore SVM lineare, scegliendo per il soft
margin parameter il valore c=1.
2.2 Il software sviluppato (piattaforma LabVIEW 2011)
L’obbiettivo principale di questo lavoro di tesi era la realizzazione
di un sistema BCI EEG-based per il controllo del movimento di un
modello di arto superiore. Il cuore di questo progetto risiede
naturalmente nello sviluppo del software che, comunicando con il
dispositivo di acquisizione, permette di processare il segnale e di
utilizzarlo per finalità di controllo, restituendo anche un feedback al
soggetto. Il software sviluppato in questo lavoro di tesi si basa su
piattaforma LabVIEW 2011, ed è innanzitutto organizzato in tre parti:
Training, per permettere un’iniziale stima del filtro CSP e
l’addestramento del classificatore, senza feedback
45
Training e Updating, per fornire il feedback al soggetto (che
in questo modo apprende in regime di condizionamento
operante), aggiornando al contempo il filtro CSP e il
classificatore (che nel tempo si adatta sempre meglio alle
peculiarità dell’utente)
Classification, per testare il sistema precedentemente
addestrato e la capacità del soggetto di muovere l’arto
simulato tramite controllo EEG
La concezione ed il funzionamento delle tre parti del software
saranno illustrati in dettaglio nelle prossime sezioni, insieme ad una
descrizione del modello di arto superiore impiegato. Nelle seguenti
descrizioni si darà per scontato il preprocessing del segnale (costituito
da re-referenziazione con CAR modificato e filtraggio temporale nella
banda 8-30Hz), concentrandosi solamente sul filtro CSP e sul
classificatore SVM.
Modello di arto superiore
L’arto superiore, da sottoporre a controllo EEG, viene modellato in
questo lavoro come un semplice segmento rigido, vincolato alla spalla e
con un solo grado di libertà (rotazione, positiva in senso antiorario).
Figura 14. Il modello 1-link di arto superiore: quelle evidenziate in rosso
sono le posizioni-limite permesse. In blu sono invece disegnate alcune delle
posizioni occupabili.
46
La variabile controllata è l’angolo di spalla, che viene incrementato
o decrementato conseguentemente allo stato mentale in cui si porta il
soggetto. All’angolo di spalla è stato inoltre dato come limite il ROM
(Range Of Motion) fisiologico, da -140° a 90° rispetto all’orizzontale
[77]. Il movimento permesso al braccio, infine, non è continuo ma
discreto, e le posizioni occupabili sono solo quelle corrispondenti ad
angoli di spalla multipli di 5° (Figura 14).
Training
La prima parte del software che andremo a descrivere è quella
relativa al Training. Anche da un punto di vista grafico il programma
sviluppato si mostra diviso in tre parti, e ciò che compare accedendo
alla schermata di Training è mostrato in Figura 15 .
Figura 15. Schermata di Training all’accesso .
Sulla sinistra sono presenti dei campi per inserire il nome e
cognome del soggetto e il numero di sessione della giornata.
L’inserimento di questi dati è obbligatorio, altrimenti alla pressione del
pulsante “Start” viene visualizzato un messaggio di errore e la prova
non può iniziare. I dati del soggetto servono naturalmente per la
creazione di una cartella personale in cui salvare tutti i progressi e i
risultati ottenuti in una particolare sessione. Una volta inseriti i dati, si
può iniziare la prova premendo il pulsante “Start”, e controllare il
livello di completamento tramite la barra di avanzamento sottostante.
47
Al termine della prova di Training, una volta che il computer abbia
terminato le elaborazioni il led verde si illumina, e il software passa
automaticamente alla schermata di Training e Updating.
Come accennato nell’introduzione, la parte Training del software è
necessaria per poter computare una prima stima del filtro CSP e per
avere un training set iniziale con il quale addestrare il classificatore. In
questa prima parte della prova non è naturalmente possibile dare un
feedback al soggetto, perché il sistema non conosce ancora le
caratteristiche dei suoi pattern EEG.
Alla pressione del tasto “Start”, compare sopra il modello dell’arto
una freccia, che può essere rivolta verso l’alto o verso il basso (Figura
16). Poiché la strategia di controllo scelta è la motor imagery, si chiede
al soggetto di immaginare il movimento della mano destra quando la
freccia è rivolta verso l’alto, quello della mano sinistra quando è rivolta
verso il basso. Durante l’intera sessione di Training la freccia viene
presentata 14 volte (7 verso l’alto e 7 verso il basso, per avere un
training set bilanciato). Ogni freccia rimane visibile per 10 secondi,
mentre vengono dati 2.5s di pausa tra una e l’altra. Naturalmente, è
richiesto al soggetto di mantenere lo stato mentale indicato dalla
freccia per tutto il tempo in cui questa è visibile, mentre può riposarsi
durante le brevi pause. L’ordine di presentazione delle frecce verso
l’alto o verso il basso è randomizzato. Infine, per rendere immediato il
riconoscimento, è stato dato alla freccia un colore diverso a seconda del
suo orientamento (Figura 16).
Figura 16. Freccia rivolta verso l’alto o verso il basso. Per i due versi sono
stati scelti colori diversi per rendere immediato il riconoscimento.
48
Per poter progettare il filtro CSP e il classificatore, si considerano
ogni 0.5s tratti di segnale lunghi 2s, durante le fasi in cui la freccia è
visibile. In questo modo, grazie all’overlap delle porzioni di segnale
considerate, da ogni presentazione della freccia lunga 10s vengono
estratte 17 porzioni di segnale. Ognuna di queste porzioni avrà come
label il verso della freccia in quell’istante, ossia +1 (se rivolta verso
l’alto) o -1 (se rivolta verso il basso). Considerando l’intera fase di
Training, con un totale di 14 ripetizioni della freccia avremo alla fine a
disposizione 17x14=238 porzioni di segnale (metà corrispondenti alla
motor imagery della mano destra, metà della mano sinistra) con cui
progettare il filtro CSP ed estrarre le features per il classificatore.
Per prima cosa, da ogni porzione di segnale estratta si calcola la
matrice di covarianza normalizzata (equazione (3)). Mediando nel
tempo le matrici di ogni classe si ottengono poi le matrici di covarianza
media normalizzate e infine la matrice di covarianza composita
(equazione (4)), da cui con vari semplici passaggi si arriva alla stima
del filtro CSP. Una volta ottenuto quest’ultimo, tutte le 238 porzioni di
segnale acquisite durante il Training vengono trasformate con
l’equazione Z i=WX i (dove W matrice di proiezione del filtro CSP, Xi
matrice relativa all’i-esima porzione di segnale), e da ognuna delle
matrici Zi si ricava un vettore di feature f contenente quattro varianze
normalizzate e log-trasformate (come spiegato in dettaglio al paragrafo
precedente, equazione (12)). I 238 vettori di feature così estratti,
insieme alle loro label, costituiscono il training set del classificatore
lineare SVM. Una volta addestrato anche il classificatore, il led verde
nella schermata di Training si accende e si passa automaticamente alla
fase di Training e Updating.
Prima di descrivere la fase successiva, si aggiunge qui una nota
sulla scelta del valore di 2s per la durata dei segmenti considerati.
Come notato da Guger et al. nel loro studio [63], più si allunga la
finestra temporale e più migliora l’accuratezza della classificazione, ma
al contempo diminuisce la prontezza del sistema. Il valore di 2s ci è
sembrato un buon compromesso tra queste due esigenze.
49
Training e Updating
La seconda porzione di software, Training e Updating, è stata
concepita per essere ripetuta più volte, e serve per continuare ad
eseguire un training sul soggetto mentre, al contempo, si aggiornano
anche il filtro CSP e il classificatore. L’obbiettivo di Training e
Updating è quello di migliorare sia l’abilità del soggetto nel portarsi
negli stati mentali richiesti, sia la capacità del sistema di riconoscere
questi stati mentali, favorendo in questo modo l’incontro tra uomo e
sistema.
Dal punto di vista grafico, la schermata di Training e Updating
(Figura 17) è analoga a quella di Training. Quando si accede a questa
schermata, i dati del soggetto (nome, cognome e sessione) sono
ricopiati automaticamente, così da non doverli re-inserire rischiando
errori di battitura.
Figura 17. Training e Updating
La novità della fase di Training e Updating è la presenza del
feedback, codificato in un incremento/decremento di 5° dell’angolo di
spalla in base allo stato mentale rilevato. Dal punto di vista dello
svolgimento, in questa fase viene ancora mostrata al soggetto la freccia
indicante il verso richiesto ma, grazie al feedback che
contemporaneamente viene dato, il soggetto è anche reso cosciente
degli effetti del suo stato mentale. In questo modo, l’apprendimento per
l’utente è più efficace grazie al condizionamento operante (il feedback
50
stesso è infatti elemento sia di reward che di punizione a seconda della
sua concordanza rispetto al movimento richiesto), nonché il tutto è reso
più coinvolgente.
Il feedback fornito è tempo-discreto, e viene dato ogni 0.5s. Per
poterlo calcolare, vengono considerate di volta in volta porzioni di
segnale lunghe 2s, analogamente a quanto fatto nella fase di Training
(dunque, il primo feedback sarà dato dopo 2s e i successivi ogni 0.5s).
Ogni porzione di segnale considerata viene istantaneamente filtrata
dalla matrice W risultante dalla sessione precedente (che può essere o
una sessione di Training o un’altra sessione di Training e Updating), e
da qui viene estratto il vettore di features f, che sarà valutato dal
classificatore. In base al risultato del classificatore, che restituisce sia
la classe di appartenenza che la distanza dall’iperpiano di separazione
(equazione (14)), il feedback risultante può essere o un
incremento/decremento dell’angolo di 5° o anche un non-movimento
del braccio. Per stimolare infatti il soggetto a produrre stati mentali
sempre più definiti, viene impiegato un meccanismo a soglia adattiva,
per cui il braccio simulato si muove solamente se la distanza del
pattern dall’iperpiano di separazione supera un certo valore (Figura
18).
Figura 18. Iperpiano di separazione e soglie sulle distanze. Se il pattern
cade all’interno della zona morta, allora non si produrrà alcun movimento
del braccio. Si noti come le soglie per le distanze positive e negativa possano
essere diverse, soprattutto in un primo momento.
51
Poiché è possibile che, soprattutto all’inizio, per una persona sia più
semplice entrare in uno stato mentale piuttosto che nell’altro, le soglie
per le distanze positive e negative sono calcolate separatamente. In
particolare, ogni soglia viene sempre calcolata come il 60% del valor
medio delle distanze positive/negative viste dal software fino a quel
momento. In questo modo, a mano a mano che il soggetto migliora (e
produce quindi pattern con distanze sempre maggiori dall’iperpiano), la
soglia si adatta aumentando, ma senza mai esagerare. Per il calcolo
delle soglie si prendono in considerazione solo le distanze relative a
pattern correttamente classificati (ossia pattern lo stato mentale
prodotto dal soggetto è concorde a quello richiesto).
La prima volta che si esegue Training e Updating entrambe le soglie
partono da 0, mentre ad ogni successiva ripetizione si riparte sempre
dall’ultima soglia calcolata. A mano a mano che si procede, oltre ad
aggiornarsi entrambe le soglie si stabilizzeranno, perché frutto della
media di un numero sempre maggiore di distanze.
All’interno di ogni fase di Training e Updating, la freccia viene
presentata 10 volte. Nuovamente, ogni indicazione viene mantenuta
10s, e sono presenti 2.5s di pausa tra una e l’altra.
Al termine di Training e Updating, come precedentemente
accennato, sia il filtro CSP che il classificatore vengono aggiornati per
cercare di andare incontro al soggetto. Per favorire tuttavia
l’inserimento all’interno del training set del classificatore solo dei dati
“migliori”, tra tutte le porzioni di segnale processate nella fase
Training e Updating si memorizzano solamente quelle correttamente
classificate e soprasoglia. A questo punto, poiché è probabile che i dati
così collezionati non siano bilanciati tra segnali relativi alla mano
destra e alla mano sinistra, un’ulteriore scrematura viene fatta
pareggiando le due classi ed eliminando della classe con più elementi i
dati che avevano riportato minore distanza dall’iperpiano (dati dunque
meno “definiti”). In questo modo, di tutte le porzioni di segnale
acquisite ho mantenuto solo quelle migliori in termini di separabilità,
oltre ad avere per ogni classe un numero uguale di esempi (questo mi
serve per mantenere il classificatore bilanciato).
52
Per spiegare meglio questo processo di scrematura e ribilanciamento
dei dati, si veda la Figura 19.
Figura 19 Modalità di scrematura e ribilanciamento dei dati “migliori”
(ossia quelli al termine di Training e Updating sono risultati concordi allo
stato mentale richiesto e soprasoglia). Le righe evidenziate sono relative ai
dati che verranno eliminati al termine dell’operazione di ribilanciamento. Si
noti come, se la differenza tra il numero di campioni di una classe e quelli
dell’altra è elevata, è possibile che in questo modo si elimino anche parecchi
dati.
Per aggiornare il filtro CSP, prendo ora tutte le porzioni di segnale
risultanti dal processo di scrematura e bilanciamento, e le utilizzo per
calcolare delle nuove matrici di covarianza normalizzata. Le nuove
matrici così ottenute vengono aggiunte a quelle viste fino a quel
momento da quando si è iniziato il primo Training. In questo modo, si
calcoleranno di volta in volta per ogni classe matrici di covarianza
medie sempre più stabili, arrivando ad una stima della matrice W del
filtro CSP in teoria sempre migliore.
Per aggiornare il classificatore, tutte le porzioni di segnale risultanti
dal processo di scrematura e bilanciamento vengono ora rilette alla luce
del W appena calcolato, per ri-estrarne le features. Contrariamente a
quanto avviene per il filtro CSP, nel caso dell’aggiornamento del
training set i nuovi pattern non vengono aggiunti ai precedenti, ma
vanno a piuttosto a sostituire i pattern più vecchi. In questo modo, si ha
53
la possibilità di rimpiazzare nel training set pattern potenzialmente
poco separabili (o comunque sia “datati”) con nuovi vettori di features
sicuramente più separabili e che “seguono” (entro un certo limite) i
progressi del soggetto. Il tutto, mantenendo un numero costante di
elementi del training set, che rimane anche sempre bilanciato.
Naturalmente, dato che dopo ogni Training e Updating la matrice W si
aggiorna, per mantenere una coerenza all’interno del training set, nel
momento in cui si recuperano segnali relativi a vecchie sessioni questi
vengono riletti secondo la nuova W e vengono nuovamente estratte
anche le features. Con il nuovo training set così aggiornato, anche il
classificatore SVM viene ri-addestrato.
Per visualizzare meglio quanto appena spiegato circa l’aggiornamento
della matrice W e del classificatore SVM si veda la Figura 20.
Figura 20. Modalità di aggiornamento di W e del classif icatore
SVM. Si noti come i l nuovo W sia ottenuto considerando, oltre al
training set (TS) iniziale, tutte le nuove porzioni (NP) di segnale
corrette nelle sessioni precedenti (s1, s2, … , sn-1), aggiungendo
anche quelle appena ottenute (NPSn). La nuova W così calcolata si
uti l izza a questo punto sia per f i l trare le nuove porzioni di
segnale ottenute dalla sessione (NPSn), sia per “ri leggere” i l
training set della sessione precedente (TSn-1). Dalle nuove
features ottenute e dalla “ri lettura” del vecchio training set è
possibile ottenere i l nuovo training set (TSn), e dunque i l nuovo
classif icatore SVM
Un ultimo aspetto della fase Training e Updating rimane da
descrivere, e questo riguarda lo sbilanciamento nella presentazione
frecce. In particolare, contrariamente a quanto avviene nella fase di
54
Training, in cui metà delle frecce erano rivolte verso l’alto e metà
verso il basso, in questa fase di Training e Updating è previsto possa
esserci uno sbilanciamento fino ad un rapporto di 7:3 (o viceversa). La
ragione dell’inclusione di questa caratteristica dipende da due elementi:
da una parte, la modalità con cui viene aggiornato il classificatore,
dall’altra l’intento di esercitare maggiormente il soggetto allo stato
mentale per lui più “problematico”. Capita infatti spesso che all’inizio,
o perché il soggetto non è in grado di produrre stati mentali ben
separabili, o perché effettivamente si trova meglio a produrne uno
rispetto all’altro, la classificazione sia agevolata da un lato o dall’altro.
In un esempio estremo, supponiamo accada che su 10 frecce presentate
in modo bilanciato, il soggetto riesca sempre a muovere il modello
verso l’alto ma mai verso il basso. In un caso simile, chiaramente, non
sarebbe possibile aggiornare il classificatore, poiché nel momento in
cui i “segnali migliori” vengono scremati dal bilanciamento non
rimarrebbe più nulla perché per una delle due classi non ho nessun
esempio con cui bilanciare. Anche senza considerare esempi così
estremi, in generale per come si aggiorna il classificatore, fornendo
sempre e comunque frecce bilanciate non sfrutterei al meglio i “segnali
migliori” a disposizione (questo concetto è già accennato anche nella
didascalia della Figura 19). Da qui l’idea di sbilanciare le frecce ogni
volta che si ripete Training e Updating, presentando nella sessione
successiva lo stimolo più “problematico” per il soggetto con più
frequenza. Per calcolare lo sbilanciamento, si vanno a contare quante
porzioni di segnale “buone” (ossia concordi alla richiesta a soprasoglia)
al termine della precedente sessione corrispondevano ad una classe o
all’altra, e si inverte il rapporto fino ad un limite massimo di
sbilanciamento di 7:3 (o viceversa). In questo modo si favoriscono, al
contempo, un più veloce aggiornamento del classificatore e
l’apprendimento dello stato mentale più “problematico” da parte del
soggetto. Naturalmente, alla prima esecuzione di Training e Updating
le frecce sono presentate in rapporto 5:5, mentre lo sbilanciamento
entra in gioco dalla successiva ripetizione in poi. A mano a mano che il
soggetto apprende a produrre bene entrambi gli stati mentali, lo
55
sbilanciamento delle frecce sarà sempre più ridotto e tenderà ad auto-
assestarsi sul 5:5.
Alla fine di ogni sessione di Training e Updating la percentuale di
pattern correttamente classificati viene calcolata, ed è visualizzabile
anche dal soggetto in alto nello schermo. Nel momento in cui il
soggetto ottiene performance di classificazione sufficientemente stabili
(come meglio spiegato nel prossimo paragrafo), può passare alla fase di
Classification, in cui né la soglia, né il filtro CSP, né il classificatore
vengono più aggiornati. Per il calcolo delle percentuali di pattern
correttamente classificati, si considera alla fine di ogni fase di Training
e Updating il numero totale di pattern correttamente classificati
(indipendentemente, stavolta, dal fatto che si trovino sotto- o sopra-
soglia) e lo si divide per la totalità dei pattern, ossia 170. Si noti come,
dato lo sbilanciamento nella presentazione delle frecce,
quest’operazione equivalga a fare una media pesata delle percentuali di
pattern correttamente classificati di ciascuna classe. Il fatto che ogni
volta venga riproposta con maggiore frequenza la classe più
“problematica” rende dunque questa stima leggermente peggiorativa,
dal momento che mediamente peserà di più la classe in cui si ottengono
i risultati peggiori.
Prima di passare a descrivere la fase Classification, si vuole dare
qui la ragione di alcune scelte progettuali fatte, come ad esempio il
numero di ripetizioni della freccia nel Training (14 ripetizioni) rispetto
al Training e Updating (10 ripetizioni). Il motivo di questa scelta
risiede nel fatto di voler sì rendere il classificatore flessibile e in grado
di adattarsi al soggetto, ma tutelandosi al contempo dal fatto che
l’intero training set potesse essere sostituito nel caso di una sessione di
Training e Updating particolarmente positiva. In particolare, con 10
ripetizioni della freccia il massimo numero di pattern estraibili in una
sessione di Training e Updating è 10x17=170, ossia circa 70% del
training set (composto da 238 elementi). In questo modo nel training
set saranno presenti sempre i dati di almeno due sessioni diverse, il che
favorisce una maggiore continuità e stabilità del sistema da una
sessione all’altra. Inoltre, pur essendo permesso l’aggiornamento, si
56
vincola in questo modo un po’ il soggetto a cercare di riprodurre stati
mentali stabili da una sessione all’altra.
In parte per gli stessi motivi, si è deciso di diversificare la modalità
di aggiornamento di W da quella del training set. In particolare, nel
caso di W abbiamo visto che le nuove matrici di covarianza vengono
aggiunte, mentre nel caso del training set i vecchi dati vengono
sostituiti. Anche in questo caso, è stata fatta questa scelta per
permettere sì al sistema di aggiornarsi, ma sempre garantendo la
stabilità e obbligando il soggetto a cercare di ripetere sempre il più
possibile uguali gli stati mentali prodotti, una volta individuata una
strategia. Inoltre, nel caso dell’aggiornamento di W si è ritenuta più
idonea un’aggiunta piuttosto che una sostituzione anche per via
dell’elevata sensibilità agli artefatti del metodo CSP, come spiegato da
Ramoser et al. in [72]. Aumentando il numero di “esempi”, le matrici
medie di covarianza normalizzata delle due classi vengono stimate in
modo più robusto, il che favorisce la stabilità del sistema.
Classification
La terza parte del software, Classification, corrisponde alla fase in
cui le soglie e il filtro CSP sono già stati calcolati, il classificatore
SVM è già stato addestrato e il soggetto è abbastanza abile nel
controllare il sistema da poterlo utilizzare. In particolare, nella fase
Classification non viene più indicata la direzione del movimento con
una freccia, ma vengono piuttosto proposti sullo schermo dei target
(pallini) che il soggetto è chiamato a raggiungere con l’end-point del
braccio, attraverso il controllo EEG.
La schermata di Classification è in tutto e per tutto simile a quelle
di Training e di Training e Updating (Figura 21). Anche in
Classification i dati anagrafici del soggetto vengono riportati
automaticamente nei rispettivi campi, e in più è possibile selezionare
nella parte bassa dello schermo (Figura 21) quante prove di reaching si
desidera portare a termine in ogni ripetizione di Classification. Di
default, il numero di proposizioni del target in una sessione è 5 perché
la fase di Classification, soprattutto le prime volte che ci si arriva, può
57
essere più stancante per il soggetto rispetto al Training o al Training e
Updating. Mentre infatti nelle prime due fasi lo stato mentale andava
mantenuto per soli 10s consecutivi con pause di 2.5s tra una
presentazione e l’altra della freccia, in Classification è possibile che
venga richiesto di rimanere concentrati per più tempo. In effetti, se il
braccio si muove ogni volta che sia possibile, allora percorrerà 5° ogni
0.5s, ossia avrà una velocità massima di 10°/s. Ciò significa che, se il
target compare nella posizione-limite più lontana (-140°), il soggetto
impiega come minimo 14 secondi per raggiungerlo, ma anche più nei
casi in cui l’arto non venga sempre mosso nel verso giusto o si
producano a volte pattern sottosoglia. Per lo stesso motivo, le pause tra
una presentazione e l’altra del target durano 5s in Classification, invece
che 2.5s.
Figura 21. La schermata di Classification. Nell’immagine uno dei momenti
in cui il target viene raggiunto, con conseguente comparsa del “reward”.
Naturalmente, anche durante la fase di Classification il soggetto
continua ad addestrarsi, perciò si è pensato di inserire anche qui un
ulteriore segno di reward come rinforzo positivo. In particolare, tutte le
volte che il soggetto riesce a raggiungere il target, compare
un’espressione sorridente sullo schermo (Figura 22, a sinistra). Per
risolvere infine i casi in cui il soggetto non riesce a controllare bene
l’arto modellato e dopo un po’ si demoralizza, è stato inserito un
58
timeout di 120s, al termine del quale compare un’espressione triste
(Figura 22, a destra) e, dopo la pausa di 5s, viene presentato il nuovo
target.
Figura 22. A sinistra, espressione sorridente che compare quando si
raggiunge il target. A destra, espressione triste che indica il raggiungimento
del timeout
Al termine della fase di Classification, il software salva in un file le
coordinate dei 5 target presentati e i tempi impiegati dal soggetto per
raggiungerli. In questo modo, è possibile ricostruire offline quale fosse
il tempo minimo necessario per raggiungere ogni target e confrontarlo,
ad esempio, con il tempo realmente impiegato dal soggetto. Anche i
segnali EEG registrati e i parametri del sistema (come le soglie per le
distanze, il filtro CSP e il classificatore) vengono salvati, cosicché sia
anche possibile capire quante volte, ad esempio, il soggetto avesse
prodotto lo stato mentale corretto per raggiungere il target, ma
sottosoglia per cui l’arto non si è mosso.
2.3 Test del software sviluppato
In questo lavoro di tesi, oltre a sviluppare il software, si è anche
testato il sistema su alcuni soggetti. Nelle due seguenti sezioni si
descriveranno meglio i soggetti che hanno preso parte all’esperimento,
e le modalità di esecuzione.
I soggetti
Il sistema sviluppato in questo lavoro di tesi è stato testato su
quattro persone (3 femmine e 1 maschio, di età compresa tra i 24 e i 60
59
anni), che hanno preso parte all’esperimento. I soggetti, che saranno
d’ora in poi designati con le sole iniziali di nome e cognome per
questioni di privacy, al momento di iniziare il test presentavano diversi
livelli di esperienza in quanto a sistemi BCI basati su immaginazione
motoria. In particolare:
il Soggetto DB non aveva mai avuto in precedenza esperienze BCI
il Soggetto ALM aveva già totalizzato nello stesso anno della
sperimentazione, da precedenti esperienze BCI su sistemi
diversi, 261 minuti (4 ore e 21 minuti) di training su
immaginazione motoria
il Soggetto MR non aveva mai avuto in precedenza esperienze BCI
il Soggetto VM aveva già totalizzato nello stesso anno della
sperimentazione, da precedenti esperienze BCI su sistemi
diversi, 461 minuti (7 ore e 41 minuti) di training su
immaginazione motoria
I tempi di training indicati per il Soggetto ALM e per il Soggetto VM,
che indicano il livello di esperienza BCI precedente all’esperimento, si
riferiscono al tempo effettivo di concentrazione sui task di
immaginazione motoria, senza considerare eventuali pause.
Figura 23. Uno dei soggetti siete rilassato davanti allo schermo durante una
delle prove
60
Modalità di svolgimento delle prove
Durante lo svolgimento delle prove, i soggetti sedevano di fronte
allo schermo di un pc, con le braccia rilassate e assumendo una
posizione comoda (Figura 23). Per cercare di evitare artefatti nel
segnale EEG, si è chiesto ad ogni persona di ricordare durante la prova
di non contrarre i muscoli facciali (ad esempio digrignando i denti,
corrugando la fronte etc.) e di cercare di tenere gli occhi aperti e lo
sguardo fisso.
A priori è stato stabilito con che modalità dovevano essere svolte le
prove. In particolare, per decidere quanto dovesse durare una ogni
sessione di addestramento si è consultata la letteratura e si è visto che
tipicamente si considerano sessioni di 160 trial [62][78]. Ogni trial, nel
nostro caso, è una ripetizione della freccia lunga 10s. Dunque, dal
momento che ogni fase di Training e Updating corrisponde a 10 trial, si
è stabilito che ogni sessione di addestramento dovesse essere composta
da 1 Training iniziale + 16 ripetizioni di Training e Updating (timeline
in Figura 24). In tutto, ogni sessione di addestramento così composta
dura esattamente 29 minuti di concentrazione effettiva, che
corrispondono a circa 1 ora considerando anche la preparazione e le
eventuali pause tra una ripetizione e l’altra di Training e Updating.
A ogni soggetto partecipante è stata chiesta disponibilità per un
tempo corrispondente a 6 sessioni di addestramento, per vedere
l’evoluzione delle performance. Eventualmente, i soggetti avevano la
possibilità di eseguire anche 2 sessioni al giorno, in modo da doversi
recare in laboratorio solo 3 volte. Tutti i soggetti hanno seguito questa
modalità, per cui in ogni giornata sono state sempre portate a termine 2
sessioni di addestramento. Il tempo trascorso tra la prima e l’ultima
delle 6 sessioni non ha mai superato le 2 settimane per nessuno dei
soggetti.
Figura 24. Timeline di una tipica sessione di addestramento
61
La timeline, così come mostrata in Figura 24, è relativa ad una
sessione di addestramento “standard” anche se in realtà, a seconda delle
performance del soggetto, sono state introdotte delle variazioni.
In dettaglio, per risolvere i casi in cui il Training sia andato male
oppure quelli in cui dopo un po’ il soggetto abbia cambiato strategia
portando il sistema a “non seguirlo più”, si è deciso che se la
percentuale di dati correttamente classificati nelle ultime tre ripetizioni
di Training e Updating era inferiore al 40%, allora si aveva la
possibilità di azzerare il sistema ripetendo il Training, e completando
solo in seguito le mancanti ripetizioni di Training e Updating (esempio
di timeline in Figura 25). Percentuali di pattern correttamente
classificati così basse possono verificarsi nel sistema sviluppato
poiché, come accennato in precedenza, le accuratezze di classificazione
sono calcolate come media pesata delle accuratezze di ogni classe (ed è
la classe per il soggetto più problematica ad essere proposta con
maggior frequenza).
Figura 25 Timeline di una sessione in cui nelle ultime tre volte la media
delle percentuali di pattern corretti della sessione è <40%
Viceversa, l’accesso a Classification può avvenire nel momento in
cui il soggetto raggiunge performance abbastanza buone e stabili. Il
requisito minimo per l’accesso alla fase di Classification è che, al
termine delle 16 ripetizioni di Training e Updating della sessione, la
media delle ultime 6 percentuali di pattern correttamente classificati
superi il 58%. Questa soglia è stata scelta in accordo al lavoro di
Müller-Putz et al. [79], che indicano il livello-limite di accuratezza di
classificazione al di sotto del quale non si può considerare il proprio
sistema migliore del caso nel predire la giusta classe. Con un numero di
elementi del training set n=238 e 2 classi da discriminare, questo
livello è risultato essere pari al 58%.
62
Quello appena descritto è il requisito minimo per l’accesso a
Classification. L’altra modalità per accedere a questa fase richiede
invece che nelle ultime 6 prove la percentuale di dati correttamente
classificati sia superiore al 70%. Non appena si verifichi questo
requisito, è possibile terminare anticipatamente le ripetizioni di
Training e Updating accedendo immediatamente alla fase di
Classification, poiché si ritiene che il soggetto sia abbastanza abile nel
governare il sistema e filtro CSP e classificatore ben addestrati.
Una volta arrivati alla fase di Classification tramite una delle due
modalità sopra descritte, si è stabilito di ripetere quest’ultima fase per
3 volte. Considerando che all’interno di ogni ripetizione di
Classification sono eseguite 5 prove di reaching, in totale quando si
arriva a questa fase viene richiesto di raggiungere il target (pallino)
presentato 15 volte.
2.4 Independent Component Analysis
Prima di passare a descrivere, nel prossimo paragrafo, le modalità
con cui saranno presentati i risultati, conviene fermarsi un attimo per
descrivere un metodo di analisi del segnale EEG a cui si farà
riferimento in seguito. Tale metodo è l’Independent Component
Analysis (ICA), e sarà introdotto nella seguente sezione.
Il metodo ICA (Independent Component Analysis)
L’obbiettivo della ICA (Independent Component Analysis) è quello
di trovare una rappresentazione dei dati più significativa, rispetto al
segnale registrato, attraverso una trasformazione lineare degli stessi
[80]. Per capire meglio l’ICA si prenda l’esempio del cocktail party
problem: supponiamo che in una stanza si tenga un cocktail party, con
diverse persone che parlano indipendentemente le une dalle altre.
Supponiamo poi di avere nella stanza più microfoni. I segnali registrati
dai vari microfoni saranno allora delle combinazioni dei segnali (voci)
emessi dalle varie sorgenti. Considerando il caso semplice in cui ci
siano solo due soggetti e due microfoni (Figura 26), allora i segnali
63
registrati da ciascuno dei due microfoni, x1(t) e x2(t), saranno entrambi
combinazione lineare delle due sorgenti indipendenti, s1(t) e s2(t), in
questo modo:
)()()( 2121111 tsatsatx +=
)()()( 2221212 tsatsatx += (20)
L’obbiettivo della ICA è quello di ricostruire i segnali s1(t) e s2(t) a
partire dalla sola conoscenza di x1(t) e x2(t), ottenendo così le sorgenti
a partire dalla loro miscela. Anche se non si conoscono i coefficienti aij
si può dimostrare come, facendo alcune ipotesi sulle sorgenti, sia
possibile la separazione. Problemi come il cocktail party problem
rientrano nella categoria dei problemi di Blind Source Separation
(BSS).
Figura 26 Il cocktail party problem e il problema della Blind Source
Separation.
Le assunzioni alla base del metodo ICA, necessarie per poter
stimare le componenti indipendenti (sorgenti), riguardano innanzitutto
il modello generativo dei dati. Come detto prima, supponiamo di avere
un vettore x di n registrazioni (dunque di dimensione nx1). Ognuna
delle componenti xi del vettore sia combinazione lineare delle n
sorgenti indipendenti si (vettore s delle sorgenti, anch’esso nx1). In
forma matriciale, questo significa scrivere:
sAxrr = (21)
dove la matrice A è detta matrice di mixing. Sia le sorgenti che il modo
in cui si mescolano (i coefficienti della matrice A) sono variabili
latenti, non note. L’unica cosa a cui si ha accesso è il vettore di dati x.
Se però si assume questo modello, allora si può scrivere:
xAsrr 1−= (22)
64
ossia che anche le sorgenti in s possono teoricamente essere stimate
come combinazione lineare delle registrazioni in x. Per stimare la
matrice A -1, detta matrice di demixing, occorre ottimizzare una qualche
funzione costo proporzionale al “grado di indipendenza” delle sorgenti
s stimate.
Perché io possa stimare s è necessario tuttavia fare alcune
assunzioni, chiamate vincoli di identificabilità. I vincoli di
identificabilità sono i seguenti:
1. le sorgenti si siano statisticamente indipendenti
2. le sorgenti si siano non gaussiane
3. il numero di variabili osservate xi (m) deve essere ≥ del numero
di sorgenti indipendenti (n). Avendo assunto il modello
generativo dei dati dell’equazione (22) allora m=n (assunzione
lecita a cui ci si può sempre ricondurre con metodi di riduzione
della dimensionalità tramite eliminazione della ridondanza)
4. la matrice A (supposta quadrata, m=n) sia invertibile, ossia
detA≠0
Sotto queste condizioni il problema della stima delle componenti
indipendenti è ben posto, ossia è possibile applicare il modello ICA.
Tuttavia, l’ICA può stimare s e A solo a meno di alcune
indeterminazioni. Queste vengono dette ambiguità del modello ICA, e
sono le seguenti:
1. non è possibile determinare la varianza delle sorgenti
indipendenti perché sia le colonne di A che gli elementi di s
sono identificabili a meno di un fattore moltiplicativo
(moltiplicando infatti la colonna Aj per α≠0 e dividendo la
sorgente sj per lo stesso α il risultato non cambia). L’ICA
ipotizza dunque che le varianze di tutte le sorgenti siano
arbitrariamente unitarie.
2. le sorgenti sono stimate a meno del segno, per lo stesso motivo
che in 1.
3. le sorgenti non hanno un ordine intrinseco perciò, ripetendo la
ICA, la stessa sorgente si può essere stimata in posizioni diverse
in s
65
Come detto precedentemente, la stima della matrice di demixing A -1
è possibile risolvendo un problema di ottimizzazione di una funzione
costo che misuri l’indipendenza delle variabili. Due approcci
solitamente utilizzati per massimizzare l’indipendenza prevedono ad
esempio:
la massimizzazione della non-gaussianità
la minimizzazione della mutua informazione tra variabili
Il motivo per cui, per massimizzare l’indipendenza, bisogna
massimizzare la non-gaussianità deriva dal teorema del limite centrale,
per cui la somma di k variabili aleatorie indipendenti converge a una
funzione densità di probabilità gaussiana al crescere di k,
indipendentemente da come sono fatte le funzioni densità di probabilità
delle singole variabili [80]. Una combinazione lineare di anche solo due
variabili sarà dunque “più gaussiana” di ognuna delle variabili
originali. Calcolando i coefficienti della combinazione lineare
attraverso la massimizzazione della sua non-gaussianità, invece, il
risultato dovrebbe stimare esattamente una delle due sorgenti
indipendenti.
Per quanto riguarda invece la mutua informazione, questa quantifica
l’informazione che una variabile contiene circa le altre. Minimizzare la
mutua informazione tra variabili significa dunque massimizzare la loro
indipendenza.
Quelli appena mostrati sono i principi e le assunzioni alla base del
metodo ICA. Maggiori dettagli sui passaggi matematici che portano
all’identificazione della matrice di demixing possono invece essere
trovati nel libro di Hyvärinen, Karhunen e Oja [81].
Il problema di BSS si presenta in molti ambiti, come l’audio-
processing (es. isolare tracce di singoli strumenti da un insieme) o le
scienze della terra (per l’analisi dei dati sismici). In ambito biomedico,
il problema BSS può essere applicato all’elaborazione del segnale EEG:
i segnali registrati alle diverse locazioni non sono infatti altro che una
miscela di contributi di origine cerebrale ed extracerebrale (artefatti).
La tecnica ICA può essere in effetti utilizzata per rimuovere dall’EEG
le sorgenti artefattuali [80]. Il motivo per cui è difficile utilizzare in
66
real-time il metodo ICA per la rimozione degli artefatti è che le
sorgenti, come detto precedentemente, non vengono stimate con un
ordine intrinseco. Occorrerebbe dunque implementare una procedura di
riconoscimento automatico delle sorgenti artefattuali, eliminandole così
di volta in volta quando presenti.
La tecnica ICA può essere utilizzata, in ambito EEG, anche per
localizzare le sorgenti sullo scalpo rispetto alle locazioni degli
elettrodi. Stimando infatti la matrice di mixing A, si può osservare che i
coefficienti nelle colonne di A pesano le sorgenti si in base alla
“vicinanza” rispetto alle locazioni degli elettrodi. Ciò significa che ad
esempio, plottando i valori dei coefficienti della colonna j-esima di A
su una mappa topografica dello scalpo contenente le locazioni
d’elettrodo e interpolando, si può ottenere la localizzazione della
sorgente sj rispetto agli elettrodi registrati.
In questo lavoro di tesi il metodo ICA è stato utilizzato per vedere
se, tra le sorgenti EEG stimate durante l’immaginazione motoria dei
movimenti della mano sinistra vs destra, ce ne fossero alcune
associabili ai noti fenomeni di desincronizzazione evento-correlata
(ERD) controlaterale e di sincronizzazione evento-correlata (ERS)
ipsilaterale.
2.5 Modalità di presentazione dei risultati
All’interno del prossimo capitolo si mostreranno i risultati ottenuti
sul sistema sviluppato in questo lavoro di tesi. I risultati presentati
riguarderanno sia le performance dei soggetti nelle 6 sessioni, sia le
caratteristiche del sistema in generale. Nelle seguenti sezioni anticiperò
in dettaglio cosa verrà mostrato per ogni soggetto/per la valutazione del
sistema.
Presentazione dei risultati dei soggetti
Nella prima parte del prossimo capitolo saranno mostrati, per
ognuno dei soggetti, i risultati raggiunti. In dettaglio, per ogni soggetto
si presenteranno:
67
i. la timeline di ogni sessione di addestramento (analoghe a quelle
mostrate in Figura 24 e Figura 25), per comprendere meglio la
dinamica delle sessioni
ii. un grafico mostrante in sequenza tutte le percentuali di pattern
correttamente classificati nelle 6 sessioni di addestramento
iii. una tabella contenente i risultati delle fasi di Classification, se e
quando il soggetto ci sia arrivato
iv. delle mappe topografiche dello scalpo che mostrano alcune
“sorgenti EEG” identificate tramite metodo ICA (Independent
Component Analysis), durante l’immaginazione motoria della
mano destra e sinistra. In particolare si mostreranno, tra le
sorgenti identificate, quelle associabili ai fenomeni di ERD
controlaterale e ERS ipsilaterale relativi all’immaginazione
motoria dei movimenti delle mani. Questo particolare risultato
riguarda le sorgenti separate al termine della sessione in cui il
soggetto ha presentato le migliori performances, considerando
tutti i segnali della sessione. Poiché, tramite il metodo ICA, le
sorgenti vengono stimate a meno del segno, si userà una mappa
di colore simmetrica rispetto allo zero.
v. un breve commento finale su ogni partecipante, includendo
anche un altro grafico con le percentuali medie di pattern
correttamente classificati in ogni sessione
Per quando riguarda il grafico di cui al punto ii), esso presenterà
colorazioni diverse nello sfondo (bianco o grigio) per permettere di
capire meglio quando finisce una sessione e ne inizia un’altra. Inoltre,
saranno presenti linee tratteggiate verticali color magenta ogni volta
che, all’interno di una sessione, si sia dovuto ripetere il Training per
via di accuratezze di classificazione troppo basse. Nel grafico saranno
infine mostrati, oltre alla percentuale totale di pattern correttamente
classificati (linea nera spessa), anche le percentuali di pattern
correttamente classificati per l’immaginazione della mano destra (linea
sottile tratteggiata rossa) e della mano sinistra (linea sottile tratteggiata
68
blu). Per queste ultime tre informazioni è comunque presente anche una
legenda.
Per quanto riguarda la tabella di cui al punto iii), contenente in
forma sintetica i risultati delle fasi di Classification, essa includerà i
seguenti indici:
numero di volte in cui il soggetto non è riuscito a raggiungere
il target (perché scaduto il timeout di 120s)
rapporto medio tra il tempo impiegato per raggiungere i
target e il tempo minimo necessario
accuratezza media di classificazione, ottenuta valutando
quante volte sul totale il soggetto abbia prodotto lo stato
mentale corretto (quello che gli permetteva di muovere l’arto
nella direzione giusta), indipendentemente dal fatto che il
pattern prodotto fosse sotto- o sopra-soglia
Per il calcolo degli ultimi due parametri (rapporto medio tra tempo
impiegato e tempo minimo necessario e accuratezza media di
classificazione) si sono considerati solo i casi in cui il target sia stato
raggiunto senza far scadere il timeout. Questa scelta è stata fatta perché
si assume che tutte le volte che è scaduto il tempo sia perché dopo un
po’ di tentavi il soggetto si è demoralizzato e ha smesso di concentrarsi
(aspettando solo il termine della prova).
Per quanto riguarda infine le mappe topografiche delle sorgenti, non
è stato sempre immediato scegliere quali potessero essere associate a
fenomeni di ERD/ERS. Dal momento che, infatti, il metodo ICA stima
le sorgenti con varianza unitaria e non permette di stimare il segno, non
si può sapere se queste siano associate a diminuzioni o aumenti della
dell’ampiezza dei segnali in una certa zona. Si consideri inoltre,
guardando anche l’immagine in Figura 9 relativa allo studio di
Pfurtscheller e Neuper [61], che le aree in cui si osservano le
desincronizzazioni/sincronizzazioni possono essere anche piuttosto
vaste, e non necessariamente centrate su C3 e C4. Infine, essendo il
numero di elettrodi utilizzato solo di 11, non si ha molta risoluzione
spaziale in merito alla localizzazione delle sorgenti, e l’interpolazione
potrebbe dare a volte risultati fuorvianti. Nella sezione di cui al punto
69
iv), dunque, si riporteranno le sorgenti che, a parere dell’autrice,
possono essere associabili per localizzazione a fenomeni di ERD/ERS,
tagliando fuori a volte altre sorgenti che, con qualche dubbio in più,
potevano anche essere associabili agli stessi fenomeni.
Presentazione dei risultati del sistema
Uno dei motivi per cui si è progettato l’aggiornamento del filtro
CSP e del classificatore SVM con le modalità descritte nel paragrafo
precedente, era che questo permettesse di fornire al classificatore
training set nel tempo sempre migliori in termini di separabilità. Per
verificare che questo obbiettivo sia stato raggiunto, sono state fatte
delle prove offline.
In particolare, dopo ogni ripetizione di Training e Updating, si è
quantificata la separabilità del training set facendo processare al
classificatore gli stessi pattern di training, e contando il numero di
misclassificazioni. Naturalmente, un ridotto numero di
misclassificazioni indica una buona separabilità nel training set, e
viceversa. Se l’obbiettivo di miglioramento della qualità dei dati nel
training set è stato raggiunto, allora il numero di misclassificazioni ad
ogni ripetizione di Training e Updating deve avere andamento
decrescente.
Come risultato, in questa sezione, si riporteranno dei grafici
contenenti l’andamento nel tempo del numero di misclassificazioni.
Diversamente dagli altri parametri che vengono calcolati mediamente
all’interno di ogni sessione di addestramento (come ad esempio la
percentuale media di pattern correttamente classificati della sessione),
in questo caso è disponibile un nuovo dato ogni volta che venga rifatto
il Training. Ciò significa che, se in una sessione di addestramento si
richiede una volta di ripetere il Training, allora da quella sessione avrò
in realtà due grafici sull’andamento del numero di misclassificazioni.
Per questioni di leggibilità, non potranno essere riportati i grafici
relativi a tutte le volte che, complessivamente dai 4 soggetti, è stato
ripetuto il Training. Si tenterà piuttosto di descrivere in generale il
comportamento del sistema.
70
Seguirà infine un breve commento per constatare il raggiungimento
o meno dell’obbiettivo prefissato.
72
3. Risultati e Discussione 3.1 Soggetto DB
Timeline delle sessioni di addestramento
1a sessione:
2a sessione:
3a sessione:
4a sessione:
5a sessione:
6a sessione:
Performances in fase di Training e Updating
73
Performances in Classification
Questo soggetto non ha mai raggiunto nel corso delle 6 sessioni di
addestramento percentuali di pattern correttamente classificati
adeguate per accedere alla fase di Classification.
Sorgenti ICA associabili a ERD/ERS (sessione migliore)
Figura 27. In figura le sorgenti identificate dal metodo ICA associabili (a
parere dell’autrice) a fenomeni di ERD ed ERS legati all’immaginazione
motoria. In particolare, l’ICA è stata portata a termine utilizzando tutti i
dati relativi alla sessione migliore per il soggetto DB (sessione 4). Nella
prima riga le sorgenti relative all’immaginazione della mano destra, con
l’ERD controlaterale a sinistra e l’ERS ipsilaterale a destra. Nella seconda
riga le sorgenti relative all’immaginazione motoria della mano sinistra,
riportando sempre l’ERD controlaterale a sinistra e l’ERS ipsilaterale a
destra.
74
Commento generale
All’inizio della sperimentazione, il Soggetto DB non aveva mai
avuto alcuna esperienza in merito a sistemi BCI. Al termine delle sei
sessioni di addestramento, durate in totale 186 minuti (3 h e 6 minuti),
non si può ancora dire che il Soggetto abbia appreso a controllare il
sistema tramite immaginazione motoria, né si evidenzia per ora un
trend di crescita (Figura 28).
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 60
10
20
30
40
50
60
70
80
90
100Valori medi delle percentuali di pattern correttamente classificati nelle 6 sessioni
46.18%
45.74%
49.92%
57.37% 55.48%
41.18%
Per
cent
uali
di p
atte
rn c
orre
ttam
ente
cla
ssifi
cati
Sessioni
Figura 28 Valori medi delle percentuali di pattern corretti nelle 6 sessioni
per il soggetto DB.
Durante le prime sessioni, non avendo mai avuto esperienze
precedenti, il Soggetto DB ha esplorato diverse configurazioni mentali
per cercare di individuare la strategia migliore. In effetti, si può notare
anche dalle timeline come durante le prime tre sessioni sia stato
richiesto più volte di ripetere il Training per via di percentuali di
pattern correttamente classificati troppo basse. Durante la quarta
sessione, in corrispondenza della quale la persona ha asserito di aver
trovato la strategia mentale per lei più favorevole, si sono in effetti
registrate le performances migliori (percentuale media di pattern
75
correttamente classificati pari al 57.37%, che sfiora quasi la soglia del
58% individuata da Mueller-Putz et al. [79]). Nonostante questo, come
si evince osservando i dati delle successive due sessioni, per ora il
soggetto non è riuscito a ripetere o migliorare il risultato ottenuto
durante la quarta esperienza, per cui probabilmente sono necessarie
ulteriori sessioni di addestramento per vedere un’evoluzione.
Alla fine della sperimentazione, la persona ha anche rivelato di aver
avuto difficoltà a mettere a fuoco esperienze cinestetiche relativamente
all’immaginazione motoria, focalizzandosi più spesso su una semplice
visualizzazione del movimento. Ad ogni modo, osservando i risultati
della ICA (Figura 27) al termine della sessione migliore (sessione 4), si
può notare come siano state rilevate sorgenti probabilmente correlabili
alle ERD contro laterali (parte sinistra della figura) e alle ERS
ipsilaterali (parte destra della figura), tipiche dell’immaginazione del
movimento delle mani.
76
3.2 Soggetto ALM
Timeline delle sessioni di addestramento
1a sessione:
2a sessione:
3a sessione:
4a sessione:
5a sessione:
6a sessione:
Performances in fase di Training e Updating
77
Performances in Classification
N° di volte in cui
il target non è
stato raggiunto
Rapporto medio
tra tempo impie-
gato e tempo mini-
mo per raggiun-
gere il target
Percentuale di
pattern corretti
Sessione 1 0 su 15 11.47 60.13%
Sessione 4 1 su 15 9.33 64.83%
Sorgenti ICA associabili a ERD/ERS (sessione migliore)
Figura 29. In figura le sorgenti identificate dal metodo ICA che associabili
(a parere dell’autrice) a fenomeni di ERD ed ERS legati all’immaginazione
motoria. L’ICA è stata portata a termine utilizzando tutti i dati relativi alla
sessione migliore per il soggetto ALM (sessione 4, parte 2). Per la
disposizione delle immagini l’ordine è lo stesso della Figura 27 (spiegazione
nella didascalia), con gli ERD controlaterali a sinistra e gli ERS ipsilaterali
a destra.
78
Commento generale
Il soggetto ALM, che all’inizio della sperimentazione aveva alle
spalle 261 minuti di training su immaginazione motoria da precedenti
esperienze su sistemi BCI, ha effettivamente riportato risultati
mediamente migliori rispetto al soggetto DB. Addirittura, al termine
della prima e della quarta sessione, il soggetto ha anche avuto accesso
alla fase di Classification (entrambe le volte perché la media delle
percentuali delle ultime sei ripetizioni di Training e Updating era
superiore al 58%).
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 60
10
20
30
40
50
60
70
80
90
100Valori medi delle percentuali di pattern correttamente classificati nelle 6 sessioni
60.99%
54.85%
48.05%
55.88%
52.76%
53.35%
Per
cent
uali
di p
atte
rn c
orre
ttam
ente
cla
ssifi
cati
Sessioni
Figura 30. Valori medi delle percentuali di pattern corretti nelle 6 sessioni
per il soggetto ALM
Avendo il soggetto già avuto precedenti esperienze BCI, la strategia
d’immaginazione motoria utilizzata è rimasta di volta in volta
invariata, senza sperimentare particolari variazioni. Inoltre, la persona
ha rivelato di aver cercato di prediligere esperienze cinestetiche,
piuttosto che la semplice visualizzazione del movimento. In effetti,
osservando le mappe topografiche (Figura 29) risultanti dell’analisi
ICA della sessione migliore (parte 2 della quarta sessione), sono state
trovate sorgenti EEG associabili, a parere dell’autrice, a fenomeni di
79
ERD controlaterale (parte sinistra della figura) e ERS ipsilaterale (parte
destra della figura), tipiche dell’immaginazione del movimento delle
mani.
Osservando la Figura 30 si potrebbe pensare che il soggetto ALM,
non essendo riuscito in 5 sessioni su 6 a superare mediamente il valore
di soglia del 58%, non sia realmente in grado di attuare un controllo sul
sistema. In realtà, guardando invece alle performances durante le due
sessioni di Classification, si può notare che in entrambi i casi la
percentuale di pattern corretti stimata superi il livello di soglia. Inoltre,
sebbene il rapporto medio tra il tempo impiegato per raggiungere il
target e il tempo minimo sia piuttosto elevato, comunque il target è
stato raggiunto 29 volte su 30, senza far scadere il timeout.
Dagli elementi appena forniti si può intuire che il soggetto abbia già
acquisito effettivamente un certo livello di controllo sul sistema, anche
se la tecnica può essere certamente perfezionata. Probabilmente, per
migliorare le performances, sono semplicemente necessarie altre
sessioni di addestramento.
80
3.3 Soggetto MR
Timeline delle sessioni di addestramento
1a sessione:
2a sessione:
3a sessione:
4a sessione:
5a sessione:
6a sessione:
Performances in fase di Training e Updating
81
Performances in Classification
N° di volte in cui
il target non è
stato raggiunto
Rapporto medio
tra tempo impie-
gato e tempo mini-
mo per raggiun-
gere il target
Percentuale di
pattern corretti
Sessione 1 3 su 15 3.82 75.46%
Sessione 2 1 su 15 2.81 74.52%
Sessione 3 4 su 15 5.99 57.83%
Sessione 4 3 su 15 7.73 58.33%
Sessione 5 1 su 15 4.10 66.61%
Sessione 6 0 su 15 2.50 74.22%
Sorgenti ICA associabili a ERD/ERS (sessione migliore)
Figura 31. In figura le sorgenti identificate dal metodo ICA associabili (secondo
l’autrice) a fenomeni di ERD ed ERS legati all’immaginazione motoria. L’ICA è stata
portata a termine utilizzando i dati della sessione migliore per il soggetto MR (sessione
2). Per ulteriori dettagli sulla disposizione si veda la didascalia della Figura 27.
82
Commento generale
Anche se il soggetto MR, come il soggetto DB, non aveva mai avuto
esperienze BCI antecedenti la sperimentazione, ha presentato da subito
risultati notevoli (percentuale media >70% già nella prima sessione,
con punte sopra l’80%). Addirittura, già durante la prima sessione il
soggetto avrebbe avuto diritto a passare anticipatamente a
Classification, perché la media delle percentuali di pattern corretti
delle ultime 6 volte superava il 70%. Poiché però quella era per il
soggetto la prima sessione in assoluto, si è richiesto comunque di
completarla con le 16 ripetizioni di Training e Updating. Anche nella
seconda sessione la persona ha confermato i risultati (Figura 32),
potendo così accedere a Classification subito dopo le prime 6
ripetizioni di Training e Updating.
Durante la terza e la quarta sessione si può notare un calo delle
performances. È giusto tuttavia riportare anche che durante queste due
sessioni, svolte all’interno della stessa giornata, l’ambiente in cui si è
svolta la sperimentazione fosse un po’ più rumoroso. Inoltre il
soggetto, dopo l’iniziale insuccesso della terza sessione (si è dovuto
ripetere il Training dopo poco), si era un po’ innervosito e
deconcentrato. In effetti, durante la quinta e la sesta sessione la persona
ha nuovamente riportato percentuali di pattern correttamente
classificati elevate, considerando la sua iniziale inesperienza, e in linea
con quelle delle prime due sessioni (Figura 32).
Le performances raggiunte dal soggetto nelle fasi di Classification
sono coerenti con quelle raggiunte mediamente all’interno della
relativa sessione.
Osservando la Figura 32, le performances per esteso durante
Training e Updating i risultati di Classification, non si può dire che nel
corso della sperimentazione si sia evidenziato un trend positivo.
Probabilmente, anche in questo caso sono necessarie più sessioni di
addestramento per vedere un’ulteriore evoluzione. Ad ogni modo, il
soggetto ha riportato in media percentuali di pattern correttamente
classificati davvero notevoli considerando l’iniziale inesperienza.
83
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 60
10
20
30
40
50
60
70
80
90
100Valori medi delle percentuali di pattern correttamente classificati nelle 6 sessioni
70.29%
74.61%
60.12% 60.62%
70.41%74.02%
Per
cent
uali
di p
atte
rn c
orre
ttam
ente
cla
ssifi
cati
Sessioni
Figura 32. Valori medi delle percentuali di pattern corretti nelle 6 sessioni
per il soggetto MR
Chiedendo alla persona maggiori informazioni circa la strategia da
lei utilizzata, essa ha rivelato di aver individuato da subito un binomio
di configurazioni mentali che sembravano funzionare, e di aver dunque
continuato con quella strategia fino alla fine. Il soggetto ha inoltre
aggiunto di essersi concentrato a fondo sull’esperienza cinestetica
(cercava di “sentire la fatica” dell’atto motorio immaginato), e di
essersi aiutato a raggiungere la concentrazione aggiungendo dettagli
“non motori” (uno sfondo, una situazione, una condizione atmosferica
immaginata) a ogni stato mentale.
Per quanto riguarda i risultati dell’analisi ICA della sessione
migliore (sessione 2), le sorgenti trovate mostrate in Figura 31
potrebbero effettivamente essere correlate ai fenomeni di ERD
controlaterale (parte sx della figura) ed ERS ipsilaterale (parte dx della
figura), associati all’immaginazione del movimento delle mani.
84
3.4 Soggetto VM
Timeline delle sessioni di addestramento
1a sessione:
2a sessione:
3a sessione:
4a sessione:
5a sessione:
6a sessione:
Performances in fase di Training e Updating
85
Performances in Classification
N° di volte in cui
il target non è
stato raggiunto
Rapporto medio
tra tempo impie-
gato e tempo mini-
mo per raggiun-
gere il target
Percentuale di
pattern corretti
Sessione 1 0 su 10 2.83 68.34%
Sessione 2 0 su 15 1.46 89.10%
Sessione 3 0 su 15 1.32 90.74%
Sessione 4 0 su 15 1.52 84.95%
Sessione 5 0 su 15 1.20 96.53%
Sessione 6 0 su 15 1.35 91.08%
Sorgenti ICA associabili a ERD/ERS (sessione migliore)
Figura 33 In figura le sorgenti identificate dal metodo ICA associabili (secondo
l’autrice) a fenomeni di ERD ed ERS legati all’immaginazione motoria. L’ICA è stata
portata a termine utilizzando i dati della sessione migliore per il soggetto VM (sessione
4). Per ulteriori dettagli sulla disposizione si veda la didascalia della Figura 27.
86
Commento generale
Il soggetto VM è quello che, all’inizio della sperimentazione, aveva
alle spalle la maggiore esperienza in termini di training su
immaginazione motoria (461 minuti), da diversi sistemi BCI.
Nonostante le precedenti esperienze, il soggetto non ha identificato
da subito la strategia per lui migliore. In effetti, durante la prima
sessione è stato necessario ripetere il Training una volta per via di
percentuali di pattern correttamente classificati inizialmente troppo
basse. Nella seconda parte della prima sessione, dopo aver cambiato
strategia, il soggetto ha mostrato invece un primo trend positivo, che
gli ha permesso di avere accesso a Classification.
A partire dalla seconda sessione in poi, la persona ha identificato
una strategia d’immaginazione motoria solida e ripetibile, che le ha
permesso di mantenere nel tempo in modo stabile percentuali elevate di
pattern correttamente classificati (mediamente sopra l’85% dalla terza
sessione in poi, con punte del 96-97% nella quarta e nell’ultima
sessione).
Anche le performances ottenute nelle fasi di Classification sono
stabili: il target è stato raggiunto ogni volta, e dalla seconda sessione in
poi anche i rapporti medi tra il tempo impiegato e il tempo minimo per
raggiungere il target sono piuttosto ridotti (<1.6). Nella sessione di
Classification più favorevole, inoltre, il soggetto ha presentato
mediamente una percentuale di pattern correttamente classificati del
96.53%.
Le buone performances ottenute da questo soggetto sono senz’altro
anche dovute dalla precedente esperienza su altri sistemi BCI basati su
immaginazione motoria. Inoltre, il soggetto ha rivelato di aver cercato
più di tutto di concentrarsi su esperienze cinestetiche legate
all’immaginazione motoria. Per fare questo, la persona ha richiamato
alla mente l’immaginazione motoria di movimenti delle dita legati
all’esecuzione di note al pianoforte. Tali movimenti erano ben noti e
richiamabili dal soggetto con una certa precisione, ed erano fortemente
legati all’esperienza cinestetica più che a una semplice visualizzazione.
87
In effetti, anche dall’analisi ICA della sessione migliore (sessione
4), sono state rilevate sorgenti che potrebbero essere correlate all’ERD
controlaterale (parte sinistra della Figura 33) e ERS ipsilaterale (parte
destra della Figura 33), associati all’immaginazione motoria del
movimento delle mani.
Le performances ottenute dal soggetto VM dimostrano come il
sistema implementato possa lavorare bene, nel momento in cui il
soggetto impara come controllarlo. Probabilmente, in una persona
paralizzata da tempo sarà difficile trovare subito movimenti immaginari
richiamabili con precisione. Ad ogni modo, dopo il training necessario,
grazie a questi risultati ora sappiamo che il sistema può potenzialmente
funzionare.
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 60
10
20
30
40
50
60
70
80
90
100Valori medi delle percentuali di pattern correttamente classificati nelle 6 sessioni
54.04%
80.88%
86.57%88.92%
87.65%
88.82%
Per
cent
uali
di p
atte
rn c
orre
ttam
ente
cla
ssifi
cati
Sessioni
Figura 34. Valori medi delle percentuali di pattern corretti nelle 6 sessioni
per il soggetto VM
88
3.5 Performances del sistema
Evoluzione della separabilità del training set
Come visibile dalle timeline delle sessioni di addestramento dei
soggetti presentate ai paragrafi precedenti, sebbene siano state 6 le
sessioni di addestramento per ogni soggetto, in realtà il numero totale
di ripetizioni della fase di Training è stata di 32. Alle 24 (6 sessioni x 4
soggetti) fasi di Training all’inizio di ogni sessione se ne aggiungono
infatti altre 8 derivanti dalla necessità, a volte, di ripetere il Training
per via di performance di classificazione troppo basse (spiegazione al
paragrafo 2.2). Ciò significa che la seguente descrizione riguarda un
totale di 32 grafici sull’andamento del numero di misclassificazioni
all’interno del training set nel tempo.
Ciò che è risultato in generale da queste 32 evoluzioni è che:
da 26 su 32 grafici (81.25%) è emerso un andamento
decrescente del numero di misclassificazioni all’interno del
training set nel tempo (andamento tipico in Figura 35)
in 5 su 32 grafici (15.63%) il numero di misclassificazioni è
rimasto circa costante nel tempo. Tutti questi 5 andamenti
sono relativi a casi in cui è stato poi chiesto di ripetere il
Training per via di percentuali di pattern correttamente
classificati troppo basse (andamento tipico in Figura 36)
solo in 1 caso su 32 è emerso un lieve aumento del numero di
misclassificazioni nel tempo, nella parte finale (andamento in
Figura 37)
in 20 su 32 casi (62.5%), oltre all’andamento nettamente
decrescente ad un certo punto il numero di misclassificazioni
si è anche azzerato (andamento tipico in Figura 38)
89
0 1 2 3 4 5 6 7 80
50
100
150
200
Sessioni di Training e Updating
Num
ero
di m
iscl
assi
ficaz
ioni
Numero di misclassificazioni ri-classificando il training set stesso
n° sbagliati tot
n° sbagliati dxn° sbagliati sx
Figura 35. Uno dei 26 graf ici con andamento decrescente del numero
di misclassif icazioni nel training set. I l part icolare graf ico è quel lo
relat ivo al soggetto VM, sessione 1 prima del reset con nuova fase di
Training
0 0.5 1 1.5 2 2.5 30
50
100
150
200
Sessioni di Training e Updating
Num
ero
di m
iscl
assi
ficaz
ioni
Numero di misclassificazioni ri-classificando il training set stesso
n° sbagliati tot
n° sbagliati dxn° sbagliati sx
Figura 36 . Uno dei 5 graf ici in cui i l numero di misclassif icazioni
r imane circa costante. I l part icolare graf ico è relat ivo al Soggetto DB,
sessione 1 prima di r ipetere i l Training
90
0 2 4 6 8 10 120
50
100
150
200
Sessioni di Training e Updating
Num
ero
di m
iscl
assi
ficaz
ioni
Numero di misclassificazioni ri-classificando il training set stesso
n° sbagliati tot
n° sbagliati dxn° sbagliati sx
Figura 37 L’unico caso in cui i l numero di misclassif icazioni presenta
un l ieve aumento dopo 9 r ipet izioni del la fase Training e Updating. I l
part icolare graf ico fa r i ferimento al Soggetto DB, Sessione 6 dopo aver
anche r ipetuto i l Training per la seconda volta.
Figura 38 Uno dei 20 casi in cui i l numero di misclassif icazioni è
arr ivato ad azzerarsi. I l part icolare graf ico fa r iferimento al soggetto
MR, Sessione 1. In f igura è evidenziato anche i l punto in cui i l numero
iniziale di misclassif icazioni si azzera.
91
I 20 su 32 casi (62.5%) in cui, oltre ad avere andamento
decrescente, il numero di misclassificazioni arriva ad azzerarsi, sono
stati ulteriormente analizzati.
In particolare, si è indagata l’esistenza di una relazione tra la
rapidità di azzeramento del numero di misclassificazioni e le
performances del soggetto. Per farlo si è plottato, per ognuno dei 20
casi, il numero di ripetizioni di Training e Updating necessarie a far
azzerare la prima volta le misclassificazioni (Figura 38, Figura 39) in
funzione della percentuale media di pattern correttamente classificati in
quel particolare caso.
45 50 55 60 65 70 75 80 85 902
4
6
8
10
12
14
Percentuali di classificazione
Dop
o qu
ante
ses
sion
i il n
umer
o di
mis
clas
sific
azio
ni s
i azz
era
coeff. di correlazione= -0.83
Figura 39 . Numero di r ipet izioni di Training e Updating necessarie per
azzerare l ’errore di misclassif icazione in funzione del le percentual i
medie di pattern correttamente classif icat i in quel part icolare caso. I
dat i presentano una correlazione negativa, con coeff iciente di
correlazione r=-0.83
Commento generale
Dai dati presentati nella precedente sezione è possibile asserire che
la modalità di aggiornamento del filtro CSP + classificatore SVM
implementata (spiegazione al paragrafo 2.2) favorisce effettivamente il
92
miglioramento nel tempo della qualità dei dati all’interno del training
set.
In effetti, come si è visto, in 26 casi su 32 (81.25%) il numero di
misclassificazioni all’interno del training set mostra nel tempo un trend
negativo. Non solo, anche i 5 casi su 32 in cui il numero di
misclassificazioni rimane circa costante possono essere guardati
positivamente per due motivi:
1. la “qualità” dei dati nel training set rimane sì circa costante, ma
almeno non peggiora
2. in tutti e 5 questi casi si è richiesto di ripetere poi il Training,
per via di percentuali di pattern correttamente classificati troppo
basse
Dunque, anche se il trend non è sempre nettamente negativo, almeno la
modalità di aggiornamento implementata sembra mediamente assicurare
un non-incremento del numero di misclassificazioni anche in casi
sfavorevoli, in cui il soggetto non è ancora abbastanza addestrato. In
questo senso il sistema sembra essere abbastanza stabile.
Solo 1 caso su 32 (Figura 37) ha mostrato un andamento ambiguo,
per via del lieve aumento finale del numero di misclassificazioni.
Un altro aspetto confortante è l’andamento mostrato in Figura 39. Il
numero di step necessari all’azzeramento delle misclassificazioni
mostra infatti in queste 20 prove una buona correlazione negativa con
la percentuale media di pattern correttamente classificati (coeff. di
correlazione=-0.83). Ciò significa che più il soggetto si addestra, più le
sue performances migliorano, più in teoria ci si può aspettare di
raggiungere un training set “pulito” in pochi step.
In conclusione, la modalità di aggiornamento presentata sembra
mostrare, almeno sui dati a disposizione, oltre a buona stabilità quando
le performances del soggetto non sono ancora buone, anche una buona
risposta quando queste invece migliorano. In particolare, più il soggetto
incrementa le sue performances, più rapidamente il training set
migliora.
93
3.6 Discussione generale
In quest’ultima parte del capitolo “Risultati e Discussione” si
tenterà di contestualizzare il presente lavoro di tesi, confrontando il
sistema implementato e le performances ottenute con i risultati
riscontrati in letteratura. Seguirà una breve discussione su quali
miglioramenti possano essere apportati al sistema, prima di trarre le
conclusioni nell’ultima parte di questo lavoro.
Confronto con la letteratura
Per poter contestualizzare il presente lavoro di tesi, sono stati
ricercati in letteratura lavori aventi qualche punto in comune con il
sistema qui descritto, in modo da poter fare un confronto e ragionare su
dei possibili miglioramenti. In particolare, si farà riferimento in questa
sezione ai lavori di Guger et al. [63] e di Ramoser et al. [72],
aggiungendo anche contributi ed idee da altri documenti. Entrambi gli
studi si riferiscono a sistemi BCI EEG-based, e la strategia di controllo
utilizzata in ambo i casi è l’immaginazione motoria della mano destra
vs mano sinistra.
Nel lavoro di Guger et al. [63] è stato realizzato e testato un sistema
BCI in grado di processare in real-time i dati acquisiti, mediante filtro
CSP e classificatore lineare. In questo lavoro, il sistema è stato provato
su tre soggetti, di età compresa tra i 17 e i 26 anni, pagati per
l’esperimento. Tutti e tre i soggetti avevano già partecipato in
precedenza ad esperimenti BCI che includessero l’immaginazione
motoria della mano destra vs sinistra, e avevano rispettivamente
un’esperienza pregressa di 23, 5 e 7 sessioni (ogni sessione composta
da 160 trial da 8s l’uno). Durante l’esperimento, i segnali cerebrali
sono stati acquisiti da 27 elettrodi concentrati sull’area della corteccia
motoria/sensoriale primaria. I segnali, analogamente al sistema qui
descritto, erano poi filtrati nella banda 8-30Hz, mentre il riferimento
usato era quello auricolare. I segnali acquisiti e così pre-processati
servivano per stimare un filtro CSP. Come in questo lavoro di tesi,
l’obbiettivo di Guger et al. [63] era quello di misurare i progressi dei
soggetti in termini di accuratezza di classificazione, nel corso di 6-7
94
sessioni da 160-200 trial l’una, concentrate nel giro di tre giorni. La
particolarità di questo sistema era che solo alcune sessioni (la seconda
e dalla quarta in poi) prevedevano un feedback per il soggetto, mentre
almeno la prima e la terza venivano portate a termine senza feedback.
Ancora, il filtro CSP e il
classificatore (un classificatore
LDA, Linear Discriminant
Analysis) non venivano
aggiornati sempre di sessione in
sessione, ma solamente ogni
tanto (Figura 40).
Per costruire il filtro CSP,
data la sua elevata sensibilità
agli artefatti, si scartavano
tramite analisi visiva i trial EEG
che ne contenessero. Per
calcolare invece i parametri del
classificatore, si consideravano
in ogni trial solo le porzioni di
segnale relative ad un determinato
intervallo temporale. In
particolare, dopo una cross-
validazione 10x10 eseguita offline
sulla sessione appena trascorsa, si
sceglieva l’intervallo di tempo
lungo 1s a partire dalla presentazione dello stimolo che desse il minore
errore di classificazione, e si usavano solo i dati di questo intervallo
per costruire il nuovo classificatore. La procedura di calcolo dei
parametri del classificatore impiegava in questo modo circa 30 minuti
[63].
Nel sistema descritto da Guger et al [63], tutti i soggetti sono riusciti
in tre giorni a migliorare l’accuratezza di classificazione. In
particolare, il primo soggetto è passato dall’81% al 98%, il secondo dal
50% al 93%, il terzo dal 66% al 91%.
Figura 40 Flowchart delle sessioni dal
lavoro di Guger et al. [63], che
evidenzia le sessioni con/senza
feedback. Lo schema indica anche in
che punti vengono calcolati i filtri CSP
e stimati i nuovi classificatori (WV,
weight vector)
95
I risultati ottenuti da Guger et al. [63] sono senz’altro notevoli, ma
occorre fare alcune osservazioni, ossia:
tutti i soggetti impiegati avevano già esperienza sui task di
immaginazione motoria utilizzati
il numero di elettrodi utilizzati era elevato (27 elettrodi
concentrati nell’area della corteccia motoria/sensoriale primaria)
ogni volta che si costruisce il filtro CSP veniva fatta
un’ispezione visiva dei segnali per escludere quelli contenenti
artefatti
ogni volta che si aggiornava il classificatore la procedura
richiedeva circa 30 minuti
il miglioramento di performances riportato per i soggetti
riguardava i risultati migliori, ottenuti in una particolare finestra
temporale rispetto all’istante di presentazione dello stimolo
Queste osservazioni ci serviranno tra poco, per un confronto con il
sistema descritto nel presente lavoro di tesi.
L’altro lavoro al quale è possibile rapportarsi è quello di Ramoser et
al. [72]. In questo studio, l’obbiettivo era quello di provare, su tre
soggetti, come cambiasse l’accuratezza della classificazione degli stati
mentali tramite filtro CSP e classificatore lineare, variando il numero
di elettrodi utilizzati e il riferimento. In particolare, sono state testate
la configurazioni ear-reference, bipolare, Small Laplacian, Large
Laplacian e CAR. Per ognuna di queste configurazioni si sono valutate
le performance utilizzando diverse quantità di elettrodi. I soggetti
impiegati erano tre studenti, pagati per l’esperimento, di età compresa
tra i 20 e i 27 anni. Tutti e tre i soggetti avevano avuto precedenti
esperienze in ambito BCI che coinvolgessero l’immaginazione motoria
della mano destra e della mano sinistra, e tutti e tre partivano con alle
spalle un’esperienza di 10-12 sessioni (ogni sessione 160 trial), con o
senza feedback. In questo studio, i soggetti sono stati testati per quattro
prove da 40 trial ciascuna (20 trial mano dx, 20 trial mano sx), per un
totale di 160 trial. I dati sono stati acquisiti da 56 canali EEG
concentrati nella zona della corteccia motoria/sensoriale primaria, per
96
poi simulare le altre configurazioni (diverso numero di elettrodi e/o
diverso montaggio) offline.
A partire dai dati acquisiti, anche in questo caso i filtri CSP sono
stati calcolati solo dopo aver escluso tramite analisi visiva i trial
contenenti artefatti. Inoltre, anche in questo studio i risultati riportati
facevano riferimento alla migliore accuratezza ottenuta in un
determinato intervallo temporale dall’istante di presentazione dello
stimolo (ad esempio, per i soggetti 1 e 2 la classificazione migliore si
otteneva nel segmento 4.5-6s dopo lo stimolo, mentre per il soggetto 3
era selezionato il segmento 3-4.5s [72]). I risultati dello studio di
Ramoser et al. [72] studio sono riportati in Figura 41.
Figura 41. Risultati del lavoro di Ramoser et al [72]
Dai risultati ottenuti, Ramoser et al. hanno commentato che, anche
se il metodo di re-ferenziazione sembrava non avere grande influenza,
questo poteva essere dovuto al fatto che nello studio erano stati
utilizzati segnali privi di artefatti. Ramoser et al. stessi hanno quindi
confermato che in un sistema automatizzato probabilmente un filtro
CAR o un Laplaciano si rivelerebbero più adatti, concordando in questo
modo con quanto già indicato da McFarland et al. [70]. Un'altra
conclusione di Ramoser et al. riguarda il numero di elettrodi: in effetti
si nota come, passando da 18 a 56 elettrodi, le performances non
migliorino poi tanto. Secondo Ramoser et al, dunque, 18 elettrodi
posizionati in prossimità della corteccia motoria/sensoriale primaria
97
sono sufficienti per una buona discriminazione dei due stati mentali in
esame tramite filtraggio CSP e classificatore lineare.
Anche nello studio di Ramoser et al. i risultati ottenuti sono
notevoli, tuttavia occorre sempre osservare che:
i soggetti impiegati avevano tutti precedente esperienza sui task
di immaginazione motoria utilizzati nell’esperimento
i filtri CSP sono stati costruiti escludendo con un’analisi visiva i
trial contenenti artefatti
comunque il numero minimo suggerito di elettrodi da
posizionare in prossimità della corteccia motoria/sensoriale
primaria è di 18
le performances indicate facevano riferimento solo all’intervallo
temporale che, per ogni soggetto, dava i migliori risultati di
classificazione
Dopo aver analizzato questi due lavori, è possibile cercare di
contestualizzare il sistema riportato in questo lavoro di tesi.
Due elementi che immediatamente emergono riguardano il numero
di elettrodi utilizzati e la modalità di costruzione del filtro CSP: nel
presente lavoro di tesi si è fatto infatti uso di soli 11 elettrodi
posizionati in prossimità della corteccia motoria/sensoriale primaria
(contro i 27 di Guger et al. [63] e i 18 consigliati da Ramoser et al.
[72]), e i filtri CSP sono stati costruiti considerando tutte le porzioni di
segnale registrate, in modo automatico e senza esclusione tramite
analisi visiva si quelle contenenti artefatti.
Un altro aspetto che colpisce, soprattutto confrontando il presente
lavoro di tesi con lo studio di Guger et al. [63], è la rapidità con cui il
classificatore viene aggiornato nel sistema qui descritto. Mentre infatti
il nostro sistema ri-calcola filtro CSP e classificatore da uno step
all’altro di Training e Updating automaticamente e in pochi secondi, il
sistema di Guger et al. [63] richiede circa 30 minuti ogni volta per
aggiornare il classificatore, più il tempo di ispezione visiva dei segnali
per eliminare quelli affetti da artefatti ogni volta che si voglia
aggiornare anche il filtro CSP.
98
Ancora, nel nostro sistema l’aggiornamento viene fatto
progressivamente, ogni 10 trial, all’interno della sessione di
addestramento. Diversamente, in Guger et al. [63], l’aggiornamento
viene fatto solo al termine della sessione di addestramento, e nemmeno
ad ogni sessione.
Infine, mentre nel nostro sistema le parti di Training senza feedback
sono molto limitate (ogni Training comprende 14 trial da 10 secondi,
ossia poco più di due minuti), in Guger et al. [63] addirittura due intere
sessioni da 160 trial sono portate a termine senza feedback. In generale
si può dire che il sistema descritto in questo lavoro di tesi sia molto più
automatizzato e più “agile” di quello implementato da Guger et al. [63].
Certo, nel nostro sistema 3 soggetti su 4 non hanno evidenziato
alcun trend di crescita in termini di performances ottenute, mentre in
Guger et al. [63], seppur con le dovute osservazioni (tutti soggetti già
addestrati, riportati solo i risultati relativi al segmento temporale
migliore, più elettrodi e segnali controllati visivamente), il
miglioramento in tre giorni c’è ed è notevole.
Un motivo per cui forse Guger et al. [63] nel loro lavoro potrebbero
aver escluso l’aggiornamento continuo del sistema, preferendo un
aggiornamento solo saltuario e mirato, potrebbe affondare nel
cosiddetto MMLD, Man-Machine Learning Dilemma. Come spiegano
infatti Pfurtscheller e Neuper in [62], “ci si potrebbe aspettare che in
esperimenti BCI in cui al soggetto viene dato il feedback l’accuratezza
di classificazione migliori aumentando il numero di sessioni (…),
tuttavia non sempre questo è successo” [62]. Questo potrebbe essere
spiegato dal cosiddetto MMLD, per cui i due sistemi (uomo e
macchina) sono fortemente interdipendenti, ma dovrebbero essere
adattati indipendentemente [62]. In un primo momento, durante il
training, è la macchina che si deve adattare all’uomo, e nessun
feedback può essere dato al soggetto. Dal momento in cui invece si
inizia a fornire il feedback, ogni ritorno ricevuto ha come risultato
l’adattamento dell’uomo alla macchina tramite condizionamento
operante. I pattern del soggetto cominciano infatti a modificarsi in
modo da evitare di incorrere in feedback “frustranti”, mentre al
99
contempo si rinforzano i pattern associati a feedback positivi. Ecco
allora che, da un lato, in un momento in cui è l’uomo che si sta
adattando, cambiare la risposta del sistema può essere
controproducente. D’altro canto, il sistema deve comunque essere
periodicamente aggiornato, per potersi adattare ai miglioramenti del
soggetto. Ciò che Pfurtscheller e Neuper [62] consigliano è di adattare
sì il sistema all’uomo, ma magari dopo una o più sessioni.
Che sia forse dunque il MMLD a spiegare il successo del sistema di
Guger et al [63] per quanto riguarda il miglioramento delle
performances dei tre soggetti in solo tre giorni? In parte forse sì, del
resto i buoni risultati ottenuti dall’equipe sono indubbi. Tuttavia, prima
di modificare questo aspetto nel nostro sistema nel tentativo di tendere
ad un miglioramento, ci sono altre vie che potrebbero prima essere
tentate. L’autrice di questa tesi è infatti convinta che sarebbe una buona
cosa riuscire a costruire un sistema agile ed automatico, in grado di
adattarsi e plasmarsi sul soggetto a mano a mano che questo migliora, e
senza bisogno di troppa supervisione da parte di esperti. Un sistema del
genere potrebbe infatti essere utilizzato anche a casa da un ipotetico
paziente per l’addestramento, cosa invece difficile per il sistema
proposto da Guger et al. [63]. Inoltre, su due soggetti (soggetto MR e
soggetto VM), già così com’è il sistema ha dato dei risultati
interessanti, considerando tra l’altro che il metodo di stima
dell’accuratezza di classificazione utilizzato in questo lavoro di tesi è
anche leggermente peggiorativo (essendo media pesata delle
accuratezze di classificazione delle due classi, in cui pesa
maggiormente la classe sfavorita). Inoltre, le performances riportate
riguardano mediamente tutte le porzioni di segnale, senza indagare
quale segmento temporale a partire dalla presentazione dello stimolo
desse il risultato “migliore”. Infine, anche considerando il MMLD, il
sistema qui presentato ha dimostrato di essere in grado di ridurre, o al
limite mantenere costante, il numero di misclassificazioni del training
set. Ciò significa che, in teoria, il sistema dovrebbe essere in realtà
“andare incontro” al soggetto, senza modificare in modo brusco il
feedback. Naturalmente, per poter asserire questo con maggiore
100
certezza andrebbero condotte più prove. In ogni caso, prima di toccare
la modalità di aggiornamento, si suggerisce di tentare di migliorare il
sistema in altri modi.
Possibili miglioramenti del sistema
In base a quanto detto nella precedente sezione, un primo
esperimento che sicuramente si potrebbe fare è quello di tentare di
aumentare inizialmente il numero di elettrodi acquisiti, e vedere se in
questo modo le performances migliorano. Sia Guger et al [63] che
Ramoser et al [72], infatti, hanno usato più di 11 elettrodi in prossimità
della corteccia motoria/sensoriale primaria, suggerendo l’uso di almeno
18 elettrodi.
In un secondo tempo, eventualmente, si potrebbe pensare di ridurre
nuovamente il numero di elettrodi per favorire la portabilità, magari
eliminando quelli “meno significativi” ai fini degli stati mentali da
separare. A tal proposito, Wang et al. [73] hanno proposto un metodo
per l’identificazione degli elettrodi più significativi basato proprio su
CSP. In particolare, dopo aver filtrato i dati nella banda di interesse (ad
esempio, 8-30Hz), si calcola la matrice W del metodo CSP e,
considerati solo il primo e l’ultimo spatial pattern, si va a vedere quali
locazioni d’elettrodo abbiano più o meno peso per la discriminazione
dei due pattern. Le locazioni con maggiore peso saranno quelle più
discriminanti da una configurazione mentale all’altra, ossia quelle da
mantenere.
Un altro aspetto da considerare è quello degli artefatti. Data la
grande cura mostrata da Guger et al [63] e da Ramoser et al [72] per
questo aspetto, al punto da eliminare i trial contenenti artefatti tramite
ispezione visiva, forse conviene prestare più attenzione alla questione.
Per come è implementato oggi, il sistema non prevede né l’acquisizione
della traccia elettrooculografica (che comporterebbe un’ulteriore
riduzione di portabilità), né algoritmi di detezione automatica degli
artefatti. Le uniche “protezioni” in questo senso sono l’utilizzo del
riferimento CAR e il fatto che, a mano a mano che la sessione procede,
sempre più matrici di covarianza per ogni classe vengono mediate,
101
riducendo così teoricamente l’influenza di dati “outlier”. E’ anche vero
che in questo modo, a seguito di uno step particolarmente “ricco di
artefatti”, la matrice W potrebbe anche subire delle deviazioni che
rendono il feedback nella sessione subito successiva destabilizzante.
Questo sicuramente peggiorerebbe il discorso del MMLD. Una cosa che
si potrebbe dunque fare, in futuro, è quella pensare di mettere a punto
una procedura automatica di detezione e rimozione degli artefatti. In
questo modo, il sistema rimarrebbe comunque automatico, senza il
bisogno del controllo visivo dei segnali da parte di esperti, ma
teoricamente migliorerebbe in stabilità.
Dopo aver tentato queste due vie e aver visto come risponde il
sistema, si potrebbe anche pensare di cambiare il filtro CSP
sostituendolo con metodi più recenti. Come detto all’inizio del capitolo
“Materiali e Metodi”, in questo lavoro di tesi si è deciso di filtrare
nella banda 8-30Hz perché Müller-Gerking et al.[71] asserirono che
l’uso di questa larga banda da risultati di classificazione migliori
rispetto all’impiego di bande più ristrette. Sebbene questa affermazione
rimanga vera se riferita al semplice metodo CSP, rimane comunque
un’affermazione fatta nel 1998. Nel frattempo diversi algoritmi,
presentati come evoluzioni del CSP, sono stati proposti. Tra questi
algoritmi ricordiamo il FWM (Frequency Weighted Method, [82]), il
FBCSP (Filter-Bank CSP, [83]) o il SBCSP (Sub-Band CSP) [84]. Tutti
questi metodi mirano ad identificare automaticamente, per ciascun
canale, le sotto-bande di frequenza più significative per la
discriminazione, sempre nell’ottica del metodo CSP. Uno di questi più
moderni algoritmi potrebbe essere eventualmente indagato ed
implementato per vedere se, ancora, le performances del sistema
possono migliorare.
Riassumendo i punti appena discussi, prima di modificare il metodo
di aggiornamento così implementato che, comunque, presenta diversi
vantaggi, si possono tentare le seguenti vie:
aumentare inizialmente il numero di elettrodi e, dopo un’analisi
esplorativa su ciascun soggetto, eliminare quelli meno
significativi per la discriminazione degli stati mentali
102
implementare algoritmi di detezione e rimozione automatica
degli artefatti
tentare eventualmente una delle versioni “aggiornate” del
metodo CSP, come ad esempio il SBCSP
104
Conclusioni
In questo lavoro di tesi, un sistema BCI EEG-based fondato sulla
modulazione dei ritmi sensorimotori tramite immaginazione motoria è
stato progettato e testato. Il cuore del lavoro è consistito naturalmente
nello sviluppo del software LabVIEW. Successivamente, l’intero
sistema è stato testato su quattro persone.
Dai risultati ottenuti si può vedere come non tutti i soggetti siano
riusciti, nell’arco di sei sessioni di addestramento, a imparare come
controllare efficacemente il modello di arto superiore mostrato sullo
schermo. Inoltre, tre soggetti su quattro non hanno mostrato in questo
arco temporale alcun trend di miglioramento. I buoni risultati ottenuti
da due soggetti (soggetto MR e soggetto VM), tuttavia, dimostrano che
il sistema può effettivamente funzionare, e anche bene. Infine, per
come è stato progettato l’aggiornamento dei filtri e del classificatore, il
sistema ha dimostrato una buona risposta nel tempo. In particolare, a
mano a mano che la sessione procede, la qualità dei dati che fanno
parte del training set del classificatore tende sempre a migliorare, o al
limite a rimanere costante. Solo in un caso si è notato, verso la fine
della sessione, un lieve peggioramento della qualità del training set.
Questo effetto potrebbe tuttavia essere un “transitorio”, e un numero
maggiore di sperimentazioni è senz’altro necessario per trarre una
conclusione in merito.
Rapportando questo sistema a lavori presenti in letteratura è emerso
come:
il numero di elettrodi posizionati in prossimità della corteccia
motoria/sensoriale primaria in questo lavoro (11) sia ridotto (nel
lavoro di Guger et al. [63] se ne usano 27, in quello di Ramoser
et al. [72] se ne consigliano almeno 18)
105
non si sia forse prestata abbastanza attenzione alla rimozione
degli artefatti EEG prima di costruire e aggiornare il filtro CSP
anche solo in tre giorni di addestramento si possa attendere un
miglioramento delle performances dei soggetti (obbiettivo non
raggiunto in questo lavoro di tesi per 3 soggetti su 4), e questo
potrebbe essere dovuto al cosiddetto MMLD (Man-Machine
Learning Dilemma), per cui si sconsiglia di aggiornare troppo
spesso il sistema, quando il soggetto sta ancora imparando come
controllarlo
Rispetto al lavoro do Guger et al. [63], tuttavia, il sistema qui
implementato appare più agile (veloce negli aggiornamenti),
automatico (non necessita di supervisione da parte di esperti) e
coinvolgente (la maggior parte del tempo di addestramento prevede un
feedback per il soggetto). Dunque, prima di modificare la modalità di
aggiornamento del sistema, rendendola più “statica” e meno
automatizzata, si ritiene si debba tentare il miglioramento delle
performances percorrendo dapprima altre vie.
In particolare, i seguenti tentativi possono essere fatti:
aumentare in un primo momento il numero di elettrodi acquisiti,
e vedere se e come le performances dei soggetti variano. In un
secondo momento, si può pensare ad una nuova riduzione del
numero di elettrodi, ma che sia subject-specific. In particolare,
si andranno ad eliminare per ogni soggetto gli elettrodi che, per
lui, sono meno significativi ai fini della discriminazione degli
stati mentali
implementare un algoritmo di detezione automatica degli
artefatti EEG, in modo da costruire filtri CSP basati solo su
segnali “puliti”
qualora le performances non dovessero ancora essere
soddisfacenti, si può pensare di sostituire l’algoritmo CSP con
versioni proposte più di recente, che tengono conto anche delle
caratteristiche spettrali di ogni canale acquisito. In particolare,
si potrebbero tentare gli algoritmi FWM (Frequency Weighted
106
Method, [82]), FBCSP (Filter-Bank CSP, [83]) o il SBCSP (Sub-
Band CSP) [84]
In generale, poi, una sperimentazione più lunga e su un maggior
numero di soggetti sarebbe utile per una migliore caratterizzazione del
sistema.
Parlando infine degli sviluppi futuri, una volta che il sistema sia
stato migliorato ed abbia raggiunto performances soddisfacenti, si può
pensare a complicare il modello di arto superiore, sostituendolo con un
2-link e aggiungendo così un ulteriore grado di libertà.
108
Bibliografia [1] J. Wolpaw e E. W. Wolpaw, Brain-Computer Interfaces: Principles and
Practice. Oxford University Press, 2011.
[2] J. R. Wolpaw, N. Birbaumer, W. J. Heetderks, D. J. McFarland, P. H.
Peckham, G. Schalk, E. Donchin, L. A. Quatrano, C. J. Robinson, T. M.
Vaughan, e others, «Brain-computer interface technology: a review of the
first international meeting», IEEE transactions on rehabilitation
engineering, vol. 8, n. 2, pagg. 164–173, 2000.
[3] H. Yuan e B. He, «Brain-computer interfaces using sensorimotor rhythms:
current state and future perspectives», IEEE Trans Biomed Eng, vol. 61, n.
5, pagg. 1425–1435, mag. 2014.
[4] S. S. Purkayastha, V. K. Jain, e H. K. Sardana, «Topical Review: A Review
of Various Techniques Used for Measuring Brain Activity in Brain
Computer Interfaces».
[5] L. F. Nicolas-Alonso e J. Gomez-Gil, «Brain Computer Interfaces, a
Review», Sensors (Basel), vol. 12, n. 2, pagg. 1211–1279, gen. 2012.
[6] S. Laureys, M. Boly, e G. Tononi, Functional neuroimaging. New York,
Elsevier, 2009.
[7] B. He, Neural Engineering. Springer Science & Business Media, 2007.
[8] N. J. Hill, T. N. Lal, M. Schröder, T. Hinterberger, G. Widman, C. E. Elger,
B. Schölkopf, e N. Birbaumer, «Classifying event-related desynchronization
in EEG, ECoG and MEG signals», in Pattern Recognition, Springer, 2006,
pagg. 404–413.
[9] T. Ball, M. Kern, I. Mutschler, A. Aertsen, e A. Schulze-Bonhage, «Signal
quality of simultaneously recorded invasive and non-invasive EEG»,
Neuroimage, vol. 46, n. 3, pagg. 708–716, 2009.
[10] B. Graimann, J. E. Huggins, S. P. Levine, e G. Pfurtscheller, «Toward a
direct brain interface based on human subdural recordings and wavelet-
packet analysis», Biomedical Engineering, IEEE Transactions on, vol. 51, n.
6, pagg. 954–962, 2004.
[11] T. N. Lal, T. Hinterberger, G. Widman, M. Schröder, J. Hill, W.
Rosenstiel, C. Elger, B. Schölkopf, e N. Birbaumer, «Methods towards
invasive human brain computer interfaces», 2005.
109
[12] E. C. Leuthardt, G. Schalk, J. R. Wolpaw, J. G. Ojemann, e D. W.
Moran, «A brain–computer interface using electrocorticographic signals in
humans», Journal of neural engineering, vol. 1, n. 2, pag. 63, 2004.
[13] S. Waldert, T. Pistohl, C. Braun, T. Ball, A. Aertsen, e C. Mehring, «A
review on directional information in neural signals for brain-machine
interfaces», Journal of Physiology-Paris, vol. 103, n. 3, pagg. 244–254,
2009.
[14] B.-K. Min, M. J. Marzelli, e S.-S. Yoo, «Neuroimaging-based
approaches in the brain–computer interface», Trends in Biotechnology, vol.
28, n. 11, pagg. 552–560, nov. 2010.
[15] T. N. Lal, M. Schröder, N. J. Hill, H. Preissl, T. Hinterberger, J.
Mellinger, M. Bogdan, W. Rosenstiel, T. Hofmann, N. Birbaumer, e others,
«A brain computer interface with online feedback based on
magnetoencephalography», in Proceedings of the 22nd international
conference on Machine learning, 2005, pagg. 465–472.
[16] L. Kauhanen, T. Nykopp, J. Lehtonen, P. Jylanki, J. Heikkonen, P.
Rantanen, H. Alaranta, e M. Sams, «EEG and MEG brain-computer
interface for tetraplegic patients», Neural Systems and Rehabilitation
Engineering, IEEE Transactions on, vol. 14, n. 2, pagg. 190–193, 2006.
[17] J. Mellinger, G. Schalk, C. Braun, H. Preissl, W. Rosenstiel, N.
Birbaumer, e A. Kübler, «An MEG-based brain–computer interface (BCI)»,
Neuroimage, vol. 36, n. 3, pagg. 581–593, 2007.
[18] S. Ogawa, T.-M. Lee, A. R. Kay, e D. W. Tank, «Brain magnetic
resonance imaging with contrast dependent on blood oxygenation»,
Proceedings of the National Academy of Sciences, vol. 87, n. 24, pagg.
9868–9872, 1990.
[19] N. Weiskopf, K. Mathiak, S. W. Bock, F. Scharnowski, R. Veit, W.
Grodd, R. Goebel, e N. Birbaumer, «Principles of a brain-computer interface
(BCI) based on real-time functional magnetic resonance imaging (fMRI)»,
Biomedical Engineering, IEEE Transactions on, vol. 51, n. 6, pagg. 966–
970, 2004.
[20] T. Moench, M. Hollmann, R. Grzeschik, C. Mueller, R. Luetzkendorf, S.
Baecke, M. Luchtmann, D. Wagegg, e J. Bernarding, «Real-time
classification of activated brain areas for fMRI-based human-brain-
interfaces», in Medical Imaging, 2008, pag. 69161R–69161R.
110
[21] R. P. Kennan, S. G. Horovitz, A. Maki, Y. Yamashita, H. Koizumi, e J.
C. Gore, «Simultaneous recording of event-related auditory oddball
response using transcranial near infrared optical topography and surface
EEG», Neuroimage, vol. 16, n. 3, pagg. 587–592, 2002.
[22] R. Sitaram, H. Zhang, C. Guan, M. Thulasidas, Y. Hoshi, A. Ishikawa,
K. Shimizu, e N. Birbaumer, «Temporal classification of multichannel near-
infrared spectroscopy signals of motor imagery for developing a brain–
computer interface», NeuroImage, vol. 34, n. 4, pagg. 1416–1427, 2007.
[23] C. M. Sinclair, M. C. Gasper, e A. S. Blum, «Basic electronics in clinical
neurophysiology», in The Clinical Neurophysiology Primer, Springer, 2007,
pagg. 3–18.
[24] A. B. Usakli, «Improvement of EEG signal acquisition: An electrical
aspect for state of the art of front end», Computational intelligence and
neuroscience, vol. 2010, pag. 12, 2010.
[25] C. Fonseca, J. S. Cunha, R. E. Martins, V. M. Ferreira, J. M. de Sá, M.
A. Barbosa, e A. M. da Silva, «A novel dry active electrode for EEG
recording», IEEE Transactions on Biomedical Engineering, pagg. 162–165,
2007.
[26] B. A. Taheri, R. T. Knight, e R. L. Smith, «A dry electrode for EEG
recording», Electroencephalography and clinical neurophysiology, vol. 90,
n. 5, pagg. 376–383, 1994.
[27] G. H. Klem, H. O. Lüders, H. H. Jasper, e C. Elger, «The ten-twenty
electrode system of the International Federation», Electroencephalogr Clin
Neurophysiol, vol. 52, n. suppl., pag. 3, 1999.
[28] «Treccani, l’Enciclopedia Italiana». [In linea]. Available at:
http://www.treccani.it/enciclopedia/. [Consultato: 14-feb-2015].
[29] M. R. Nuwer, G. Comi, R. Emerson, A. Fuglsang-Frederiksen, J.-M.
Guérit, H. Hinrichs, A. Ikeda, F. Jose C Luccas, e P. Rappelsburger, «IFCN
standards for digital recording of clinical EEG», Electroencephalography
and clinical Neurophysiology, vol. 106, n. 3, pagg. 259–261, 1998.
[30] R. Oostenveld e P. Praamstra, «The five percent electrode system for
high-resolution EEG and ERP measurements», Clinical Neurophysiology,
vol. 112, n. 4, pagg. 713–719, apr. 2001.
[31] J. Rieger, «EEG signal analysis», 2006.
111
[32] F. Aloise, «Sviluppo di un sistema Brain-Computer Interface per il
controllo ambientale», Develop of Brain-Computer Interface system for
environmental controlo, giu. 2010.
[33] S. d. Muthukumaraswamy e B. w. Johnson, «Changes in rolandic mu
rhythm during observation of a precision grip», Psychophysiology, vol. 41,
n. 1, pagg. 152–156, 2004.
[34] L. Braadbaart, J. H. G. Williams, e G. D. Waiter, «Do mirror neuron
areas mediate mu rhythm suppression during imitation and action
observation?», Int J Psychophysiol, vol. 89, n. 1, pagg. 99–105, lug. 2013.
[35] D. J. McFarland, L. A. Miner, T. M. Vaughan, e J. R. Wolpaw, «Mu and
Beta Rhythm Topographies During Motor Imagery and Actual
Movements», Brain Topogr, vol. 12, n. 3, pagg. 177–186, mar. 2000.
[36] G. Pfurtscheller, C. Brunner, A. Schlögl, e F. H. Lopes da Silva, «Mu
rhythm (de)synchronization and EEG single-trial classification of different
motor imagery tasks», NeuroImage, vol. 31, n. 1, pagg. 153–159, mag.
2006.
[37] T. C. Major e J. M. Conrad, «A survey of brain computer interfaces and
their applications», in IEEE SOUTHEASTCON 2014, 2014, pagg. 1–8.
[38] T. C. Handy, Event-related Potentials: A Methods Handbook. MIT
Press, 2005.
[39] Y. Wang, X. Gao, B. Hong, C. Jia, e S. Gao, «Brain-Computer Interfaces
Based on Visual Evoked Potentials», IEEE Engineering in Medicine and
Biology Magazine, vol. 27, n. 5, pagg. 64–71, set. 2008.
[40] X. Gao, D. Xu, M. Cheng, e S. Gao, «A BCI-based environmental
controller for the motion-disabled», Neural Systems and Rehabilitation
Engineering, IEEE Transactions on, vol. 11, n. 2, pagg. 137–140, 2003.
[41] J. V. Odom, M. Bach, C. Barber, M. Brigell, M. F. Marmor, A. P.
Tormene, e G. E. Holder, «Visual evoked potentials standard (2004)»,
Documenta ophthalmologica, vol. 108, n. 2, pagg. 115–123, 2004.
[42] M. Middendorf, G. McMillan, G. Calhoun, K. S. Jones, e others, «Brain-
computer interfaces based on the steady-state visual-evoked response»,
IEEE Transactions on Rehabilitation Engineering, vol. 8, n. 2, pagg. 211–
214, 2000.
112
[43] J. R. Wolpaw, N. Birbaumer, D. J. McFarland, G. Pfurtscheller, e T. M.
Vaughan, «Brain–computer interfaces for communication and control»,
Clinical neurophysiology, vol. 113, n. 6, pagg. 767–791, 2002.
[44] S. T. Morgan, J. C. Hansen, e S. A. Hillyard, «Selective attention to
stimulus location modulates the steady-state visual evoked potential»,
Proceedings of the National Academy of Sciences, vol. 93, n. 10, pagg.
4770–4774, 1996.
[45] Y. Chen, A. K. Seth, J. A. Gally, e G. M. Edelman, «The power of
human brain magnetoencephalographic signals can be modulated up or
down by changes in an attentive visual task», Proceedings of the National
Academy of Sciences, vol. 100, n. 6, pagg. 3501–3506, 2003.
[46] M. M. Müller, S. Andersen, N. J. Trujillo, P. Valdes-Sosa, P.
Malinowski, e S. A. Hillyard, «Feature-selective attention enhances color
signals in early visual areas of the human brain», Proceedings of the
National Academy of Sciences, vol. 103, n. 38, pagg. 14250–14254, 2006.
[47] E. Sutter, «The brain response interface: communication through
visually-induced electrical brain responses», gen. 1992.
[48] Pablo F. Diez, Sandra M. Torres Muller, Vicente A. Mut, Eric Laciar,
Enrique Avila, Teodiano Freire Bastos-Filho, e Mario Sarcinelli-Filho,
«Commanding a robotic wheelchair with a high-frequency steady-state
visual evoked potential based brain–computer interface», dic. 2012.
[49] C. Mandel, T. Luth, T. Laue, e T. Rofer, «Navigating a smart wheelchair
with a brain-computer interface interpreting steady-state visual evoked
potentials», 2009.
[50] G.R. Muller-Putz e G. Pfurtscheller, «Control of an Electrical Prosthesis
With an SSVEP-Based BCI», 2007.
[51] L. A. Farwell e E. Donchin, «Talking off the top of your head: toward a
mental prosthesis utilizing event-related brain potentials»,
Electroencephalography and clinical Neurophysiology, vol. 70, n. 6, pagg.
510–523, 1988.
[52] A. Furdea, S. Halder, D. J. Krusienski, D. Bross, F. Nijboer, N.
Birbaumer, e A. Kübler, «An auditory oddball (P300) spelling system for
brain-computer interfaces», Psychophysiology, vol. 46, n. 3, pagg. 617–625,
2009.
113
[53] J. Polich, P. C. Ellerson, e J. Cohen, «P300, stimulus intensity, modality,
and probability», International Journal of Psychophysiology, vol. 23, n. 1,
pagg. 55–62, 1996.
[54] D. Ravden e J. Polich, «On P300 measurement stability: habituation,
intra-trial block variation, and ultradian rhythms», Biological psychology,
vol. 51, n. 1, pagg. 59–76, 1999.
[55] B. Rivet, A. Souloumiac, V. Attina, e G. Gibert, «xDAWN algorithm to
enhance evoked potentials: application to brain–computer interface»,
Biomedical Engineering, IEEE Transactions on, vol. 56, n. 8, pagg. 2035–
2043, 2009.
[56] K. Takano, T. Komatsu, N. Hata, Y. Nakajima, e K. Kansaku, «Visual
stimuli for the P300 brain–computer interface: a comparison of white/gray
and green/blue flicker matrices», Clinical neurophysiology, vol. 120, n. 8,
pagg. 1562–1566, 2009.
[57] J. Hill, J. Farquhar, S. Martens, F. Bie\s smann, e B. Schölkopf, «Effects
of stimulus type and of error-correcting code design on BCI speller
performance», in Advances in neural information processing systems, 2009,
pagg. 665–672.
[58] I. Iturrate, J. M. Antelis, A. Kubler, e J. Minguez, «A Noninvasive
Brain-Actuated Wheelchair Based on a P300 Neurophysiological Protocol
and Automated Navigation», IEEE Transactions on Robotics, vol. 25, n. 3,
pagg. 614–627, giu. 2009.
[59] N. Birbaumer, A. Kübler, N. Ghanayim, T. Hinterberger, J. Perelmouter,
J. Kaiser, I. Iversen, B. Kotchoubey, N. Neumann, e H. Flor, «The thought
translation device (TTD) for completely paralyzed patients», IEEE Trans
Rehabil Eng, vol. 8, n. 2, pagg. 190–193, giu. 2000.
[60] M. Jeannerod, «Mental imagery in the motor context»,
Neuropsychologia, vol. 33, n. 11, pagg. 1419–1432, nov. 1995.
[61] G. Pfurtscheller e C. Neuper, «Motor imagery activates primary
sensorimotor area in humans», Neuroscience letters, vol. 239, n. 2, pagg.
65–68, 1997.
[62] G. Pfurtscheller e C. Neuper, «Motor imagery and direct brain-computer
communication», Proceedings of the IEEE, vol. 89, n. 7, pagg. 1123–1134,
lug. 2001.
114
[63] C. Guger, H. Ramoser, e G. Pfurtscheller, «Real-time EEG analysis with
subject-specific spatial patterns for a brain-computer interface (BCI)», IEEE
Transactions on Rehabilitation Engineering, vol. 8, n. 4, pagg. 447–456,
dic. 2000.
[64] G. Pfurtscheller, C. Neuper, G.R. Muller, B Obermaier, G Krausz, A
Schlogl, e R Scherer, «Graz-BCI: state of the art and clinical applications»,
2003.
[65] B. Blankertz, F. Losch, M. Krauledat, e G. Dornhege, «The Berlin Brain-
-Computer Interface: Accurate Performance From First-Session in BCI-
Naive Subjects», apr. 2008.
[66] J.R Wolpaw, D.J. McFarland, e T.M. Vaughan, «Brain-computer
interface research at the Wadsworth Center», 2000.
[67] K. Choi e A. Cichocki, «Control of a Wheelchair by Motor Imagery in
Real Time», in Intelligent Data Engineering and Automated Learning –
IDEAL 2008, C. Fyfe, D. Kim, S.-Y. Lee, e H. Yin, A c. di Springer Berlin
Heidelberg, 2008, pagg. 330–337.
[68] J. R. Wolpaw e D. J. McFarland, «Control of a two-dimensional
movement signal by a noninvasive brain-computer interface in humans»,
PNAS, vol. 101, n. 51, pagg. 17849–17854, dic. 2004.
[69] D. J. McFarland, W. A. Sarnacki, e J. R. Wolpaw,
«Electroencephalographic (EEG) control of three-dimensional movement»,
J. Neural Eng., vol. 7, n. 3, pag. 036007, giu. 2010.
[70] D. J. McFarland, L. M. McCane, S. V. David, e J. R. Wolpaw, «Spatial
filter selection for EEG-based communication», Electroencephalography
and clinical Neurophysiology, vol. 103, n. 3, pagg. 386–394, 1997.
[71] J. Müller-Gerking, G. Pfurtscheller, e H. Flyvbjerg, «Designing optimal
spatial filters for single-trial EEG classification in a movement task»,
Clinical neurophysiology, vol. 110, n. 5, pagg. 787–798, 1999.
[72] H. Ramoser, J. Muller-Gerking, e G. Pfurtscheller, «Optimal spatial
filtering of single trial EEG during imagined hand movement», IEEE
Transactions on Rehabilitation Engineering, vol. 8, n. 4, pagg. 441–446,
dic. 2000.
[73] Y. Wang, S. Gao, e X. Gao, «Common Spatial Pattern Method for
Channel Selelction in Motor Imagery Based Brain-computer Interface», in
115
Engineering in Medicine and Biology Society, 2005. IEEE-EMBS 2005.
27th Annual International Conference of the, 2005, pagg. 5392–5395.
[74] Prof. Davide Maltoni, «Visione Artificiale & Riconoscimento -
Materiale di Supporto al Corso».
[75] C. J. C. Burges, «A Tutorial on Support Vector Machines for Pattern
Recognition», Data Mining and Knowledge Discovery, vol. 2, n. 2, pagg.
121–167, giu. 1998.
[76] C. Cortes e V. Vapnik, «Support-vector networks», Mach Learn, vol. 20,
n. 3, pagg. 273–297, set. 1995.
[77] G. Giusti, Trattato di medicina legale e scienze affini. Wolters Kluwer
Italia, 2009.
[78] G. Pfurtscheller, C. Guger, G. Muller, G. Krausz, e C. Neuper, «Brain
oscillations control hand orthosis in a tetraplegic», 2000.
[79] G Mueller-Putz, R Scherer, e C Brunner, «Better than random? A closer
look on BCI results», 2008.
[80] Prof.ssa E. Magosso, «Appunti di Sistemi Neurali LM. Ingegneria
Biomedica LM (Cesena)». 2014.
[81] A. Hyvärinen, J. Karhunen, e E. Oja, Independent Component Analysis.
John Wiley & Sons, 2004.
[82] Guangquan Liu, Gan Huang, Jianjun Meng, e Xiangyang Zhu, «A
frequency-weighted method combined with Common Spatial Patterns for
electroencephalogram classification in brain–computer interface», 2010.
[83] K. K. Ang, Z. Y. Chin, H. Zhang, e C. Guan, «Filter Bank Common
Spatial Pattern (FBCSP) in Brain-Computer Interface», in IEEE
International Joint Conference on Neural Networks, 2008. IJCNN 2008.
(IEEE World Congress on Computational Intelligence), 2008, pagg. 2390–
2397.
[84] Q. Novi, Cuntai Guan, T.H. Dat, e Ping Xue, «Sub-band Common
Spatial Pattern (SBCSP) for Brain-Computer Interface», 2007.