Ihmisen biologiset signaalit (hyötykäytössä ihminen-kone käyttöliittymissä)

Ihmisen biologiset signaalitIhmisen biologiset signaalit(hyötykäytössä ihminen-kone käyttöliittymissä)(hyötykäytössä ihminen-kone käyttöliittymissä)

Toni Auranen, 23.1.2002

(S-114.740 Biological H-M Interfaces, 2 ov, L)

Kuvat kirjoista:Psychophysiological Recording (R. M. Stern, W. J. Ray, K. S. Quicgley)Psychophysiology (Kenneth Hugdahl)

KysymyksiäKysymyksiä

Minkälaisia biologisia signaaleja on olemassa? Mitä näistä voidaan mitata? Miten näitä voidaan mitata? Mitä voidaan mitata luotettavasti?

Mitä hyötyä mittauksista/tuloksista on?(hyöty = soveltuu ihminen-kone käyttöliittymiin)

YleistäYleistä

psykofysiologia– millaisia fysiologisia muutoksia psyykkiset

prosessit saavat aikaan– kehitys omana alana alkoi 1950-luvulla– John Stern, 1964: ”…any research in which the

dependent variable is a physiological measure and the independent variable a behavioral one.”

– aivojen sähköiset ilmiöt, sydämenlyönnit,…

YleistäYleistä

fysiologinen psykologia– millaisia psykologisia muutoksia fysiologiset

prosessit saavat aikaan– vastakkaisuus Sternin määritelmään

nykyään esim. sydämen lyöntitiheyttä voidaan muokata ja tutkia sen psyykkisiä vaikutuksia

– Alzheimerin tauti, rytmihäiriöt,…Kumpi oli ensin – muna vai kana?

HermostoHermostoääreishermosto (peripheral nervous system)

– somaattinen hermosto – tahdosta riippuva tiedot aisteilta, lihasten säätely…

– autonominen hermosto – tahdosta riippumaton esim. sisäelinten toiminta sympaattinen (energiavarastoja kuluttava) ja

parasympaattinen (energiavarastoja tuottava) osakeskushermosto (central nervous system)

– aivot ja selkäydin– ohjaa kaikkea mitä kehossa tapahtuu

hermoston osat– keskushermosto (CNS)– ääreishermosto (PNS)

aivoissa aivolohkot– erikoistuneet eri

asioihin– motorinen,

somatosensorinen, visuaalinen,…

Biologisia signaalejaBiologisia signaalejaaivojen sähköinen toiminta

– electroencephalography, EEG– magnetoencephalography, MEG

veren virtaus aivoissa– positron emission tomography, PET– functional magnetic resonance imaging, fMRI

sydämen sähköinen toiminta– electrocardiography, EKG/ECG

Biologisia signaalejaBiologisia signaaleja

verenpaine (ja veren virtaus)hengityselimistön toimintavatsan sähköinen ja mekaaninen toiminta

– electrogastrography, EGGlihaskudosten sähköinen toiminta

– electromyography, EMG

Biologisia signaalejaBiologisia signaaleja silmänliikkeet ja pupillin toiminta

– electrooculography, EOG– pupillography

ihon sähkönjohtokyky– electrodermal activity, EDA

Onko muita signaaleja? Mistä signaaleista on hyötyä ajatellen I-K

käyttöliittymiä?

EEGEEG electroencephalogram – aivosähkökäyrä pään pinnalta mitattua aivojen sähköistä toimintaa

– aivojen hermosolujen elektrokemiallinen toiminta tuottaa sähköä (suuruusluokka mikrovolteissa)

– miljoonat solut aktivoituvat samanaikaisesti yksinkertaisesti: kyseessä on kahden elektrodin

potentiaaliero– 1…45 Hz, referenssit, häiriöherkkyys…

päänahalla jopa 256 elektrodia– elektrodit, lakit…

elektrodien paikat

alpha-rytmiäbeta-rytmiä

EEGEEG ihmisillä ensimmäisenä mittasi Hans Berger, 1929 EEG:ssä havaitaan selviä muutoksia erilaisten

suoritteiden aikana– keskittyminen, rentoutuminen, muistitehtävät, visuaaliset

vasteet, vasteet akustisille ärsykkeille… signaalit keskiarvoistettava vaatii monta toistoa laitteet aikaisemmin suuria, nykyään taskukokoisia aiemmin piirturit, nykyään tietokoneen näytöt sekä

hyvin kehittyneet signaalinkäsittelymenetelmät

ERP = event-related potential

ERP osat

EEGEEG hyviä puolia

– hyvä aikaresoluutio– menetelmä on suhteellisen edullinen– helppo käyttää– vuosien kehitystyö

huonoja puolia– huono paikkaresoluutio– ikävä/ruma koehenkilölle/käyttäjälle (ABI, HCI)– signaalit vaihtelevat hyvinkin paljon yksilöiden välillä– herkkä häiriöille

EEGEEG

mittaustapaa voi soveltaa hyötykäyttöön (ihminen-kone käyttöliittymät)

MEGMEG

mitataan samaa ilmiötä kuin EEG:ssä, mutta tällä kertaa mitataan sähkövirtadipolien tuottamaa magneettikenttää

menetelmä on erittäin hyvä perustutkimuksessa, mutta ihminen-kone käyttöliittymiin sitä ei voi soveltaa

PETPETPET mittaa muutosta aivojen verenkierrossa

– aktiiviset alueet tarvitsevat enemmän happea– veri kuljettaa happea

vereen ruiskutetaan (radioaktiivista) varjoainetta, joka havaitaan PET-kuvauksessa

soveltuu perustutkimukseen (eettiset kysymykset), mutta ei I-K käyttöliittymiin

fMRIfMRI fMRI mittaa myös muutosta aivojen (tai muun

elimistön) verenkierrossa– veren hemoglobiinin magneettiset ominaisuudet

muuttuvat riippuen siitä onko siihen sitoutunut happea vai ei

– näiden paikallisten magneettien voimakkuutta verrataan ulkoiseen magneettiin

– veri kuljettaa happea ja se vapautuu aktiivisissa kohdissa soveltuu perustutkimukseen, mutta ei apua I-K

käyttöliittymille

EKG ja verenpaineEKG ja verenpaine

sydämen sykettä ja verenpainetta voidaan mitata

kliiniset sovellukset molemmissa tapauksissa– sairaalalaitteet, lääkärit,…

autonomisen hermoston hallinnassa ja mekanismit hyvin monimutkaiset…

EKG ja verenpaineEKG ja verenpaine

…joten näitä signaaleja ei voi hallita, vai voiko…– jooga, fakiirit– syke saattaa olla niin alhainen, että jopa lääkärit

ehtivät julistaa kuolleeksiei voi soveltaa I-K käyttöliittymiin

Hengittäminen Hengittäminen sisäänhengitys vaikuttaa esim. seuraavasti

– sydämen syke nousee– ihon sähkönjohtokyky laskee– R. M. Stern ja C. Anschel, 1968

hengitys mitataan usein psykofysiologisissa tutkimuksissa häiriöiden hylkäämistä varten

vaikka hengitystä voidaankin säädellä, tämä signaali ei sovellu I-K käyttöliittymiin

EGGEGG

ruoansulatuselimistön toimintamitataan elektrodeilla ihon pinnaltasuhteellisen vähän tutkittu alueautonominen hermosto ohjaaei sovellu I-K käyttöliittymiin

EMGEMGlihaksen jännittyessä potentiaali on suorassa

yhteydessä lihaksen jännityksen voimakkuuteen

potentiaali voidaan mitata tavallisilla pintaelektrodeilla

1…1000 Hz (10…150 Hz)suuruusluokka satoja mikrovoltteja

– näkyy mitattaessa EEG:tä

lihastoiminta

emootiot

EMGEMG

emootioiden tutkiminen (kasvojen liikkeet)lihassairaudetvoi soveltaa I-K käyttöliittymissä jossain

määrin– elektrodit käteen ja näillä ohjataan esim.

robottikättä– proteesien ohjaus?

EOGEOG silmän liikkeitä

– sakkadiset liikkeet: nopeasti yhdestä fiksaatiopisteestä toiseen

– kompensoivia liikkeitä: pään tai kehon liikkeitä kompensoivat

– pieniä liikkeitä: tärinä, nopeat liikkeet, …– nystagmus: usean tyyppistä, periodinen liike– silmien räpyttely (EMG)– pupillin liikkeet– muita…

EOGEOG eri liikkeet johtuvat sekä fysiologisista että

psyykkisistä ärsykkeitä– esim. pupillit

mittaustapoja:– EOG:llä mitataan silmää ympäröivien lihasten

sähköistä toimintaa (EMG)– valokuvaus

pupillien liikkeet, silmien liikkeet mittausten kvantisointi

– erilaiset heijastusmittaukset ja piilolinssit

mittausasetelma

tuloksia

EOGEOG

EOG:tä käytetään kontrollitilanteena EEG:n ja MEG:n mittauksessa– silmänräpäytykset näkyvät EEG:ssä häiriöinä

ainakin katsesuuntaa (silmien valokuvaus) voi soveltaa I-K käyttöliittymiin

EOG:n käyttö onnistuu myös

EDAEDA GSR (galvanic skin reflex), EDA (electrodermal activity) mitataan muutoksia ihon sähkönjohtokyvyssä tai

potentiaalissa– kostea iho johtaa paremmin

neljä perusmittausta– SCL, skin conductance level– SCR scin conductance response– SPL, skin potential level– SPR, skin potential response

yleensä mitataan konduktanssia

hikirauhanen

elektrodien asettaminen

EDAEDA

Carl Jung, 1907: …EDA paljastaa mielen salat.

nykyään valheenpaljastuskoneetpsykofysiologiset tutkimuksettämän signaalin käyttö I-K rajapinnassa on

käytännössä mahdotonta, koska signaalia ei voi hallita

Biologisia signaaleja Biologisia signaaleja hyötykäyttöönhyötykäyttöön

parhaina rajapintoina seuraavat menetelmät:– EEG– EOG, EMG– muita…?

tulokset tulisi olla toistettavissa tulokset ovat monesti herkkiä tilanteessa ilmentyville

häiriöille/häiriötekijöille– savukkeet, stressi, mielentila,…

suurin osa biologisten signaalien mittareista vain kliinisessä ja tutkimuskäytössä

Biologisia signaaleja Biologisia signaaleja hyötykäyttöönhyötykäyttöön

mittaustavan tulisi olla (hyöty)käyttäjälle mukava

virheisiin ei ole varaa– esim. pyörätuolin ohjaus

käyttäjän saatava välitön palaute sovellukselta

PohdintaaPohdintaaeettiset kysymykset?todellinen hyöty käyttäjälle? huvi?onko muita biologisia signaaleja?pystytäänkö muita kuin jo käytettyjä

signaaleja hyödyntämään tiedon lisääntyessä ja tekniikan kehittyessä?

tuleeko menetelmistä 100% varmoja?…