Foneettinen näkökulma konstruoituun toimintaanSVKS1010 Viittomakielten fonetiikan ja fonologian tutkimus (5 op)

Tommi Jantunen, Jyväskylän yliopisto, 23.4.2018

Luennon teemat

• Kieli hybridisysteeminä• Konstruoitu toiminta ja sen asteet• Käyttöpohjaista taustatietoa konstruoidusta toiminnasta• Liikekaappaus- ja silmänliikeseuranta-aineisto• Silmänliikkeet ja katse konstruoidussa toiminnassa• Pään ja ylävartalon liikkuminen konstruoidussa toiminnassa• Artikulaattoreiden toiminnan ajoittuminen konstruoidussa toiminnassa• Foneettisen näkökulman anti hybridisysteemiajattelulle

Kieli hybridisysteeminäMiten epäkonventionaalisuus ja hämärärajaisuus ovat osa viittomakieliä?

Käytön epäkonventionaalisuus, kategorioiden hämärärajaisuus, ja kieli hybridisysteeminä

Perinteinen näkökulma kieleen on korostanut kielen käytön konven3onaalisuu4a ja kategorioiden •diskree8syy4ä.

Käy4öpohjainen tutkimus on kuitenkin osoi4anut, e4ä kielen käy4ö voi olla myös •epäkonven3onaalista ja kategoriat hämärärajaisia.

Viime aikoina kieli on käsi4eelliste4y myös konven3onaalisten ja diskree8en ominaisuuksien •sekä epäkonven3onaalisten ja hämärärajaisten ominaisuuksien jatkumolle sijoi4uvaksi seka- eli hybridisysteemiksi.

DINGEMANSE, M. & Akita, K. (2016). An inverse rela3on between expressiveness and gramma3cal integra3on: On the morphosyntac3c typology of ideophones, with special reference to Japanese. J. Linguis*cs (2016), 1–32. – DINGEMANSE, M. (2018). Redrawing the margins of language: Lessons from research on ideophones. Glossa: A journal of general linguis*cs, 3, 1–30. – ENFIELD, N. (2009). The anatomy of meaning: Speech, gesture, and composite u?erances. Cambridge: Cambridge University Press. – FLOYD, S. (2016). Modally hybrid grammar? Celes3al poin3ng for 3me-of-day reference in Nheengatú. Language, 92, 31–64. – JANTUNEN, T. (2017). Constructed ac3on, the clause and the nature of syntax in Finnish Sign Language. Open Linguis*cs, 3, 65–85. – JOHNSTON, T. & Ferrara, L. (2012). Lexicaliza3on in signed languages: When is an idiom not an idiom? Teoksessa G. Rundblad, A. Tytus, O. Knapton & C. Tang (toim.), Selected Papers from UK-CLA Mee*ngs, Vol 1, (s. 229–248). Saatavissa h4p://uk- cla.org.uk/proceedings. – KENDON, A. (2004). Gesture: Visible ac*on as u?erance. Cambridge: Cambridge University Press.

Konventionaalisuuden käsite

Kehollinen toiminta (havainnot ja motorinen interaktio) ympäristön kanssa

Yksilötasolla vahvistunut ja käsitteellistynyt toiminta

Yksilöllisistä toimintamalleista ja käsityksistä muodostuneet sosiaaliset konventiot

Hämärärajaisuuden käsite

rugby

chess

dice

football

chess

dice

dice

chess

backgammon

football

chessdice

rugby

backgammon

roulette

field

casino park

chess chess chess

Epäkonventionaalisuus ja hämärärajaisuus leksikossa

JANTUNEN, T. (käsikirjoitus). Viittomakielet hybridisysteemeinä: hämärärajaisuus ja epäkonventionaalisuus osana viittomakielten rakennetta. Julkaistavaksi tarjottu käsikirjoitus, tammikuu 2018. – JOHNSTON, T. & Ferrara, L. (2012). Lexicalization in signed languages: When is an idiom not an idiom? Teoksessa G. Rundblad, A. Tytus, O. Knapton & C. Tang (toim.), Selected Papers from UK-CLA Meetings, Vol 1, (s. 229–248). Saatavissa http://uk- cla.org.uk/proceedings.

Epäkonventionaalisuus ja hämärärajaisuus syntaksissa

JANTUNEN, T. (2017). Constructed action, the clause and the nature of syntax in Finnish Sign Language. Open Linguistics, 3, 65–85. – JANTUNEN, T. (käsikirjoitus). Viittomakielet hybridisysteemeinä: hämärärajaisuus ja epäkonventionaalisuus osana viittomakielten rakennetta. Julkaistavaksi tarjottu käsikirjoitus, tammikuu 2018.

Konstruoitu toiminta ja sen asteetMitä on konstruoitu toiminta ja millaisia asteita siinä on?

Määritelmä ja termin tausta

Konstruoidulla toiminnalla • (engl. constructed ac,on) tarkoitetaan 'elepohjaista [so. kielen epäkonven7onaalisille ja hämärärajaisille ominaisuuksille perustuvaa] näy

Konstruoidun toiminnan asteet

Kearsy Cormier ym. (2015), Rethinking constructed ac=on (Sign Language & Linguis,cs 18, s. 167–204).

Konstruoitu toiminta on asteiCaista, ja se voidaan jakaa ar=kulatorises= kolmeen alatyyppiin: vahvaan, •osiCaiseen ja heikkoon konstruoituun toimintaan.

Vahva konstruoitu toiminta:• viiCoja on täysin "hahmossa", ja hahmon toimintaa koodataan samanaikaises= useammalla ar=kulaaCorilla; käsillä ei tuoteta lainkaan kerrontaa edentäviä leksikaalisempia viiComia, ellei tarkoitus ole esiCää hahmon suoraa puheCa viiCoen.

Osi1ainen konstruoitu toiminta:• viiCoja on enemmän "hahmossa" kuin poissa "hahmosta”, ja hahmon toimintaa koodaavien ar=kulaaCoreiden määrä on vähäisempi kuin vahvassa asteessa, muCa suurempi kuin heikossa asteessa; käsillä voidaan tuoCaa kerrontaa edentäviä leksikaalisempia viiComia.

Heikko konstruoitu toiminta:• viiCoja on vain vähän "hahmossa", ja hahmoa koodataan tavallises= vain yhdellä tai kahdella ar=kulaaCorilla; heikko konstruoitu toiminta kytkeytyy hyvin hienovaraises= muuhun kerrontaa edentävään ainekseen.

Vahva, osittainen ja heikko konstruoitu toiminta

”lumiukko kavahtaa” ”lumiukko” KATSOO HERÄTÄ (”silmät”)

Jyväskylän yliopisto, vii?omakielenkeskus: ProGram-aineisto, lumiukko- ja sammakkotarinat (2016) [videokorpus]. – FIN-CLARIN [viita?u 10.3.2018]. Saatavissa

Kielipankin kau?a: h?p://urn.fi/urn:nbn:fi:lb-1001100113005.

Käyttöpohjaista taustatietoa konstruoidusta toiminnastaMiten konstruoitu toiminta on osa kielen käyttöä erityisesti diskurssin ja kieliopin tasoilla?

Konstruoitu toiminta diskurssin näkökulmasta

Konstruoitu toiminta on op-onaalinen diskurssinrakentamisstrategia, ja vii6ojat k• äy6ävät sitä hyvin eri tavoin.

Auslanista ja suomalaisesta vii6omakielest• ä tehtyjen, kuvaileviin narra-iveihin pohjaavien korpustutkimusten perusteella konstruoidun toiminnan esiintymiskeskiarvo kerronnassa on vajaat 40-prosen?a (Ferrara & Johnston 2014; Jantunen 2017), mu6a vii6ojakohtaises- konstruoidun toiminnan käy6ö vaihtelee 10–80-prosen-n välillä.

Uusimman suomalaisesta vii6omakielest• ä tehdyn tutkimuksen (Jantunen käsikirjoitus; ks. seuraava dia) myötäon pysty6y arvioimaan myös konstruoidun toiminnan alatyyppien esiintyvyy6ä kuvailevissa narra-iveissa: kuuden vii6ojan tuo6aman, yhteensä kolmenkymmenen lyhyen tarinan aineistossa vahvan konstruoidun toiminnan keskiarvoinen osuus oli 41%, osi6aisen 37% ja heikon 22%; vii6ojakohtainen variaa-o oli suurta.

FERRARA, L. & Johnston, T. (2014). Elaborating who's what: A study of constructed action and clause structure in Auslan (Australian Sign Language). Australian Journal of Linguistics34, 193–215. – JANTUNEN, T. (2017). Constructed action, the clause and the nature of syntax in Finnish Sign Language. Open Linguistics, 3, 65–85. – JANTUNEN, T. (käsikirjoitus). Viittomakielet hybridisysteemeinä: hämärärajaisuus ja epäkonventionaalisuus osana viittomakielten rakennetta. Julkaistavaksi tarjottu käsikirjoitus, tammikuu 2018.

Konstruoitu toiminta diskurssin näkökulmasta

JANTUNEN, T. (käsikirjoitus). Vii6omakielet hybridisysteemeinä: hämärärajaisuus ja epäkonvenConaalisuus osana vii6omakielten rakenne6a. Julkaistavaksi tarjo6u käsikirjoitus, tammikuu 2018.

Pino6u pylväskaavio esi6ää vahvan, •osi6aisen ja heikon konstruoidun toiminnan sekä ilman konstruoitua toimintaa tuotetun kerronnan vii6ojakohtaiset keskiarvot kuvailevissa suomalaisen vii6omakielen narraCiveissa. Aineisto on ker• ä6y liikekaappauslaboratoriossa kuudelta vii6ojalta, joista jokainen tuoI viisi tarinaa. Tarinat perustuvat lyhyisiin •teksC6ömiin sarjakuvastrippeihin: vii6ojat valitsivat kymmenen stripin joukosta viisi itselleen mieluisinta ja vii6oivat ne seisaaltaan edessään seisovalle keskustelukumppanille. Keskiarvot on laske6u •annotoinCsolujen keston perusteella. Tarinoiden yhteiskesto on noin 20 •minuuIa.

Konstruoitu toiminta diskurssin näkökulmastaDiskurssin rakenne

Konstruoitua toimintaa k• äytetään keskimääräises0 eri tavoin eri kohdissa kerrontaa.

Tarinat pyrit• ään aloi8amaan ilman konstruoitua toimintaa, ja tarinoiden ensimmäiset konstruoidun toiminnan jaksot eivät tyypillises0 edusta vahvaa aste8a: tarinan alussa pyritään vakiinnu8amaan tarinassa mukana olevien hahmojen iden0tee0t ja vii8aussuhteet leksikaalisia vii8omia ja vakiintuneen syntaksin keinoja käy8äen.

Tarinan edetess• ä hahmoihin voidaan viitata helpommin – ja jopa pelkästään – vahvalla konstruoidulla toiminnalla, jonka käy8ö näin myös luo tarinaan omanlaistaan koheesiota.

Diskurssin lajiDiskurssin laji vaiku8aa suures0 konstruoidun toiminnan ja •sen asteiden esiintymiseen.

Kun diskurssin laji vaihtuu kuvailevasta narra0ivista •vapaammaksi keskusteluksi, laskee konstruoidun toiminnan osuus vii8omisessa huoma8avas0.

Diskurssin lajin muu8uminen muu8aa usein my• ös syitä, joiden vuoksi konstruoitua toimintaa käytetään: esim. vapaammassa keskustelussa konstruoidulla toiminnalla ilmaistaan enemmän puheenaiheena olevien hahmojen sanomisia ja ajatuksia kuin toimintaa sinänsä, joka on keskiössä kuvailevissa narra0iveissa.

CORMIER, K., Smith, S. & Zwets, M. (2013). Framing constructed action in British Sign Language narratives. Journal of Pragmatics 55, 119–139. – HODGE, G. & Ferrara, L. (2013). Showing the story: Enactment as performance in Auslan narratives. Teoksessa L. Gawne & J. Vaughan (toim.), Selected Papers from the 44th Conference of the Australian Linguistic Society, s. 372–397. – JANTUNEN, T. (2017). Constructed action, the clause and the nature of syntax in Finnish Sign Language. Open Linguistics, 3, 65–85.

Konstruoitu toiminta diskurssin näkökulmasta

20%

80%

Overlap durations

Quotative Non-quotative

33%

67%

Overlap frequencies

Quotative (N=70) Non-quotative (N=143)

• Referoinnin (so. hahmon sanomisen ja ajattelun näyttämisen) osuus kuvailevassa narratiivissa (6 viittojaa, 33 tarinaa) kahdella tavalla arvioituna.

Referoiva (N=70) Ei-referoiva (N=143) Referoiva Ei-referoiva

Frekvenssi Kesto

Konstruoitu toiminta ja kieliopilliset yksikötViittomataso

Vii#omiston n• äkökulmasta on osoite#u, e#äkonstruoitu toiminta suosii vahvimmissa asteissaan osi#ain leksikaalisten ja ei-leksikaalisten vii#omien käy#öä.

Verbaalikategoriaan kuuluvien osoi#avien •vii#omien osalta on lisäksi näyte#y toteen, e#äniiden osoituspoten=aalia pyritään hyödyntämään maksimaalises= juuri konstruoidun toiminnan yhteydessä.

Lausetaso

Konstruoitu toiminta mo=voi osaltaan •ydinargumen?en poisjä#öä lauserakenteesta ja tarjoaa samalla lauseenulkoisen keinon tulkita =lanteen osallistuja- ja referenssisuhteita.

Konstruoidun toiminnan vahvojen asteiden k• äy#ösuosii lineaarisia lauseiden yhdistämisperiaa#eita; erityises= kuvailevista verbaalivii#omista muodostuvat lauseet voivat ketjuuntua pitkiksikin lausejonoiksi.

De BEUZEVILLE, L., Johnston, T. & Schembri, A. (2009). The use of space with indicating verbs in Australian Sign Language: A corpus-based investigation. Sign Language & Linguistics 12, 52–83. – JANTUNEN, T. (2017). Constructed action, the clause and the nature of syntax in Finnish Sign Language. Open Linguistics 3, 65–85. – JANTUNEN, T. (2018). Elliptical phenomena in Finnish Sign Language. Ilmestyy teoksessa J. van Craenenbroeck & T. Temmerman (toim.), The Oxford Handbook of Ellipsis. Oxford: Oxford University Press.

Konstruoitu toiminta ja kieliopilliset yksiköt

Lausetaso: •transi-ivilause, jossa ei ole A- ja P-ydinargumen9a (so. lause koostuu pelkästä verbistä).

Konteks-: viiBoja •kertoo pojasta ja koirasta, jotka tuijoBavat la9alla lasipurkissa olevaa sammakkoa.

Kasvot ja muu •kehon toiminta lukuun oBamaBa käsiä: poikaa ja koiraa osoiBava (A-argumen-n normaalis- koodaama) tekijä-eto.

Katseen suunta ja •verbin suuntaamistapa: sammakkoon viiBaava (P-argumen-n normaalis- koodaama) -eto.

JANTUNEN, T. (2017). Constructed ac-on, the clause and the nature of syntax in Finnish Sign Language. Open Linguis+cs 3, 65–85.

Konstruoitu toiminta ja kieliopilliset yksiköt

Jyväskylän yliopisto, viittomakielenkeskus: ProGram-aineisto, lumiukko- ja sammakkotarinat (2013) [videokorpus].

‘Lumiukko tarEuu poikaa kädestä, he ponkaisevat ilmaan, lentävät taivaalla, katselevat alas korkeuksista, ja laskeutuvat lopulta koGin tussahtaen.’

Liikekaappaus- ja silmänliikeseuranta-aineistoMiten korpusaineistoon on yhdiste1y teknologialla tuote1ua dataa?

Yhteenveto käytetystä tallennusteknologiasta

Liikekaappaus (MoCap)Op#nen • Qualisys Oqus liikekaappausjärjestelmä8 infrapunakameraa, tallennusnopeus 120 Hz•Seurannassa 25 heijastavaa kehoon kiinnite?yä markkeria•Ks. • h,p://www.qualisys.com/cameras/oqus/

Silmänliikeseuranta (ET)Liikuteltava • Ergoneers Dikablis silmänliikeseurantajärjestelmä2 videokameraa, tallennusnopeus 50 fps (non• -standard H.264, mp4)Vasemman silmän toiminnan ja katseen suunnan tallennus•Ks. • h,p://www.ergoneers.com/eye-tracking/dikablis-glasses/

VideokuvausYksi • Qualisys-järjestelmän kanssa synkronoitu Full HD -videokameraTallennusnopeus 30 fps (Mo#on JPEG Open DML, avi)•

Kokonaisaineisto1. Vii&ojat

Yhteensä 6 äidink. vii/ojaa (3 miestä, 3 naista)•Ikähaarukka n. 30• –60 vuo/aLiikekaap. ja silmänliik. lai/eisto•

2. SisältöFerdinand• -sarjakuvien kerronta (16 stripin seB)n. 5 sarjakuvaa per vii/oja•"Viito seisoen mahdollisimman eläväsF parille."•

3. Sta2s2ikkaaYht. 33 tallenne/ua sarjakuvastakerrontaFlanne/a•Videoiden yhteiskesto 22 min. ja 47 sek.•Liikekaap. datan kokonaismäärä n. miljardi merkkiä•Silmänliikedatan kokonaismäärä yli 6 milj. merkkiä•

4. Synkronointi (ks. erillinen dia)• Viitepisteenä nyökkäys jokaisen tarinan alussa • Kaiken aineist. videopohjainen ELAN-synkronointi• 2 viittojan liikekaap. ja silmädatan Matlab-synkr.

5. Videopohjainen annotointi (ks. erilliset diat)• Kaikki annotointi toteutettu ELANissa• Perusannotointi viittoma- ja käännöstasoilla• Konstruoidun toiminnan monitasoinen annotointi• Otoskohtainen tekninen annotointi

6. Tärkeimmät otokset• Silmänliik. ja konstr. toim. (S-KT – 5 viitt.; 25 tar.)• Pää, keho ja konstr. toim. (PK-KT – 5 viitt.; 15 tar.)• Artik. ajoitus ja kon. toim. (AA-KT – 2 viitt.; 40 jaks.)

Full HD -video, 30 fps

MoCap-data, 120 Hz

ET-data, 50 Hz

ET-videot, 25/50 fps

00.00,00 00.02,00 nyökkäys … 00.38,00 00.40,00

n. 550 riviä MoCap-dataa

n. 180 riviä ET-dataa

Videoaineiston, liikekaappausdatan ja silmänliikedatan synkronoin5

BURGER, B., Puupponen, A. & Jantunen, T. (korjaDavana). Synchronizing eye tracking and opLcal moLon capture: How to bring them together. Julkaistavaksi tarjoDu

käsikirjoitus, lokakuu 2017. – JANTUNEN, T. & Puupponen, A. (2017). Videoaineiston ja miDausdatan yhdistäminen: tapaus viiDomakieli. Esitelmä XLIV kieliLeteen päivillä

Jyväskylässä 18–20 toukokuuta 2017.

Konstruoidun toiminnan annotoin-rivit ELANissaRivi Kuvaus (ja annotointisolun arvot)

Käännös Lausetasoinen käännös.

Glossi Glossi, joka identifioi viittoman.

Cormier ym. (2015):

CA-type Konstruoidun toiminnan tyyppi; perustuu riveillä CA-summary ja Role oleviin annotaatioihin (overt 'vahva', reduced 'osittainen', subtle 'heikko').

Role1 Ensisijainen rooli, jonka viittoja ottaa käyttäessään konstruoitua toimintaa (narrator 'kertoja', "character” 'hahmo').

Role2 Toissijainen rooli, jonka viittoja ottaa käyttäessään konstruoitua toimintaa (none 'ei mikään', narrator 'kertoja', "character” 'hahmo').

CA-summary Diskurssin jakso, jolloin konstruoitua toimintaa käytetään yhtäjaksoisesti saman hahmon esittämiseen (enacting 'näyttelevä').

CA-eyegaze Katseen kohdistuminen pois keskustelukumppanista ja toimiminen esitettävän hahmon katseena (enacting 'näyttelevä’).

CA-head Viittojan pää esittää hahmon pään liikettä tai asentoa (enacting 'näyttelevä').

CA-face Viittojan kasvojen ilme esittää hahmon kasvoilla olevaa ilmettä (enacting 'näyttelevä').

CA-torso Viittojan ylävartalo esittää hahmon ylävartalon liikettä tai asentoa (enacting 'näyttelevä’).

CA-dom-arm/hand Viittojan dominoiva käsi esittää hahmon vastaavaa kättä (enacting 'näyttelevä’, instrument 'väline').

CA-ndom-arm/hand Viittojan ei-dominoiva käsi esittää hahmon vastaavaa kättä (enacting 'näyttelevä’, instrument 'väline').

CA-legs Viittojan jalat esittävät hahmon jalkoja (enacting 'näyttelevä’). Huom! Tämä rivi ei ole mukana Cormierin ym. (2015) annotointiohjeissa.

Quotation Diskurssin jakso, jonka aikana viittoja referoi muiden sanomisia tai ajatuksia (q).

Story Tarinan kesto (story 'tarina')

CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed acWon. Sign Language & LinguisCcs 18, 167–204.

Konstruoidun toiminnan annotoinnin periaa/eita

Ensisijainen tai toissijainen rooli täytyy määri0ää •aina, jos vähintään yksi ar5kulaa0ori on kooda0u ak5iviseksi konstruoidun toiminnan tuotossa; ja päinvastoin.

Roolin ensisijaisuuden tai toissijaisuuden •määri0ämisessä on apuna se, miten monta ar5kulaa0oria konstruoidun toiminnan tuo0amisessa on ak5ivisena.

Konstruoidun toiminnan tyypit määri0yvät •ensisijaisen ja toissijaisen roolin perusteella oheisen taulukon mukaises5.

Konstruoitu toiminta voi olla diskurssissa •kestoltaan minkä tahansa jakson mi0aista.

Tyyppi Ensisij. rooli Toissij. rooli Kuvaus

none narrator none Viittojan kerrontaa ilman konstruoitua toimintaa. Äidinkielisen viittojan intuitio: ei "hahmossa".

overt character none Selkeää konstruoidun toiminnan käyttöä (useita artikulaattoreita), mahdollisesti samanaikaista hahmon sanomisen tai ajattelun esittämistä (siteeraamista). Äidinkielisen viittojan intuitio: täysin "hahmossa".

reduced character narrator Osittaista konstruoidun toiminnan käyttöä (artikulaattoreiden määrä vahvan ja heikon välissä), mahdollisesti samanaikaista hahmon sanomisen tai ajattelun esittämistä. Äidinkielisen viittojan intuitio: enimmäkseen ”hahmossa".

subtle narrator character Joitakin konstruoidun toiminnan piirteitä (vain yksi tai muutamia artikulaattoreita), mahdollisesti samanaikaista hahmon sanomisen tai ajattelun esittämistä. Äidinkielisen viittojan intuitio: enimmäkseen poissa "hahmosta", mutta myös vähän "hahmossa".

CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed ac5on. Sign Language & Linguis5cs 18, 167–204.

Annotaa&ot, videot ja visualisoitu numerodata ELANissa

Animaa&oksi muute.ua liikekaappausdataa

h"ps://twi"er.com/tommijantunen/status/938839969799507968

Silmänliikkeet ja katse konstruoidussa toiminnassaMiten silmä ja katse toimivat osana konstruoitua toimintaa ja sen tyyppejä?

Jantunen, T., Burger, B. & Puupponen, A. (tulossa). Constructed acCon types and eye behavior in Finnish Sign Language. Esitelmä tapahtumassa 8th Conference of the Interna.onal Society for Gesture Studies (ISGS 8), joka järjestetään 4.–8. heinäkuuta 2018 Kapkaupungissa, Etelä-Afrikassa.

Silmänliikkeet ja katse vii/omakielissäFone%ikka

3 silmänräpäytystyyppiä: ennakoima2omat refleksiset •räpäytykset, tahdo2omat jaksolliset räpäytykset ja inten8onaaliset räpäytykset.Katseella on pääsääntöises8 kesto; kestotonta katse2a •käytetään ymmärryksen tarkistamiseen.Vii2ojat pyrkivät katsomaan vastaano2ajan kasvoja, •yleensä niiden yläosaa.

KielioppiRäpäytykset ja katseen suunnan muutokset pyrkivät •esiintymään kons8tuenArajoilla.

Kuvailevissa vii2omissa pyritään katsomaan käsiä ja •osoi2avissa vii2omissa katse pyrkii käväisemään kohteessa tai sitä symboloivassa paikassa juuri ennen manuaalisen osoituksen toteutumista.Katse voi korvata manuaalisen osoituksen (vrt. esim. •”kuiskaaminen”).

DiskurssiKatseella säädellään vuoron o2amista ja säily2ämistä, ja •katseella tarkastetaan myös vies8n perillemenoa.Katse on tärkeä keino, jolla erotetaan toisistaan kertojan •ja hahmon näkökulmat.

BAHAN, B. & Supalla, S. (1995). Line segmenta8on and narra8ve structure: A study of eyegaze behavior in American Sign Language. Teoksessa K. Emmorey & J. Reilly (toim.), Language, getsure, and space, 171-191. Hillsdale, New Jersey & Hove, UK: Lawrence Erlbaum Associates, Publishers. – CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed ac8on. Sign Language & Linguis2cs 18:2, 167-204. – EMMOREY, K., Thompson, R. & Colvin, R. (2009). Eye gaze during comprehension of American Sign Language by na8ve and beginning signers. Journal of Deaf Studies and Deaf Educa2on 14(2), 237-243. – FERRERA, L. & Johnston, T. (2014). Elabora8ng Who's What: A Study of Constructed Ac8on and Clause Structure in Auslan (Australian Sign Language), Australian Journal of Linguis2cs 34:2, 193-215. – ENGBERG-Pedersen, E. (2015). Perspec8ve in signed discourse: the privileged status of the signer's locus and gaze. Open Linguis2cs 1, 411-431. – HANSEN, M. & Hessmann, J. (2007). Matching proposi8onal content and formal markers: Sentence boundaries in a DGS text. Sign Language & Linguis8cs 10(2), 145-175. – HERRMANN, A. & Steinbach, M. (2012). Quota8on in sign languages: A visible context shio. Teoksessa I. van Alphen & I. Buchstaller (toim.), Quota2ves: Cross-linguis2c and cross-disciplinary perspec2ves, 203-230. Amsterdam: John Benjamins. –MARTINEZ, L.B. (1995). Turn-taking and eye gaze in sign conversa8ons between deaf Filipinos. Teoksessa C. Lucas (toim.), Dociolinguis8cs in deaf communi8es, 272-304. Washington D.C.: Gallaudet University Press. – METZGER, M. (1998). Eye gaze and pronominal reference in American Sign Language. Teoksessa C. Lucas (toim.), Pinky extension and eye gaze: Language use in deaf communi2es, 170-181. Washington, DC: Gallaudet University Press. –THOMPSON, R., Emmorey, K. & Kluender, R. (2006). The rela8onship berween eye gaze and verb agreement in American sign Language: An eye-tracking study. Natural Language and Linguis8c Theory 24(2), 571-604. – THOMPSON, R., Emmorey, K. & Kluender, R. (2009). Learning to look: The acquisi8on of eye-gaze agreement during the produc8on of ASL verbs. Bilingualism: Cogni8on and Language 12(4), 393-409. – WILBUR, R.B. (2000). Phonological and prosodic layering of nonmanuals in American Sign Language. Teoksessa K. Emmorey & H. Lane (toim.), The signs of language revisited: An anthology to honor Ursula Bellugi and Edward Klima, 215-244. Mahwah, New Jersey & London, UK: Lawrence Erlbaum Associates, Publishers.

Mitä on sano*u katseesta osana konstruoitua toimintaa?

Katseen kohdistumista pois vastaano1ajasta on pide1y ken4es tärkeimpänä ei• -manuaalisena vihjeenä konstruoidun toiminnan alkamisesta: esimerkiksi Herrmannin ja Steinbachin (2012) saksalaisen vii1omakielen aineistossa 86% konstruoidun toiminnan esiintymistä alkoi katseen poiskohdistumisella.Kaikkein vahvimmissa konstruoidun toiminnan muodoissa katse edustaa hahmon katse1a, ei •kertojana toimivan vii1ojan omaa katse1a. Kun osoi1avia vii1omia käytetään yhdessä (vahvan) konstruoidun toiminnan kanssa, niihin lii1yvä •katse suuntautuu (vii1omien itsensä lailla) kuvi1eelliseen paikkaan tai vastaano1ajaan.

BAHAN, B. & Supalla, S. (1995). Line segmentation and narrative structure: A study of eyegaze behavior in American Sign Language. Teoksessa K. Emmorey & J. Reilly (toim.), Language, getsure, and space, 171-191. Hillsdale, New Jersey & Hove, UK: Lawrence Erlbaum Associates, Publishers. – CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed action. Sign Language & Linguistics 18:2, 167-204. – De BEUZEVILLE, L., Johnston, T. & Schembri, A. (2009). The use of space with indicating verbs in Australian Sign Language: A corpus-based investigation. Sign Language & Linguistics 12:1, 52-83. – ENGBERG-Pedersen, E. (2015). Perspective in signed discourse: the privileged status of the signer's locus and gaze. Open Linguistics 1, 411-431. – Ferrara, L. & Johnston, T. (2014). Elaborating Who's What: A Study of Constructed Action and Clause Structure in Auslan (Australian Sign Language), Australian Journal of Linguistics 34:2, 193-215. – HERRMANN, A. & Steinbach, M. (2012). Quotation in sign languages: A visible context shift. Teoksessa I. van Alphen & I. Buchstaller (toim.), Quotatives: Cross-linguistic and cross-disciplinary perspectives, 203-230. Amsterdam: John Benjamins. – METZGER, M. (1998). Eye gaze and pronominal reference in American Sign Language. Teoksessa C. Lucas (toim.), Pinky extension and eye gaze: Language use in deaf communities, 170-181. Washington, DC: Gallaudet University Press.

Otos S-KT1. Vii&ojat

Yhteensä 5 äidink. vii/ojaa (3 miestä, 2 naista)•Ikähaarukka n. 30• –60 vuo/aSilmänliikelai/eisto•

2. SisältöFerdinand• -sarjakuvien kerronta (16 stripin seD)5 sarjakuvaa per vii/oja•"Viito seisoen mahdollisimman eläväsG parille."•

3. Sta2s2ikkaaYht. 25 sarjakuvastakerrontaGlanne/a•Tarinoiden yhteiskesto 13 min. ja 32 sek.•Silmänliikedatan kokonaismäärä n. 5 milj. merkkiä•

4. Silmädatan ja videoiden synkronoin2Viitepisteenä nyökkäys jokaisen tarinan alussa •Videopohjainen synkronoinG ELANissa•Laskennallinen tarkkuus 0.5≤1.5 ruutua•

5. Jatkokäsi&ely ELANissaPerusannotoinG vii/oma• - ja käännöstasoillaKonstruoidun toiminnan monitasoinen annotoinG•Kuvaajiksi visualisoitu silmänliikedata•Räpäytykset, sakkadit ja katseen suunta (x, y)•

6. Analyysi ELANissaTarinoiden ensimm. KT sekä tarinoiden kaikki KT•Konstruoidun toiminnan alut (solu +/• -2 ruutua)

Konstruoidun toiminnan tyyppien jakauma otoksessa

Tarinoiden ensimmäinen konstruoidun toiminnan jakso (N=25) Tarinoiden kaikki konstruoidun toiminnan jaksot (N=274)

20%

56%

24%

0%

10%

20%

30%

40%

50%

60%

Overt CA Reduced CA Subtle CA

42,50% 42%

15,50%

0%

10%

20%

30%

40%

50%

60%

Overt CA Reduced CA Subtle CAVahva Osi>ainen Heikko Vahva Osi>ainen Heikko

Silmän toiminta tarinoiden ensimmäisen KT-jakson alussa (N=25)

Vahva Osittainen Heikko

Katse on annotoitu arvolla enac%ng 100% 93% 33%

Katseen suunta muuttuu solun rajalla 100% 71% 33%

Räpäytys tai silmien sulkeutuminen juuri ennen solua 100% 57% 17%

Nopea silmänliike eli sakkadi juuri ennen solua 0% 29% 50%

Sakkadi juuri ennen solunalkuista räpäytystä 40% 21% 0%

Räpäytys juuri ennen solunalkuista sakkadia N/A 7% 0%

Prominentti vertikaalinen katseen suunnan muutos 40% 50% 33%

Prominentti horisontaal. katseen suunnan muutos 20% 21% 17%

Silmän toiminta tarinoiden kaikkien KT-jaksojen alussa (N=274)

Katseen annotoin* arvolla enac%ng

100%• vahvasta konstruoidusta toiminnasta on annotoitu arvolla enac%ng.94%• osi4aisesta konstruoidusta toiminnasta on annotoitu arvolla enac%ng.50%• heikosta konstruoidusta toiminnasta on annotoitu arvolla enac%ng.Tulokset ovat • iden8sia tarinoiden ensimmäisten KT-jaksojen analyysin pohjalta saatujen tulosten kanssa.

Räp. tai silmien sulkeut. juuri ennen solua

61%• vahvasta konstruoidusta toiminnasta alkoi räpäytyksellä tai silmien sulkeutumisella.50%• osi4aisesta konstruoidusta toiminnasta alkoi räpäytyksellä tai silmien sulkeutumisella.30%• heikosta konstr. toiminnasta alkoi räpäytyksellä tai silmien sulkeutumisella.Tulokset ovat • saman suuntaisia tarinoiden ensimmäisten KT-jaksojen analyysin pohjalta saatujen tulosten kanssa.

Tulosten yhteenveto

Konstruoidun toiminnan tyyppejä luonneh4i otoksessa erilainen katseen ja silmien toiminta, jota voidaan •käy8ää apuna tyyppien tarkemmassa määri8elyssä:Vahva konstruoitu toiminta• : Katse edustaa aina hahmon katse8a (so. katse on annotoitu arvolla enac%ng). Vahvaa konstruoitua toimintaa edeltää lähes pakollises4 jonkinlainen katkos katseessa (räpäytys, silmien sulkeutuminen, sakkadi tai muu katseen suunnan muutos), joka implikoi, e8ä vahvaa konstruoitua toimintaa edeltää kons4tuen>raja.Osi0ainen konstruoitu toiminta• : Katse edustaa suurimmassa osassa tapauksia hahmon katse8a (so. katse on annotoitu suurimmassa osassa tapauksia arvolla enac%ng). Osi8aista konstruoitua toimintaa edeltää usein jonkinlainen katkos katseessa (räpäytys, silmien sulkeutuminen tai sakkadi), joka implikoi, e8ä osi8aista konstruoitua toimintaa edeltää usein kons4tuen>raja.Heikko konstruoitu toiminta• : Katse edustaa sa8umanvaraises4 hahmon katse8a (so. katse on annotoitu puolessa tapauksia arvolla enac%ng). Heikkoa konstruoitua toimintaa ei tyypillises4 edellä katkosta katseessa, ja jos edeltää, se ei tyypillises4 ole räpäytys. Katseen ja silmien toiminta ei ole luote8ava vihje heikon konstruoidun toiminnan alkamisesta.

Pään ja ylävartalon liikkuminen konstruoidussa toiminnassaMiten pään ja ylävartalon liikkuminen riippuu konstruoidusta toiminnasta ja sen tyypeistä?

Jantunen, T., Burger, B. & Puupponen, A. (arvioitavana). The kinemaBcs of constructed acBon in sign language narraBon: A moBon capture study. Esitelmäehdotus tapahtumaan 51st Annual Mee-ng of the Societas Linguis-ca Europaea (SLE 2018), joka järjestetään 29. elokuuta–1. syyskuuta 2018 Tallinnassa, Virossa.

Pään ja ylävartalon liikkuminen vii2omakielissä ja osana konstruoitua toimintaa

Pää ja ylävartalo kykenevät sekä itsenäiseen e1ä yhteiseen toimintaan. •Pää liikkuu ylävartaloa enemmän, ja päällä tuotetaan myös enemmän dis:nk:ivisiä liiketyyppejä kuin ylävartalolla.•Liikkeen kompleksisuus korreloi posi:ivises: funk:on kompleksisuuden kanssa.•Koko kehon liikkuminen implikoi konstruoitua toimintaa, ja tällöin päällä ja ylävartalolla on sama esi1ävä funk:o.•Joidenkin päänliiketyyppien • – kuten nyökkäysten – esiintyvyys korreloi posi:ivises: peruskerronnan kanssa; nyökkäykset rytmi1yvät etenkin kons:tuenArajojen kanssa.

Pään ja ylävartalon liikkeet ovat aina jollain tasolla kohesiivisia, mu1a konstruoidun toiminnan yhteydessä ne sitovat •yhteen diskurssitason jaksoja kun taas peruskerronnassa ne sitovat yhteen lausetasoisia jaksoja.

Pään ja ylävartalon liikkeissä on paljon yksilökohtaista variaa:ota; pään ja ylävartalon liikkuminen konstruoidussa •toiminnassa ei ole ennalta määrä1yä vaan riippuu :lanteesta ja esite1ävän hahmon toiminnasta.

CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed action. Sign Language & Linguistics 18:2, 167-204. – JANTUNEN, T. (2017). Constructed action, the clause and the nature of syntax in Finnish Sign Language. Open Linguistics, 3, 65–85. – PUUPPONEN, A. (2018). The Relationship between Movements and Positions of the Head and the Torso in Finnish Sign Language. Sign Language Studies 18(2), 175-214. – PUUPPONEN, A. & Jantunen, T. (2017). Head movements, body movements and constructed action in FinSL narratives. Esitelmä konferenssissa Language as a form of action, joka järjestettiin Roomassa 21.–23. kesäkuuta 2017.

Otos PK-KT1. Vii&ojat

Yhteensä 5 äidink. vii/ojaa (3 miestä, 2 naista)•Ikähaarukka n. 30• –60 vuo/aLiikekaappauslai/eisto•

2. SisältöFerdinand• -sarjakuvien kerronta (16 stripin seD)3 sarjakuvaa per vii/oja•"Viito seisoen mahdollisimman eläväsG parille."•

3. Sta2s2ikkaaYht. 15 sarjakuvastakerrontaGlanne/a•Videoiden yhteiskesto n. 10 min. ja 45 sek.•Liikedatan kokonaismäärä n. 500 milj. merkkiä•

4. Liikedatan käsi&ely ELANissaVideo• - ja nyökkäyspohjainen synkronoinG 0.5≤1.5 videoruudun tarkkuudella; annotoinGLiikedataan liitetyn ruutunumeroGedon ekstrakGo •soluihin kohdistetuiksi annotaaGoiksi.Lopullisen otoksen rajaus (yht. 137 kestoltaan •yhteismitallista erityyppistä KT- ja ei-KT -solua)

5. Analyysi Matlabissa ja SPSSsässäLopullisen otoksen liikedatan muunnos•Muu/ujina pään ja ylävartalon liike• - ja kiertoalue sekä nopeuden ja kiihtyvyyden määrä; esiintymien ja tyyppien keskiarvotKruskal• –Wallis -tesG ja monivertailut

Ruutunumero)edon ekstrak)o ELANissa

1234

567

89

1011 1213

1415

16171819

2021

2223

2425

1 2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

Liikekaappausdatan muunnos Matlabissa

Markkeridata Niveldata

• Neljä erillistä markkeria pään yläosassa (1–4).

Useita erillisiä markkereita eri •kohdissa ylävartaloa (6–13).

Kaksi erillistä markkeria kum• -massakin ranteessa (16–19).

Pään yläosan markkereista •johdeCu nivel (10).

Ylävartalon markkereista johde• -tut nivelet (1, 8, 9, 11 ja 15).

Ranteen markkereista johdetut •nivelet (13 ja 17).

BURGER, B. & Toiviainen, P. (2013). MoCap Toolbox: A Matlab toolbox for computaYonal analysis of movement data. Teoksessa R. Bresin (toim.), Proceedings of the 10th Sound and Music Compu9ng Conference, 172–178). Stockholm, Sweden.

Riippuvat muu*ujat

Pään liikkuminenPään horisontaalinen • liikealue (engl. bounding rectangle)Pään • kiertoliikkeen alue (engl. rota/on range)Pään liikkeen • vauh1 (engl. velocity magnitude)Pään liikkeen • kiihtyvyys (engl. accelera/on magn.)

Ylävartalon liikkuminenVartalon ylä• -, keski- ja alaosan horisontaalinen liikealueVartalon yläosan • kiertoliikkeen alueVartalon ylä• - ja keskiosan liikkeen vauh1Vartalon ylä• - ja keskiosan kiihtyvyys

BURGER, B., Saarikallio, S., Luck, G., Thompson, M.R. & Toiviainen, P. (2013). Rela/onships between perceived emo/ons in music and music-induced movement. Music Percep/on 30(5), 519-535. – BURGER, B. & Toiviainen, P. (2013). MoCap Toolbox: A Matlab toolbox for computaTonal analysis of movement data. Teoksessa R. Bresin (toim.), Proceedings of the 10th Sound and Music Compu/ng Conference, 172–178). Stockholm, Sweden.

Riippuvia muuYujia tarkastellaan suhteessa riippumaYomiin muuYujiin, jotka ovat: peruskerronta (so. ei konstruoitua toimintaa; lopullisen otoksen N=56), heikko konstruoitu toiminta (N=19), osi6ainen konstruoitu toiminta (N=34) ja vahvakonstruoitu toiminta (N=28).

Tulokset*

Pään

horisont.

liikealue

(m2)

Vartalon

yläosan

horisont.

liikealue

(m2)

Vartalon

keskiosan

horisont.

liikealue

(m2)

Vartalon

alaosan

horisont.

liikealue

(m2)

Pään

kierron

alue

(index)

Vartalon

yläosan

kierron

alue

(index)

Pään

liikkeen

vauhti

(mms)

Vartalon

yläosan

liikkeen

vauhti

(mms)

Vartalon

keskiosan

liikkeen

vauhti

(mms)

Pään

liikkeen

kiihtyvyys

(mms2)

Vartalon

yläosan

liikkeen

kiihtyvyys

(mms2)

Vartalon

keskiosan

liikkeen

kiihtyvyys

(mms2)

Peruskerr. 0,0014 0,0007 0,0003 0,0003 1,177 0,128 127,0 93,2 49,5 1085,8 986,3 447,7

Heikko 0,0011 0,0006 0,0001 0,0001 0,772 0,118 136,2 88,1 43,3 1174,0 886,6 439,7

Osittainen 0,0048 0,0023 0,0005 0,0004 0,932 0,117 213,8 133,6 66,4 1782,1 1160,1 497,0

Vahva 0,0040 0,0027 0,0011 0,0010 1,088 0,155 237,7 165,3 90,0 1877,5 1561,8 745,5

* Tulokset on ilmoitettu päätaulukossa keskiarvoina. Tilastollinen merkitsevyys on arvioitu Kruskal–Wallis-testillä käyttäen merkitsevyystasoa .05.

Per.–Os. Per.–Vahv. Per.–Heik. Per.–Os. Per.–Os.Per.–Vahv. Heik.–Vahv. Heik.–Vahv. Per.–Vahv. Per.–Vahv.

Heik.–Vahv.

Populaa=ot, joissa on merkitseviä eroja:

MuuFujaparit, joiden väliset erot ovat merkitseviä:

Tulosten yhteenveto

• Pään ja ylävartalon liikkumisessa on merkitseviä eroja ensisijaisesti perinteisen kerronnan ja konstruoidun toiminnan vahvimpien asteiden välillä sekä heikon ja vahvan konstruoidun toiminnan välillä; poikkeuksena pään kääntöliike, jossa merkitsevä ero peruskerronnan ja heikon konstruoidun toiminnan välillä.

• Tulokset tukevat ja tarkentavat aikaisempia tuloksia, ja niiden perusteella voidaan tehdä kolme yleistystä, jotka vahvistavat käsitystä konstruoidusta toiminnasta jatkumoluonteisena ilmiönä:

• Yleistys 1: Mitä vahvempaa konstruoitu toiminta on, sitä laajemmalla horisontaalisella alueella pää ja ylävartalo pyrkivät liikkumaan.

• Yleistys 2: Mitä vahvempaa konstruoitu toiminta on, sitä vauhdikkaampaa ja kiihtyilevämpää pään ja ylävartalon liikkuminen on.

• Yleistys 3: Pään kääntely heikossa konstruoidussa toiminnassa on minimaalista; pää kääntyilee eniten peruskerronnassa.

Ar#kulaa(oreiden toiminnan ajoi(uminen konstruoidussa toiminnassaMiten kädellä, päällä, ylävartalolla ja silmillä tuotetut liikkeet ajoi6uvat konstruoidun toiminnan eri tyypeissä ja perinteisessä kerronnassa?

Jantunen, T., Burger, B. & Puupponen, A. (työnalla). What comes first in CA? A moHon capture and eye tracking study on the temporal ordering of arHculatory movement beginnings in transiHons from narraHon to constructed acHon [työnimi].

Taustaksi – eri ar,kulaa.oreilla tuote.ujen liikkeiden keskinäinen ajoi.uminen ja konstruoitu toiminta

Tavoi&eena on tutkia, miten dominoivalla kädellä, päällä, ylävartalolla ja silmillä tuote&ujen liikkeiden •(iskuvaiheiden) alut järjestyvät ajallises: sellaisissa kerronnan kohdissa, joissa vii&ojat vaihtavat kerrontastrategiaansa peruskerronnasta jonkinlaiseen konstruoitua toimintaa sisältävään kerrontaan.

Aikaisempaa tutkimusta aiheesta ei ole, mu&a konstruoitua toimintaa koskeva yleinen :eto antaa aiheen ole&aa, •e&ä eri ar:kulaa&oreiden ajalliseen järjestymiseen lii&yvä yhteispeli olisi suhteellisen mielivaltaista, koska konstruoidun toiminnan laatu riippuu viime kädessä siitä, mitä vii&oja kullakin konstruoidun toiminnan jaksolla haluaa näy&ää ja näytellä.

Toisaalta ontologinen vakaumuksemme ja käy&öpohjaisen viitekehyksen perusoletuksemme antavat aiheen uskoa, •e&ä kielellinenkin signaali jäsentyy ar:kulatorisella tasolla jonkinlaisten motoristen perusprinsiippien mukaises:.

BYBEE, J.L. & Beckner, C. (2010). Usage-based theory. Teoksessa B. Heine & H. Narrog (toim.), The Oxford Handbook of Linguis5c Analysis, 827– 856. Oxford: Oxford University Press. – CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed ac:on. Sign Language & Linguis5cs 18, 167–204. – FERRARA, L. & Johnston, T. (2014). Elabora:ng who's what: A study of constructed ac:on and clause structure in Auslan (Australian Sign Language). Australian Journal of Linguis5cs34, 193–215.

Otos AA-KT1. Vii&ojat

Yhteensä 2 äidinkielistä vii/ojaa (2 miestä)•Ikähaarukka n. 30• –40 vuo/aLiikekaappaus• - ja silmänliikeseurantalai/eisto

2. SisältöFerdinand• -sarjakuvien kerronta (16 stripin seC)

• 3–4 sarjakuvaa per vii/oja"Viito seisoen mahdollisimman eläväsF parille."•

3. Sta2s2ikkaaYhteensä 7 sarjakuvastakerrontaFlanne/a•Videoiden yhteiskesto n. 5 min.•Liikedataa n. 200 milj. & silmädataa n. 1 milj. merk.•

4. Datan käsittely ELANissa• Video- ja nyökkäyspohjainen synkronointi 0.5≤1.5

videoruudun tarkkuudella; annotointi

• Siirtymäjaksojen annotointi (+/-50 liikekaap. ruutua) ja ruutunumerotiedon ekstraktio

• Lopullisen otoksen rajaus (yht. 4x10 yhteismitallista KT- ja ei-KT -jaksoa)

5. Käsittely ja analyysi Matlabissa ja Excelissä• Liikedatan autom. synkronointi ja muunnos; vauhti• Paikallisten minimien ja maksimien identifiointi

lopullisesta otoksesta; graaf. kuvaajien analyysi

• 2 artikulaattorin keskinäisen järj. vertailu; välitön ympäristö; frekvenssiperustainen pisteytys

Synkronoin( ja graafisten kuvaajien analyysi

10 20 30 40 50 60 70 80 90 1000

100

200

300

400

Gaze x-axis

7

33 48 5486

21

45 53

60

10 20 30 40 50 60 70 80 90 1000

100

200

300

400

Gaze y-axis 4 9

38 47 52 57

74 84 95 2 7

33 40 50 55

60

79 91

10 20 30 40 50 60 70 80 90 100

100

200

300

400

500HeadFL marker speed

9 31

68

91

2144 82 99

10 20 30 40 50 60 70 80 90 100

50

100

150

200Chest marker speed

1626

33

3941 53

73

92

12 22 2936

40 48

59 85

97

10 20 30 40 50 60 70 80 90 100

500

1000

1500

FingerR marker speed 5

23

4869

91

14 3360 80 99

f":- h ø" nl 5 ,'ïnl"Íaç¿4

r*i

400

300

200

100

$1,ìt . *> o

400

300

200

100

0

500

400

300

200

100

200

150

100

50

1 500

1 000

500

10 20 30

G

Gaze y-axis

7

HeadFL marker speed

4r¡

40 50 60Chest marker speed

fl

ô

¿t ¿l.la**

Tes$t1. Kahden ar+kulaa/orin keskinäisen järjestyksen vertailu

Selvitetään jokaisen ar+kulaa/orin osalta milloin sillä tuote/u liike alkaa ennen ja jälkeen •jokaisella muulla ar+kulaa/orilla tuote/ua liike/ä [parivertailu].

2. Väli/ömän ympäristön tarkastelu

Selvitetään kaikilla ar+kulaa/oreilla tuote/ujen liikkeiden alkujen osalta millä ar+kulaa/oreilla •tuote/ujen liikkeiden alut väli/ömäs+ edeltävät ja seuraavat niitä [peruskonkordanssi].

3. Pisteytys frekvenssien perusteella

Pisteytetään ar+kulaa/orit sen mukaan miten usein niillä tuote/u liike alkaa ensimmäisenä, •toisena, kolmantena jne. ["maailmankuppi"].

Tulokset 1 – Kahden ar2kulaa3orin keskinäisen järjestyksen vertailu

a>b a>c a>d a>e b>a b>c b>d b>e c>a c>b c>d c>e d>a d>b d>c d>e e>a e>b e>c e>dKaikki KT 42 % 67 % 83 % 78 % 58 % 92 % 68 % 88 % 33 % 8 % 50 % 59 % 17 % 26 % 44 % 70 % 22 % 12 % 41 % 30 %Vahva KT 50 % 78 % 90 % 90 % 50 % 100 % 88 % 100 % 22 % 0 % 44 % 56 % 10 % 0 % 44 % 80 % 10 % 0 % 44 % 20 %Ositt. KT 38 % 67 % 70 % 67 % 63 % 80 % 50 % 71 % 33 % 20 % 50 % 60 % 30 % 50 % 50 % 67 % 33 % 29 % 40 % 33 %Heikko KT* 33 % 33 % 89 % 75 % 67 % 67 % 67 % 67 % 67 % 11 % 33 % 33 % 63 % 25 % 33 % 38 %Ei KT:a* 67 % 86 % 67 % 33 % 67 % 14 % 75 % 33 % 33 % 25 %

a = pää, ’konstruoituun toimintaan (tai yleisemmin viito4uun jaksoon) lii4yvän pään liikkeen aloitus’b = silmien sulkeutuminen, ’hetki, jolloin silmät alkavat sulkeutua konstruoidun toiminnan (tai yleisemmin viitotun jakson) läheisyydessä’c = katse, ’katseen suunnanmuutoshetki, jolloin katse alkaa edustaa näyteltävän hahmon katse4a’d = ylävartalo, ’konstruoituun toimintaan (tai yleisemmin viito4uun jaksoon) lii4yvän ylävartalon liikkeen aloitus’e = dominoiva käsi, ’konstruoituun toimintaan (tai yleisemmin viito4uun jaksoon) lii4yvän dominoivan käden liikkeen iskuvaiheen aloitus’

* = Otoskoko on enemmän kuin 3.

Tulokset 2 – Väli/ömään ympäristöön perustuva kalkyyli

@ A d 7 @ B a 6 e C @ 3 a D e 7 d E @ 9c A d 4 a B d 3 d C e 3 a D @ 3 c E @ 3

@ A b 3 d B e 2 a C d 3 c D e 3 b E c 2b A d 3 @ B c 2 b C a 2 e D a 3 @ E d 2b A c 2 e B @ 2 @ C a 1 a D c 3 d E b 2b A e 2 @ B e 2 a C @ 1 b d e 2 b E a 2e A d 2 d B a 1 e C d 1 a D b 2 a E @ 2d A @ 2 d B @ 1 d C @ 1 b D c 1 d E c 1

@ A e 1 @ C e 1 c D @ 1 a E c 1d A c 1 d C a 1 d D e 1 c E d 1

@ A c 1 e C a 1 @ D c 1 @ E @ 1c A e 1 @ D b 1 @ E c 1

e D @ 1 a E @ 1

Syöte 1: kaikken frekventeimmät konkordanssit Syöte 2: C:n konkordanssitJos @ siitä seuraa A tai B Jos C siitä ei seuraa B

Jos A siitä seuraa DJos B siitä seuraa A

Jos D siitä seuraa EJos E siitä seuraa @ Tuloste: ’pää / silmien sulkeutuminen > katse (ylävartalo > käsi)'

Tulokset 3 – Pisteytys frekvenssien perusteella

Kaikki KT• pää > ylävartalo > silmän sulk. > käsi > katse

Vahva KT • pää > silmän sulk. > ylävartalo > katse > käsiOsi-. KT• pää > ylävartalo > silmän sulk. > käsi > katseHeikko KT• pää > ylävartalo > käsi > silmän sulk. > katse

Ei KT:a• pää > käsi > ylävartalo > silmän sulk. > katse

Tulosten yhteenveto

Tulosten perusteella näy/ää siltä, e/ä vii/ojien siirtyessä peruskerronnasta konstruoituun •toimintaan pään liike alkaa ensin, ja sitä seuraavat ylävartalon liike ja dominoivan käden iskuvaiheen alku; jos siirtymä konstruoituun toimintaan sisältää silmien sulkeutumisliikkeen, niin tämä liike alkaa vasta jossain vaiheessa pään liikkeen alkamisen jälkeen.

Lisäksi näy/ää siltä, e/ä ar;kulatoristen liikkeiden alkujen järjestyminen riippuu •konstruoidun toiminnan tyypistä: mitä heikompaa konstruoitu toiminta on, sitä aikaisemmin käden liikkeen iskuvaihe alkaa, ja sitä myöhäisemmäksi kaikenlainen silmän toiminta siirtyy.

Ar;kulatoristen liikkeiden ajallinen järjestyminen ei ole mielivaltaista, vaan kielii jatkumosta •peruskerronnan ja konstruoidun toiminnan eri asteiden välillä.

Epilogi: Fonee,sen näkökulman an4 hybridisysteemiaja

Epäkonven)onaalisuus ja hämärärajaisuus fone)ikassa*Di

skre

etti/

konv

entio

naal

inen

Silmän toimintaRäpäytykset kons,tuen.rajoilla•

Pään liikkuminenLiikkuminen pienehköllä alalla ja suhteessa •tasaisen hidasta; runsaahkos, kääntelyä

Ylävartalon liikkuminenVähäistä; liikkuminen pienehköllä alalla ja •suhteessa tasaisen hidasta

Liikkeiden ajoitusPäävetoista; käden rooli korostuu, ja silmän •rooli on suhteessa vähäinen

Hämärärajainen/epäkonven:onaalinen

Silmän toimintaHahmon katse•

Pään liikkuminenLiikkuminen laajahkolla alalla ja suhteessa •äkkinäistä ja nopeaa

Ylävartalon liikkuminenRunsaahkoa; liikkuminen laajahkolla alalla ja •suhteessa äkkinäistä ja nopeaa

Liikkeiden ajoitusPäävetoista; silmän rooli korostuu, ja käden •rooli on suhteessa vähäinen

* Työversio, muutokset mahdollisia.

Kurssin ko*hakemisto: h1p://users.jyu.fi/~tojantun/opetus/SVKS1010_kl18/