Videoaineistonjamittausdatanyhdistäminen– tapausviittomakieli

TommiJantunen&AnnaPuupponenKieli- javiestintätieteidenlaitos,Jyväskylänyliopisto

Korpuksestadataan– tutkijanX-Files. TyöpajaXLIVKielitieteenpäivilläJyväskylässä20.toukokuuta2017

AnnotoituavideoaineistoajamittausdataaELANissa

ELAN – MaxPlanckInstituteforPsycholinguistics,TheLanguageArchive,Nijmegen,TheNetherlands,URL:http://tla.mpi.nl/tools/tla-tools/elan– e.g.Crasborn,O&Sloetjes,H.(2008).EnhancedELANfunctionalityforsignlanguagecorpora.InO.Crasborn,E.Efthimiou,T.Hanke,E.D.Thoutenhoofd&I.Zwitserlood(eds.),Proceedingsofthe3rdWorkshopontheRepresentationandProcessingofSignLanguages:ConstructionandExploitationofSignLanguageCorpora,pp.39–43.Paris:ELRA.(image:https://tla.mpi.nl/wp-content/uploads/2017/02/Screen_ELAN_494_Mac.png)

PeruskysymyksiäjavastauksiaMiksiyhdistäävideoaineistoajamittausdataa?• Mittausdataauttaavideolletaltioitujenilmiöidenannotoinnissa.• Visualisoitumittausdataauttaalöytämäänvideoltakiinnostaviailmiöitä.• Ontilanteita,joissatutkimusmielenkiintokohdistuumittausdataan,muttailmiövoidaanlöytää

numeromatriisistavainvideonavulla.• Annotoituunvideoaineistoonyhdistettymittausdatamahdollistaatutkimuskysymyksiinvastaamisen

useammastanakokulmasta(esim.Puupponen&al.2015;Jantunen2016,2017;Puupponen2018).

Millätavoillamittausdatavoidaanhankkia?• Suoraan”videosta”–mittausdataonlähtökohtaisestisynkronoituvideonkanssa.• Jollakinerillisellälaitteella–mittausdatapitääuseinerikseensynkronoidavideonkanssa.

JANTUNEN,T.(2016).ClausalcoordinationinFinnishSignLanguage.StudiesinLanguage40(1),204-234.– JANTUNEN,T.(2017).Constructedaction,theclauseandthenatureofsyntaxinFinnishSignLanguage.OpenLinguistics3,65-85.– PUUPPONEN,A.(2018).TherelationshipbetweenthemovementsandpositionsoftheheadandthetorsoinFinnishSignLanguage.ToappearinSignLanguageStudies18(2).– PUUPPONEN,A.;Wainio,T.;Burger,B.&Jantunen,T.(2015).HeadmovementsinFinnishSignLanguageonthebasisofMotionCapturedata: astudyoftheformandfunctionofnods,nodding,headthrusts,andheadpulls.SignLanguage&Linguistics18(1),41-89.

Videostasuoraansaatumittausdata– esimerkkinäpäänliikkeentietokonenäköseurantaSLMotion-ohjelmalla

KARPPA,M.,Viitaniemi,V.,Luzardo,M.,Laaksonen,J.&Jantunen,T.(2014).SLMotion- Anextensiblesignlanguageorientedvideoanalysistool.InN.Calzolari,K.Choukri,T.Declerck,H.Loftsson,B.Maegaard,J.Mariani,A.Moreno,J.Odijk&S.Piperidis(Eds.),ProceedingsoftheNinthInternationalConferenceonLanguageResourcesandEvaluation(LREC'14) [organizedatReykjavik,Iceland,28-30May,2014].Paris:EuropeanLanguageResourcesAssociation(ELRA),pp.1886-1891.– LUZARDO,M.,Viitaniemi,V.,Karppa,M.,Laaksonen,J.&Jantunen,T.(2014).Estimatingheadposeandstateoffacialelementsforsignlanguagevideo.InO.Crasborn,E.Efthimiou,E.Fotinea,T.Hanke,J.Hochgesang,J.Kristoffersen&J.Mesch (Eds.),Proceedingsofthe6thWorkshopontheRepresentationandProcessingofSignLanguages:BeyondtheManualChannel[organizedasapartofLREC'14atReykjavik,Iceland,May31,2014].Paris:EuropeanLanguageResourcesAssociation(ELRA), pp.105-112.

LähtökohtaJokaisellevideoruudulle:• kasvontunnistus• ihonväristenalueidenidentifiointi• itsenäistenihoalueidenidentifiointi(jaseuranta)

PäänliikkeenseurantaJokaisellevideoruudulle:• mm.silmienjasuunkulmienidentifiointi• päänkallistuksentrigonometrinenlaskenta

- yaw(kääntö)- pitch(nyökkäys)- roll(kallistus)

Mainos– Snowfrog-aineistoKielipankissa!

JANTUNEN,T.,Pippuri,O.,Wainio,T.,Puupponen,A.&Laaksonen,J.(2016).AnnotatedvideocorpusofFinSLwithKinectandcomputer-visiondata.InE.Efthimiou,F.Stavroula-Evita,T.Hanke,J.Hochgesang,J.Kristoffersen&J.Mesch(Eds.),Proceedingsofthe7thWorkshopontheRepresentationandProcessingofSignLanguages:CorpusMining[organizedasapartofLREC'16atPortoroz,Slovenia,May28,2016].Paris:EuropeanLanguageResourcesAssociation(ELRA),pp.93-100.– UNIVERSITY ofJyväskylä,SignLanguageCentre:ProGramdata.ThestoriesSnowmanandFrog,whereareyou?(2016)[videocorpus].FIN-CLARIN[referredtoon2.5.2017].AvailableinKielipankki,theLanguageBankofFinland,athttp://urn.fi/urn:nbn:fi:lb-1001100113005.

Perustietoaaineistosta• Lumiukko- jasammakkotarinat• Otosvuonna2013kuvatustalaajemmastamateriaalista.• 20minuuttia,6viittojaa• MoniulotteinenannotointiELAN-ohjelmassa:

‒ viittomattyypiteltyinä‒ virketasoisetkäännökset‒ lauseet‒ päänliikkeettyypiteltyinä‒ kehonliikkeettyypiteltyinä

• Videoidentietokonenäkökäsittely:‒ päänliikeyaw,pitchjaroll-ulottuvuuksissa‒ silmienavonaisuusaste‒ suunavonaisuusaste

• Aineistoonsuunniteltupäivitettäväksimyöhemminmm.‒ lauseidenrakenneja‒ konstruoitutoiminta.

Erillislaitteillatallennettumittausdata– esimerkkinäliikekaappaus-jasilmänliikeseurantateknologiat

Liikekaappaus(MoCap)• OptinenQualisysOqusliikekaappausjärjestelmä• 8infrapunakameraa,tallennusnopeus120Hz• Seurannassa25heijastavaakehoonkiinnitettyämarkkeria• Ks.http://www.qualisys.com/cameras/oqus/

Silmänliikeseuranta(ET)• LiikuteltavaErgoneersDikablissilmänliikeseurantajärjestelmä• 2videokameraa,tallennusnopeus50fps(non-standardH.264,mp4)• Vasemmansilmäntoiminnanjakatseensuunnantallennus• Ks.http://www.ergoneers.com/eye-tracking/dikablis-glasses/

Videokuvaus• YksiQualisys-järjestelmänkanssasynkronoituFullHD-videokamera• Tallennusnopeus30fps(MotionJPEGOpenDML,avi)

Kokonaisaineisto1.Tavoite• Konstruoiduntoiminnan(esim.Ferrara&Johnston

2014,Cormier&al.2015,Jantunen2017)foneettinentarkastelu

• Materiaaliaviittomakieliteknologisiintutkimuksiin

2.Viittojat• Yhteensä6viittojaa(3miestä,3naista)• Ikähaarukkan.30–60vuotta

3.Sisältö• Ferdinand-sarjakuvienkerronta• n.5sarjakuvaaperviittoja

4.Statistiikkaa• Yhteensä33tallennettua

sarjakuvastakerrontatilannetta• Videoidenyhteiskesto22minuuttiaja47sekuntia• Liikekaappausdatankokonaismäärän.miljardi

merkkiä• Silmänliikedatankokonaismääräylikuusimiljoonaa

merkkiä

5.Huom!• Synkronointityöonosittainkesken• Annotointityötäeiolevieläaloitettu

CORMIER,K.,Smith,S.,SevcikovaSehyr,Z.(2015).Rethinkingconstructedaction. SignLanguage&Linguistics18,167-204.– FERRARA,L.,Johnston,T.(2014).Elaboratingwho’swhat:AstudyofconstructedactionandclausestructureinAuslan(AustralianSignLanguage).AustralianJournalofLinguistics34,193-215.– JANTUNEN,T.(2017).Constructedaction,theclauseandthenatureofsyntaxinFinnishSignLanguage.OpenLinguistics3,65-85.

FullHD-video,30fps

MoCap-data,120Hz

ET-data,50Hz

ET-videot,25/50fps

00.00,00 00.02,00 nyökkäys … 00.38,00 00.40,00

n.550riviäMoCap-dataa

n.180riviäET-dataa

Videoaineisto,liikekaappausdatajasilmänliikedatatilanteenaikajanalla

Videoaineistoa,liikekaappausdataajasilmänliikedataasynkronoitunaELANissa

Mitensynkronointiontoteutettu?1.Videoideneditointi• Videoidenkohdistus• FullHD-videoidenalustaonleikattupoisjakso,jonka

liikekaappausjärjestelmäontallentanutennensilmänliiketallennuksenalkamista.

• ET-videoidenlopustaonleikattupoisjakso,jonkasilmänliikeseurantajärjestelmäontallentanutsenjälkeen,kunliiketallennusonloppunut.

2.Videoidenkonvertointi• Videoidenmahdollinenlomitusonpoistettu.• Ruutunopeus50fpsonpudotettunopeuteen25fps.• FullHD-videoononlisättykiinteäruutunumerointi.• LeikatutvideotoneksportattukoodekillaH.264ja

kääreellämp4.

3.Liikekaappausdataantehdytmuutokset• MoCap-dataanongeneroitujalisättyjuokseva

ruutunumerointijaaikakoodi.• MoCap-datanalustaonleikattupoisrivit,jotka

vastaavatFullHD-videonalustapoistettuajaksoa.• MoCap-dataonmuutettucsv-muotoon.

4.Silmänliikedataantehdytmuutokset• ET-dataanongeneroitujalisättyjuokseva

ruutunumerointijaaikakoodi.• ET-dataonkohdistettuvideonalkuunlisäämällä

datanalkuun0–4riviä• ET-datanlopustaonleikattupoisrivit,jotka

vastaavatET-videonlopustapoistettuajaksoa.• ET-dataonmuutettucsv-muotoon.

Videoideneditointi

• EditointiAdobePremiere-ohjelmassa• Videoidenkohdistuksessaapuna:

– Alunnyökkäys(FullHD– ETfield– ETblend)– Kädenmuotojasijainti(FullHD– ETfield– ETblend)– Silmänräpäytykset(FullHD– ETeye– ETblend)

• Yhtenevänjaksonvalinta:– AlkuosanpoisrajausFullHD-videosta– LoppuosienpoisrajausET-videoista

• Rajaustiedondokumentointi:– FullHD-videonalustapoistettusekunti:ruutumäärä– ET-videoidenlopuistapoistettusekunti:ruutumäärä

• Kohdistuksenpoikkeama<1videoruutu,jokavastaa<4riviäMoCap-datassaja<2riviäET-datassa

Videoidenkonvertointi

1 2 3 4 5

6 7 8 9 10

11 12 13 14 15

16 17 18 19 20

2 3 4

5 6 8 9 10

11 12 14 15 16

17 18 20 21 22

• Yhteensopivuusongelmienminimoimiseksi50fpsruutunopeudetonpudotettunopeuteen25fps.

• FullHD-videoon(30fps)onlisättykiinteäruutunumerointi,jokaonapunaMoCap-numerodatanleikkaamisessa.

• KaikkivideotoneksportattukäyttäenH.264-koodekkiajamp4-käärettä.

• Konvertointitoimienarvioituvaikutusvideoidenkohdistukseen+/- <1videoruutu.

Alkuperäisestä30fpsFullHD-videosta(MotionJPEGOpenDML-koodaus,avi-kääre)eksportattuja25fpstestivideo-ruutuja(H.264-koodaus,mp4-kääre).

Liikekaappausdataantehdytmuutokset

• AlkuperäiseenMoCap-dataanongeneroitujalisättyjuoksevaruutunumerointi.

• FullHD-videonalussanäkyvännyökkäyksenapeksionidentifioituMoCap-datastavideonjaMoCap-datanruutunumerointiensekäyhdenotsamarkkerin 3D-paikkatiedonavulla.

• MoCap-datanalustaleikattavienrivienmääräonlaskettukäyttäenapunaFullHD-videoneditoinninaikanadokumentoituarajaustietoajaapeksinrivinumerotietoa.

• RivitonpoistettujadataanongeneroitujalisättyFullHD-videonkestoon(mm:ss.ms)suhteutettujuoksevaaikakoodi.

• DataontallennettuELANiavartencsv-muotoon.• MoCap-datanlaskennallinenkohdistustarkkuusFullHD

-videoonon1videoruutueli4datariviä.

Silmänliikedataantehdytmuutokset

• AlkuperäiseenET-dataanongeneroitujalisättyjuoksevaruutunumerointi.

• ET-datanalkuonkohdistettuvideonalkuunlisäämällädataan0–4”nollariviä”.

• ET-dataanongeneroitujalisättyaikakoodiET-eye-videonkestonperusteella.

• ET-datanlopustaonleikattupoisrivit,jotkajäävätilmanruutunumerointiajaaikakoodia.

• ET-dataonmuutettuELANiavartencsv-muotoon.

• ET-datanlaskennallinenkohdistustarkkuusET-eye-videoonon1videoruutueli2datariviä.Videoruutu(25fps):

Datarivi(50Hz):1836

1938

2040(37) (39)

Loppusanat• Edelläkuvatuttoimenpiteetsynkronoivatensisijaisestikeskenäänseuraavatosa-aineistot:

MoCap-videonjaET-videot;MoCap-videonjaMoCap-datan;jaET-silmävideonjaET-datan.• Videoidenkeskinäisensynkronoinninperusteellaoletetaan,ettäkaikkiosa-aineistotovat

keskenäänsynkronoituja.• Lisäksisynkronoinnintoteutukseenliittyvienseikkojenperusteellaoletetaan,ettäsynkronoinnin

tarkkuuseriaineisto-osienvälilläon0.5≤1.5ruutua.• Pelkkäänumeerista(esim.Matlabissatapahtuvaa)prosessointiavartenMoCap- jaET-data

voidaansynkronoidamyöskeskenäändatanalkuunsijoittuvannyökkäyksenavulla(Burgeretal.2017).

BURGER,B.,Puupponen,A.&Jantunen,T.(2017).Synchronizingeyetrackingandopticalmotioncapture:Howtobringthemtogether? AbstractsubmittedtoMusic&Eye-Tracking(MET17)conference,tobeorganizedatMaxPlanckInstituteforEmpiricalAesthetics,Frankfurt,GermanyonAugust17th-18th,2017.

Kiitos!ProGram-projektinkotisivu@http://users.jyu.fi/~tojantun/ProGramKielipankinlumiukko- jasammakkotarinat@http://lat.csc.fi

EdelläkuvattutyöonrahoitettuosinSuomenAkatemianpäätöksillä269089,273408&304034(ProGram– Näkökulmiasuomalaisenviittomakielenkielioppiinjaprosodiaan,2013-2018).