Videoaineistonjamittausdatanyhdistäminen– tapausviittomakieli
TommiJantunen&AnnaPuupponenKieli- javiestintätieteidenlaitos,Jyväskylänyliopisto
Korpuksestadataan– tutkijanX-Files. TyöpajaXLIVKielitieteenpäivilläJyväskylässä20.toukokuuta2017
AnnotoituavideoaineistoajamittausdataaELANissa
ELAN – MaxPlanckInstituteforPsycholinguistics,TheLanguageArchive,Nijmegen,TheNetherlands,URL:http://tla.mpi.nl/tools/tla-tools/elan– e.g.Crasborn,O&Sloetjes,H.(2008).EnhancedELANfunctionalityforsignlanguagecorpora.InO.Crasborn,E.Efthimiou,T.Hanke,E.D.Thoutenhoofd&I.Zwitserlood(eds.),Proceedingsofthe3rdWorkshopontheRepresentationandProcessingofSignLanguages:ConstructionandExploitationofSignLanguageCorpora,pp.39–43.Paris:ELRA.(image:https://tla.mpi.nl/wp-content/uploads/2017/02/Screen_ELAN_494_Mac.png)
PeruskysymyksiäjavastauksiaMiksiyhdistäävideoaineistoajamittausdataa?• Mittausdataauttaavideolletaltioitujenilmiöidenannotoinnissa.• Visualisoitumittausdataauttaalöytämäänvideoltakiinnostaviailmiöitä.• Ontilanteita,joissatutkimusmielenkiintokohdistuumittausdataan,muttailmiövoidaanlöytää
numeromatriisistavainvideonavulla.• Annotoituunvideoaineistoonyhdistettymittausdatamahdollistaatutkimuskysymyksiinvastaamisen
useammastanakokulmasta(esim.Puupponen&al.2015;Jantunen2016,2017;Puupponen2018).
Millätavoillamittausdatavoidaanhankkia?• Suoraan”videosta”–mittausdataonlähtökohtaisestisynkronoituvideonkanssa.• Jollakinerillisellälaitteella–mittausdatapitääuseinerikseensynkronoidavideonkanssa.
JANTUNEN,T.(2016).ClausalcoordinationinFinnishSignLanguage.StudiesinLanguage40(1),204-234.– JANTUNEN,T.(2017).Constructedaction,theclauseandthenatureofsyntaxinFinnishSignLanguage.OpenLinguistics3,65-85.– PUUPPONEN,A.(2018).TherelationshipbetweenthemovementsandpositionsoftheheadandthetorsoinFinnishSignLanguage.ToappearinSignLanguageStudies18(2).– PUUPPONEN,A.;Wainio,T.;Burger,B.&Jantunen,T.(2015).HeadmovementsinFinnishSignLanguageonthebasisofMotionCapturedata: astudyoftheformandfunctionofnods,nodding,headthrusts,andheadpulls.SignLanguage&Linguistics18(1),41-89.
Videostasuoraansaatumittausdata– esimerkkinäpäänliikkeentietokonenäköseurantaSLMotion-ohjelmalla
KARPPA,M.,Viitaniemi,V.,Luzardo,M.,Laaksonen,J.&Jantunen,T.(2014).SLMotion- Anextensiblesignlanguageorientedvideoanalysistool.InN.Calzolari,K.Choukri,T.Declerck,H.Loftsson,B.Maegaard,J.Mariani,A.Moreno,J.Odijk&S.Piperidis(Eds.),ProceedingsoftheNinthInternationalConferenceonLanguageResourcesandEvaluation(LREC'14) [organizedatReykjavik,Iceland,28-30May,2014].Paris:EuropeanLanguageResourcesAssociation(ELRA),pp.1886-1891.– LUZARDO,M.,Viitaniemi,V.,Karppa,M.,Laaksonen,J.&Jantunen,T.(2014).Estimatingheadposeandstateoffacialelementsforsignlanguagevideo.InO.Crasborn,E.Efthimiou,E.Fotinea,T.Hanke,J.Hochgesang,J.Kristoffersen&J.Mesch (Eds.),Proceedingsofthe6thWorkshopontheRepresentationandProcessingofSignLanguages:BeyondtheManualChannel[organizedasapartofLREC'14atReykjavik,Iceland,May31,2014].Paris:EuropeanLanguageResourcesAssociation(ELRA), pp.105-112.
LähtökohtaJokaisellevideoruudulle:• kasvontunnistus• ihonväristenalueidenidentifiointi• itsenäistenihoalueidenidentifiointi(jaseuranta)
PäänliikkeenseurantaJokaisellevideoruudulle:• mm.silmienjasuunkulmienidentifiointi• päänkallistuksentrigonometrinenlaskenta
- yaw(kääntö)- pitch(nyökkäys)- roll(kallistus)
Mainos– Snowfrog-aineistoKielipankissa!
JANTUNEN,T.,Pippuri,O.,Wainio,T.,Puupponen,A.&Laaksonen,J.(2016).AnnotatedvideocorpusofFinSLwithKinectandcomputer-visiondata.InE.Efthimiou,F.Stavroula-Evita,T.Hanke,J.Hochgesang,J.Kristoffersen&J.Mesch(Eds.),Proceedingsofthe7thWorkshopontheRepresentationandProcessingofSignLanguages:CorpusMining[organizedasapartofLREC'16atPortoroz,Slovenia,May28,2016].Paris:EuropeanLanguageResourcesAssociation(ELRA),pp.93-100.– UNIVERSITY ofJyväskylä,SignLanguageCentre:ProGramdata.ThestoriesSnowmanandFrog,whereareyou?(2016)[videocorpus].FIN-CLARIN[referredtoon2.5.2017].AvailableinKielipankki,theLanguageBankofFinland,athttp://urn.fi/urn:nbn:fi:lb-1001100113005.
Perustietoaaineistosta• Lumiukko- jasammakkotarinat• Otosvuonna2013kuvatustalaajemmastamateriaalista.• 20minuuttia,6viittojaa• MoniulotteinenannotointiELAN-ohjelmassa:
‒ viittomattyypiteltyinä‒ virketasoisetkäännökset‒ lauseet‒ päänliikkeettyypiteltyinä‒ kehonliikkeettyypiteltyinä
• Videoidentietokonenäkökäsittely:‒ päänliikeyaw,pitchjaroll-ulottuvuuksissa‒ silmienavonaisuusaste‒ suunavonaisuusaste
• Aineistoonsuunniteltupäivitettäväksimyöhemminmm.‒ lauseidenrakenneja‒ konstruoitutoiminta.
Erillislaitteillatallennettumittausdata– esimerkkinäliikekaappaus-jasilmänliikeseurantateknologiat
Liikekaappaus(MoCap)• OptinenQualisysOqusliikekaappausjärjestelmä• 8infrapunakameraa,tallennusnopeus120Hz• Seurannassa25heijastavaakehoonkiinnitettyämarkkeria• Ks.http://www.qualisys.com/cameras/oqus/
Silmänliikeseuranta(ET)• LiikuteltavaErgoneersDikablissilmänliikeseurantajärjestelmä• 2videokameraa,tallennusnopeus50fps(non-standardH.264,mp4)• Vasemmansilmäntoiminnanjakatseensuunnantallennus• Ks.http://www.ergoneers.com/eye-tracking/dikablis-glasses/
Videokuvaus• YksiQualisys-järjestelmänkanssasynkronoituFullHD-videokamera• Tallennusnopeus30fps(MotionJPEGOpenDML,avi)
Kokonaisaineisto1.Tavoite• Konstruoiduntoiminnan(esim.Ferrara&Johnston
2014,Cormier&al.2015,Jantunen2017)foneettinentarkastelu
• Materiaaliaviittomakieliteknologisiintutkimuksiin
2.Viittojat• Yhteensä6viittojaa(3miestä,3naista)• Ikähaarukkan.30–60vuotta
3.Sisältö• Ferdinand-sarjakuvienkerronta• n.5sarjakuvaaperviittoja
4.Statistiikkaa• Yhteensä33tallennettua
sarjakuvastakerrontatilannetta• Videoidenyhteiskesto22minuuttiaja47sekuntia• Liikekaappausdatankokonaismäärän.miljardi
merkkiä• Silmänliikedatankokonaismääräylikuusimiljoonaa
merkkiä
5.Huom!• Synkronointityöonosittainkesken• Annotointityötäeiolevieläaloitettu
CORMIER,K.,Smith,S.,SevcikovaSehyr,Z.(2015).Rethinkingconstructedaction. SignLanguage&Linguistics18,167-204.– FERRARA,L.,Johnston,T.(2014).Elaboratingwho’swhat:AstudyofconstructedactionandclausestructureinAuslan(AustralianSignLanguage).AustralianJournalofLinguistics34,193-215.– JANTUNEN,T.(2017).Constructedaction,theclauseandthenatureofsyntaxinFinnishSignLanguage.OpenLinguistics3,65-85.
FullHD-video,30fps
MoCap-data,120Hz
ET-data,50Hz
ET-videot,25/50fps
00.00,00 00.02,00 nyökkäys … 00.38,00 00.40,00
n.550riviäMoCap-dataa
n.180riviäET-dataa
Videoaineisto,liikekaappausdatajasilmänliikedatatilanteenaikajanalla
Videoaineistoa,liikekaappausdataajasilmänliikedataasynkronoitunaELANissa
Mitensynkronointiontoteutettu?1.Videoideneditointi• Videoidenkohdistus• FullHD-videoidenalustaonleikattupoisjakso,jonka
liikekaappausjärjestelmäontallentanutennensilmänliiketallennuksenalkamista.
• ET-videoidenlopustaonleikattupoisjakso,jonkasilmänliikeseurantajärjestelmäontallentanutsenjälkeen,kunliiketallennusonloppunut.
2.Videoidenkonvertointi• Videoidenmahdollinenlomitusonpoistettu.• Ruutunopeus50fpsonpudotettunopeuteen25fps.• FullHD-videoononlisättykiinteäruutunumerointi.• LeikatutvideotoneksportattukoodekillaH.264ja
kääreellämp4.
3.Liikekaappausdataantehdytmuutokset• MoCap-dataanongeneroitujalisättyjuokseva
ruutunumerointijaaikakoodi.• MoCap-datanalustaonleikattupoisrivit,jotka
vastaavatFullHD-videonalustapoistettuajaksoa.• MoCap-dataonmuutettucsv-muotoon.
4.Silmänliikedataantehdytmuutokset• ET-dataanongeneroitujalisättyjuokseva
ruutunumerointijaaikakoodi.• ET-dataonkohdistettuvideonalkuunlisäämällä
datanalkuun0–4riviä• ET-datanlopustaonleikattupoisrivit,jotka
vastaavatET-videonlopustapoistettuajaksoa.• ET-dataonmuutettucsv-muotoon.
Videoideneditointi
• EditointiAdobePremiere-ohjelmassa• Videoidenkohdistuksessaapuna:
– Alunnyökkäys(FullHD– ETfield– ETblend)– Kädenmuotojasijainti(FullHD– ETfield– ETblend)– Silmänräpäytykset(FullHD– ETeye– ETblend)
• Yhtenevänjaksonvalinta:– AlkuosanpoisrajausFullHD-videosta– LoppuosienpoisrajausET-videoista
• Rajaustiedondokumentointi:– FullHD-videonalustapoistettusekunti:ruutumäärä– ET-videoidenlopuistapoistettusekunti:ruutumäärä
• Kohdistuksenpoikkeama<1videoruutu,jokavastaa<4riviäMoCap-datassaja<2riviäET-datassa
Videoidenkonvertointi
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
2 3 4
5 6 8 9 10
11 12 14 15 16
17 18 20 21 22
• Yhteensopivuusongelmienminimoimiseksi50fpsruutunopeudetonpudotettunopeuteen25fps.
• FullHD-videoon(30fps)onlisättykiinteäruutunumerointi,jokaonapunaMoCap-numerodatanleikkaamisessa.
• KaikkivideotoneksportattukäyttäenH.264-koodekkiajamp4-käärettä.
• Konvertointitoimienarvioituvaikutusvideoidenkohdistukseen+/- <1videoruutu.
Alkuperäisestä30fpsFullHD-videosta(MotionJPEGOpenDML-koodaus,avi-kääre)eksportattuja25fpstestivideo-ruutuja(H.264-koodaus,mp4-kääre).
Liikekaappausdataantehdytmuutokset
• AlkuperäiseenMoCap-dataanongeneroitujalisättyjuoksevaruutunumerointi.
• FullHD-videonalussanäkyvännyökkäyksenapeksionidentifioituMoCap-datastavideonjaMoCap-datanruutunumerointiensekäyhdenotsamarkkerin 3D-paikkatiedonavulla.
• MoCap-datanalustaleikattavienrivienmääräonlaskettukäyttäenapunaFullHD-videoneditoinninaikanadokumentoituarajaustietoajaapeksinrivinumerotietoa.
• RivitonpoistettujadataanongeneroitujalisättyFullHD-videonkestoon(mm:ss.ms)suhteutettujuoksevaaikakoodi.
• DataontallennettuELANiavartencsv-muotoon.• MoCap-datanlaskennallinenkohdistustarkkuusFullHD
-videoonon1videoruutueli4datariviä.
Silmänliikedataantehdytmuutokset
• AlkuperäiseenET-dataanongeneroitujalisättyjuoksevaruutunumerointi.
• ET-datanalkuonkohdistettuvideonalkuunlisäämällädataan0–4”nollariviä”.
• ET-dataanongeneroitujalisättyaikakoodiET-eye-videonkestonperusteella.
• ET-datanlopustaonleikattupoisrivit,jotkajäävätilmanruutunumerointiajaaikakoodia.
• ET-dataonmuutettuELANiavartencsv-muotoon.
• ET-datanlaskennallinenkohdistustarkkuusET-eye-videoonon1videoruutueli2datariviä.Videoruutu(25fps):
Datarivi(50Hz):1836
1938
2040(37) (39)
Loppusanat• Edelläkuvatuttoimenpiteetsynkronoivatensisijaisestikeskenäänseuraavatosa-aineistot:
MoCap-videonjaET-videot;MoCap-videonjaMoCap-datan;jaET-silmävideonjaET-datan.• Videoidenkeskinäisensynkronoinninperusteellaoletetaan,ettäkaikkiosa-aineistotovat
keskenäänsynkronoituja.• Lisäksisynkronoinnintoteutukseenliittyvienseikkojenperusteellaoletetaan,ettäsynkronoinnin
tarkkuuseriaineisto-osienvälilläon0.5≤1.5ruutua.• Pelkkäänumeerista(esim.Matlabissatapahtuvaa)prosessointiavartenMoCap- jaET-data
voidaansynkronoidamyöskeskenäändatanalkuunsijoittuvannyökkäyksenavulla(Burgeretal.2017).
BURGER,B.,Puupponen,A.&Jantunen,T.(2017).Synchronizingeyetrackingandopticalmotioncapture:Howtobringthemtogether? AbstractsubmittedtoMusic&Eye-Tracking(MET17)conference,tobeorganizedatMaxPlanckInstituteforEmpiricalAesthetics,Frankfurt,GermanyonAugust17th-18th,2017.
Kiitos!ProGram-projektinkotisivu@http://users.jyu.fi/~tojantun/ProGramKielipankinlumiukko- jasammakkotarinat@http://lat.csc.fi
EdelläkuvattutyöonrahoitettuosinSuomenAkatemianpäätöksillä269089,273408&304034(ProGram– Näkökulmiasuomalaisenviittomakielenkielioppiinjaprosodiaan,2013-2018).