A beszédben A beszédben megjelenő megjelenő érzelmekérzelmek

és a és a prozódiaprozódia – elsősorban a – elsősorban a beszéddallam –beszéddallam – kapcsolatá kapcsolatának nak

vizsgálatavizsgálataOltványi Gábor JózsefOltványi Gábor JózsefÖnálló laboratórium 1 – beszámoló

PPKE–ITK, 2007.12.17.Konzulens: Takács György, Bárdi Tamás

http://digitus.itk.ppke.huhttp://digitus.itk.ppke.hu/~oltgajo/tan/7/onlab1//~oltgajo/tan/7/onlab1/

Prozódia a beszédbenProzódia a beszédben

a beszéd szupraszegmentális akusztikai jegyeit leíró tudományága: több szegmentumon, azaz fonémán, vagy hangsoron átívelő jelenségek

intonáció:intonáció: hanglejtés, beszéddallam, hangerőhangerő és hangsúlyokhangsúlyok, beszédritmusbeszédritmus,

tagolás, sebesség, szünetek, hangszínhangszín

Diszkrét emóciókDiszkrét emóciók

EkmanEkman: alapérzelmek/diszkrét emóciók: meglepetésmeglepetés félelemfélelem haragharag örömöröm szomorúságszomorúság undorundor

Folytonos érzelmi Folytonos érzelmi dimenziókdimenziók

ActivitActivityyValencValenc

ee

AktivitáAktivitáss

ÉrtékelÉrtékelés: és:

jó/rosszjó/rossz

PowerPower(„befolyá(„befolyá

s”)s”)

IntensitIntensityy

(intenzit(intenzitás)ás)

Érzelmek a beszédbenÉrzelmek a beszédben

„„Érződik a hanghordozásán, hogyÉrződik a hanghordozásán, hogy…”…”

itt különböző prozódiai jegyekre gondolunkitt különböző prozódiai jegyekre gondolunk

elsősorban: elsősorban: beszéddallambeszéddallam, , hangerőhangerő

nem egyértelmű…nem egyértelmű…

Érzelmes beszéd Érzelmes beszéd adatforrások adatforrások

beszédminta-adatbázisok:beszédminta-adatbázisok:

színészek által fölmondott, eljátszott színészek által fölmondott, eljátszott érzelmekérzelmek

riporterek naiv embereket beszéltetnek, riporterek naiv embereket beszéltetnek, befolyásolva érzelmeiketbefolyásolva érzelmeiket

stb.stb.

CélkitűzésünkCélkitűzésünk

Valódi, átélt érzelmekValódi, átélt érzelmek eljátszott érzelmek nem jókeljátszott érzelmek nem jók

Felnőtt, naiv beszélőFelnőtt, naiv beszélő gyerek: változóan, nem fejezi ki helyesen az gyerek: változóan, nem fejezi ki helyesen az

érzelmeitérzelmeit szakértő, képzett beszélő: magyarázós – szakértő, képzett beszélő: magyarázós –

kontrolláltak az érzelmeikontrolláltak az érzelmei

Jó minőségű felvételekJó minőségű felvételek telefonbeszélgetés nem jótelefonbeszélgetés nem jó

Anyagminták, Anyagminták, földolgozásföldolgozás

Magyar Rádió: Magyar Rádió: Vendég a háználVendég a háznál c. műsora c. műsora „„gyerekekről felnőtteknek” – interjúkgyerekekről felnőtteknek” – interjúk

1.1. 1-2 mondatos érzelmes részletek1-2 mondatos érzelmes részletek érzelmek váltakozásának vizsgálata, érzelmek váltakozásának vizsgálata, XML-XML-

tagek tagek annotálása a szöveghez, diszkrét és annotálása a szöveghez, diszkrét és folytonos érzelmi szempontok szerint.folytonos érzelmi szempontok szerint.

2.2. 3-4 szótagos szavak/kifejezések, amelyben 3-4 szótagos szavak/kifejezések, amelyben érzelmes dallamvonulat figyelhető megérzelmes dallamvonulat figyelhető meg

PraatPraat: pitch markok bejelölése a meghallga-: pitch markok bejelölése a meghallga-tásos kísérlethez (tásos kísérlethez (beszédhang stimulusok)beszédhang stimulusok)

1. példa:1. példa:pármondatos szöveg pármondatos szöveg

elemzéseelemzése– – Közelről Lillákat se ismerek. De a lányom az abszolút Közelről Lillákat se ismerek. De a lányom az abszolút

lilis. Szóval ... lilis. Szóval ...

– – Mi az,Mi az, hogy lilis? Mit jelent az, hogy lilis, milyen egy Lili? hogy lilis? Mit jelent az, hogy lilis, milyen egy Lili?

– – O'an-olyanO'an-olyan nagyon nőcis.nagyon nőcis. Olyan nagyonOlyan nagyon kis helyes kis kis helyes kis csaj. És tényleg, első perctől kezdve, szóval, nagyon csaj. És tényleg, első perctől kezdve, szóval, nagyon kis csajos volt, és tény-kis csajos volt, és tény- leg olyan 'anleg olyan 'an olyan lillás.olyan lillás.

d1.XMd1.XMLL

f1.XMLf1.XML

2. példa:2. példa:rövid részlet elemzéserövid részlet elemzése

Vocal Vocal fryfry

„„abszolabszolút lilis”út lilis”

További példák:További példák:## szöveg (kezdete)szöveg (kezdete) hanghang képkép

szöszövegveg

diszkrétdiszkrét.xml.xml

folytonosfolytonos.xml.xml

d+fd+f.xml.xml

műsor műsor idejeideje

1. Közelről Lillákat se ismerek… 1.wav 1.jpg 1.txt d1.xml f1.xml df1.xml VaH, 2007.04.02.het-k13, 8:10-12:34 részből

1.1. abszolút lilis 1-1.wav 1-1.png        

1.2. csajos volt 1-2.wav 1-2.png        

1.3. de a lányom az 1-3.wav 1-3.png        

1.4. nőcis 1-4.wav 1-4.png        

2. Nem kérdeztünk nagyszülőket… 2.wav 2.jpg 2.txt d2.xml f2.xml df2.xml VaH, 2007.04.02.het-k13, 8:10-12:34 részből

2.1. föl se merült 2-1.wav 2-1.png        

2.2. nem mondták, hogy nem 2-2.wav 2-2.png        

2.3. névválasztás 2-3.wav 2-3.png        

3. Kikapcsolt az agyam… 3.wav 3.jpg 3.txt d3.xml f3.xml df3.xml VaH, 2007.04.06.pen-k13, 4:00-tól kezd. részből

3.1. valóban 3-1.wav 3-1.png        

3.2. a vége 3-2.wav 3-2.png        

4. ’N tehát nehéz olyan… 4.wav 4.jpg 4.txt d4.xml f4.xml df4.xml VaH, 2007.04.06.pen-k13, 17:26-tól kezd. részből

4.1. el lehet 4-1.wav 4-1.png        

4.2. mondani 4-2.wav 4-2.png        

4.3. el lehet mondani 4-3.wav 4-3.png        

5. Anyuval-apuval? Neem, dehogy… 5.wav 5.jpg 5.txt d5.xml f5.xml df5.xml VaH, 2007.04.19.csu-k13, 11:20 körüli részből

5.1. neem, dehogy 5-1.wav 5-1.png        

5.2. megölnének 5-2.wav 5-2.png        

6. Hát, az az igazság, hogy … 6.wav 6.jpg 6.txt d6.xml f6.xml df6.xml VaH, 2007.05.21.het-k13, 10:50 körüli részből

6.1. voltam 6-1.wav 6-1.png        

6.2. elvetéltem 6-2.wav 6-2.png        

Összegzés a féléves Összegzés a féléves munkárólmunkáról

Munka volt:Munka volt: Hosszú: végighallgatni a műsorokatHosszú: végighallgatni a műsorokat Programrészlet a beszédhang stimulusokhozProgramrészlet a beszédhang stimulusokhoz Saját megérzések alapján végig taggelni a Saját megérzések alapján végig taggelni a

szövegeketszövegeket XML (DTD, XSLT) fájlok pontos szintaxisaXML (DTD, XSLT) fájlok pontos szintaxisa

Ez csak kis adatbázis, de bővíthető.Ez csak kis adatbázis, de bővíthető.

Jövőterv Jövőterv (?)(?) nyelvtechnológia bevonása a beszéd és nyelvtechnológia bevonása a beszéd és

érzelmek kapcsolatának vizsgálatába érzelmek kapcsolatának vizsgálatába

Hallás-tesztHallás-teszt