Sass Bálint [email protected] projekt: automatikus gépi fordítás részfeladat: német-angol gépi fordító rendszerek összevetése 30 db német mondat angolra lefordítva

Bevezetés Kísérlet Eredmény Konklúzió

PRIMÁCIAHATÁS FORDÍTÁSOK ÉRTÉKELÉSEKOR

Sass Bá[email protected]

MTA Nyelvtudományi Intézet, Budapest

XIX. MAKOGKaposvár, 2011. január 27-29.


1 BEVEZETÉS

2 KÍSÉRLET

3 EREDMÉNY

4 KONKLÚZIÓ


BEVEZETÉS

Jelentosége van a dolgok sorrendjének.

Fontos ez, ha értékelnünk kell,mert befolyásolhatja az eredményt.

primáciahatás

– pl.: borkóstolás

recenciahatás

– pl.: jégtánc, Eurovíziós dalfesztivál

Kétféle értékelési mód.

Mindkettonél megfigyeltek sorrendi hatásokat.Mi okozhatja ezt?

step-by-step: rögtön értékelünk– „nem lehet felülbírálni”end-of-sequence: a végén értékelünk– „a zsüri elfelejti”


BEVEZETÉS



primáciahatás – pl.: borkóstolásrecenciahatás – pl.: jégtánc, Eurovíziós dalfesztivál





BEVEZETÉS






step-by-step: rögtön értékelünk

– „nem lehet felülbírálni”

end-of-sequence: a végén értékelünk

– „a zsüri elfelejti”


BEVEZETÉS






step-by-step: rögtön értékelünk

– „nem lehet felülbírálni”

end-of-sequence: a végén értékelünk

– „a zsüri elfelejti”


BEVEZETÉS








BEVEZETÉS

A most bemutatandó kísérletbenolyan esetben találtunk határozott primáciahatást,

mikor lehetoség volta jelöltek többszöri vizsgálatára, összevetésére.

Azaz a mi esetünkbenegyik szokásos tényezo sem játszik szerepet:

felül lehet bírálni az értékelést;nem kell megjegyezni az összes kiértékelendo dolgot.


A FELADAT

iTranslate4.eu projekt: automatikus gépi fordítás

részfeladat:német-angol gépi fordító rendszerek összevetése

30 db német mondatangolra lefordítvaa rendelkezésre álló automatikus fordítókkal (7 db)→ 210 db lefordított mondat

kiértékelés: osztályzás 1-tol 5-igminden egyes fordítást 3 független értékelo értékel→ 630 db kiértékelés (fordítónként 90 db)


ESZKÖZ

Eszköz: Mechanical Turk (www.mturk.com)

kiértékelok alkalmassága:elozetes, négy kérdésbol álló teszt„Melyik a helyes fordítás?” → csak a hibátlant fogadtuk el.

30 = 6 × 5 mondat

A rendszer muködésébol adódóan egy közremuködotetszoleges számú mondat kiértékelését elvégezhette.


ESZKÖZ


ESZKÖZ


1. KÍSÉRLET

A 7 angol fordítás mindig a fordítók neve szerinti beturendbenkövetkezett az eredeti német mondat után.

Az átlagos osztályzatok:

A B C D E F G4,07 3,47 3,54 3,44 1,50 2,92 1,58

Megj: az osztályzás itt 1-tol 7-ig történt, utólag normáltuk 1..5-re: ×2/3 + 1/3


„SORRENDKEVERÉS”

Sorrendi hatások kiegyenlítésére:

determinisztikussorrendkevero algoritmus

[ SLS, SSLS ]

→ Minden fordító ugyanannyiszorfordul elo mindegyik helyen.

C D E F A G BF A G B D C EG B D C F E AC F E A B G DE A B G C D FG C D F A E BD F A E G B CE G B C F D AB C F D E A GD E A G C B FA G C B D F EB D F E G A CF E G A B C DA B C D E F G


2. KÍSÉRLET

A 7 angol fordítás változó, a keveroalgoritmus általmeghatározott sorrendben követte egymást.

Az átlagos osztályzatok:

A B C D E F G3,43 3,20 3,40 3,39 1,34 3,08 1,72


EREDMÉNY

Egy helyen változott a sorrend: B-D → D-BMilyen mértékben változtak a pontszámok?

A B C D E F G0,64 0,27 0,14 0,05 0,16 -0,16 -0,14

kétmintás Welch-próba: az eltérés csak A esetén szignifikáns


EREDMÉNY


1. kísérlet – „sorrendi hatásnak kitett”

A B C D E F G0,64 0,27 0,14 0,05 0,16 -0,16 -0,14



EREDMÉNY


2. kísérlet – „sorrendi hatásra semleges”

A B C D E F G0,64 0,27 0,14 0,05 0,16 -0,16 -0,14



EREDMÉNY


Eltérés:

A B C D E F G0,64 0,27 0,14 0,05 0,16 -0,16 -0,14



EREDMÉNY

PRIMÁCIAHATÁS

A fix elso hely jogtalan elonnyel jár.

látható egy trend: elorébb elony – hátrébb hátrányprimáciahatás + fordított recenciahatás

a rossz teljesítményuek „kilógnak” a trendbolok a trendhez képest több jogtalan elonyt kapnak


MI OKOZHATJA?

Általános preferencia az elso hely iránt? :)

Többször értékelünk egyvalamit→ megszokás?

5 példa talán nem elég, hogy kialakuljon.A megszokás azt jelentené, hogya jónak még jobbat adunk, a rossznak még rosszabbat.Nem ezt látjuk.

— Az egyformák (1., 3. és 4.) közülaz elorébb lévo kap nagyobb elonyt.

— Az utolsó ketto szenved hátrányt, nem a legrosszabb (5.).

Ellentétes jelenséget látunk:a legrosszabbak plusz elonyben részesülnek


KONKLÚZIÓ

Az ilyenfajta többszöri értékeléses feladatokbannem mindegy, hogy milyen sorrendbenszerepelnek az értékelendo entitások,a megjelenési sorrend nagyban befolyásolja az eredményt.

Az igazságos értékeléshezfontos a sorrendi hatások kiküszöbölése,különben torzul az eredmény:az elorébb szereploknek nem kívánatos elonyt adunk.

A sorrendi hatások kiküszöbölhetok.

Köszönöm a figyelmet!


KONKLÚZIÓ

Az ilyenfajta többszöri értékeléses feladatokbannem mindegy, hogy milyen sorrendbenszerepelnek az értékelendo entitások,a megjelenési sorrend nagyban befolyásolja az eredményt.

Az igazságos értékeléshezfontos a sorrendi hatások kiküszöbölése,különben torzul az eredmény:az elorébb szereploknek nem kívánatos elonyt adunk.

A sorrendi hatások kiküszöbölhetok.

Köszönöm a figyelmet!

Documents

Sass Bálint [email protected] projekt: automatikus gépi fordítás részfeladat: német-angol gépi fordító rendszerek összevetése 30 db német mondat angolra lefordítva