Dr. Balázs Béla: előadás a Magyar Tudomány Napján, 2008. november 12.Dr. Balázs Béla: előadás a Magyar Tudomány Napján, 2008. november 12.

Az utolsó 25-30 évben a nyelvtudásmérés területén Az utolsó 25-30 évben a nyelvtudásmérés területén végzett kutatások intenzitása exponenciálisan végzett kutatások intenzitása exponenciálisan növekedett. növekedett.

Állandó gondot jelent azonban, hogy a nyelv-Állandó gondot jelent azonban, hogy a nyelv-vizsgáztatás mindennapos gyakorlata távolról sem vizsgáztatás mindennapos gyakorlata távolról sem fejlődik olyan gyorsan, mint a nyelvvizsgáztatás fejlődik olyan gyorsan, mint a nyelvvizsgáztatás elmélete. elmélete.

A gyakorlatban dolgozó nyelvvizsgáztatók arra A gyakorlatban dolgozó nyelvvizsgáztatók arra panaszkodnak, hogy az elméleti cikkeket nehéz panaszkodnak, hogy az elméleti cikkeket nehéz megérteni, és azok gyakran számukra irrelevánsnak megérteni, és azok gyakran számukra irrelevánsnak tűnnek, vagy legalábbis napi praxisuktól távol eső tűnnek, vagy legalábbis napi praxisuktól távol eső témákról szólnak. témákról szólnak.

A kutatók és a gyakorlati szakemberek ritkán A kutatók és a gyakorlati szakemberek ritkán kooperálnak. Már érzékelhető azonban, hogy a légkör kooperálnak. Már érzékelhető azonban, hogy a légkör lassan változik, és nagyon remélem, hogy ennek okát lassan változik, és nagyon remélem, hogy ennek okát jelen előadásom kellőképpen megvilágítja. jelen előadásom kellőképpen megvilágítja.

Bevezetés Bevezetés

Magyarországon a Magyarországon a klasszikus tesztelméletklasszikus tesztelméletii módszerekkel módszerekkel történő elemzéseknek jelentős múltja van, de az utóbbi történő elemzéseknek jelentős múltja van, de az utóbbi évek nemzetköziévek nemzetközi vizsgálatainak elemzései rávilágítanak vizsgálatainak elemzései rávilágítanak egy alapjaiban más módszerekkel, más alapokonegy alapjaiban más módszerekkel, más alapokon nyugvó nyugvó tesztelmélet fontosságára.tesztelmélet fontosságára.

EzEz a más módszer a tesztelméletek újabb generációjáta más módszer a tesztelméletek újabb generációját képezőképező,, valószínűség valószínűségszámítási alapozású számítási alapozású tesztelmélet tesztelmélet ((Item Response TheoryItem Response Theory [IRT][IRT], magyarul látens vonás , magyarul látens vonás elméletelmélet), amely ), amely a vizsgaalanyok és a vizsgaanyagok a vizsgaalanyok és a vizsgaanyagok fundamentális építőkövei -- fundamentális építőkövei -- az az itemekitemek -- tulajdonságait-- tulajdonságait valószínűségelméleti eszközökkelvalószínűségelméleti eszközökkel jellemzi jellemzi..

A A látens vonás elméletlátens vonás elmélet azzal foglalkozik, hogy standardi- azzal foglalkozik, hogy standardi-zált pszichometriai tesztek eredményeiből hogyan követ-zált pszichometriai tesztek eredményeiből hogyan követ-keztethetünk különböző személyiségparaméterekre keztethetünk különböző személyiségparaméterekre (esetünkben nyelvtudásra). Az idevágó modellek közül a (esetünkben nyelvtudásra). Az idevágó modellek közül a Rasch-modelltRasch-modellt fogom vázlatosan ismertetni. fogom vázlatosan ismertetni.

Bevezetés II.Bevezetés II.

Egy nyelvvizsgánál válasszunk egy átlagos képességű Egy nyelvvizsgánál válasszunk egy átlagos képességű standard standard személyszemélyt.t.

Vegyünk egy átlagos nehézségű Vegyünk egy átlagos nehézségű standard itemstandard itemet.et.

A kiválasztás úgy történjen, hogy a standard személy a standard A kiválasztás úgy történjen, hogy a standard személy a standard itemnél 50%-os valószínűséggel sikeres.itemnél 50%-os valószínűséggel sikeres.

Adott itemhalmaznál az Adott itemhalmaznál az nn-edik személy sikerének valószínűsége -edik személy sikerének valószínűsége az az ii-edik itemnél: -edik itemnél: PPnini..

A valószínűségszámításból tudjuk, hogy az A valószínűségszámításból tudjuk, hogy az esélyesély valamely valamely esemény bekövetkezési valószínűségének és be nem esemény bekövetkezési valószínűségének és be nem következési valószínűségének hányadosa.következési valószínűségének hányadosa.

Látens vonás elmélet I.Látens vonás elmélet I.

Látens vonás elmélet II.Látens vonás elmélet II.

ii

ii

mm

mm

p

pd

p

pb

0

0

0

0

1loglog

1loglog

immi

mi

P

P

1

logés ígyés így

definíciódefiníció

Rasch-modelRasch-model

az m személy„képessége”

az i item „nehézsége”

Valamely személy sikerének logaritmikus esélye az i itemen egyenlő Valamely személy sikerének logaritmikus esélye az i itemen egyenlő a személy képességének és az item nehézségének különbségével. a személy képességének és az item nehézségének különbségével.

Egyébként az IRT modellek közül csak a Rasch-modellnél független két teszt-személy képességének eltérése attól, hogy melyik itemeket használjuk, és egyedül itt teljesül, hogy az itemek nehézség-különbsége nem függ a tesztelt személyek képességétől.

Személy képességeSzemély képessége

Item Item nehézségenehézsége Gyenge képességű személy, megfelelően könnyű item: 50% esély

0-1-2 1 2

Gyenge képességű személy, közepesen nehéz item: ~ 10% esély

Kiváló képességű személy, megfelelően nehéz item: 50% esély

Kiváló képességű személy, közepes nehézségű item: ~ 90% esély

Látens vonás elmélet III.Látens vonás elmélet III.Képzeljünk el egy fokozatosan nehezedő itemekkel ellátott vizsgapályát , Képzeljünk el egy fokozatosan nehezedő itemekkel ellátott vizsgapályát , amelyen különböző képességű vizsgázók versenyeznek. Az előbbiek amelyen különböző képességű vizsgázók versenyeznek. Az előbbiek szerint az egyes itemeken való sikeres áthaladás logaritmikus esélye egy-szerint az egyes itemeken való sikeres áthaladás logaritmikus esélye egy-enlő a vizsgázó képességének és az item nehézségének különbségével.enlő a vizsgázó képességének és az item nehézségének különbségével.

Személy-item térképSzemély-item térkép

A várható vizsgázói képesség-eloszlásnak megfelelő A várható vizsgázói képesség-eloszlásnak megfelelő itemhalmaz esetén a teljesítmények a 0 nehézségi szint itemhalmaz esetén a teljesítmények a 0 nehézségi szint körül szórnak, míg túl könnyű feladatok esetén az értékek körül szórnak, míg túl könnyű feladatok esetén az értékek szignifikánsan pozitív, túl nehéz tételeknél pedig negatív szignifikánsan pozitív, túl nehéz tételeknél pedig negatív középértéket mutatnak. Miután a KER-ben az A1, A2, B1, középértéket mutatnak. Miután a KER-ben az A1, A2, B1, B2, C1, C2 szintek rögzítettek, és a B2, C1, C2 szintek rögzítettek, és a felkészülésnek, vala-felkészülésnek, vala-mint a mint a vizsgatételeknek ezekhez kell alkalmazkodniuk, a vizsgatételeknek ezekhez kell alkalmazkodniuk, a következő ábra szerinti következő ábra szerinti b. esetben az átlagosnál jobb, a c. b. esetben az átlagosnál jobb, a c. esetbenesetben viszont gyengébb felkészültségű vizsgázókkal viszont gyengébb felkészültségű vizsgázókkal van dolgunkvan dolgunk. .

Az itemjellegfüggvény is logisztikus, monoton növekvő, de csak 0 és 1 közötti értékeket vehet fel (mivel a függő változó valószínűség), értelmezési tartománya viszont az egész számegyenes.

A tudásszintmérő tesztek itemei leggyakrabban logisztikusak. A tudásszintmérő tesztek itemei leggyakrabban logisztikusak. A logisztikus jelleggörbének három szakasza van: a gyenge összpontszámok tartományában a görbe lassan emelkedik, majd valahol hirtelen meredekké válik, végül a magasabb összpontszámoknál ellaposodik.

ItemItemnehézségi görbék I.nehézségi görbék I.

P = f(P = f(, , ) = [1 + exp(- () = [1 + exp(- ( - - ))]))]-1-1

Item és teszt információs függvényItem és teszt információs függvény A klasszikus eljárásokkal szemben a valószínűségszámítási A klasszikus eljárásokkal szemben a valószínűségszámítási

alapozású tesztelmélet – és ezen belül a Rasch-modell – módot alapozású tesztelmélet – és ezen belül a Rasch-modell – módot talált arra, hogy a mérési hiba nagyságát a jelöltek képességeinek talált arra, hogy a mérési hiba nagyságát a jelöltek képességeinek függvényében határozza meg. függvényében határozza meg.

két konzisztens becslésének összevetésekor azt tekinthetjük két konzisztens becslésének összevetésekor azt tekinthetjük jobbnak, amelyiknek szórása kisebb. Minél kisebb a variancia jobbnak, amelyiknek szórása kisebb. Minél kisebb a variancia (szórásnégyzet: (szórásnégyzet: 22), annál kevesebb mintavételre van szükség egy ), annál kevesebb mintavételre van szükség egy bizonyos pontosságú becslés realizálásához. Így kisebb becslés-bizonyos pontosságú becslés realizálásához. Így kisebb becslés-variancia esetén a minta pontosabb „információt” ad, mint nagyobb variancia esetén a minta pontosabb „információt” ad, mint nagyobb variancia esetén. variancia esetén.

Ebben az értelemben a minta „információtartalma” (melyet az un. Ebben az értelemben a minta „információtartalma” (melyet az un. információfüggvénnyel fejezünk ki) fordítva arányos a becslés információfüggvénnyel fejezünk ki) fordítva arányos a becslés szórásnégyzetével. szórásnégyzetével.

A Rasch modell esetén az egyes itemek információfüggvénye az A Rasch modell esetén az egyes itemek információfüggvénye az I(I() = P(1 - P)) = P(1 - P) alakot ölti. Tekintve, hogy az item-információk addi- alakot ölti. Tekintve, hogy az item-információk addi-tívak, az egyes itemek információfüggvényeinek összege adja a tívak, az egyes itemek információfüggvényeinek összege adja a teszt információfüggvényét: teszt információfüggvényét: T(T() = ) = IIii(().). Az információs Az információs függvények leggyakoribb alkalmazását a vizsgák és általában függvények leggyakoribb alkalmazását a vizsgák és általában tesztek szerkesztésénél találjuk. tesztek szerkesztésénél találjuk.

IIF: I() = P(1-P)

TIF: T() = Ii()

2 = T()-1

Item információs függvény (IIF)Item információs függvény (IIF)Teszt információs függvény (TIF)Teszt információs függvény (TIF)

A becslések varianciája (2) fordítva arányos T() értékével.

i=1

k

IIF és TIFIIF és TIF

Látens skálaLátens skála

Info

rmác

ióIn

form

áció

Itemszerkesztés, itemillesztésItemszerkesztés, itemillesztés

Határozzuk meg a Határozzuk meg a teszt-információfüggvényteszt-információfüggvény kívánt alakját, kívánt alakját, tekintetbe véve, hogy milyen pontosságú képességbecslés- tekintetbe véve, hogy milyen pontosságú képességbecslés- re van szükségünk az egyes képességszinteken. Eredményül re van szükségünk az egyes képességszinteken. Eredményül kapjuk az un. kapjuk az un. cél-információscél-információs görbét. görbét.

Szelektáljunk olyan Szelektáljunk olyan itemekitemeket, amelyek információs görbéi et, amelyek információs görbéi kielégítően kitöltik a célfüggvény alatt lefedendő területet.kielégítően kitöltik a célfüggvény alatt lefedendő területet.

Az egymás után kiválasztott itemek információs görbéit Az egymás után kiválasztott itemek információs görbéit rendre adjuk hozzá a korábbiak összegéhez, menet közben rendre adjuk hozzá a korábbiak összegéhez, menet közben értékelve az egyre tökéletesedő teszt információfüggvényét.értékelve az egyre tökéletesedő teszt információfüggvényét.

Mindaddig folytassuk az eljárást, amíg a cél-információs Mindaddig folytassuk az eljárást, amíg a cél-információs görbe alatti terület nincs elfogadhatóan kitöltve (azaz a teszt-görbe alatti terület nincs elfogadhatóan kitöltve (azaz a teszt-információ-függvény a képesség-kontínuum minden számba-információ-függvény a képesség-kontínuum minden számba-jövő pontján elfogadható becslés-varianciát eredményez). jövő pontján elfogadható becslés-varianciát eredményez). A A Winsteps programcsomag használata nélkül olyan mennyi-ségű élő munkára lenne szükség, ami már csak financiális és időtényező okokból sem engedné meg a látens vonás modell alkalmazását.

Az információfüggvényen alapuló tesztszerkesztés menetét Az információfüggvényen alapuló tesztszerkesztés menetét a következőkben összegezhetjük:a következőkben összegezhetjük:

IrodalomIrodalom

1. Baker, F. B.: Item banking in computer-based instructional systems. Applied Psychological Measurement, 10, 405, 1986.

2. Balázs, B.: A Rasch-modell szerepe a kvantitatív nyelvtudásmérésben, Alkalmazott Nyelvtudomány, Vol. VII., No. 1-2., 177, 2007.

3. Horváth, Gy.: A modern tesztmodellek alkalmazása, Akadémiai Kiadó, Budapest, 1997.

4. Molnár, Gy.: Az ismeretek alkalmazásának vizsgálata modern tesztelméleti (IRT) eszközökkel, Magyar Pedagógia, Vol.103, No. 4, 423, 2003.

5. Müller, H.: Illustrationen zum Rasch-Modell, 2002. http://user.uni-frankfurt.de/~hmvff/rabix/rabix101.pdf

6. Pauen, P., Six, H-W.: Informatikunterstützung für den weltweiten Sprachtest Deutsch als Fremdsprache (TestDaf), 2001. http://www.fernuni-hagen.de/se/PDFs/jahrbuchGFFNov2001.pdf

7. Vale, C. D.: Vale, C. D.: Computerized Item Banking. Computerized Item Banking. In: Downing, S. M., Haaladyna, T. In: Downing, S. M., Haaladyna, T. M.:M.: Handbook of Test Development, Handbook of Test Development, Routledge, 2006.Routledge, 2006.

8.8. Verhelst, N. D.: Verhelst, N. D.: Az item-válasz-elmélet, KER szintillesztési módszertaniAz item-válasz-elmélet, KER szintillesztési módszertani segédlet, G. fejezet, 2006. segédlet, G. fejezet, 2006. http://www.nyak.hu/nyat/doc/modszertani_segedlet.pdf

További fontos források: Az európai nyelvvizsgáztatók két legfontosabb További fontos források: Az európai nyelvvizsgáztatók két legfontosabb egyesületének (ALTE, EALTA) honlapján elérhető vonatkozó anyagok.egyesületének (ALTE, EALTA) honlapján elérhető vonatkozó anyagok.

http://www.alte.org http://www.ealta.eu.org/