Skaitymo testų moderavimas

Projekto “Komunikacinių kompetencijų vertinimo ir

įsivertinimo sistemos plėtra”seminaras

2007 sausio 1- 3

EUROPOS SĄJUNGA

Terminas

• Moderating / Vetting and editing (ALTE)

• Moderate žr.- ALKON: – tarpininkauti, vadovauti diskusijai;– padaryti nuosaikesnį, sumažinti, apriboti

• aptarti – daugiareikšmis

• Moderavimas – užduočių aptarimas ir korekcija

EUROPOS SĄJUNGA

• Kada atliekamas?

• Kas atlieka?

• Kaip atliekamas?

EUROPOS SĄJUNGA

Kada?

• Pirmasis ‚moderavimas‘ – kolegos, studentai (nesusiję tiesiogiai su rengiamu egzaminu)

• Antrasis moderavimas – moderavimo komitetas

EUROPOS SĄJUNGA

Komiteto sudėtis:

• užduočių rengėjai (item writers), - kiti, ne tie, kurie rengė aptariamas užduotis

• prityrę mokytojai / dėstytojai

• kiti ekspertai (testavimo, dalyko, jei testas specialios paskirties)

• optimalus narių kiekis – 4/5 (daugiau – ilgai trunka, mažiau nei 3, nepakanka nuomonių)

EUROPOS SĄJUNGA

Komiteto tikslai / uždaviniai

Aptarti, • ar testas atitinka specifikaciją• ar tinkamas sunkumas• ar nėra kokių nors nenumatytų trūkumų /

netikėtumų• ar aiškios (nedviprasmiškos) instrukcijos /

užduočių formuluotės• ar gerai sumaketuotas (problems of layout), pvz.,

tekstas vienoje pusėje lapo, užduotys kitoje• ar užduočių (punktų) pobūdis ir kiekis dera su

tekstu• ar visas testas gerai subalansuotas

EUROPOS SĄJUNGA

Moderavimo procedūra ir nuostatos

• testas atliekamas taip, kaip jį laikytų testuojamasis (Paprastas testo perskaitymas, „pažiūrėjimas“, neleidžia suvokti, ką testas tikrina ir kokia jo kokybė; būtina testą „laikyti“)

• moderavimo sąlygos turi būti panašios į tas, kurios bus laikant egzaminą

(jei tai rašymo testas, komitetas rašo rašinį, jei klausymo – išklauso įrašą ir atlieka užduotis; NB – ne pagal tekstą popieriuje!)

EUROPOS SĄJUNGA

Moderavimo procedūra ir nuostatos

Moderavimo komitetas turi skirti pakankamai laiko moderavimui

• suplanuoti laiką (dažnai pirmosios užduotys užima daugiaui laiko, nei kitos;

paskutinės užduotys atliekamos skubotai)

• pirmininkas seka, kad visoms užduotims būtų skiriamas tinkamas laikas

EUROPOS SĄJUNGA

Komitetas išrenka pirmininkaujantį ir sekretorių

Pirmininko pareigos:

• paskirstyti laiką,• sekti, kad visi komiteto nariai būtų išklausyti,• siekti, kad būtų priimami aiškūs sprendimai,• sekti, kad sprendimai būtų protokoluojami, visi

pakeitimai aiškiai užrašomi,• skirti atsakingą narį už sprendimų įgyvendinimą

EUROPOS SĄJUNGA

Kitas moderavimo variantas (ALTE);

Medžiaga išsiuntinėjama komiteto (grupės) nariams susipažinti, bet jie turi būti atliekama ta tvarka, apie kurią kalbėjome

EUROPOS SĄJUNGA

Šiame etape dar galima keisti specifikaciją

EUROPOS SĄJUNGA

Ar užduoties autorius dalyvauja komiteto darbe?

• Niekas nėra savarankiškai (vienas) parašęs gero testo; būtina, kad su testu padirbėtų keletas žmonių

• Nebandykite ginti savo užduočių, būkite pasirengę atsisakyti ar keisti, jei kiti randa juose trūkumų.

• (Mes VISI kuriame blogas užduotis)

EUROPOS SĄJUNGA

Į ką atkreipti dėmesį moderuojant skaitymo testą?

• Skaitymo ir klausymo testus moderuojant rekomenduojama pabandyti atlikti užduotis prieš skaitant tekstą; (kiek užduočių pavyko atlikti teisingai, t.y. atspėti?)

EUROPOS SĄJUNGA

Teksto dydis, tema, pobūdis

Tekstas gali būti atmestas, jei• reikalauja per daug kultūrinių ar specifinių žinių;• netinkama tema, pvz., karas, religija, politiniai

įsitikinimai, jei jie gali įžeisti ar gluminti testuojamuosius;

• tekstai netinkami testuojamųjų amžiaus grupei• tekste per daug sunkių žodžių ir / ar sąvokų• ypatingi stiliaus ar techniniai bruožai• teksto originalas nesuredaguotas (intern., laikr.)

EUROPOS SĄJUNGA

Teksto ir užduočių santykis

• Ar tekstas pakankamai ilgas numatytam kiekiui užduočių?

• Ar užduotys teste išsidėstę tolygiai?

• Ar kelios užduotys netikrina to paties vertinimo objekto?

EUROPOS SĄJUNGA

UžduotysPasirinkimas iš kelių galimų atsakymų

(multiple-choice)Cyril J. Weir. (1990), p.44:

Kruopščiai patikrinti ar• kamiene nėra perteklinės informacijos, ar jis pakankamai

glaustas• ar formuluotėse nėra rašymo, gramatikos ir kt.klaidų; ar

kalba pakankamai tiksli ir glausta, ar ji atitinka to testo lygį

• ar informacija tekste pakankama, kad būtų galima atsakyti į klausimą

• ar tik viena pasirinktis yra neabejotinai teisinga• ar neteisingos pasirinktys (“distraktoriai”) yra pakankamai

patrauklūs ir ar jie tinkamo lygio• ar pasirinktys yra vienodos savo struktūra ir ilgiu• ar nėra dvigubų neiginių

EUROPOS SĄJUNGA

Dažniausiai pasitaikančios klaidos

• neįtikėtinos parinktys• daugiau nei viena įmanoma parinktis• parinktys skirtingo ilgio ir pobūdžio,

orientuotos į skirtingus tikrinimo objektus• užuominos (žodžiai “kartais”, “dažnai”

sufleruoja teisingą atsakymą; “niekados” – neteisingą)

• neteisingas židinys (užduotis tikrina neesminės informacijos suvokimą)

EUROPOS SĄJUNGA

Teisingas-neteisingas

• Patikrinti ar nėra langvai atspėjamas

• Esant trečiai parinkčiai (nėra tekste / tekste nerašoma), patikrinti, ar ji negali būti traktuojama, kaip neteisinga

• Patikrinti, ar trečioji parinktis negalima dedukcijos būdu

EUROPOS SĄJUNGA

Derinimas

• Derinimo pusėse parinkčių skaičius turi būti skirtingas (viena/dviem daugiau)

• Jei yra kelios derinimo galimybės, apie tai turi būti parašyta instrukcijoje

• Derinant tekstus / pastraipas, jų pasirinkimas neturi priklausyti nuo raktinių žodžių

EUROPOS SĄJUNGA

Išdėstymas reikiama tvarka

Ne kievienam tekstui tinka (tinka tekstams, kuriuose aprašyti procesai, nuoseklūs įvykiai ar kitokia seka)

Patikrinti, • ar nėra įmanomi keli sekų variantai• ar nėra dalinai teisingų parinkčių

Numatyti, kaip bus vertinami rezultatai, esant klaidoms

EUROPOS SĄJUNGA

Tarpų užpildymas

• Patikrinti, ar aiškus tikrinimo / vertinimo objektas

• Turėti galvoje, kad ši užduotis geriau tinka tikrinti / vertinti tik žodžio ar sakinio lygmeniu

• Numatyti bandymus ir parengti daugiau užduočių, kad būtų galima, išbandžius, atsisakyti netinkamų

• Numatyti kitus testavimo būdus papildymui

EUROPOS SĄJUNGA

Informacijos perkėlimas

Patikrinti,

• ar tekstas tinkamas šiai užduočiai,

• ar nereikalauja specifinių žinių, kurių gali turėti tik kai kurie testuojamieji (nelygių testavimo sąlygų pavojus)

EUROPOS SĄJUNGA

Trumpi atsakymai į klausimus

Patikrinti, ar

• numatytos rašymo ribos (žodžių skaičius)

• numatyti vertinimo kriterijai (tikslumas, detalumas, rašymo taisyklingumas, formuluotės – perfrazuotos ar ne...)

• numatyti atsakymų variantai

• ar parengtas atsakymų raktas

EUROPOS SĄJUNGA

• Visos užduotys, kurios atliekamos ne pagal pateiktus atsakymus turi būti peržiūrimos ir koreguojamos arba atmetamos

• Palyginkite, ar užduočių autoriaus ir moderuotojų nuomonės apie tai, ką tikrina užduotis sutampa / skiriasi? Palyginkite su aprašu (specifikacija).

EUROPOS SĄJUNGA

Pabandykite išsiaiškinti, • kodėl tikrintojai pateikė būtent tokį

atsakymą

• ką (kokį gebėjimą, aspektą...) tikrintojo nuomone vertina jūsų užduotis

• koks tikrintojo nuomone užduoties tikslas ir kokio lygio testuojamajam ji tinkama

EUROPOS SĄJUNGA

• Palyginkite savo testą su specifikacija, ar ko nors reikšmingo jame netrūksta? Testo apimtis (ar pakankamai atspindi specifikaciją; ar testuojami tik tie aspektai, kuriuos lengviau patikrinti)

• Palyginkite, ar užduočių autoriaus ir moderuotojų nuomonės apie tai, ką tikrina užduotis sutampa / skiriasi? Palyginkite su aprašu (specifikacija).

EUROPOS SĄJUNGA

Pasibaigus komiteto darbui, visos atliekamos testų kopijos sunaikinamos.

Labai aiškūs sprendimai daromi apie tai, kaip panaudoti nepriimtus (atmestus) testus.

EUROPOS SĄJUNGA

Bandymai

• Pilot testing – pirminiai bandymai• Pretesting – užduočių bandymai• Piloting – testo bandymas• Trial – bandymai (rašymo, kalbėjimo

užduočių)

• Bandymų svarba – sunkumas, netikėti atsakymai, instrukcijos, vertinimas, raktas

EUROPOS SĄJUNGA

Grupių dydis ir pobūdis• Testuojamųjų grupė – apie 100

žmonių “objektyvaus” vertinimo testams

• “Subjektyviems” – mažiau

• Pirminiai bandymai – kolegos, grupė studentų (bent 20)

EUROPOS SĄJUNGA

Pirminiai bandymai

Tikrinama

• Laikas užduotims atlikti

• Instrukcijų aiškumas

• Atsakymų raktas (tikslus / aiškus ir pan.)

• Kalbinės raiškos spriemonės, kurių galima tikėtis “subjektyviais” (kalbėjimo, rašymo) testais

• Vertinimo skalių tinkamumas

EUROPOS SĄJUNGA

Užduočių bandymai

• Henning (1986) – 1000

• Alderson (1995) – 200 / 300 – 20 / 30

• Grupė – analogiška tai, kuriai rengiamas egzaminas

EUROPOS SĄJUNGA

Apie atskirų užduočių tinkamumą galima spręsti tik atlikus statistinę bandymų rezultatų analizę

EUROPOS SĄJUNGA