Õppedisaini alused

4. Õpisüsteemi evalvatsioonMart LaanpereTLÜ Informaatika instituudi teadurHaridustehnoloogia keskuse juhataja

E-kursus valmis ESF programmi BeST toel

Õpp

edis

aini

alu

sed

IFI7

051

Õpisüsteemi evalvatsiooni metoodika

• Formatiivne (kujundav) evalvatsioon- eesmärgiks õpisüsteemi (p)arendamine

• Summatiivne (arvestuslik) evalvatsioon - eesmärgiks otsus õpisüsteemi hankimise või hülgamise kohta

• Kirkpatrick (1959) evalvatsiooni tasemed:• Reaktsioon: õppijate isiklik arvamus,

tagasiside• Õppimine: oodatud õpitulemuste saavutatus• Käitumine: õpitu rakendamine töös/elus• Tulemused: tõhusam töö

1.tase: Reaktsioon

• Mida õppija tundis meetodi rakendamise käigus

• Kas õppijatele meeldis ja nad nautisid õppimist?

• Kas õpitav oli neile relevantne?

• Kas õppija aega kasutati otstarbekalt?

• Kas õppijale meeldisid meetodi elemendid?

• Vahendid:

• Vaatlus, intervjuud, küsimustikud

• Kiire ja odav!

Õppijad kirjutavad jutumullidesse oma emotsioonid seoses läbitud kursusega.

2.tase: Õppimine

• Õppija teadmiste kasv: enne ja pärast• Kas õppijad õppisid seda, mida plaaniti? • Kas õpetaja nägi õppimise käigus seda,

mida oodati • Milline on õppijate areng ja kas see on

toimunud soovitud suunas? • Vahendid: test, eksam, vaatlus,

hindamisportfoolio• Võimaldab kvantitatiivselt hinnata, vähem

rakendatav komplekssete pädevuste evalveerimisel

3.tase: Käitumine• Õpitu rakendamine • Kas õppijad rakendavad teadmisi ja

pädevusi, mida õpiti?• Kas õppijate tegevuses on märgata muutusi

• Vahendid: vaatlus ja intervjuu • Käitumise muutuse hindamine on pikaajaline

ning hinnangud on kvalitatiivsed • Küsimustik vahetult koolituse lõpul ei ole

usaldusväärne: mida teeksin/mida teen• Koolitusvälised tegurid koolituse mõju

hindamisel, Digitiigri uuring 2009, Valsineri kolm tsooni: Zone of Proximal Development, Zone of Promoted Action, Zone of Free Movement

Evalvatsiooni meetodid• Andmete kogumine• eksperiment (eel- ja järeltest, kontroll- ja

katserühm)• vaatlused (tegevusele kulutatud aeg,

klõpsud)• ankeetküsitlused• intervjuud (individuaalsed ja rühma)• walkthrough (kasutaja “jalutab läbi”

programmi, ise iga oma liigutust, apsu või vajadust kommenteerides)

• eksperthinnang, delfi-meetod• Allikad• õppijad, õpetaja(d), eksperdid, dokumendid

Evalvatsiooni objektid• Õppesisu - relevantsus ja õigsus, käsitluse stiil ja

tase• Strateegia ja taktika - tõhusus ja toimivus,

erinevate õpistiilide toetus• Ülesanded - keerukus, relevantsus, tagasiside• Hindamismeetodid ja -vahendid - toimivus,

piisavus• Interaktsioon – kestus, sagedus, relevantsus• Õppematerjalid - loetavus, sidusus, stiil,

keerukus• Õpikeskkond - mugavus, meeldivus, • Õppekorraldus - ökonoomus, aruandlus

Portfoolio-põhine hindamine• Educause: ePortfoolio on autentsete

erinevate tõendite (materjalide) kollektsioon, mis on koostatud suurema materjalide baasi põhjal, näitamaks, mida inimene või organisatsioon on aja jooksul õppinud• Vabatarkvara: Elgg, Mahara• Võimaldab iseõppimise teel saadud

kogemuse “legitimeerida” – portfoolio kui õppimise lugu• Toetab professionaalse arengu

planeerimist ja mõtestamist

Refleksioon portfoolios

• Barrett (2004) soovitab kasutada õppija enesehinnangut portfoolios: • 1. WHAT? – mida ma olen õppinud ja

oma õppimise näitamiseks kogunud (minevik);• 2. SO WHAT? - ja mis sellest? – miks

see minu jaoks oluline on (olevik);• 3. NOW WHAT? - kuhu edasi? – mida

kavastsen õpituga peale hakata, kuhu soovin areneda edasi (tulevik).

Rühma enesehinnang• Milline oli sinu huvi projektis kaasa lüüa

(sisemine ja väline motivatsioon)?• Kui vastutustundlikult oled oma ülesandeid

täitnud?• Kuidas hindad oma osa projekti

õnnestumisel?• Kuidas hindad oma oskusi projektiga seotud

erinevate rollide täitmisel?• Millistes projektiga seotud tegevustes

arenesid edasi?• Millised projektiga seotud tegevused olid

sulle liiga rasked?• Milline on sinu kõige suurem saavutus

projekti käigus, mille üle oled uhke?• Milline on sinu rühma kõige suurem

saavutus, mida hindad teistest enam?

Ülesanne

• Koostage rühmatöös oma õpisüsteemi formatiivse evalvatsiooni vahend (nt. Google Form ankeet, e-portfoolio juhis, hindamismudel), mille abil saate hinnata õpisüsteemi Kirkpatrick’u kahel esimesel tasemel: reaktsioon ja õppimine