1

Radnóti KatalinRadnóti Katalin Mérés és értékelés az oktatásban Mérés és értékelés az oktatásban az alakuló szakmódszertani doktori iskola fényébenaz alakuló szakmódszertani doktori iskola fényében

rad8012@helka.iif.hu

Honlap: http://members.iif.hu/rad8012/

2

Az előadásban érintett témákAz előadásban érintett témákA pedagógiai mérések céljairólA mérés lebonyolítása, mérőeszközök

PéldákSES index, hozzáadott érték

Szatmári - Bajkó Ildikó: Káoszelmélet a középiskolában (Fizikai Szemle)

Csapó Benő (Szerkesztő): Az iskolai tudás Nagy Lászlóné: Az analógiás gondolkodás (PhD) Korom Erzsébet: Fogalmi fejlődés és fogalmi váltás (PhD) Tóth Zoltán és munkatársai, PhD hallgatói: mérések a kémia tantárgy

esetében (Debreceni Egyetem Kémia Szakmódszertani Részleg) Ujvári Sándor: a Szilárd Leó Verseny feladatainak elemzése (PhD

dolgozat részlete, Fizikai Szemle) Mikkel Heise Kofoed: The Hiroshima and Nagasaki bombs: role-play

and students' interest in physics

3

A pedagógiai mérések céljaA pedagógiai mérések célja- Tudománnyá válás- Döntési folyamatok megalapozása

• Nemzetközi vizsgálatok: PISA (Programme for International Students Assessment)IEA (International Association for the Evaluation of Educational

Achievement)– országos reprezentatív mintán • Országos: Országos kompetenciamérés• Regionális: Például: Szeged és környéke, Pécs és környéke• Iskolai szintű• Osztályszintű• Pedagógiai folyamatokkal kapcsolatos vizsgálatok, kvantitatív

megközelítések pl. tankönyvekben kérdések száma és jellege, fogalmak száma egy témakör esetében (Martinás Kati hőtan 60 fogalom/10 óra), tanórai folyamatok, versenyfeladatok nehézsége stb.

A pedagógiai méréshez szükséges fogalmi keret napjainkban formálódik!

4

A pedagógiai mérések lebonyolításaA pedagógiai mérések lebonyolítása

• Célkitűzés, hipotézisalkotás.• Minta kiválasztása.• Mérőeszköz megkonstruálása, mely vagy kérdőív, vagy

feladatlap és a hozzá tartozó kiértékelő program elkészítése.

• Kismintás kipróbálás.• Mérés, feladatlap vagy kérdőív kitöltetése.• Adatok feldolgozása,adatbevitel (pl. Ecxel táblázat készítése)kiértékelés, szignifikancia vizsgálatok, összefüggések stb.• Adatok elemzése, értékelése, összevetése a kiinduló

hipotézisekkel.• Javaslatok megfogalmazása.

5

Az értékelés formáiAz értékelés formái

Kritériumorientált – normaorientált

Más osztályozás szerint:

- diagnosztikus,

- formatív,

- szummatív.

6

MérőeszközökMérőeszközök

• Tudásszintmérő feladatlapok

• Háttérkérdőívek (tanulói, tanári, igazgatói, iskolai…)

• Attitűdvizsgálatok kérdőívei

A mérőeszköz megtervezésével együtt kell a kiértékelést is tervezni!

7

Tudásszintmérő feladatlapokTudásszintmérő feladatlapok• Azt a tudást méri, mely az iskolai tanulásban játszik szerepet. • Feladatokból áll, melyek legkisebb önállóan értékelhető részei az

itemek. • Teszt összpontszáma: itemekre kapott pontok összege.Tesztek jósági mutatói:Objektivitás: adatfelvétel és értékelés, elemzés tekintetében.Megbízhatóság: az egyes feladatok megoldása közt magas a korreláció.

Pl.: Cronbach-alfa , kritérium ZH tesztekre 0,85.

Érvényesség: azt méri-e, amit szeretnénk?Feladattípusok:Feleletválasztó (tesztek),feleletalkotó.

2

2

11 t

i

s

s

n

n

8

Adatok kiértékelési lehetőségeiAdatok kiértékelési lehetőségei

• Válaszok számszerűsítése, szöveges válaszok esetében kategóriák létrehozása.

• Kódolás lehetőségei:Pl. dupla kód alkalmazása (megoldás jósága – megoldás, illetve esetleges hibák típusai) tudásszintmérő feladatok esetében.Szignifikancia kritériumok a pedagógiában 5%.

• Összefüggések vizsgálata, keresztlekérdezések, pl. életkor, nemek szerint, tanulmányi eredmény szerint, SES hatás szerint…

9

Statisztikai kiértékelésStatisztikai kiértékelés

Mint bármely más mérés esetében, • átlagok,• szórások,• gyakoriságok, relatív gyakoriságok, %-ok,• korrelációk (-1 … 1)…

a probléma jellegétől függően.

Megjelenítés: általában oszlop vagy kördiagram formájában.

10

-3 -2 -1 0 1 2 3

MagasTanuló

i te

ljesí

tmény

A szociális háttér és a tanulói A szociális háttér és a tanulói teljesítmény kapcsolatateljesítmény kapcsolata

ElőnySzocio-ökonómiai státusz indexHátrány

Alacsony

A szociális háttér jelentős mértékben befolyásolja a tanulói teljesítményt

(Szülők foglalkozása, anyagi háttér, kulturális javak, szülők végzettsége, családszerkezet, bevándorlói státusz)

De nem feltétlenül vezet gyenge eredményekhez

OECD (2004), Learning for tomorrow’s world: First results from PISA 2003, Figure 4.8, p.176.

11

A teljesítmény és a SES A teljesítmény és a SES viszonyaviszonya

12

A tanévenként sorra kerülő A tanévenként sorra kerülő országos országos kompetenciamérésekkompetenciamérések egy-egy tanulói egy-egy tanulói

évfolyam tudását és képességeit évfolyam tudását és képességeit mérik fel két területen:mérik fel két területen:

matematika, olvasás-szövegértés.

Visszajelzés arról, hogy az iskola milyen eredménnyel közvetíti a társadalom által elvárt tudást.

Az iskola képes legyen összehasonlítani a teljesítményét más iskolákkal.

A tanárok visszajelzést kapjanak arról, hogy az általuk átadott tudást a tanulók mennyire tudják alkalmazni.

A teljes populációból iskolánként 20-30 tanulót választanak ki a központi adatfeldolgozáshoz.

Az iskola tanulói által képviselt un. hozott érték alapján becsült teljesítmény (Tb) és az iskola tanulói által ténylegesen elért teljesítmény(Tt) különbsége (Vári Péter, 2004).

Számítása: HPÉ= Tt - Tb

A FELMÉRÉS CÉLJA

HOZZÁADOTT

PEDAGÓGIAI

ÉRTÉK

13

Mi a kompetencia?Mi a kompetencia?„A kompetencia a pszichikus képződmények olyan rendszere,

amely felöleli az egyénnek egy adott területre vonatkozó ismereteit, nézeteit, motívumait, gyakorlati készségeit, s ezáltal lehetővé teszi az eredményes tevékenységet.” (Falus 2006.)

Kulcskompetenciák:1. Anyanyelvi kommunikáció2. Kommunikáció idegen nyelven3. Matematikai, természettudományos és technológiai

kompetenciák.4. Digitális írástudás5. Tanulásmódszertan6. Társas, kultúraközi kompetenciák7. Állampolgári kompetenciák8. Vállalkozói kompetenciák

14

A PISA-vizsgálat egy tanulsága: „A magyar PIZZA-példa”

Feladat:Szerinted melyik éri meg jobban? Ha 20 cm átmérőjű pizzát veszünk 200 Ft-ért, vagy 30 cm átmérőjű pizzát 300 Ft-ért?Megoldás:A terület és az ár nem állnak egyenes arányban:A kör területe: r²xAz árak aránya: 300 Ft/ 200 Ft

A 300 Ft-os pizza ára tehát 1,5-szerese a 200 Ft-os pizzának, míg ez előbbi területe 2,25-szöröse a kisebbiknek, vagyis ebben az esetben a drágább pizzát érdemesebb megvenni.A választ a megkérdezett tanulók 3%-a tudta!

15

Az iskola tanulóinak tanulási teljesítményét leginkább befolyásoló szocio-kulturális és szocio-ökonomiai

tényezőkből képzett index.

Hozott Érték Index (HÉI)

Összetevői (súlyarányaikkal):

1. Szülők iskolai végzettsége (45%)

2. Tanulást segítő eszközök: otthoni könyvek száma (30%)saját könyvek száma (10%)

3. Otthon felszereltsége: számítógép (10%)gépkocsi ( 5%)

16

HOZZÁADOTTPEDAGÓGIAI

ÉRTÉK

• Iskola Becsült teljesítmény görbéje

A teljesítménygörbe alatti Hozzáadott Pedagógiai Érték (-) valójában a ki nem használt lehetőséget jelenti

17

Középiskolák

18

Néhány megállapításNéhány megállapítás• Liberális oktatáspolitika alakult ki a rendszerváltás

következtében, szabad iskolaválasztás.• Hazánkban nagyon nagyok az iskolák közti különbségek.• A tanulói teljesítményekben tapasztalható különbségek az

életkor függvényében jelenősen növekednek az iskoláztatás során!

• Növekszik a hátrányos helyzetű gyerekek aránya, miközben a gyermeklétszám csökken!

• Iskolai rangsor a hozzáadott érték alapján.• Integrált nevelés fontossága.Nem csak a jövő képviselői, jogászai, mérnökei, tudósai

ülnek jelenleg az iskolapadokban, hanem a jövendő „munkanélküliek” is, ha így marad.

19

Szatmári - Bajkó Ildikó: Káoszelmélet a Szatmári - Bajkó Ildikó: Káoszelmélet a középiskolábanközépiskolában

A vizsgálat tárgya: középiskolai tanulók káosszal kapcsolatos előképe, és a téma taníthatósága a mechanika keretében.

Tananyagfejlesztés, majd kipróbálása két csoportban.

Legfontosabb fogalmak kiválasztása, kísérletek, számítógépes szimulációk kifejlesztése.

Diagnosztikus felmérés a tanítás előtt, majd felmérés utána.

20

Csapó Benő: Az iskolai tudásCsapó Benő: Az iskolai tudásMintaválasztás: Szeged és vonzáskörzete, 547 fő 7-es általános

iskolai és 503 fő 11-es gimnáziumi, illetve szakközépiskolai tanuló.

A vizsgálat témakörei:• Mit tükröznek az osztályzatok? Tantárgyi attitűdök.• Természettudományos ismeretek alkalmazása (30% és 50%).• Természettudományos tévképzetek (40% és 60% ).• Matematikai megértés (35% és 50%).• Induktív (45% és 64%), deduktív (25% és 45%), valószínűségi és

korrelatív (30 és 45%) gondolkodás.• Különböző összefüggések pl. osztályzatok, attitűdök és

teszteredmények.• A vizsgálatban használt mérőeszközök, háttérkérdőív és tudásszint

mérő tesztek.A mérés kiértékeléséhez felhasznált statisztikai számítások:átlag, szórás, kétmintás t-próba, korrelációs együttható, többváltozós

lineáris regresszióanalízis, kalszteranalízis.

21

Példák a feladatok körébőlPéldák a feladatok köréből• Zárt garázsban igen veszélyes járatni a járművek motorját. Miért? (32% és

45%)• Miért látható hideg időben a leheletünk? (27% és 38%)• Az egyik pohárban cukor, a másikban benzin van. Melyik anyag szagát

érezzük? Karikázd be a válaszodat! Csak a benzin szagát érezzük.A) Csak a cukor szagát érezzük.B) Mindkettő szagát érezzük.C) Egyik szagát sem érezzük.Miért? Fejtsd ki válaszod tudományos magyarázatát! (85% jó, de csak 10%

indokolt jól)

Korrelatív példa: Mit gondolsz, van-e összefüggés a nappalok hossza és az évszakok között? (Karikázd be a véleményedet legjobban kifejező válasz betűjelét!) (83% és 96%)

• A) Van B) Nincs C) Nem lehet eldönteniInduktív példa: Szóbeli analógiák (57% és 79%)

SZÉK:BÚTOR = KUTYA : ?a.) macska b) állat c) tacskó d) róka e) kutyaól

Folytasd a következő számsort: 3 6 11 14 19 22 (30% és 45%)

22

Néhány megállapításNéhány megállapítás

• Az osztályzatok az induktív teszttel függnek össze legszorosabban, nem a tantárgyi teszteken nyújtott teljesítménnyel. Ez a fizika esetében kifejezetten igaz!!!!!!!!

• Tévképzet-vizsgálatok fontossága, problematikus témakörök gyűjtése fontos.

• A tanulók sok mindent tudnak, de nem képesek azok alkalmazására.

• A tanulók tudása erősen kontextusfüggő, csak azt tudják, ami és ahogy a tanórán szerepelt.

23

24

Nagy Lászlóné: Az analógiás Nagy Lászlóné: Az analógiás gondolkodás fejlődésegondolkodás fejlődése

A könyv a biológia tantárgy vonatkozásában egy konkrét kutatás keretében bemutatja az analógiás gondolkodásmód, mint egy kiemelten fontos képesség fejlesztési lehetőségeit a biológia tantárgy tartalmainak feladat-centrikus, tanórai keretekben történő feldolgozásán keresztül.

Témái:• Az analógiás gondolkodásmód elvi alapjainak áttekintése.• Analógiák a biológia tudományában és tanításában,

19 tankönyv elemzése, 569 analógia azonosítása.• Fejlesztő program „Az emberi szervezet felépítése és működése”

témakörében. Tanári és tanulói segédletek kidolgozása.• Oktatási kísérlet, kísérleti és kontrolcsoport kiválasztása.• Elő és utómérés mindkét csoport esetében.• A teszteredmények alapján a fejlesztést befolyásoló tényezők

összefüggéseinek vizsgálata, háttérváltozók szerinti összehasonlítások, mint nemek közti, osztályzatok szerinti, attitűdök, szülők iskolai végzettsége stb.

25

Néhány feladat a fejlesztő Néhány feladat a fejlesztő programbólprogramból

Analógiatesztek:- SZÖVET : SEJT = SZERVEZET : ?a) sejtalkotó b) molekulac) szervrendszer c) élőlény- LÉGZŐIZOM : REKESZIZOM = EMÉSZTŐNEDV : ?a) tápcsatorna b) emésztésc) emésztőenzim d) hasnyál

Összehasonlítások:- Hasonlítsd össze a kályhában és a szervezetben végbemenő égési

folyamatot! Mi a hasonlóság és mi a különbség?- Miért mondjuk, hogy a nyirok a vér szegény rokona?

26

Korom Erzsébet: Fogalmi fejlődés és Korom Erzsébet: Fogalmi fejlődés és fogalmi váltásfogalmi váltás

A szerző a fogalmi fejlődés és fogalmi váltás kérdéskörét járja körül, majd egy konkrét témákban, a tanulók néhány fizikai jellegű kérdésről alkotott képe és a részecskeszemléletének fejlődésével kapcsolatos saját kutatásait mutatja be.

Fizikai kérdéskörök: a fény szerepe a látásban, a feldobott pénzérme, sűrűség.Megállapítja, hogy ugyan az oktatás hatására csökken a tévképzetek száma,

ellenben azok nem tűnnek el. Sok érdekes tanulói elképzelést hozott felszínre. Pl. tizenegyedikesek körében azt,

hogy a szerves anyagok élők, míg a szervetlenek élettelenek lennének, a meleg levegő felszáll, mert ott van a természetes helye, a tömegsűrűség és a viszkozitás fogalmak keveredése, meleg hatására a részecskék kitágulása stb.

• A tanulók megtanulják a részecskemodell jellemzőit, de nem igazából értik azokat, hisz az alkalmazás jellegű feladatokban sokkal gyengébben teljesítenek.

• A tanulók egy része keveri az atom, ion, molekula fogalmakat, a kémiai szimbólumokat helytelenül használja.

• Arra kérdésre, hogy mi van a részecskék közötti térben sokan írták, hogy kötés, mintha az valami anyagszerű dolog lenne.

• A szakközépiskolások válaszai a nyolcadikosok válaszaihoz álltak közel.

27

Tanári kérdőív néhány tanulságaTanári kérdőív néhány tanulsága

• A tantárgyakkal kapcsolatos tanulói attitűdök a tanárok szerint teljesen összhangban vannak más vizsgálatok eredményeivel, miszerint a gyerekek nem szeretik a fizikát és a kémiát.

• A tanárok szerint a tananyag nincs összhangban a tanulók érdeklődésével és életkori sajátosságaival.

• A tanárok az alkalmazásképes tudáson azt értik, hogy a tanulók megszokott feladatokban, jelenségek körében tudják használni tudásukat. A más kontextusra, a transzferre nem gondolnak.

• A sikertelenség okait az esetek 90%-ban a tanulókban, vagy a tananyagban, és nem saját tanítási módszereikben látják. Ezek zömmel a hagyományos, elsősorban frontális tanítási módszerek.

28

Néhány általános megállapításNéhány általános megállapítás• A tanároknak is át kell esniük egy fogalmi váltáson. El kell,

hogy fogadják azt, hogy a gyerekek már sokféle ismerettel rendelkeznek a világról, amikor belépnek az iskolában, és ez képezi számukra az iskolai tanulmányok alapját.

• A tanulók előismereteit fel kell tárni (diagnosztikus mérés), és a téma tanítása során is folyamatosan nyomon kell követni a tudás alakulását (formatív értékelés).

• Az eddigieknél sokkal többször kell alkalmazni különböző kooperatív munkaformákat, mint csoportmunka, szituációs játékok, projekt stb.

• A gyerekeket nem szabad magukra hagyni a következtetések levonásában.

• Az új fogalmakat minél többféle, változatos kontextusban kell megjeleníteni. Különösen körültekintően kell eljárni, ha az adott tudományos fogalmat a hétköznapi életben is használják.

• A tanulók is folyamatosan elemezzék saját gondolkodási tevékenységüket (metakogníció). A legújabb tantervfejlesztéseknek ez az egyik legfontosabb eleme!

29

Tóth Zoltán és munkatársai,Tóth Zoltán és munkatársai, PhD hallgatói: PhD hallgatói: mérések a kémia tantárgy esetében (Debreceni mérések a kémia tantárgy esetében (Debreceni

Egyetem Kémia Szakmódszertani Részleg)Egyetem Kémia Szakmódszertani Részleg)

Elsősorban a tanulói elképzeléseket, a jellegzetes tévképzeteket kutatják különböző tanulói feladatlapok segítségével, melyeket sok iskola, kb. 500-1000 fő tanulóival töltetnek ki, majd elemeznek. Eredményeikről cikkekben, konferenciákon számolnak be.

Dobóné Tarai Éva cikksorozata a KÖKÉL-ben 2004/2,3,4. számok Műhely című rovatában:

Gyermektudományos elméletek az égéssel kapcsolatbanTanulói elképzelések az anyag részecsketermészetével

kapcsolatbanOldódás – ahogy a gyerekek látják

30

Tanulói elképzelések az anyag Tanulói elképzelések az anyag részecsketermészetével kapcsolatbanrészecsketermészetével kapcsolatban

14 fővárosi általános iskola 542 tanulója vett részt az adatgyűjtésben.A vizsgálat témakör: hogyan viselkedik a levegő, ha összenyomjuk, változik-e

eközben a tömege, térfogata és a benne lévő részecskék száma? Kérdés: mi történik a fecskendőben lévő levegővel összenyomás után?Szöveges és rajzos választ is kellett adni.Eredmények: a 438 rajzos válasz közül 270-en folytonos anyagként ábrázolták a

levegőt. Életkor függvényében nincs különbség (7. 8. oszt.). Lányok 43%, fiúk 53%-a gondolkodott így.

Néhányan az összenyomás után sötétebben árnyalva ábrázolták a levegőt (a 7. oszt. 22%-a, a 8. évf. 28%-a).

Részecskés választ a tanulók 25%-a adott, életkortól függetlenül.Változatlan tömeget mindössze a tanulók 40% várt. A tömeg, térfogat és a sűrűség fogalmak keverednek.A lányok véleménye jobban megoszlik a különböző válaszlehetőségek közt, míg

magyarázataik kidolgozottabbak. A fiúk állásfoglalása határozottabb, és több a jó válasz.

Néhány tanuló szerint kisebbek lesznek a részecskék, ha összenyomjuk a gázt.

31

Ujvári Sándor: A Szilárd Leó Verseny Ujvári Sándor: A Szilárd Leó Verseny feladatainak elemzésefeladatainak elemzése

A verseny döntőjének elméleti feladatainak megoldását elemezte a feladatok típusai és az eredményesség szempontjából a 1998-2005. időszakban.

A feladatok csoportosítása: a feladat témája, jellege (szöveges, számolós), komplexitása (egy vagy több

fizikai témakör alkalmazása szükséges a megoldáshoz).Feladatok nehézsége: a helyes megoldások száma osztva az

összes megoldók számával. 0,7-1 könnyű, 0-0,3 nehéz. Megoldott a feladat, ha 4 vagy 5 pontot kapott a versenyző.Nehéznek a komplex feladatok bizonyultak!A 2001. évi feladatsor túl könnyű volt, a 2004-es túlzottan nehéz.

32

PhysicsPhysicseducationeducationwww.iop.org/journald/physedwww.iop.org/journald/physed

Mikkel Heise Kofoed: The Hiroshima and Nagasaki bombs: role-play and students' interest in physics

Center for Science and Mathematics Education & DREAM, University of Southern Denmark

A cikk témája: a drámapedagógiai módszerek alkalmazása a fizika tanításában.

A második világháború ideje alatt kifejlesztett atombomba létrehozásának körülményeit alakították a tanulók szerepjátékká, majd ténylegesen el is „játszották” a maguk készítette darabot.

A cikk szerzője kérdőíves módszerrel vizsgálta ennek a tevékenységnek a szerepét a fizika iránti attitűd alakulásában.

33

Köszönöm a figyelmet!