A fejlesztési programok értékelésének lehetőségei

Tényekre alapozott döntés

• Napjainkban felértékelődött a tényekre (tudományos bizonyítékokra) alapozott döntés, melynek oka a hatékonyabb elszámoltathatóság.

• A különböző gazdasági ágazatokban eltérő időben jelent meg az adatok felértékelődése, az oktatás nem az elsők között volt. Jellemző területei: az egészségügy, a környezetvédelem.

• Az elmúlt néhány évben azonban az oktatáspolitikában is kiemelt trend a tényekre alapozott döntéshozatal. (Halász Gábor: Tényekre alapozott oktatáspolitika és oktatásfejlesztés” a Pusztai

Gabriella – Rébay Magdolna (szerk.): „Kié az oktatáskutatás. Tanulmányok Kozma Tamás 70. születésnapjára” c. könyvben)

Hatásvizsgálatok• A hatásvizsgálat vagy programértékelés nem

kutatási módszer, hanem cél, amelyben valamely társadalmi beavatkozás hatását elemzik.

• Tapasztalati tényeken alapuló kutatás során minősítik a beavatkozásokat, oksági kapcsolatok fennállását és azok erősségét nézik a vizsgált intézkedések és az ezt követő változások között.

• A hatásvizsgálat – alkalmazott kutatás. A módszer sokféle lehet (kérdőív, kísérlet stb.)

• Az ex-post mérés egy megvalósult szabályozás következményeit méri. Az ex-ante mérés pedig egy (még) meg nem valósított szabályozás jövőbeni következményeit becsüli fel.

Célja• Az értékelések és a hatástanulmányok

szerepe, hogy visszajelzést adjanak a döntéshozók és az adófizetők számára az intézkedések hasznáról és hatásaikról.

• A nemzetközi szervezetek (Világbank és az Európai Unió) szigorú intézkedéseket vezettek be a támogatott projektek előzetes (ex ante) és utólagos (ex post) értékelésére, megszabják az alkalmazható módszereket is.

Hatásvizsgálat v. programértékelés

• A hatásvizsgálat oksági magyarázatot ad a beavatkozások valamint azok megfigyelt vagy várható hatásai közötti kapcsolatra.

• A programértékelés viszont értékeket rendel e beavatkozásokhoz, minősíti azok erényeit vagy hiányosságait, egy előre megadott kritériumrendszer segítségével.

A kutatási cél megfogalmazása

• Mi a kívánatos eredmény, mi a beavatkozás célja, mit tekinthetünk sikernek.

• A hatásvizsgálat során számba kell vennünk valamennyi lehetséges kimenetet.

• A környezet jellemzőinek feltárása.• Költség/haszon elemzés.

Hogyan csináljuk? - Kísérletek

• Ez a legmegbízhatóbb módszer az ok-okozati kapcsolatok igazolására

• Hatásvizsgálatra alkalmas kísérleti modell -> pl. 10-10 iskola véletlenszerű kiválasztása, az egyik a kísérleti, a másik a kontroll csoportot alkotja. A random módszer előnye, hogy kizárt a téves oksági kapcsolat megállapítása.

• Kísérleti idő megállapítása• A vizsgálat megtervezése• Beavatkozás a kísérleti csoportnál

Hogyan csináljuk? Kvázi-kísérlet

• Idősoros vizsgálatok: egyetlen csoporton hosszabb időtávon vizsgáljuk a hatást (adathiánynál is alkalmazzák, illetve amikor nem lehet kontroll csoportot bevonni a kutatásba)

• Nagymintás vizsgálatok: egyetlen csoport nagyobb elemszámban történő elemzése

Leggyakoribb módszer

• A legjobb módszer a párosító módszer – elemzése -> a kettős különbség hatás: az intézkedés célcsoportjában megfigyelhet változás szignifikánsan és kedvezően különbözik a kontrollcsoportban megfigyelhet változástól

Oktatáspolitikai dilemma

• A megbízhatóság: meg kell határozni azokat a standardokat, amelyek alapján eldönthető, hogy egy adat megbízható/hiteles-e vagy sem. Ez egy klasszikus kutatás módszertani kérdés.

• A tények közlése mellett kiemelten fontossá válik, hogy hogyan nyertük (milyen módszerekkel, mintán) ezeket az adatokat.

• A megbízhatóságot növeli a módszerek kombinációja is.

Mérés• A mintaválasztás mellett legalább ugyanolyan

fontos döntés, hogy mit és hogyan mérünk.• Mérőeszközök kidolgozása – vizsgálati

dimenziók kiválasztása kulcsfontosságú feladat, melyek azok a dimenziók, amelyek valóban jól tükrözik a program hatását (bizonyítható sikeresség, a változások fenntarthatóságának biztosítéka)

Hatások – de minek a hatása?

• Meg kell válaszolni azt a kérdést, hogy egyáltalán bekövetkezett-e a kívánt változás.

• Ha a hatás bekövetkezett, még akkor is kérdés, hogy valóban a beavatkozás hozta-e létre ezt a kedvező változást, vagy valami más. -> téves következtetés -> nem szignifikáns hatás, véletlen okozta a bekövetkezett változást vagy vizsgált okkal versengő másik ok -> nem az általunk feltételezett ok miatt következett be a változás.

TÁMOP 3.1.1 OFI 6. alprojekt

Az alprojekt az elmúlt évtized legfon-tosabb oktatáspolitikai programjait vizsgálja meg.

Korábbi fejlesztési programok hatásvizsgálatai:

- Tehetséggondozás- Felzárkóztatás- Szakiskolai Fejlesztési Programok- Pedagógus továbbképzések

Arany János ProgramokEddig több hatásvizsgálat is történt.2005-ös vizsgálat- AJTP (Fehérvári-Liskó,

2006.)Cél: a programba kerülésnél mennyire

érvényesült a hátrányos helyzet szempontjaMódszer: teljes körű vizsgálat (2005-ben)

• Iskolaigazgatói és kollégium vezetői kérdőív (23 db)

• Mélyinterjú a programvezetőkkel (23 db)• Tanulói adatfelvétel (2003 db)

A hátrányos helyzet mérési dimenziói

• települési hátrány (kistelepülési lakóhely)

• családi hátrány (csonka család, nagycsalád: három vagy több gyermek)

• munkapiaci hátrány (a szülők alapfokú vagy annál alacsonyabb iskolai végzettsége, inaktivitása, munkanélkülisége)

A hátrányok megoszlása

70

31,1

45,2

10,2

17,6

10,4

11,9

0 10 20 30 40 50 60 70 80

kistelepülési lakóhely

csonka család

nagycsalád

alacsony iskolázottságúapa

alacsony iskolázottságúanya

munkanélküli apa

munkanélküli anya

A hátrányok együttes előfordulása

3

21,5

26,6

47,3

0 5 10 15 20 25 30 35 40 45 50

nincs hátrány

csak kistelepülésilakóhely

csak családi hátrány(csonka család vagy

nagycsalád)

családi és/vagymunkapiaci hátrány (8általános vagy inaktív)

Hatásvizsgálat következménye

• A belépés szigorítása a programba• Új programok indítása

Összevetés a többi középiskolás adatával

• Neuwirth Gábor középiskolai vizsgálata, 2007. Összes kilencedikes tanuló lekérdezése (3776 kilencedikes osztály 95,860 diákja vett részt a kutatásban)

• Összehasonlításul szolgáló mutatók: lakóhely, szülők iskolázottsága, nevelési segélyben részesülők aránya

• Következtetés:az AJTP tanulókhoz hasonló mutatókkal a szakiskolások rendelkeznek. E program nélkül valószínű csak szakiskolákba tanulhattak volna tovább a diákok.

(Fehérvári, 2008)

AJTP hatásvizsgálat 2008-2009 (Expanzió)

A vizsgálat célja: A program az elmúlt nyolc évben elérte-e a kitűzött céljait? A programban mi jellemző az állami források felhasználására?

Módszerek: Interjú a korábbi és a mostani programvezetéssel Fókuszcsoportos interjú a kollégiumok vezetőivel Dokumentumelemzés Adatelemzés:

• a küldő általános iskolák térbeli és alapvető jellemzőinek elemzése, • a program pénzfelhasználásának adatai (OKM által biztosított adatok alapján)

Kérdőíves vizsgálat• Végzett tanulók levélben történő megkeresésével• 13. osztályos tanulók e –kérdőíves vizsgálata• 13. osztályos tanulók körében végzett vizsgálat szociális intelligencia teszt mérés • gimnáziumi tehetséggondozó tanárok körében e-kérdőívvel • küldő általános iskolák vezetői és osztályfőnökei kérdőívvel • középiskolák vezetői kérdőívvel történő megkeresésével

Feltárt problémák, 2008-2009

• Tartalmi problémák (előkészítő év tananyaga, egyéni fejlesztés, nyelvtanulás)

• Finanszírozási problémák (normatíva felhasználása, fenntartó-iskola)

• Koordinációs problémák (AJP iroda, iskolák közötti kapcsolat)

-> következmény tartalmi megújulás, éves monitoringok,

Hogyan tovább?• Többi alprogram hatásvizsgálata• Mit is jelent a sikeres program? ->

• A középiskola kimeneti mutatói• Diplomaszerzés• A helyi értelmiség erősítése

• Költséghaszon számítások