Tájékoztató a TDK-eredményességi

mutatóiról

Dombi JózsefEgyetemi tanár

2012, Győr

TDK és OTDK

• Kétszintű verseny

• Intézményenként TDK, 3 helyi forduló

• OTDK kétévente

• OTDK XXXI. megmérettetés,

62 év

2012, Győr

Díjak

• Első, második, harmadik helyezés

• Pro Scientia Aranyérem

• Minőségbiztosított tudományos fórum– A díjak száma korlátozott– OTDT felügyeli (országosan elismert szakemberek)

• Verseny– Hallgatók értékelése (explicit eredmény)– Intézmények értékelése (implicit eredmény)

2012, Győr

Rangsorolás

• Rangsorolások hatása a rangsoroltakra– Versenyt indukál– Alá- és fölérendeltséget határoz meg– Érzelmi hatás (büszkeség és csalódás)– Teljesítmény ösztönzés

• Rangsorolások társadalmi igénye– Több szempont redukálása– Döntések egyszerűsítése– Szakemberek részvétele (átvállalják a felelősséget)– Objektivitást sugall

2012, Győr

Rangsorok negatív hatásai

– Sokszínűség egydimenzióssá redukálása

– Rangsorok változékonyak

– A rangsorok a valóságot torzítják

– Érzéketlenek az értékelések különbségére

2012, Győr

Rangsorok negatív hatásai

– Rangsorok visszahatnak a rangsoroltakra

– Rosszul konstruált rangsorok torzítják a résztvevők attitűdjeit, a rangsorkészítés fő szempontjaihoz igazítják tevékenységüket

– Szubjektív szempontok érvényesülhetnek

2012, Győr

Negatív hatások kiküszöbölése

• Negatív hatás kiküszöbölése

― Objektumok kategorizálása, csoportosítása

― Rangsorok helyett csoportok sorrendje

• Sokszínűség megtartása: több rangsor alkalmazásával

• Mutatók alkalmazása

2012, Győr

Rangsorok elvi háttere

• Az értékelők és értékeltek függetlensége.

• Az értékelés szempontjai előre meghatározottak.

• Az értékelés elemeinek egymáshoz való relatív fontossága előre meghatározott.

• Az értékelés elkészítésének eljárása előre meghatározott.

2012, Győr

Rangsorok elvi háttere

• Az értékelés elméleti szempontból megalapozott, azaz a matematikai konzisztencia-feltételeknek eleget tesz.

• A rangsor gyakorlati szempontból ellenőrzött, azaz a rangsorban előbb lévők idővel bizonyítják megelőlegezett értékelésüket.

• A rangsor stabil az értékelésben, azaz az értékelési szempontok alapján való kis változásra érzéketlen.

• A rangsor időben stabil, azaz az értékelési sorrendek az időben lassan változnak.

2012, Győr

Rangsorok és a felsőoktatás

• A továbbtanulási döntéseket befolyásolja

Hallgatók és szülők

• Intézményi támogatásra hatással van

• A felsőoktatási intézmény értékelésének egydimenziós projekciója

• Rangsorok helyett minősítések

2012, Győr

Rangsorok alapjai

• Oktatási tevékenység

• Tudományos tevékenység

Egyéb szempontok a felsőoktatási intézmény választásához

– Infrastruktúra (épületek, eszközállomány, könyvtár, informatikai háttér)

– Szociális ellátottság (kollégiumok, diákélet)

2012, Győr

Oktatás és tudomány

• Tudományos teljesítmény kap hangsúlyt Következmény: az egyetem „tudásgyárrá” válik, oktatás másodlagos

• Oktatási teljesítmény kap hangsúlytKövetkezmény: a tudomány fejlődésétől

elmarad, esetleg több évtizedes, elavult tudást ad át

2012, Győr

Rangsorok hatása

• Pozitív visszacsatolást generál (önbeteljesítő prófécia)

• Egy jó intézménybe jobb képességű diákok jelentkeznek, és az intézmény jobbá válik

• A pozitív visszacsatolás előnyös, mert az intézményi evolúciót erősíti

• A pozitív visszacsatolás hátrányos, mert az intézmények létrejöttét gátolja

2012, Győr

Intézményt minősítő mérőszámok

• A TDK sikere abban rejlik, hogy az intézményektől függetlenül méri a diákok teljesítményét!

• Amennyiben a TDK alapján készült intézményi rangsor állami támogatások direkt meghatározója, az intézmények az objektív ítélkezés helyett saját érdekeiket veszik figyelembe, az értékelés szubjektívvá válhat

2012, Győr

Az OTDK, mint intézményi mérőszám

• Az intézményi rangsor tudományos és oktatói teljesítményt vesz figyelembe

• Az OTDK eredmény mindkettő tevékenységet méri

2012, Győr

Adatelemzés

• Három OTDK forduló adatbázisa (karonként)– Intézményi résztvevők száma– Első helyezettek száma– Második helyezettek száma– Harmadik helyezettek száma– Pro Scientia díjazottak száma

• Intézmények létszámadatbázisa (karonként)• 175 kar szerepel

2012, Győr

Résztvevők száma 1.

• Résztvevők számának figyelembe vétele az értékelést torzítja

• A részvevők száma 98%-os korrelációt mutat a helyezésekkel

Nem szükséges figyelembe venni a résztvevők számát!

2012, Győr

Résztvevők száma2.

Átlagosan a pontok 2/3-át a hallgatói részvételre adott pontok adják

2012, Győr

a korábbi javaslat alapján

# : hallgatói létszámra kapott pontszám aránya az összpontszámon belül egy-egy intézményre, például minimum 30.77%, maximum 100% adódott a jelenlétből (tehát volt olyan intézmény, amely csak a hallgatói jelenlétre kapott pontot)

Résztvevők száma3.

korreláció a létszám és a

pontszám között

medián pontszám

(darabszám szerinti felező)

legalacsonyabb pontszám

legmagasabb pontszám

98,86% 19 0 492

19 intézmény kapott pontot csak hallgatói részvételre, ez ~10%

60 intézmény legfeljebb 3 eredménypontot ért el, ez ~1/3

82 intézmény legfeljebb 6 eredménypontot ért el, ez ~50%

2012, Győr

A korrelálatlan komponenseknek kell a döntésben szerepet játszaniuk

Az eredménypontozás az új súlyozással történt

Új pontozási rendszer pontozási stabilitása és részvevők száma

1 ELTE TTK 1 ELTE TTK2 SZTE TTIK 2 SZTE TTIK3 ELTE BTK 3 ELTE BTK4 SZTE BTK 4 SZTE BTK5 DE BTK 5 DE BTK6 PTE BTK 6 PTE BTK7 DE TTK 7 BME VIK8 BME VIK 8 DE TTK9 BCE GTK 9 BCE GTK

Intézményi sorrend hallgatói létszám figyelembevételével

Intézményi sorrend csak eredménypontozás szerint

A pontozás stabil, abban az értelemben, hogy ha elhagyjuka hallgatókért kapott pontszámokat az első 9 helyezett ugyanaz

marad, vagyis a legjobbak akkor is a legjobbak maradnak ha csak eredménypontokat kapnak

2012, Győr

Az eredménypontozás az új súlyozással történt

Új pontozási rendszer

2012, Győr

paraméter paraméter paraméter

konferenciák 30 50% konferenciák 30 33% konferenciák 30 33%29 30% 29 33% 29 33%28 20% 28 33% 28 33%

helyezések 1 2 helyezések 1 4 helyezések 1 42 1,5 2 2 2 23 1 3 1 3 1

pro sci 10 pro sci 8 pro sci 0dolgozatszám 1 dolgozatszám 0 dolgozatszám 0

Új paraméterezés a pontozáshozRégi paraméterezés a pontozáshoz Javaslat jövőbeni paraméterezésre a

A paraméterezés lexikografikus döntések témakörben publikált eredmények figyelembe vételével történt

OTDK pontozási súlyozásának időbeli változása

• Ha az intézmények néhány év alatt radikális minőségi változáson esnek át, akkor a súlyozásnak ezt tükröznie kell

• Amennyiben ezek a változások lassú folyamatok, és csak az utolsó pár év adatai állnak rendelkezésre, a súlyozás azonosnak választandó

• Az utolsó 6 évben ilyen radikális változással nem számoltunk

2012, Győr

Pro Scientia pontozása

• A Pro Scientia kiemelkedő tudást reprezentál– A Pro Scientia díj a hallgatóra vonatkoztatható?– A Pro Scientia díj az intézményre vonatkoztatható?

• A Pro Scientia értékelése duplája az első helyezett értékének

• A Pro Scientia érmesek jelentősen befolyásolhatják a rangsort

2012, Győr

Javaslat jövőbeni pontozási paraméterre, leíró statisztikai

kiértékelésPro Scientia díj eloszlása:

- Összesen 140 Pro Scientia díjat osztottak ki, 55 kar kapott ilyen díjat

A karok ~1/3-a tudományos csúcsteljesítményt nyújtott

- Az első 9 helyezett 60 díjat kapott ez a díjak ~40%-a

A legkiválóbb hallgatók a legjobb egyetemekre mennek!

- Kiemelkedik az ELTE teljesítménye:

ELTE TTK 19 díj (a többi TTK összesen 12 díj), ELTE BTK 10 díj

ELTE TTK+ELTE BTK együttesen a díjak ~20%-át kapta.

2012, Győr

Pro Scientia díj rangsorbeli változáselemzése

A pontozás stabil abban az értelemben, hogy Pro Scientia =0 pont esetén az intézmények ~80%-a legfeljebb 3 hellyel mozdul el az értékpontozáshozképestA pontozási javaslat vesztesei, akik legtöbbet rontottak rangjukon:

DE GVK 10 hely

A pontozási javaslat nyertese, aki legtöbbet javított rangján:

2012, Győr

ME MAK 15 hely

SE GYTK 16,5 hely

KRE HTK 17 hely

BCE KIK 26 hely

OKFDK 42 hely

Javaslat jövőbeni pontozási paraméterre, a javaslat pontozási stabilitása

1 ELTE TTK 1 ELTE TTK

2 SZTE TTIK 2 SZTE TTIK

3 ELTE BTK 3 ELTE BTK

4 SZTE BTK 4 SZTE BTK

5 DE BTK 5 PTE BTK

6 PTE BTK 6 DE BTK

7 BME VIK 7 DE TTK

8 DE TTK 8 BME VIK

Intézményi sorrend értékpontozás szerint a Pro sci pontok

figyelembevételével

Intézményi sorrend értékpontozás szerint a

Pro sci pontok figyelembevétele nélkül

Pro Scientia = 0 pont mellett az első 8 helyezett ugyanaz marad

2012, Győr

A Pro Scientia hatása a helyezésre a legjobb 8 kar esetén

intézmény érték_pro_sci_0 intézmény érték

1 ELTE TTK 1 219,114 1 ELTE TTK 1 269,7300

2 SZTE TTIK 2 164,502 2 SZTE TTIK 2 180,4860

3 ELTE BTK 3 132,867 3 ELTE BTK 3 159,5070

4 SZTE BTK 4 98,235 4 SZTE BTK 4 108,8910

5 PTE BTK 5 65,268 5 DE BTK 5 74,2590

6 DE BTK 6 58,275 6 PTE BTK 6 73,2600

7 DE TTK 7 57,942 7 BME VIK 7 71,9280

8 BME VIK 8 55,944 8 DE TTK 8 63,2700

2012, Győr

Pro Scientia díj figyelembe vétele rangsorkészítésnél

• Pro Scientia díj figyelmen kívül hagyása az intézmények nagy részét nem érinti

• Néhány intézmény helyezésében jelentős a változás

• Az intézményi rangsor kialakításában a ritkán előforduló rendkívüli teljesítmény esetleges

• A Pro Scientia díj inkább hallgatói díj, mint intézményi

2012, Győr

Kategóriák bevezetése

• A stabilitás növelése céljából kategóriák kerültek bevezetésre– Kiemelkedő– Jelentős– Közepes– Fejlesztendő– Értékelhetetlen

2012, Győr

Kategóriahatárok

Pro Scientia nélkül Pro Scientiával4,62% 5,20%

9,25% 10,40%

15,03% 14,45%

19,08% 21,39%

41,04% 37,57%

10,98% 10,98%

2012, Győr

Kategóriahatárok meghatározása

• A pontozásban a hirtelen változások határozzák meg a kategóriahatárokat

• Matematikai analízis szükséges• Az adatbázis alapján a következő eredmények

adódtak, kerekítve

2012, Győr

Kategóriahatárok értékei

• kiemelkedő minősítést a karok 5%-a,• jelentős minősítést a karok 10%-a,• jó minősítést a karok 15 %-a,• közepes minősítést a karok 20 %,• fejlesztendő minősítést a karok 40 %-a,• értékelhetetlen minősítést a karok 10%-a

kapott (a három vizsgált OTDK-n nem értek el helyezést).

2012, Győr

Elemzés eredménye

Budapesti Corvinus Egyetem Gazdálkodástudományi Kar (BCE GTK)

Budapesti Műszaki és Gazdaságtudományi Egyetem Villamosmérnöki ésInformatikai Kar (BME VIK)

Debreceni Egyetem Bölcsészettudományi Kar (DE BTK)

Debreceni Egyetem Természettudományi és Technológiai Kar (DE TTK)

Eötvös Loránd Tudományegyetem Bölcsészettudományi Kar (ELTE BTK)

Eötvös Loránd Tudományegyetem Természettudományi Kar (ELTE TTK)

Pécsi Tudományegyetem Bölcsészettudományi Kar (PTE BTK)

Szegedi Tudományegyetem Bölcsészettudományi Kar (SZTE BTK)

Szegedi Tudományegyetem Természettudományi és Informatikai Kar (SZTE TTIK)

2012, Győr

Kiemelkedő minősítés, karokra nem bontható intézmények, karok:

Elemzés eredményeBudapesti Corvinus Egyetem Társadalomtudományi Kar (BCE TK)

Budapesti Műszaki és Gazdaságtudományi Egyetem Építészmérnöki Kar (BME ÉSZK)

Budapesti Műszaki és Gazdaságtudományi Egyetem Gépészmérnöki Kar (BME GÉK)

Budapesti Műszaki és Gazdaságtudományi Egyetem Természettudományi Kar (BME TTK)

Budapesti Műszaki és Gazdaságtudományi Egyetem Vegyészmérnöki ésBiomérnöki Kar (BME VBK)

Eötvös Loránd Tudományegyetem Állam- és Jogtudományi Kar (ELTE ÁJK)

Eötvös Loránd Tudományegyetem Pedagógiai és Pszichológiai Kar (ELTE PPK)

Pázmány Péter Katolikus Egyetem Bölcsészettudományi Kar (PPKE BTK)

Pázmány Péter Katolikus Egyetem Jog- és Államtudományi Kar (PPKE JÁK)

Pécsi Tudományegyetem Állam- és Jogtudományi Kar (PTE ÁJK)

Pécsi Tudományegyetem Természettudományi Kar (PTE TTK)

Semmelweis Egyetem Általános Orvostudományi Kar (SE ÁOK)

Semmelweis Egyetem Testnevelési és Sporttudományi Kar (SE TSK)

Szent István Egyetem Gazdaság- és Társadalomtudományi Kar (SZIE GTK)

Szent István Egyetem Mezőgazdaság- és Környezettudományi Kar (SZIE MKK)

Szegedi Tudományegyetem Állam- és Jogtudományi Kar (SZTE ÁJK)

Szegedi Tudományegyetem Juhász Gyula Pedagógusképző Kar (SZTE JGYPK)

Zrínyi Miklós Nemzetvédelmi Egyetem Kossuth Lajos Hadtudományi Kar (ZMNE KHK)

2012, Győr

Jelentős minősítésű karokra nem bontható intézmények, karok:

Elemzés eredménye Budapest Corvinus Egyetem Élelmiszertudományi Kar (BCE ÉTK)Budapesti Corvinus Egyetem Kertészettudományi Kar (BCE KERTK)Budapesti Műszaki és Gazdaságtudományi Egyetem Építőmérnöki Kar (BME ÉŐK)Budapesti Műszaki és Gazdaságtudományi Egyetem Gazdaság- ésTársadalomtudományi Kar (BME GTK)Debreceni Egyetem Állam – és Jogtudományi Kar (DE ÁJK)Debreceni Egyetem Általános Orvostudományi Kar (DE ÁOK)Debreceni Egyetem Gazdálkodástudományi és Vidékfejlesztési Kar (DE GVK)Debreceni Egyetem Mezőgazdaság-, Élelmiszertudományi ésKörnyezetgazdálkodási Kar (DE MÉK)Eszterházy Károly Főiskola Bölcsészettudományi Kar (EKF BTK)Kaposvári Egyetem Állattudományi Kar (KE ÁTK)Miskolci Egyetem Állam- és Jogtudományi Kar (ME ÁJK)Miskolci Egyetem Gazdaságtudományi Kar (ME GTK)Magyar Képzőművészeti Egyetem (MKE)Pannon Egyetem Gazdaságtudományi Kar (PE GK)Pannon Egyetem Mérnöki Kar (PE MK)Pázmány Péter Katolikus Egyetem Információs Technológiai Kar (PPKE ITK)Pécsi Tudományegyetem Általános Orvostudományi Kar (PTE ÁOK)Pécsi Tudományegyetem Közgazdaságtudományi Kar (PTE KTK)Pécsi Tudományegyetem Művészeti Kar (PTE MK)Rendőrtiszti Főiskola (RTF)Széchenyi István Egyetem Műszaki Tudományi Kar (SZE MTK)Szent István Egyetem Állatorvos-tudományi Kar (SZIE ÁOTK)Szegedi Tudományegyetem Általános Orvostudományi Kar (SZTE ÁOK)Szegedi Tudományegyetem Gazdaságtudományi Kar (SZTE GTK)Zrínyi Miklós Nemzetvédelmi Egyetem Bolyai János Hadmérnöki Kar (ZMNE BKMK)

2012, Győr

Jó minősítésű karokra nem bontható intézmények, karok:

Pontszámok alakulása(belső információk)

2012, Győr

ELTE TTK 270SZTE TTIK 180ELTE BTK 160SZTE BTK 109DE BTK 74PTE BTK 73BME VIK 72DE TTK 63BCE GTK 59SE ÁOK 58BME GÉK 54ELTE ÁJK 52ZMNE KHK 52BME VBK 51PPKE BTK 47PTE TTK 45BME TTK 43SZIE MKK 40ELTE PPK 40BCE TK 37SZTE ÁJK 37PPKE JÁK 35SZIE GTK 35PTE ÁJK 35SE TSK 35BME ÉSZK 32SZTE JGYPK 31RTF 29BME GTK 29ZMNE BKMK 29

ME GTK 28BCE ÉTK 28PTE KTK 27BME ÉŐK 27SZIE ÁOTK 28DE ÁOK 27PTE ÁOK 27BCE KERTK 27DE GVK 25SZTE GTK 25PTE MK 24PPKE ITK 24SZTE ÁOK 23DE ÁJK 21ME ÁJK 21PE GK 20EKF BTK 19MKE 19DE MÉK 18SZE MTK 18PE MK 17KE ÁTK 17ME MAK 16NYME FMK 16ELTE IK 16ME MFK 15MOME 15SZE ÁJK 15PE GTK 14DE KTK 14

BCE KTK 14BME KSK 14BCE TÁJK 13KRE BTK 13OE NIK 13PE MIK 13EKF TKTK 12ME BTK 12NYME EMK 12ELTE TÁTK 12EKF TTK 11NYME MÉK 11ME GÉK 11ETDK RHK 11BKF KMK 10KRF GTK 9SE ETK 9NYME MNSK 9ELTE TÓK 9NYF BTMK 9PTE FEEK 8SZTE MK 8SZIE YMÉK 8NYME KTK 7KF TFK 7SZIE PK 7PE MFTK 7BGF KKK 7SZIE GÉK 7

Pontszámváltozás

• Exponenciális csökkenés!

2012, Győr

További feladatok

• Az intézményi létszám és az eredményesség vizsgálata

• A Pro Scientia csökkentett értékkel való figyelembe vétele

• A konkurencia nélküli karok egyedi értékelése• A verseny erősségének figyelembe vétele

2012, Győr

A dolgozatok pontszámelemzése,az intézményi összlétszám

mint lehetséges komponens figyelembevételének vizsgálata

- Az intézmények létszáma és eredménypontszáma közötti korreláció ~50%

- Elmondható, hogy nincs összefüggés az intézményi hallgatói létszám és a teljesítmény között

- A legkiválóbbakra ez még inkább igaz, vagyis a teljesítményük a minőségi

munka függvénye mennyiségi komponense nincs

2012, Győr

2012, Győr

Köszönöm a figyelmet!Köszönöm a figyelmet!Köszönetet mondok Prof. Szendrő Péternek az OTDT

elnökének támogatásáért és Vincze Nándornak az adatelemzésben nyújtott segítségéért.