Alkalmazott K+F és az innovációs projektek értékelési módszerei

Dr. Balogh TamásGazdasági és Közlekedési Minisztérium

MTA-GKM értékelési konferenciaBudapest, 2007. április 25.

Politika, szakpolitika

Statisztika, benchmarking

Programok, intézkedések

Értékelés, elemzés

Mi az értékelés célja? (1)• A kitűzött célok és az elért eredmények

összehasonlítása,• A felhasznált eszközök hatékonyságának

mérése,• Információszerzés a TTI politika számára;• A K+F rendszer iránti bizalom erősítése,

demonstrálva annak eredményességét és átláthatóságát;

Mi az értékelés célja? (2)• A szervezeti fejlődés és a tanulás elősegítése;• Az intézményen belüli verseny objektivitásának

biztosítása; • A kutatási területek és az intézmények

összehasonlítása, • a különböző szakterületek, intézmények és

programok közötti igazságos és hatékony pénzallokálás megalapozása.

A jó értékelés:• figyelembe veszi a szakterület jellemzőit és céljait.• adminisztratív kontroll helyett ösztönző,

kutatásbarát.• koncepciója konszenzuson alapul.• közérthető, az állampolgár számára (is) készül.• a folyamatok megértésére törekszik.• gondot fordít az adott célra legjobb értékelési

módszer kiválasztására.• része egy folyamatos tanulási folyamatnak.[

Projekt- és program értékelési módszerek1. Szakértői bírálat (peer review)2. Interjús és kérdőíves módszerek3. Félkvantitatív módszerek (bibliometria, szabadalomelemzés, tudományos és technikai indikátorok elemzése)4. Kvantitatív módszerek (Költség-haszon elemzés, ökometriai módszerek, a gazdasági többleteredményen alapuló módszerek)5. Esettanulmányok6. Teljesítmény-indikátorokon alapuló elemzések7. Portfólió-elemzési módszerek

1. A szakértői bírálat (peer review)

Előnyei:•Egyszerűen megszervezhető és lebonyolítható.•Költségei alacsonyak.•Az értékelés általában magas szakmai színvonalú.•Az eredmények rendszerezhetők, ellenőrizhetők és finomíthatók

Hátrányai:•Túlértékelheti a tudományos minőségi szempontokat.•Kevés ember véleményén alapul.•Kultúra- és referenciakritérium-függő, szubjektivitásra ad módot.•Csak kvalitatív eredményeket ad.•Nem kedvez a nagy áttörések elismerésének.•A csoporton belül gyakran a tekintélyelv uralkodik.•Gyakran háttérbe szorulnak a gazdasági hasznosítás szempontjai.

2. Interjús és kérdőíves módszerek

Előnyei:•Nagy számú véleményt képesek figyelembe venni.•A nyitott kérdések révén új, érdekes szempontok érkeznek.•Alkalmasak kvantitatív jelzőszámok meghatározására.•Alkalmasak az esettanulmányok eredményeinek általánosítására.

Hátrányai:•A kérdések strukturálása és a válaszok értelmezése torzíthat.•A kvantitatív adatok nem eléggé megbízhatók: a válaszadók hajlamosak a valóságosnál pozitívabb kép kialakítására, mert tudják, hogy az értékelés eredménye kihathat saját későbbi támogatásukra.

3. Félkvantitatív módszerek

Előnyei:•Számszerűsíthető, átlátható és ellenőrizhető adatokat szolgáltatnak.•Lehetővé teszi kutatók és kutatócsoportok normatív összehasonlítását.•Más módszerekkel kombinálva hasznos indikátorokat adnak.

Hátrányai:•Általában egy-egy paraméterre koncentrálnak.•Nem adnak választ a K+F társadalmi és gazdasági hasznosság kérdésére.•A makromutatókon belül nem lehet elkülöníteni a K+F hatásait.

4. Kvantitatív módszerek

Előnyeik:•Logikus szerkezetű, komplex, matematikai formában kezelhető, átlátható és ellenőrizhető adatokat szolgáltatnak.•Lehetővé teszik a projektek közötti összehasonlítást, és ezzel jól megalapozhatják az erőforrások felhasználásáról hozott döntéseket.•Hangsúlyozzák a „value for money” elvet, tehát a K+F társadalmi hasznosságának követelményét.

Hátrányaik:•Korlátozottan alkalmasak a közvetett hatások figyelembe vételére.•Ritkán képesek figyelembe venni a hosszabb távú hatásokat.•a matematikai megjelenítése következtében megbízható hatást keltenek, miközben pontosságukat számos módszertani nehézség gátolja.•Költségesek.

5. Esettanulmányokon alapuló értékelések Előnyeik:•A konkrét eseteken keresztül szemléltetik a K+F és a társadalmi gazdasági hatások összefüggéseit.•Segítenek a sikertényezők azonosításában.•Összefüggéseket tárnak fel, ezért alkalmasak komplex folyamatok megértésére és a makroszintű politikák megalapozására. •Ott is feltárják az összefüggéseket, ahol nincs előre meghatározott indikátor.

Hátrányaik:•A múltra vonatkoznak, folyamatban lévő ügyek vizsgálatára nem alkalmasak.•Szubjektívek, függenek az értékelő személyes tapasztalataitól.•Az eredményeik nem vagy nehezen általánosíthatók.•Költségesek, ezért nagy számú téma vizsgálatára kevésbé alkalmasak.•Szöveges jellegük miatt kevés kvantitatív eredményt adnak, ezért nehéz beépíteni ezeket a rutinjellegű monitoring-tevékenységbe.

6. Indikátorokon alapuló értékelések

Előnyeik:•Az indikátorok könnyen azonosíthatók, strukturálhatók és számszerűsíthetők.•A folyamatban lévő programok követésére valószínűleg ez a legjobb módszer.•Fegyelmezi az értékelők és az értékelést megrendelők gondolkodását azáltal, hogy előre meg kell határozniuk a célokhoz illő, mérhető indikátorokat.•Az összes értékelési módszer közül a legolcsóbbak.

Hátrányaik:A súlyozásban megjelenő szubjektivitás torzításokhoz vezethet.•Az indikátor alapján történő mechanikus döntések során kimaradhatnak fontos kvalitatív információk.•A sok kvantitatív eredmény a teljesség képzetét keltheti, miközben elsikkadhat az összefüggések, az okok megértése..

1, 2, 3, …

7. Portfólió-elemzésen alapulóértékelés

Előnyei:•Áttekinthető, több dimenziós elemzéseket tesz lehetővé.•Olyan többlet-információt szolgáltatnak a teljes program irányainak elemzéséhez, amelyre más módszerek nem alkalmasak.•Alkalmas egész programok gyors áttekintésére, ezért menedzsment-eszközként is jól segíti a program-menedzserek és a döntéshozók munkáját.

Hátrányai:•Az ábrázolt dimenziók kiválasztásában megjelenő szubjektivitás torzításokhoz vezethet.•A kevés indikátor alapján végzett portfólió-elemzések során kimaradhatnak fontos kvalitatív információk.

K+F értékelési kormányrendelet

(a 2286/2004. [XI. 17.NKTH dolgozta ki):

198/2005. (IX. 22.) Korm. rendeleta közfinanszírozású támogatásban részesülő kutatás-fejlesztési és technológiai innovációs programok értékelése rendszeréről és tartalmi követelményeiről

A középtávú TTI stratégia a K+F értékelésről

„(A Kormány) a megfelelő szakismeretre építve megvalósítja a közfinanszírozású támogatások felhasználásának rendszeres ellenőrzését és független értékelését, ezek alapján gondoskodik a hatékonyság folyamatos javításáról”.

„A célkitűzések meghatározása, a programok tervezése, ellenőrzése és visszacsatolása, a minőség és a teljesítmény értékelése egyre inkább indikátorokra épül.”

„Az aktív, kezdeményező állami szerepvállalás nélkülözhetetlen része – a kötelező jogi, pénzügyi és számviteli ellenőrzésen túl – a tőle független szakmai értékelés biztosítása, ami növeli a felhasználás átláthatóságát, és egyben elősegíti a nemzeti innovációs rendszer tanulását, fejlődését.”

Köszönöm megtisztelő figyelmüket!

balogh.tamas@gkm.gov.hu