Click here to load reader

Hubbard effective prfs_cz

  • View
    94

  • Download
    0

Embed Size (px)

Text of Hubbard effective prfs_cz

  1. 1. Efektivn systm institucionln finann podpory vzkumnch organizac zaloench na vkonech (PRFS): principy a praxe Paul Hubbard www.metodika.reformy-msmt.cz
  2. 2. O mn vedouc vzkumn politiky na HEFCE, od 2003 do 2013: expertn poradenstv v oblasti nvrhu systm hodnocen a jejich vyuit pi pidlovn financ v podob blokovch grant univerzitm ve Velk Britnii, 1992 spoluprce na vvoji hodnocen RAE; 1996 RAE manaer; vedl prce HEFCE, kter pisply k podstatnmu pezkoumn principu hodnocen ve Velk Britnii a vystily v hodnocen RAE 2014; pedsedou dic komise RAE. Poznmka pekladatele: HEFCE = Higher Education Funding Council for England RAE = Research Assessment Exercise PRFS = Performance-based Funding System 2
  3. 3. Efektivn PRFS: principy a praxe Pro bychom mli hodnotit kvalitu a pro navzat vkon na financovn? Principy: v em spov siln systm hodnocen a vbr principu hodnocen? Praxe: vdn disciplny a vzkumn jednotky Praxe: informace a indiktory Praxe: management a komunikace Hodnocen a financovn Nkolik mylenek zvrem 3
  4. 4. Pro hodnotit kvalitu? Hodnocen kvality nm umon dvat se zpt, abychom vidli dopedu a plnovat na zklad dkladnho pochopen, odkud jsme zanali. Efektivn hodnocen kvality nm me: podat informace o tom, jak dobr je nrodn systm, instituce nebo vzkumn skupina poskytovn informac veejnosti a odpovdnost za veejn financovn, identifikovat siln a slab strnky, povzbudit a informovan podncovat ke zlepen standard. 4
  5. 5. Pro provzat vkon s financovnm? Hodnocen propojen s financovnm m vechny tyto dopady a navc poskytuje: mnohem silnj podnty ke zven standard a zrove posiluje autoritu vzkumnch ldr a manaer, lep clen financovn v nvaznosti na cle politiky VaV, poslen odpovdnosti za pouit finance. 5
  6. 6. Co tvo pevn hodnotic systm? Objektivita a prhlednost: je vnmn jako frov a dobe informovan, dslednost: vechny obory jsou hodnoceny na zklad podobnch kritri a souboru dat a spolench mtek excelence, vhodnost elu: systm je navren tak, aby splnil cle politiky, vhodnost pro nrodn systm a kulturu: neexistuje jedin een, kter vyhovuje vem zemm a nejvhodnj sytm pro jeden stt nemus bt nejlep pro stt jin, vasnost a opakovn: hodnocen je pravideln aktualizovno a ume se v nm z vlastnch zkuenost, abychom zdokonalili n postup, dvryhodnost: poskytovatel, vzkumnci i ostatn pijmou, e vsledky hodnoticho systmu jsou dobr. 6
  7. 7. Vbr principu hodnocen a financovn (1) Co chceme znt a eho se sname doclit? Jasn pehled silnch a slabch strnek nm pome pi volb, jak politick rozhodnut pro zlepen, ppadn pro clen financovn zvolit. Identifikace silnch oblast a dkladn pozornost vnovan spoleenskmu dopadu vzkumu pedloenho k hodnocen nm pome zajistit, aby vzkumn zkladna pln podporovala nrodn hospodstv. 7
  8. 8. Vbr principu hodnocen a financovn (2) Hlavn dostupn principy hodnocen jsou: Sebehodnocen, Statistick hodnocen (indiktory nebo metriky), Peer review. 8
  9. 9. Sebehodnocen Napomh vzkumnkm a hodnocenm vzkumnm jednotkm zajistit, aby jejich siln strnky byly viditeln a pln docenn. Podporuje reflexi a budovn strategi ve vzkumnch jednotkch. Pokud je vak pouito jako hlavn prvek hodnocen nebo financovn, tak vyvstvaj nevyhnuteln otzky dvryhodnosti a spolehlivosti. 9
  10. 10. Hodnocen pomoc statistik Je objektivn a zakld se na faktech, nen jednodue manipulovateln nebo ovlivniteln. Lze jej provst relativn jednodue a levn a me bt opakovno dle poteby. Funguje vak lpe v uritch oborech ne v jinch a pro velk jednotky ne pro men. Kvantitativn informace nm ovem nemohou ci vechno o vzkumn jednotce; vybran statistick pstup a interpretace dat budou hojn kritizovny 10
  11. 11. Peer review Dobe zaveden metodika, iroce akceptovna ve vzkumn komunit. Peer review hodnocen je pouze tak dobr, jak dobr jsou informace, na kterch se zakld, a jak je odbornost hodnotitel. Dobe navren systm a jeho oven ve srovnn s mezinrodnmi standardy excelence jsou zkladem spchu. Vznamn ast mezinrodnch hodnotitel zajist, e vstupy hodnocen budou porovnateln s mezinrodnmi standardy, a zrove bude minimalizovn mon stet zjm. 11
  12. 12. Vybrme si svoje postupy Nejlep postup k tomu, abychom dospli k vyvenmu a kvalitnmu hodnocen nap vemi obory a na rovni jednotlivch instituc nebo jednotek, je peer review hodnocen, kter erp z peliv vybranch a interpretovanch statistickch a kontextulnch informac. Tento postup mus umonit vzkumnm organizacm a jednotkm, aby sdlily, v em podle nich spov jejich hlavn sla. Hodnocen, kter kombinuje jasn a irok indiktory se klovnm proti nkolika hodnoticm kritrim, me nejlpe zachytit cel rozsah rozdlnch vzkumnch metod a vstup nap akademickm spektrem. Mnohem lpe, ne pidlen jedn jedin znmky. 12
  13. 13. Praxe: obory a vzkumn jednotky (1) Jak rozdlit prci mezi obory a jak definovat vzkumnou jednotku v praxi, to jsou klov rozhodnut. Je nutn zajistit, aby hodnocen bylo provedeno na sprvn rovni a bylo dostaten detailn. Tm budou rozpoznateln rzn pstupy nap obory a tak bude mon zskat informace pro politick rozhodnut. 13
  14. 14. Praxe: obory a vzkumn jednotky (2) Je teba zajistit, aby panely hodnotily vzkumn skupiny a jednotky, ne jednotlivce. Informace o specifickm rozpoznatelnm oboru nebo podoboru jsou uitenj pro manaery a plnovae ne pro ir posouzen. Potebujeme definovat oborov disciplny, abychom reflektovali bnou praxi jak jsou vzkumnci seskupeni a zeni v rmci svch instituc? Je dleit, e hodnotic panel funkn velikosti by neml pokrvat pli irok obor, aby byl dvryhodn. Velikost systmu je relevantn objem prce panelu by ml bt zvladateln. Seskupen panel do irokch oborovch skupin pomh udret spolen standardy. Systm mus dobe zvldat mezioborov disciplny vzkumu. 14
  15. 15. Praxe: informace a indiktory Musme sesbrat dostatek informac, abychom dali panelm celkov obraz. Zrove nesmme zahltit panely informacemi, kter nepotebuj nebo kterm nerozum. Je dobr mt kombinaci vstupnch a vstupnch dat. Vstupn data nm eknou, se ktermi zdroji mus jednotka pracovat; vstupn data nm uk, co um jednotka z tchto zdroj vytvoit. Oboj jsou dobrmi indiktory kapacity a potencilu jednotky k dosaen excelentnho vzkumu v budoucnu. Kvantitativn indiktory by mly bt pouity k informovn akademickho posouzen: nemly by bt pouity pmo jako zdroj pro hodnocen kvality 15
  16. 16. Indiktory Ideln potebujeme mnoinu indiktor, kter pome hodnoticmu panelu porozumt: jak zdroje m jednotka k dispozici (ukazuj jej kapacitu a zvazky financujcch), jak vnj uznn (financovn a jin) si jej spchy zaslouily, celou klu spch a jejich dopad, me bt ponechn prostor pro indiktory produktivity, zejmna pokud je to v zjmu politiky, ale objem prce jako takov nemus vdy bt indiktorem kvality. 16
  17. 17. Indiktory: citan indexy (bibliometrika) Citan indexy jsou vznamnm indiktorem kvality vzkumu: v oborech, kde je publikovn v asopisech/sborncch zavedenou prax, v ppad, e se hodnot dostaten poet vsledk v rmci oboru a zce souvisejcch innost, pokud jsou pouity s jasnm pochopenm kontextu (porovnvn v rmci podoboru, ve kterm se citan praxe pli neli). 17
  18. 18. Indiktory: citan indexy (bibliometrika) Citan indexy jsou rovn uiten pro ely peer review i na rovni jednotlivch vsledk, kdy hodnotitel rozum kontextu a publikanm a citanm zvyklostem v oboru. 18
  19. 19. Informace: nejlep vstupy Poadavek, aby jednotky pro ely hodnocen identifikovaly svoje nejlep vstupy, nm umouje udlat si dobr obrzek o tom, co vzkumn jednotky um: slu, hloubku a ku jejich prce. Ponechv objem prce hodnotitele na zvladateln rovni. Zamuje pozornost na skuten vynikajc vzkumnou prci. Je dleit rozliovat rozmanitost forem vzkumnch vstup v jedn discipln i mezi vdnmi disciplnami. 19
  20. 20. Praxe: management a komunikace (1) Principy hodnocen a financovn mus bt pokldny za prhledn a spravedliv. Pome, pokud: proces hodnocen a kritria jsou publikovna podrobn a v pedstihu, vzkumn organizace ct, e jim bylo umonno zcela ukzat sv siln strnky, hodnotic panely maj plnou podporu sekretaritu a pracuj spolen, aby zajistili spolen standardy, panely poskytuj souhrnnou a podprnou zptnou vazbu, ve kter identifikuj siln i slab strnky. 20
  21. 21. Praxe: management a komunikace (2) Mli bychom udlat vechno, co meme, abychom odradili hodnocen vzkumn jednotky od plin pipravenosti a rozehrvn her. Nam clem by mlo bt podncovn dvry, e hodnotic systm najde vjimenost, a u existuje kdekoliv. 21
  22. 22. Hodnocen a financovn (1) Je asto nejlep provst hodnocen ped konenm rozhodnutm o parametrech financovn: sniuje se tak tlak na hodnotic panely, sniuje se tak rozsah rozehrvn her v podvanch pihlkch do hodnocen, umouje se vytvoit financovn na mru na zklad nalezenho vzorce vjimenosti. 22
  23. 23. Hodnocen a financovn (2) Je vysoce douc mt jasn nzor na to, jak objemy vzkumn innosti jsou posuzovny a financovny u jednotlivch vzkumnch jednotek a organizac. To vyaduje njakou formu potn aktivnch vzkumnch pracovnk . Mezi financovn a hodnocenm lze vytvoit vhodnou smyku zporn zptn vazby, odrazujc od nadhodnocovn FTE. Objem vstup nelze nap vdnmi disciplnami vrohodn srovnvat. 23
  24. 24. Nkolik mylenek na zvr PRFS je silnm nstrojem pro zkvalitovn nrodn vzkumn zkladny v souladu s cli politiky VaV a podporou ze strany vzkumnch manaer. Pravideln opakovn hodnocen umouje naladit postup na nrodn poteby a podmnky. Neexistuje jedin nejlep postup pro vechny vzkumn systmy. Pokud se pstup k hodnocen bude zdt vzkumnm jednotkm sloit a zatujc, me se stt, e pro ppravu budou dlat vce, ne je skuten nutn. Dobe navren systm nebude destabilizovat siln vzkumn jednotky. Tempo jakkoli zmny bude z velk sti ureno rozhodnutm o financovn. Prhlednost a dobr komunikace s vzkumnky ve vech stdich jsou nutnost. Vyskytne se kritika a jist mry rozehrvn her. Pokud vak bude systm dobe navren a zen, tak to neznehodnot vsledky: naopak, jist mra pokraujc debaty je uiten. 24
  25. 25. Dkuji za pozornost! www.metodika.reformy-msmt.