Efektivní systém institucionální

finanční podpory výzkumných

organizací založených na výkonech

(PRFS): principy a praxe

Paul Hubbard

www.metodika.reformy-msmt.cz

O mně…

• vedoucí výzkumné politiky na HEFCE, od 2003 do 2013: expertní poradenství v

oblasti návrhu systémů hodnocení a jejich využití při přidělování financí v podobě

„blokových grantů“ univerzitám ve Velké Británii,

• 1992 – spolupráce na vývoji hodnocení RAE; 1996 – RAE manažer; vedl práce

HEFCE, které přispěly k podstatnému přezkoumání principu hodnocení ve Velké

Británii a vyústily v hodnocení RAE 2014; předsedou řídicí komise RAE.

Poznámka překladatele:

HEFCE = Higher Education Funding Council for England

RAE = Research Assessment Exercise

PRFS = Performance-based Funding System

2

Efektivní PRFS: principy a praxe

• Proč bychom měli hodnotit kvalitu a proč navázat výkon na financování?

• Principy: v čem spočívá silný systém hodnocení a výběr principu hodnocení?

• Praxe: vědní disciplíny a výzkumné jednotky

• Praxe: informace a indikátory

• Praxe: management a komunikace

• Hodnocení a financování

• Několik myšlenek závěrem

3

Proč hodnotit kvalitu?

Hodnocení kvality nám umožní „dívat se zpět“, abychom „viděli dopředu“ a

plánovat na základě důkladného pochopení, odkud jsme začínali.

Efektivní hodnocení kvality nám může:

• podat informace o tom, jak dobrý je národní systém, instituce nebo výzkumná

skupina – poskytování informací veřejnosti a odpovědnost za veřejné

financování,

• identifikovat silné a slabé stránky,

• povzbudit a informovaně podněcovat ke zlepšení standardů.

4

Proč provázat výkon s

financováním?

Hodnocení propojené s financováním má všechny tyto dopady a navíc

poskytuje:

• mnohem silnější podněty ke zvýšení standardů a zároveň posiluje autoritu

výzkumných lídrů a manažerů,

• lepší cílení financování v návaznosti na cíle politiky VaV,

• posílení odpovědnosti za použité finance.

5

Co tvoří pevný hodnoticí systém?

• Objektivita a průhlednost: je vnímán jako férový a dobře informovaný,

• důslednost: všechny obory jsou hodnoceny na základě podobných kritérií a

souboru dat a společných měřítek excelence,

• vhodnost účelu: systém je navržen tak, aby splnil cíle politiky,

• vhodnost pro národní systém a kulturu: neexistuje jediné řešení, které

vyhovuje všem zemím a nejvhodnější sytém pro jeden stát nemusí být nejlepší

pro stát jiný,

• včasnost a opakování: hodnocení je pravidelně aktualizováno a učíme se v něm

z vlastních zkušeností, abychom zdokonalili náš postup,

• důvěryhodnost: poskytovatelé, výzkumníci i ostatní přijmou, že výsledky

hodnoticího systému jsou dobré.

6

Výběr principu hodnocení a

financování (1)

Co chceme znát a čeho se snažíme docílit?

• Jasný přehled silných a slabých stránek nám pomůže při volbě, jaká politická

rozhodnutí pro zlepšení, případně pro cílené financování zvolit.

• Identifikace silných oblastí a důkladná pozornost věnovaná společenskému

dopadu výzkumu předloženého k hodnocení nám pomůže zajistit, aby

výzkumná základna plně podporovala národní hospodářství.

7

Výběr principu hodnocení a

financování (2)

Hlavní dostupné principy hodnocení jsou:

• Sebehodnocení,

• Statistické hodnocení (“indikátory” nebo “metriky”),

• Peer review.

8

Sebehodnocení

• Napomáhá výzkumníkům a hodnoceným výzkumným jednotkám zajistit, aby

jejich silné stránky byly viditelné a plně doceněné.

• Podporuje reflexi a budování strategií ve výzkumných jednotkách.

• Pokud je však použito jako hlavní prvek hodnocení nebo financování, tak

vyvstávají nevyhnutelné otázky důvěryhodnosti a spolehlivosti.

9

Hodnocení pomocí statistik

• Je objektivní a zakládá se na faktech, není jednoduše manipulovatelné nebo

ovlivnitelné.

• Lze jej provést relativně jednoduše a levně a může být opakováno dle

potřeby.

• Funguje však lépe v určitých oborech než v jiných a pro velké jednotky než

pro menší.

• Kvantitativní informace nám ovšem nemohou říci všechno o výzkumné

jednotce; vybraný statistický přístup a interpretace dat budou hojně

kritizovány

10

Peer review

• Dobře zavedená metodika, široce akceptována ve výzkumné komunitě.

• Peer review hodnocení je pouze tak dobré, jak dobré jsou informace, na

kterých se zakládá, a jaká je odbornost hodnotitelů. Dobře navržený systém a

jeho ověření ve srovnání s mezinárodními standardy excelence jsou

základem úspěchu.

• Významná účast mezinárodních hodnotitelů zajistí, že výstupy hodnocení

budou porovnatelné s mezinárodními standardy, a zároveň bude

minimalizován možný střet zájmů.

11

Vybíráme si svoje postupy

• Nejlepší postup k tomu, abychom dospěli k vyváženému a kvalitnímu

hodnocení napříč všemi obory a na úrovni jednotlivých institucí nebo

jednotek, je peer review hodnocení, které čerpá z pečlivě vybraných a

interpretovaných statistických a kontextuálních informací. Tento postup musí

umožnit výzkumným organizacím a jednotkám, aby sdělily, v čem podle nich

spočívá jejich hlavní síla.

• Hodnocení, které kombinuje jasné a široké indikátory se škálováním proti

několika hodnoticím kritériím, může nejlépe zachytit celý rozsah rozdílných

výzkumných metod a výstupů napříč akademickým spektrem. Mnohem lépe,

než přidělení jedné jediné „známky“.

12

Praxe: obory a výzkumné

jednotky (1)

• Jak rozdělit práci mezi obory a jak definovat výzkumnou jednotku v praxi, to

jsou klíčová rozhodnutí.

• Je nutné zajistit, aby hodnocení bylo provedeno na správné úrovni a bylo

dostatečně detailní. Tím budou rozpoznatelné různé přístupy napříč obory a

také bude možné získat informace pro politická rozhodnutí.

13

Praxe: obory a výzkumné

jednotky (2)

• Je třeba zajistit, aby panely hodnotily výzkumné skupiny a jednotky, ne jednotlivce.

• Informace o specifickém rozpoznatelném oboru nebo podoboru jsou užitečnější pro

manažery a plánovače než pro širší posouzení.

• Potřebujeme definovat oborové disciplíny, abychom reflektovali běžnou praxi – jak jsou

výzkumníci seskupeni a řízeni v rámci svých institucí?

• Je důležité, že hodnoticí panel funkční velikosti by neměl pokrývat příliš široký obor, aby byl

důvěryhodný.

• Velikost systému je relevantní – objem práce panelu by měl být zvladatelný.

• Seskupení panelů do širokých oborových skupin pomáhá udržet společné standardy.

• Systém musí dobře zvládat mezioborové disciplíny výzkumu.

14

Praxe: informace a indikátory

• Musíme sesbírat dostatek informací, abychom dali panelům celkový obraz.

• Zároveň nesmíme zahltit panely informacemi, které nepotřebují nebo kterým

nerozumí.

• Je dobré mít kombinaci vstupních a výstupních dat. Vstupní data nám řeknou,

se kterými zdroji musí jednotka pracovat; výstupní data nám ukáží, co umí

jednotka z těchto zdrojů vytvořit. Obojí jsou dobrými indikátory kapacity a

potenciálu jednotky k dosažení excelentního výzkumu v budoucnu.

• Kvantitativní indikátory by měly být použity k informování akademického

posouzení: neměly by být použity přímo jako zdroj pro hodnocení kvality

15

Indikátory

Ideálně potřebujeme množinu indikátorů, která pomůže hodnoticímu panelu

porozumět:

• jaké zdroje má jednotka k dispozici (ukazují její kapacitu a závazky

financujících),

• jaké vnější uznání (financování a jiné) si její úspěchy zasloužily,

• celou škálu úspěchů a jejich dopadů,

• může být ponechán prostor pro indikátory produktivity, zejména pokud je to v

zájmu politiky, ale objem práce jako takové nemusí vždy být indikátorem

kvality.

16

Indikátory: citační indexy

(bibliometrika)

Citační indexy jsou významným indikátorem kvality výzkumu:

• v oborech, kde je publikování v časopisech/sbornících zavedenou praxí,

• v případě, že se hodnotí dostatečný počet výsledků v rámci oboru a úzce

souvisejících činností,

• pokud jsou použity s jasným pochopením kontextu (porovnávání v rámci

podoboru, ve kterém se citační praxe příliš neliší).

17

Indikátory: citační indexy

(bibliometrika)

Citační indexy jsou rovněž užitečné pro účely peer review i na úrovni jednotlivých

výsledků, kdy hodnotitelé rozumí kontextu a publikačním a citačním zvyklostem v

oboru.

18

Informace: nejlepší výstupy

Požadavek, aby jednotky pro účely hodnocení identifikovaly svoje nejlepší

výstupy, nám umožňuje udělat si dobrý obrázek o tom, co výzkumné

jednotky umí: sílu, hloubku a šířku jejich práce.

• Ponechává objem práce hodnotitele na zvladatelné úrovni.

• Zaměřuje pozornost na skutečně vynikající výzkumnou práci.

• Je důležité rozlišovat rozmanitost forem výzkumných výstupů v jedné

disciplíně i mezi vědními disciplínami.

19

Praxe: management a

komunikace (1)

Principy hodnocení a financování musí být pokládány za průhledné a

spravedlivé. Pomůže, pokud:

• proces hodnocení a kritéria jsou publikována podrobně a v předstihu,

• výzkumné organizace cítí, že jim bylo umožněno zcela ukázat své silné

stránky,

• hodnoticí panely mají plnou podporu sekretariátu a pracují společně, aby

zajistili společné standardy,

• panely poskytují souhrnnou a podpůrnou zpětnou vazbu, ve které identifikují

silné i slabé stránky.

20

Praxe: management a

komunikace (2)

Měli bychom udělat všechno, co můžeme, abychom odradili hodnocené

výzkumné jednotky od přílišné připravenosti a „rozehrávání her“. Naším cílem by

mělo být podněcování důvěry, že hodnoticí systém najde výjimečnost, ať už

existuje kdekoliv.

21

Hodnocení a financování (1)

Je často nejlepší provést hodnocení před konečným rozhodnutím o

parametrech financování:

• snižuje se tak tlak na hodnoticí panely,

• snižuje se tak rozsah „rozehrávání her” v podávaných přihláškách do

hodnocení,

• umožňuje se vytvořit financování na míru na základě nalezeného vzorce

výjimečnosti.

22

Hodnocení a financování (2)

• Je vysoce žádoucí mít jasný názor na to, jaké objemy výzkumné činnosti jsou

posuzovány a financovány u jednotlivých výzkumných jednotek a organizací.

• To vyžaduje nějakou formu počítání aktivních výzkumných pracovníků . Mezi

financování a hodnocením lze vytvořit vhodnou „smyčku záporné zpětné

vazby“, odrazující od „nadhodnocování“ FTE.

• Objem výstupů nelze napříč vědními disciplínami věrohodně srovnávat.

23

Několik myšlenek na závěr

• PRFS je silným nástrojem pro zkvalitňování národní výzkumné základny v souladu s cíli

politiky VaV a podporou ze strany výzkumných manažerů.

• Pravidelné opakování hodnocení umožňuje naladit postup na národní potřeby a podmínky.

Neexistuje jediný nejlepší postup pro všechny výzkumné systémy.

• Pokud se přístup k hodnocení bude zdát výzkumným jednotkám složitý a zatěžující, může se

stát, že pro přípravu budou dělat více, než je skutečně nutné.

• Dobře navržený systém nebude destabilizovat silné výzkumné jednotky. Tempo jakékoli

změny bude z velké části určeno rozhodnutím o financování.

• Průhlednost a dobrá komunikace s výzkumníky ve všech stádiích jsou nutností.

• Vyskytne se kritika a jistá míry „rozehrávání her“. Pokud však bude systém dobře navržen a

řízen, tak to neznehodnotí výsledky: naopak, jistá míra pokračující debaty je užitečná.

24

Děkuji za pozornost!

www.metodika.reformy-msmt.cz