Hodnocení VaVaI a role

IPN Metodika

Jitka Moravcová

Daniel Münich

MŠMT

www.metodika.reformy-msmt.cz

VŠCHT Praha

14.11.2014

Osnova presentace

1

1. Význam hodnocení pro řízení

2. IPN Metodika

3. Mezihry: jak by hodnocení také mohlo vypadat

4. Kde jsme dnes

5. Základní atributy navrhovaného hodnocení

6. Harmonogram

7. Institucionální financování

2

Význam hodnocení pro řízení

Stanovení priorit VaV Řízení lidských

zdrojů VaV

Efektivní pořizování a využívání

infrastruktur VaV

Správně nastavené motivace ve VaV

Bez kvalitního hodnocení nebude

kvalitního řízení

3

Význam hodnocení pro řízení

vláda, RVVI,

EU rámec

Poskytovatelé

Výzkumné a další organizace

Pracovníci a infrastruktury VaV

Strategie, financování, ex-post hodnocení

Financování, dohled, strategické řízení

Řízení (včetně lidských zdrojů), motivace

Motivace

4

Hodnocení a národní strategické dokumenty

● Reforma systému VaVaI v ČR (2008, aktualizace) ● Národní politika VaVaI pro roky 2009-2015 (výhled 2020) ● Národní strategie konkurenceschopnosti 2012-2020 ● Národní inovační strategie ● Dlouhodobé principy hodnocení VaV, RVVI

Cíl: Zavést pravidelné, systematické a objektivní hodnocení

VaVaI v ČR na všech úrovních.

Mezinárodní audit systému VaVaI v ČR, 2009 - 2011

IPN Metodika

5

Kultura hodnocení

(bez hodnocení není kvalitní

řízení)

Hodnocení institucí

Hodnocení programů účelové podpory

Hodnocení projektů účelové podpory

Hodnocení velkých

infrastruktur VaV

Hodnocení účasti v

mezinárodních sítích VaV

Hodnocení jednotlivců

Odstíny červené odlišují míru

toho, jak je daný aspekt

obsažen v IPN Metodika.

IPN Metodika

6

IPN Metodika

Technopolis a spol.

Institucionální hodnocení

Malé pilotní ověření

Institucionální financování

Expertní tým IPN

Velké pilotní ověření

Návrh systému hodnocení

velkých infrastruktur

VaV

Principy hodnocení programů účelové podpory

Zásady hodnocení zapojení do

mezinárodních sítí

Studie proveditelnosti

hodnocení organizujícího

pracoviště

Osvěta a podpora

lidských zdrojů

IPN Metodika

7

Individuální projekt národní MŠMT, 2012-2015

● Zavedení evaluačních principů ověřených zahraničních praxí adaptovaných na naše národní podmínky.

● Multikriteriální oborové metodiky hodnocení respektující postavení dané VO v systému VaV.

● Využití dosavadních zkušeností s Metodikou a hodnocením AV ČR.

● Žádný mechanický vztah mezi výsledky hodnocení a výší institucionální podpory.

● Víceleté financování jako kombinace rozpočtu podle předpisu a výkonnostních smluv.

● Účinná spolupráce s RVVI. Otevřená diskuse se všemi aktéry (poskytovatelé!). Jak dosáhnout konsensu?

IPN Metodika – klíčové aktivity

8

● KA1 Informační podpora

● KA2 Systém hodnocení

● KA3 Systém financování

● KA4 Velké pilotní ověření

● KA5 Harmonogram pro přechodné období a podklady pro legislativní změny

● KA6 Institucionální zajištění hodnocení

● KA7 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí

Kde jsme dnes – mezihra I

9

•Španělské hodnocení, HN 2007

1. UK Praha

2. MU v Brně

3. ČVUT Praha

4. VUT Brno

5. ZU v Plzni

6. VŠE v Praze

7. TU Ostrava

8. Policejní akademie v Praze

9. UP Olomouc

10. JU v Č. Budějovicích

11. TU Liberec

12. ČZU Praha

13. VŠCHT Praha

14. Univerzita Pardubice

15. UTB ve Zlíně

16. MZLU v Brně

17. Slezská univerzita Opava

18. Ostravská univerzita

19. Univerzita Hradec Králové

20. Univerzita JEP Ústí n. L.

Španělský žebříček vs počty studentů

y = 46,756x-0,6347

R2 = 0,7544

0

5

10

15

20

25

30

35

40

45

50

0 5 10 15 20

umístění

po

če

t s

tud

en

tů

Kde jsme dnes – mezihra II

10

3

● Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012

Kde jsme dnes – mezihra II

11

2

● Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012

Kde jsme dnes – mezihra II

12

1

● Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012

Kde jsme dnes – mezihra III

13 ● Münich: http://metodikahodnoceni.blogspot.cz/2014/08/jak-jsme-na-tom-chemie.html

Kde jsme dnes – mezihra IV (poslední)

14

● Porovnání VVŠ podle bodů v RIV, 2012

● provádí se korekce bodů, která se odvíjí od toho, co vyprodukovaly jiné VŠ,

● průběžně se zvyšuje počet časopisů registrovaných ve Web of Science a Scopusu, což zvyšuje počet přidělených bodů, aniž by musela produkce článků dané školy reálně růst

Zdroj: http://www.upce.cz/deska/dokumenty/vyr-zpravy.html

Kde jsme dnes – mezihra IV (poslední)

15

● Porovnání VVŠ podle bodů v RIV, 2009-2012

● pravidla přidělování a výpočtu bodů dle Metodik se rok od roku měnila (nelze

sledovat trend), Zdroj: http://www.upce.cz/deska/dokumenty/vyr-zpravy.html

Kde jsme dnes – Metodika 2013

16

● Pilíř I: Oborové hodnocení publikačních výsledků. Výsledky typu J, B, C a D v RIV + peer-review hodnocení výsledků typu B a C (subpilíř I), relativní podíl oborových panelů na celkovém počtu bodů.

● Pilíř II: Hodnocení kvality. Jeden excelentní výsledek na každých 10 MKč IP, peer-review hodnocení, 20 % v každém oboru dostane zvláštní bonifikaci, projekty ERC.

● Pilíř III: Hodnocení patentů a nepublikačních výsledků aplikovaného výzkumu. Body pouze u patentu, projekty aplikovaného výzkumu + smluvní výzkum.

Kde jsme dnes - Metodika

17

● Definuje, které výsledky jsou uznatelné, jak se data sbírají a jak se převádějí na body.

● Dává jasný signál: žádný výsledek, žádná institucionální podpora.

● Je účinná proti nepotismu, korupci a lobování (?).

● Slouží pro výpočet institucionálního financování, které je krátkodobé, proto je špatným nástrojem pro dlouhodobé plánování, rozvoj nových oborů…

● Uznává jen minulé výsledky.

● Podporuje fragmentaci vědeckých výsledků.

● Nepodporuje mezioborové týmy.

● Je pouze kvantitativní (kvalitu nahrazuje kvantita).

Metodika vs WoS

18 • WoS, heslo „Czech Republic“, 25.1.2014, roztřídění podle instituce

Základní atributy navrhovaného hodnocení

19

1. Zohlednění oborových specifik

2. Zohlednění postavení a účel VO v systému VaV

3. Hodnocení inst. jednotek (fakulty a ústavy)

4. Hodnocení výstupů, výsledků, dopadů, řízení, mezinárodního zapojení, využívání infrastruktur

5. Forma peer-review

a. mezinárodní

b. informované

c. formou distanční vs. s návštěvou

d. využívající zkušenosti z realizace Hodnocení 2014 a AV ČR

6. Hodnocení 1x za ~5 let

7. Náklady max. 1 % národní inst. podpory za hodnocené období (srovnejme s dnešními 2,5% inst. podpory VaV dle par. 3, odst. (3), zákona 130/2002)

Zamýšlená struktura hodnocení

20

Research Unit 1

Evaluated Unit 1 Research Unit 2

Research Unit 3

Field 1

Field 2

Field 3

Research Unit 1

Evaluated Unit 2 Research Unit 2

Research Unit 3

Field 1

Field 2

Field 3

Research Unit Evaluated Unit

Research Unit 1

Research Unit 2

Field

Field 1

Field 2

Research organisation

Etc …

Research organisation

Evaluated Unit Research organisation

Case 1

Case 2

Case 3

Zamýšlená organizace hodnocení

21

Main Panels

Panels

Referees

Main Panel Chairs Main Panel Members

Panel Chairs Panel Members

Panel Secretariat

Specialist advisors - Sciences

Specialist advisors - Context

Referees

Evaluation management team Evaluation management board

Zamýšlená hodnotící kritéria

22

Assessment criteria Indicator categories

Institutional management and

development potential

Quality and adequacy of the physical

research environment & attractiveness to

the scientific community

Research strategy and (HR) management

Membership of the national and

global research community

International research presence and

collaboration

National research presence and

collaboration

Research performance Research productivity

Research capacity building

Overall research quality

Research excellence Peak quality of the scholarly outputs

Societal relevance

Value of the research activities for the

business & industry sector

Value of the research activities for other

societal actors, including government

Vazba na současný systém

23

1. Využití dat v IS VaV a zavedeného systému sběru

2. Sledování ukazatelů v období mezi hodnocením

3. Využití zkušeností s fungováním prvků peer review

4. Obdoba využití indikátorů na formula funding v menším rozsahu

Harmonogram IPN Metodika

24

1. Průběžná zpráva: návrh hodnocení

• Připomínky exp. týmu IPN (8. – 17.10. 2014)

• Proces veřejné konzultace (6. – 26.11. 2014)

• Veřejná konference (7. 1. 2015)

2. Průběžná zpráva: návrh financování

• Připomínky exp. týmu IPN (19.12. – 6.1. 2015)

• Proces veřejné konzultace (20.1. – 6.2. 2015)

• Veřejná konference (konec února 2015)

Závěrečná zpráva: + malé pilotní ověř.

• Připomínky exp. týmu IPN (19. – 30.3. 2015)

• Proces veřejné konzultace (15. – 29.4. 2015)

• Veřejná konference (květen 2015)

Závěrečná zpráva IPN (podzim 2015)

Post IPN harmonogram (předpověď)

25

Příprava hodnocení (2016-2017)

• Legislativa

• Informační nástroje a informace (WoS, IS VaV)

• Hodnocení organizující pracoviště a hodnotitelé

Realizace hodnocení (~2018)

• Sebehodnotící zprávy VO

• Bibliometrické zprávy a další informace

• Práce panelů

Zpracování a využití výsledků (2019-20)

• Syntéza výsledků

• Zpětná vazba pro VO a součásti

• Informace pro strategické řízení na úrovni vlády/RVVI

Institucionální financování

26

0

1 000 000

2 000 000

3 000 000

4 000 000

5 000 000

6 000 000

7 000 000

MO MK MV Mze MZ MPO TA ČR GA ČR AV ČR MŠMT

Poskytovatelé podpory

institucionální

účelová

tis. Kč

Institucionální financování VVŠ 2013

27

tis. Kč

Institucionální financování

28

● Dotace z veřejných prostředků (bez investic a SF)

VaV

Vzdělávání

● zdroj: Výroční zprávy VVŠ o hospodaření 2012

Účelové financování

29 ● zdroj: Výroční zprávy VVŠ o hospodaření 2012

Spolupráce s odběrateli

30 ● zdroj: Výroční zprávy VVŠ o hospodaření 2012

● Smluvní výzkum, 2012

● Prodej licencí, 2012

tis. Kč

Institucionální financování

31

● Hodnocení a jeho vztah k institucionálnímu financování

● 100%

● Žádný

● Něco mezi tím

● V současnosti: 80 a 20 % dle RIV bodů

● MŠMT 100 % podle RIV bodů

Návrh institucionální financování

32

● Bude součástí až 2. dílčí zprávy

● Víceleté financování jako kombinace dvou principů:

● rozpočet podle předpisu (formula funding), backward-looking

● výkonností smlouvy (performance based contracts), forward-looking, umožňující směrování rozvoje

● Různé nastavení pro různé segmenty systému VaV

● IPN doporučí poměry financování + pro a proti

● Delší přechodné období s procesem „učení“

33

Děkujeme za spolupráci.

Všechny informace budou na

webových stránkách projektu.

Kontaktovat nás můžete kdykoliv.

www.metodika.reformy-msmt.cz