Hodnocení vědy v ČR

Dva základní přístupy:

o hodnocení bibliometrické – měření vědeckých výsledků a výstupů,

o hodnocení peer-review – panelové hodnocení skupinou odborníků, kteří jsou experti v dané oblasti.

Hodnocení vědy

o provádí RVVI (Rada vlády pro výzkum, vývoj a inovace)

o databáze IS VaVaI (projekty, záměry, hodnocení)

o způsob hodnocení je určen Metodikou hodnocení

• probíhá složitá diskuse nad její podobou• od roku 2004 každý rok nová metodika • Metodika 2010 – zavádí přepočet bodů přímo na peníze• Metodika 2012 – fixuje 80 % dle dotace z minulých let,

jen 20 % je závislé na aktuálních výsledcích v RIVu

Hodnocení vědeckých výstupů v ČR

Financování vědy v ČR podle RVVI

2014 2015 2016 2017

26,6 29,7 30,6 31,8

Rada vlády pro výzkum, vývoj a inovace počítá s následující podporou VaV (vědy a výzkumu) v příštích letech (v mld. Kč).

5

IS VaVaI

• Hodnocení je prováděno na základě výsledků VaV odevzdaných institucemi do Registru informací o výsledcích státem podporovaného výzkumu a vývoje (RIV).

• Odevzdávání výsledků do RIVu je povinné ze zákona 130/2002 Sb pro výsledky, které vznikly z veřejných prostředků.

• Data v RIV jsou navázana na ostatní části Informačního systému VaVaI (IS VaVaI)

• CEP = Centrální evidence projektů výzkumu a vývoje financovaných ze státního rozpočtu (tedy granty, projekty),

• VES = Evidence veřejných soutěží ve výzkumu a vývoji, • CEA = Aktivity ve výzkumu a vývoji - informace o příjemcích, poskytovatelích a výši

podpory. • CEZ = Centrální evidence výzkumných záměrů.

Metodika hodnocení 2014o Reaguje na kritizované vlastnosti předchozího hodnocení:

• nezohledňování oborových specifik,• přímou vazbu bodů na finance,• paušální hodnocení knih.

o Hodnocení je rozděleno do tří částí: o hodnocení publikačních výsledků,o výzkumná kvalita – excelence,o hodnocení aplikovaného výzkumu.

Časová posloupnost – financování dle RIVu

Výsledky z let Příprava hodnocení

Státní rozpočet

Financování dle RIVu

2009-2013 2014 2015 2016

o Výsledky jsou počítány v pětiletém pohyblivém okně, další rok jsou sebrány, kontrolovány a hodnoceny, o rok později je na jejich základě připraven rozpočet pro následující rok.

o Systém financování zareaguje na odevzdaný výsledek až za tři roky.

• Články v časopisech z WoSu • článek, který je obsažen v databázi Web of Science

společnosti Thomson Reuters,• impaktní faktor příslušného časopisu je každoročně zveřejňován v

databázi Journal Citation Reports,• české časopisy ve WoS - informační seznam.

• Články v časopisech ze Scopusu• článek v odborném periodiku, který je obsažen v databázi SCOPUS

společnosti Elsevier,• východiskem pro bodové hodnocení je indikátor SJR (SCImago

Journal Rank) indikátor.

Články v časopise WoS, Scopus

Články v časopisech z ERIHu• článek v odborném periodiku, který je obsažen seznamu ERIH Plus,• ERIH - European Reference Index for the Humanities,• je to prostá databáze časopisů, není to citační rejstřík.

Článek v českém recenzovaném časopise• je zařazen v Seznamu neimpaktovaných recenzovaných periodik vydávaných v

České republice • pouze české recenzované vědecké časopisy všech oborů• poslední aktualizace proběhla v roce 2013.

Ostatní články v časopise

• Kniha je neperiodická odborná publikace o rozsahu alespoň 50 tištěných stran vlastního textu bez fotografických, obrazových, mapových příloh vydaná tiskem nebo elektronicky a recenzovaná alespoň jedním uznávaným odborníkem,

• bodové hodnocení knihy se liší podle toho, je-li vydána ve světovém jazyce (angličtina, čínština, francouzština, němčina, ruština a španělština) nebo je-li vydána v jazycích ostatních,

• hodnotí se i kapitola v knize, výsledek se dělí mezi autory poměrným počtem stran dané kapitoly,

• podmínkou pro hodnocení je dodání výtisku do Národní knihovny ČR.

Odborná kniha

o sborníkem je recenzovaná neperiodická publikace, vydaná u příležitosti pořádané konference, semináře nebo sympozia a má přidělen ISBN kód

o počítají se pouze články ve sbornících, jenž byly zařazeny do Conference Proceedings Citatition Index společnosti Thompson Reuters (Web of Science) • oproti vědeckým časopisům však není jistota, že se podaří sborník do

této databáze zařadit (evaluační proces někdy trvá déle než rok) • konference, jež bývá tradičně evidovaná, se dá najít v excelovém

seznamu Thomson Reuters, který je průběžně doplňován (jedná se v naprosté většině o zahraniční konference)

Články v konferenčním sborníku

12

Bodová tabulka hodnocení

13

Bodová tabulka hodnocení

54%28%

12%

4% 1%1% 0%

Druhy výsledků na FF UK podle korigovaných bodů

Odborná kniha nebo kapitola v knize

Článek v neimpaktovaném časopise, nebo databázi (Scopus, ERIH)

Článek v Seznamu recenzovaných časopisů vydávaných v ČR

Článek v impaktovaném časopise (Web of Science)

Certifikovaná metodika, specializovaná mapa

Software

Článek ve sborníku

Druhy vědeckých výsledků na FF UK

Příprava nového způsobu hodnocení VaV

• Britská společnost Technopolis Group v období 2010-2011 realizovala analýzu celého systému výzkum-vývoj-inovace v ČR,

• všechny dokumenty jsou veřejně dostupné na webových stránkách MŠMT,

• audit stál 50 milionů Kč,

• závěrečná zpráva z více než roční práce na objektivním zhodnocení vědy v Česku má (bez příloh) přes 1060 stran.

Analýza společnosti Technopolis17

Závěry společnosti TechnopolisSlabiny:• Rada vlády pro výzkum a vývoj nemá vhodné analytické zázemí,• podíl HDP na VaV je pod průměrem EU,• nízká úspěšnost v evropských programech – věd. pracovníci nemají

kvalitní administrativní aparát,• hodnocení je příliš mechanické – jednoduché převádění bodů na

peníze,• nedostatečná spolupráce se soukromým sektorem,• lidské zdroje – malé týmy zvládají jen malé projekty (do milionu korun),• malá flexibilita týmů – zahnízdění v jednom prostředí,• nízká mobilita - doktorandi musí jet do zahraničí, málo zahraničních

pracovníků, • nízký počet žen ve vědě.

Doporučení:• obnovit důvěru a otevřenost komunikace, zlepšit spolupráci

Akademie věd a vysokých škol,• zvýšit výdaje státního rozpočtu na úroveň EU průměru,• provést analýzu počtu ústavů akademie a počtu vysokých škol.

18

• V roce 2012 byl spuštěn projekt Efektivní systém hodnocení a financování VaVaI (tzv. projekt IPn Metodika), s rozpočtem 111 mil Kč.

• Tzv. velké hodnocení – hodnocení výzkumných organizací se bude zpracovávat jednou za 5 let.

• Doporučuje složit hodnocení výzkumné organizace ze tří částí:o Autoevaluace – tedy hodnocení, ve kterém instituce sama

vyzvedne to, co se jí nejvíce povedlo, jaké výsledky považuje za nejkvalitnější a v čem naopak vidí své rezervy.

o Bibliometrické hodnocení – podobně jako dosud je třeba pokračovat ve sbírání výsledků do systému IS VaVaI a z něj pravidelně počítat bibliometrické výstupy.

o Peer review – hodnocení doplnit o tým zahraničních odborníků, kteří budou na základě předložených podkladů hodnotit expertním způsobem výzkumné organizace.

IPn Metodika – návrh nového hodnocení

19

Ukázky scientometrických analýz

Výsledky UK v Praze v roce 2015

• Graf ukazuje srovnání jednotlivých fakult UK podle výše celkových účelových prostředků, které byly fakultám přiděleny na základě vykázaných výsledků v databázi RIV.

• Jedná se o finanční příjem fakult v roce 2015 za výsledky v období 2008 – 2012.

21

Publikační výsledky UK podle druhu

• Graf zobrazuje ve finančním vyjádření publikační výsledky fakult UK (z nichž byl odvozen finanční příjem fakult v roce 2015)

• Výsledky jsou rozčleněné podle druhu.

22

Výsledky fakult UK podle oboru

• Graf zobrazuje výsledky fakult UK podle jejich poměrného zastoupenív jednotlivých skupinách oborů.

• Celkový počet skupin oborů podle metodiky RVVI je jedenáct.

23