1. 1. ANALZA MEZINRODN PRAXE HODNOCEN DOPADU VZKUMU A VVOJE VYSOKOKOLSKCH INSTITUC prce v rmci projektu Vzdlvac kurz realizovan v rmci Individulnho projektu nrodnho Efektivn systm hodnocen a financovn vzkumu, vvoje a inovac (IPN Metodika), CZ.1.07/4.1.00/33.0003 Ing. Zoltn Horvth
2. 2. 1 Anotace Clem prce je poskytnout analzu mezinrodn uznvanch metod pro hodnocen dopadu vzkumu vysokokolskch instituc. Hodnocen dopadu slou zejmna pro opodstatnn vzkumu ve spolenosti a pro opodstatnn financovn vzkumu jak z veejnch tak i soukromch rozpot. V vodu analzy budou pedstaveny dvody pro implementaci hodnocen dopadu, pekky/vzvy a zkuenosti z mezinrodn praxe. Pedmtem analzy budou ti rmce a to: Research Excellence Framework (Velk Britnie), Reseach Quality Framework (Austrlie) a Evaluating Research in Context (Nizozemsko). V analze budou popsny jednotliv rmce z pohledu proces, tedy slovn popis procesu hodnocen dopadu (hodnocen dopadu tvo jeden z aspekt kadho rmce), a jejich vhody a nevhody. Pedpokldanm pnosem bude integrace a pedn informac z rznch publikac vytvoen odbornky ve vd a vzkumu i pmo tm, kter se podleli na implementaci ve zmnnch rmc pro hodnocen vdy a vzkumu v UK, Austrlii a Nizozemsku. Tyto informace by mohli podpoit vytvoen metody hodnocen dopadu vzkumu a vvoje v esk republice.
3. 3. 2 Zkratky VaV Vzkum a vvoj REF Research Excercise Framework RAND Research And Development RQF Research Quality Framework ERiC Evaluating Research in Context BSIK Besluit subsidies Investeringen Kennisinfrastructuur FES Fund for the Enhancement of the Economic Structure OECD Organisation for Economic Co-operation and Development
4. 4. 3 1 VOD Clem tto zprvy je poskytnout vod do problematiky hodnocen socio-ekonomickho dopadu VaV (dle jen dopad), systmy pro jeho hodnocen a metody aplikovan v tchto systmech. Vysoce dleitm aspektem tto problematiky jsou metody hodnocen dopadu. Proto je tento aspekt dle detailnji diskutovn na relnch ppadech metod implementovanch v rmcch pro hodnocen VaV v UK a Nizozemsku. V tto zprv je souasn zahrnuta metoda hodnocen dopadu, kter byla navrena pro rmec RQF v Austrlii, avak nebyla uvedena do praxe z politickch dvod. Dvodem pro jej zahrnut je ten fakt, e prvky tto metody se staly vchodisky pi vytven metody pro hodnocen dopadu v rmci REF (Velk Britnie) [6]. Informace zde uveden byly erpny z lnk a knih odbornk, vzkumnk, konzultant a skupin, kter se podleli nebo podlej na nvrhu a implementaci rmc pro hodnocen VaV, jejich soust je hodnocen dopadu. Prce by teni mla poskytnout fundamentln odpovdi na otzky: Co to je socio-ekonomick dopad VaV? Jak jsou souasn metody hodnocen dopadu? Jak jsou dvody pro implementaci metod hodnocen dopadu? Vtina zem OECD investuj kad rok do VaV piblin 2 a 3 procenta z hrubho domcho produktu [22]. Do 70. let 20. stolet nebyl tvrci politik zpochybovn pozitivn vliv veejnho financovn VaV na oblasti jakou jsou komunikace, profesionln praxe, bydlen, textiln prmysl a potravinstv, dopravn systm i na dlku a kvalitu ivota lid [23]. Mnoho zem pijalo zsadu, e vda je esenc, kter zemi dr konkurenceschopnou, ale tato esence mus bt finann podporovna. [24] V USA Vannevar Bush (1945) argumentoval tm, e jakkoliv investice do VaV jsou ze sv podstaty pnosem pro spolenost. Avak od 80. let 20. stolet a po souasnost je nutn veejn financovn VaV ospravedlnit v podob vnitnho hodnocen (jinak znmo jako peer review i evidence-based expert review) a indiktor k men vdeckch vstup a dopad (oznaovno mdnm heslem audit society a new public management). Jedin aspekt, kter byl jet v nedvn dob brn v potaz, byl dopad vdy na akademick a vdeck znalosti. Pedpokladem bylo, e pro spolenost me bt nejvce pnosn excelentn vzkum. Od 90. let 20. stolet se nov trend viditeln odkln od automatick dvry v platnost tohoto pedpokladu; oekv se, e by mly bt poskytnuty daje jasn poukazujc na hodnotu vdy pro spolenost [20]. Jak je efektivita vynaloench veejnch prostedk na vzkum a kter jej vsledky mli pnos pro spolenost? [21] Rozsah aktivit hodnocen vdy a vzkumu se rozil [26][27] se vstupem spoleenskch produkt (angl. societal outputs i research outputs), spoleenskho vyuit (angl. societal references) a spoleenskch pnos (angl. changes in society i benefits) [28]. Co dnes kad oekv, je metoda men dopadu vzkum na kvalitu ivota lid, operativnch kapacit firem, jejich kulturu, prosted atd. Spolenost me erpat pnosy z vsledk vzkumnch projekt a studi, pouze pokud jsou tyto vsledky transformovny do obchodnch a spotebnch produkt (jako jsou nap. liva, diagnostick nstroje, stroje a zazen) nebo slueb [30]. Nap. v programu Science and Technology for Americas Reinvestment: Measuring the Effect of Research on Innovation, Competitiveness and Science (STAR METRICS; https://www.starmetrics.nih.gov/) je men dopad vzkumnch grant a soute (zakzek) na zamstnanost a ekonomick rst [31][32]. Zejmna pnosy zkladnho vzkumu byly od 90. let 20. stolet [34]0 pedmtem zvl pozornho hodnocen mon z dvodu toho, e dleitost zkladnho vzkumu pro spolenost nen pln pochopena[33].
5. 5. 4 Vzkum, kter je vysoce citovn nebo publikovn ve svtovch periodicch me bt pnosem pro akademick disciplny, nemus vak pnosem pro spolenost[35] Dal hledisko, kter je nutn brt v potaz, je as potebn pro dosaen pnosu a efektivity vzkumnch vstup (viz dlen vzkumnch vstup dle jejich asov perspektivy v [44], kapitola 3.1 Concept of societal impacts). Vzkumn vsledky mohou bt v urit asovm obdob povaovny za velmi pnosn, avak s postupem asu se me ukzat, e nemaj dn miteln dopad v dan aplikan oblasti (pkladem me bt aplikace morfia, kter byl pozdji shledn jako nvykov). V kontrastu s tm vak existuj vzkumn vsledky, kter vdeck komunita neshled za velmi kvalitn i pnosn, ale maj pm dopad na spolenost (nap. analzy a studie efektivnosti nklad spojench s vzkumnmi projekty).[35] Mimo vzdlvn a vzkum se od univerzit stle vce oekv, e budou naplovat jejich tet roli[8]. Aktivity spojen s touto tet rol pedstavuj stimulaci aplikace a vyuit znalost za elem socilnho, kulturnho a ekonomickho vvoje spolenosti. Tato tet role tak pedstavuje interakci univerzit a akademickho vzkumu se irokou veejnost [8][9]. V akademick literatue lze nalzt nkolik koncept podporujc tuto interakci, jako je nap. Mode 2 knowledge production a Triple Helix of university-industry-government relations [10][11][12] Avak tyto koncepty pedstavuj spe velmi obecnou ideu a nekaj, jak hodnotit dopad na rovni jednotlivch vzkumnch projekt a program. Lze tedy prostednictvm interakce mezi vdeckou komunitou a zainteresovanmi stranami (erpajc pnosy z vzkumu) nalzt efektivn zpsob ke studiu dopadu a uchopit tak i sten problematiku jeho hodnocen [37].Pro hodnocen dopadu bylo navreno, vyvinuto a pilotn testovno nkolik metod. [13][14][15][16][17] Inspirovni tmito koncepty a metodami, tvrci politik a agentury financujc vzkum z veejnch prostedk pedstavily nkolik nstroj ke stimulaci vztahu mezi vdou a spolenost, jako je European Framework Programmes, nizozemsk program BSIK/FES 1 a Social Research Councils v programu Society Programme v UK. Problematika hodnocen dopadu vzkumu vysokokolskch instituc na ekonomick rst zem (ekonomick hodnota) a jeho sociln blahobyt (sociln hodnota) nabyla v poslednch letech takovho vznamu, e se stala soust rmc pro hodnocen vzkum v UK, Austrlii, Nizozemsku a dalch zem. Dvody pro implementaci hodnocen dopadu jsou shrnuty v kapitole 2. Navrhnout systm hodnocen dopadu VaV je kol pro skupinu odbornk, kte ve spoluprci s ostatnmi zainteresovanmi stranami/aktry se mus shodnout na tom, co termn dopad znamen, v jakch oblastech dopady hodnotit a navrhnout metodu hodnocen dopadu. Tato prce se zamuje na hodnocen dopadu, piem se rozliuje i dopad akademick (angl. research quality), kter vak m zcela odlinou charakteristiku (dle vysvtleno v kapitole 2). Autor se pedmtu prce vnoval s vrou, e mimo hlavn cl prce pinese tenm a zjemcm o tuto problematiku srozumiteln vklad toho, co pojem dopad VaV zahrnuje, jak jej hodnot v zemch, kde se realizuje VaV svtov rovn, co od nj oekvaj, co naopak od nj oekvat nelze, s jakmi problmy se setkali a setkvaj pi jeho zavdn. 1 V Nizozemsku pes 40% zisku z tby zemnho plynu jdou do fondu FES, kter financuje projekty posilujc ekonomiku. Tm polovina prostedk fondu je investovna do znalost, vzdlvn a inovac. Program BSIK (Investing in Knowledge Infrastructure) m za cl spojit veejn vzkum a prmyslu a podpoit jejich spolen vzkumn potencil. [18]
6. 6. 5 2 DVODY PRO HODNOCEN DOPADU V souasn dob jsou finann prostedky pro vysokokolsk instituce redukovny nebo pravidla pro jejich financovn prochzej transformac. To nese riziko, e aktivity vedouc ke spoleenskm pnosm (dopadm) nebudou dle dostaten podporovny, mohou vznikat bariry pro jejich realizaci. Jedn se zejmna o ty aktivity, kter jsou mn zaloen na komernm zklad i pmo negeneruj dn zisky.[60] Mezi tyto aktivity adme nap.: Vzkum a sdlen/vmna znalost: vytven pnos pro spolenost a ekonomiku prostednictvm vzkumu, vmny znalost a zapojen veejnosti (nap. pstup veejnosti ke znalostem vytvoench univerzitou, jejich knihovnm a dal) Vuka/vzdlvn: vzdlvn student, rozvoj jejich dovednost, co pispv k rstu ekonomiky ir spoleensk zapojen: komunitn projekty realizovan dobrovolnky z ad student, dobrovoln aktivity zamstnanc (gestoi charitativnch akc, veejn lekce aj.) Veejn financovn aktivit vysokokolskch instituc mus bt tedy opodstatnn pro to, aby veejnost mla dkazy o tom, e instituce vytvej pro spolenost pnosy a jejich podpora je tedy efektivn. Dkazy o jejich pnosech pro spolenost by mlo poskytnout hodnocen dopadu. S tm, jak instituce zachzej s veejnmi prostedky, se odvj od jejich vnitnho zen. Systm hodnocen dopadu velkou mrou ovlivuje toto vnitn zen. Instituce mn jejich vnitn procesy s clem zskat co nejlep hodnocen dopadu. Hodnocen tak souasn slou jako vstup pro nastaven politik instituc, jejich cl a posln a me vst k efektivnjmu zen instituce. Je tedy zejm, e hodnocen dopadu m poskytnout vrohodn daje, kter by mly napomoci veden sttu opodstatnit vdaje na vzkum a dal aktivity vedouc ke spoleenskm pnosm a takt i soukromm subjektm investujc do vzkumu. Dalo by se ci, e m stejnou lohu jako strategick marketing v soukrom sfe. Vzkum, kter vede k dosaen dopadu, by ml bt systmem hodnocen identifikovn a na zklad jeho ohodnocen i adekvtn podporovn. Jde tedy o to zjistit, kter instituce realizuje excelentn vzkum a jeho vzkum dle rozvjet a finann podporovat.
7. 7. 6 3 CO ZAHRNUJE POJEM DOPAD OBECN Pokud se zamyslme nad tm, jak dopady me vzkum dosahovat, pak se dostaneme k nespoetn mnoin oblast a kategorim. Kad z ns me tento pojem chpat rozdln a i mezi odbornky neexistuje jednotn nzor. V rmci analzy procesu hodnocen dopadu zahrnut do rmce REF projevili samotn vzkumnci obavy spojen s pochopenm definice dopadu. Konkrtn se jedn o hranici mezi tm, co lze za dopad povaovat a co ji nelze za dopad povaovat. Tedy i pedem stanoven definice dopadu neznamen, e je tento pojem zcela objasnn a e se hodnotc experti mohou na zklad tto definice jasn rozhodovat a vzkumn instituce pipravit kvalitn podklady pro hodnocen jejich dopadu. Dle je nutn rozliovat mezi dopadem akademickm a dopadem mimo akademickou sfru (socio- ekonomick dopad). Pod akademick dopad spadaj vechny vzkumn vstupy (lnky, sbornky, znalosti, vuka aj.), kter obohacuj akademick disciplny (kultura, umn, civiln inenrstv, prvo atd.). Dopady mimo akademickou sfru (socio-ekonomick dopad) lze povaovat za pnosy pro spolenost, kter lze demonstrovat a podloit. V anglosask literatue je tento typ dopadu oznaovn rzn: third stream activities [38], research impact [4], societal benefits, societal quality [27], usefulness [39], public values [40], knowledge transfer [41] and societal relevance [42][43]. Ve vtin ppad se pod tmito termny skrv hodnocen sociln, kulturn, environmentln a ekonomick nvratnosti investic (dopadu, efektu, angl. returns, impacts, effects) na zklad vsledk (angl. research output) nebo vsledk (angl. research outcome) veejn financovanho vzkumu [44][21][45]. V tomto kontextu spoleensk pnosy poukazuj na pspvek vzkumu do spoleensk kapitlu zem (nap. podporou novch pstup k een spoleenskch problm, prezentac vzkumnch vsledk na veejnch debatch a zkvalitnnm strategickch a koncepnch materil). (Tyto a nsledujc pklady jsou pevzaty z [4]). V anglosask literatue se mete setkat s pojmy social a societal, jejich vznam me bt shledvn jako rozdln i naopak mohou bt povaovny za synonyma. Kulturn pnosy jsou pidanou hodnotou pro kulturn kapitl zem (nap. porozumnm jak mme vazby k ostatnm nrodm a kulturm, zachovnm kulturnch hodnot a jejich obohacovnm). Environmentln pnosy pispvaj k prodnmu kapitlu zem (nap. prevence vzniku odpad a zneitn, nov techniky recyklace). Ekonomick pnosy pedstavuj pspvek vdy do ekonomickho kapitlu zem (nap. podporou znalostn ekonomiky, zlepenm produktivity prmyslu). (dal pklady rznch oblast socio-ekonomickho dopadu mohou bt nalezeny v [39][47][35] United Nations Development Programme, 2010). Je patrn, e mra konkrtnosti definice jednotlivch oblast (povaovanch za oblasti sociln nvratnosti, vce pojem sociln nvratnost investic, angl. rate-of-return areas for society) poukazuje na to, e hodnocen dopadu je systm velmi mkk, sociln, jeho strukturu a procesy je velmi obtn identifikovat, resp. navrhnout. Proto je zsadn analza vech relevantnch subvenc vdy na spolenost (s vjimkou subvenc, kter maj vliv na vdu samotnou rekurzivn subvence) [49]. Nen jednoduch od sebe oddlit ve zmnn oblasti socio-ekonomickho dopadu. Napklad zlepen kvality ivota me bt zvisl na kombinaci rznch socilnch a kulturnch studich, vzkumu v oblasti ivotnho prosted, potravinstv, zdravotnictv atd.[50]. Pozoruhodn v tto souvislosti je, e ekonomick dopad se pekrv s dalmi temi oblastmi [51]: Mezi ekonomickmi a neekonomickmi pnosy neexistuj ostr hranice, nap. pokud nov lk napome snit poet dn lby, pak nelze jednoznan rozliit, zdali se jedn o spoleensk i ekonomick pnos [34]. Socio-ekonomick dopad lze objektivn hodnotit jako dopad pouze s dostatenm asovm odstupem [42].
8. 8. 7 Proto nelze hodnotit socio-ekonomick dopad v krtk asov dob, jeliko s asem me nabvat rozlinch pozitivnch i negativnch hodnot pro spolenost (viz immediate, intermediate, ultimate outcomes v [45][52]). Je tedy nutn ji na zatku nvrhu metody hodnocen pojem dopad ble specifikovat a vytyit mu pomysln hranice. Na tomto kroku se shoduje mnoho autor [1] a pedstavitel vldnch instituc. Avak tato problematika zasluhuje dal analzy a studie.
9. 9. 8 4 RESEARCH QUALITY FRAMEWORK Svtov prvn pokus holisticky zachytit socio-ekonomick dopad vzkumu vysokokolskch instituc nap vemi vdnmi disciplnami byl iniciovn v rmci Research Quality Framework (RQF) metodou ppadovch studi, resp. peer review. RQF byl navrhnut za elem opodstatnn veejnch vdaj na vzkum vysokokolskch instituc. Bhem pilotnho testovn, kter bylo podniknuto pod ztitou sdruen univerzit Australian Technology Network, byly vzkumnci podni o poskytnut daj o ekonomickch, spoleenskch, environmentlnch a kulturnch dopadech jejich vzkumu v rznch vdnch a spoleenskch disciplnch. Tyto daje byly dle analyzovny expertnm panelem [1], kter na zklad tto analzy doel k zvru, e vzkumnci prostednictvm ppadovch studi mohou poskytnout objektivn kvantitativn a kvalitativn daje pro hodnocen dopadu [1]. Za elem hodnocen dopadu byly analyzovny poskytnut ppadov studie a relevantn indiktory. Clem analzy bylo urit, zdali vzkum vedl ke spoluprci s koncovm uivatelem vsledk (na zklad kterho koncov uivatel rozpoznal dleitost vzkumu pro een spoleenskch, ekonomickch, environmentlnch a kulturnch problm), k osvojen vzkumnch vsledk (za elem vzniku novch politik, produkt, proces, postoj, princip atd.) nebo k spoleenskm hodnotm. Rmec RQF pinesl prkopnick pstup k hodnocen socio-ekonomickho pnosu vzkumu zaloen na ppadovch studich. Tento pstup k hodnocen dopadu byl sten osvojen rmcem REF a doplnn o dal aspekty (kter lze nalzt v kapitole 7). [6] Research Quality Framework byl v roce 2004 navren australskou vldou se tymi cli: men kvality veejn financovanho vzkumu, men socio-ekonomickho dopadu veejn financovanho vzkumu. To me zahrnovat ekonomick, spoleensk, environmentln a kulturn pnosy vzkumu pro ir veejnost, men kvality postgradulnho vzkumnho vzdlvn a vuky, zkoumn problematiky pstupnosti v souvislosti s veejn financovanm vzkumem, tj. otzka sdlen infrastruktury, ICT, knihoven a pstup k vzkumnm vsledkm apod. RQF definuje socio-ekonomick dopad jako: spoleensk, ekonomick, environmentln a/nebo kulturn pnos vzkumu koncovm uivatelm v ir veejnosti regionln, nrodn a/nebo mezinrodn. V beznu roku 2005 Dr. Brendan Nelson (bval ministr kolstv, vdy a vzdlvn v Austrlii) pedstavil plny vytvoit rmec Research Quality and Access Framework pro hodnocen kvality a socio-ekonomickho dopadu vzkumu v Austrlii. Nelson vytvoil 13ti lennou skupinu Expert Advisory Group (EAG), kter poskytovala vld poradenstv ve vcech nvrhu metod a proces rmce RQF. EAG publikovala jej preferovan pstup v z roku 2005 ([52]). Krtce po vydn tto zprvy byl Nelson na svm post ministra nahrazen Juli Bishop. Nov ministryn oznmila sestaven nov expertn skupiny Development Advisory Group (DAG). DAG vytvoila skupinu Impact and Metrics Working Groups, kter poskytovala poradenstv v otzce nvrhu optimln metody pro hodnocen kvality a socio-ekonomickho dopadu. V jnu 2006 publikovala skupina DAG j doporuovanou metodu a principy (Chyba! Nenalezen zdroj odkaz.).
10. 10. 9 Prce na vytvoen technickch specifikac rmce RQF pokraovaly do roku 2007. Avak v roce 2007 prohlsila politick strana Australian Labor Party v rmci politick kampan odstrann kvalitativnho hodnocen dopadu z jakhokoli novho modelu financovn a pesun k pstupu zaloenm na indiktorech (kvantitativn metoda). Po vtzstv ve volbch splnili jejich slib a zahjili vvoj novho rmce Excellence in Research for Australia (ERA). Je tedy nutn zdraznit, e RQF byl oficiln zamtnut z politickch dvod ne z dvodu tkajc se jeho realizovatelnosti (akoliv byl zamtnut ped implementac modelu hodnocen dopadu). 4.1 Postup prce na vytvoen rmce RQF Skupina DAG vytvoila nkolik svch podskupin tzv. technical working group vetn Technical Working Group on Research Impact (WGRI). WGRI byla vytvoena za elem navren pstupu pro hodnocen dopadu zaloen na pedchozm nvrhu EAG se zetelem na v t dob dostupnch znalost a zkuenost s hodnocenm dopadu. WGRI publikovala jej zprvu, kter doporuovala pstup a principy pro hodnocen dopadu ([55]). Tato krtk zprva vychz z pedchzejc zprvy pro radu Australia National Health and Medical Research Council (NHMRC) zabvajc se nvrhem rmce MORIA (Model of Research Impact and Achievement), kter takt nebyl implementovn. Tato doporuen jsou shrnuta ve zprv skupiny DAG. Je vhodn zmnit, e zprvy nejsou k dispozici na oficilnch strnkch Ministerstva kolstv, vdy a vzdlvn. Dky experimentln povaze hodnocen dopadu na nrodn rovni bylo zapoteb provst pilotn oven (oznaovan jako operational trial) hodnocen dopadu v rmci RQF ped vlastn implementac. Avak rmec RQF byl oficiln zamtnut v souvislosti se zmnou vldy v roce 2007 ped tm, ne bylo pilotn oven dokoneno, pestoe nkter univerzity se ji podlely. Prvn kapitola ve finln zprv WGRI identifikuje osm zkladnch princip (zde jsou jet doplnny o dva dal principy z [53]) rmce RQF), kter budou zkladem pro hodnocen dopadu. Tyto zkladn principy jsou tak zkladem pro hodnocen dopadu v rmci REF. Doporuen a principy pro hodnocen dopadu : Hodnocen dopadu je motivac pro vzkumnky pro to, aby se v rmci svch vzkumnch projekt zamili na vsledky (v literatue oznaovan jako research outcomes), kter poskytnou pnosy australsk spolenosti, ekonomice, ivotnmu prosted a/nebo kultue. Zkladem rmce je hodnocen expert zahrnujc zkoumn daj o kvalit a dopadu poskytnutch vzkumnmi uskupenmi vzkumnk sdlejc stejn zmr. (pevzato z [53]) Rmec RQF se sna identifikovat a poskytovat zven finann prostedky excelentnmu vzkumu, co se me jevit jako diskriminan. Avak tato snaha je zkladnm principem, kter model hodnocen dopadu aplikuje nap vemi vzkumnmi oblastmi a disciplnami. Hodnocen socio-ekonomickho dopadu je soust rmce RQF a spolu s hodnocenm kvality vzkumu tvo jeden celek. Zatmco zkladn vzkum, kter mus bt prokazateln pikov, nemus zskat vysok znmky pi hodnocen kvality pro to, aby byl hodnocen jeho dopad. Zkladn vzkum nebude v rmci RQF znevhodovn a ani znehodnocovn. Zatmco tzv. Research Groupings (vzkumn uskupen) zamen na zkladn vzkum nemaj tak vysok potencil zskat vysok hodnocen jejich dopadu, mohou zskat vysok znmky pi hodnocen jejich kvality. Na druhou stranu Research groupings zamen na aplikovan vzkum, kter nezskaj vysok znmky pi hodnocen kvality, mohou prokzat excelentnost pi hodnocen dopadu.
11. 11. 10 Socio-ekonomick dopad bude zaloen na aktulnch vsledcch a jejich hodnotitelnch dopad. Vsledky, kter nemaj v krtk dob pmo aplikovateln (okamit) dopady, ale dopady, jejich efekt se projev ve stedndobm horizontu, nebudou rmcem RQF akceptovny. Vzkum, kter vede k prokazatelnmu a hodnotitelnmu dopadu mus bt realizovn ve stanoven hodnocen dob, jeliko jeho ppadn ohodnocen dopadu bude zahrnuto do rozhodnut o udlen veejnch finannch prostedk. Klovm principem rmce RQF je smrovat finann prostedky na vzkum, kter m prokazateln socio-ekonomick dopad. Z tohoto dvodu budou alokovny finann prostedky tm institucm, jejich vzkumn uskupen prok soulad s nkterm z kritri pro hodnocen dopadu. To by mlo stimulovat australsk vzkum k vy kvalit a pnosm pro spolenost. Vy finann prostedky pro excelentn vzkum je dalm klovm principem. Instituce s vzkumnmi uskupenmi, kter doshnout nejvyho hodnocen dopadu, by mly bt podporovny vymi finannmi alokacemi. Zkladn jednotkou, kter bude pedmtem hodnocen dopadu je tzv. Research groupings (esky vzkumn uskupen). V mnoha ppadech ji takovto uskupen existuj a el tchto uskupen a jejich strategie je zkladnm aspektem pro hodnocen dopadu. Rozhodnut o vbru vzkumnho uskupen pro RQF je v gesci vysokokolsk instituce. Kad instituce m monost urit poet vzkumnch uskupen a zamstnance, kte budou do pslunch skupin zaazeni. Kvalita a dopad vzkumu bude hodnocen oddlen prostednictvm ptistupov klasifikace, zvl pro kvalitu i dopad. Proto, aby se podklady jednotlivch vzkumnch uskupen vzaly v potaz pi hodnocen dopadu, je nutnou podmnkou dosaen pedem stanoven kvality ohodnocen na zklad ptistupovit klasifikace. Minimln stupe ohodnocen kvality je stanoven na stupe 2. Klovm poznatkem z tchto princip je, e zkladn jednotkou hodnocen je tzv. vzkumn uskupen. Identifikace tchto uskupen je v gesci vysokokolskch instituc vetn rozhodnut o zaazen zamstnanc do uskupen a jejich celkovho potu. Pedpokladem je, e minimln poet zamstnanc v uskupen je pt bez hornho limitu. Je nutn zmnit, e vzkumn uskupen mohla bt i virtuln to jsou takov uskupen, kter mohou mt velmi slabou anebo dnou vazbu na vysokokolskou instituci. Faktem je, e pro splnn minimlnho potu zamstnanc v uskupen by musely nkter men vysokokolsk instituce spojit zamstnance z rznch fakult a oddlen. Vt vysokokolsk instituce by nemli monost rozhodnout, zdali by bylo strategicky vhodnj vytvoit jedno velk uskupen 50 a 100 zamstnanc nebo zdali by bylo lep vytvoit men uskupen co je zajist pro nkter disciplny praktitj. 4.2 Zapojen aktr Akti byly angaovn do procesu hodnocen v RQF: Hodnocen vzkumnci poskytuj ppadov studie dopadu a dal podkladov fakta. Koncov uivatel jsou soust expertnch panel Koncov uivatel takt poskytuj reference vzkumnm uskupenm
12. 12. 11 4.3 Zvolen metoda pro hodnocen dopadu metoda ppadovch studi Skupina WGRI recenzovala literaturu a mezinrodn praxi (v roce 2005/2006) v oblasti hodnocen a zachycen dopadu [56] a dospli k zvru, e hodnocen dopadu neme bt zaloeno na indiktorech (sten se uvaovalo o pouit indiktor jen pro hodnocen nejvych kategori dopadu). Indiktory dopadu (viz str. 11 [56]) nejsou vhodnm pmm ukazatelem pro hodnocen dopadu, jeliko nen jejich objektivnost pi hodnocen dopadu dostaten prozkoumna a tud je nelze povaovat za vhodn nstroj pro alokaci finannch prostedk pro VaV. Proto nejsou vyuity jako indiktory pro hodnocen dopadu vzkumnch uskupen, co je v souladu se zvry zprvy [57]. Z tchto dvod bylo radji uputno od mylenky stanovit pevn seznam indiktor a piklonilo se k nzoru vytvoit list potencilnch indiktor dopadu, kter by mohly vysokokolsk instituce na zklad jejich uven zahrnout do svch materil, na zklad kterch expertn panely hodnotily dopad jejich vzkumu (kad vzkumn uskupen by pedkldalo dokumenty oznaovan jako Context Statement a Impact Statement). V rmci RQF byl stanoven pstup, kter hodnocen dopadu zakld na tzv. evidence-based impact statement (jinak oznaovn tak jako case studies, metoda ppadovch studi), kter obsahuj kvantitativn i kvalitativn informace. Dle bylo stanoveno, e vzkumn uskupen nemus bt nutn hodnoceny na zklad vzkumnch vstup (angl. research outputs) jednotlivch vzkumnk podanch pro hodnocen kvality. Proto by v tchto ppadech hodnotc expertn panely zodpovdn za vyhodnocen ppadovch studi (angl. case studies) zkoumali Context Statement2 (nvrh vzkumnho uskupen pro hodnocen kvality) a Impact Statement (nvrh vzkumnho uskupen pro hodnocen dopadu) od jednotlivch vzkumnch uskupench oddlen. Expertn panely mly analyzovat klov dokumenty poskytnut vzkumnmi uskupenmi pro hodnocen dopadu a kvality jejich vzkumu, resp. ovovali platnost daj a tvrzen v Impact Statement a Context Statement. Mly jasn stanoven statut, procesy a pravidla. lenov expertnch panel museli splovat urit kritria pro jejich nominaci. Kad panel by se skldal z hlavn estilenn skupiny, piem ti z nich by byli mezinrodn experti. estilennou skupinu by doplovali dal ti leni ze specificky vybran vdn disciplny, kte by hlavn skupin poskytovali vcnou podporu pi hodnocen kvality a dal ti leni z ad koncovch uivatel vzkumnch vsledk (prmysl, obchod, veejn sektor nebo sdruen), kte by asistovali pi hodnocen dopadu. Hodnocen dopadu vzkumu kadho vzkumnho uskupen mlo ve vsledku bt ohodnoceno na zklad ptistupov klasifikace. Kad stupe byl jasn definovn a schvlen ministerstvem DEST. Dal zmny tto klasifikace tak nebyly ppustn. Rating Description A Adoption of the research has produced outstanding (in the top 2%) identifiable social, economic, environmental and/or cultural benefit for the wider community regionally, nationally or internationally. B Adoption of the research has produced identifiable social, economic, environmental and/or cultural benefit for the wider community regionally, nationally or internationally. 2 Vzkumn uskupen ve svch Context Statements vyjaduj strategick zmr svho vzkumu (smovn, zamen a podstata vzkumu) a jak m tento vzkumn zmr napluje definici i spojitost s dosaenm dopadu.
13. 13. 12 C Research has been adopted to produce new policies, products, paradigms, attitudes, behaviours and/or outlooks in the end-user community. D Research is engaging with the end-user community to address social, economic, environmental and/or cultural issues regionally, nationally or internationally. E Research has had limited or no identifiable social, economic, environmental and/or cultural outcome for the wider community regionally, nationally or internationally. 4.3.1 Impact Statement a role potencilnch indiktor Zkladem pro hodnocen dopadu by byl Impact Statement (max. 10 stran), kter obsahuje oviteln tvrzen (podpoen max. 4 ppadovmi studiemi) zaloen na objektivnch dajch vyhodnocen na zklad definovanch kritrich. Ppadov studie maj slouit jako pklady objasujc a podporujc pedloen tvrzen. Impact Statement by ml zodpovdt nsledujc tyi otzky: Jak se vzkumn uskupen spolu s koncovm uivatelem podleli na een spoleenskho, ekonomickho, environmentlnho anebo kulturnho problmu? Jak nov produkty, politiky, legislativn dokumenty, paradigmata, postoje, vhledy si koncov uivatel osvojil, implementoval anebo pijal na zklad spoluprce s vzkumnm uskupenm? Jak jsou spoleensk, ekonomick, environmentln anebo kulturn pnosy novch produkt, politik, legislativnch dokument, paradigmat, postoj a vhled atd. vytvoen koncovmi uivateli? Jak je vznam nebo dosah spoleenskho, ekonomickho, environmentlnho anebo kulturnho pnos z pohledu koncovho uivatele jakoto vsledek realizovanho vzkumu? Kad vzkumn uskupen souasn podv k hodnocen tyi ppadov studie, kter dle dokresluj a podporuj tvrzen v Impact statement a dle seznam koncovch uivatel, kte mohli bt kontaktovn expertnm panelem. Bylo stanoveno, e vzkumn dopad by ml bt hodnocen na zklad aktulnch vsledk a jejich hodnotitelnm dopadu a ne na zklad potencilnho dopadu. Hodnotiteln dopad ml bt dosaen bhem estiletho hodnocenho obdob, ale mohl bt vsledkem vzkumu oznaovanho jako original research, kter byl realizovn o est let dve ne hodnotc obdob. WGRI poskytlo seznam potenciln indiktor, kter, jak zdraznili, jsou pouze ilustrativn a seznam neposkytuje vyerpvajc poet indiktor, ale mohli by bt pouity k podpoen tvrzen v Impact Statement. Pedpokldalo se, e vzkumn uskupen budou vyuvat seznam podprnch indiktor dopadu, kter by poskytli oviteln daje o dosaen dopadu a demonstrovali by vztah mezi dopadem a vzkumem realizovanm vzkumnm uskupenm. Vysokokolsk instituce mly poskytovat daje o koncovch uivatelch vzkumu, kte by byli ppadn podni o potvrzen dosaen dopadu. Vysokokolsk instituce byly podny o to, aby pedem neoslovovali koncov uivatele s dost o tato potvrzen. Zatmco podnikatelsk sfra vyjadovala nklonnost a podporu danmu procesu, vlda nechtla zatovat podnikatelskou sfru.
14. 14. 13 Pklady potencilnch indiktor: Redukce zneitn Obnova nebo zabrnn degradaci prodnch zdroj Poet zachrnnch ivot Snen potu infikovanch Redukce asu na zotaven a nklad Zven potu gramotnch Kladn kritiky kreativnch publikac a vystoupench Honore Zven zamstnanosti Snen nklad a vyuit zdroj Zven konkurenceschopnosti australskho prmyslu Spin off spolenosti Nov produkty a vynlezy Licence atd. Bylo zejm, e definice seznamu akceptovatelnch indiktor by pravdpodobn znevhodovalo mnoho discipln nebo dokonce cel odvtv. Nap. vbrem indiktor spin off spolenost, vvoj produkt a atd. by pravdpodobn vedlo k pehlen vzkumu ve spoleenskch a humanitnch vdch. Dle bylo zejm, e by toto mohlo vst k nepimen zti na stran vysokokolskch instituc dky sbru informac, kter by byly zcela irrelevantn pro mnoho dalch ppadovch studi dopadu. 4.4 Pilotn ovovn hodnocen dopadu Skupina Innovative Research Universitites of Australia (IRUA) vysokokolskch instituc aktivn podporovala hodnocen dopadu spolu s kvalitou v RQF. Podnikli rozshlou analzu nvrhu ablony pro Impact Statement a Context Statement, kter by mla poskytnout dostatek informac o vazb mezi vzkumem a dopadem. Toto zahrnovalo ppravu materilu pro sepsn Best practise ppadovch studi a jejich nslednou analzu. Vsledky tto analzy vak nebyly zpracovny, jeliko RQF byl do t doby zamtnut. astnci pilotnho ovovn z univerzit Griffith a James Cook mohli poskytnout dostatek informac a zptnou vazbu o prbhu celho procesu ovovn. Pi pprav RQF ti univerzity Griffith, Flanders a James Cook University realizovalo pilotn ovovn. I pestoe byla iniciativa RQF zamtnuta, astnci pilotnho ovovn poskytli HEFCE zkuenosti a zptnou vazbu, kterou vyuili pi pprav REF. 4.5 Cle hodnocen dopadu v RQF a technick aspekty Hlavnm clem bylo smrovat finann prostedky na vzkum, kter generuje socio- ekonomick dopad. Zmrem bylo alokovat vt finann prostedky do vysokokolskch instituc, jejich vzkum dosahoval vznamnho dopadu a naopak. V dsledku to znamen, e alokace nebyly distribuovny linern. Vha hodnocen dopadu nebyla stanovena. Tato vha pak mla urovat vi alokaci finannch prostedk. Mluvilo se o 10%, avak tato hodnota nebyla nikde oficiln publikovna.
15. 15. 14 Technick aspekty: Atribuce (ve smysli pisuzovn): RQF e problm s pisuzovnm dopadu pomoc vbrovho eten asov rmec: dopady mus bt dosaeny bhem estiletho hodnocenho obdob, ale me bt zaloen na vzkumu, kter byl realizovn a est let ped hodnocenm obdob. Kolik nvrh: Vzkumn uskupen mohli podat max. tyi ppadov studie. Psobnost: RQF by bylo aplikovno na australsk vysokokolsk systm Aplikovatelnost nap oblastmi: byla zamleno aplikovat nap vemi vdnmi disciplnami Rozhodovac psobnost: hodnocen dopadu mlo mt v rozhodovacm procesu o alokaci finannch prostedk vhu 10% ze 100% Ovovn: Vzkumn uskupen mli poskytovat kontaktn daje koncovch uivatel, kte mohli poskytnout reference. Dosaen dopadu bude pisuzovno instituci, ve kter psob vzkumn uskupen bhem stanovenho estiletho hodnocenho obdob. V ppadech, kdy se vzkumn uskupen pemstila z jedn instituce do jin bhem hodnocenho obdob, ob instituce mohou deklarovat dopad z obdob, kdy vzkumn uskupen psobila v dan instituci. Nejvtm problm spojenm s hodnocenm dopadu byla atribuce. To m dv roviny: problm dokazovn, e vzkum byl dosaen na zklad pslunho vzkumu a rozhodovn o tom, kter vysokokolsk instituce me deklarovat, e jej vzkum generoval pslun dopad. V nkterch ppadech je vazba mezi pvodnm vzkumem a nslednmi pnosy transparentn a jednoznan. Toto je vak vjimen ppad. Vce ast jsou ppady, kdy dosaen dopad je nsledkem nkolik vzkumnch projekt rznch vysokokolskch instituc bhem dlouhho asovho obdob. To je tak hlavn dvod, pro je hodnocen dopadu povaovno za nerealizovateln i tkopdn. Pstup, kter byl v RQF na tento problm aplikovn, byl zaloen na vbrovm eten. Tzn., e nebyly hodnoceny vechny dopady, ale radji byly identifikovny dopady, kter skuten univerzitn vzkum generoval. To umoovalo vysokokolskm institucm zvolit ty vzkumn vsledky, kde bylo mon explicitn popsat vztah mezi vzkumem a dosaenm dopadem, kter bylo mon ovit. 4.6 Zjitn/zskan zkuenosti RQF byl zamtnut na zklad politickho rozhodnut RQF byl ji pipraven a sten pilotn oven Nkter nvrhy byly excelentn a adoptovny rmcem REF Publikace a literatura je tm nedostupn Klov aspekty: vyuit metody ppadovch studi, zamtnut aplikace indiktor jakoto samostatn metody, ale jakoto monost pro podporu deklarac vysokokolskch instituc.
16. 16. 15 RESEARCH EXCERCISE FRAMEWORK Rmec pro hodnocen kvality vzkumu vysokokolskch instituc ve Velk Britnii Research Assessment Framework (REF) nahradil pvodn rmec Research Assessment Exercise (RAE) (naposledy realizovn v roce 2008). Metoda hodnocen dopadu je z sti zaloena na metod hodnocen dopadu v rmci RQF. [4] Proto nen nutn znovu zmiovat zkladn principy hodnocen dopadu, kter jsou podrobnji popsny v kapitole zabvajc se rmcem RQF. REF byl koordinovn radou Higher Education Funding Council for England (HEFCE) ve spoluprci s radou Scottish Funding Council (SFC), Higher Education Funding Council for Wales (HEFCW) a Department for Employment and Learning, Northern Ireland (DEL). Hlavnm elem rmce REF je vyhodnocen pslunch dokument (vstupy hodnocen) vysokokolskch instituc, na zklad tohoto vyhodnocen pak: tyi subjekty financujc vysokokolsk vzkum vyuvaj vstupy hodnocen pro rozhodovn o alokaci veejnch prostedk na podporu vzkumu vysokokolskch instituc na rok 2015-2016. Hodnocen opodstatuje veejn financovn vzkumu vysokokolskch instituc a poskytuje daje o pnosech veejnho financovn vzkumu. Dle vstupy hodnocen poskytuj daje pro hodnocen dopadu 4.7 Zkladn principy REF je proces hodnocen expertnch tm z rznch vdnch discipln (angl. discipline-based expert review), kter je mezi vdeckou komunitou kladn pijmno. lenov jednotlivch panel jsou vybrni z ad expert, kte jsou aktivn ve vysoce kvalitnm vzkumu. Jejich rozhodovn je z sti zaloeno na indiktorech, ale jejich posouzen (pezkum, peer-review) zstv rozhodujc. REF je rmec pro hodnocen nap vemi disciplnami s pedem stanovenmi soubory dat poadovanch ve vech podkladech, definicemi a procedurami a hodnotcmi kritrii. Expertn panely musej aplikovat pi hodnocen stanoven postupy a kritria ve vech jejich aspektech, avak je tu zrove monost tyto postupy adoptovat potebm pro hodnocen ve specifickch disciplnch, kter by jinak mohly vst k jeho diskriminaci nebo znehodnocen. To umouje expertnm panelm adoptovat pracovn postupy za elem respektovn rozdl mezi jednotlivmi disciplnami. REF se vyvinul na zklad zkuenost s rmcem RAE a je navren tak, aby se dle rozvjel a adoptoval budoucm potebm. Vvoji rmce REF pedchzeli studie zamen na pezkum mezinrodn praxe v oblasti hodnocen, konzultace s jednotlivmi aktry a pilotn ovovn, na zklad kterch vznikly poadavky a pipomnky na zmny v postupech a principech, jen byly zohlednny. Nsledujc principy jsou fundamentln a dle nich se odvj charakter rmce REF. Soubor tchto princip respektuj jednotliv expertn panely a jsou vchodiskem pro jejich hodnocen a stanovovn kritri pro hodnocen podklad poskytnutch vysokokolskmi institucemi: Zsada stejnho postaven: Vechny druhy vzkumu a vechny formy jejich vstup nap celm spektrem vdnch discipln by mly bt hodnoceny rovnocenn a nemlo by dochzet k znehodnocen i diskriminaci. Expertn panely byly podny o definici kritri a o pizpsoben procesu hodnocen, kter jim umon identifikovat excelenci v rznch typech vzkumu.
17. 17. 16 Rovnocennost vzkumnk: Vysokokolsk instituce jsou dny o podn prac vech jejich excelentnch vzkumnk. Tm by se mlo pedejt diskriminace vzkumnk, jejich vzkum bhem hodnocenho obdob nevyprodukoval minimln poet vzkumnch vstup. Expertn panely mus tyto ppady hodnotit stejn jako ostatn ppady. Transparentnost: Cel proces hodnocen mus bt transparentn a to zejmna rozhodnut expertnch panel. Veker procedury a kritria budou publikovny dopedu pro to, aby se instituce mohly s nimi dostaten seznmit. Takt budou zveejnny vsledky hodnocen a vysvtlen k rozhodnutm budou v kadm ppad poskytnuta. Hodnot se pouze dosaen dopady, ne potenciln dopady i budouc dopady. Aktivity zamen na propagaci (en) informac o dopadech, kter neposkytli dn pnos, nebudou brny v potaz. Vzkum, kter vedl k dosaen dopadu, mus bt realizovn max. 15 let dve ne stanoven hodnocen obdob. 4.8 Hodnocen dopadu Na zklad zvr z pilotnho ovovn bylo rozhodnuto, e: V rmci REF bude pmo zahrnuto hodnocen dopadu dosaenho spolu s hodnocenm vzkumnch vstup a prosted instituce. Hodnocen dopadu je zaloeno na expertnch panelech hodnotc podan ppadov studie jednotlivch instituc. Ppadov studie mohou zahrnovat jakkoliv spoleensk, ekonomick nebo kulturn dopad nebo pnos mimo oblast akademick sfry, kter byl dosaen v hodnocenm obdob (hodnocen obdob je v prvnm kole 1 leden 2008 a 31. erven 2013) Tyto dopady jsou souasn podloeny ovitelnmi daji a deklaracemi od koncovch uivatel. Ve vslednm hodnocen instituce bude mt hodnocen dopadu vhu 20% Dopad je hodnocen na zklad dvou dokument Impact Template (formul) a max. 2 ppadovch studi. Ve formuli popisuje hodnotc jednotka pstup k dosaen dopadu a ppadov studie popisuje, jakm zpsobem vedl jejich vzkum k dosaen dopadu. Hodnocen dopadu mlo mt pvodn vhu 25%, ale dky tlaku odprc dopadu (Russel Group, samotn univerzity i dky petici, kterou podepsalo vce ne 15 tis. lid) byla vha snena na 20%. Formul mus obsahovat informace o: Vzkumu, kter vedl k dosaen dopadu a daje podkldajc jeho kvalitu Zpsob, jakm hodnocen jednotka (vzkumn uskupen) pispla k dosaen dopadu nebo pnosu Charakter dopadu a jeho dosah Reference, kter potvrd ve uveden tvrzen (koncov uivatel) Ppadov studie poukazuj na nejvznamnj dopady dosaen v rmci vzkumu hodnocen jednotky, a jak jednotka pispla svmi vzkumnmi aktivitami k dosaen dopadu. Ppadov studie jsou hodnoceny na zklad obecnch kritri dosahu a vznamu dopadu. Na zklad kritria dosahu se hodnot, jak komunity, organizace, skupiny atd. mli z dopadu pnos a na zklad kritria vznamnosti je hodnoceno, do jak mry dopad obohatil, ovlivnil, pinesl informace nebo zmnil strategick dokumenty (politiky), pleitosti, perspektivy nebo praxi komunit, jednotlivc a organizac.
18. 18. 17 Pkladem dopadu nap. v oblasti zdravotnictv me bt zven veejnho zdrav a prosperity, nov diagnostick a klinick technologie, prevence ped nemocemi, zlepen zdrav zvat, zlepen pe o pacienty atd. (Panel criteria and working methods, REF 01.2012, str. 28). Vsledkem hodnocen, resp. posouzen expertnch panel je tzv. impact sub-profile, ve kterm je klasifikovn dopad hodnocen jednotky (stupnice 1* a 4* a neklasifikovno). 4* Mimodn: Prkopnick a inovan dopad vysok hodnoty nebo vznamnosti, u kterho byl demonstrovn irok rozsah psobnosti 3* Excelentn: Vysoce vznamn nebo inovan (ale ne prkopnick) dopad, jeho rozsah psobnosti byl demonstrovn na nkolika situacch 2* Velmi dobr: Podstatn dopad, kter dosahuje vt vznamnosti a jeho rozsah psobnosti byl demonstrovn 1* Dobr: Dopady ve form doplkovch vylepen nebo procesu inovace malho rozsahu psobnosti, kter byl demonstrovn Neklasifikovn Dopad nem dn vznam ani dosah, nebo vzkum, ze kterho vznikl, nebyl klasifikovn minimlnm poadovanm ohodnocenm, nebo hodnocen jednotka nepispla dnmi aktivitami k dosaen dopadu. Tabulka 1: Klasifikace dopadu 4.9 Zjitn, zskan zkuenosti Jak ji bylo ve zmnnou, rmec REF hodnot univerzity z pohledu kvality jejich vzkumnch vstup, dopadu vzkumu a dynamiky jejich prosted. Prvky kvality a prosted nejsou pro univerzity nic novho, ale hodnocen dopadu mimo akademickou sfru ano. Britsk univerzity si tak museli osvojit tento nov prvek. Alokace veejnch prostedk na zklad hodnocen dopadu lze t povaovat za novtorsk v celosvtovm mtku (s pihldnutm na fakt, e hodnocen dopadu mlo bt takt zavedeno v rmci RQF). Nsledujc zjitn vyplvaj z analzy realizovan instituc RAND : Aktivity vyvinut projektovm tmem REF smujc k pprav instituc na proces hodnocen dopadu naplnily jejich el. Vysokokolsk instituce byly schopny v procesu hodnocen interpretovat dosaen dopad v 6 975 ppadovch studi. Avak existuj oblasti pro zlepen. Samotn vzkumnci se nejvce potkali s problmem zskat daje, kter by potvrzovali dosaen dopadu. Dle se potkali s problmem pochopen zkladnch kritri hodnocen dopadu (dosah, vznamnost). Odhadem jsou nklady na ppravu hodnocen dopadu ze strany vysokokolskch instituc 55 mil. Liber, piem nklady na ppravu jednoho formule (Impact Template) jsou v prmru 4,5 tis. Liber a na ppadov studie 7,5 tis. Liber. Pedpokld se, e tyto nklady se v budoucnu budou sniovat dky ji nabitm zkuenostem. Mezi vysokokolskmi institucemi vznikaj obavy z toho, e veejn prostedky budou vce smovny na aplikovan vzkum ne na zkladn vzkum, co potvrzuje klesajc trend vdaj na zkladn vzkum (ze 62% na 35% v obdob 2005-2012, zdroj: Departmetn for Business, Innovation & Skills 2013, tabulka 2.6).
19. 19. 18 Finann nronost na ppravu formule Impact Template a ppadovch studi me pedstavovat vznamn podl vech prostedk vysokokolsk instituce na vzkumn innosti. Dal zvanj znepokojen pichz s nzorem, e hodnocen dopadu by mohlo smrovat finann prostedky na aktivity do tch discipln, kter mohou jasn demonstrovat dosaen dopadu, a opan efekt by mohl nastat u discipln, kter dosaen dopadu tko demonstruj. Systm hodnocen REF by mohl mt vliv na strategick zmr vzkumu vysokokolskch instituc. Instituce by se mohli vce zamovat na dosaen dopadu mimo akademickou sfru. To by mohlo tak zpsobit odvrcen od zkladnho vzkumu. Ppadov studie nemohou zachytit vechny druhy dopadu pes vechny disciplny, to vak ani nen zmrem rmce REF. Ppadov studie se osvdily jako nejvhodnj metoda pro zachycen dopadu.
20. 20. 19 5 EVALUATING RESEARCH IN CONTEXT Vzkum realizovan vysokokolskmi a vzkumnmi institucemi v Nizozemsku je vtinov financovn z veejnch prostedk. Tyto instituce disponuj relativn vysokm stupnm autonomie, co se te jejich rozhodnut, na co budou alokovat tyto prostedky. Avak maj povinnost ospravedlnit tato finann rozhodnut v podob deklarovn shody jejich vzkumu s poadovanmi standardy a cli. Systm pro hodnocen vzkumu byl pro tyto ely navren. Tento systm se dle rozvjel za elem vytvoen metody, prostednictvm kter by tyto instituce mohly veejn ospravedlnit svj vzkum a dostt tak jejich zvazku vi spolenosti, politikm a tak orgnm sttn sprvy administrujc vzkum a vvoj.[58] Mnoho nizozemskch organizac angaovanch v problematice kvality vzkumu spolupracuj/ovali na projektu oznaovanm jako Evaluation Research in Context (ERiC). Jednm z cl tohoto projektu je vytvoen metody pro hodnocen spoleenskho vznamu vzkumu, resp. jeho dopadu. ERiC vzniklo partnerstvm mezi asociac HBO-raad, ve kter jsou sdruen univerzity aplikovanch vd, krlovsk akademie umn (KNAW), organizace pro vdeck vzkum v Nizozemsku (NWO), asociace univerzit v Nizozemsku (VSNU) a instituce Rathenau. [58] Od 90. let 20. stolet byl akademick vzkum v Nizozemsku hodnocen v krtk period nkolika let. Hodnocen zahrnovalo vzkum na univerzitch a vzkumnch institucch pod dohledem KNAW a NWO. Od roku 2003 se hodnocen realizovalo v rmci systmu Standard Evaluation Protocol (SEP). Posledn kolo hodnocen probhlo v asovm obdob 2009 2015 a jeho vsledky jsou pstupn on-line (http://www.knaw.nl/sep). Pravideln hodnocen vzkumu na univerzitch aplikovanch vd (Hogescholen) bylo nedvno pedstaveno a je zaloeno na protokolu oznaovanm jako Quality Assurance System for Research at Universities of Applied Sciences vyvinut HBO-raad (pstupn on-line, http://www.vkohogescholen.nl/documents). Hodnocen spoleenskho vznamu vzkumu je ve ve zmnnch protokolech povaovno za vce dleit a je zaloen na pstupu sebehodnocen instituc, kter je dle hodnoceno pslunmi komisemi. Tyto komise pak nsledn poskytuj institucm zvrenou zprvu, ve kter je ohodnocen jejich dosavadn vkon, pstup, veden a naplovn standard v oblasti vzkumu. [58] Je vhodn zmnit, e projekt ERiC koordinuje mezinrodn projekt SIAMPI, kter je financovn Evropskou Komis v rmci 7. rmcovho programu (Horizont 2020). Hodnocen spoleenskho vznamu vzkumu m v souasnosti prominentn roli v souasnch systmech hodnocen vzkumu (protokoly). V systmu SEP (hodnocen v obdob 2009-2015) je spoleensk vznam vzkumu jednm ze ty kritri spolu s kvalitou, produktivitou a vitalitou (dynamika) a kapacitou (schopnost realizovatelnosti, proveditelnosti). V BKO (hodnocen v obdob 2009-2015) je vznamnost a aplikovatelnost vzkumu v profesionln praxi klovm kritriem. 5.1 Definice spoleenskho vznamu vzkumu mra, do kter je vzkum pnosem pro rozvoj spolenosti a profesionln praxe (v oblasti prmyslu, vzdlvn, tvoen politik, zdravotnictv), k dosaen vlastn stanovench cl a een problm a otzek (jako je nap. zmna klimatu). To se vztahuje k pnosm a efektm vzkumu, kter jsou vsledkem realizovanho vzkumu. Oven tchto pnos a efekt me bt zaloeno a referencch od aktr (nap. koncovch uivatel). Toto je tedy retrospektivn hodnocen.
21. 21. 20 podloen oekvn, na zklad kterch bude vzkum poskytovat ve zmnn pnosy v krtkm i stedndobm horizontu. To jsou oekvn, na zklad kterch bude vzkum produkovat pnosy. Oven tchto oekvn me bt indikovno na zklad interakce mezi vzkumnmi uskupenmi a aktry (angl. oznaovan jako productive interaction). Toto je prospektivn hodnocen. 5.2 ERiC v kontextu ERiC byl vyvinut na zklad spoluprce aktr v oblasti vysokokolskho vzdlvn v Nizozemsku Pro hodnocen kvality/dopadu vzkumu byly zpracovny kritria a indiktory Vsledky projektu ERiC mly bt integrovny do souasnho systmu Standard Evaluation Protocol (SEP), jeho proces se ml realizovat podruh v obdob 2009 2015 Nkter aspekty a zjitn byla pevzata ze systmu vyvinutm sdruenm tvrc politik v Nizozemsku, Sci_Quest z 90. let 20. stolet. V Nizozemsku je velk zjem o vyvinut pstupu k hodnocen socio-ekonomickho dopadu vzkumu. Souasn systm hodnocen vzkumu se zamuje na vzkumn vstupy (sbornky, lnky, patenty, vuka atd.), ty vak nejsou povaovny za komplexn (vezahrnujc) vstupy vzkumu nap celm portfoliem. Proto se zaaly vyvjet nov pstupy pro hodnocen dopadu. Mezi n adme lze adit nap. pstup univerzity University Medical Centre pro hodnocen ekonomickho dopadu (BiGGAR) a vyuit rmce Payback pro hodnocen dopadu medicnskch technologi instituc ZonMW, kter poskytuje podporu zdravotnmu vzkumu. Souasnm systmem pro hodnocen vysokokolskch instituc je Standard Evaluation Protocol (SEP), kter byl implementovn v roce 2003. Tento systm je zaloen na hodnocen peer review ve tyech kategorich: Kvalita (na mezinrodn rovni, inovan potencil) Produktivita (vzkumn vstupy) Vznamnost (socio-ekonomick dopad) Schopnost zachovn konkurenceschopnosti (flexibilita, management, veden) I pestoe je v tomto systmu explicitn uvedeno, e z jednm hodnocench cl je socio- ekonomick dopad, nebyla vyvinuta a implementovna dn metoda pro jeho hodnocen. To vedlo vysokokolskou komunitu k iniciaci vvoje metody pro hodnocen dopadu. Za tm elem vznikl projekt Evaluating Research in Context (ERiC), kter byl iniciovn v roce 2006, a jeho clem bylo zkoumn monost hodnocen dopadu v oblasti vysokokolskho vzkumu. Projekt Evaluating Research in Context (ERiC www.eric-project.nl) pvodn vznikl z projektu COS-project, kter se zabval kvalitou vzkumu ve spoleenskm kontextu. Vsledkem projektu COS-project byla metoda oznaovan jako sci_Quest method, kter byla velmi pozitivn pijata akademickou komunitou. Projektov tm odpovdn za veden projektu ERiC ml mezi svmi leny zastupitele z celho spektra vysokokolskho vzdlvn The Netherlands Association of Universities of Applied Sciences (HBO-raad), the Royal Netherlands Academy of Arts and Sciences (KNAW), the Netherlands Organisation for Scientific Research (NWO), Quality Assurance Netherlands Universities (QANU) a the Rathenau Institute Association of Universities in the Netherlands (VSNU) spolen s Hogeschool Utrecht a Ministerstvem kolstv, kultury a vdy v roli pozorovatel. Clem tohoto projektu bylo definovat kritria, indiktory a metodu pro hodnocen spolen s nvrhy, jak toto me bt integrovno do dalho kola hodnocen v rmci SEP (2009-2015). [57]
22. 22. 21 5.3 Principy Vytvoit metodu pro hodnocen dopadu, kter me bt integrovna do stvajcho systmu hodnocen vzkumu SEP a je aplikovateln nap vemi vdnmi disciplnami Komplexnost hodnocen, kter se zamuje jak na kvalitu tak i vznamnost Definice posln, angaovanost aktr pi hodnocen Kombinace kvantitativnch a kvalitativnch dat Progresivn, neustle se rozvijc se Hlavnm clem projektu je vytvoen metody pro hodnocen dopadu. Tato metoda by mla bt aplikovateln nap vemi disciplnami a zejmna v oblasti umn a spoleenskch vd, kter jsou tradinmi pstupy asto pehleny. Souasn je poadovno, aby metodu bylo mon integrovat do souasnho systmu SEP. ERiC projekt vytvoil komplexn metodu hodnocen, kter se zamuje jak na kvalitu tak i vznamnost a kter bere v potaz posln vzkumnch uskupen a pohledy aktr na proces hodnocen. Metoda takt vyuv kvalitativn a kvantitativn data, kter maj poukazovat na ir vyuit vzkumnch vsledk. Metoda m mt progresivn charakter, mla by bt navrena tak, aby se dle rozvjela a mohla reflektovat budouc zmny v oblasti vysokokolskch instituc. [58] 5.4 VCESTUPOV PSTUP tystupov proces: Vytvoit sebehodnocen nebo posln instituce Sbr dat za elem vytvoen tzv. research embedment performace profile (REPP). Zahrnut oblasti zle na vzkumn oblasti. Identifikovat klov aktry (prostednictvm REPP a sledovn trajektori vzkumnch vstup). Vyuit dotaznk anebo telefonnch pohovor k objasnn rol aktr a dopadu. Zptn vazba a dal rozvoj ERiC je zaloen na tyech klovch fzch. [58] Prvn fze obsahuje sebehodnotc proces, ve kterm instituce identifikuje jej posln anebo cle. Tento proces me bt zaloen na rznch pstupech. Bhem pilotnho ovovn byly aplikovny rzn pstupy. V jednom pstupu vytvoila skupina sebehodnocen tm, e ohodnotila jejich vazbu na okol prostednictvm procentuln stupnice od 0% do 100% v rznch oblastech akademick sfra, prmysl, vlda atd. Dal pstup byl zaloen na nsledujcch tech krocch: Skupina odhadla, kolik asu v procentech vnovali prci v rznch oblastech. To ve vsledku vedlo k vytvoen rozvrhu kol, kter mly vazbu na okol a pedstavuje tak jejich identitu. Skupina posoudila vliv aktr na vvoj vzkumu v rznch oblastech. Tm se identifikovaly vnj vlivy na jejich vzkumnou agendu, to se povauje za kontextuln vliv (vliv externch okolnost). Nejdleitj akti jsou identifikovni na zklad dotaznk a rozdleni do rznch oblast. To pedstavuje s aktr. Tato vce komplexn metoda dv instituci pevnj postaven pro dal fze.
23. 23. 22 Dal fz je sbr dat se zamenm na vkon vzkumnho uskupen v rznch oblastech za elem vytvoen profilu REPP. REPP je mapa vstup uskupen v rznch kategorich, kter mohou pedstavovat rzn vdn disciplny nebo mohou bt navreny jin kategorie ve vztahu k pedchoz fzi na zklad konzultace s vzkumnky. Tyto kategorie resp. oblasti se rzn v zvislosti na vzkumn oblasti. Poet kategori se me liit. V prvnm pilotnm ovovn bylo navreno 30 indiktor pro pt kategori: vda a certifikovan znalost, vzdlvn a vuka, inovace a profesionln praxe; strategick dokumenty a spoluprce a identita. V dalm pilotnm ovovn byl poet indiktor redukovn na 15 a poet kategori na ti vda a certifikovan znalost, prmysl/obchod, politiky/spolenost) za elem snen asov nronosti. Avak kvalita dat vdy zle na kvalit sbru dan instituce. Tet krok identifikuje produktivn interakce s prmyslem, tvrci politik a spolenost a mapuje extern aktry. Mezi aktry se ad partnei, koncov uivatel a neziskov organizace, jejich zmr zahrnuje vzkum a dal. Akti jsou identifikovni na zklad profilu REPP a sledovnm vvoje vzkumnch vstup od jejich potku. Akti jsou nsledovn kontaktovni prostednictvm dotaznk nebo telefonnho pohovoru za elem objasnn jejich rol ve vzkumu a dopadu vzkumu. Tento proces vak doznal bhem pilotnho ovovn rznch modifikac. Zmny v pstupu se dotkly zejmna dotaznk a pohovor. Dotaznky maj vhodu v tom, e se prostednictvm nich mohou zskat nzory ze irokho spektra aktr, kter by telefonnm pohovorem nebylo mon zskat dky asov nronosti. Avak na druhou stranu telefonn pohovor me objasnit nkter komplexn otzky, kter by prostednictv dotaznk mohly bt pochopeny a vysvtleny jinak. Proto nejlepm pstupem je kombinace obojho. [58] Posledn fze pak pedstavuje zptnou vazbu a dal rozvoj. Vstupy z fze dv a ti jsou porovnny s poslnm/cli definovanch v prvn fzi za elem vystien stupn shody i neshody mezi vnmanou a skutenou identitou. To me vst k sestaven budoucch pln instituce, kter by vedly k odstrann nedostatk plynoucch z tohoto porovnn. 5.5 Vyuit vsledk projektu a akti Neexistuje zde dn pm vazba na financovn V Nizozemsku nem tento druh vstupu pm vliv na financovn VaV. Vliv m na zlepen vzkumnch program instituc a jejich budouc vvoj. 5.5.1 Zapojen aktr Akti: Hodnotitel realizuj przkumy, pohovory a sbraj data REPP profilu Instituce definuj jejich posln a cle Koncov uivatel poskytuj zptnou vazbu na pohovorech a v rmci przkumu Kvalitn zznam dat pro profil REPP ma svoji vznamnou roli, kterou napluj instituce Hodnocen instituce hraj vznamnou roli pi procesu hodnocen a to zejmna v prvn fzi procesu, kdy se vytv vlastn obraz instituce v podob posln a cl. Dotaznky mohou bt takt zahrnuty do procesu sbru dat pro vytvoen REPP profilu. Vznamnou roli v procesu m tak kvalita a zajitn sbru dat instituce, co me vrazn snit asovou nronost prbhu procesu.
24. 24. 23 Hodnotitel jsou zapojeni do vech fz procesu hodnocen. V prvn fzi spolupracuj s vzkumnou instituc a pomhaj ji vytvoit deklaraci jejich posln a cl. V druh fzi jsou zodpovdn za vbr vhodnch kategori pro REPP profil. Nsleduje sbr dat a v dalm kroku hodnotitel identifikuj klov aktry. Takt jsou zodpovdn za sestaven a analzu dotaznk a telefonnch pohovor. V posledn fzi vytvej zptnou vazbu a zvrenou zprvu pro danou instituci i program. Akti se astn procesu ve fzi dotazovn a telefonnch pohovor. 5.6 Zjitn/zskan zkuenosti Vsledky projektu ERiC pin novou metodu pro hodnocen dopadu v nizozemskm vysokokolskm systmu. Kombinuje nkolik pstup hodnocen: sebehodnocen instituce, indiktory a analzu/identifikaci aktr. Jeho elem nen informovat nebo pomoci rozhodovat o finannch alokac, ale vede ke zlepen politik a program vysokokolskch instituc. Jeho silnou strnkou, e zahrnuje irok spektrum dopad dky individulnmu pstupu hodnotitel. Generuje vysok finann a asov nroky.
25. 25. 24 6 ZVR V souasnosti je pstup hodnocen dopadu zaloen na ppadovch studi v kombinaci s potencilnmi indiktory, demonstrac dopadu, kontextulnm popisu a zapojen/identifikaci aktr povaovna za celosvtov nejvce uznvanou metodu. Nen tak nhodou, e je aplikovna v rmci REF a ml bt soust rmce RQF. Je vak vhodn zmnit, e nvrh tto metody pochz ze specifickho rmce pro hodnocen dopadu v australskm zdravotnictv Payback Framework. Pstupy zaloen na kvantitativnm hodnocen (indiktory) se takt aplikuj, nap. v novm rmci pro hodnocen vzkumu v Austrlii The Excellence in Research for Australia. Avak tento pstup je povaovn za velmi tvrd pstup, kter me vst k nerozeznn velmi vznamnch, avak ne jednodue demonstrovatelnch dopad. Sbr dat pro stanoven hodnot indiktor me generovat vysok asov a finann nroky. Navc nen k dispozici holisticky zaloen studie, kter by kvantitativn metodu analyzovala ve vztahu k hodnocen dopadu, naopak bylo zjitno z pilotnho ovovn hodnocen dopadu v rmci RQF a RAE, e tento pstup nenapluje poadavky i oekvn. Metoda pro hodnocen dopadu by mla naplovat zkladn poadavky, kter zajist jej spolehlivost a udriteln rozvoj: Akceptovateln akademickou a uivatelskou komunitou Schopna rozpoznat irok spektrum ekonomickch, spoleenskch, kulturnch a environmentlnch pnos Aplikovateln na vechny vdn disciplny Flexibiln a respektujc okolnosti a poteby jednotlivch discipln za elem eliminace jejich diskriminace nebo znehodnocovn Realizace procesu hodnocen dopadu nesm generovat vysok finann a asov nroky Mus poskytovat oviteln daje Nevyeenou otzkou vak zstvaj dopady, jejich dosaen i projeven je zleitost dlouhodobho horizontu. Pro tyto dopady je nap. v rmci REF stanoveno, e vzkum vedouc k dosaen dopadu me bt uskutenn a 15 let ped zatkem estiletho hodnocenho obdob, avak i pesto tento stav vede k tomu, e se vysokokolsk instituce budou zajmat spe o vzkum, kter vede k rychlmu dopadu, kter lze jasn demonstrovat. S tm souvis i etika hodnocen dopadu, jeliko jsou znmi ppady, kdy vsledky vzkumu mli zpotku pozitivn dopad, ale v dlouhodobm horizontu i svtovm mtku ml tento dopad spe negativn nsledky. Pkladem takovch vsledk mohou bt vzkumn projekty vedouc ke snen energetick nronosti a redukce vyuvn fosilnch paliv pro silnin dopravnch prostedk, kter maj velmi pozitivn dopad zejmna na ivotn prosted. To me na druhou stranu dle podporovat rostouc trend vyuvn osobn dopravy a produkce vozidel vedouc k roziovn silnin st, kter m vak v dlouhodobm horizontu negativn vliv na ivotn prosted. Je tedy na mst, aby se hodnocen dopadu dle zkoumalo, analyzovalo a bylo pedmtem dalch studi, kter by se zabvali ve zmnnmi otzkami a dle eilo vhodn nastaven tohoto procesu, jeho princip a kritri.
26. 26. 25 7 LITERATURA [1] DURYEA, Michelle, Mark HOCHMAN a Andrew PARFITT. Measuring the impact of research. s. 3. Dostupn z: https://www.atn.edu.au/Documents/Articles/2011/2010/2009/2008/2007/Measuring%20the %20impact%20of%20research.pdf [2] GRANT Jonathan, Brutscher Philipp-Bastian, KIRK Ella Susan, BUTLER Linda, WOODING SteveN. (2010) Capturing Research Impacts A review of international practice, [online]. 2010, Dostupn z: http://www.rand.org/content/dam/rand/pubs/documented_briefings/2010/RAND_DB578.pd f [3] Russell Group. (2009) Response to REF Consultation, [online]. 2012, Dostupn z: http://www.russellgroup.ac.uk/uploads/REF-consultation-response-FINAL-Dec09.pdf [4] DONOVAN, Claire. The Australian Research Quality Framework: A live experiment in capturing the social, economic, environmental, and cultural returns of publicly funded research. New Directions for Evaluation [online]. 2008, vol. 2008, issue 118, s. 47-60 [cit. 2015-02-03]. DOI: 10.1002/ev.260. Dostupn z: http://doi.wiley.com/10.1002/ev.260 [5] DONOVAN, Claire. Research Impact: The Wider Dimension or For Complexity. [online]. s. 8 [cit. 2015-02-07]. Dostupn z: 0http://www.anu.edu.au/emeritus/events/docs/ANUEF_ERA_Seminar-Claire_Donovan.pdf [6] PENFIELD, T., M. J. BAKER, R. SCOBLE a M. C. WYKES. Assessment, evaluations, and definitions of research impact: A review. Research Evaluation[online]. 2013, vol. 23, issue 1, s. 21-32 [cit. 2015-02-23]. DOI: 10.1093/reseval/rvt021. [7] DE JONG, Stefan, et al. Understanding societal impact through studying productive interactions. Rathenau Instituut Working paper 1304 Author (s), 2013. [8] Plsson, C. M. (2009). Vitalizing the Swedish university system: Implementation of the 'third mission'. Science & public policy : SPP ; journal of the Science Policy Foundation, 36(2),. [9] Tran NC. Reaching out to society: Vietnamese universities in transition. Science and Public Policy. 2009;36(2):91-5. [10] Gibbons M, Limoges C, Nowotny H, Schwartzman S, Scott P, Trow M. The New Production of Knowledge: The Dynamics of Science and Research in Contemporary Societies. London: SAGE Publications Ltd; 2010. [11] The Endless Transition: A "Triple Helix" of University-Industry-Government Relations. Minerva. 1998;36(3):203-8. [12] Hessels LK, Lente H. Re-thinking new knowledge production: a literature review and a research agenda. Research policy. 2008;37(4):740-60. [13] Davies, H., S. Nutley and I. Walter (2005). Assessing the impact of social science research: conceptual, methodological and practical issues. Background discussion paper. ESRC symposium on assessing non-academic impact of research. [14] De Jong, S. P. L., P. Van Arensbergen, F. Daemen, B. Meulen and P. Van den Besselaar (2011). "Evaluation of research in context: an approach and two cases." Research Evaluation 20(2): 61-72. [15] Spaapen, J. and L. Van Drooge (2011). "Introducing 'productive interactions'in social impact assessment." Research Evaluation 20(3): 211-218.
27. 27. 26 [16] Donovan, C. and S. Hanney (2011). "The 'Payback Framework' explained." Research Evaluation 20(3): 181-183 [17] Bozeman, B. and D. Sarewitz (2011). "Public Value Mapping and Science Policy Evaluation." Minerva 49(1): 1-23 [18] http://ec.europa.eu/invest-in-research/pdf/download_en/omc_nl_review_report.pdf [19] Bornmann L. What is societal impact of research and how can it be assessed? a literature survey. J Am Soc Inf Sci Technol. 2013;64(2):217-33. [20] Martin, Ben R. "The Research Excellence Framework and the 'impact agenda': are we creating a Frankenstein monster?." Research Evaluation20, no. 3 (September 2011): 247- 254. Academic Search Complete, EBSCOhost (accessed February 27, 2015). [21] European Commission. (2010). Assessing Europes university-based research. Expert group on assessment of university-based research. Brussels, Belgium: Publications Office of the European Union. [22] Martin, B.R. (2007). Assessing the impact of basic research on society and the economy. Paper presented at the Rethinking the impact of basic research on society and the economy (WF-EST International Conference, 11 May 2007), Vienna, Austria. [23] Burke, J., Bergman, J., & Asimov, I. (1985). The impact of science on society. Washington, DC: National Aeronautics and Space Administration. [24] Stephan, P. (2012). How economics shapes science. Cambridge, MA: Harvard University Press. [25] Bush, V. (1945). Science: The endless frontier. [A report to President Truman outlining his proposal for post-war U.S. science and technology policy.] Washington, DC: United States Government Printing Office. [26] Hanney, S., Packwood, T., & Buxton, M. (2000). Evaluating the benefits from health research and development centres: A categorization, a model and examples of application. Evaluation, 6(2), 137160. [27] van der Meulen, B., & Rip, A. (2000). Evaluation of societal quality of public sector research in the Netherlands. Research Evaluation, 9(1), 1125. [28] Mostert, S., Ellenbroek, S., Meijer, I., van Ark, G., & Klasen, E. (2010). Societal output and use of research performed by health research groups. Health Research Policy and Systems, 8(1), 30. [29] Godin, B., & Dor, C. (2005). Measuring the impacts of science; beyond the economic dimension, INRS Urbanisation, Culture et Socit. Paper presented at the HIST Lecture, Helsinki Institute for Science and Tech- nology Studies, Helsinki, Finland. Available at: http://www.csiic.ca/PDF/Godin_Dore_Impacts.pdf [30] Lamm, G.M. (2006). Innovation works. A case study of an integrated pan-European technology transfer model. B.I.F. Futura, 21(2), 86 90. [31] Frodeman, R., & Briggle, A. (2012). The dedisciplining of peer review. Minerva, 50(1), 319. doi:10.1007/s11024-012-9192-8 [32] Macilwain, C. (2010). What science is really worth. Nature, 465(7299), 682684. [33] Petit, J.C. (2004). Why do we need fundamental research? European Review, 12(2), 191207. [34] Salter, A.J., & Martin, B.R. (2001). The economic benefits of publicly funded basic research: A critical review. Research Policy, 30(3), 509 532. Smith, C.H.L. (1997). Whats the use of basic science? Retrieved from http://wwwnew.jinr.ru/section.asp?sd_id=94 [35] Nightingale, P., & Scott, A. (2007). Peer review and the relevance gap: Ten suggestions for policy-makers. Science and Public Policy, 34(8), 543 553. doi:10.3152/030234207x254396
28. 28. 27 [36] Smith, R. (2001). Measuring the social impact of research. British Medical Journal, 323(7312), 528. doi:10.1136/bmj.323.7312.528 [37] Molas-Gallart, J., & Tang, P. (2011). Tracing productive interactions to identify social impacts: An example from the social sciences. Research Evaluation, 20(3), 219226. [38] Department of Education, Science and Training. (2006). Research quality framework: Assessing the quality and impact of research in Australia. Research Impact (Report by the RQF Development Advisory Group). Canberra: Commonwealth of Australia. [39] Bozeman, B., & Sarewitz, D. (2011). Public value mapping and science policy evaluation. Minerva, 49(1), 123. doi:10.1007/s11024-011-9161-7 [40] van Vught, F., & Ziegele, F. (Eds.). (2011). Design and testing the feasibility of a multidimensional global university ranking. Final report: Consor- tium for Higher Education and Research Performance Assessment, CHERPA-Network. [41] Evaluating Research in Context (ERiC). (2010). Evaluating the societal relevance of academic research: A guide. Delft, The Netherlands: Delft University of Technology. [42] Holbrook, J.B., & Frodeman, R. (2011). Peer review and the ex ante assessment of societal impacts. Research Evaluation, 20(3), 239246. [43] Donovan, C. (2011). State of the art in assessing research impact: Introduction to a special issue. Research Evaluation, 20(3), 175179. [44] Lhteenmki-Smith, K., Hyytinen, K., Kutinlahti, P., & Konttinen, J. (2006). Research with an impact evaluation practises in public research organisations, Kemistintie, Finland: VTT Technical Research Centre of Finland. [45] STACHOV, Jana, Josef BERNARD a Daniel ERMK. Sociln kapitl v esk republice a v mezinrodnm srovnn. 1. vyd. Praha: Sociologick stav AV R, 2009, 121 s. Sociologick studie (Sociologick stav AV R), 09:5. ISBN 9788073301668. [46] Royal Society. (2011). Knowledge, networks and nations: Global scientific collaboration in the 21st century. London, United Kingdom: Author. [47] United Nations Development Programme. (2010). The millennium development goals. New York, NY: Author. [48] van der Weijden, I., Verbree, M., & van den Besselaar, P. (2012). From bench to bedside: The societal orientation of research leaders: The case of biomedical and health research in the Netherlands. Science and Public Policy, 39(3), 285303. doi:10.1093/scipol/scr003 [49] Social Impact Assessment Methods for Research and Funding Instruments Through the Study of Productive Interactions (SIAMPI). (2011). Final report on social impacts of research. Retrieved from http://www. siampi.edu/ [50] Higher Education Funding Council for England. (2009). Research Excellence Framework. Second consultation on the assessment and funding of research. September 2009/38. Bristol: Higher Education Funding Council for England. [51] United States Government Accountability Office. (2012). Designing evalu- ations. Washington, DC: Author. [52] Roberts, G., E. Arthur, M. Barber, R. Batterham, P. Callaghan, I. Chubb, P. Clark, A. Edwards, P. Hoj, R. Milbourne, A. Pettigrew, P. Sheehan and I. Smith. 2005. Research Quality Framework. Assessing the quality and impact of research in Australia: The Preferred Model. Expert Advisory Group for the RQF. [53] Peacock, J., L. Harvey, M. Barber, P. McFadden, W. King, T. Enright, D. Schreuder, I. Smith, J. Marceau, I. Davey, P. Clark and C. Fell. 2006a. Research Quality Framework. Assessing the quality and impact of research in Australia: The Recommended RQF. Development Advisory Group for the RQF.
29. 29. 28 [54] RATINGER, Tom a Vladislav ADIL. Pstupy k hodnocen socioekonomickch dopad politiky vavai. [online]. 2013, s. 47 [cit. 2015-03-10]. Dostupn z: http://www.vyzkum.cz/storage/att/39215D898 9628142C1E6B779600FF5B8/Hodnoceni_socioekonomickych_dopadu_2013.pdf [55] Peacock, J., L. Harvey, M. Barber, P. McFadden, J. Marceau, I. Davey, P. Clark, C. Fell, W. King, T. Enright, D. Schreuder and I. Smith. 2006b. Research Quality Framework. Assessing the quality and impact of research in Australia: Research Impact. Development Advisory Group for the RQF. [56] Donovan, C. 2005. A review of current Australian and international practice in measuring the quality and impact of publicly funded research in the humanities, arts and social sciences REPP Discussion Paper 05/3. [57] Spaapen, J. 2008. Comprehensive evaluation: Balance between research quality and relevance (The Dutch models). Presentation to Coimbra Group. [58] Spaapen, J., H. Dijstelbloem and F. Wamelink. 2007. Evaluating Research in Context: A method for comprehensive assessment. Available at http://www.eric- project.nl/nwohome.nsf/pages/NWOA_6V4BXK_Eng as of 22/04/09. [59] Manville, Catriona, Molly Morgan Jones, Michael Frearson, Sophie Castle-Clarke, Marie-Louise Henham, Salil Gunashekar and Jonathan Grant. Preparing impact submissions for REF 2014: An evaluation: Findings and observations. Santa Monica, CA: RAND Corporation, 2015. http://www.rand.org/pubs/research_reports/RR727. [60] Kelly, U. and McNicoll, I. (2011) National Co-ordinating Centre for Public Engagement, Through a Glass, Darkly: Measuring the Social Value of Universities (Pubd online) accessed 26 Oct 2012.
30. 30. 3 Tento dokument vznikl v rmci IPN Efektivn systm hodnocen a financovn vzkumu, vvoje a inovac. MMT R, Karmelitsk 7, 118 12 Praha1 www.metodika.reformy-msmt.cz