Embed Size (px)
Citation preview
Kolokvium FI MU v Brně 1102013
Jak (ne)hodnotit vědu
Jiřiacute
Raacutekosniacutek Matematickyacute uacutestav AV ČR Praha
Kolokvium FI MU v Brně 1102013
K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Velmi stručnaacute
historie hodnoceniacute
v ČRbull
Naacuterodniacute
politika VaV
ČR 2004ndash2008 zaacutekladniacute
principy hodnoceniacute
bull
Usneseniacute
vlaacutedy ČR č 644 z 2362004 k hodnoceniacute
vyacutezkumu a vyacutevoje a jeho vyacutesledků ndash
zaacutekladniacute
pravidla hodnoceniacute IS VaV typy hodnocenyacutech vyacutestupů
(člaacutenky knihy patenty aplikovaneacute
vyacutesledky ostatniacute
ndash
vymezena specifika podle oborů) hodnoceniacute
bdquoefektivnostildquo
ndash
do budoucna zmiacuteněna naacutevaznost na financovaacuteniacutendash
uacutekol do 30 9 2004 zpracovat Metodiku hodnoceniacute
VaV
a jejich
vyacutesledkůbull
2004ndash2009 Metodika hodnoceniacute
VaV
a jejich vyacutesledků index SR
bull
2010ndash2011 a 2012 Metodika hodnoceniacute
vyacutesledků
vyacutezkumnyacutech organizaciacute
a hodnoceniacute
vyacutesledků
ukončenyacutech programů
bull
Metodika 2012 je jen aktualizaciacute
Metodiky 2010 a 2011 původně navrženaacute
Metodika 2012 měla přineacutest řadu změn
bull
Metodika 2013 monstrum ktereacute
se nepodařilo uveacutest v život
Kolokvium FI MU v Brně 1102013
K čemu Metodika sloužiacutebull
Hodnoceniacute
vyacutesledků
VaV
na zaacutekladě
bodovyacutech hodnot přiřazenyacutech
jednotlivyacutem typům vyacutestupubull
Od 1 bodu za každyacute vyacutestup (M2004) k velmi složiteacutemu hodnoceniacute
M2013
bull
Hodnoceniacute
efektivnosti instituciacute
ve VaV
ndash
barevneacute
skupiny index SR (M2005 až
M2007)
bull
Od r 2010ndash
vyacuteše institucionaacutelniacute
podpory na dlouhodobyacute koncepčniacute
rozvoj (cca 8 mld Kč)
ndash
specifickyacute vysokoškolskyacute vyacutezkum (cca 11 mld Kč)ndash
přiacutespěvek na vzdělaacutevaciacute
činnost VVŠ
(součaacutest parametru K cca 3 mld Kč)
ndash
limity na financovaneacute
studenty v jednotlivyacutech stupniacutech studia bull
Většina VŠ
rozpočiacutetaacutevaacute
body na uacuteroveň
pracovišť popř jednotlivců
(s odpoviacutedajiacuteciacutem finančniacutem dopadem)bull
Přiacutemaacute
vazba financovaacuteniacute
na hodnoceniacute
(uvedenaacute
v zaacutekoně
1302002 Sb
o podpoře VaVaI
z veřejnyacutech prostředků) zdůraznila nevhodnost takoveacuteho způsobu hodnoceniacute
bull
Vyacutedaje na VaV
ze staacutetniacuteho rozpočtu činiacute
cca 26 mld Kč
(~07 HDP) z toho RVO činiacute
78 mld Kč
(rok 2012) 87 mld Kč
(rok 2013)
Kolokvium FI MU v Brně 1102013
Kritika staacutevajiacuteciacute
Metodiky dle RVVIbull
Nereflektuje mezioboroveacute
odlišnosti a rozdiacutelneacute
standardy ve
způsobu publikovaacuteniacute
či jineacuteho uplatňovaacuteniacute
vyacutesledků což
v některyacutech oborech může veacutest k pokřivenyacutem vzorcům chovaacuteniacute
bull
Řada vyacutesledků
je hodnocena paušaacutelně je jim přiřazena fixniacute
bodovaacute hodnota na zaacutekladě
jejich pouheacute
existence bez ohledu na jejich
kvalitubull
Hodnoceniacute
neumožňuje identifikovat vysoce kvalitniacute
vyacutesledky a
v řadě
přiacutepadů
stimuluje spiacuteše k masoveacute
produkci průměrnyacutech a podprůměrnyacutech vyacutesledků
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za
excelenci naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute projektů
ERC
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se
bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumu
bull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutechbull
Vyacutestupy body body body
bull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficienty α=1 (vaacuteha celkovyacutech uznanyacutech naacutekladů
na projektech aplikovaneacuteho vyacutezkumu) a β 01 (vaacuteha finančniacutech prostředků
vyplacenyacutech za projekty smluvniacuteho vyacutezkumu) ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Kolokvium FI MU v Brně 1102013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Kolokvium FI MU v Brně 1102013
Ecce
scientia
Kolokvium FI MU v Brně 1102013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
brzdiacute
spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Kolokvium FI MU v Brně 1102013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Velmi stručnaacute
historie hodnoceniacute
v ČRbull
Naacuterodniacute
politika VaV
ČR 2004ndash2008 zaacutekladniacute
principy hodnoceniacute
bull
Usneseniacute
vlaacutedy ČR č 644 z 2362004 k hodnoceniacute
vyacutezkumu a vyacutevoje a jeho vyacutesledků ndash
zaacutekladniacute
pravidla hodnoceniacute IS VaV typy hodnocenyacutech vyacutestupů
(člaacutenky knihy patenty aplikovaneacute
vyacutesledky ostatniacute
ndash
vymezena specifika podle oborů) hodnoceniacute
bdquoefektivnostildquo
ndash
do budoucna zmiacuteněna naacutevaznost na financovaacuteniacutendash
uacutekol do 30 9 2004 zpracovat Metodiku hodnoceniacute
VaV
a jejich
vyacutesledkůbull
2004ndash2009 Metodika hodnoceniacute
VaV
a jejich vyacutesledků index SR
bull
2010ndash2011 a 2012 Metodika hodnoceniacute
vyacutesledků
vyacutezkumnyacutech organizaciacute
a hodnoceniacute
vyacutesledků
ukončenyacutech programů
bull
Metodika 2012 je jen aktualizaciacute
Metodiky 2010 a 2011 původně navrženaacute
Metodika 2012 měla přineacutest řadu změn
bull
Metodika 2013 monstrum ktereacute
se nepodařilo uveacutest v život
Kolokvium FI MU v Brně 1102013
K čemu Metodika sloužiacutebull
Hodnoceniacute
vyacutesledků
VaV
na zaacutekladě
bodovyacutech hodnot přiřazenyacutech
jednotlivyacutem typům vyacutestupubull
Od 1 bodu za každyacute vyacutestup (M2004) k velmi složiteacutemu hodnoceniacute
M2013
bull
Hodnoceniacute
efektivnosti instituciacute
ve VaV
ndash
barevneacute
skupiny index SR (M2005 až
M2007)
bull
Od r 2010ndash
vyacuteše institucionaacutelniacute
podpory na dlouhodobyacute koncepčniacute
rozvoj (cca 8 mld Kč)
ndash
specifickyacute vysokoškolskyacute vyacutezkum (cca 11 mld Kč)ndash
přiacutespěvek na vzdělaacutevaciacute
činnost VVŠ
(součaacutest parametru K cca 3 mld Kč)
ndash
limity na financovaneacute
studenty v jednotlivyacutech stupniacutech studia bull
Většina VŠ
rozpočiacutetaacutevaacute
body na uacuteroveň
pracovišť popř jednotlivců
(s odpoviacutedajiacuteciacutem finančniacutem dopadem)bull
Přiacutemaacute
vazba financovaacuteniacute
na hodnoceniacute
(uvedenaacute
v zaacutekoně
1302002 Sb
o podpoře VaVaI
z veřejnyacutech prostředků) zdůraznila nevhodnost takoveacuteho způsobu hodnoceniacute
bull
Vyacutedaje na VaV
ze staacutetniacuteho rozpočtu činiacute
cca 26 mld Kč
(~07 HDP) z toho RVO činiacute
78 mld Kč
(rok 2012) 87 mld Kč
(rok 2013)
Kolokvium FI MU v Brně 1102013
Kritika staacutevajiacuteciacute
Metodiky dle RVVIbull
Nereflektuje mezioboroveacute
odlišnosti a rozdiacutelneacute
standardy ve
způsobu publikovaacuteniacute
či jineacuteho uplatňovaacuteniacute
vyacutesledků což
v některyacutech oborech může veacutest k pokřivenyacutem vzorcům chovaacuteniacute
bull
Řada vyacutesledků
je hodnocena paušaacutelně je jim přiřazena fixniacute
bodovaacute hodnota na zaacutekladě
jejich pouheacute
existence bez ohledu na jejich
kvalitubull
Hodnoceniacute
neumožňuje identifikovat vysoce kvalitniacute
vyacutesledky a
v řadě
přiacutepadů
stimuluje spiacuteše k masoveacute
produkci průměrnyacutech a podprůměrnyacutech vyacutesledků
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za
excelenci naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute projektů
ERC
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se
bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumu
bull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutechbull
Vyacutestupy body body body
bull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficienty α=1 (vaacuteha celkovyacutech uznanyacutech naacutekladů
na projektech aplikovaneacuteho vyacutezkumu) a β 01 (vaacuteha finančniacutech prostředků
vyplacenyacutech za projekty smluvniacuteho vyacutezkumu) ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Kolokvium FI MU v Brně 1102013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Kolokvium FI MU v Brně 1102013
Ecce
scientia
Kolokvium FI MU v Brně 1102013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
brzdiacute
spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Kolokvium FI MU v Brně 1102013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Velmi stručnaacute
historie hodnoceniacute
v ČRbull
Naacuterodniacute
politika VaV
ČR 2004ndash2008 zaacutekladniacute
principy hodnoceniacute
bull
Usneseniacute
vlaacutedy ČR č 644 z 2362004 k hodnoceniacute
vyacutezkumu a vyacutevoje a jeho vyacutesledků ndash
zaacutekladniacute
pravidla hodnoceniacute IS VaV typy hodnocenyacutech vyacutestupů
(člaacutenky knihy patenty aplikovaneacute
vyacutesledky ostatniacute
ndash
vymezena specifika podle oborů) hodnoceniacute
bdquoefektivnostildquo
ndash
do budoucna zmiacuteněna naacutevaznost na financovaacuteniacutendash
uacutekol do 30 9 2004 zpracovat Metodiku hodnoceniacute
VaV
a jejich
vyacutesledkůbull
2004ndash2009 Metodika hodnoceniacute
VaV
a jejich vyacutesledků index SR
bull
2010ndash2011 a 2012 Metodika hodnoceniacute
vyacutesledků
vyacutezkumnyacutech organizaciacute
a hodnoceniacute
vyacutesledků
ukončenyacutech programů
bull
Metodika 2012 je jen aktualizaciacute
Metodiky 2010 a 2011 původně navrženaacute
Metodika 2012 měla přineacutest řadu změn
bull
Metodika 2013 monstrum ktereacute
se nepodařilo uveacutest v život
Kolokvium FI MU v Brně 1102013
K čemu Metodika sloužiacutebull
Hodnoceniacute
vyacutesledků
VaV
na zaacutekladě
bodovyacutech hodnot přiřazenyacutech
jednotlivyacutem typům vyacutestupubull
Od 1 bodu za každyacute vyacutestup (M2004) k velmi složiteacutemu hodnoceniacute
M2013
bull
Hodnoceniacute
efektivnosti instituciacute
ve VaV
ndash
barevneacute
skupiny index SR (M2005 až
M2007)
bull
Od r 2010ndash
vyacuteše institucionaacutelniacute
podpory na dlouhodobyacute koncepčniacute
rozvoj (cca 8 mld Kč)
ndash
specifickyacute vysokoškolskyacute vyacutezkum (cca 11 mld Kč)ndash
přiacutespěvek na vzdělaacutevaciacute
činnost VVŠ
(součaacutest parametru K cca 3 mld Kč)
ndash
limity na financovaneacute
studenty v jednotlivyacutech stupniacutech studia bull
Většina VŠ
rozpočiacutetaacutevaacute
body na uacuteroveň
pracovišť popř jednotlivců
(s odpoviacutedajiacuteciacutem finančniacutem dopadem)bull
Přiacutemaacute
vazba financovaacuteniacute
na hodnoceniacute
(uvedenaacute
v zaacutekoně
1302002 Sb
o podpoře VaVaI
z veřejnyacutech prostředků) zdůraznila nevhodnost takoveacuteho způsobu hodnoceniacute
bull
Vyacutedaje na VaV
ze staacutetniacuteho rozpočtu činiacute
cca 26 mld Kč
(~07 HDP) z toho RVO činiacute
78 mld Kč
(rok 2012) 87 mld Kč
(rok 2013)
Kolokvium FI MU v Brně 1102013
Kritika staacutevajiacuteciacute
Metodiky dle RVVIbull
Nereflektuje mezioboroveacute
odlišnosti a rozdiacutelneacute
standardy ve
způsobu publikovaacuteniacute
či jineacuteho uplatňovaacuteniacute
vyacutesledků což
v některyacutech oborech může veacutest k pokřivenyacutem vzorcům chovaacuteniacute
bull
Řada vyacutesledků
je hodnocena paušaacutelně je jim přiřazena fixniacute
bodovaacute hodnota na zaacutekladě
jejich pouheacute
existence bez ohledu na jejich
kvalitubull
Hodnoceniacute
neumožňuje identifikovat vysoce kvalitniacute
vyacutesledky a
v řadě
přiacutepadů
stimuluje spiacuteše k masoveacute
produkci průměrnyacutech a podprůměrnyacutech vyacutesledků
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za
excelenci naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute projektů
ERC
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se
bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumu
bull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutechbull
Vyacutestupy body body body
bull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficienty α=1 (vaacuteha celkovyacutech uznanyacutech naacutekladů
na projektech aplikovaneacuteho vyacutezkumu) a β 01 (vaacuteha finančniacutech prostředků
vyplacenyacutech za projekty smluvniacuteho vyacutezkumu) ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Kolokvium FI MU v Brně 1102013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Kolokvium FI MU v Brně 1102013
Ecce
scientia
Kolokvium FI MU v Brně 1102013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
brzdiacute
spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Kolokvium FI MU v Brně 1102013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
K čemu Metodika sloužiacutebull
Hodnoceniacute
vyacutesledků
VaV
na zaacutekladě
bodovyacutech hodnot přiřazenyacutech
jednotlivyacutem typům vyacutestupubull
Od 1 bodu za každyacute vyacutestup (M2004) k velmi složiteacutemu hodnoceniacute
M2013
bull
Hodnoceniacute
efektivnosti instituciacute
ve VaV
ndash
barevneacute
skupiny index SR (M2005 až
M2007)
bull
Od r 2010ndash
vyacuteše institucionaacutelniacute
podpory na dlouhodobyacute koncepčniacute
rozvoj (cca 8 mld Kč)
ndash
specifickyacute vysokoškolskyacute vyacutezkum (cca 11 mld Kč)ndash
přiacutespěvek na vzdělaacutevaciacute
činnost VVŠ
(součaacutest parametru K cca 3 mld Kč)
ndash
limity na financovaneacute
studenty v jednotlivyacutech stupniacutech studia bull
Většina VŠ
rozpočiacutetaacutevaacute
body na uacuteroveň
pracovišť popř jednotlivců
(s odpoviacutedajiacuteciacutem finančniacutem dopadem)bull
Přiacutemaacute
vazba financovaacuteniacute
na hodnoceniacute
(uvedenaacute
v zaacutekoně
1302002 Sb
o podpoře VaVaI
z veřejnyacutech prostředků) zdůraznila nevhodnost takoveacuteho způsobu hodnoceniacute
bull
Vyacutedaje na VaV
ze staacutetniacuteho rozpočtu činiacute
cca 26 mld Kč
(~07 HDP) z toho RVO činiacute
78 mld Kč
(rok 2012) 87 mld Kč
(rok 2013)
Kolokvium FI MU v Brně 1102013
Kritika staacutevajiacuteciacute
Metodiky dle RVVIbull
Nereflektuje mezioboroveacute
odlišnosti a rozdiacutelneacute
standardy ve
způsobu publikovaacuteniacute
či jineacuteho uplatňovaacuteniacute
vyacutesledků což
v některyacutech oborech může veacutest k pokřivenyacutem vzorcům chovaacuteniacute
bull
Řada vyacutesledků
je hodnocena paušaacutelně je jim přiřazena fixniacute
bodovaacute hodnota na zaacutekladě
jejich pouheacute
existence bez ohledu na jejich
kvalitubull
Hodnoceniacute
neumožňuje identifikovat vysoce kvalitniacute
vyacutesledky a
v řadě
přiacutepadů
stimuluje spiacuteše k masoveacute
produkci průměrnyacutech a podprůměrnyacutech vyacutesledků
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za
excelenci naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute projektů
ERC
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se
bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumu
bull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutechbull
Vyacutestupy body body body
bull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficienty α=1 (vaacuteha celkovyacutech uznanyacutech naacutekladů
na projektech aplikovaneacuteho vyacutezkumu) a β 01 (vaacuteha finančniacutech prostředků
vyplacenyacutech za projekty smluvniacuteho vyacutezkumu) ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Kolokvium FI MU v Brně 1102013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Kolokvium FI MU v Brně 1102013
Ecce
scientia
Kolokvium FI MU v Brně 1102013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
brzdiacute
spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Kolokvium FI MU v Brně 1102013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Kritika staacutevajiacuteciacute
Metodiky dle RVVIbull
Nereflektuje mezioboroveacute
odlišnosti a rozdiacutelneacute
standardy ve
způsobu publikovaacuteniacute
či jineacuteho uplatňovaacuteniacute
vyacutesledků což
v některyacutech oborech může veacutest k pokřivenyacutem vzorcům chovaacuteniacute
bull
Řada vyacutesledků
je hodnocena paušaacutelně je jim přiřazena fixniacute
bodovaacute hodnota na zaacutekladě
jejich pouheacute
existence bez ohledu na jejich
kvalitubull
Hodnoceniacute
neumožňuje identifikovat vysoce kvalitniacute
vyacutesledky a
v řadě
přiacutepadů
stimuluje spiacuteše k masoveacute
produkci průměrnyacutech a podprůměrnyacutech vyacutesledků
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za
excelenci naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute projektů
ERC
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se
bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumu
bull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutechbull
Vyacutestupy body body body
bull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficienty α=1 (vaacuteha celkovyacutech uznanyacutech naacutekladů
na projektech aplikovaneacuteho vyacutezkumu) a β 01 (vaacuteha finančniacutech prostředků
vyplacenyacutech za projekty smluvniacuteho vyacutezkumu) ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Kolokvium FI MU v Brně 1102013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Kolokvium FI MU v Brně 1102013
Ecce
scientia
Kolokvium FI MU v Brně 1102013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
brzdiacute
spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Kolokvium FI MU v Brně 1102013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za
excelenci naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute projektů
ERC
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se
bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumu
bull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutechbull
Vyacutestupy body body body
bull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficienty α=1 (vaacuteha celkovyacutech uznanyacutech naacutekladů
na projektech aplikovaneacuteho vyacutezkumu) a β 01 (vaacuteha finančniacutech prostředků
vyplacenyacutech za projekty smluvniacuteho vyacutezkumu) ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Kolokvium FI MU v Brně 1102013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Kolokvium FI MU v Brně 1102013
Ecce
scientia
Kolokvium FI MU v Brně 1102013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
brzdiacute
spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Kolokvium FI MU v Brně 1102013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
M2013 ndash
řešeniacute
bull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se
bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumu
bull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutechbull
Vyacutestupy body body body
bull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficienty α=1 (vaacuteha celkovyacutech uznanyacutech naacutekladů
na projektech aplikovaneacuteho vyacutezkumu) a β 01 (vaacuteha finančniacutech prostředků
vyplacenyacutech za projekty smluvniacuteho vyacutezkumu) ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Kolokvium FI MU v Brně 1102013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Kolokvium FI MU v Brně 1102013
Ecce
scientia
Kolokvium FI MU v Brně 1102013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
brzdiacute
spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Kolokvium FI MU v Brně 1102013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Kolokvium FI MU v Brně 1102013
Ecce
scientia
Kolokvium FI MU v Brně 1102013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
brzdiacute
spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Kolokvium FI MU v Brně 1102013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Ecce
scientia
Kolokvium FI MU v Brně 1102013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
brzdiacute
spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Kolokvium FI MU v Brně 1102013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
brzdiacute
spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Kolokvium FI MU v Brně 1102013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
httplesswrongcomlw1wsthe_importance_of_goodharts_law
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Daacute
se to dělat leacutepe
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
7 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek R Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky 2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
httpwwwtechlibczcs1836-kre-12
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
httpaudit-vavreformy-msmtcz
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
httpwwwhefceacuk httpwwwaeres-evaluationfr
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nemajiacute
podobu jedineacuteho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
trojčlenkoveacute
vazby na financovaacuteniacute
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
Kolokvium FI MU v Brně 1102013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
![5.nadory jater [režim kompatibility] · •TNM klasifikace dle WHO: T primární nádor TX primární nádor nelze hodnotit T0 bez známek primárního nádoru T1 solitární nádor](https://img.pdfslide.tips/doc/110x75/5e2db57b45c60777c1349d3b/5nadory-jater-reim-kompatibility-atnm-klasifikace-dle-who-t-primrn-ndor.jpg)
