Jindřich LeitnerJindřich Leitner VŠCHT PrahaVŠCHT Praha

Jaká je hodnota našich publikacíJaká je hodnota našich publikací

2

Proč publikovat?Proč publikovat?

„„Work-finish-publish“Work-finish-publish“(M. Faraday, 1791-1867)(M. Faraday, 1791-1867)

Sdělit výsledkySdělit výsledky

„„Publish or perish“Publish or perish“(L. Wilson, 1942)(L. Wilson, 1942)

Získat bodyZískat bodypro hodnocenípro hodnocení

3

Goodhartův zákonGoodhartův zákon

Charles E.A. Goodhart

Je-li nějaká sociální nebo ekonomická veličinaJe-li nějaká sociální nebo ekonomická veličinaužita jako kvantifikovaný cíl nějaké politiky,užita jako kvantifikovaný cíl nějaké politiky,pak tato veličina ztrácí svoji vypovídací schopnost,pak tato veličina ztrácí svoji vypovídací schopnost,protože zainteresované subjekty jsou motivoványprotože zainteresované subjekty jsou motivoványk jejímu zkreslování. k jejímu zkreslování.

Příklad :Příklad :Hodnocení kvality pedagogů podle počtu Hodnocení kvality pedagogů podle počtu „úspěšných“„úspěšných“ studentů. studentů.

4

Hodnocení VEVIHodnocení VEVI Kariérní růst akademických pracovníkůKariérní růst akademických pracovníků Akreditace studijních programů a oborů na VŠAkreditace studijních programů a oborů na VŠ Poskytování finančních prostředků na grantové projektyPoskytování finančních prostředků na grantové projekty Hodnocení institucí zabývajících se VEVIHodnocení institucí zabývajících se VEVI … …

Kvantita = počet publikací + počet citacíKvantita = počet publikací + počet citací

Kvalita publikace = kvalita časopisu (IF)Kvalita publikace = kvalita časopisu (IF)

Kvalita jednotlivce = Kvalita jednotlivce = suma kvalitysuma kvality jeho publikací jeho publikací

Kvalita kolektivu = Kvalita kolektivu = suma kvalitysuma kvality jeho členů jeho členů

Hodnocení odborných publikací:Hodnocení odborných publikací:kvantita a kvalitakvantita a kvalita

5

ScientometrieScientometrie

Elsevier, 2007IF2010 = 3,119

Springer, 1978IF2010 = 1, 905

Scientometrics is the science of measuring and analysing science.Scientometrics is the science of measuring and analysing science.In practice, scientometrics is often done using bibliometricsIn practice, scientometrics is often done using bibliometrics

which is a measurement of the impact of (scientific) publications.which is a measurement of the impact of (scientific) publications.http://en.wikipedia.org/wiki/Scientometrics

Wiley, 1950IF2010 = 2,137

6

Bibliografické databázeBibliografické databázeThomson ReutersThomson Reuters

7 citačních databází7 citačních databází

SCI-Expanded od r. 1945 SCI-Expanded od r. 1945

2011: 1907 zdrojů2011: 1907 zdrojů

ElsevierElsevier

Dokumenty od r. 1996Dokumenty od r. 1996

2011: 3448 zdrojů, 3140 časopisů2011: 3448 zdrojů, 3140 časopisů

GoogleGoogle

+ + Publish or PerishPublish or Perish (Anne-Wil (Anne-Wil Harzing)Harzing)

7

Kvantitativní ukazateleKvantitativní ukazatele

Počet publikací (dle kategorie)Počet publikací (dle kategorie)- Nadprodukce publikací- Nadprodukce publikací

- Problém stejných jmen (- Problém stejných jmen (GS - GS - Smith: 1Smith: 1..330330..000, Li: 2000, Li: 2..140140..000)000)

Počet citacíPočet citací- Proč jsou práce citovány- Proč jsou práce citovány

-- Celkový počet citací Celkový počet citací vs.vs. distribuce počtu citací ( distribuce počtu citací (h-h-index)index)

-- Problém autocitací Problém autocitací

O.H. Lowry, N.J. Rosebrough, A.L. Farr, R.J. Randall:Protein measurement with the Folin phenol reagent,J. Biol. Chem. 193 (1951) 265.

22.5.2012WoS: 297485-krátGS: 249809-krát

8

0.0003 0.025 0.082

2.29

4.78

10.111.2

10.6

19.5

24.7

16.8

0

5

10

15

20

25

>100

00

1000

-999

9

500-

999

100-

499

50-9

9

25-4

9

15-2

4

10-1

45-

92-

4 1

0.0003 0.025 0.1072.40

7.18

17.2

28.4

39.0

58.5

83.2

100

0

20

40

60

80

100

>100

00

>100

0>5

00>1

00 >50

>25

>15

>10 >5 >2 1

Analýza citovanosti prací 1900-2005Analýza citovanosti prací 1900-2005Celkem prací 38.163.319Celkem prací 38.163.319

Citováno alespoň 1x 19.938.769 (tj.52,25%)Citováno alespoň 1x 19.938.769 (tj.52,25%)

Kvantitativní ukazateleKvantitativní ukazatele

9

Citační ohlas prací z oblasti TACCitační ohlas prací z oblasti TAC

1. Homer E. Kissinger: Reaction kinetics in differential thermal analysis, Anal. Chem. 29 (1957) 1702-1706 (5254 citací dle GS, 4629 citací dle WoS) 24.5.2012.

2. Takeo Ozawa: A new method of analysing thermogravimetric data, Bull. Chem. Soc. Jpn. 38 (1965) 1881-1886 (2491 citací dle GS, 2294 citací dle WoS) 24.5.2012.

10

Proč jsou publikace citoványProč jsou publikace citovány

- Délka názvu- Délka názvu

- Přítomnost zkratek, znaků (např. – nebo :) a určitých slov- Přítomnost zkratek, znaků (např. – nebo :) a určitých slov

- Specifické geografické vymezení- Specifické geografické vymezení

- …- …

- Aktivní/pasivní citace- Aktivní/pasivní citace

- Specifické preference (autor, zdroj, „indukční efekt“, …)- Specifické preference (autor, zdroj, „indukční efekt“, …)

- Negativní citace- Negativní citace

- Autocitace- Autocitace

11

Jorg E. Hirsch:An index to quantify an individual's scientific research output,Proc. Natl. Acad. Sci. USA. 102 (2005) 16569.2265 citací dle GS, 1017 citací dle WoS (24.5.2012)

Ncit

1 32

2 28

3 27

4 19

5 16

6 16

7 13

8 12

9 12

10 11

11 11

12 11

13 10

Hirschův indexHirschův index

12

O.H. Lowry, N.J. Rosebrough, A.L. Farr, R.J. Randall:Protein measurement with the Folin phenol reagent,J. Biol. Chem. 193 (1951) 265.

Rosebrough N.J.Suma citací 297694h-index 3

hh-index: výhody-index: výhody- Eliminuje vliv výrazně hodně/málo citovaných prací- Eliminuje vliv výrazně hodně/málo citovaných prací

hh-index: nevýhody-index: nevýhody- Výrazné rozdíly mezi obory (nelze porovnávat)- Výrazné rozdíly mezi obory (nelze porovnávat)

- S rostoucím věkem roste/neklesá- S rostoucím věkem roste/neklesá

- Při výpočtu jsou uvažovány autocitace- Při výpočtu jsou uvažovány autocitace

- Hodnota může záviset na databázi, ze které je vypočtena- Hodnota může záviset na databázi, ze které je vypočtena

- …- …

Hirschův indexHirschův index

13

Kvalitativní ukazateleKvalitativní ukazatele

Kvalita publikace = kvalita časopisu (IF)Kvalita publikace = kvalita časopisu (IF)

http://www.garfield.library.upenn.edu/

IF = IF = Garfield story Garfield story ......Science, Vol:122, No:3159, p.108-111, July 15, 1955Citation Indexes for Science:A New Dimension in Documentation throughAssociation of IdeasEugene Garfield, Ph.D.

cit (2010/ 2008) cit (2010/ 2009)2010

pub(2008) pub(2009)

IFN N

N N

SCImagoCites per Doc.(2y)

14

IF: nevýhodyIF: nevýhody- Výrazné rozdíly mezi obory (nelze porovnávat)- Výrazné rozdíly mezi obory (nelze porovnávat)

- Závisí na charakteru časopisu - Závisí na charakteru časopisu (obecný/specializovaný,(obecný/specializovaný,

původní/přehledné články, jazyk, …)původní/přehledné články, jazyk, …)

- Při výpočtu jsou v některých případech - Při výpočtu jsou v některých případech uvažovány různé uvažovány různé soubory pro publikace a citace soubory pro publikace a citace (Letters to Editor)(Letters to Editor)

- Při výpočtu jsou uvažovány autocitace- Při výpočtu jsou uvažovány autocitace

- Může se výrazně měnit v čase- Může se výrazně měnit v čase

- Nevhodné použití - není mírou kvality jednotlivé - Nevhodné použití - není mírou kvality jednotlivé práce práce

Impakt-faktor časopisuImpakt-faktor časopisu

„The use of journal impacts in evaluating individuals has its inherent dangers.“ (E. Garfield, 2005)

15

Impakt-faktor časopisuImpakt-faktor časopisu

16

Impakt-faktor časopisuImpakt-faktor časopisu

17

Lze iLze impakt-faktor časopisumpakt-faktor časopisu ovlivnit ? ovlivnit ?Proč ?Proč ?Osobní zájem vydavatelů, redaktorů i autorů.Osobní zájem vydavatelů, redaktorů i autorů.

Jak ?Jak ?Zvýšením počtu autocitací (citace na články ve stejném časopise).Zvýšením počtu autocitací (citace na články ve stejném časopise).

18

Časopisy s vysokým impakt-faktoremČasopisy s vysokým impakt-faktorem

Journal Journal (Country)(Country) CategoryCategory NNcitcit

NNpupu

bb

IFIF201201

00

A Cancer Journal for Clinicians (USA) Oncology 3962 4294,33

3

New England Journal of Medicine (USA)

Medicine, General @ Internal

37868

70853,48

6

Reviews of Modern Physics (USA) Physics, Multidisciplinary 4239 8251,69

5

Nature (GB) Multidisciplinary 6372

41765

36,104

Chemical Reviews (USA)Chemistry, Multidisciplinary

(1)1113

3337

33,036

Science (USA) Multidisciplinary 5519

21759

31,377

Nature Materials (GB) Chemistry, Physical (1) 7869 26329,92

0

Annual Review of Physical Chemistry (USA)

Chemistry, Physical (3) 649 5312,24

5

Chemistry of Materials (USA) Chemistry, Physical (15)1163

51818 6,400

Journal of Physical Chemistry C (USA) Chemistry, Physical (27)2683

85933 4.524

Journal of Chemical Thermodynamics (GB)

Chemistry, Physical (46) 1196 428 2,794

Thermochimica Acta (NL) Chemistry, Physical (71) 849 445 1,908

cit (2010/ 2008) cit (2010/ 2009)2010

pub(2008) pub(2009)

IFN N

N N

19

Body RIVBody RIV

• Články v prestižních časopisech Science a Nature (500 bodů).

• Články v mezinárodních časopisech s IF (10–305 bodů).

• Články v mezinárodních recenzovaných časopisech bez IF (Časopis musí být veden v databázi Scopus) (12 bodů).

• Články v českých recenzovaných časopisech (4 body).

• Články ve sbornících z konferencí (Sborník musí být evidován v databázi Conference Proceedings Citation Index - Science společnosti

Thomson Reuters) (8 bodů).

impmax

1 1J 10 295 ;

1 0,057 1

N PN

N P

Institucionální podporaInstitucionální podporana dlouhodobý koncepční rozvoj výzkumné organizace na dlouhodobý koncepční rozvoj výzkumné organizace

20

JJimpimp vybraných časopisů vybraných časopisů

JournalJournalIFIF201201

00

Category (Category (PPmaxmax)) PP NNavav JJimpimp

Thermochim. Acta 1,908Chem., Analytical (73)Chem., Physical (127)

3371

0,500 25,1

J. Therm. Anal. Calorim.

1,752Chem., Analytical (73)Chem., Physical (127)

3976

0,562 21,9

J. Chem. Thermodyn. 2,794Chem., Physical (127)Thermodynamics (51)

463

0,199 62,7

Polymer 3,829 Polymer Sci. (79) 9 0,103 104,6

Eur. Polym. J. 2,518 Polymer Sci. (79) 17 0,205 61,0

J. Alloy Compd. 2,138

Chem., Physical (127)Mater. Sci., Multi (225)

Metall. Metall. Eng., (76)

63505

0,255 50,2

J. Non-Cryst. Sol. 1,492Mater. Sci., Ceramics

(25)Mater. Sci., Multi (225)

486

0,252 50,7

1 bod ≈1 bod ≈

21

České univerzityČeské univerzity

NázevNázev CelkemCelkem Na 1 a.p.Na 1 a.p.Univerzita Karlova, Praha 513337,71 148,15

ČVUT, Praha 211795,96 141,16

Masarykova Univerzita, Brno 197255,59 139,41

VUT, Brno 134933,71 135,26

Univerzita Palackého, Olomouc 122834,71 107,44

VŠCHT, Praha 79556,49 191,93

Jihočeská univerzita, České Budějovice

65244,23 110,96

Západočeská Univerzita, Plzeň 62430,50 75,94

Univerzita Pardubice 56924,88 110,96

VŠB-TU, Ostrava 52307,64 51,47

Body RIV v r. 2011 (2006-2010)Body RIV v r. 2011 (2006-2010)

1 bod ≈1 bod ≈

22

Hlavní nedostatkyHlavní nedostatky

Kvalita vědecké práce je velmi obtížně Kvalita vědecké práce je velmi obtížně kvantifikovatelná.kvantifikovatelná.

Běžně užívané kvantitativní indikátory mají Běžně užívané kvantitativní indikátory mají řadu řadu zřejmých a obecně známých nedostatků, zřejmých a obecně známých nedostatků, jejich jejich hodnoty lze cíleně manipulovat.hodnoty lze cíleně manipulovat.

Kvantitativní ukazatele jsou mnohdy nevhodně Kvantitativní ukazatele jsou mnohdy nevhodně užívány a užívány a všeobecně přeceňovány.všeobecně přeceňovány.

Důsledkem současného systému Důsledkem současného systému hodnocení vědy pouze/zejména podle hodnocení vědy pouze/zejména podle

počtu a kvality publikací vede počtu a kvality publikací vede k nadprodukci publikací a k účelové k nadprodukci publikací a k účelové

manipulaci s citacemi.manipulaci s citacemi.

23

Lze to i jinak ?Lze to i jinak ?

Projekt „Technopolis“Projekt „Technopolis“ – – Mezinárodní audit VVI v Mezinárodní audit VVI v ČR (2010-11)ČR (2010-11)

Různé Různé aspektaspektyy vědní politiky včetně hodnocení organizací vědní politiky včetně hodnocení organizací zabývajících se VEVIzabývajících se VEVI

Systém není optimální – změna je nevyhnutelná.Systém není optimální – změna je nevyhnutelná.

Změny provádějte pomalu, aby systém mohl přirozeně Změny provádějte pomalu, aby systém mohl přirozeně reagovat na měnící se podmínky.reagovat na měnící se podmínky.

Nepoužívejte pouze přístupy založené na kvantitativních Nepoužívejte pouze přístupy založené na kvantitativních indikátorech (body RIV), kombinujte je s jinými principy indikátorech (body RIV), kombinujte je s jinými principy rozdělování zdrojů (posouzení nezávislými experty, rozdělování zdrojů (posouzení nezávislými experty, posouzení přínosů, sebehodnocení).posouzení přínosů, sebehodnocení).

Berte v úvahu rozdíly mezi jednotlivými vědními obory.Berte v úvahu rozdíly mezi jednotlivými vědními obory.