É possível comparar pesquisadores com interesses científicos diferentes? Osame Kinouchi Pablo...
32
É possível comparar pesquisadores com interesses científicos diferentes? Osame Kinouchi Pablo Diniz Batista Mônica Campiteli Alexandre Souto Martinez DFM-FFCLRP-USP Pesquisa Interdisciplinar e avaliação: tendência no debate contemp UNICAMP – 8 de maio de 2008
É possível comparar pesquisadores com interesses científicos diferentes? Osame Kinouchi Pablo Diniz Batista Mônica Campiteli Alexandre Souto Martinez DFM-FFCLRP-USP
possvel comparar pesquisadores com interesses cientficos
diferentes? Osame Kinouchi Pablo Diniz Batista Mnica Campiteli
Alexandre Souto Martinez DFM-FFCLRP-USP Frum: Pesquisa
Interdisciplinar e avaliao: tendncia no debate contemporneo UNICAMP
8 de maio de 2008
Slide 2
possvel...? Resposta curta: No Outras respostas: De forma
justa, no Um pouco mais justa, sim Talvez, em princpio, difcil na
prtica Busca de ndices de comparao no tendenciosos Mesmo para
comparao entre reas de pesquisa? 1 2 3
possvel comparar pesquisadores de diferentes reas? Se as
distribuies de probabilidade para o ndice x tem forma funcional
diferente para cada rea, no possvel fazer comparaes.
Slide 5
ndice h de Hirsch Paper Times Cited 12341234 87328732 h = 3 Um
pesquisador com ndice h tm h artigos com pelo menos h citaes PNAS
102: 16569 (2005) Este artigo teve 119 citaes at abril de 2008
!
Slide 6
Web of Science (ISI) e Scopus Alguns ndices fornecidos Nmero
total de publicaes: N Nmero total de citaes: C (com ou sem auto-
citaes) Nmero mdio de citaes: C/N Citaes da i-sima publicao por
ano: C i ndice h de Hirsch
Slide 7
Publish or Perish Publish or Perish um software que usa o
Google Scholar para obter citaes acadmicas.Google Scholar N C ndice
h de Hirsch e parmetros relacionados ndice g de Egghe ndice h
contemporneo Taxa de citao ponderada por idade Duas variaes do
ndice h individual Anlise do nmero de autores por paper
http://www.harzing.com/resources.htm#/pop.htm
Slide 8
ndice h depende da rea de pesquisa 120A. Ulrich76J. N. Bacall
128R. M. Evans79P. G. de Gennes * 134T. Kishimoto87M. Cardona 138C.
A. Dinarello88M. E. Fisher * 144S. Moncada88S. Weinberg * 152B.
Vogelstein92A. C. Gossard 153P. Chambon98P. W. Anderson * 154R. C.
Gallo104M. L. Cohen 160D. Baltimore107 7 A. J. Heeger 192S. H.
Snyder110E. Witten hBiolgos/BiomdicoshFsicos
Slide 9
Estatsticas no Brasil Dados coletados do Thompson ISI Web of
Science 188.909 referncias at junho de 2005 com endereo BRAZIL ou
BRASIL de artigos de 1975 a 2004 150.323 artigos 24.163 resumos de
conferncias 5.541 notas (brief reports ou rapid communications)
3.3577 cartas (letters) 2.333 reviews
Slide 10
ndice h no Brasil Figura 1. Nmero de pesquisadores com ndice h
no Brasil.
Slide 11
ndice h na Alemanha Figura 3. Nmero de pesquisadores com ndice
h na Alemanha.
Slide 12
Nmero de autores depende de rea de pesquisa Figura 2. Nmero de
publicaes com k autores por artigo in quatro reas de pesquisa no
Brasil: Fsica (crculos), Qumica (quadrados), Biologia/Biomedica
(quadrados abertos) e Matemtica (tringulos). Inset: Nmero N(N C )
de publicaes citadas N C vezes em quatro reas de pesquisa no Brasil
de 1975 a 2004 (dados coletatos em junho de 2005).
Slide 13
Observaes sobre ndice h ndice robusto, difcil de inflar, pouco
sensvel ao nmero total de publicaes e citaes. Mede impacto
acumulado, no produo atual. Dependente da rea de pesquisa. No leva
em conta co-autoria. Para vantagens e desvantagens, ver: Bornmann
L. and Daniel H-D, What do we know about the h index J. Am. Soc.
Inf. Sci. Tech. 58:1381-1385 (2007)
Slide 14
Descontando co-autoria ndice h individual Is it possible to
compare researchers with different scientific interests? Batista PD
el at. Scientometrics Vol 68 (2006) 179
Slide 15
Comparando h com h I no Brasil Figura 4. Os ndices h e h I em
funo do ranque para reas brasileiras de pesquisa. As curvas h I,
diferentemente das curvas de h, aparentam ter a mesma forma
funcional. Exponencial Extendida
Slide 16
Comparando h com h I na Alemanha Figura 5. Os ndices h e h I em
funo do ranque para reas alems de pesquisa. As curvas h I,
diferentemente das curvas de h, aparentam ter a mesma forma
funcional. Exponencial Extendida
Slide 17
ndices relativos (Brasil) Figura: Os ndices h e h I escalados
pela mdia em funo do ranque escalado para o Brasil. Uma nica curva
universal foi obtida para o ndice h I. Exponencial Extendida
Slide 18
ndices relativos (Alemanha) Figura: Os ndices h e h I escalados
pela mdia em funo do ranque escalado para a Alemanha. Uma nica
curva universal foi obtida para o ndice h I.
Slide 19
Resultado novo *
Slide 20
Concluses I A avaliao de pesquisadores dentro de uma mesma rea
j um problema difcil. A avaliao em reas interdisciplinares coloca
problemas adicionais. ndices ideais deveriam ser normalizados de
modo a (suas distribuies de probabilidade) serem insensveis rea de
pesquisa.
Slide 21
Concluses II O ndice h tem desvantagens, entre elas a curva
N(h) e o correspondente grfico de ranque depende da rea de
pesquisa. O ndice h I relativo menos dependente do campo de
pesquisa. Entretanto, parece ser possvel normalizar esses ndices em
uma curva universal independente de rea, pelo menos para 99,9% dos
pesquisadores. Essa nova gerao de ndices ainda precisa ser melhor
validada. Lembrar porm que a avaliao deve ser sempre
multidimensional.
Slide 22
Questo Poderia o ndice h (e seus derivados), mesmo com suas
limitaes, ajudar em uma avaliao mais justa das reas
interdisciplinares? Exemplo: colega em rea interdisciplinar com N =
9 e h = 6.
Slide 23
Mesa Redonda Interdisciplinariedade: Um caminho para uma
avaliao mais abrangente?
Slide 24
ndices de avaliao: uma abordagem interdisciplinar Osame
Kinouchi DFM-FFCLRP-USP Frum: Pesquisa Interdisciplinar e avaliao:
tendncia no debate contemporneo UNICAMP 8 de maio de 2008
Slide 25
Avaliao e ranqueamento: um problema genrico O problema de
avaliar a importncia e relevncia de items ocorre em inmeras reas
alm da rea de cientometria Exemplos: Mquinas de busca na WWW:
ranqueamento de pginas (Google, Yahoo Search etc). Medidas de
centralidade em redes sociais, biolgicas, tecnolgicas. Teoria de
redes complexas.
Slide 26
Redes complexas I Rede gentica
Slide 27
Redes complexas II Rede de transduo de sinais biolgicos
Slide 28
Redes Complexas III Blogosfera poltica americana: Conservadores
(vermelho), liberais (azul)
Slide 29
Medidas de centralidade Na rea de redes complexas, vrias
medidas de centralidade (importncia) j foram definidas e estudadas:
Degree centrality Betweenness centrality Closeness centrality
Eigenvector centrality Etc... provvel que idias provindas dessa rea
sejam adaptadas para problemas cientomtricos.
Slide 30
Redes de citaes
Slide 31
Exemplo Finding scientific gems with Googles PageRank algorithm
P. Chen, H. Xie, S. Maslovand S. Redner Journal of Informetrics
Volume 1, Issue 1Volume 1, Issue 1, January 2007, Pages 8-15
Abstract We apply the Google PageRank algorithm to assess the
relative importance of all publications in the Physical Review
family of journals from 1893 to 2003. While the Google number and
the number of citations for each publication are positively
correlated, outliers from this linear relation identify some
exceptional papers or gems that are universally familiar to
physicists.
Slide 32
Concluso A avaliao de reas de pesquisa interdisciplinares
constitui um problema difcil e desafiante. O problema de avaliao e
ranqueamento possui contatos com uma rea de pesquisa mais geral:
medidas de centralidade na teoria de redes complexas. Algumas
dessas idias j tem sido aplicadas em cientometria. Talvez, no
futuro, idias dessa rea venham contribuir para a questo da avaliao
interdisciplinar (e vice-versa!)