View
8.009
Download
5
Embed Size (px)
DESCRIPTION
Citation preview
Indicadores de impacto e produtividade das publicações para a avaliação da
atividade científica
Letícia StrehlProfa. do Departamento de Ciência da Informação
Faculdade de Biblioteconomia e Comunicação - UFRGS
Núcleo Orientado para a Inovação na Edificação (NORIE) – UFRGS - 01/12/2010
Dilemas da avaliação da produção científica
Critérios para analisar O que é produzido? Quanto é produzido? Com que qualidade é produzido?
Critérios de avaliação da produção científica (1):
O que é produzido?
Abordagem de problemas de caráter predominantemente nacional
(Produção Endógena)X
Tratamento de temáticas comuns aos interesses dos países desenvolvidos –
mainstream(Produção Exógena)
Fonte: FORATTINI, O.P. A tríade da publicação científica. Revista de Saúde Pública, São Paulo, v. 30, n. 1, 1996.
Critérios de avaliação da produção científica (2)
“Em termos de comunicação científica, as duas principais características do pesquisador são a quantidade de informações que comunica e a sua qualidade.“
"Como se pode estudar isto?"
Fonte: MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85
Quanto? Como?
Critérios de avaliação da produção científica (3):
Quanto é produzido?
Esta é fácil:Determina-se quantas publicações foram
escritas por um cientista em um dado momento!
Fácil... será?A questão deixa de ser trivial quando as
diferenças entre as áreas do conhecimento são examinadas.
Fonte: Censo 2004 do diretório dos grupos de pesquisa do CNPq. Disponível em:http://dgp.cnpq.br/censos/estratificacao/2004/index_estratificacao_2004.htm
Critérios de avaliação da produção científica (4):
Com que qualidade é produzido?
Avaliação por pares Ex.: consultoria ad hoc, Sistema Qualis
Indicadores de impacto(considerando, neste caso,
citação=visibilidade = qualidade?!) Ex.: Fator de impacto (Thomson Reuters)
e Índice H
Premissa dos indicadores de impacto
Trabalhos importantes são
freqüentemente citados na
literatura científica
Requisitos para o cálculo dos índices de impacto
Existência de bases de dados que indexem: uma quantidade representativa de
documentos; as referências citadas nas publicações.
Atualmente, as principais bases de dados para o cumprimento desta finalidade são a Web of Science, a Scopus e o Google Acadêmico
Todavia...
Tradicionalmente, as bases de dados capazes de fornecer informações sobre o impacto dos trabalhos centram-se basicamente no conhecimento veiculado em periódicos internacionais!
Mesmo crescente, o número de periódicos nacionais nas bases é irrisório
2010 2009 2008 20070
50
100
150
200
250
300
350
200
129
6230
310
266
208
147Web of ScienceScopus
Implicações da limitação do escopo dessas bases
A valorização da competitividade, o impacto e a visibilidade internacionais
-Produção Exógena-
Todas as áreas são norteadas por estes valores?
Partindo dos indicadores desenvolvidos para os trabalhos publicados em periódicos internacionais
O fator de impacto (FI)
Há décadas o principal indicador de visibilidade das publicações
Indicador criado em 1963 por Eugene
Garfield e Irving Sher
Publicado anualmente no Journal
Citation Reports (JCR)
O FI como critério de avaliação da produção científica
Trabalhos publicados em periódicos com alto FI são considerados melhores do que os publicados em periódicos com FI menores.
Como o FI é calculado?
Motivos do sucesso do FI como critério de avaliação da produção científica
Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais
Facilidade de compreensão “Robustez” (pequena variação de um
ano para outro) Rápida disponibilidade
Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.
Todavia...
a comparação de fatores de impacto de periódicos de áreas de diferentes ou, até mesmo, de sub-áreas diversas de uma mesma área é impraticável
Comparação de valores absolutos de FI de periódicos de diferentes áreas
Pelo menos dois fatores contribuem para as diferenças de FI
Oncologia Densidade dos artigos
Idade das citações
Matemática Densidade dos artigos
Idade das citações
Densidade e idade das citações da área de Construção
Densidade dos artigos
Idade das citações
Como o FI é calculado?
5 anos
2 anos
Variação dos valores médios de FI por área do conhecimento
AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct. 2000.
Corruptela do FI do periódico:o FI do autor
Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou
Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções
Surgimento do Índice H
Indicador de produtividade e impacto de um cientista
O que é o índice H
Definição: h é o número de artigos publicados por um pesquisador que obtenham um total de citações igual ou superior a h
Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the NationalAcademy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.
Exemplo de índice H: Stephen Hawking
Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 62, ou seja, ele já publicou 62 trabalhos que receberam pelo menos 62 citações.
O sentido do Índice H
I H I H
++
ProdutivosCitados
+-
ProdutivosCitados
-+
ProdutivosCitados
--
ProdutivosCitados
Legenda:I= ImpactoH = Índice H Alto Baixo
Dificuldades do Índice H para comparação de desempenho dos cientistas
Padrões de citação distintos verificados nas diversas áreas
Artigos escritos em co-autoria Influência do tempo de atividade do
pesquisador
Usando a Web of Science, a Scopus e o Google Acadêmico para calcular o Índice H
O índice H calculado com a Web of Science
Para visualizar como é obtido o índice H
Os artigos de um autor são ordenados de modo decrescente por número de citações, quando o número de artigos coincidir com o número de citações obtem-se o índice H
Researcher ID: para facilitar o acesso às informações sobre um pesquisador (1)
Researcher ID: para facilitar o acesso às informações sobre um pesquisador (2)
O índice H da Scopus (1)
O índice H da Scopus (2)
O Google Acadêmico (GA) com uma alternativa? O que é:
Versão especializada do Google para documentos científicos
Lançado em nov. 2004 Como funciona:
Robôs recompilam as informações disponíveis nos domínios institucionais, com permissão dos produtores, na filosofia dos Arquivos Abertos
Não utiliza os metadados dos editores das publicações
Não possui ferramenta própria para sistematização de informações das citações para cálculo dos indicadores
Torres-Salinas, D., R. Ruiz-Perez, et al. Google Scholar as a tool for research assessment. Profesional De La Informacion, v.18, n.5, Sep-Oct, p.501-510. 2009.
“Publish or Perish”: uma ferramenta bibliométrica para o GA
Indicadores calculados pelo “Publish or Perish”
Formas de busca Índices principais Autores Periódicos Palavras-chave
Número total: trabalhos Citações
Número médio de: citações por artigo citações por autor citações por ano trabalhos por autor
Índice H e indicadores relacionados
Problemas!
Cobertura extensa, mas indenfinida
Forma de coleta dos metadados acarreta muitas inconsistências nos dados
Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
TIPOS DE INCONSISTÊNCIAS NA FORMA DO GA DE COLETAR OS METADADOS
Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
Duplicação de artigos
1 em 4
Duplicação de citações
7 em 3
Autores?
Autor fantasma: P Login ou seja Please Login (2.340 artigos)
Autores perdidos
TODAS AS BASES POSSUEM INCONSISTÊNCIAS!TODO O LEVANTAMENTO BILIOMÉTRICO EXIGE LIMPEZA DE DADOS!
Todavia, para PeterJácso as inconsistências do GA são tantas que inviabilizam por completo o uso dos dados para cálculo de índices bibliométricos
Mas, para a recuperação, o GA é uma excelente ferramenta
Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
Novos indicadores para periódicos e países do Portal Scimago (dados da Scopus)
http://www.scimagojr.com/
O desafio em termos de indicadores
A avaliação capaz de considerar as
diferenças existentes entre as várias
(sub-)áreas
Desenvolvimento de indicadores que
valorizem os periódicos de qualidade
que tratam de problemas regionais
Muito obrigada!
Mais informações estão disponíveis em:http://leticiastrehl.blogspot.com/[email protected]