Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Perfil e impacto da produção
técnico-científica da Embrapa
2007 - 2015
Roberto Penteado
Wilson Fonseca
Flavio Avila
Produção, citações e downloads
Brasília, 04 de Junho de 2018
Avaliação bibliométrica:
Definição, Estudos e
Indicadores
Definição de Bibliometria
Bibliometria (Bibliometrics) – Estudo dos
aspectos quantitativos da difusão, uso e impacto
da informação registrada. Foi adotada inicialmente
de forma restritiva, na análise estatística de
publicações escritas, em particular dos registros
bibliográficos. Com o tempo, a Bibliometria
ampliou seu espectro, com a incorporação de
documentos diversos, tais como bases de dados
internas de uma empresa, bases de publicações
científicas e patentes.
Definição de Cientometria
Cientometria (Scientometrics) – É considerada
um segmento da sociologia da ciência para estudar
os aspectos quantitativos da ciência como
disciplina ou atividade econômica, aplicada ao
desenvolvimento de políticas científicas. Trata dos
estudos quantitativos de todas as atividades
científicas consideradas pertinentes, inclusive a
publicação. Por isso, a Cienciometría é mais
completa que a Bibliometría.
Áreas das ciências da informação
Estudos bibliométricos na Embrapa
2006 – PENTEADO FILHO, R. de C. Création de systèmes
d’intelligence dans une organisation de recherche et
développement avec la scientométrie et la médiamétrie. 2006. 328
f. Tese (Doutorado) – Université du Sud, Toulon.
2009a – PENTEADO FILHO, R. de C.; AVILA, A. F. D. Embrapa
Brasil: análise bibliométrica dos artigos na Web of Science: (1977-
2006). Brasília, DF: Embrapa Informação Tecnológica, 2009a. 116
p. (Textos para Discussão, 36).
2007 – FONSECA JÚNIOR, W. C. A Comunicação
organizacional: um estudo epistemológico. 2007. 204 f. Tese
(Doutorado em Comunicação Social) – Universidade Metodista de
São Paulo, São Bernardo do Campo.
Estudos bibliométricos na Embrapa
2009b – PENTEADO FILHO, R. de C.; AVILA, A. F. D. Estudo das
citações dos artigos da Embrapa na Web of Science de 1977 a
2006. Brasília, DF: Embrapa Informação Tecnológica, 2009b. 131
p. (Textos para Discussão, 37).
2016b – PENTEADO FILHO, R. De C.; FONSECA JUNIOR, W. C.
O problema da padronização das afiliações de autores na base de
dados Web of Science – o caso Embrapa e sua solução. In:
ENCONTRO BRASILEIRO DE BIBLIOMETRIA E CIENTOMETRIA,
5., 2016, São Paulo. Anais... São Paulo: USP, 2016. p.A18
2016a – PENTEADO FILHO, R. De C.; FONSECA JUNIOR, W. C.
F.; AVILA, A.F. O papel da pesquisa bibliométrica na avaliação de
desempenho de instituições de pesquisa: o caso Embrapa.
CONTECSI - International Conference on Information Systems and
Technology Management - ISSN 2448-1041 (2016).
Indicadores em ciência e tecnologia
Indicadores de atividade / produção –
Abrangem a contagem do número de publicações
por tipo de documentos (livros, artigos,
publicações científicas, informes) por instituição,
área de especialização e país. São indicadores
quantitativos que não entram no mérito da
qualidade das publicações.
Indicadores em ciência e tecnologia
Indicadores de conexão / relacionais –
Refletem o grau de colaboração na ciência em
nivel nacional e internacional, assim como o
crescimento ou declínio da pesquisa cooperativa.
Para isso, esses indicadores tratam das co-
ocorrências de autores, citações e palavras,
mapas do conhecimento, redes sociais e a
colaboração entre autores, instituições e países.
Indicadores em ciência e tecnologia
Indicadores de citação - São os mais difundidos
e também os mais polêmicos na análise da
literatura científica, para proporcionar informação
sobre o número de citações recebidas, por um
artigo específico, de outros artigos indexados na
mesma base de dados. Esses indicadores
denotam o impacto de autores ou artigos sobre
determinada comunidade científica, assim como
sua influência e visibilidade nessa comunidade.
Bases de dados multidisciplinares
Web of Science (WoS) – 1960 – Institute for Scientific Information (ISI) /
Thomson Scientific (1992) / Clarivate Analytics (2016). Esta base tem
registros de mais de 12 mil periódicos e é a mais utilizada en estudos
cientométricos. As principais bases da WoS são: Science Citation Index
Expanded (SCIE), Social Sciences Citation Index (SSCI) y Arts &
Humanities Citation Index (A&HCI). http://webofscience.com
Scopus – 2004 – Elsevier – Esta base de dados engloba mais de 20 mil
periódicos de diversos países e idiomas. Está crescendo em importância
pois tem origem na maior editora de periódicos do mundo.
SciELO (Scientific Eletronic Library Online) – 1998 – FAPESP/BIREME
– Base regional com algumas dezenas de periódicos.
Como baixar os dados
Como baixar os dados
Como baixar os dados
Como baixar os dados
Como baixar os dados
Como baixar os dados
Como baixar os dados
Avaliação bibliométrica:
Técnicas e métodos
Uso do software VantagePoint
O que é o VantagePoint?
O VantagePoint é um software de mineração de
textos que se utiliza para descobrir o
conhecimento en bases de datos textuais.
Existem outras duas versões do software:
Thomson Data Analyzer - utilizado nas bases de
dados Web of Knowledge da Thomson Scientific,
de artigos e de patentes como a WoS e a Derwent,
Science Citation Index;
TechOASIS - para uso do Governo dos EUA.
Minerar textos por padrões
Como vemos o texto como dado, podemos utilizar
técnicas de mineração de dados para encontrar
padrões e descobrir diferentes perspectivas em
grandes coleções de textos.
O que minerar?
Os dados textuais dos campos
Que são
dados
textuais
brutos dos
campos?
Campos
Delimitados
Estruturados
Em resumo
Com a explosão das informacões é inviável ler artigo por artigo.
O texto pode ser tratado como dado.
Padrões nos dados tem significado.
Bibliometria de co-palavras é a chave para encontrar padrões.
Bibliometria de co-palavras funciona melhor com informação estruturada.
O VantagePoint é uma ferramenta que da poder ao analista mas não o substitue.
O que faz o VantagePoint?
Resume uma amostra de dados:
Quem? - O que? - Onde? - Quando?
Relações
Tendências
Indicadores
Pense, com base em sua realidade, que perguntas são potencialmente úteis para responder.
Exemplo de estudo:
Perfil da produção de artigos da
Embrapa entre 2007 e 2015
Roberto Penteado
Wilson Fonseca
Flavio Avila
Oportunidades e Desafios
Perfil da produção de artigos
RESUMO – Estudo da produção científica da Embrapa e das
consequências de seus resultados para a avaliação de
desempenho da instituição nas dimensões política e social, de
informação e organizacional.
METODOLOGIA – Adoção do software VantagePoint para a
análise bibliométrica, e MS Excel para gerar gráficos. Para isso
foi realizada uma busca em 26 de agosto de 2016, nas bases
de dados da la Web of Science de todos os registros em todos
os idiomas e tipos de documentos (artigos, editoriais,
comentarios, etc.) com os possíveis nomes que faziam
referência à Embrapa. Ao final foram selecionados apenas os
artigos, resultando em 10.681 registros no período 2007-2015.
RESULTADOS – Os resultados se encontram a seguir.
Artigos por ano: 1975 - 2015
Artigos por ano: 2007 - 2015
Artigos por pesquisador (Total): 2007 - 2015
Artigos por idioma: 2007 - 2015
Origem dos periódicos: 2007 - 2015
Classificação dos periódicos: 2007 - 2015
Artigos por País: 2007 - 2015
Artigos por região do mundo: 2007 - 2015
Artigos por região do mundo: 2007 - 2015
Principais parceiros: 2007 - 2015
Principais parceiros: 2007 - 2015
Parceiros por região do globo: 2007 - 2015
EUA / Canadá / México
Parceiros por região do globo: 2007 - 2015
Europa
Parceiros por região do globo: 2007 - 2015
Demais Regiões do Globo
Parceiros por região do globo: 2007 - 2015
África
Parceiros por região do globo: 2007 - 2015
América do Sul / Central / Caribe
Parceiros por região do globo: 2007 - 2015
Ásia / Oceania
Parceiros por região do globo: 2007 - 2015
Organismos Internacionais
Financiadores: 2007 - 2015
Agenda Brasil: 2007 - 2015
Agenda Brazil: 2007 - 2015
Citações (Histórico): 1974 - 2006
Citações (Histórico): 1974 - 2015
Artigos por classe de citação: 2007 - 2015
Centros por classe de citação: 2007 - 2015
Centros por classe de citação: 2007 - 2015
Centros por classe de citação: 2007 - 2015
Citações por tipo de centro: 2007 - 2015
Citações de artigos por idioma: 2007 - 2015
Citações por origem do periódico: 2007 - 2015
Periódicos com zero citação: 2007 - 2015
Periódicos com zero citação: 2007 - 2015
Periódicos com + citações: 2007 - 2015
Periódicos com + citações: 2007 - 2015
Citações por origem e regiões: 2007 - 2015
Parceiros com mais citações: 2007 - 2015
Downloads de publicações: 2009 - 2015
Downloads de publicações: 2009 - 2015
Unidades por downloads: 2009 - 2015
Unidades por downloads: 2009 - 2015
Síntese dos Resultados
Produção Científica
– A Embrapa se encontra entre as instituições científicas
brasileiras mais produtivas; *entre as dez mais;
– Sua alta produção se deve à inclusão de novos
periódicos na base de dados, que agora tende a se
estabilizar (visibilidade x produção);
– Há tendência de crescimento das publicações européias
e norte-americanas na base de dados;
– Há tendência de crescimento dos artigos da Embrapa em
inglês por centros temáticos (Embrapa Recursos Genéticos
/ Embrapa Instrumentação);
– Centros ecorregionais tendem a publicar mais em português;
Síntese dos resultados
Colaborações e Financiamento
– A Embrapa é muito pouco mencionada nos artigos como
financiadora de sua própria pesquisa;
– Aplicando o índice DOM, os artigos com colaboradores das
OIPAs, Asia / Oceanía e África tendem a ser mais citados;
– Mais de 90% das coautorías da Embrapa se concentram no Brasil
(76,12%) e em sete países (EE.UU., França, Reino Unido, Espanha,
Holanda, Alemanha, Espanha e Canadá com 14,28% - Labex);
– Há dois tipos de financiadores: Agenda Brasil e Agenda Brazil;
– Questão importante: em que medida a agenda de pesquisa dos
financiadores externos estão em conformidade com os interesses
institucionais da Embrapa e vice-versa?
Síntese dos resultados
Citações
– O desempenho da Embrapa na citação de seus artigos tende a
ser muito melhor quando suas pesquisas são publicadas em
revistas internacionais, com colaboradores internacionais;
– Dos 1.272 autores da Embrapa e parceiros que publicaram
pelo menos um artigo com mais de cem citações, apenas 11
estão entre os 52 autores mais prolíficos;
– Os dois autores da Embrapa que produziram mais artigos
(154 e 110, respectivamente) se encontram no 95°e
212°lugares entre os que possuem mais de cem citações;
– Os trabalhos publicados em revistas de língua inglesa
possuem mais chance de alcançar um alto número de citações
do que em revistas de idioma português;
– É necessário um período de 5 anos para que as citações
cheguem a seu ápice.
Conclusões
O papel dos indicadores – indicadores de desempenho são
recursos necessários. No entanto, os resultados obtidos devem ser
avaliados qualitativamente de acordo com o perfil de cada
organização científica e de seus centros de pesquisa;
Valorização da diversidade – O desempenho de uma instituição
de P&D como a Embrapa somente será plenamente eficaz se se
levar em conta a contribuição global de suas unidades centrais e
descentralizadas, com seus diferentes perfis. Por isso é necessário
propor um trabalho de avaliação de desempenho mais qualificado;
Conclusões
Melhoria da gestão de desempenho institucional – Existe
a necessidade de melhoria do sistema de gestão de
desempenho da Embrapa, para ajustá-lo às preocupações da
comunidade internacional sobre o uso de indicadores em
C&T, aos documentos orientadores da Empresa (plano
diretor, cenários futuros, agendas estratégicas) e ao perfil de
suas unidades;
Avaliação de desempenho dos produtos de informação – A
produção científica da Embrapa contempla, além dos artigos
publicados em revistas científicas, os mais diversos produtos de
informação (manuais técnicos, vídeos, cartilhas etc.). Com as
novas tecnologias, esses produtos passaram a ficar em evidencia
no portal da Embrapa. É necessário desenvolver um plano ou
projeto que promova um melhor aproveitamento dos produtos de
informação com seus respectivos indicadores de desempenho.
Conclusões
Melhoria da política de publicação de documentos
científicos – É necessário reduzir distorções tais como a
publicação em revistas científicas que não estão em sintonía
com os públicos e temas da Embrapa, apenas para se obter
melhores pontuações nas bases de dados.
Agenda de pesquisa interna x externa – É necessário
atenção à gestão da agenda de pesquisa da Embrapa,
especialmente nos casos de colaboração internacional.