Embed Size (px)
Citation preview
Michely J. M. Vogel (PPGCI/UFF)Rio de Janeiro, 26 mar. 2019
Avaliação da Pós-Graduação Brasileira: os quesitos CAPES a percepção da comunidade científica
Avaliação da CAPES
Percepção da ComunidadeCientífica sobre a Avaliação
Uso de indicadores bibliométricose outros critérios no Qualis
Necessidades e Considerações
AGENDA
Sobre a Avaliação da CAPES
• Feita por pares, oriundos das diferentes áreas do conhecimento e reconhecidos por sua reputação intelectual• Tem natureza meritocrática, levando à classificação dos e nos campos
disciplinares• Associa reconhecimento e fomento, definindo políticas e
estabelecendo critérios para o financiamento dos programas (BRASIL, 2010, p.125).
Pressupostos da avaliação
• Nenhuma atividade social é neutra ou está desvinculada do político• O campo científico é “um campo de forças e um campo de lutas para
conservar ou transformar esse campo de forças” • Os processos de avaliação da atividade científica são afetados por
essas disputas
Bourdieu, 2004
O que é Avaliar
• Atividade abrangente, relacionada à auditoria, à inspeção, à garantia de qualidade e ao credenciamento• Permite identificar padrões para o alcance de mérito e valor para
determinar a performance dos avaliados• Requer coleta sistemática de informações • Momento de rever o passado e rever criticamente as experiências• Reinterpretação, desacordos e negociações para que novos significados e
procedimentos sejam estabelecidos• Momento potencialmente controvertido porque objetiva, muitas vezes,
abandonar velhas práticas e quebrar hábitos e convicções existentes Dahler-Larsen, 2011.
Critérios de avaliação a partir de 1998
• Notas de 1 a 7• Estabelecimento de critérios objetivos de pontuação de artigos• Criação do Qualis Periódicos• Definição dos periódicos considerados para aferir a excelência da produção
intelectual • Aumento da transparência do processo
• Periodicidade:• 1976-1983, Anual• 1984-1997, Bienal• 1998-2012, Trienal• 2013-atual, Quadrienal
Objetivos do Plano Nacional de Pós-Graduação (PNPG) 2011-2020 • Integração da PG com o setor empresarial e a sociedade• Organização de agenda nacional de pesquisa em torno de temas• Superação de assimetrias• Formação de recursos humanos para empresas e programas nacionais • Forte preocupação com a formação de professores para ensino médio e básico
• Criação da Diretoria de Educação Básica.
• Internacionalização:• Expansão da quantidade de alunos estrangeiros nas universidades brasileiras• Apoio aos estágios de pós-graduação no exterior: doutorados-sanduíche• Incentivo à participação de pesquisadores brasileiros em eventos internacionais• Realização de doutorado pleno no exterior• Ciência sem Fronteiras
PNPG 2011-2020 e a avaliação
• Apesar das inovações, o sistema ainda não satisfaz a diversidade e especificidades das áreas• Hegemonia ou predominância de critérios, culturas e procedimentos das
ciências exatas e naturais • Taylorismo intelectual e imperativo do publish or perish• Não atende os programas de natureza profissional
O modelo da avaliação da CAPES
• Plano Nacional de Pós-Graduação 2011-2020• Cinco eixos:
1. Primazia da qualidade, quebra da endogenia e redução das assimetrias2. Criação de agenda nacional de pesquisa e sua associação com a pós-
graduação3. Aperfeiçoamento da avaliação e sua expansão para outros segmentos do
sistema de CT&I4. Multi e Interdisciplinaridade 5. Apoio à educação básica e a outros níveis e modalidades de ensino,
especialmente o ensino médio
Critérios gerais de avaliaçãoProposta doPrograma
Corpo Docente Corpo Discente, Teses e Dissertações
Produção Intelectual
Inserção Social Internacionalização
Valor = 0%
Item obrigatório
Coerência das áreas com linhas e projetos;
Planejamento para futuro;
Infraestrutura para ensino e pesquisa.
Valor= 15 a 20%
Titulação e diversidade de origem
Compatibilidade com o programa
Carga horária dedicada e a divisão de atividades
Participação em eventos.
Valor= 30 a 35%
Quantidade de trabalhosdefendidos
Distribuição das defesas e orientações
Produção dos discentes
Tempo de formação e participação em eventos
Valor= 35 a 40%
Quantidade de publicaçõesqualificadas de cada docente
A distribuição entre os docentes
Fonte: Qualis Periódicos, Qualis Livros, Produções técnicas e artísticas
Valor= 10 a 15%
Palestras e conferências
Integração e cooperação com outros programas e instituições
Visibilidade: quantidade de acesso ao site e informações deste (linhas e coordenação)
Responsável pelas notas 6 e 7
Aplica-se somente a programas com Doutorado
Fluxo de pesquisadores e parcerias internacionais
Qualis Periódicos
• Cinco estratos• A1 (o mais alto); A2, B1, B2, B3, B4, B5, e C (sem valor)
• Um periódico pode aparecer em estratos diferentes, de acordo com a área que o classificou
• Para a CAPES, isto não constitui inconsistência, mas expressa o valor atribuído, por cada área, à pertinência do conteúdo veiculado. • “Por isso, não se pretende com esta classificação, que é específica para o
processo de avaliação de cada área, definir a qualidade dos periódicos de forma absoluta” (CAPES. s.d.)
Ex: Anais da Academia Brasileira de Ciências
Roteiro de Classificação de Livros e Qualis Artístico
Livros Artístico• Utilizada por 23 áreas• 4 estratos• L1 (o mais baixo)• L2• L3• L4
• Como nos periódicos, as áreas têm liberdade para atribuir valores e limites de cada estrato
• Utilizado por 5 áreas• Avalia não uma obra de arte,
mas a relevância da exposição ou da temporada em que ela foi apresentada• Impacto da obra• Grau de vinculação com a linha de
pesquisa ou projeto do autor
Problema: É possível padronizar a avaliação e, ao mesmo tempo, levar em conta a heterogeneidade das áreas de saber e das instituições?
Objetivo: Conhecer os aspectos da avaliação da CAPES sujeitos a debates e discussões pela comunidade científica
Percepção da comunidade
científica sobre a avaliação
(VOGEL, 2015)
Corpus• 48 documentos de área da CAPES 2013• 62 artigos, de 1997 a 2013.• 89 comentários (positivos, negativos, constatações,
sugestões)• 88 autores individuais e 2 autorias coletivas• Artigos de pesquisa, editoriais, debates, informes
• Fio condutor da análise: quesitos CAPESProposta do programa Corpo docente
Corpo discente, teses e dissertações Produção intelectual
Inserção social Internacionalização
+ Avaliação como um todo
Artigos com críticas da comunidade aos critérios(62 artigos, somando 89 críticas)
10
3
10
1
4
21
32
5
8
65 5
15
0
2
4
6
8
10
12
14
16
1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Número de Artigos por Ano, total 62
Críticas da comunidade aos critérios(62 artigos, somando 89 críticas)
1 03
1 02
7
3 24
25
1012
710
20
0
5
10
15
20
25
1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Críticas por Ano, total 89
Quantidade de críticas a cada critério
1 2
62
3 2
19
010203040506070
Proposta do Progra
ma=1%
Corpo Docente/Corpo Discente=2%
Produção Intelectual =70%
Inserção Socia
l=4%
Internacionaliza
ção=2%
Avaliação
toda=21%
Tipo de críticas
60%23%
11%6%
Negativa=37
Positiva=14
Sugestão=7
Constatação=4
37%
18%
31%
3% 11%Pesquisa=23
Debate=11
Editorial=19
Informe/ manifesto=2
Opinião/comentário=7
Tipo de publicação, total 62
Tipo de autores
43
2823
0
5
10
15
20
25
30
35
40
45
50
Pesquisadores Editores Consultores
Grande Área e Área Crit. Art. Grande Área e Área Crit. Art.CIÊNCIAS EXATAS E DA TERRA 0 0 MULTIDISCIPLINAR 0 0Matemática/Probabilidade e Estatística 1 1 Interdisciplinar 0 0Ciência da Computação 0 0 Ensino 0 0Astronomia / Física 3 1 Materiais 0 0Química 4 3 Biotecnologia 0 0Geociências 0 0 Ciências Ambientais 0 0CIÊNCIAS BIOLÓGICAS 0 0 ENGENHARIAS 0 0Ciências Biológicas I 0 0 Engenharias I 0 0Ciências Biológicas II 0 0 Engenharias II 0 0Ciências Biológicas III 0 0 Engenharias III 3 3Biodiversidade 2 1 Engenharias IV 0 0CIÊNCIAS AGRÁRIAS 0 0 CIÊNCIAS SOCIAIS APLICADAS 0 0Ciências Agrárias I 0 0 Direito 0 0Zootecnia / Recursos Pesqueiros 0 0 Administração, Ciências Contábeis, Turismo 6 4Medicina Veterinária 0 0 Economia 0 0Ciência de Alimentos 1 1 Arquitetura e Urbanismo 0 0
LINGUÍSTICA, LETRAS E ARTES 0 0 Planejamento Urbano e Regional/Demografia 0 0Letras / Linguística 0 0 Ciências Sociais Aplicadas I 1 1Artes / Música 0 0 Serviço Social 0 0CIÊNCIAS DA SAÚDE 4 4 CIÊNCIAS HUMANAS 0 0Medicina I 1 1 Filosofia 0 0Medicina II 1 1 Teologia 2 1Medicina III 2 2 Sociologia 1 1(críticas às Medicinas como um todo) 6 2 Antropologia / Arqueologia 0 0Nutrição 0 0 História 0 0Odontologia 2 1 Geografia 0 0Farmácia 1 1 Psicologia 2 1Enfermagem 1 1 Educação 7 3Saúde Coletiva 21 15 Ciência Política e Relações Internacionais 0 0Educação Física 5 3 AVALIAÇÃO COMO UM TODO 12 10
Grande Área e Área Crit. Art. Grande Área e Área Crit. Art.CIÊNCIAS EXATAS E DA TERRA 0 0 MULTIDISCIPLINAR 0 0Matemática/Probabilidade e Estatística 1 1 Interdisciplinar 0 0Ciência da Computação 0 0 Ensino 0 0Astronomia / Física 3 1 Materiais 0 0Química 4 3 Biotecnologia 0 0Geociências 0 0 Ciências Ambientais 0 0CIÊNCIAS BIOLÓGICAS 0 0 ENGENHARIAS 0 0Ciências Biológicas I 0 0 Engenharias I 0 0Ciências Biológicas II 0 0 Engenharias II 0 0Ciências Biológicas III 0 0 Engenharias III 3 3Biodiversidade 2 1 Engenharias IV 0 0CIÊNCIAS AGRÁRIAS 0 0 CIÊNCIAS SOCIAIS APLICADAS 0 0Ciências Agrárias I 0 0 Direito 0 0Zootecnia / Recursos Pesqueiros 0 0 Administração, Ciências Contábeis, Turismo 6 4Medicina Veterinária 0 0 Economia 0 0Ciência de Alimentos 1 1 Arquitetura e Urbanismo 0 0
LINGUÍSTICA, LETRAS E ARTES 0 0 Planejamento Urbano e Regional/Demografia 0 0Letras / Linguística 0 0 Ciências Sociais Aplicadas I 1 1Artes / Música 0 0 Serviço Social 0 0CIÊNCIAS DA SAÚDE 4 4 CIÊNCIAS HUMANAS 0 0Medicina I 1 1 Filosofia 0 0Medicina II 1 1 Teologia 2 1Medicina III 2 2 Sociologia 1 1(críticas às Medicinas como um todo) 6 2 Antropologia / Arqueologia 0 0Nutrição 0 0 História 0 0Odontologia 2 1 Geografia 0 0Farmácia 1 1 Psicologia 2 1Enfermagem 1 1 Educação 7 3Saúde Coletiva 21 15 Ciência Política e Relações Internacionais 0 0Educação Física 5 3 AVALIAÇÃO COMO UM TODO 12 10
Principais críticas negativas
• Uso inadequado de indicadores bibliométricos• Falta de avaliação qualitativa• Concentração em cada estrato Qualis• Uso dos mesmos critérios para todas as áreas• Privilégio da pesquisa sobre a educação e formação• Produtivismo: Incentivo a desvios como autocitação e Ciência Salame• Processo editorial não profissionalizado• Livros versus artigos
Principais críticas positivas
• Aumento da transparência• Avaliação como incentivo para a melhoria dos programas• Uso de indicadores bibliométricos, vistos como fruto de várias outras
avaliações também qualitativas
Exemplos de ComentáriosConstatações Qualis mudou de papel: de classificação da produção para concessão de
fundos transformou-se em uma espécie de guia para escolha de onde publicar.O ocorrência do produtivismo como colaterais ao processo.
Sugestões Indicadores bibliométricos devem ser utilizados, porém, ao mesmo tempo, os periódicos deveriam ser submetidos a outros tipos de avaliação, de natureza qualitativa.
Críticas Positivas Indicadores bibliométricos têm seu mérito, sendo necessário esclarecer seu papel, que é observar a circulação de informações.Indicadores bibliométricos seriam também qualitativos, pois pressupõem a avaliação de diversos juízes.
Críticas Negativas
Indicadores bibliométricos são meramente quantitativosO Qualis não considera o tamanho da comunidade, e pesquisadores de áreas pequenas acabam por publicar em outras áreas temáticas, mais abrangentes.Ausência de definições claras sobre o que é qualidade na ciência.O tamanho do extrato A (20% dos periódicos) é insuficiente.
Posicionamento nas Humanidades – 6 de 18 áreas• Informação e Comunicação (CSA 1)
• 1999. CAPES convida os programas para discutirem os critérios.• Psicologia
• 2003. Não há clareza na definição da endogenia.• 2003. Não há clareza na definição de Internacionalização.
• Educação• 2003. Punir não leva à excelência, mas incentivos sim.• 2003. Há critérios diferentes para cada área.• 2003. Periódico não é o meio mais importante na área.• 2004. Publicações internacionais como único critério de avaliação.• 2004. Avaliação como majoritariamente quantitativa.• 2005 A produção bibliográfica é o quesito que dita a avaliação.• 2005. Falta inserção social (incluída na avaliação de 2003).
Posicionamento nas Humanidades – 6 de 18 áreas• Administração, Ciências Contábeis e Turismo
• 2009. Uso excessivo de indicadores de produtividade condiciona a contratação de professores
• 2009. As metas de qualidade fortalecem e aprimoram o sistema• 2012. Aumento da transparência (2 x)• 2012. O modelo da CAPES é decisivo para o alto nível da PG Brasileira• 2012. A produção intelectual não é requisito suficiente para alcançar uma boa nota
na avaliação• Teologia
• 2013. Constante auto-superação, os benefícios vão para outros quesitos além dos periódicos
• 2013. Para evitar endogenia, os editores fortalecem revistas de outros PPGs ao invés das próprias revistas.
• Sociologia• 2013. Pesquisadores top publicam muito mais artigos do que livros.
Avaliação dos documentos de área
Comparação da avaliação de 2013 com 2017
Uso de indicadoresbibliométricos e outros
critérios na avaliação da produção intelectual
(VOGEL, 2017)
Resultados
• Uso de 3 tipos de critérios• Indicadores bibliométricos• Presença em bases de dados indexadoras• Critérios editoriais
Ciências da VidaGrande Área Área
Indicadores Bibliométricos
Presença em BDs
Critérios Editoriais
Indicadores Bibliométricos
Presença em BDs
Critérios Editoriais
Ciências Agrárias
Ciência de Alimentos FI, SJR - - CpD - -Ciências Agrárias I FI Sim - FI(JCR); CpD sim -Medicina Veterinária FI Sim - FI(JCR) sim -Zootecnia / Recursos Pesqueiros FI Sim - FI(JCR);H(SJR) sim -
Ciências Biológicas
Biodiversidade FI + H Sim Sim FI(JCR); H(SJR-Scimago) sim -
Ciências Biológicas I FI - - FI(JCR);CpD sim -Ciências Biológicas II FI - - FI(JCR);CpD - -Ciências Biológicas III F - - FI(JCR); SJR;H;CpD - -
Ciências da Saúde
Educação Física FI Sim - FI(JCR);H(SJR) sim -
Enfermagem FI, H, Cuiden Sim - FI(JCR); H(SJR), Cuiden sim -
Farmácia FI, H Sim - FI(JCR);H(SJR) sim -Medicina I FI Sim - FI(JCR),CpD sim -Medicina II FI, CpD Sim - FI(JCR),CpD sim -Medicina III FI, CpD Sim - FI(JCR),CpD sim -Nutrição FI, H Sim - FI(JCR),CpD sim -Odontologia FI, CpD Sim - FI(JCR),CpD sim -Saúde Coletiva FI, H, CpD Sim - FI(JCR),H(SJR),CpD sim -
Exatas, Tecnológicas e MultidisciplinarGrande Área Área
Indicadores
Bibliométricos
Presença
em BDs
Critérios
Editoriais
Indicadores
Bibliométricos
Presença
em BDs
Critérios
Editoriais
Ciências Exatas e
da Terra
Astronomia / Física FI - - FI(JCR) - -
Ciência da Computação FI, H - -FI(JCR); H(SJR-Scimago);
H5(Google)- -
Geociências FI Sim Sim H(SJR) - sim
Matemática, Probabilidade
e EstatísticaFI, MV - -
JCR, Article Influence
(AI), SJR, Meia-Vida(HL),
MCQ (Mathematical
Reviews da American
Mathematical Society)
- -
Química FI - - Fi(JCR) sim -
Engenharias
Engenharias I FI Sim Sim FI(Sucupira) sim sim
Engenharias II FI Sim Sim FI(JCR) sim sim
Engenharias III FI Sim Sim FI(JCR), Scopus sim sim
Engenharias IV FI, H Sim - FI(JCR), H(SJR) sim -
Multidis-ciplinar
Biotecnologia FI - - FI sim -
Ciências Ambientais Q, JCR Sim Sim FI(JCR); FI(SJR);SNIP sim sim
Ensino FI Sim Sim H5(Google), FI(JCR) sim sim
Interdisciplinar FI, SJR, Q Sim - FI(JCR);H(SJR) sim sim
Materiais CpD Sim - CpD sim -
HumanidadesGrande Área Área Indicadores
BibliométricosPresença em BDs
Critérios Editoriais
Indicadores Bibliométricos Presença em BDs
Critérios Editoriais
Ciências Humanas
Antropologia/Arqueologia - Sim Sim - sim simCiência Política e Relações Internacionais FI, SJR Sim Sim SJR sim simEducação - Sim Sim - sim simFilosofia - Sim Sim H sim simGeografia H - - FI(JCR);H(SJR) - -História - - Sim H(google) sim simPsicologia - Sim Sim H(google) sim simSociologia - Sim Sim Fi(JCR), H(google) sim simTeologia e Ciências da Religião H(google) sim sim
Ciências Sociais
Aplicadas
Administração, C. Contábeis e Turismo FI, H Sim Sim FI(JCR); H (Scopus), FI(Scielo) sim simArquitetura e Urbanismo - Sim Sim - sim simComunicação e Informação - Sim Sim - sim simDireito - Sim Sim FI(JCR);FI(SJR); H(Google) sim sim
Economia CLh - - FI(JCR); H(Google), H(SJR), CL sim -
Planejamento Urbano e Reg/ Demografia - Sim Sim FI(JCR);H(SJR) sim -Serviço Social - Sim Sim H sim sim
Linguística, Letras,Artes
Artes / Música - - Sim - - simLetras / Linguística - Sim Sim FI(JCR);H(SJR) sim sim
Uso dos critérios
2013 201735 áreas usavam indicadores bibliométricos, 11 exclusivamente
35 áreas usavam indicadores bibliométricos, 7 exclusivamente
36 áreas usavam presença em Bases de Dados 40 áreas usavam presença em Bases de Dados23 áreas usavam Critérios Editoriais2 exclusivamente
22 áreas usavam Critérios Editoriais1 exclusivamente
• 15 áreas mudaram de critérios (ou sua combinação) de 2013 para 2017
Indicadores bibliométricos utilizados
32
12
5
1 1 12
0 0 0 0
32
21
12
1 1 10
6
1 1 1
0
5
10
15
20
25
30
35
FI H CpD CLh HL Cuiden Q H5 SNIP AI MCQ
2013
2017
NecessidadeseConsiderações
FINALMENTE
Necessidades
• Esclarecer e ou aprofundar conceitos:• Indicadores bibliométricos e outros indicadores possíveis• Comunicação científica• Cada tipo de produção intelectual• Qual a finalidade da classificação Qualis
• Além da Produção intelectual• Está tudo bem resolvido ou "esquece-se" dos demais aspectos da avaliação?
• Canal de comunicação dinâmico com pesquisadores• Definir de modo contundente os critérios de avaliação da produção
intelectual• Ampliar o posicionamento oficial das Humanidades e suas áreas• Estudos comparativos das 49 áreas de acordo com cada quesito
Considerações
• Embora existam muitas críticas ao uso de indicadores bibliométricos, estes tem ganhado mais espaço• Percebe-se uma tentativa de diminuir o nível de subjetividade da
avaliação com critérios que são quantitativos (indicadores e presença em bases de dados)• Reconhece-se que a gênese desses critérios tem caráter qualitativo• As Humanidades têm se permitido o uso de indicadores
bibliométricos• Sinal da aceitação de um modelo imposto por forças políticas ou de um
reconhecimento da eficácia de tais artifícios ?
Considerações
• Produção intelectual é central nos processos de atribuição de notas aos programas• CAPES aberta a sugestões• Comunidade acadêmica satisfeita, porém vigilante• Não há menção ao PNPG 2011-2020 nas críticas!
