ANÁLISE DOS RESULTADOS – Sistema de Avaliação da CAPES
CRITÉRIOS DESDOBRAMENTO DE CADA QUESITO AVALIAÇÃO
M. BOM BOM REGULAR FRACO DEFICIENTE
Proposta do programa
Áreas de concentração, linhas de pesquisa e projetos em andamento (pesquisa, desenvolvimento e extensão).
AVALIAÇÃO QUALITATIVA Coerência, consistência e abrangência da estrutura curricular. Infra-estrutura para ensino, pesquisa e extensão. Atividades inovadoras e diferenciadas de formação de docentes.
Corpo Docente
15% Formação dos docentes permanentes. > 80% 70 - 79% 60 - 69% 50 - 59% < 50%
25% Adequação da dimensão, composição e dedicação dos docentes permanentes. > 70% 61 - 70% 51 - 60 40 - 50% < 40%
20% Perfil do corpo permanente em relação à proposta do programa. > 80% 70 - 79% 60 - 69% 50 - 59% < 50%
10% Atividade docente permanente na pós-graduação. > 90% 80 - 89% 70 - 79% 60 - 69% < 60%
10% Atividade docente permanente na graduação. > 90% 80 - 89% 70 - 79% 60 - 69% < 60%
20% 20% Participação dos docentes em pesquisa e desenvolvimento de projetos. > 90% 80 - 89% 70 - 79% 60 - 69% < 60%
Corpo Discente
20% Percentual de defesas mestrado/doutorado em relação ao total do corpo dicente.
> 40% 25%
36-39% 22-24%
30-35% 18-21%
< 30% < 18%
15% Adequação e compatibilidade da relação orientador/discente. < 8 < 8
10% Participação de discentes autores da pós-graduação e graduação. > 25% > 40%
20-24,9% 30-39,9%
15-19,9% 20-29,9%
10-14,9% 10-19,9%
< 10%
20% Dissertações/teses vinculadas a publicações. > 50% > 80%
40-50% 60-80%
30-40% 40-60%
20-30% 30-40%
< 20% < 30%
20% Qualidade das teses e dissertações. AVALIAÇÃO QUALITATIVA
35% 15% Tempo médio de titulação de mestres e doutores. < 30 < 54
30 - 31 54 - 55
32 - 33 55 - 56
> 33 > 56
Produção Intelectual
50% Publicações qualificadas do programa por docente permanente. > 50 35-49 20 - 34 12- 19 < 12
20% Distribuição de publicações qualificadas em relação ao corpo docente permanente.
> 80% 70 - 80% 50 - 70% 20 - 50% < 20%
15% Produção técnica ou tecnológica. AVALIAÇÃO QUALITATIVA 35% 15% Produção de alto impacto. > 100 75 - 99 50 - 74 25 - 49 < 25
Impacto Social
60% Inserção e impacto regional e/ou nacional do programa. AVALIAÇÃO QUALITATIVA
FONTE: MACCARI, 2008
30% Integração e cooperação com outros programas.
10% 10% Visibilidade ou transparência do programa.
Dissertações e Teses
Dissertações e Teses
Produção Intelectual
Produção Intelectual
Estrutura Curricular
Estrutura Curricular
Área de concentração
Área de concentração Linhas de Pesquisa
Linhas de Pesquisa
Projetos de
Pesquisa
Projetos de
Pesquisa
Organização da Estrutura de Pesquisa - Modelo CAPES
FONTE: MACCARI, 2008
Estrutura do Programa Estrutura do Programa
Resultados
Produção Científica e Tecnológica
Produção Científica e Tecnológica
Inserção Social Inserção Social
Sistema de Avaliação da Pós-Graduação
Corpo discente
Área de Concentração Área de Concentração
Estrutura Curricular Estrutura Curricular
Linhas de Pesquisa Linhas de Pesquisa
Projetos (eixo)
Corpo Docente
Egresso
Stakeholders
Stakeholders
Visão
Acesso a Recursos
FONTE: MACCARI, 2008
Administração Administração
As linhas de pesquisa pertencem ao Programa e é por meio delas que os docentes se conectam para desenvolver suas atividades.
Área de Concentração e Linhas de Pesquisa - LP
Linhas de Pesquisa e Projetos de Pesquisa
• Diminuição da linhas de pesquisa de 12 para 8
– 48 docentes (mínimo de 4 por linha)
• Linhas de pesquisa do professor e não do programa
• Projeto eixo de pesquisa
– máximo 2 por docente
– participação em 1 como colaborador
Docentes
• Premiação para os mais produtivos (produção Intelectual)
• Curso de Lattes
• Auxílio na elaboração de projetos de pesquisa
• Requisitos para participar do corpo docente permanente (Produção, Disciplina, Orientação e projeto financiado);
• 2013 – 2016 – Desempenho docente (Produção Intelectual, Orientação, projeto financiado, produção em parceria (ou não) com o discente e egresso, grupo de pesquisa)
Gestão do processo de entrada no Programa
• A entrada é regulada pela saída (controle de estoque)
• Entrada por linha de pesquisa
– (capacidade de orientação do ocente)
• Aumento da entrada de doutores
– 2004 42 M e 37 D = 79
– 2014 35 M e 65 D = 110
Discentes
• Publicação em periódico vale créditos . – Cada artigo em periódico “Qualisficado” = 4 créditos
– Artigos em congresso = 2 créditos
– Pode acumular 8 créditos (2 disciplinas)
• Sistema de acompanhamento discente: 1) Adequado; 2) Alerta; 3) Risco.
• Curso de Lattes
O processo de Gestão da Informação
Coordenação do Programa Coordenação do Programa
Sistema Fênix - Pós Graduação da USP
Seção Pós-Graduação da FEA
Docentes
Secretaria
do PPGA
Equipe Coleta Equipe Coleta
Discentes, Participantes
Externos e Teses/Dissert
a-ções
Projetos de Pesquisa
Disciplinas Turmas
Auxílio no preenchimento
do Currículo Lattes -CNPq
Produção docente, Produção Discente/ Egressos
Discentes e Egressos
Colegiado do PPGA
Área de Concentração
Linhas de Pesquisa
Preenchimento e
Conferência dos Dados
Resultados TIPOS DE PRODUÇÃO 2004 2004 CORRIGIDO EVOLUÇÃO
BIBLIOGRÁFICA
Artigos em Periódico 63 125 98%
Livros/Capítulos 39 90 130%
Trabalhos em Anais 237 713 200%
Artigo em Jornais e Revistas 83 215 159%
Outro tipo de produção bibliográfica 21 28 33%
TÉCNICA
Serviços Técnicos 203 417 105%
Curso curta duração 36 66 83%
Desenvolvimento de Aplicativo 1 2 100%
Desenvolvimento de Material Didático 1 8 700%
Desenvolvimento de técnica 5 7 40%
Editorial 8 9 12%
Organização de Eventos 1 7 600%
Programa de Rádio/TV 6 10 66%
Relatório de Pesquisa 3 11 266%
Outro tipo de produção técnica 67 98 46%
Apresentação de Trabalhos 43 178 314%
TOTAL 817 1984 142%
MACCARI, E. et al. Sistema de avaliação da pós-graduação da capes: pesquisa-ação em um programa de pós-graduação em
administração. RBPG. Revista Brasileira de Pós-Graduação, 2008.
Critérios para indexação
• Scielo: www.scielo.br/criteria/scielo_brasil_pt.html
• Scopus: http://info.scopus.com/etc/suggesttitle/
• ISI: www.isiwebofknowledge.com
• DOAJ: www.doaj.org/doaj?func=suggest
COMPOSIÇÃO DOS ESTRATOS
A1 = 12% A2 = 13% B1 = 25% B2 + B3 + B4 + B5 = 50%
A1 < A2 A1 + A2 < B1 % A1 + A2 + B1 < (B2 + B3 + B4 + B5)
Travas
Definição dos estratos
• B5 – Atendimento dos mínimos estabelecidos para avaliação e padrão de qualidade regular (compatível com o que atualmente se caracteriza como Local C)
• B4 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade bom (compatível com o que atualmente se caracteriza como Local B, Local A ou Nacional C), publicação de no máximo 45% dos artigos com autores vinculados a uma mesma instituição, por volume
• B3 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade muito bom (compatível com o que atualmente se caracteriza como Nacional B), publicado por tempo de vida superior a 4 anos, publicação de no máximo 40% dos artigos com autores vinculados a uma mesma instituição, por volume
• B2 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade excelente (compatível com o que atualmente se caracteriza como Nacional A), publicado por tempo de vida superior a 4 anos, publicação de no máximo 35% dos artigos com autores vinculados a uma mesma instituição
Definição dos estratos (cont.)
• B1 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade excelente (compatível com o que atualmente se caracteriza como Nacional A ou Internacional C), publicado por tempo de vida superior a 8 anos, publicação de no máximo 30% dos artigos com autores vinculados a uma mesma instituição, indexado no Scielo, se periódico editado no Brasil, ou indexador equivalente, se periódico editado fora do Brasil
• A2 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade excelente (compatível com o que atualmente se caracteriza como Nacional A, Internacional B ou A), indexado no ISI ou na base Scopus
• A1 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade excelente (compatível com o que atualmente se caracteriza como Nacional A, Internacional B ou A), indexado no ISI com fator de impacto publicado no JCR igual ou superior a 0,5, ou indexado na base Scopus/SCImago com índice H igual ou superior a 5
Critérios para indexação
• Scielo: www.scielo.br/criteria/scielo_brasil_pt.html
• Scopus: http://info.scopus.com/etc/suggesttitle/
• ISI: www.isiwebofknowledge.com
• DOAJ: www.doaj.org/doaj?func=suggest
COMPOSIÇÃO DOS ESTRATOS
A1 = 12% A2 = 13% B1 = 25% B2 + B3 + B4 + B5 = 50%
A1 < A2 A1 + A2 < B1 % A1 + A2 + B1 < (B2 + B3 + B4 + B5)
Travas
Povoamento dos Estratos pelas Áreas na CAPES
Prof. Dr. Emerson Maccari
Áreas Sem Programas com Conceito 7 Nome da Área Número de Programas
Arquitetura e Urbanismo 41
Interdisciplinar 236
Ensino 73
Biotecnologia 40
Ciências Sociais Aplicadas I 57
Nutrição 20
Direito 75
Materiais 27
Das 48 áreas da CAPES, 8 não possuem programas povoando o estrato conceito 7.
(CAPES, 2013a)
4,3%
7,5%
20,5%
33,9%
117
205
556
922
Distribuição dos Programas - 2010
4
6
5
7
3
(CAPES, 2013b)
858 31,6%
4
6
5
7
3
4,2%
8%
17,9%
36,5%
31,6%
140
266
598
1219
1054
Distribuição dos Programas - 2013
(CAPES, 2013b)
Evolução da produção em Artigos A1 e A2 triênios 2010 e 2013
Indicadores 2010 2013 Evolução
Artigos A1 172 472 274%
Artigos A2 566 2046 361%
Dentre as 48 áreas avaliadas pela CAPES a área de Administração,
Ciências Contábeis e Turismo foi a 12º na produção em A1 e 13º na
produção em A2 na trienal 2013 que mais cresceu.
Fonte: (CAPES, 2010; 2013a)
Evolução de programas de doutorado e titulação de doutores
A área de Administração foi, percentualmente, a 8ª área que mais
aumentou o número de programas de doutorado e a 5ª que mais
ampliou a titulação de doutores ao se comparar o triênio 2010 com o
2013.
.
Fonte: (CAPES, 2010; 2013a)
Indicadores 2010 2013 Evolução
Programas
Doutorado
27 41 51%
Doutores
Titulados
430 495 62%
Povoamento dos Conceitos 6 e 7 nos triênios 2010
e 2013
Dos 119 programas que compõem a área de Administração, Ciências
Contábeis e Turismo, na trienal de 2013, 1,7 % (2 Programas) povoam o
estrato do conceito 7 e 2,5% (3 Programas) povoam o estrato conceito 6.
Na avaliação de 2010, eram 2,1% (2 Programas) Conceito 7 e 3,1% (3
Programas) Conceito 6.
Administração,
C. Contábeis e
Turismo
2010
(96)
% Média
áreas %
2013
(119)
% Média
Áreas
%
Conceito 7 2 2,1 6,2% 2 1,7 5,8%
Conceito 6 3 3,1 8,7% 3 2,5 8,6%
Fonte: (CAPES, 2010; 2013a)
Produção artigos A1 e A2 per capta por programa e
povoamento do estrato 6 e 7 trienal 2013
A área de Administração, Ciências Contábeis e Turismo, possui a melhor
média per capta de produção de artigos A1 e A2, porém, é praticamente
a pior na ocupação dos Estratos 6 e 7.
Áreas Total Conceito 7 %7
Conceito 6 %6
A1 A2 Pa1 Pa2
Arquitetura e Urbanismo 41 0 0,0% 1 2,4% 16 95 0 2
Economia 55 3 5,5% 5 9,1% 102 175 2 3
Filosofia/Teologia: 59 2 3,4% 7 11,9% 114 414 2 7
Planejamento Urbano-Regional
e Demografia 34 1 2,9% 3 8,8% 88 180 3 5
Direito 75 0 0,0% 8 10,7% 202 418 3 6
Ciência da Computação 68 5 7,4% 3 4,4% 206 177 3 3
Serviço Social 30 1 3,3% 4 13,3% 121 253 4 8
Ciências Sociais Aplicadas I 57 0 0,0% 5 8,8% 253 488 4 9
Administração, Ciências
Contábeis e Turismo 119 2 1,7% 3 2,5% 472 2046 4 17
Fonte: (CAPES, 2013a)
Povoamento da Área no Estrato Conceito 7
Posição
Área Programas
Conceito
7 %
36º Administração, Ciências Contábeis e Turismo 119 2 1,7%
37º Zootecnia e Recursos Pesqueiros 60 1 1,7%
38º Ciências Ambientais 64 1 1,6%
39º Odontologia 96 1 1,0%
40º Biodiversidade 120 1 0,8%
Na trienal finalizada em 2013, das 40 áreas que possuem programas com
conceito 7, a área de Administração, Ciências Contábeis e Turismo
apresentou o 36º pior povoamento do estrato 7. Somente quatro áreas
tiveram, percentualmente, um desempenho inferior. Destaca-se que
destas quatro áreas, duas áreas (Ciências Ambientais e Biodiversidade)
são novas, foram criadas neste triênio.
Fonte: (CAPES, 2013a)
Povoamento da Área de Administração Conceito 6
• Das 48 áreas que possuem Programas com conceito 6
somente a área de Arquitetura e Urbanismo apresentou um
desempenho inferior.
• Das 48 áreas que possuem Programas com conceito 6
somente a área de Arquitetura e Urbanismo apresentou um
desempenho inferior.
Posição
Área Programas Conceito 6 %
47º Administração, Ciências
Contábeis e Turismo 119 3 2,5%
48º Arquitetura e Urbanismo 41 1 2,4%
Fonte: (CAPES, 2013a)
Evolução de programas com doutorado e titulação de doutores
• A área de Administração, Ciências Contábeis e Turismo foi, percentualmente, a 8ª área que
mais aumentou o número de programas de doutorado e a 5ª que mais ampliou a titulação de
doutores ao se comparar o triênio 2010 com o 2013.
• A área de Administração, Ciências Contábeis e Turismo foi, percentualmente, a 8ª área que
mais aumentou o número de programas de doutorado e a 5ª que mais ampliou a titulação de
doutores ao se comparar o triênio 2010 com o 2013.
Indicadores 2010 2013 Evolução
Programas
Doutorado
27 41 51%
Doutores
Titulados
430 695 62%
Fonte: (CAPES, 2010; 2013a)
Evolução de programas com doutorado e titulação de doutores
Estratos (notas)
Administração, Ciências Contábeis e
Turismo
Todas as Áreas Proposta para a Área
Programas % Programas % Programas %
7 2 1,7 140 4,2 5 4,2
6 3 2,5 266 8,1 10 8,4
5 23 19,3 598 18,3 23 19,3
4 54 45,4 1219 37,2 44 37
3 37 31,1 1054 32,2 37 31,1
Total 119 100 3277 100 119 100
Fonte: (CAPES, 2013b)
4
6
5
7
3
1,7%
2,5%
19,3%
45,3%
31,1%
2
3
23
54
37
Sugestão para a Área
4,2%
8%
17,9%
36,5%
31,6%
5
10
23
45
37
(CAPES, 2013b)
Resultado da Avaliação trienal 2013
Sugestão para a Área • Realizar uma avaliação comparada com as outras áreas da CAPES de modo a calibrar a régua das exigências do
sistema de avaliação para a área;
• Dar mais importância aos itens de output do sistema, como por exemplo: a) formação de discentes; b) Produção
Intelectual (científica e técnica-tecnológica) de seus docentes, discentes e egressos; c) Inserção Social do
Programa;
• Ajustar a ocupação dos estratos dos programas que solicitaram recursos utilizando-se como balizador o
percentual de ocupação dos estratos de todas as áreas;
• Elaborar um planejamento de estimulo à evolução dos programas por meio de reuniões direcionadas aos blocos
de programas de cada um dos estratos;
• Considerar não somente a média em percentual dos indicadores de um programa, mas sim sua efetiva
contribuição no que diz respeito a formação de alunos (mestres e doutores), produção intelectual docente e
discente (qualidade e volume) e inserção social;
• Atribuir pontuação para a formação de cada mestres e cada doutor. Isto estimulará os programas a ofertarem
mais vagas e ampliarem o seu corpo de docentes permanentes;
• Fazer uma divulgação comparada de todos os programas nos estratos específicos com destaque aos itens de
output. Assim, os programas podem visualizar sua posição em relação aos outros programas. Isto diminuirá as
dúvidas no processo de avaliação.
• Realizar uma avaliação comparada com as outras áreas da CAPES de modo a calibrar a régua das exigências do
sistema de avaliação para a área;
• Dar mais importância aos itens de output do sistema, como por exemplo: a) formação de discentes; b) Produção
Intelectual (científica e técnica-tecnológica) de seus docentes, discentes e egressos; c) Inserção Social do
Programa;
• Ajustar a ocupação dos estratos dos programas que solicitaram recursos utilizando-se como balizador o
percentual de ocupação dos estratos de todas as áreas;
• Elaborar um planejamento de estimulo à evolução dos programas por meio de reuniões direcionadas aos blocos
de programas de cada um dos estratos;
• Considerar não somente a média em percentual dos indicadores de um programa, mas sim sua efetiva
contribuição no que diz respeito a formação de alunos (mestres e doutores), produção intelectual docente e
discente (qualidade e volume) e inserção social;
• Atribuir pontuação para a formação de cada mestres e cada doutor. Isto estimulará os programas a ofertarem
mais vagas e ampliarem o seu corpo de docentes permanentes;
• Fazer uma divulgação comparada de todos os programas nos estratos específicos com destaque aos itens de
output. Assim, os programas podem visualizar sua posição em relação aos outros programas. Isto diminuirá as
dúvidas no processo de avaliação.
• REFERÊNCIAS:
• CAPES. Resultados Finais – Trienal 2010. 2010. Disponível em http://trienal.capes.gov.br/?page_id=100.
Acesso em 10 de Dez, 2013.
• CAPES. Resultados Avaliação Trienal 2013 – Planilha de Notas. 2013. Disponível em http://avaliacaotrienal2013.capes.gov.br/resultados/planilha-de-notas. Acesso em 10 de Dez. 2013a.
• CAPES. Resultados Avaliação Trienal 2013 – Apresentação dos Resultados. 2013. Disponível em http://avaliacaotrienal2013.capes.gov.br/resultados/planilha-de-notas. Acesso em 10 de Dez. 2013b.
• MACCARI, E. et al. Sistema de avaliação da pós-graduação da capes: pesquisa-ação em um programa de pós-graduação em administração. RBPG. Revista Brasileira de Pós-Graduação, 2008.
• MACCARI, E. A. . Contribuições à gestão dos programas de pós-graduação stricto sensu em administração no Brasil com base nos sistemas de avaliação norte americano e brasileiro. São Paulo: USP, 2008 (Tese).
• MACCARI, E. A. ; ALMEIDA, Martinho Isnard Ribeiro de ; NISHIMURA, A. T. ; RODRIGUES, L. C. . A Gestão dos Programas de Pós-Graduação em Administração com Base no Sistema de Avaliação da CAPES. REGE. Revista de Gestão USP, v. 16, p. 1-16, 2009