CRITÉRIOS DE AVALIAÇÃO DA PÓS-

GRADUAÇÃO STRICTU SENSU EM

SAÚDE COLETIVA

Guilherme L Werneck

A FICHA DE AVALIAÇÃO (SAÚDE COLETIVA)

QUESITO PESO NÚMERO DE ITENS

Proposta do Programa 0% 3

Corpo Docente 15% 5

Corpo Discente, Teses e Dissertações 35% 4

Produção Intelectual 35% 3

Inserção Social 15% 3

ESCALA PARA ATRIBUIÇÃO DOS CONCEITOS

• Muito Bom, Bom, Regular, Fraco, Deficiente (5 1 pontos)

CONDIÇÕES PARA RECOMENDAÇÃO DE NOTAS

• NOTA 5: Conceito “Muito Bom” em pelo menos 4 dos 5 quesitos, incluindo “Corpo Discente” e “Produção Intelectual”

• NOTAS 6 e 7: Cursos com Doutorado e que alcançaram conceito “Muito Bom” em todos os 5 quesitos

COMO A AVALIAÇÃO DA

PRODUÇÃO CIENTÍFICA FOI FEITA

PARA O TRIÊNIO 2010-2012

UMA NOTA SOBRE A CLASSIFICAÇAO DA PRODUÇÃO CIENTÍFICA (QUALIS)

•QUALIS é uma ferramenta para a avaliação da produção bibliográfica dos programas de pós graduação‐• Versões para artigos em periódicos e para livros/capítulos de livros•QUALIS periódicos (http://qualis.capes.gov.br/webqualis/):– Base: todos os artigos publicados por docentes da área de Saúde Coletiva

no triênio– Identifica-se em que periódico cada artigo foi publicado– Estes periódicos são estratificados de acordo com critérios de indexação e

citação (A1, A2, B1, B2, B3, B4, B5, C)– Atribui-se um valor correspondente a cada periódico dependendo do

estrato em que ele está alocado (100, 85, 70, 50, 30, 15, 5, 0)– Artigos recebem a pontuação atribuída ao periódico onde foi publicado– Procedimento feito separadamente para revistas “da área” e “fora da área”

QUALIS SAÚDE COLETIVA: CRITÉRIOSP Estrato H (Scopus) FI (JCR) ou cites/doc NMCA (Scielo)§ Pontos

Geral S. Coletiva Geral S. Coletiva95.0 A1 ≥79 ≥69 ≥4,00 ≥3,41 ≥6,55 10090.0 A2 56 - 78 50 - 68 2,90-3,99 2,78-3,40 4,95-6,54 8575.0 B1 29 - 55 30 -49 1,50-2,89 1,72-2,77 2,72-4,94 7045.0 B2 10 - 28 10 - 29 0,47-1,49 0,72-1,71 1,10-2,71 50

<45.0 B3 0 - 9 0 - 9 0,00-0,46 0,00-0,71 0,00-1,09 30― B4* LILACS, Pepsic, Latindex, Medline, Pubmed e outras 15― B5* Não indexadas, disponíveis online para acesso gratuito a texto completo 5

* Máximo de 3 por docente§Só no Scielo: A1 e A2 B1; B1 B2; B2 = B2; B3 = B3H (Scopus) – Número h de artigos da revista que receberam h citações

FI (JCR) – Número de citações no ano X de artigos publicados na revista nos dois anos anteriores / total de artigos publicados nos 2 anos anterioresCites/doc - Número de citações da revista no ano X dividido pelo no de artigos publicados nos 3 anos prévios

NMCA (Scielo): Numero médio de citações por artigo descontadas a autocitação

Travas (CAPES): A1<A2; A1+A2 = 25%; A1+A2+B1 = 50%

QUALIS PERIODICOS: SAÚDE COLETIVA

ESTRATOPERIODICOS

(N)ARTIGOS

(N)A1 313 938A2 350 2287B1 561 2749B2 449 1878B3 278 754B4 587 1446B5 116 141TOTAL 2654 10193

A1 A2 B1 B2 B3 B4 B5

PERIODI-COS

11.8 13.2 21.1 16.9 10.5 22.1 4.4

ARTIGOS 9.20239379966644

22.4369665456686

26.9694888649073

18.4244089080742

7.39723339546748

14.1862062199549

1.38330226626116

2.5

7.5

12.5

17.5

22.5

27.5

DISTRIBUIÇÃO DOS PERIÓDICOS E ARTIGOS POR ESTRATO

%

ESTRATO PONTUAÇÃOLIVRO

PONTUAÇÃOCAPÍTULO / ORGANIZAÇÃO DE COLETÂNEA

L4 240 90

L3 180 60

L2 120 40

L1 60 15

•QUALIS livros:• Definição de livro: produto impresso ou eletrônico que possua ISBN ou ISSN

(para obras seriadas) contendo no mínimo 50 páginas, publicado por editora pública ou privada, associação científica e/ou cultural, instituição de pesquisa ou órgão oficial. • Só é pontuada obra científica (excluidas obras didáticas e técnicas)• Critérios: Editora, Conselho Editorial, avaliação por pares, língua, financiamento,

prêmios etc• Cada livro é avaliado individualmente

QUALIS LIVROS

QUESITO 4: PRODUÇÃO INTELECTUAL (35%)

ITEM 4.1 PUBLICAÇÕES QUALIFICADAS POR DP (40%)

• PRODUÇÃO PER CAPITA: Soma da produção em artigos, livros e capítulos (sem duplicatas) / DP (MB = ≥600 pontos)

ITEM 4.2 DISTRIBUIÇÃO DA PRODUCÃO QUALIFICADA (40%)

• 4.2.1. PRODUCÃO ACIMA DA MEDIANA (205 pontos/DP/ano)• MB = ≥60%

• 4.2.2. PRODUCÃO ACIMA DO PERCENTIL 80 (427 pontos/DP/ano)• MB = ≥15%

•MEDIANA de distribuição dos artigos como critério qualitativo (≥B1)

ITEM 4.3 PRODUCÃO TÉCNICA (20%)

PROBLEMAS

2007 2010 20130

2000

4000

6000

8000

10000

12000

14000

ARTIGOSLIVROS

TRIENIO

NUMERO

Créditos: Rita Barata, 2013

PRODUÇÃO DE ARTIGOS, LIVROS E CAPÍTULOS DE LIVROS

DESEQUILÍBRIO ENTRE PROGRAMAS

SUB-ÁREA DP - N(37 PPG)

MEDIANAPRODUÇÃO

P80(%)

EPIDEMIOLOGIA 351 765 30

CIENCIAS SOCIAIS E HUMANAS EM SAÚDE

116 489 11

POLÍTICA, PLANEJAMENTO E GESTÃO EM SAÚDE

141 495 5

OUTRAS 106 549 15

TOTAL 714 600 20

Créditos: Jorge Iriart, 2014

MUITAS LIMITAÇÕES...

• Ênfase na quantificação da produção científica leva a distorções éticas: autoria concedida, salamização da produção, plágio.

• Índices utilizados para avaliar a produção científica carecem de credibilidade

• Não se avalia diretamente a qualidade da produção científica

• Critérios utilizados valorizam mais certos modelo de produção científica

• Os critérios não se adequam ao caráter multidisciplinar e aplicado da área de Saúde Coletiva

CONSENSO

• “A comissão avalia que o atual modelo de avaliação está esgotado...”

• “A avaliação deve ser predominantemente realizada em bases qualitativas ainda que indicadores quantitativos possam ser utilizados...”

• “Os cursos devem ser analisados em sua integridade e não como a resultante de um conjunto fragmentado de aspectos.”

Fonte: Relatório da Avaliação Trienal 2010-2012

MUDAR NÃO É SIMPLES

• “Cláusulas pétreas” da avaliação:

I. o processo não se restringe a uma avaliação “intra-área”;

II. não deve se verificar a perda progressiva da capacidade discriminatória da escala

• Qualquer proposta precisa ser apresentada e aprovada no plenário do CTC-ES, onde as 48 áreas opinam, mas apenas 18 tem direito a voto (nós não).

• Predominam os critérios quantitativos baseados em índices bibliométricos entre as 48 áreas de avaliação.

O QUE AS OUTRAS ÁREAS FAZEM?

ÁREAS DE AVALIAÇÃO

USO DE INDICADORES BIBLIOMÉTRICOS

• Majoritariamente (pelo menos A1, A2, B1): 27 áreas (56%)• Só para estrato A1/A2: 4 áreas (8%)• Obrigatoriedade de indexação no JCR/Scopus para A1/A2: 4 áreas (8%)• Segundo grande área:• Ciências agrárias: 4 (100%)• Ciências biológicas: 4 (100%)• Ciências da saúde: 9 (100%)• Ciências exatas e da terra: 5 (100%)• Engenharias: 4 (100%)• Multidisciplinar: 1 (60%)• Ciências humanas: 3 (38%)• Ciências sociais aplicadas: 3 (43%)• Linguistica, letras e artes: 0 (0%)

SITUAÇÕES ESPECIAIS• 12 áreas fazem exceções para revistas especificas (25%)• 6 restritas ao estrato B1-B5 (biológicas, saúde, sociais aplicadas)• 6 irrestritas (ciências sociais aplicadas, exatas e agrárias)

• 8 áreas utilizam a idéia de reconhecimento / identidade com a área no processo de classificação• Arquitetura, Ciencias Sociais, Economia, Planejamento Urbano,

Ciências ambientais, Educ. Fisica, Enfermagem, Nutrição

• 6 áreas usam critérios diferentes para revistas “da área” e “fora da área”• Engenharias I, II e IV; Astronomia, Matemática, Saúde Coletiva

• 4 áreas usam diferentes pontos de corte dos indicadores para as sub-áreas• Ciências da computação, Matemática, Química e Biodiversidade

O QUE FAZER?

MODIFICAÇÕES NO SISTEMA DE CLASSIFICAÇÃO

• Classificação por sub-áreas (indicadores padronizados):• Epidemiology: h = 67, cites/doc = 3,15

• Health Policy: h = 27, cites/doc = 1,75

• Public Health, Environ. & Occup. Health: h = 38, cites/doc = 1,78

• Health (social science): h = 25, cites/doc = 1,29

• Melhorar o critério do que seria uma revista “da área” ou “fora da área”• Hoje baseado no aparecimento de algum termo do tipo “public health”,

“epidemiology”, “healthcare systems”, “health policy”, “medical anthropology” na missão da revista

• Para ambos: pareceres de pesquisadores brasileiros e estrangeiros

OUTRAS POSSIBILIDADES PONTUAIS

• Qualis único:• Um único sistema de classificação com pontos de corte e requisitos

diferentes para cada área• Qual sistema usar? O sistema dominante é baseado em indicadoes

bibliométricos...

• Usar a “maior pontuação” da revista observando os Qualis das diferentes áreas • Impossível manter as regras de A1<A2; A1+A2=25%;

A1+A2+B1=50%• Poderia ser interessante identificar algumas revistas bem

qualificadas em outras áreas e que seriam relevantes para a área de saúde coletiva

OUTRAS POSSIBILIDADES PONTUAIS

• Bibliometria:• Usar citações dos artigos (incluindo os do triênio anterior)• Índice H dos DP ou do Programa• Métricas ponderadas• Métricas alternativas (p.ex., web based)

• Upgrade de revistas• Cada vez menos comum e visto com certa má vontade• Que revista(s) seria(m) esta(s)?

• Estabelecer limites de exigência de quantidade de produção com base em parâmetros de excelência internacional

CRITÉRIOS QUALITATIVOS

• Principais produções:• Vantagem: já é algo solicitado ao Programa• Dificuldades: Quantos produtos? Como avaliar impacto/relevância?

Como equacionar a relação número de produtos vs tamanho do Programa? Quem avalia?

•Valorizar produções específicas• Parceria internacional• Co-autoria discente• Fruto de Teses/Dissertações• Premiações

•Aperfeiçoar Qualis livros• Inclusão de aspectos qualitativos (relevância, originalidade, rigor

conceitual, aderência à área) como já fazem Direito, Letras, Antropologia, Educação, Filosofia, Interdisciplinar, Ciências sociais, Nutrição etc...

CONCLUINDO

• Mudanças pontuais são mais factíveis de serem realizadas, mas não promovem as transformações necessárias para alcançarmos um novo modelo de avaliação

• O uso de critérios qualitativos deve ser estimulado, falta um consenso sobre quais critérios a serem utilizados e como operacionalizá-los

• A avaliação da produção científica, com todos os seus problemas, foi muito mais aperfeiçoado e discutido do que a avaliação dos aspectos relativos a formação discente, seus produtos finais e suas produções científicas, apesar de terem o mesmo peso na avaliação

OBRIGADO!