PROCESSO DE AVALIAÇÃO/ACREDITAÇÃO DE CICLOS DE … · respostas por questão, consideram-se como positivas as médias superiores a 3 e negativas as médias inferiores a 3. 3

PROCESSO DE AVALIAÇÃO/ACREDITAÇÃO DE

CICLOS DE ESTUDOS EM FUNCIONAMENTO

Inquérito ao Processo ACEF-0910

Análise de Resultados e Medidas de Melhoria

Fevereiro 2013

2

1. Introdução

A Agência de Avaliação e Acreditação do Ensino Superior (A3ES), no âmbito da sua Política de Qualidade e com vista à melhoria de procedimentos, promove a auscultação regular dos principais agentes envolvidos nos processos de avaliação, acreditação e auditoria, através de contactos diretos que são frequentemente estabelecidos e, também, pela aplicação de inquéritos concebidos especificamente para esse efeito. São, nomeadamente, ouvidos os responsáveis de instituições de ensino superior (RIES), os responsáveis de unidade orgânica (RUO), os membros das comissões de avaliação externa (CAE) e os gestores de procedimentos (GP).

Na sequência da conclusão do processo de avaliação/acreditação de ciclos de estudos em funcionamento que se desenvolveu em 2011/2012 ainda no âmbito da acreditação preliminar de ciclos de estudos (Processo ACEF-0910), promoveu-se em novembro e dezembro de 2012 a auscultação, por inquérito, dos RIES, RUO e membros das CAE que estiveram envolvidos no processo.

O Processo ACEF-0910 correspondeu ao primeiro exercício de avaliação de ciclos de estudos em funcionamento, no âmbito do processo de acreditação preliminar de ciclos de

estudos a que se procedeu em 2010 e 2011, tendo abrangido 421 ciclos de estudos1 em que a agência considerou ser indispensável proceder-se a uma avaliação por pares, com visita in loco, para esclarecer dúvidas existentes.

O presente relatório faz a apresentação pública dos resultados do inquérito e de outros elementos de feedback recolhidos, bem como das correspondentes análises efetuadas pela agência, incluindo as medidas de melhoria adotadas.

2. Estrutura do inquérito

Os questionários usados no inquérito, específicos para cada tipo de destinatários, colocam vários blocos de questões, que se discriminam em anexo (Anexos I a III). Cada bloco contém questões de resposta fechada e ainda uma questão de resposta aberta para recolha de opiniões sobre os aspetos mais positivos e mais negativos a destacar no conjunto das questões abordadas no bloco e, se o respondente o desejar, para sugestões de melhoria. Foi ainda incluído um bloco adicional, em cada um dos questionários, para observações sobre aspetos eventualmente não cobertos pelas questões constantes do inquérito.

Nas questões de resposta fechada foi usada uma escala Likert 1-5 para apreciação do grau de adequação de instrumentos e procedimentos, em que os níveis extremos da escala correspondem a:

1 – Muito pouco adequado5 – Muito bem adequado

O valor médio da escala é 3, pelo que se consideram como positivas as respostas nos níveis 4 e 5 e como negativas as respostas nos níveis 1 e 2. Em termos de médias das

1 Por setores, o Processo ACEF-0910 abrangeu: 46 ciclos de estudos do ensino universitário público; 235 do ensino universitário privado; 48 do ensino politécnico público; e 92 do ensino politécnico privado.

3

http://www.a3es.pt/pt/o-que-e-a3es/politica-de-qualidade

respostas por questão, consideram-se como positivas as médias superiores a 3 e negativas as médias inferiores a 3.

3. Apresentação e análise de resultados

3.1 Inquérito aos Responsáveis de Instituição de Ensino Superior (RIES)

3.1.1 Taxa de participação

Os dados relativos à taxa de participação no inquérito foram os seguintes:

Número de RIES inquiridos: 68

Número de respostas obtidas: 39 (57,4 %)

Instituições universitárias públicas: 5 respostasInstituições universitárias privadas: 10 respostasInstituições politécnicas públicas: 9 respostasInstituições politécnicas privadas: 15 respostas

3.1.2 Resultados quantitativos

3.1.2.1 Resultados apurados

As tabelas seguintes mostram a distribuição de frequências absolutas das respostas obtidas, no global e para cada um dos setores de ensino superior:

Tabela 1 - Frequências absolutas de respostas obtidas (RIES).

1 2 3 4 5 n.r.

A1. Adequação do processo à legislação aplicável

4 4 11 16 3 1 3,26

A2. Adequação e grau de explicitação dos critérios usados para a acreditação

8 8 11 11 1 2,72

A3. Adequação das formas de difusão de documentação e procedimentos

4 16 17 2 3,33

A4. Adequação dos mecanismos para interação e consulta com as IES e o CRUP/CCISP/APESP

4 10 10 14 1 2,95

B1. Adequação global dos procedimentos envolvidos no processo

5 4 13 15 2 3,13

B2. Adequação da plataforma eletrónica 4 2 18 12 3 3,21

B3. Adequação das formas de comunicação/interação quanto aos resultados da acreditação

5 5 11 14 4 3,18

n.r. - não responderam.

QuestãoN.º de respostas por item da escala

Média

4

Tabela 2 - Frequências absolutas de respostas (RIES) - Ensino Universitário Público

1 2 3 4 5 n.r.


1 2 2 4,20


3 2 3,40


5 4,00


1 3 1 4,00


1 3 1 4,00

B2. Adequação da plataforma eletrónica 2 3 3,60


1 3 1 4,00



Média

Tabela 3 - Frequências absolutas de respostas (RIES) - Ensino Universitário Privado

1 2 3 4 5 n.r.


2 2 3 3 2,70


4 5 1 1,80


3 4 3 2,70


3 2 4 1 2,30


2 2 4 2 2,60

B2. Adequação da plataforma eletrónica 3 1 2 4 2,70


1 3 3 2 1 2,90



Média

Tabela 4 - Frequências absolutas de respostas (RIES) - Ensino Politécnico Público

1 2 3 4 5 n.r.


1 8 3,89


4 4 1 3,67


3 4 2 3,89


2 1 6 3,44


3 5 1 3,78

B2. Adequação da plataforma eletrónica 5 2 2 3,67


1 3 4 1 3,56


N.º de respostas por item da escalaQuestão Média

5

Tabela 5 - Frequências absolutas de respostas (RIES) - Ensino Politécnico Privado

1 2 3 4 5 n.r.


2 2 6 3 1 1 2,93


4 3 4 4 2,53


1 0 9 5 3,20


1 6 4 4 2,73


3 2 5 5 2,80

B2. Adequação da plataforma eletrónica 1 1 9 3 1 3,13


4 1 4 5 1 2,87



Média

3.1.2.2 Análise dos resultados

Os dados da Tabela 1 demonstram uma apreciação, por parte dos dirigentes das instituições de ensino superior, da adequação do processo de avaliação e acreditação de ciclos de estudos em funcionamento e dos procedimentos e mecanismos que o suportam que, globalmente, é ligeiramente positiva, com uma concentração das médias das respostas às questões junto ao ponto médio da escala, verificando-se, contudo, uma dispersão significativa de respostas em todas as questões, que variam em todos os casos entre os níveis 1 e 5 da escala Likert:

- A média das respostas é negativa em duas questões e positiva em 5, variando entre 2,72 (para a adequação e grau de explicitação de critérios) e 3,33 (para a adequação da difusão de documentos e procedimentos);

- O máximo de respostas negativas por questão, para os 39 respondentes, é de 8 (20,5 %) no nível 1 da escala e de 10 (25,6 %) no nível 2;

- O número de respostas negativas para o conjunto das questões (67, das quais 34 no nível 1 e 33 no nível 2) representa 24,6 % do total de 272 respostas recebidas;

- O máximo de respostas positivas por questão é de 17 (43,6 %) no nível 4 da escala e de 4 (10,3 %) no nível 5, e o número de respostas positivas para o conjunto das questões (115, das quais 99 no nível 4 e 16 no nível 5) representa 42,3 % do total das respostas recebidas;

- Cerca de um terço das respostas (33,1%) situam-se no nível intermédio 3.

A análise por setores (tabelas 2 a 5) mostra, contudo, uma assimetria muito acentuada entre o setor privado e o setor público, em especial no setor universitário privado:

- No setor público:

- as apreciações médias por questão são 100 % positivas, oscilando entre 3,40 e 4,20 no ensino universitário público, e entre 3,44 e 3,89 no ensino politécnico público;

6

- verifica-se uma quase total ausência de respostas negativas – apenas 3 respostas no nível 2, no politécnico público, que representa 3,1 % das 98 opiniões expressas;

- No setor universitário privado:

- para um total de 70 respostas, 33 (47,1 %) são negativas e 17 (24,3 %) são positivas;

- 18 respostas (25,7%) situam-se no nível 1 da escala;

- a média das apreciações é negativa em todas as questões, variando entre 1,80 e 2,90;

- No setor politécnico privado:

- para um total de 104 respostas, 31 (29,8 %) são negativas e 32 (30,8 %) são positivas;

- há 16 respostas (15,4%) no nível 1 da escala;

- a média das apreciações é negativa em cinco das sete questões, variando entre 2,53 e 3,20.

As questões mais valoradas, por setor, são as relativas à adequação do processo à legislação (universitário e politécnico públicos), às formas de comunicação/interação quanto aos resultados da acreditação (universitário privado) e à difusão de documentação e procedimentos (politécnico). Por sua vez, as questões menos valoradas correspondem à definição de critérios (universitário público e privado e politécnico privado) e à adequação das formas de comunicação/interação com a agência (politécnico público).

3.2 Inquérito aos Responsáveis de Unidade Orgânica (RUO)



Número de RUO inquiridos: 126


Instituições universitárias públicas: 0 respostasInstituições universitárias privadas: 9 respostasInstituições politécnicas públicas: 13 respostasInstituições politécnicas privadas: 7 respostas



As tabelas seguintes mostram a distribuição de frequências absolutas das respostas obtidas, no global e para cada um dos setores de ensino superior:

7

Tabela 6 - Frequências absolutas de respostas obtidas (RUO).

1 2 3 4 5 n.r.

A1. Adequação do Guião para Avaliação de Ciclos de Estudos em Funcionamento

1 3 9 14 2 3,45

B1. Adequação da plataforma eletrónica para o processamento da candidatura

8 17 4 3,86

B2. Adequação do apoio prestado pela A3ES durante o processo de candidatura

1 10 13 5 3,72

B3. Adequação dos prazos para apresentação da candidatura

1 3 8 14 3 3,52

C1. Adequação dos procedimentos para a preparação da visita

3 10 11 5 3,62

C2. Adequação do programa da visita aos f ins em vista

1 8 17 3 3,76

C3. Atitude da CAE perante a instituição 2 4 7 9 7 3,52

D1. Qualidade dos relatórios das CAE 3 4 8 12 2 3,21

D2. Adequação dos procedimentos de pronúncia

1 4 10 12 2 3,34

D3. Adequação dos procedimentos de recurso

2 3 12 8 2 2 3,19



Média

Tabela 7 - Frequências absolutas de respostas (RUO) - Ensino Universitário Privado

1 2 3 4 5 n.r.


1 5 3 3,22


1 8 3,89


4 5 3,56


1 5 3 3,22


1 4 3 1 3,44


2 7 3,78

C3. Atitude da CAE perante a instituição 1 3 4 1 3,56

D1. Qualidade dos relatórios das CAE 2 5 2 3,00


2 3 4 3,22


2 4 2 1 3,00



Média

8

Tabela 8 - Frequências absolutas de respostas (RUO)- Ensino Politécnico Público

1 2 3 4 5 n.r.


2 9 2 4,00


5 4 4 3,92


4 5 4 4,00


1 2 7 3 3,92


2 2 6 3 3,77


1 2 8 2 3,85

C3. Atitude da CAE perante a instituição 1 3 4 5 4,00

D1. Qualidade dos relatórios das CAE 1 2 9 1 3,69


1 4 7 1 3,62


6 5 1 1 3,58



Média

Tabela 9 - Frequências absolutas de respostas (RUO) - Ensino Politécnico Privado

1 2 3 4 5 n.r.


1 2 2 2 2,71


2 5 3,71


1 2 3 1 3,43


1 1 1 4 3,14


4 2 1 3,57


4 2 1 3,57

C3. Atitude da CAE perante a instituição 2 2 1 1 1 2,57

D1. Qualidade dos relatórios das CAE 2 2 1 1 1 2,57


1 1 3 1 1 3,00


2 1 2 1 1 2,71



Média

9


Os dados da Tabela 6 demonstram uma avaliação globalmente positiva, por parte dos responsáveis de unidade orgânica, da adequação dos procedimentos e mecanismos que suportam o processo de avaliação e acreditação de ciclos de estudos em funcionamento:

- A média das respostas varia entre 3,19 (para a adequação dos procedimentos de recurso) e 3,86 (para a adequação da plataforma eletrónica);


- O número de respostas negativas para o conjunto das questões (36, das quais 11 no nível 1 e 25 no nível 2) representa 12,5 % do total de 288 respostas recebidas;

- O máximo de respostas positivas por questão é de 17 (58,6 %) no nível 4 da escala e de 5 (17,2 %) no nível 5 e o número de respostas positivas para o conjunto das questões (162, das quais 127 no nível 4 e 35 no nível 5) representa 56,3 % do total das respostas recebidas.

A análise por setores (tabelas 7 a 10) mostra algumas assimetrias, embora não tão acentuadas como no caso dos RIES (é de salientar que se não registou qualquer resposta de responsáveis de unidade orgânica de ensino universitário público):

- No setor politécnico público, as apreciações médias por questão são todas positivas, oscilando entre 3,58 e 4,00; verifica-se apenas uma resposta no nível 1 da escala, o número de respostas negativas (7 em 129) representa 5,4 % das opiniões expressas e o número de respostas positivas (90 em 129) representa 69,8%;

- No setor universitário privado a média das respostas por questão varia entre 3,00 e 3,89; não há respostas no nível 1 da escala, a percentagem de respostas negativas é de 11,2 % (10 em 89) e a de respostas positivas é de 48,3%;

- No setor politécnico privado registam-se quatro questões com apreciação média negativa e a média das respostas varia entre 2,57 e 3,71; há dez respostas no nível 1, o número de respostas negativas (19 em 70) representa 27,1 % do total das respostas neste setor e as respostas positivas representam 41,4% (29 em 70).

As questões mais valoradas, por setor, são as relativas à adequação da plataforma eletrónica (universitário e politécnico privados) e ao guião para a autoavaliação, ao apoio da A3ES e à atitude da CAE (politécnico público). Por sua vez, as questões menos valoradas são: a qualidade dos relatórios das CAE (universitário e politécnico privados); a atitude da CAE perante a instituição (politécnico privado); e a adequação dos procedimentos de recurso (universitário privado e politécnico público).

3.3 Inquérito aos membros das Comissões de Avaliação Externa (CAE)



Número de membros de CAE inquiridos:262

10


Presidentes de CAE: 12 respostasVogais nacionais: 45 respostasVogais estrangeiros: 42 respostas

O formulário utilizado para os membros estrangeiros foi aplicado em inglês.



As tabelas seguintes mostram a distribuição de frequências absolutas das respostas obtidas, no global e para os diferentes tipos de membro da CAE:

Tabela 10 - Frequências absolutas de respostas obtidas (CAE).

1 2 3 4 5 n.r.

A1. Adequação da composição da CAE 2 1 3 27 66 4,56

A2. Adequação da formação recebida 3 7 30 37 20 2 3,66

B1. Adequação do guião para o relatório da CAE 3 2 15 57 22 3,94

B2. Adequação dos critérios para a avaliação 2 3 21 47 25 1 3,92

C1. Adequação da plataforma eletrónica 5 5 22 38 25 4 3,77

C2. Adequação do apoio por parte da A3ES 2 7 28 59 3 4,48

D1. Adequação do apoio logístico para deslocações e estadias

2 21 73 3 4,70

E1. Adequação dos programas das visitas 1 2 15 35 40 6 4,19

E2. Atitude das instituições perante a CAE 1 3 9 55 26 5 4,09

F1. Qualidade das propostas das instituições 1 5 47 31 8 7 3,43

G1. Funcionamento global da CAE 1 2 34 54 8 4,54



Média

Tabela 11 - Frequências absolutas das respostas dos Presidentes das CAE.

1 2 3 4 5 n.r.

A1. Adequação da composição da CAE 2 10 4,83

A2. Adequação da formação recebida 1 4 3 4 3,75

B1. Adequação do guião para o relatório da CAE 1 2 7 2 3,75

B2. Adequação dos critérios para a avaliação 6 3 3 3,75

C1. Adequação da plataforma eletrónica 2 6 4 4,17

C2. Adequação do apoio por parte da A3ES 1 2 9 4,67


2 10 4,83

E1. Adequação dos programas das visitas 1 8 3 4,17

E2. Atitude das instituições perante a CAE 1 1 6 4 4,08

F1. Qualidade das propostas das instituições 1 5 4 2 3,20

G1. Funcionamento global da CAE 7 4 1 4,36



Média

11

Tabela 12 - Frequências absolutas das respostas dos vogais das CAE, nacionais.

1 2 3 4 5 n.r.

A1. Adequação da composição da CAE 1 1 3 15 25 4,38

A2. Adequação da formação recebida 2 4 15 19 5 3,47


B2. Adequação dos critérios para a avaliação 1 3 9 26 6 3,73




1 11 32 1 4,66

E1. Adequação dos programas das visitas 8 19 14 4 4,15

E2. Atitude das instituições perante a CAE 2 4 30 6 3 3,95

F1. Qualidade das propostas das instituições 4 27 10 1 3 3,19

G1. Funcionamento global da CAE 1 18 23 3 4,52



Média

Tabela 13 - Frequências absolutas das respostas de emmbros estrangeiros das CAE.

1 2 3 4 5 n.r.

A1. Adequação da composição da CAE 1 10 31 4,67

A2. Adequação da formação recebida 3 11 15 11 2 3,85


B2. Adequação dos critérios para a avaliação 1 6 18 16 1 4,17




1 8 31 2 4,70

E1. Adequação dos programas das visitas 1 2 6 8 23 2 4,25

E2. Atitude das instituições perante a CAE 1 4 19 16 2 4,23

F1. Qualidade das propostas das instituições 1 15 17 7 2 3,75

G1. Funcionamento global da CAE 1 1 9 27 4 4,61



Média


Os dados da Tabela 10 demonstram uma avaliação bastante positiva por parte dos membros das CAE, em relação à adequação dos procedimentos e mecanismos que suportam o processo de avaliação e acreditação de ciclos de estudos em funcionamento:

- A média das respostas varia entre 3,43 (para a qualidade da apresentação das propostas por parte das instituições) e 4,70 (para o apoio logístico);


- O número de respostas negativas para o conjunto das questões (51, das quais 23 no nível 1 da escala e 28 no nível 2) representa 4,9 % do total de 1 050 respostas validamente expressas;

12

- O máximo de respostas positivas por questão, para os 99 respondentes, é de 57 (57,6 %) no nível 4 da escala e de 73 (73,7 %) no nível 5;

- O número de respostas positivas para o conjunto das questões (828, das quais 410 no nível 4 e 418 no nível 5) representa 78,9 % das respostas validamente expressas.

A análise por tipo de membro (tabelas 11 a 13) não denota diferenças significativas. A média global de todas as respostas é de 4,16 para os Presidentes de CAE, 4,00 para os vogais nacionais e 4,23 para os vogais estrangeiros, e em todos os casos a questão menos valorada é a da qualidade das propostas das instituições. As questões mais valoradas são as relativas à composição da CAE (Presidentes) e ao apoio logístico (Presidentes, vogais nacionais e vogais estrangeiros).

4. Análise dos elementos de feedback e medidas de melhoria

As observações e sugestões de melhoria recebidas no âmbito deste inquérito, conjuntamente com informação de feedback obtida, formal e informalmente, a partir dos demais atores envolvidos, designadamente os gestores de procedimentos, foram cuidadosamente analisadas pelo Conselho de Administração. Em relação a alguns dos aspetos levantados, o acompanhamento próximo dos processos, quer pelo Conselho de Administração, quer pelos gestores de procedimentos, havia já permitido a identificação de alguns problemas e a tomada de medidas para a sua resolução.

Acresce que algumas questões deste inquérito são comuns ao inquérito aplicado no primeiro semestre de 2012 a propósito do processo de acreditação de novos ciclos de estudos, pelo que diversas das observações agora recebidas haviam já sido recolhidas e tratadas. Assim, muitas das observações e medidas adiante apresentadas constavam já

do relatório produzido e publicitado a propósito desse primeiro inquérito2, como é natural dado o curto espaço de tempo decorrido entre as duas auscultações.

Tanto as instituições de ensino superior como os membros das CAE realçam diversos aspetos positivos na organização e condução do processo, apontando igualmente aspetos negativos em relação aos quais apresentam sugestões de melhoria. Recolheu-se, assim, um volume considerável de informação, embora por vezes difícil de interpretar, visto que ocorrem comentários ou propostas contraditórios, ou mesmo não conformes com a legislação ou as boas práticas dos processos de acreditação.

Apresenta-se, de seguida, uma síntese das principais sugestões recebidas, dos resultados das reflexões efetuadas e das medidas implementadas ou em fase de preparação, sistematizadas em torno das diferentes áreas de análise.

Processo e procedimentos

Foram recebidas achegas no sentido da simplificação do processo, nomeadamente através da transferência de informação constante de outras bases de dados nacionais. Esta sugestão da recolha automática de dados em fontes externas à instituição para efeitos de acreditação de ciclos de estudos não pode, no entanto, ser aceite pela

2 Relatório Processo de Acreditação de Novos Ciclos de Estudos: Inquérito ao Processo NCE 2010 – Análise de Resultados e Medidas de Melhoria.

13

http://www.a3es.pt/sites/default/files/Relatorio_inquerito_NCE2010_0.pdf

http://www.a3es.pt/sites/default/files/Relatorio_inquerito_NCE2010_0.pdf

agência, dado que a responsabilidade sobre a fiabilidade e atualidade dos dados que vão fundamentar a decisão sobre a acreditação cabe, necessariamente, à instituição proponente.

Uma instituição sugere que se adote o processo de blind refereeing na análise preliminar dos relatórios de autoavaliação de ciclos de estudos pelas CAE, i.e., que na fase de preparação do relatório preliminar os membros da CAE não deveriam saber qual a instituição proponente do ciclo de estudos. Não se conhecem casos de processos de acreditação de cursos a nível do Espaço Europeu de Ensino Superior que sigam uma metodologia desse tipo. Para lidar com as questões de imparcialidade subjacentes àquela sugestão, as boas práticas internacionais recomendam a adoção de códigos de conduta ética, incluindo mecanismos de não-conflito-de-interesses, e a sua discussão nas sessões de formação dos membros das comissões de peritos, recomendação esta que é seguida pela agência, como se verá adiante.

É também sugerida a diminuição dos custos do processo. Relembra-se, a este respeito, que os atuais custos para a acreditação de um ciclo de estudos foram discutidos e acordados com os órgãos de coordenação setorial do ensino superior e são de cerca de um terço dos que foram praticados no anterior sistema de avaliação, sendo ainda significativamente inferiores aos que se verificam em outros países europeus. O custo atual só é possível porque, no decurso da mesma visita, são avaliados todos os ciclos de estudos oferecidos pela instituição na área de formação em causa, o que, em média, representa a avaliação de cerca de 2,5 ciclos de estudos por visita. Por sua vez, a fixação de um custo comum para os novos ciclos de estudos e os ciclos de estudos em funcionamento resultou de uma proposta das instituições, através dos referidos órgãos de coordenação.

Critérios

É referida, por parte de instituições e de membros de CAE, a insuficiente clareza de alguns critérios e indicadores que suportam o processo de avaliação e decisão, sugerindo, nomeadamente, uma definição mais concreta do conceito de adequação do corpo docente e, inerentemente, de corpo docente próprio e de docente a tempo integral. Esta matéria estava já a ser ponderada e tratada pela agência, que adotou e publicitou no 2º semestre de 2012 um documento detalhado sobre os critérios relativos à qualificação de pessoal docente e à prática de investigação para a acreditação de ciclos de estudos, o qual não chegou a ter impacto no processo de avaliação a que respeita o presente inquérito, mas foi apresentado e discutido nas sessões de formação dos membros das CAE antes do início das visitas correspondentes ao primeiro ano do ciclo regular de avaliação/acreditação.

Surgem referências à necessidade de acautelar as características do subsistema politécnico, designadamente quanto à diferenciação de critérios relativos à prática de investigação e ao regime transitório de valorização do grau de mestre anterior a Bolonha no âmbito do conceito de especialista. Os critérios referidos no parágrafo anterior respondem a estas preocupações, diferenciando os critérios entre os dois subsistemas nos aspetos previstos na lei e definindo explicitamente o regime transitório, até 2014 inclusive, de contabilização como especialistas de docentes que, não tendo obtido ainda o título formal através de provas públicas, cumprem um determinado conjunto de requisitos.

14

É também sugerido que não seja exigido às instituições privadas de ensino superior, à partida, o mesmo nível de investigação que nas instituições do Estado, face ao diferente estado de desenvolvimento em que se encontram. A lei não prevê diferenciação de critérios entre instituições públicas e privadas, mas o bom senso recomenda, naturalmente, que se atenda à idade e estado de desenvolvimento das instituições. Por essa razão, o Conselho de Administração, num número significativo de casos em que existe já uma capacitação mínima de partida, tem proferido decisões de acreditação condicionada em que concede um prazo de três anos para o reforço da investigação, com resultados visíveis, na área do ciclo de estudos em apreciação.

É ainda sugerido que se alivie a exigência (e alguma arbitrariedade de critérios) colocada por algumas CAE quanto à formação académica do corpo docente doutorado ou especialista na área científica principal do ciclo de estudos, que por vezes não contempla a natureza transdisciplinar dos planos de estudos. A esse respeito, os critérios de qualificação de pessoal docente adotados pela agência, acima referidos, estabelecem que os limites mínimos previstos de doutores ou especialistas (em tempo integral e em ETI) deverão ser preenchidos por docentes especializados nas diferentes áreas científicas que integram a estrutura curricular do curso, numa proporção razoável com o seu peso relativo em número de unidades de crédito, acrescentando ainda que o mais importante, para efeitos da verificação do “corpo docente próprio, qualificado na área em causa e adequado em número” a que se refere a lei, é que a lecionação de todas as unidades curriculares integrantes dos planos de estudos dos ciclos de estudo em avaliação seja assegurada por docentes devidamente qualificados na respetiva área do conhecimento e a carga letiva seja aceitável.

Guiões

Foram apresentadas diversas sugestões no sentido de simplificar os guiões, tornando-os menos complexos e mais flexíveis, designadamente na secção relativa à inserção dos planos de estudos, eliminando eventuais redundâncias, definindo com maior rigor a informação a fornecer e tornando o processo menos burocrático. É, nomeadamente, sugerido que a análise SWOT se faça de forma agregada a nível de curso em vez da atual desagregação por diversos itens, sendo ainda referida a conveniência em se dispor de guiões diferenciados para os programas doutorais e para ciclos de estudos em que não haja ainda diplomados, bem como de instruções sobre a natureza da informação solicitada.

Reconhece-se que os guiões são muito pormenorizados, em resultado do grau de detalhe com que os parâmetros para a avaliação estão definidos na legislação aplicável. Com vista a aprofundar esta matéria está em curso a constituição de um grupo de trabalho, com a participação voluntária de representantes de instituições e de membros das CAE, com o intuito de fazer recomendações concretas para a reformulação de alguns aspetos dos guiões.

Será também preparado um documento de orientações para o preenchimento dos guiões.

Constituição das CAE

O processo de constituição das CAE mereceu algumas sugestões, designadamente em termos de uma maior representatividade do ensino politécnico e do ensino privado, de

15

inclusão de mais peritos estrangeiros, de atenuação de eventuais situações de concorrência direta e de formação adequada dos peritos selecionados. São ainda apontadas algumas situações de conduta menos adequada de alguns membros de CAE.

A este respeito, foi oportunamente adotado e publicitado um documento de Normas para a designação e conduta das CAE, em que se explicitam, designadamente, os requisitos a ter em consideração para a seleção dos peritos a integrar nas CAE, a saber: a adequação do currículo e do perfil dos indigitados às funções a desempenhar; a independência dos avaliadores em relação à instituição ou ciclo de estudos a avaliar; o equilíbrio de género e equilíbrio na proveniência geográfica dos indigitados face à rede nacional do ensino superior, sem prejuízo, contudo, dos requisitos anteriores. São aí também definidos os princípios de não-conflito-de-interesses, imparcialidade, isenção, confidencialidade e conduta pessoal a serem observados pelos membros das CAE. Adicionalmente, o Manual da Qualidade da A3ES, recentemente aprovado, inclui um Código Ético em que são estabelecidos os valores e normas que enquadram e regulam a conduta e atuação dos colaboradores da agência, incluindo os membros das CAE, o qual é do conhecimento de todos os colaboradores.

Sem prejuízo do requisito fundamental de competência científico-pedagógica, tem-se procurado manter os equilíbrios devidos na composição das CAE. Por exemplo, nas CAE específicas do ensino politécnico cerca de dois terços dos seus membros são docentes de instituições politécnicas. Quanto ao ensino privado, estão a ser analisados os currículos dos peritos constantes de uma lista facultada pela APESP, para aumentar o número de avaliadores com experiência de trabalho nesse setor. No que respeita aos peritos estrangeiros, razões de ordem económica dificultam a inclusão em cada CAE de mais de um membro proveniente do estrangeiro.

A insuficiência de formação nas edições anteriores do processo de acreditação foi levantada pelos próprios membros das CAE. Consciente dessa fragilidade, a agência promoveu no início do ano escolar 2012/2013 a realização de ações de formação presencial intensiva, para enquadramento teórico e prático dos processos de avaliação/acreditação e para discussão do Manual de Avaliação e, em especial, dos critérios a ter em consideração na avaliação. Foi preparado um pacote de informação em suporte eletrónico, incluindo a legislação mais relevante, que foi distribuído a todos os membros das CAE.

Funcionamento das CAE

As sugestões das instituições quanto ao funcionamento das CAE e produção dos relatórios preliminar e final vão no sentido de se garantir uma maior clareza na fundamentação das apreciações efetuadas, consistência na aplicação dos critérios e maior celeridade na apresentação dos relatórios. As instituições manifestam ainda interesse em que os relatórios das CAE espelhem melhor os pontos fortes dos ciclos de estudos e apresentem efetivamente sugestões de melhoria. Estes aspetos, que são centrais ao processo de avaliação e acreditação, foram objeto de análise e discussão nas sessões de formação dos membros das CAE, designadamente através da explicitação de algumas boas e más práticas. O Manual de Avaliação e o novo documento sobre critérios de análise são, a esse respeito, um auxiliar importante para uma melhor consistência das apreciações emitidas pelas CAE.

16

Por sua vez, os membros das CAE, para além de referenciarem dificuldades operacionais ligadas à disponibilidade de alguns membros face ao número de avaliações a realizar, sugerem a possibilidade de se efetuarem mais discussões conjuntas, nomeadamente reuniões de preparação das visitas e uma reunião mais longa no final de cada visita, para elaboração do relatório preliminar com a participação presencial do membro estrangeiro, ou uma reunião de um ou dois dias na agência, para conclusão dos relatórios. A prática atual privilegia o desenvolvimento online do processo, sem prejuízo de ser acertada, caso a caso, a possibilidade de alguma reunião adicional. A questão do eventual prolongamento do tempo para a visita é tratada no item seguinte.

Visitas

A realização da visita como parte integrante do processo de avaliação e os procedimentos que lhe estão associados são vistos positivamente pelas instituições. Foram apresentadas sugestões para uma melhor articulação entre a agência e as instituições para a fixação das datas para as visitas, designadamente para que estas sejam marcadas com maior antecedência e não ocorram próximo do final do ano letivo. Quanto ao programa da visita, é sugerido um maior tempo de discussão entre a CAE e os responsáveis de unidade orgânica e ainda que a reunião com os ex-alunos se realize fora do período de almoço. Este aspeto é também referido por algumas CAE, que consideram o almoço com as partes externas pouco produtivo, sugerindo a sua substituição por uma reunião.

A organização das visitas mereceu um número considerável de comentários e sugestões por parte dos membros das CAE. Vários elementos referem ser necessário haver mais tempo para a visita (embora se registe uma referência a que a visita deveria ser apenas de um dia, e uma outra a que a visita poderia ser encurtada para um dia e meio sem prejuízo da qualidade da avaliação). É especificamente proposto que a visita se prolongue por mais um dia, para trabalho da CAE, para fecho do relatório preliminar completo, efetuado em grupo. Reconhecendo que, por razões de disponibilidade dos membros das CAE e de custos, não será fácil aumentar significativamente o tempo das visitas, alguns respondentes apresentaram sugestões para se racionalizar o programa da visita, por exemplo através de: um melhor trabalho preparatório pelos membros da CAE; a otimização do número de reuniões e do tempo atribuído às mesmas (é referido, por exemplo, que as reuniões com a coordenação dos cursos e com os docentes precisam de mais tempo do que as reuniões com o pessoal não docente); a realização, no início da visita, de uma apresentação formal por parte da instituição sobre o seu diagnóstico sobre a mesma, que faculte uma melhor compreensão do fenómeno institucional; a disponibilização antecipada (pelo menos na véspera da visita) de um relatório de progresso apresentado pela instituição, dado por vezes ter decorrido um longo período de tempo desde a apresentação do relatório de autoavaliação; potenciar as entrevistas de caracter multidisciplinar e multissetorial.

A definição das pessoas a participar nas reuniões merece vários reparos, no sentido de um maior controlo e conhecimento prévio por parte da A3ES e da CAE. É sugerido que a agência defina melhor o perfil dos membros a serem escolhidos e proceda à sua validação previamente à visita. É particularmente referida a escolha de representantes de estudantes e de diplomados, sendo salientada a necessidade de envolver mais empregadores e de se evitar a participação de uma mesma pessoa em múltiplas reuniões em representação de funções diferentes.

17

È ainda sugerido que se avaliem no máximo dois ciclos de estudos por visita. Esta sugestão não é, no entanto, viável, quer por razões de custos, quer porque se perderia a visão de conjunto da oferta formativa da instituição na área de formação em causa.

Processo de decisão

Foram recebidas sugestões para uma melhor consistência no processo de decisão e na sua fundamentação. O facto de as decisões de acreditação serem da competência do Conselho de Administração constitui um instrumento importante de salvaguarda da consistência da tomada de decisão, verificando-se, na prática, casos em que a decisão difere (favoravelmente ou desfavoravelmente para a instituição) da proposta da CAE. Em todos esses casos, é emitida uma fundamentação detalhada da decisão tomada. Por sua vez, as instituições dispõem ainda da possibilidade de apresentação de recurso para o Conselho de Revisão, que é um órgão independente do Conselho de Administração, em que dois dos seus cinco membros são peritos estrangeiros de renome no domínio da garantia da qualidade. Crê-se, assim, que os procedimentos usados salvaguardam razoavelmente o princípio da imparcialidade e consistência de decisão.

É também sugerida a divulgação mais rápida de resultados, de modo a que as decisões sejam conhecidas com antecedência suficiente para permitir a preparação do ano letivo, bem como a eventual transferência de alunos se for caso disso. Com a estabilização de processos e calendário entretanto conseguida, a expectativa da agência é de que os processos de avaliação irão decorrer com menores hiatos entre a submissão dos relatórios de autoavaliação e as visitas, e entre estas e a tomada de decisão.

É ainda solicitada uma maior ponderação dos prazos fixados para o cumprimento de condições fixadas no caso de decisões de acreditação condicional, tomando nomeadamente em consideração o plano de formação do pessoal docente na fixação de prazo de adequação qualitativa do corpo docente. Tendo em consideração que os critérios fixados por lei para a composição do corpo docente são conhecidos desde 2007, pelo que as instituições deveriam já ter-se adaptado aos mesmos, tem sido prática do Conselho de Administração, nestes casos, definir o prazo de um ano para a instituição possuir um corpo docente de acordo com a legislação em vigor, sem prejuízo, no entanto, “de uma consideração em concreto do plano de formação do corpo docente”, como é explicitamente indicado no texto da decisão.

Plataforma eletrónica

A parte do inquérito sobre a plataforma eletrónica suscitou um número significativo de sugestões, relativas à ergonomia da plataforma e a dificuldades pontuais no seu uso. Uma questão recorrente é a da limitação de carateres nos campos de resposta e anexos aos guiões e nos formulários de resposta a pedidos de informação pelas CAE e de pronúncia e recurso. A possibilidade de trabalho offline é também sugerida por diversas instituições e membros de CAE.

O princípio da limitação de carateres é importante, para induzir um trabalho de síntese por parte dos respondentes e evitar respostas retóricas que só contribuiriam para a burocratização do processo. A agência analisou, contudo, as críticas e sugestões apresentadas, tendo decidido aumentar o espaço disponível para resposta em alguns campos dos formulários, adiante especificados.

18

Em relação à possibilidade de trabalho offline, esteve em curso uma experiência, envolvendo algumas instituições, para possibilitar o carregamento de informação na plataforma a partir dos sistemas de informação das instituições. A agência está em condições de generalizar agora essa possibilidade a todas as instituições que o desejem.

É ainda sugerido que se crie um campo no formulário do relatório da CAE para explicitação do seu parecer após pronúncia. A este respeito, também do lado das instituições se propõe que a CAE responda de forma objetiva e fundamentada à pronúncia apresentada. Embora se entenda que a pronúncia se destina, no essencial, à identificação de erros factuais na análise constante do relatório preliminar, competindo à CAE corrigir o relatório, se for caso disso, não se justificando nessa ótica necessariamente uma resposta formal à pronúncia, convencionou-se que a CAE poderá responder à pronúncia, se o entender conveniente, no campo de observações constante do formulário.

Entende-se que as achegas recebidas merecem aprofundamento, no sentido de compreender melhor as dificuldades que possam estar a ser sentidas pelos utilizadores da plataforma. Para dar sequência a este trabalho, a agência tem em curso a constituição de um grupo de trabalho, envolvendo representantes de instituições e membros de CAE, para uma reflexão conjunta sobre esses aspetos, com vista a perspetivar as melhorias possíveis na plataforma.

Interação com a agência

É patente das observações recolhidas que tanto as instituições como as CAE valorizam os contactos com a agência. A desmaterialização de processos é considerada pela generalidade dos intervenientes como um aspeto muito positivo, nomeadamente o facto de toda a informação ser canalisada pela plataforma.

Do lado das instituições é sugerido que o item de perguntas frequentes na página Web abranja mais situações e que a agência faça ações de formação periódica com as instituições. No caso das CAE, são levantadas questões muito pontuais relacionadas com o apoio logístico à preparação das visitas.

4.1 Síntese das medidas de melhoria adotadas

Sintetizam-se, de seguida, as principais medidas já adotadas ou em vias de preparação para a melhoria dos processos de avaliação e acreditação.

Dada a existência de procedimentos comuns ou muito semelhantes entre os processos de acreditação de novos ciclos de estudos e de ciclos de estudos em funcionamento, várias dessas medidas têm impacto em ambos os processos e muitas delas, como anteriormente referido, haviam já sido equacionadas no âmbito do inquérito ao processo de acreditação de novos ciclos de estudos em novembro passado.

Medidas implementadas

Adoção e publicitação do Manual de Avaliação, no qual se enquadram a temática

da avaliação da qualidade e, em particular, o sistema nacional de avaliação e acreditação, e se apresentam os conceitos, princípios e normas aplicáveis aos processos de avaliação interna e avaliação externa de ciclos de estudos.

19

http://www.a3es.pt/pt/acreditacao-e-auditoria/manual-de-avaliacao/manual-de-avaliacao

Adoção e publicitação do documento de Critérios de Qualificação de Pessoal

Docente para a Acreditação de Ciclos de Estudos, onde se definem os critérios mínimos de qualificação do pessoal docente e de organização e prática de atividades de investigação e desenvolvimento para efeitos de acreditação de ciclos de estudos. Engloba uma clarificação dos conceitos de regime de tempo integral e de ETI, que foi igualmente incluída na secção de “Perguntas Frequentes” da página da agência.

Adoção e publicitação de um documento autónomo de Normas para a Designação

e Conduta das Comissões de Avaliação Externa, que sistematiza as normas constantes do Manual de Avaliação.

Adoção e publicitação da declaração de Política de Qualidade da A3ES e do

Manual da Qualidade, que estabelecem os princípios e sintetizam os procedimentos de garantia interna da qualidade e prestação de contas da agência.

Adaptação dos guiões para pedido de acreditação prévia de novos ciclos de

estudos e de autoavaliação de ciclos de estudos em funcionamento, bem como dos correspondentes guiões de avaliação/acreditação por parte das CAE, para incorporação de clarificações e melhorias sugeridas pela experiência da sua aplicação.

Introdução de uma nova secção no guião de autoavaliação de ciclos de estudos em

funcionamento, na qual as instituições, no âmbito da análise SWOT a que procederam e dos planos de melhoria do ciclo de estudos em avaliação, podem introduzir ajustes à sua estrutura curricular (desde que não haja lugar a alteração da designação, duração e objetivos do ciclo de estudos), sem necessidade de submissão de um novo ciclo de estudos.

Aumento do espaço disponível para resposta em alguns campos dos formulários de

autoavaliação e pronúncia (designadamente um aumento para 200 KB nas respostas aos pedidos de informação e para 150 KB na pronúncia) e dos relatórios das CAE (campos de pedido de resposta e de fundamentação da recomendação final, que passaram para 4500 carateres).

Estabilização do calendário do processo de avaliação/acreditação de ciclos de

estudo em funcionamento. O prazo de submissão dos relatórios de autoavaliação de ciclos de estudos nas áreas de formação selecionadas para avaliação em cada ano termina no último dia útil do mês de dezembro.

Lançamento de uma experiência, envolvendo várias instituições, para carregamento

de informação na plataforma a partir dos respetivos sistemas de informação.

Realização de sessões de formação das CAE.

Preparação de um pacote de informação, em suporte eletrónico, para os membros

das CAE.

Tradução para inglês do questionário destinado aos vogais estrangeiros das CAE.

Medidas a adotar

20

http://www.a3es.pt/sites/default/files/Manual%20da%20Qualidade.pdf

http://www.a3es.pt/pt/o-que-e-a3es/politica-de-qualidade/declaracao-de-politica-de-qualidade

http://www.a3es.pt/pt/acreditacao-e-auditoria/manual-de-avaliacao/normas-para-designacao-e-conduta-das-caes

http://www.a3es.pt/pt/acreditacao-e-auditoria/manual-de-avaliacao/normas-para-designacao-e-conduta-das-caes

http://www.a3es.pt/pt/acreditacao-e-auditoria/manual-de-avaliacao/criterios-de-qualificacao-de-pessoal-docente-anexo-ao-manual

http://www.a3es.pt/pt/acreditacao-e-auditoria/manual-de-avaliacao/criterios-de-qualificacao-de-pessoal-docente-anexo-ao-manual

Estudo de metodologias específicas para a avaliação de ciclos de estudos

oferecidos na modalidade de e-learning.

Criação de um grupo de trabalho, envolvendo a agência, representantes de

instituições e membros de CAE, para uma reflexão conjunta sobre a organização dos guiões e apresentação de propostas concretas para a sua simplificação.

Criação de um grupo de trabalho, envolvendo a agência, representantes de

instituições, membros de CAE e a empresa que produziu a plataforma eletrónica, para uma reflexão conjunta sobre o funcionamento da plataforma, com vista a perspetivar a introdução de melhorias.

Generalização do acesso à funcionalidade de carregamento de informação na

plataforma a partir dos sistemas de informação das instituições, a partir do próximo ano.

Preparação de instruções sobre o preenchimento dos guiões, com vista a clarificar

a natureza da informação solicitada.

Preparação de um pacote de informação em inglês, em suporte eletrónico, para os

membros estrangeiros das CAE, contendo adicionalmente informação sobre a organização do sistema de ensino em Portugal.

5. Conclusão

A Agência A3ES considera a garantia da qualidade no desempenho das suas funções como um valor essencial para assegurar a credibilidade da sua atuação e a confiança nela depositada pelas partes interessadas, nomeadamente instituições de ensino superior, estudantes, poder político e sociedade em geral.

A auscultação regular das partes interessadas, nomeadamente através de inquéritos sobre a organização, instrumentos, funcionamento e resultados dos processos de avaliação, acreditação e auditoria desenvolvidos pela agência, é um elemento importante para a prossecução da política de qualidade da agência. Agradece-se, por conseguinte, a todos os que colaboraram neste processo pela disponibilidade manifestada para o efeito, bem como pela variedade e riqueza dos seus comentários e sugestões.

21

ANEXO I

Inquérito aos Responsáveis de Instituição de Ensino Superior (RIES)

Formulário do inquérito ACEF/RIES – ACEF-0910:

A. Adequação do processo de avaliação/acreditação:


A2. Adequação e grau de explicitação dos critérios usados para a avaliação


A4. Adequação dos mecanismos usados pela A3ES para interação e consulta com as instituições de ensino superior e os seus órgãos representativos (CRUP/CCISP/APESP)

A5. Comentários e sugestões de melhoria sobre aspetos relacionados com a adequação do processo

B. Desenvolvimento do processo de avaliação/acreditação


B2. Adequação da plataforma eletrónica

B3. Adequação das formas de comunicação/interação no que se refere aos resultados da avaliação (relatórios preliminar e final, pronúncia, recurso)

B4. Comentários e sugestões de melhoria sobre a forma como o processo se desenvolveu

C. Observações

C1. Observações adicionais, nomeadamente sobre aspetos não cobertos pelas questões anteriores

22

ANEXO II

Inquérito aos Responsáveis de Unidade Orgânica (RUO)

Formulário do inquérito ACEF/RUO – ACEF-0910:

A. Preparação do processo de avaliação/acreditação:

A1. Adequação do Guião para a Avaliação/Acreditação de Ciclos de Estudos em Funcionamento (Guião ACEF)

A2. Comentários e sugestões de melhoria sobre aspetos relacionados com a preparação do processo de avaliação/acreditação

B. Execução do processo de candidatura

B1. Adequação da plataforma eletrónica para o processamento online da candidatura


B3. Adequação dos prazos de abertura da plataforma, para apresentação da candidatura

B4. Comentários e sugestões de melhoria sobre os aspetos relacionados com a execução do processo de candidatura

C. Visita da CAE à instituição

C1. Adequação dos procedimentos para a visita (fixação de datas, definição do programa da visita, aspetos logísticos)

C2. Adequação do programa da visita aos fins em vista

C3. Atitude da CAE perante a instituição (correção nos contactos e crítica construtiva)

C4. Comentários e sugestões de melhoria sobre os aspetos relacionados com a visita da CAE à instituição

D. Resultados do processo de avaliação/acreditação

D1. Qualidade dos relatórios da CAE (clareza na fundamentação das apreciações; relevância e utilidade das recomendações efetuadas)



D4. Comentários e sugestões de melhoria sobre os aspetos relacionados com os resultados do processo

E. Observações

E1. Observações adicionais, nomeadamente sobre aspetos não cobertos pelas questões anteriores

23

ANEXO III

Inquérito aos membros das Comissões de Avaliação Externa (CAE)

Formulário do inquérito ACEF/CAE – ACEF-0910:

A. Composição da CAE e formação dos seus membros:

A1. Adequação da composição da CAE ao elenco de ciclos de estudos a apreciar e às funções a desempenhar

A2. Adequação da formação recebida (tempo de formação, formato e temas tratados)

A3. Comentários e sugestões de melhoria sobre aspetos relacionados com a composição e formação das CAE

B. Documentação e informação de base

B1. Adequação do guião para a elaboração do relatório de Avaliação/Acreditação de Ciclos de Estudos em Funcionamento (Guião AACEF)

B2. Adequação dos critérios usados para a avaliação (nomeadamente em termos do grau de adequação e clareza)

B3. Comentários e sugestões de melhoria sobre aspetos relacionados com a documentação e informação de base

C. Organização do trabalho de avaliação

C1. Adequação da plataforma eletrónica ao trabalho de elaboração dos relatórios e de interação com as instituições

C2. Adequação do apoio obtido por parte da A3ES para o desenvolvimento do trabalho de avaliação

C3. Comentários e sugestões de melhoria sobre os aspetos relacionados com a organização do trabalho de avaliação

D. Aspetos logísticos


D2. Comentários e sugestões de melhoria sobre aspetos relacionados com o apoio logístico

E. Visitas às instituições

E1. Adequação dos programas das visitas (duração, organização, contactos)

E2. Atitude geral das instituições perante a CAE (abertura e cooperação por parte dos diferentes agentes da instituição)

E3. Comentários e sugestões de melhoria relacionados com as visitas às instituições

F. Qualidade global das propostas

F1. Apreciação global da qualidade da apresentação das propostas por parte das instituições de ensino superior

F2. Comentários sobre a qualidade da apresentação das propostas

G. Funcionamento global da CAE

G1. Apreciação do funcionamento global da CAE

24

G2. Comentários e sugestões de melhoria sobre aspetos relacionados com o funcionamento da CAE

H. Observações

H1. Observações adicionais, nomeadamente sobre aspetos não cobertos pelas questões anteriores

25

Documents

PROCESSO DE AVALIAÇÃO/ACREDITAÇÃO DE CICLOS DE … · respostas por questão, consideram-se como positivas as médias superiores a 3 e negativas as médias inferiores a 3. 3