AVAUAÇÃO DO PROFESSOR PELO ALUNO COMO INSTRUMENTO DE MELHORIA DO

ENSINO UNIVERSITARIO *

Marco A. Moreira **

Introdugio

O objetivo deste trabalho é o de discutir o uso da avaliação do desempenho do professor pelo aluno como um mecanismo de retro-alimentação capaz de contribuir para a meihoria do ensino universitário em nível de graduação. Em torno desse tema, vários tópicos serão aborda- dos, questões serão levantadas e exemplos serão dados. Cabe destacar, no entanto, que pratica- mente todo o trabalho está referenciado pelo contexto da universidade norte-americana, tanto em termos de bibliografia como de experiência pessoal do autor. Aliás, dificilmente esse tema poderia ser abordado com outro referencial, pois é principalmente nos Estados Unidos que a avaliação do professor pelo aluno faz parte do cotidiano de muitas universidades Embora o tra- balho inclua também um breve relato de uma experiência em pequena escala na UFRGS, a aná- lise da viabilidade ou, quem sabe, da conveniência da utilização dessa estratégia como instru- mento de meihoria do ensino na universidade brasileira fica a critério do leitor.

A arpliaçio do ensino

Embora o tema aqui proposto seja a avaliação do professor, deve-se ter em mente que, de um ponto de vista mais geral, esta é apenas um componente a ser considerado na avaliação do ensino. Outros importantes componentes Sao a avaliação do currículo, da administração e da pr6pria instituição. Em todos os casos, trata-se de, continuamente, determinar discrepâncias entre o que está acontecendo e o que deveria acontecer para que o ensino tivesse a qualidade

t Trabdho parcialmente financiado pela CAPES e CNPq. * Do Instituto de Física da Universidade Federal do Rio Grande do Sul

desejada e os resultados pretendidos fossem alcançados. Decorre daí, naturalmente, que uma fdosofia, uma concepção de ensino e aprendizagem, por parte da universidade, é pré-requisito para qualquer avaliação.

A avaliaçâo do professor

A avaliação do professor pelo aluno é a mais usada, porém dois outros tipos podem ser mencionados: a autoavaliação e a avaliação pelo colega. O próprio professor é, obviamente, o fator mais crítico na eficácia de qualquer programa objetivando a melhoria do ensino; somen- te se o professor julgar seu desempenho como inadequado ou abaixo de seus próprios padrões 6 que haverá condições para mudança e. melhoria (Bergquist & phulips, 1975). A auto-avaliação pode ser feita através de retro-alimentação via audio ou vídeo-tape. Pode também o professor prever como os alunos o avaliarão (respondendo ao memo instrumento) e, posteriormente, comparar sua previsão com o resultado do instrumento utilizado pelos alunos.

A avaliação pelo colega, usada em pequena escaia talvez por questão de escrúpulo, é, ge- ralmente, feita de duas maneiras:

a) Avaliação dos materiais instrucionais utilizados pelo colega, incluindo objetivos, p m vas, métodos, textos, sistema de avaliação, plano de ensino.

b) Observação em classe no que se refere a domínio do conteúdo, técnicas de ensino, rela- cionamento com o aluno, comportamentos do professor.

Quando feito por imposição, esse tipo de avaliação é problemático tanto para quem avalia como para quem 6 avaliado, porém, quando usado de comum acordo entre os professores, pode certamente contribuir para a melhoria do ensino.

De um modo geral, a avaliação do desempenho do professor, como tal, é feita com um ou mais dos seguintes objetivos:

a) Melhorar o ensino. b) Decidir sobre promoção, efetivação, contratação ou recontratação. c) Prover informações a futuros alunos. Quanto ao primeiro objetivo, é importante frisar, desde já, que a simples constatação de

eventuais deficiência% do professor pouco contribuirá para a melhoria do ensino se não houver um mecanisno de apoio que lhe ajude a sanar essas deficiências.

Em relação ao segundo objetivo, a atividade de pesquisa era praticamente o Único critério usado, até bem pouco tempo; porém, face ao crescente número de candidatos para um número talvez menor de vagas para professores nas universidades, a avaliação do desempenho didáti- co está sendo cada vez mais levada em consideração.

Finalmente, argumenta-se que esse tipo de avaliação (no caso a feita pelos alunos) ajuda os estudantes a selecionarem seus cursos e professores a cada semestre.

A avaliaçáo do profewr pelo aluno

Daqui para frente focalizar-se-á apenas a avaliação do professor pelo aluno com o objetivo de melhorar o ensino. Tenha-se em mente, no entanto, que essa avaliação é apenas um ponto a, considerar na avaliação do desempenho de um professor. Avaliar a qualidade do ensino é uma tarefa por demais difícil e'complicada para basear-se unicamente da opinião dos alunos: Por outro lado, é difícfl conceber-se uma avaliação da qualidade do ensino sem levar em conta o que pensam os alunos, pois eles constituem a audiência para a qual o ensino é dirigido.

Tipicamente, a opinião dos alunos é colhida através de questionários de fun de curso con- tendo um certo número de proposições, qwdescrevem características ou habilidades do profes- sor, em relação às quais os alunos são solicitados abdicar até que ponto concordam. Posierior- mente, o professor recebe um sumário das respostas dos alunos.

OS formatos dos questionhios e do sumário recebido pelo professor serão discutidos na seção seguinte. Antes, serão abordados alguns aspectos mais gerais.

Primeiramente, alguns pressupostos ou generalizp$ks sobre a utilização desses questiona- ri& (McIntyre, 1977):

110

1 - Estudantes podem, de um modo geral, julgar de maneira fidedigna quão satisfatório foi para eles um curw ou um professor.

2 - Estudantes não estão qualificados para julgar aspectos tais como a competência do professor em termos de domínio do conteúdo, se o material ensinado é atual, se está sendo mi- nistrado em um nível apropriado de dificuldade, se está adequadamente integrado ao currí- culo, se o sistema de avaliação é apropriado e tecnicamente adequado.;

3 - Questionátios padronizados não são úteis na avaliação de todos os tipos de professo- res. Em particular, são de limitado valor em cursos de ateliê, práticas clínicas, cursos individua- lizados e ensino em equipe.**

Segundo Ericksen e Kulik (1974), vários resultados de pesquisas sugerem que os alunos es- tabelecem diferenças entre seus professores, principalmente, em termos de:

1 - Habilidade e q ensinar (de um modo geral). 2 - Grau de relacionamento estabelecido com os alunos em classe. 3 - Organização e estrutura dos cursos que ministram 4 - Quantidade de trabalho exigida. Sendo que “habilidade em ensinar” é o critério mais largamente utilizado. Os mesmos autores (Ericksen e Kulik, 1974) apresentam, baseados na análise de vhrios es-

todos, um sumário de fatores que influenciam a opiniâo dos alunos: I - VarLiveis reIan’uas aos alunos: A atitu.de geral do estudante em relação a professores

e ao ensino é a mais importante influênkia. Sexo, idade, conceito, curso, são de pouca impor- tância.

I1 - Condiçóes de ensino: Tamanho da classe, disciplina obrigatória ou eletiva, matéria de ensino e departamento são variáveis relevantes.

111 - Guacteristicas do professor: Existe provavelmente uma correlação positiva, porém fraca, entre experiência e posição acadêmica e a opinião dos alunos. O mesmo se observa em relação i produtividade científica. Observa-se também que professores tidos pelos alunos co- mo cultos, sofisticados e bons oradores costumam receber ‘‘escores altos”.

IV - Efeitos de intemçüo; Se o professor dirige o ensino para os aluios brilhantes, ele será por eles’avaliado positivamente e haverá uha correlação positiva entre a avaliação dos alunos e os graus obtidos; se ensinar para os estudantes fracos, o professor será.avaliado nega- tivamente pelos alunos brilhantes e uma correlago negativa será obtida. Existe também algu- ma evidência de que estudantes com diferentes traços de personalidade responderão diferente- mente a estilos de ensino altamente estruturados ou pouco estruturados.

Uma das maiscomuns objeçóes iavaliação feita pelos alunos é a de que, somente após for- mados, teriam condições de avaliar o professor. Outra é a de que os alunos têm nessa avaliação uma opdrtunidade de “vingar-se” do professor. Tais objeções, no entanto, parecem infunda- das, pois, iegundo Miller e Seldm’ (1979), resultados de pesquisas mostram que a variável “antes ou depois de formado” faz pouca ou nenhuma diferença e que, de um modo geral, os alunos são “camaradas” ao avaliar o professor.

Ainda segundo Miller e Seldin (1979): - As avaliações feitas pelos alunos são altamente fidedignas (estáveis), apresentando coe-

ficientes de correlação da ordem de 0.85 ou mais para testagem e retestagem, ou seja, duas apli- cações do mesmo instrumento sob as mesmas condições.

- Existe uma correlação positiva (da ordem de 0.40 a 0.60) entre o grau. de aprendiza- gem atingido pelo aluno’e a avalii-o que ele faz do professgr.

- Não existe.diferença ngnincativa entre a avaliação feita pelo estudante quando ela se destina a melhorar o ensino’e quando será usada para fms de decisáo sobre promoção ou efe- tivação.

* Caso se queira a opiniáo’ dos alunos em relação a aspectos como eises, as proposições ou a f i a t i v a s po- dem ser formuladas em temos de “parece que”. (Nota do autor)

I Erua dificuldade pode ser parciaimente contornada através da u t i g o de questionários elaborados, em parte, pelo próprio profewx. N o i a do aum)

111

- Pelo menos 7096 dos alunos devem responder ao questionário para que as respostas te- nham significado.

Muitos autores concordam em que os questionários são fidedignos, mas até que ponto são válidos? Isto é, até que ponto medem o que pretendem? Esta é uma questão difícil, pois se, por exemplo, se pretende medir a eficicia do professor através desses questionários, é preciso que se tenham critérios para defuùr essa eficácia. muito difícil, no entanto, obter na comunidade acadêmica um consenso sobre o que constitui eficácia em termos de ensino. Talvez não haja mesmo razão para que exista consenso, pois o que se aplica a um tipo de en- sino pode não se aplicar a outro. Em razão disso, McIntyre (1977) sugere que em vez de se perguntar se o questionário realmente mede a eficácia do professor ou do ensino, a pergunta deveria ser: “Até que ponto os alunos pensam que a instrução foi eficaz?’’ Além disso, um outro aspecto a considerar é que, embora a avaliação dos alunos não garanta que um profes- sor seja eficaz OU não, dificilmente aquele que for realmente eficaz será avaliado negativamente.

Outras perguntas que se impõem referem-se i freqüência com que se devem aplicar os ques- tionários e se a participação do professor deve ser voluntária ou não.

Obviamente, para que esse tipo de avaliação tenha sentido é preciso que os alunos estejam dispostos a responder criteriosamente aos questionhios. Mas o que ocorreria se tivessem que responder a vários desses questionários a cada semestre? Talvez a qualidade das respostas decaís- se’ao longo do tempo e talvez o professor passasse a dar menos atenção às respostas. A ques- tão da freqüência, portanto, parece envolver um pouco de bom senso, cabendo ao deparia- mento e aos professores decidir o que melhor atende a seus interesses.

Relacionada com a freqüência está a questão da obngatoriedade. Quanto a isso, se o obje- tivo é a melhoria do ensino, a participação é geralmente voluntária e os resultados da avaliação dos alunos são encaminhados confidencialmente ao professor. Essa avaliação não deve ter a conoiação de uma ameaça ao professor, e sim a de uma possível contribuição para seu cresci- mento pessoal e profissional.

Antes de passar-se a descrição de como são os questionários, duas observações ainda de caráter geral:

“E preciso distinguir entre a avaliação do professor como pes- soa e a do curso (disciplina) como um programa organizado de estudo. Naturalmente, elas não são independentes, pois um mau professor pode “estragar” um curso que em outras circunstãncias seria excitante e um professor carismático pode ”dar vida’’ a um assunto enfadonho. Um questionário deve fazer mais do que medir a “popuiaridade” do professor, pois isso pode não estar relacionado com o impacto educacional de um curso. Não 6 incomum para um estudante gostar mais do curso do que do professor, ou vice-versa, e essas discriminações não devem ser mascaradas pelo questionário.” (Ericksen, 1976)’

Finalmente, uma observação talvez por demais óbvia: se a fmalidade é melhorar o ensino, questionários de avaliação formativa (i.e. aplicados durante o curso) poderão ser de grande valia.

Como são os questionários

De um modo geral, os questionários de avaliação do professor pelo aluno consistem de 10 a 40 itens sobre características ou comportamentos do professor. Vejamos alguns exemplos dos tipos de itens utilizados.

Muitas vezes a habilidade, característica ou comportamento do professor‘é seguida de vA- rias alternativas (geralmente cinco), dentre as quais o aluno deverá escolher aquela que melhor reflete sua opinião:

Uma alternativa 6 usar questionários separados (ou um questionário oom duas partes), um para avaliar o desempenho do professor e outro para avaliar a disciplina como um todo. (Nota do autor).

112

Aparenta domínio do conteúdo O excepcional O muitofirme O adequado O um pouco deficiente O fraco

Explicapio de princípios e conceitos básicos 0 As vezes deixa o aluno em dúvida 0 dificilmente vai além do que está no livro 0 geralmente bastante claro 0 muitoclaro O excepcionalmente claro e elucidativo

(Stanford, 1977)

Outras vezes, o item é acompanhado de uma escala, geralmente de 1 a 5, onde apenas os

De um mcdo geral, o que você achou &s aulas teoricas? 1 = inúteis; não aprendi nada 5 = extremamente úteis, aprendi muito

extremos são definidose 3 é sempre o “ponto médio”:

Os experimentos de laboratório foram interessontes? 1 = muito interessantes 5 = maçantes

(Maas, 1972) Uma variação desse tipo de item é aquela na qual os extremos da escala são fmos, i.e., os

Não descre- Descreve ve de manei- muito ra alguma bem

Identifica o que considera importante 1 2 3 4 5 Encoraja a discusmo em classe 1 2 3 4 5

mamos para todos os itens:

(Berkele y ,1977)

Nesse caso, o aluno deve fazer um circulo em tomo de um dos númem da escaia, de m e do a indicar em que medida ele acha que a afirmativa descreve ou não uma característica ou comportamento do seu professor.

Um tipo de item semelhante a este utiliza uma escala de 1 a 7, que o aluno deve usar pa- ra dar um *eseom’’ ao professor em cada alternativa:

Escore Escore Escore mais d t o médio mais baixo

7 6 5 4 3 2 1

Como o professor reage a pontos de vista dos alunos que diferem dos seus? _-___ O professor encoraja os alunos a procurarem aju& quando necessirio?

(Miiier, 1972) Nesse tipo de item, o “escore” deve ser colocado no espaço existente na frente de cada

questao.

113

Outro modelo de quesüoMo tambh do tipo “fechado” é o que utiliza a escala Likert

a) concordo plenamente b) concordo c) não tenho opinião d) discordo e) discordo totalmente Nesse c m , o questionário deve conter, em número aproximadamente igual, afirmativas

que expressem opiniões claramente favoráveis e desfavoráveis. Não importa se as &nativas são corretas ou não desde que elas representem possíveis opiniões do aluno sobre o professor:

(k s t , 1970).

Mantém o aluno atento durante as mhs Dá expIiat@es pouco c h s

(Moreira, 1980)

Nesse tipo de questionário, o aluno assinala na grade aquela alternativa que melhor ex- pressa sua opinião em relação A afirmativa feita.

Na tabulação, a fm de se obter um escore total, atribui-se um valor numérico de 1 a 5 pa- ra as afmativas desfavorheis e de 5 a I para as favoráveis. Aliás, nos demais tipos de questio- nários é comum também atribuir-se um valor numérico Qs alternativas a fm de quantificar as respostas dos alunos.

Os tipos de itens ou questionários apresentados representam alguns dos mais utilizados na prática. Questionários do tipo “aberto” sáo menos usados, talvez por serem difíceis de interpre- tar, tabular ou quantificar. Por outro lado, muitos questionários do tipo “fechado” incluem ao final aiguns itens “abertos”, como por exemplo:

Que sugestões. se for o caso, você faria ao professor pra melhorar o ensino dessir disci- plutn?

Quais foram os aspectos mais negativos desse curso? Esse tipo de item implica em uma resposta aberta na qual o aluno deve usar suas próprias

palavras. Dá mais oportunidade ao aluno de apontar suas razões e pode prover respostas de maior profundidade. Por outro lado, como requer maior esforço de parte do aluno, pode levá-lo a não responder.

Outra possibilidade bastante usada em relação & parte “aberta” do questionário é deixar a critério do aluno a utilização, por exemplo, do verso da última folha para comentários ou su- gestões.

Alguns questionáriog incluem tamMm a solicitação de informações sobre o aluno tais co- mo: sexo. curso, ano de matrícula, conceito ou grau que espera receber na disciplina. Esse tipo de informação pode ser usado para investigar se a opinião dos estudantes é influenciada por variáveis como e m . Aparentemente, não existe consenso na literatura quanto a uma possi- vel infiuência dessa natureza: em alguns estudos parece haver, em mtros não (Rotem & Glas man, 1979).

Por outro lado, esse pedido de informação pode inibir a resposta do aluno nos demais itens e certamente toma o questionário mais longo. Assim, se não houver uma razão especial para se obter tais informsçóes, não há motivo para solicitá-las no questionário.

Em alguns cams, o instrumento inclui uma coluna para respostas do tipo “uáo sei” OU “ d o se aplica”. Isso pode ser vanbjoso para tomar o instrumento ma& flexível, porém também pode levar a esse tipo de respostas por simples comodidade ou conveniência.

Uma objqão muito comum de parte dos professores é a de que o questionário deixa de inch~ir itens que ele julga importantes (referentes ao laboratório, por exemplo) e inclui OU- tros irrelevantes em sua opinião. lpso é praticamente ineviihl na medida em que o questioná-

114

rio pretende ser aplicável as mais diversas disciplinas. Essa dificuldade pode, no entanto, ser contornada se o instrumento for construido de tal forma que o professor possa acrescentar itens que sejam de seu especial interesse. Na verdade, o instrumento pode constar de um mí- nimo de itens “obrigatórios”, cabendo ao professor completá-lo com outros tirados de uma lis- ta que lhe é fomecida ou, eventualmente, com itens por ele mesmo elaborados.

Um bom exemplo é o sistema utilizado na Universidade de Michigan (Kulik, 1976,1977); o questionário contém apenas cinco itens “obrigatórios”:

1. De um modo geral, este é um excelente curso. 2. De um modo geral, o professor é excelente. 3. O professor me motiva a dar o máximo de mim. 4. Sinto que estou me desempenhando neste curso de acordo com minha potencialidade. 5. Tive muita vontade de fazer este curso. O professor recebe então um catálogo (KuWt, i 976; CRLT, 1976) contendo cerca de 150

itens não si, sobre comportamentos do professor, mas também sobre o aluno, sobre o curso em si e vários outros aspectos pertinentes ao ensino e a aprendizagem. Cada item é uma afirmati- va com a qual o aluno deverá concordar ou discordar usando uma escala do tipo Likert, men- cionada anteriormente. De posse desse catálogo, o professor seleciona até 30 itens (podendo in- cluir um máximo de três de sua própria autoria) e os informa ao Centro de Pesquisa em Ensi- no e Aprendizagem (CRLT), que se encarrega da confecção do questionário, incluindo os itens “obrigatórios”.

Deixa-se de fazer aqui comentários genéticos sobre características de um bom questioná- rio ou de bons itens porque se acredita que possam ser encontrados facilmente na literatura (e. I g., Best, 1970. cap. 7).

Interpretação dos dados

Em muitos casos o aluno assinala as alternativas escolhidas em uma folha (grade) de res- postas a fm de facilitar a tabulação ou a transposição para cartões de computador, se for o caso. Obviamente, as respostas podem ser dadas diretamente em cartões ou folhas que possam ser lidas pelo computador.

A maneira mais simples, e talvez a mais usada e conveniente de apresentar os resultados ao professor, é fomece;-lhe a distribuição de freqüências e/ou a freqüência percentual, a média e o desvio-padrão em cada item. A partir dos escores nos itens, pode-se, é claro, obter um escore total ou um escore médio geral que seria uma espécie de “índice de desempenho” do professor. Entretanto, segundo Kulik (1976), o valor das respostas do aluno é maior para o professor na medida em que ele der mais atenção as freqüencias em itens-específicos do que a esse “índice de desempenho”.

De fato, ao interpretar os resultados dos questionários, muitos professores parecem achar mais Út i l verificar quantos alunos escolheram determinada alternativa ou quantos concorda- ram (ou discordaram) com certas afirmativas. Ainda, segundo Kulik (l976), itens’nos quais um terço dos alunos escolhem alternativas desfavoráveis devem ser motivo de preocupação para o professor.

A média em cada item parece ser também de grande utilidade para o professor. Como já foi dito, a cada alternativa atribui-se, geralmente, um valor numérico tal que a cada item corres- ponda um valor máximo e um mínimo. O professor então compara sua média em cada item com os valores máximo e mínimo, podendo assim identificar seus pontos h t e s e fracos.

Outra maneira de interpretar os resultados é compará-los com os de semestres anteriores em c u m s similares ministrados pelo próprio professor. A comparação com os resultados de colegas (se isso for possível) pode também ser um indicador válido. Entretanto, a utilização de curvas nomais como referência para situar o desempenho de um professor é discutível, pois sempre que esse tipo de curva é utilizado metade dos que estão sendo comparados situa- se acima da mddia e metade abaixo da média. Se todos os professores forem excelentes, ainda

115

assim metade ficará abaixo da média. Se todos forem péssimoS, metade ficará acima da média (Ericksen, 1976).

Portanto, a interpretação dos resultados é relativamente fácil e, no fundo, envolve uma certa dose de bom sem. Por exemplo, um eficiente, porém pouco expansivo professor difi- cilmente transformar-se-á numa f m r a carismática s6 porque os alunos assim prefeririam. Ou- tro aspecto a considerar é que a opinião dos alunos de uma Única turma em um certo semes tre é menos valiosa como indicador do que resultados acumulados de vários semestres, com diferentes turmas. Além disso, itens tais como ‘‘O professor estabelece um clima de confian- ça em classe” são geralmente bastante correlacionados com itens gerais sobre a qualidade do curso como um todo e podem estar apenas medindo o quanto os alunos gostaram ou não do $urso ou do professor (Bergquist & Phiilips, 1975).

E verdade que ap6s muitos anos de prática 6 difícil mudar certos hábitos, porém a maio. ria dos professores que reconhecem certos pontos fracos no seu ensino querem mudar a fm de melhorá-lo. Nesse caso é fundamental o apoio da instituição. O professor pode melhorar o ensino por si mesmo ou através da ajuda de algum colega, porém é pouco provável que isso ocor- ra. I? preciso que ele tenha A sua disposição um serviço especializado provido pela instituição ao qual possa recorrer. Esse tipo de serviço poderá não só ajudá-lo a corrigir certas falhas, bem como a interpretar melhor os resultados de um questionário. Sem esse tipo de apoio, a avaliação do desempenho do professor como mecanismo de melhoria do ensino fica altamen- te prejudicada.

Alguns aspectos negativos

Nesta seção chamar-se-á atenção para possíveis aspectos negativos da avaliação do profes- sor pelo aluno, embora alguns desse aspectos possam já ter ficado implícitos nas seções anterio- res ou possam ter até sido já mencionados explicitamente. Neste caso, a intenção é de reforçá- 10s.

Segundo Bergquist & Phillips (1975), um primeiro aspecto a considerar é o de que uma avaliaçáo negativa pode resultar em um comportamento defensivo bloqueador do processo de mudança. O professor pode argumentar que o questionário não é válido, que os alunos não sa- bem o que é bom para eles, e assim por diante. Ao que parece, um dos paradoxos inerentes i mudança é que tanto pessoas como instituições resistem mais a ela quando alguém lhes diz que devem mudar. Argumentam também esses autores que a avaliação feita pelo estudante pode constituir-se em um desserviqo para’o professor, na medida em que for usada como único meio de retroalimentação. Apesar de importante, esse tipo de avaliação é feito segundo um Único ponto de vista, o do aluno. E preciso que não se ignorem outros tipos de avaliação como, por exemplo, a autoavaliação e a avaliação pelo colega. Além disso, a menos que se ofereça oportunidade de treino naquilo que esti sendo avaliado, a avaliação torna-se uma arma ao invés de um instrumento de mudança.

Ericksen e Kulik (1974) apontam as seguintes fontes de erro na utilização e análise da avaliação pelo estudante:

1 - a distorção inerente i seleção e Cormulação dos itens incluidos no questionário; 2 - comparação com padrões inadeluados, e.g., usar os mesmos critérios para avaliar

o desempenho de um professor de ciclo básico e de um de pó~-giq.luqão; 3 - a menos que a maioria dos estudantes responda ao questionârio, é provável que o

professor receba resultados distorcidos. Outro aspecto que pode ser considerado negativo é uma possível falta de envolvimento

do professor devido i inflexibilidade do questionário. isto é, muitas vezes os itens são muito gerais para que a resposta do aluno seja de utilidade prática para o professor. Outras vezes lhe parecem artificiais ou irrelevantes para o tipo de curso que está ministrando. Esta dificui- dade, como já foi dito, pode i r Contornada, fazendo com que o professor participe da ela- boração do questionário através da seleção de itens relevantes para ele e para a disciplina em questão.

116

Uma experiência em pequena escala

Na Universidade Federal do Rio Grande do Sul (UFGRS). experimentos de caráter preli. minar 'e exploratório na área de avaliação do ensino estão sendo conduzidos desde o fmal do segundo período letivo de 1979. Tais experimentos estão sendo daliiados pelo PADES/UFRGS (Projeto de Apoio e Desenvolvimento do Ensino Superior). Foram elaborados dois tipos de questionários, um, mais geral, sobre o ensino na disciplina e outro, específico, sobre o desem- penho do professor.

O primeiro desses instrumentos, elaborado pelo Serviço de Assessoria Pedagbgica do PADES/UFRCS, inclui seis tipos de itens: características gerais da disciplina, plano de ensino, objetivos, conteúdo, procedimentos de ensino, sistema de avaliação.

O segundo, elaborado por este autor, focaliia diretamente o desempenho do professor. Existem duas versões desse instrumento, uma do tipo escala iikert (Modelo A) e outra com al- ternativas não padronizadas (Modelo B), semelhante ao da Universidade de Stanford (1977).

No segundo período letivo de 1979, o questionário de avaliação da disciplina foi apiica- do em todas as disciplinas em que estiveram sendo desenvolvidos projetos de melhoria do en- sino com apoio do PADFS/UFRGS, num total de 25 disciplinas. Houve, de um modo geral, boa receptividade de parte de professores e alunos. Os resultados foram tabulados e devolvi- dos aos professores, colocando i sua disposição o Seniiço de Assessoria Pedagógica.

O questionário de avaliação do professor, por sua vez, foi também testado na mesma @o- ca por professores de Física, Artes e Agronomia que se dispuseram voluntariamente a aplicá-lo. Participaram dessa testagem 09 professores de Física, 13 de Artes, O1 de Agronomia e um to- tal de 335 alunos. Nessa oportunidade, os alunos foram também solicitados a avaliar o pró- prio questionário e a indicar o grau de importância que atribuíam a cada característica do professor que estava sendo avaliada no questionário. Em função da resposta dos alunos o ques- tionário foi reelaborado para nova testagem.

A tiido de ilustração, apresenta-se na Tabela I a tabulação das respostas dos alunos em relação h importância atribuída. genericamente, às características do professor constantes no questionário. Não há nessa tabela nenhuma preocupação com signiíicincia estatística e cabe lembrar que os dados referentes a estudantes de Agronomia são de alunos de uma única dis- ciplina, enquanto que os de Física e Artes são de várias.

I? interessante também registrar que 90% do total de alunos responderam afirmativa- mente h seguinte pergunta: Supondo que o professor realmente dê atenção As respostas, você acha váüdo este tipo de questionário?

No primeiro período letivo de 1980, a estratégia utilizada foi a seguinte: uma pequena notícia foi colocada no boletim do PADES/UFRCS, o qual é distribuído mensalmente a to- dos os docentes, comunicando que os questionários estavam h disposição dos profess0res.e que o PADES/UFRGS encarregar-se-ia da tabulaçáo. Os interessados compareceram então na secretaria do PADES, escolheram o modelo desejado, indicaram o número de cópias ne- cessárias e a data da aplicação. Após a aplicação, pelo próprio professor, os questionários foram devolvidos ao PADES para tabulação. Os resultados desta tabulação foram encami- nhados somente ao professor, oferecendo-lhe, a exemplo do semestre anterior, assessoria peda- gógica se assim o desejasse.

Essa segunda testagem envolveu 48 professores e cerca de 2.500 alunos. Para o segundo período letivo de 1980 foram solicitadas 3.500 cópias do questionário de avaliação da disci- plina e 4.500 cópias dos questionários de avaliação do desempenho do professor, prevendo- se, assim, a participação de aproximadamente 120 professores e 5.oM1 alunos nesta nova pro- va piloto. E verdade que esses números são ainda modestos em relação ao porte dos corpos docente e discente da UFRCS, porém, aos poucos talvez se crie uma tradição de avaliar o en- sino dentro de um c h a essencialmente voltado para a melhoria do ensino.

117

- 1 -

*iI - 57 65 6 1 60 57

60 38 48 41 36 43

49 51

21 54 40

54

54 48 56 59 52 35 51 64 4a 33

59 61 59 61 55 65 3: 25 41 -

10 i

4rt

73 83 63 63 41

51 47 18 4Q 63 60

29 50

42 3s

49 57

59 51 67 s3 56 60 50 62 5 8

62 43

50 82 75 40 51 3 3 28 46

- -

-

0.1

A.

56 11 18 61 36

45 27 36 20 26 32

33 42

25 38

34 58

52 48 60 51 41 31 53 58 36

49

52 44 66 72 41 14 21 29 42

- -

-

- - b r i

62 14 61 61 42

50 36 32 31 40 44

35 41

31 40

40 56

55 51 61 54 51 41 5 2 60 43

53

50 50 70 71 4! 64 3c 21 45

~

~

- u. 32 29 27 32 35

33 43 44 48 56 46

40 31

43 29

44 30

30 40 33 21 32 44 38 25 44

33

30 22 24 24 29 22 43 43 15

-

~

35 ser pontu.1. 46 Sçrariiduo.

NGmcru dc a l u m ~ : @ronomia (63). Arli<i(lIS), ririca (151). Total 13351.

- "I

L7 I5 I4 I4 I 3

18 14 1s 33 29 I0

$8 35

14 <I

26

-

I7

3 1 34 30 UI 38 31 34 16 31

31

3c 3< 16 2: 4: 21 Y 51 4

~

- Fir

39 27 39 34 55

50 48 43 37 59 53

50 44

46 49

45 40

40 45 36 39 42 56 42 39 43

38

40 39 23 24 35 21 51 45 44

-

-

- Df .

34 23 35 33 47

43 42 41 37 48 44

41 39

41 42

38 37

35 40 14 37 38 46 38

-

:8 3s

35 33 21 24 38 21 45 46 43 -

- w 8 5 6 8 6

7 14 6 8 6 8

8 8

22 I 4

10 13

1 3 10 I 1 1 3 13 I 8 10 11 I5

11

'i 13 13 I 1 2; L I I' I 1 I:

-

-

~

Ar, -

~

2 3

4

3 9

I 5 I2 4 3

6 7

6 I4

I 1 3

1 6 2 3 3 3

10 2 5

3

I 2 I 2 1 2

10 21 I 1

S 3

~

-

1 2 1 2 2 4 4 4 1 3

- 2 6 9 2 7 3 I2 6 5 3 4

3 5 6 6

8 I0 5 I0

7 9 1 4

4 7 6 1 3 4 2 4 6 1 3 6 1 6 I 3 8 E

3 6

4 í 6 5 4 : 3 4 9 I1 3 I'

10 1' 8 1 3 : -

- > I

I, - -

3 6

4 7 I O 4 5

2 6

o 8

6 2

2 2 I 3 3 2 3

2

3

5 4

-

- - 6 2 6 9 4 -

- 0, - Pis

3 I 1 I 1

4 I5 13 21 9

I1

13 7

14 6

13 I

-3 I

-

1 1 4 I

11

I

5

1 I I

I I! !

-.

.p+n&d

r i Fk ToW

1 - . - - . - - . - - 6 1 2

4 1 I 3 4 3 7 6 10 S 8 5 - 1 1 2 1 1

S I 2 2 1 2

8 7 7 2 2 2

8 1 4 I - 1

I 1 I 1 - 1

1 1 I 2 1

3 1 2 3 - I - 1 4 2 3

1 2 7

i0 3 4 2 2 1 3 2

_ - -

- 1 - -

Também a titulo de ilustração, nos apéndices I e I1 são apresentados, respectivamente, o Modelo A do questionhio de avaliação do desempenho do professor e um exemplo da tabula- ção recebida pelo professor.

Conclusão

Ao longo de todo este trabalho pressupôs-se que os professores podem ter uma medida do seu desempenho através da opinião do aluno. Ao mesmo tempo descuidou-se, propositadamen- te, porque fugia ao objetivo do trabalho, de outra medida talvez mais importante: o desempe- nho do aluno em termos de aprendizagem. O quanto o aluno aprendeu é, sem dúvida, uma im- portante medida da eficácia do ensino, mas o que se pretendeu aqui foi chamar a atenção pa- ra a possibilidade de usar a opinião do aluno como um mecanismo retro-aiimentador capaz de contribuir para que esse ensino seja ainda mais eficaz.

Por outro lado, embora se tenha~mencionado uma experiência na UFRGS, em nenhum momento se pretendeu sugerir que a avaliação do professor pelo aluno devesse ser uüiizada na universidade brasileira. O que se pretendeu, isso sim, foi fornecer subsidios para quem es- tiver interessado no assunto. Notas: I) Embora os instrumentos em utilização na UFRGS estejam ainda sendo testados, c&

pias daqueles não incluídos neste trabaiho estão A disposição dos interessados me- diante solicitação.

2) O autor agradece ao CWq pelo auxilio recebido para participar da V Conferência Internacional sobre Melhoria do Ensino Universitário, realizada em Londres de 4 a 7 de julho de 1979, e do “Workshop” sobre avaliação do professor que a pre- cedeu. Agradece também i CAPES e, de modo especial, aos Drs. Robert e Nancy Bush pela oportunidade de ter participado, em 1977, de um “Traveling Seminar”, patrocinado pelo Departamento de Estado Norte-Americano, durante o qual visi- tou várias universidades norte-americanas, a fm de tomar conhecimento de pro- gramas de melhoria do ensino universitário.

REFERÊNCIAS

BERGQUIST, W.H. and PHILLIPS, S.R. A Handbook for F a d i y Deveioprnent. Washingion.

BERKELEY, University of Califomia at. “Student Description of Teaches.” (Modelo de ques-

BEST, J.W. Resemch inEdumtion. Englewood Cliffs, N.J.: RenticeHaii Inc., 1970. CRLT (The Center for Research on Leaming and Teacbing). “Instructor Designed Questionnai-

re”. (Catáiogo de itens). 1976. ERICKSEN, S.C. “Student Evaluation of Teaching”. Cziteriu, no 11. Ann Arbor: CRLT - The

Univemity of Michigan, 1976. ERICKSEN, S.C: and KULK, J.A. “Evaluation of Teacbing”. Memo to rhe Facuiiy, no 53.

Ann Arbor: CRLT -.The University of Michigan, 1974. KULM, JA. “Students Reactions to Instruction”. Mono to the Facuiiy, no 58. Ann Arbor:

CRLT - Thc University of Michigan, 1976. KULM, JA. “Adapting Flexible Instructional Evaluation to Another Faculty, Another Cam-

pus.” Paper presented at the 1977 Annual Meeting of the American Educational Research Aspociation, New York, 1977.

MAAS, J.B. “ComeU Inventory of Student Appraisal of Teaching.” (Modelo de questionário). 1972.

MILLER, R.I. “Student Appraisai of Teaching.” (Modelo de questionárió) em EwiUafing FU- d t Y ~e7fomionce San Francisco: Jomey-Bass Pubüshers, 1972.

D.C.: The Council for the Development of Small Colleges, 1975.

tionário). 1977.

119

MILLER, R.I.. and SELDIN, P. “Faculty Evaluation Workshop.” Workshop held during the V International Conference on improving University Teaching, City University, London,

McINTYRE, C.J. “Evaluation of College Teachen”. íE!&?, no VI. Ann A r b r : The University

MORElRA, M.A. “Q~~eStiOnáriO de Avaliação do Desempenho do Rofessor.”(Modelo de ques-

July 4-7, 1979.

of Michigan, 1977.

tionário). 1980.

University I ~ s ~ N c ~ o ~ s . ” Review of Educational Raemeh, 49 (3) : 497-51 1,1979.

tio). 1977.

ROTEM, A. and GLASMAN, N.S. “On the Effectiveness of Student’s Evaluaüve Feedback to

STANFORD UNIVERSITY. “Survey of Student Opinion of Teaching.” (Modeio de questioná-

APENDICE I

Questionário de Avaliação do Desempenho do F’rofessor - MODEU) A*

INSTRUÇ6ES GERAIS

(Leia com atenção antes de responder ao questionário.)

O objetivo deste questionirio e o de cohs a opinbio do aluno sobre o desempenho do professor. Com isso, o professor terá elementos adicionais para analisar criticamente seu desem- penho, procurar corrigir eventuais falhas e melhorar o ensino.

Náo assine o quesiionino. Expresse sua opinião livremente. Em hipótese alguma os resul- tados do questionário terão influência no seu conceito fmal.

Sqa UnparcioL Na medida que suas respostas visarem somente agradar ou desagradar o professor, elas serão inúteis para o professor e seu tempo terá sido perdido.

Nas folhas que se seguem você encontrará várias afrmativas que, de um modo geral, re- fletem possiveis características ou comportamentos de um professor. Algumas dessas afirmati- vas são favoráveis e outras SHo desfavoráveis. Ao lado delas existe uma escala na qual você de- verá asinalar com um X a alternativa que melhor expresse sua opinião quanto &s afirmativas. O c6digo é o seguinte:

(a) CP = Concordo plenamente (d) D = Discordo (b) C = Concordo (e) DT = Discordo totalmente (e) NO = Náo tenho opinião

Sempre que possivel, evite usar a alternativa NO. Lei com atenção cada afmativa antes de expressar sua opinião.

INSTRUMES PARA O PREENCHIMENTO DA FOLHA DE RESPOSTAS

1 - Use lápis nP 2; não rasure; preencha totalmente com grafite as elipses correspondentes AS alternativas escolhidas.

2 - Assinale suas respostas somente no espaço previsto no campo inferior da folha; a nume- ração constante nesse campo corresponde a numeração dos itens no questionário.

3 - No espaço previsto para “nome do candidato” escreva o nome da dlrcipliim; no espaço previsto para o “número” escreva o código da disciplina e a tuma na qual você está ma- triculado (ex. AGR 212-A).

* Elaborado por M.A. Moreira, Instituto de Física - UFRGS (Ver60 p I e h h )

120

I - Não assinale nada nos demais espaços;.ignore as instruções para preenchimento constan- tes na própria folha de respostas exceto no que concerne A utilização de lápis. ANTES DE ENTREGAR VERIFIQUE NA FOLHA DE RESPOSTAS SE NÃO DEIXOU

NENHUM ITEM EM BRANCO. nF.VC)LVA O OUESTIONARIO JUNTAMENTE COM A FOLHA DE RESPOSTAS. SE .------- -- - -. - - . . .

TIVER ALGUM COMENTARIO, UTILIZE O VERSO DA ULTIMA FOLHA DO QUESTIO-

ELE POSSA SER REUTILIZADO. NARIO. CASO CONTRARIO, NÁO ASSINALE NADA NO INSTRUMENTO A FIM DE QUE

Assinale com um X apenas uma opção para cada @mativu A oppio escolhida deve re fletira sua opinião e não o que você poderia pensar que devesse ser sua opinião.

O PROFESSOR DESSA DISCIPLINA:

1 - Parece dominar o conteúdo que ensina. 2 - Dá explicações pouco claras. 3 - Define o (s) objetivo (s) de cada aula. 4 - Desestimula o interesse pela matéria. 5 - Faz bom uso de exemplos e ilustrações ao expor a matéria. 6 - Costuma dar aulas sempre da mesma maneira. 7 - Aponta os aspectos importantes da matéria. 8 - Apenas repete o que está no livro de texto. 9 - Faz bom uso de recursos audiovisuais.

10 - Suas aulas sáo, de um modo geral, desinteressantes. 11 - Parece planejar as aulas. 12 - Frequentemente falta às aulas. 13 - Distribui bem o tempo disponível para as aulas. 14 - Dá aulas sem entusiasmo. 15 - Costuma ser pontual.

a b c d e a b c d e

16 - Mostra-se inseguro ao responder às perguntas dos alunos. u 17 - Parece gostar de dar aulas. 18 - Desenvolve tópicos ou unidades sem mostrar como encai-

xam no conteido da disciplina como um todo. 19 - Aceita o ponto de vista do aluno. 20 - Desencoraja o aluno a participar da aula. 21 - Procura ajudar os alunos que têm dificuldades na matéria. 22 - Exige pouco raciocínio do aluno. 23 - Parece ter habilidade em perceber se os alunos estão entenden-

24 - injusto na atribuição de gaus ou conceitos. 25 - Demonstra preocupaçã? de que os alunos aprendam. 26 - Estabece poucas relações entre teoria e prática na disciplina. 27 -.Estimula o senso crítico dos alunos. 28 - I! inacessível aos alunos em classe. 29 - Mantim o aluno atento durante as aulas. 30 - Raramente estabelece relapes entre a matéria de ensino e si-

31 - Parece ter respeito pelo aluno como pessoa. 32 - E inacessível aos alunos fora da aula.

do o assunto da aula.

tuações da vida real.

121

33 - Poderia ser recomendado como bom mofesanr

Itens adicionais

35 - De um modo geral, o sistema de avaüação utilizado nessa dis

36 - Acho que esta discipiina é pouco importante para meu CUISO.

37 - Creio que fui um bom aluno nessa disciplina 38 - Dediquei pouco esforço ao estudo dessa disciplina 39 - Tenho a impressão de ter aprendido nesta disciplina 40 - Supondo que o professor realmente dê atenção aS respostas,

cipha foi satisfatório.

acho váüdo este tipo de questionário.

122

99'0 15'0 960 *LB L8'0 LL'O I60 %'O 11'1 9s O 91'0 86'0 08'0 8L'O S8'0 08'0 W'O LL'O 91'0 ",I 69'0 tS'0 OL'O 81'0 180 81'1 L9.0 LO'I LL'O LL'O I? o Lb'O 68'0 9s O L I ' I 19 O 8L'O (8'0 89'0 LÍO

W t b 191.1 19% EZsr O S Z V 8 1 0 V rrrr t I L b rrrr a? b 19 f? b88B" 19Ct 8 1 9 t Ctl 'b 8LLC rw? 119r 9POb 1 1 9 C OSl? 198r 8121

1LVP 68Cl ÇQCb bCVt 8 L l b wsr 8LZb WS? %I P WSP Pó97 ZLVV LSVV W61 bCI'? 6 8 8 V

m1.v

oynavd'a na314 IW8 O N U 1 Mo11131

o O * O SI I L o LI O 91 I 81 o I 1 O o1 O 9 I [ I O bI o I 2 8 b I I II O o1 I S I O I O 61 O 8 O

10 a ON

S I 92 8 V l I 91 1 O 1 I 81 o LL 1 I1 I t l I 11 I SI I 11 I CZ O 6 I 61 O I1 o 8 r 91 91 91 O tl O t

3

51 91 9f 9c 9c 9t 91 5 1 9c Sl 9r 9c 91 I1 SC 9r 91 9r Si 9r 91 91 91 9r

91 9s 9r 91 9 r 9 r 9r 9r 91 9r 9f SE 91 9r 9r

9 r

m 61 ar LE 9( Ir t( ff lt I1 M 67 82 LL 92 $1 w n 21 I 2 ot 61 91 11 91 11 bI E 1 LI I1 O1 6 8 L 9 I I r 2