Upload
internet
View
105
Download
1
Embed Size (px)
Citation preview
Algumas contribuições Algumas contribuições da docimologiada docimologia
Jean-François MARCELProfesseur de l’Enseignement Supérieur Agricole en Sciences de
l’éducationENFA, Université de Toulouse (France)
A docimologiaA docimologiaA docimologia é a ciência de examesEla produziu uma certa quantidade
de trabalho no intuito de melhorar :◦O procedimento da avaliação◦Os instrumentos da avaliação◦A notação
Ela conseguiu em parte. Todavia é interessante para os professores conhecer alguns de seus avanços.
J-F Marcel, Brésil, mai 2009 2
As 5 qualidades de uma As 5 qualidades de uma avaliaçãoavaliação
A partir das 5 « qualidades » da avaliação (do jeito que foram reparado pela docimologia) vejamos que é dejesavel se fazer certas perguntas quando nós elaboramos e colocamos em prática uma avaliação
J-F Marcel, Brésil, mai 2009 3
1 - A pertinência da 1 - A pertinência da avaliaçãoavaliação
É o grau de inscrição para a prova na linha dos objetivos visados.
Diz respeito a consistência da transposição do objetivo aos indicadores.
Questão : Será que o instrumento que eu construi se refere realmente as competências que eu queria avaliar?
J-F Marcel, Brésil, mai 2009 4
2 – A validade da 2 – A validade da avaliaçãoavaliaçãoÉ ou grau de adequação entre aquilo que
a prova pretende medir e aquilo que ela mede.
Diz resreito a consistência do procedimento inverso em relação ao procedimento de transposição (dos indicadores ao objetivo)
Questão : Será que os indicadores (que me servem de apoio para elaborar minha prova de avaliação) cobrem o critério e o objetivo visado?
J-F Marcel, Brésil, mai 2009 5
3 - A confiabilidade da 3 - A confiabilidade da avaliaçãoavaliaçãoÉ o grau de confiança que nós
podemos dar aos resultados observados.
Questão : Se eu reitero minha avaliação em vários momentos e em circunstâncias diferentes, será que meus alunos conseguirão os mesmos resultados?
J-F Marcel, Brésil, mai 2009 6
4 – A objetividade da 4 – A objetividade da avaliaçãoavaliaçãoAs conclusões da avaliação não
foram influenciadas pelas preferências pessoais de quem avalia. Ele conseguiu parcialmente a <<controlar>> sua subjetividade.
Questão : Será que eu fui capaz de distânciar o suficiente minhas opniões do aluno para avaliá-lo de forma justa?
J-F Marcel, Brésil, mai 2009 7
5 – A possibilidade de 5 – A possibilidade de generalização da avaliaçãogeneralização da avaliação
Diz respeito ao fato:◦De estender uma conclusão pontual (a
partir de uma prova particular) ◦A um nível mais amplo de generalidade
(boletim, orientação, aprovação a um exame, etc.)
Questão : A elaboração da prova e minha anotação são bastante confiáveis para me permitir tomar esta decisão?
J-F Marcel, Brésil, mai 2009 8
Docimologia e anotaçãoDocimologia e anotaçãoA docimologia se prendeu muito
a mostrar os limites do fato de recorrer à nota.
Vejam alguns exemplos (para a maioria, talvez você tenha um conhecimento implícito, por ser antigos alunos)
J-F Marcel, Brésil, mai 2009 9
A variabilidade da A variabilidade da avaliaçãoavaliaçãoIndependente da disciplina:
◦Um mesmo lote de cópias intrega os vários avaliadores
◦Vai dar para cada cópia, ◦Uma vasta gama de notas e
diferenças muito consideráveis. É um pouco menos verdade:
◦Para provas do tipo QCM ◦Todavia elas só medem objetivos de
baixo nível cognitivo
J-F Marcel, Brésil, mai 2009 10
O valor do pontoO valor do pontoNa escala de 0 à 20, todos os
pontos não tem o mesmo « valor » :◦Pouco valor abaixo de 5◦Valor importante acima de 15◦Valor muito particular do 10 («
constante macabra »)Portanto:
◦A média é um cálculo estatisticamente inadimissível (variáveis ordinais não variáveis de intervalos),
◦Sobretudo entre disciplinas diferentes.
J-F Marcel, Brésil, mai 2009 11
Os ajustes « automáticos »Os ajustes « automáticos »Muitos estudos revelam que os
resultados de uma prova (não importa a prova) se dividem sistematicamente segundo a curva de Gauss (curva em forma de sino):◦ Muito pouco de notas muito ruim◦ Muito pouco de notas muito boas ◦ Muitas notas « médias » (em torno de 10).
Vejamos assim uma função « implícita » da prova: ◦ Discriminar os resultados dos alunos◦ Para discriminar os alunos◦ Não importa os « atendidos »
J-F Marcel, Brésil, mai 2009 12
Os efeitos danososOs efeitos danososA mesma cópia :
◦Foi oferecida à dois grupos selecionados de avaliadores.
◦Trocando somente o nome do aluno suposto: Marie-Amélie e Zohra
◦As diferencias foram muito significativas ◦… à favor da primeira.
Na hora de corrigir :◦Pense nos danos ◦Que você causa de forma implícita ◦Nos alunos que convive o ano todo
J-F Marcel, Brésil, mai 2009 13
O efeito de contaminaçãoO efeito de contaminaçãoVariáveis chamadas « choque »Produzem um efeito importante na
avaliação de uma cópia◦Fazendo a avaliação « escalar» : uma
boa idéia, uma descoberta original (sobretudo no início e no final da cópia)
◦Fazendo a avaliação cair : uma aberração, uma grande besteira (sobretudo no início e no final da cópia)
Essas variáveis « atropelam » o gabarito
J-F Marcel, Brésil, mai 2009 14
O efeito da « mancha »O efeito da « mancha »É originário das variáveis de
« transbordagem» ◦A ortografia◦A apresentação da cópia
A partir de um certo limite (muito subjetivo), essas variáveis vão ceder o lugar à uma « penalização »◦Pontos a menos para erro de ortografia◦Pontos a menos para razuras ou manchas
Entretanto, essas penalizações são ilegítimas :◦Elas saem do gabarito◦Elas saem das expectativas da prova
J-F Marcel, Brésil, mai 2009 15
O efeito « ordem de O efeito « ordem de correção »correção »A variável chamada de
« contraste » com a cópia anterior:◦A cópia que segue uma muito boa
cópia é avaliada mais rigorosamente◦A cópia que segue uma cópia muito
fraca é avaliada mais generosamente Induz estratégias de restituição
das cópias muito usadas para os bons alunos
J-F Marcel, Brésil, mai 2009 16
O efeito « acostumar»O efeito « acostumar»Em um lote de cópias, o limite de
exigência evolue (não importa o gabarito)
As primeiras cópias são corrigidas mais rigorosamente
Um « ajuste » ocorre no final de um certo número de cópias: elaboração para o professor de formas de « rotinas » de avaliação (em função do sujeito)
É mais prudente, no final da correção, rever as primeiras cópias
J-F Marcel, Brésil, mai 2009 17
O efeito de « tendência O efeito de « tendência central » :central » :
Em caso de incerteza do avaliador (principalmente nos exames) :◦Por medo de sub-avaliar ◦ou por medo de sobre avaliar ◦ele se refugia numa nota em torno de
10Assim a « nota central» :
◦Desempenha um papél de variável refúgio
◦Induz o efeito « Curva de Gauss »
J-F Marcel, Brésil, mai 2009 18
O efeito de « contorno »O efeito de « contorno »Dos usos de avaliador:
◦Nas provas com critério◦Porém nas provas com gabarito
tambémAtestem estratégias de contorno:
◦Eles començam para atribuir a nota final (a partir de 20)
◦Eles « repartem » em seguida os pontos em função dos critérios ou do gabarito
J-F Marcel, Brésil, mai 2009 19
Em conclusãoEm conclusãoA docimologia revelou:
◦ A existência de numerosas « armadilhas» e « desvios » da notação
◦ Que a avaliação não poderia jamais « expulsar » totalmente a subjetividade do avaliador
Portanto, quando eu corrijo :◦ Eu me esforço para racionalizar o
procedimento (com um certo número de balisas : gabaritos, elementos de repostas esperadas, etc.)
◦ Eu sei que terei mesmo assim que decidir de forma subjetiva em parte
◦ Eu assumo conscientemente essa falha « dar um jeito » pedagógico.
J-F Marcel, Brésil, mai 2009 20