A DivulgA divulgação dos resultados das avaliações dos sistemas escolares- limitações e ação Dos Resultados Das Avaliações Dos Sistemas Escolares- Limitações e Perspectivas

A Divulgao dos Resultados das Avaliaes dos Sistemas Escolares: limitaes e Perspectivas

Nilma Santos Fontanive*

ResumoO artigo vai discutir o impacto que os resultados das avaliaes em larga escala podem ter na prtica docente com vistas a promover ganhos de aprendizagem. Os sistemas de avaliao de desempenho dos alunos, introduzidos no Brasil h quase duas dcadas, apesar da enorme quantidade de dados coletados e divulgados, parecem no ter sido capazes de provocar as mudanas esperadas no cotidiano da relao professor-aluno-aprendizagem. So levantadas hipteses de que os professores, coordenadores pedaggicos e diretores das escolas no compreendam adequadamente as tecnologias empregadas na avaliao dos estudantes e nos mecanismos e materiais utilizados na divulgao dos resultados e, assim, no so capazes de orientar a prtica docente para corrigir os erros e as dificuldades apresentadas pelos alunos. O artigo tambm faz referncia a algumas iniciativas realizadas por agentes pblicos da educao para promover melhorias na aprendizagem, mediante a criao de materiais estruturados para alunos e professores, incluindo questes de avaliao e exerccios para os alunos. Tais iniciativas podem produzir, a curto e mdio prazos, impactos positivos no desempenho dos alunos. Discutem-se ainda as condies para que a avaliao efetivamente possa, em um futuro prximo, promover a aprendizagem dos estudantes.Palavras-chave: Avaliao em Larga Escala. Impactos dos Resultados na Sala de Aula. Apropriao de Resultados pelos Professores.

Presentation of Results from School Systems Assessments: limitations and perspectives

AbstractThis paper discusses the impact of large scale assessments in the teacher practice towards promoting learning gains. The assessment systems of

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

* Doutorado em Educao, PUC-Rio; Coordenadora de Avaliao em Larga Escala da Fundao Cesgranrio. E-mail: [email protected]

84 Nilma Santos Fontanive


cognitive achievement introduced in Brazil about two decades ago apparently was not able to induce the expected changes in the day-to-day relationship teacher-student learning, in spite of the enormous quantity of collected and released data. The paper raises the hypothesis that teachers, pedagogical counselors and school principals do not understand adequately the technologies used in student assessments and the materials released with the result and, in this way, are not capable to guide teachers practice to correct the mistakes and difficulties presented by the students.The paper also makes references to some initiatives taken by public agents of education to improve learning, by creating structured materials for students and teachers, including assessment items and exercises for students. Such initiatives can produce, in the short and medium term, positive impacts in student achievement. The paper discuss yet conditions so that the assessment can affectively, in the near future, promote student learning.Keywords: Large scale assessment. Impact of the results in the classroom. Teacher appropriation of the results.

La Divulgacin de los Resultados de las Evaluaciones de los Sistemas Escolares: Limitaciones y Perspectivas

ResumenEl artculo discute el impacto que los resultados de las evaluaciones en larga escala pueden tener en la prctica docente con el objeto de promover mejora en el aprendizaje. Parece que los sistemas de evaluacin de desempeo de los alumnos, introducidos en Brasil hace casi dos dcadas, a pesar de la enorme cantidad de datos recogidos y divulgados, no fueron capaces de originar los cambios esperados en la relacin cotidiana profesoralumno-aprendizaje. Se elaboran hiptesis de que los profesores coordinadores pedaggicos y directores de las escuelas quizs no entiendan adecuadamente las tecnologas empleadas en la evaluacin de los estudiantes y en los mecanismos y materiales utilizados en la divulgacin de los resultados y, por eso tal vez no sean capaces de orientar la prctica docente para corregir los errores y las dificultades que los alumnos presentan. El artculo tambin se refiere a algunas iniciativas que los agentes pblicos de la educacin realizaron para mejorar el aprendizaje, mediante la creacin de materiales estructurados para alumnos y profesores, incluyendo cuestiones de evaluacin y ejercicios para los alumnos. Tales iniciativas pueden producir, a corto y medio plazo, impactos positivos en el desempeo de los alumnos. Finalmente se discuten las condiciones para que la evaluacin efectivamente pueda, en un futuro prximo, promover el aprendizaje de los estudiantes. Palabras clave: Evaluacin en Larga Escala. Impactos de los Resultados en el Aula. Apropiacin de Resultados por parte de los Profesores.


A Divulgao dos Resultados das Avaliaes dos Sistemas Escolares: limitaes e Perspectivas 85

ContextualizaoOs sistemas de avaliao do desempenho de alunos desenvolvidos no mundo

contemporneo, em particular nas duas ltimas dcadas, frequentemente aplicados a um grande nmero de estudantes e, por essa razo, chamados de sistemas de avaliao em larga escala, tm assumido prioritariamente um carter diagnstico. Eles podem ser mais bem definidos como sistemas de informaes consistentes, confiveis, vlidos e comparveis, voltados, em uma primeira instncia, para fornecer s autoridades educacionais e aos demais interessados respostas sobre a qualidade da educao oferecida aos alunos pelas naes, estados, municpios ou determinada rede escolar.

Os sistemas de avaliao, em larga escala, mesmo com feies prprias em cada local de aplicao, em geral adotam um programa de testes cognitivos, externos escola, associados a outros instrumentos que buscam identificar os contextos intra e extraescolares nos quais a educao se realiza. As avaliaes em larga escala so bastante diferentes das prticas avaliativas realizadas pelos professores no mbito de uma sala de aula, pois, no s abrangem um grande nmero de alunos de diferentes sries ou anos escolares, como tambm, precisam apresentar uma grande quantidade de questes para garantir a validade curricular, ou seja, que a avaliao abranja os principais contedos ensinados. Esses sistemas contam ainda com novas teorias e prticas de medidas educacionais que conjugam mtodos de coleta de dados e diferentes maneiras de julgar sua qualidade, de um lado, e se apoiam no uso de modelos matemticos e estatsticos complexos, de outro. Tais especificidades trouxeram para a rea da Avaliao Educacional o grande desafio de buscar formas eficazes de divulgao dos resultados encontrados, uma vez que as tecnologias empregadas no so do senso comum dos professores, dos demais membros da comunidade escolar e da sociedade em geral.

Considere-se que, no cotidiano da escola, o professor avalia os alunos da sua turma, alunos, que ele conhece, com provas ou outros instrumentos que ele elabora, tendo como referncias o programa de ensino que ele cumpriu e os materiais didticos que selecionou para criar as experincias de aprendizagem na sala de aula. Assim, quando o professor atribui um grau ou um conceito a um aluno particular, pode avaliar com relativa preciso o que aquele aluno sabe, que habilidades adquiriu, o que ele aprendeu ou deixou de aprender. Portanto, a nota ou conceito atribudo aos alunos tem, para esse professor, um significado prprio, particular que fruto do domnio do seu processo de trabalho como um todo. Se, por hiptese, esse resultado, nota ou conceito, fosse apresentado a um professor de outra escola, essa nota ou conceito s poderia ser bem interpretado, caso esse professor tivesse acesso s questes da prova ou aos outros instrumentos aplicados, porque o significado dos resultados dependem do conhecimento do que foi utilizado para obt-los.

Outro aspecto a considerar quanto ao conhecimento preciso dos resultados das avaliaes de desempenho refere-se ao uso desses resultados para fornecer feedbacks aos alunos e propiciar ganhos de aprendizagem. No cho da escola, a



interao professor-aluno possibilita, no s, que ele selecione variados instrumentos de avaliao - provas, trabalhos, portflios, apresentaes orais, entre outros - como tambm orienta a seleo dos recursos didticos mais adequados para superar as dificuldades e corrigir as eventuais lacunas de aprendizagem encontradas.

Embora com as limitaes inerentes s suas caractersticas e aos seus propsitos, os sistemas de avaliao em larga escala popularizaram-se no mundo e tambm no Brasil, a ponto de poder-se afirmar que, no sculo XXI, poucos so os pases, estados ou municpios que deixaram de desenvolver e aplicar avaliaes abrangentes do desempenho dos seus estudantes.

Apresenta-se como exemplo dois grandes sistemas de avaliao em larga escala: o Sistema de Avaliao da Educao Bsica- SAEB/Prova Brasil e o Programa Internacional de Avaliao de Estudantes - PISA.

O SAEB, aplicado pela primeira vez em 1995 pelo Instituto de Estudos e Pesquisas Educacionais Ansio Teixeira- INEP/MEC, adotando as modernas tcnicas de obteno e anlise dos desempenhos dos alunos, produziu escalas de proficincias em Lngua Portuguesa e em Matemtica, comparveis ao longo de todos esses anos, permitindo assim o acompanhamento da evoluo do desempenho dos alunos brasileiros. (KLEIN; FONTANIVE, 1995; FONTANIVE, 1997). O SAEB utiliza amostras de alunos de escolas pblicas e particulares do Pas e complementado, desde 2005, pela Prova Brasil, aplicada censitariamente a estudantes de escolas pblicas brasileiras (KLEIN; FONTANIVE, 2009)

Ambos os Sistemas de Avaliao utilizam modelos estatsticos da Teoria da Resposta ao Item (TRI) para obteno de escalas de desempenho. Essas escalas so invariantes - exceto pela escolha da origem e do intervalo de medida - e ordenam os desempenhos dos alunos do menor para o maior em um continuum.

Em 1997, as distribuies de proficincia, tanto em Lngua Portuguesa como em Matemtica, da 8 srie do Ensino Fundamental de 8 anos (hoje 9 ano do Ensino Fundamental de 9 anos) tiveram suas mdias arbitradas em 250 e seus desvios padres em 50. Os pontos interpretados das escalas do SAEB/Prova Brasil, at hoje, tm valores numricos compreendidos entre 125 e 425, com intervalos de 25 pontos, meio desvio padro. Os pontos das escalas so interpretados em termos das habilidades e conhecimentos que os alunos, em geral, dominam quando suas proficincias esto situadas em torno desses pontos das escalas. A interpretao feita analisando-se as respostas dadas pelos alunos aos itens de teste aplicados que discriminam os desempenhos em cada um desses pontos da escala. (KLEIN, 2005).

importante assinalar que as escalas do SAEB, at sua ltima edio em 2011, apresentavam as seguintes propriedades:



so comuns aos anos e sries avaliadas para cada componente curricular; a interpretao dos pontos das escalas so cumulativas, ou seja, os alunos

posicionados em um ponto em geral dominam as habilidades descritas nos pontos anteriores. Assim, quanto maior o ponto da escala, melhor o desempenho dos alunos nele posicionados.

Os pontos ou nveis como o 125, 150, 250, por si ss no determinam o significado da aprendizagem demonstrada pelos alunos, da mesma forma que a nota 7 ou o conceito B s fazem sentido para o professor que elaborou as questes, aplicou-as e corrigiu as provas. Entretanto, em uma avaliao em larga escala como o SAEB/Prova Brasil faz-se necessrio utilizar uma quantidade considervel de itens em cada componente curricular, ano/ srie e, por essa razo, pouco prtico apresent-los um a um para explicar os resultados obtidos.

Visando a facilitar a compreenso desses resultados, desenvolveu-se, desde 1995, uma metodologia de interpretao de escala baseada em dois procedimentos:

1. Identificao dos nveis ncora da escala Deve-se acrescentar que a adoo da Teoria da Resposta ao item permite

ao avaliador colocar em uma mesma escala os itens de teste utilizados na avaliao de uma disciplina e o desempenho dos alunos que participaram daquela avaliao. Para a interpretao das escalas obtidas so selecionados os itens que se posicionam em um determinado nvel (ou ponto) da escala. A seleo desses itens para um nvel da escala feita a partir de critrios previamente definidos (KLEIN, 2005)1.

2. Apresentao dos itens ncora especialistas das reas curriculares avaliadas para que eles interpretem o que os alunos sabem, so capazes de fazer ou que habilidades demonstraram possuir para acertar aqueles itens.

Os especialistas tambm recebem os resultados estatsticos obtidos pelos itens para analisar seus parmetros, tais como ndices de dificuldade, de discriminao, os coeficientes bisseriais e o ajuste das curvas de informao do item obtidas pela TRI. Os especialistas podem ento apreciar dificuldade de cada item, tipos de erros mais frequentemente cometidos pelos alunos, analisar a atrao de cada uma das alternativas, entre outros comportamentos que os itens apresentam.

1 Nota Tcnica: Um item ncora em um nvel se o nmero de alunos no ponto que respondeu ao item maior que 50. Esse valor

arbitrrio e seu uso evita concluses com poucas observaes.O percentual de acerto do item nos pontos anteriores menor que 65%;O percentual de acerto do item no ponto considerado e nos pontos acima maior que 65%;A curva tem bom ajuste.



O PISA avalia, desde 2000, o desempenho de jovens de 15 anos dos pases membros da OCDE e de outros pases convidados. So avaliadas as disciplinas de Matemtica, Cincias e Leitura, a cada 3 anos, sendo que na sua ltima edio em 2009, contou com a participao de 65 pases.

Para facilitar a interpretao dos resultados, o PISA estabeleceu em cada ciclo de avaliao vrios nveis de desempenho baseados em alguns princpios estatsticos (OCDE: PISA Results, v. 1). A interpretao dos nveis permite posicionar o desempenho dos estudantes e descrever o que so capazes de fazer.

A ideia principal das avaliaes em larga escala, como o SAEB e o PISA, saber como est o sistema educacional de um pas e, de outros estratos de interesse, e no avaliar, classificar, aprovar ou promover indivduos em particular.

O PISA tambm apresenta os resultados em escalas de habilidades com a pontuao que delimita os nveis de proficincia definido em cada um dos trs domnios avaliados Leitura, Matemtica e Cincias. Os nveis vo de 1 a 6, nas 3 reas, Leitura, Matemtica e Cincias.

Em avaliaes de larga escala, como o caso do PISA que envolve pases em diferentes estgios de desenvolvimento social e educacional, previsvel que a distribuio das proficincias dos diferentes pases varie muito. Em qualquer das trs reas, considera-se que os estudantes abaixo do nvel 1 de proficincia no so capazes de executar as tarefas mais simples que a avaliao solicita.

O Brasil, at o ano de 2006, evitou definir os pontos de proficincias considerados adequados nas duas disciplinas nos anos e sries escolares avaliadas. A partir de ento, surgem duas iniciativas para definir padres de qualidade para a Educao Bsica: o Movimento Todos pela Educao e o ndice de Desenvolvimento da Educao Bsica IDEB.

O Movimento Todos pela Educao, criado em 2006 uma aliana de representantes da sociedade civil, da iniciativa privada, organizaes sociais, educadores e gestores pblicos de Educao que tem como objetivo garantir Educao Bsica de qualidade para todos os brasileiros at 2022, bicentenrio da independncia do Pas. O Movimento Todos Pela Educao definiu os pontos das escalas recomendados para as trs sries avaliadas pelo SAEB apresentados na tabela abaixo.



Tabela 1 Pontos das Escalas Recomendados pelo Movimento Todos Pela Educao

SrieLngua Portuguesa

Matemtica

4 srie 200 225

8 srie 275 300

3 srie EM 300 350

Fonte: Todos Pela Educao.

O ndice de Desenvolvimento da Educao Bsica IDEB tem o objetivo de medir qualidade de cada escola e de cada rede de ensino. O indicador calculado com base no desempenho dos estudantes no SAEB/Prova Brasil e em taxas de aprovao. Assim, para que IDEB de uma escola ou rede pblica cresa preciso que o aluno aprenda, no repita o ano e frequente a sala de aula.

Para que pais e responsveis acompanhem o desempenho da escola de seus filhos, basta verificar o IDEB da instituio pblica que apresentado numa escala de zero a dez. Da mesma forma, gestores acompanham o trabalho das secretarias municipais e estaduais pela melhoria da educao. O ndice medido a cada dois anos e o objetivo que o Pas, a partir do alcance das metas, tenha IDEB 6 nos anos iniciais em 2022 correspondente qualidade do ensino mdia da OCDE.

Na ltima dcada, o Brasil assistiu ao crescimento da aplicao de avaliaes do desempenho dos alunos nas principais redes pblicas e particulares de estados e municpios. Inicialmente, a maioria dessas avaliaes possuiu um carter independente, ou seja, obtiveram e descreveram seus resultados sem referncia avaliao nacional SAEB/Prova Brasil. Muito embora as avaliaes aplicadas permitiram aos gestores das redes determinar a qualidade da aprendizagem dos seus alunos, faltou a elas a possibilidade de relacionar esses desempenhos com aqueles obtidos pelos alunos brasileiros, prejudicando, em uma certa medida, o alcance das anlises realizadas. Acrescente-se ainda que as referidas avaliaes, de uma maneira geral, incidiram sobre sries/anos escolares distintos daqueles avaliados pelo SAEB/Prova Brasil e tambm no utilizavam as tecnologias de obteno e descrio de escalas de proficincias, impedindo o acompanhamento da evoluo do desempenho dos alunos e, tambm a avaliao do impacto da adoo de polticas e programas de melhoria da qualidade do ensino-aprendizagem ao longo dos anos.

Entretanto, todo o esforo que os gestores das redes fizeram para implementar seus sistemas de avaliao foram muito importantes uma vez que contriburam para colocar a avaliao na agenda de discusso e preocupao no Pas e ajudaram a criar uma cultura e uma conscincia avaliativas.



Como consequncia da multiplicao dos sistemas de avaliao, associado popularizao do SAEB/Prova Brasil, assiste-se, nos dias atuais, um crescimento do nmero de estados e municpios que, graas aos acordos de cooperao tcnica realizados com o INEP/MEC, obtm itens calibrados nas escalas do SAEB e, desse modo, colocam os resultados dos seus alunos nessas escalas, ampliando o escopo das avaliaes do desempenho escolar realizadas.

Analisando-se a evoluo do desempenho dos alunos na srie histrica do SAEB/Prova Brasil, no se constata grandes ganhos de aprendizagem nos anos /sries escolares e disciplinas avaliadas, apesar de estarem disponveis e divulgados tantos resultados do desempenho de alunos em todo o Pas. Uma pequena melhoria de aprendizagem j se verifica atualmente no 5o ano do E.F. Permanece ento a indagao do porqu do pouco impacto das avaliaes nas salas de aula e coloca-se como a premente necessidade de fomentar pesquisas em duas direes. A primeira seria investigar as formas de apresentao dos resultados s escolas visando identificar como esses resultados esto chegando aos professores e demais membros da comunidade escolar, se, por exemplo, eles so efetivamente compreendidos e capazes de orientar processos mudanas na prtica pedaggica. A outra direo da pesquisa seria verificar quais so os impactos que os resultados das avaliaes em larga escala tm provocado na formao inicial e continuada dos professores, coordenadores pedaggicos e diretores das escolas.

Estratgias da Apresentao dos resultados dasAvaliaes de Sistemas Escolares Algumas Limitaes

Desde a divulgao dos resultados do primeiro SAEB, realizado em 1995, os pesquisadores tiveram que enfrentar o desafio de divulg-los de maneira que eles pudessem ser compreendidos pela comunidade escolar, pais e a todos os interessados em conhecer os nveis de desempenho de uma determinada populao de alunos.

As escalas de proficincias foram divulgadas e, os pontos descritos, foram acompanhados de exemplos de itens demonstrativos do desempenho dos alunos nesses diferentes pontos. Apesar do esforo em traduzir pedagogicamente os resultados encontrados, as escalas no foram bem compreendidas pela comunidade escolar. Acredita-se que os professores tiveram dificuldades em transpor as descries das proficincias para sua prtica cotidiana, associando as habilidades apresentadas nos pontos das escalas aos enunciados dos objetivos dos seus programas de ensino, to familiares para eles.

Essa afirmao pode ser ilustrada com os exemplos apresentados a seguir, nos quais algumas descries das habilidades do ponto 125 da escala de Lngua Portuguesa e do 150 da escala de Matemtica do SAEB foram selecionadas para subsidiar a discusso que est sendo proposta.



Quadro 1 Escala do SAEB Nvel 125

125

A partir de textos curtos, como contos infantis, histrias em quadrinhos e convites, os alunos do 5 e da 9anos do Ensino Fundamental:

localizam informaes explcitas que completam literalmente o enunciado da questo; inferem informaes implcitas; reconhecem elementos como o personagem principal; interpretam o texto com auxlio de elementos no-verbais; identificam a finalidade do texto; estabelecem relao de causa e consequncia, em textos verbais e no-verbais e conhecem expresses prprias da linguagem coloquial.

Fonte: Escola de lngua portuguesa do SAEB.

As habilidades descritas informam o que os alunos demonstraram saber fazer quando apresentados aos gneros literrios especificados: contos infantis, histrias em quadrinhos e convites. Eles deveriam ser capazes de, por exemplo, de reconhecer o personagem principal de um conto infantil ou de uma histria em quadrinhos. Essa uma habilidade que o professor trabalha frequentemente nas suas aulas quando, utilizando os materiais ou livros didticos, explora a histria com perguntas do tipo: quem o personagem principal da historia? Como ela/ele se chama? Igualmente, o professor costuma ter como objetivo do ensino das habilidades de leitura induzir o aluno a identificar a finalidade do texto (para que o texto serve? Para convidar as pessoas a uma festa de aniversrio, por exemplo), ou ainda, em uma histria infantil conhecida como a do chapeuzinho vermelho trabalhar as relaes de causa e consequncia, tais como: Porque o lobo vestiu-se com as roupas da vov? O que ele pretendia? Porque a chapeuzinho desconfiou que no era a vov? O que ela fez? E assim por diante.

Na disciplina matemtica o ponto 150 da escala apresenta a descrio das seguintes habilidades:

Quadro 2 Escala do SAEB Nvel 150

150

Os alunos do 5 e do 9anos do Ensino Fundamental:

resolvem problemas envolvendo adio ou subtrao, estabelecendo relao entre diferentes unidades monetrias (representando um mesmo valor ou numa situao de troca, incluindo a representao dos valores por numerais decimais); reconhecem o valor posicional dos algarismos em nmeros naturais e localizam nmeros naturais (informados) na reta numrica; leem informaes em tabela de coluna nica e identificam quadrilteros.

Fonte: Escala de matemtica do SAEB.

A anlise do trecho apresentado conduz a interpretaes bastante claras dos conceitos e operaes matemticas, em geral, dominadas pelos alunos cujos desempenhos posicionam-



se no nvel 150 da escala. Eles sabem resolver problemas com adio e subtrao em situaes que apresentem unidades monetrias incluindo as operaes com centavos (numerais decimais), conhecem o valor de posio de nmeros naturais e localizam esses algarismos em uma reta numrica. Dada uma tabela de coluna nica, os alunos so capazes de extrair as informaes solicitadas. Na rea de geometria os alunos so capazes de identificar o quadriltero entre formas geomtricas apresentadas na questo.

A escala de matemtica foi descrita em 13 nveis do 125 a 425 e a de Lngua Portuguesa apresenta 11 nveis do 125 a 375. As descries das habilidades de cada um desses nveis podem ser encontradas em www.inep.gov.br.2

Como os dois exemplos mostram, as habilidades descritas nos nveis das duas escalas utilizam linguagem clara e cujos significados so bem prximos dos enunciados dos objetivos instrucionais encontrados nos programas de ensino, materiais e livros didticos.

A maioria dos materiais de divulgao dos resultados dirigidas comunidade escolar, divulgam alguns exemplos de itens representativos dos pontos das escalas. Esses itens, em geral acompanhados das suas estatsticas, procuram mostrar para os interessados a habilidade requerida do aluno para que ele acerte o item. Alm das estatsticas, frequente a apresentao de comentrios pedaggicos, explicaes da soluo do item e ainda anlise das respostas erradas e correo dos erros.

Figura 1 - Exemplo de item de Cincias SIADE 2009

Fonte: Sistema de Avaliao do Desempenho das Instituies Educacionaisdo Distrito Federal (SIADE) 2009.

2 http://portal.inep.gov.br/web/prova-brasil-e-saeb/prova-brasil-e-saeb



Nesse outro exemplo, apresentado a seguir, os autores do material de divulgao optaram por apresentar as estatsticas completas obtidas pelo item com a adoo da Teoria Clssica dos Testes (TCT) e da Teoria da Resposta ao Item (TRI), incluindo tambm comentrios e anlises da resposta correta e dos erros. Em um primeiro momento, o pblico-alvo dos materiais estranharam a complexidade dessas estatsticas e tiveram dificuldade em compreend-las e aceit-las.

No entanto, apesar da resistncia inicial, os responsveis por essas avaliaes continuaram a apresent-las, acreditando que com essa deciso estavam contribuindo para formar uma cultura de avaliao nos professores, coordenadores pedaggicos e gestores de redes. Houve tambm o esforo de promover inmeros seminrios e jornadas de capacitao, anlise e discusso dos resultados.

Figura 2 - Exemplo de item de Matemtica Rio Grande do Sul 2009

Tema: Nmeros e operaes

Habilidade: Determinar o resultado de uma adio com ou sem reagrupamento (reserva).



Continuao

Comentrios pedaggicos:

Para resolver adequadamente este item, os alunos precisariam conhecer as regras do sistema de numerao decimal e o algoritmo da adio, fazendo reagrupamento da ordem das unidades para a ordem das dezenas. Os alunos que acertaram esta questo marcaram como resposta o nmero 571.

Este item foi relativamente difcil, pois menos da metade dos alunos avaliados o acertaram (46%). Alm da necessidade de reagrupar as unidades, o fato de as parcelas terem quantidade diferente de ordens pode ter aumentado o grau de dificuldade.

Os alunos que marcaram o nmero 994 como resposta devem ter armado a conta de forma equivocada, como mostrado ao lado. Essa alternativa incorreta foi escolhida por 22% dos alunos. 19% dos alunos testados marcaram o nmero 561 como resultado da operao e devem ter armado corretamente a conta, mas quando reagruparam as unidades (4u + 7u = 11u = 1d + 1 u), encontraram uma unidade solta, mas esqueceram de somar a dezena formada s j existentes nas parcelas .

Houve uma boa correlao entre o desempenho no teste e o acerto no item.

A curva de informao do item mostrada na figura revela que o item posiciona-se no nvel 225 da escala. Aproximadamente15% dos alunos esto acima do nvel 225 nessa escala.

Fonte: Projeto de Avaliao de Leitura e Escrita e Matemtica do Ensino

Fundamental no Rio Grande do Sul.

Entretanto, mesmo depois de quase duas dcadas de divulgao das escalas e, apesar da grande quantidade de material produzido, tanto pelos tcnicos do INEP/MEC, secretarias de educao e equipes das Instituies responsveis pelas avaliaes nos diferentes nveis de abrangncia, constata-se que os resultados das avaliaes parecem no ter sido adequadamente incorporados prtica docente e capazes de promover a melhoria da aprendizagem dos alunos da Educao Bsica, no Brasil.

Em outras palavras, as tentativas de simplificar informaes complexas, tanto nos materiais de divulgao de variados formatos, como, manuais, livretos, boletins, entre outros, quanto na realizao de numerosos seminrios, videoconferncias, jornadas de capacitao de professores, coordenadores pedaggicos e gestores, parecem no ter sido bem sucedidas, pois no provocaram os impactos esperados na qualidade e equidade da educao oferecida s crianas e aos jovens brasileiros.

claro tambm que a melhoria da aprendizagem dos alunos est condicionada a outros fatores, e que a divulgao dos resultados das avaliaes tem um papel relativo no conjunto das prticas educacionais, no entanto, seria razovel esperar que o desempenho dos alunos brasileiros apresentasse uma evoluo mais positiva em quase duas dcadas de avaliao sistemtica.

5 2 4+ 4 7

9 9 4



provvel que o pouco impacto verificado seja explicado, em uma primeira anlise, pela distncia entre resultados obtidos nacionalmente, como os do SAEB, ou por secretarias estaduais e municipais de educao e a sala de aula ou o cho da escola, a despeito das inmeras iniciativas fazer os resultados chegarem aos professores e demais membros da comunidade escolar, como apontado nos pargrafos anteriores. Em resumo, tem-se a impresso de que o professor no se identifica com esses resultados ou no v sua prtica pedaggica neles representada.

O Uso das avaliaes de desempenho para promover ganhos na aprendizagem dos alunos

Nos meados do anos 60, introduziu-se no cenrio pedaggico o conceito de avaliao formativa desenvolvido por Scriven (1967) e com a funo de constatar o que est sendo aprendido mediante coleta de informaes feita pelo professor de forma contnua, com diversos procedimentos metodolgicos e julgar o grau de aprendizagem, ora em relao a todo grupo-classe, ora em relao a um determinado aluno em particular.

A avaliao formativa, na sua concepo original, no tem como objetivo classificar, selecionar, aprovar ou reprovar o aluno, mas adequar o processo de ensino ao grupo e ou queles alunos que apresentam dificuldades, tendo em vista o alcance dos objetivos propostos.

Para que o aluno seja imediatamente informado dos seus erros e acertos, o professor, aps a aplicao dos testes, de exerccios, de questes construdas pelos alunos (abertas) deve corrigir as questes com a classe, utilizando variadas formas de estimular a participao de todos os alunos. Os alunos podiam ser convidados a apresentar oralmente como chegaram resposta ou irem ao quadro para demonstrar como resolveram a questo.

O professor deve aproveitar os erros mais frequentes para promover o reensino dos aspectos da matria no dominados pela maioria dos alunos. explicando o significado dos erros.

H bastantes evidncias na literatura sobre a importncia do professor corrigir os erros no momento em que eles so cometidos, pois a motivao ativada quando o aluno corrige suas respostas logo aps ter realizado o esforo para resolver as questes ou realizar o trabalho, Pesquisa realizada por Rosenshine e Stevens, em 1986, citada por Bressoux ( 2003 p.35) aponta que os professores eficazes corrigem imediatamente os erros dos alunos a fim de evitar que eles se tornem sistemticos.

Num estudo mais recente feito por Frome, Lasater e Cooney (2005), os autores usaram informaes sobre caractersticas dos professores de escolas secundrias e as ligaram com o desempenho dos alunos da 8 srie em avaliao



na Gergia. Analisando dados da experincia e titulao e da prtica docente eles encontraram caractersticas dos professores e das salas de aula de Matemtica que se correlacionavam com melhores desempenhos.

motivao do professor e expectativas positivas de sucesso dos alunos; prtica instrucional tal como trabalho em grupo em situaes desafiadoras,

apresentao oral e relatrios escritos em projetos de Matemtica, explicaes da soluo de problemas para a classe estavam correlacionados com altos desempenhos;

participao em atividades de monitoramento, capacitao e induo de novas experincias de aprendizagem nas escolas esto correlacionadas com mais altos escores alcanados pelos alunos em Matemtica.

Nos ltimos anos, algumas secretarias de educao vm produzindo materiais didticos para professores e alunos, estruturados sob a forma de livros para o professor e cadernos/ folhas de exerccios para os alunos. Tais materiais no s unificam e sequenciam os programas de ensino, como tambm propem questes/sugestes de atividades de avaliao da aprendizagem.

Tais iniciativas, se bem aceitas e usadas pelos professores de uma rede de ensino, tm grande potencial de provocar mudanas positivas no desempenho dos alunos, desde que o professor saiba usar os resultados das avaliaes e resoluo de exerccios de maneira formativa para promover a aprendizagem.

Essas iniciativas so relativamente recentes para que possam ser observados aumentos significativos na aprendizagem dos alunos. Entretanto de suma importncia que essas iniciativas continuem e se multipliquem no Pas e que os professores estejam capacitados em todos os nveis - para usarem os resultados das avaliaes, tanto as em larga escala quanto as do dia a dia, para melhorarem o desempenho dos alunos fazendo efetivamente um uso formativo dos seus resultados,

Van Haneghan (2009) chama a ateno para que as informaes sobre as avaliaes sirvam para facilitar a aprendizagem. O conjunto de escores numricos sem referncia aos conceitos ou procedimentos sobre o que os alunos aprenderam no prov informao adequada para relacionar a avaliao com a aprendizagem.

Se o professor no tem o conhecimento conceitual para interpretar a avaliao, ele incapaz de determinar como aquela avaliao pode ajudar o aluno a aprender.

As iniciativas de fornecer feedbacks aos alunos sobre os resultados da avaliao e tambm disponibilizar materiais didticos para alunos e professores so bastante recentes no Brasil e, ainda no h evidncias conclusivas sobre o impacto desses programas na melhoria do desempenho dos alunos.



Seria importante direcionar pesquisas para estudar o efeito do uso das avaliaes externas na evoluo do desempenho dos alunos.

No Brasil so poucas as pesquisas que procuram ligar prtica docente a melhoria do desempenho dos alunos, medido por avaliaes externas. Essa no uma rea de fcil investigao, pois exige o uso de instrumentos variados que requerem um grande investimento de tempo para desenvolv-los e valid-los, treinar pessoas para aplic-los, analisar e consistir os bancos de dados.

Essas pesquisas que procuram relacionar a qualidade da prtica docente e o desempenho dos alunos so tambm difceis de conduzir, pois de acordo com Braun (2004) difcil isolar o efeito da instruo do professor dos outros efeitos no nvel da sala de aula, como clima, influncia dos pares, disponibilidade de livros e outros materiais didticos e outros fatores extraescolares que esto fora do alcance do professor.

Por outro lado investigar a relao entre o efeito do professor na aprendizagem de um grupo de alunos bastante complexo do ponto de vista do desenho metodolgico da pesquisa. Precisa-se contar com uma medida de desempenho de entrada, os fatores extraescolares, como as caractersticas das famlias, ou a pobreza, devem ser controlados, os alunos precisam permanecer um bom tempo com o mesmo professor e necessrio contar dados longitudinais de desempenho dos alunos nos anos focalizados no estudo.

ConclusesO primeiro aspecto a ser discutido o que diz respeito nfase que deve ser dada

pelos programas de capacitao docente ao domnio da matria, investindo fortemente no ensino dos contedos dos programas das disciplinas da Educao Bsica e garantindo que os professores efetivamente os aprendam. Para tal, os programas devem ser relativamente longos, sistemticos e apresentar mecanismos de avaliao frequentes dos professores, aplicando testes, exerccios e ou trabalhos sobre os contedos ensinados. importante que os programas de capacitao criem tambm as condies de reforo para os professores que no alcancem os nveis adequados de aprendizagem.

Da mesma forma, importante ensinar o professor a transpor os contedos aprendidos para seu dia a dia na sala de aula, criando situaes dinmicas de aprendizagem e, para isso, os programas de melhoria da qualidade docente devem desenvolver materiais de formatos variados, como roteiros, cadernos de exerccios para o aluno, Dvds com simulaes de situaes concretas e como o professor deve atuar na sala e na escola. Esses Dvds, alm de demonstrarem o ensino de aspectos crticos do ensino dos contedos, podem tambm abordar questes sobre indisciplina, falta de motivao e violncia, dinmica do trabalho em grupos cooperativos, entre outros. possvel tambm, nos dias atuais, usar o computador para manter o professor em uma rede de comunicao entre os consultores e coordenadores das capacitaes e com os demais colegas do curso, com plataformas de educao a distncia.



O acompanhamento do desempenho dos alunos deve ser realizado frequentemente e deve ser fornecido ao professor um banco de questes de avaliao formativa para serem aplicadas nos alunos. H experincias no Brasil, criada pelo INEP que disponibilizou no seu Portal questes de alfabetizao que os professores e escolas podem aplicar para acompanhar a aprendizagem dos alunos. No seria impossvel, portanto, criar e atualizar um banco de questes das disciplinas do Ensino Fundamental e Mdio calibrados nas escalas do SAEB e coloc-las disposio das escolas e dos professores. importante por outro lado, ajudar ao professor a interpretar os resultados obtidos e os programas de capacitao tm que ensinar aos professores a dominar a tecnologia de avaliao e de interpretao de escalas de proficincias, empregada com sucesso no Brasil desde 1995.

O acompanhamento do desempenho dos alunos no pode, por outro lado, dispensar medidas de aprendizagem externas e, assim, os programas de capacitao precisam criar ou aproveitar mecanismos de avaliao externos s escolas.

Por fim, sugere-se o debate sobre dois aspectos importantes e que o Brasil precisa desenvolver e divulgar tecnologias apropriadas.

O primeiro trata dos mecanismos de monitoramento dos programas de capacitao dos professores na sala de aula e nas escolas, que tenham caractersticas de controle da efetividade docente e de apoio para as dificuldades encontradas. A formao, a superviso e o acompanhamento desse profissional altamente especializado um desafio que precisa ser enfrentado em conjunto com as Universidades, o Ministrio de Educao e Secretarias de Educao.

A ltima questo levantada para o debate diz respeito carreira docente sugerindo que, os estudos que esto hoje na agenda do Ministrio de Educao e do Conselho Nacional de Secretrios de Educao incluam, na avaliao docente, para admisso ou promoo na carreira, uma parcela varivel da remunerao, alm da titulao, anos de servio, aprovao em exames, o desempenho dos alunos.

Para concluir retomam-se as recomendaes do Relatrio McKinsey, que estudou os melhores sistemas educacionais do mundo e aqueles que estavam situados nas primeiras posies apontaram que para garantir altos desempenhos dos alunos deve-se:

atrair as pessoas certas para a carreira docente; transform-las em instrutores efetivos; garantir que a escola e o sistema sejam capazes de fornecer a melhor instruo

possvel para cada aluno.



RefernciasBRESSOUX, P. As pesquisas sobre o efeito escola e o efeito professor. Educao em Revista, Belo Horizonte, n. 38, dez. 2003.

BRAUN, H. Value-added modeling: What does diligence require? Princeton, N.J: Educational Testing Service, 2004.

FONTANIVE, N.S. Avaliao em larga escala no Brasil: Sistema Nacional de Avaliao da Educao Bsica (SAEB/95). In: BOMENY, HELENA. (Org.). Avaliao e determinao de padres na educao latinoamericana. Rio de Janeiro: Fundao Getlio Vargas/Preal,1997.

FROME, P.; LASATER, B; COONEY, S. Well-qualified teacher and high-quality teching: are they the same? Atlanta, GA: Southern Regional Educational Board, Research Brief, 2005.

FUNDAO CESGRANRIO. Relatrio Pedaggico do SIADE, Cincias e Cincias da Natureza. Rio de Janeiro: Cesgranrio, 2009.

______. Avaliao de Leitura, Escrita e Matemtica do Ensino Fundamental do Rio Grande do Sul. Relatrio Pedaggico. Rio de Janeiro: Cesgranrio, 2009.

INEP. Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira. Brasilia, c. 2011, Disponvel em: . Acesso em: 19 nov. 2012.

KLEIN, R.; FONTANIVE, N. S. Avaliao em larga escala. Em Aberto, Braslia, DF, v. 15, n. 66, p. 29-34, 1995.

KLEIN, R. Utilizao da Teoria de Resposta ao Item no Sistema Nacional de Avaliao da Educao Bsica. Ensaio Aval. e pol. pub. Edu., Rio de Janeiro, v. 11, n. 40, p. 283-296, jul./set, 2003.

KLEIN, R. Testes de Rendimento Escolar. In: SOUZA, A. M. (Org). Dimenses da avaliao Educacional. Petrpolis, RJ: Vozes, 2005. p. 110-138.

KLEIN, R.; FONTANIVE, N. Alguns indicadores educacionais de qualidade no Brasil de hoje. So Paulo em Perspectiva, So Paulo, v. 23, n. 1, p. 19-28, jan./jun, 2009.

McKINSEY REPORT: How the Worlds Best-performing School Systems Come Out on Top. London: McKinsey&Company, 2007.



OCDE: PISA 2009 Results: What Students Know and Can Do? [S.l.]: OECD, 2010. v.1.

ROSENSHINE, B; STEVENS, R. Teaching functions. In: WITTROCK, M. C. (Ed.). Handbook of Research on Teaching. 3nd ed. New York: Macmillan, 1986. p. 376-391.

SCRIVEN, M. The methodology of evaluation . In: TYLER, R. W.; GAGN, R. M.; SCRIVEN, M. (Ed.). Perspectives of Curriculum Evaluation. Chicago: Rand McNally, p. 39-83, 1967.

TODOS pela Educao. So Paulo,[s.d.]. Disponvel em: . Acesso em: 19 nov. 2012.

VAN HANEGHAN, J. P. Validiting assessment for learning: Consequential systems approaches. Journal of MultiDisciplinary Evaluation, v. 6, n. 12, june 2009.

Recebido em: 19/12/2012Aceito para publicao em: 18/04/2013

Documents

A DivulgA divulgação dos resultados das avaliações dos sistemas escolares- limitações e ação Dos Resultados Das Avaliações Dos Sistemas Escolares- Limitações e Perspectivas