Oficina de Apropriação de Resultados – SISPAE

Oficina de Apropriação de Resultados – SISPAE

Avaliação em Larga Escala: Conceitos

Como funciona a avaliação em larga escala?

O que é avaliado?

Matriz de Referência

• O conteúdo de uma avaliação é algo importante a ser definido.

• Isso tem implicações para os instrumentos da avaliação.

• A elaboração de uma Matriz de Referência é fundamentada pelas noções de competências e habilidades.


• A Matriz de Referência tem como fonte as diretrizes curriculares da rede avaliada (estado ou município).

• Em uma avaliação em larga escala, priorizamos competências e habilidades basilares/essenciais dos currículos: selecionamos habilidades muito importantes e passíveis de serem medidas pelo formato dos testes.


• Então quer dizer que...1. A Matriz é uma parte do Currículo.2. Ela não substitui o Currículo, apenas o resume.3. A Matriz contém apenas competências e habilidades

essenciais que podem ser medidas em testes padronizados.

4. As escolas e sistemas ensinam muito mais do que os conteúdos contemplados nas Matrizes. O desenvolvimento dos estudantes é muito mais amplo.


SuporteEnunciado

Comando

Alternativas de reposta

Gabarito

Distratores

O item e suas partes

A Medida de Desempenho

• A produção da medida de desempenho dos estudantes pode ser feita de duas formas:

1) Teoria Clássica dos Testes (TCT).2) Teoria de Resposta ao Item (TRI).


1) Teoria Clássica dos Testes.– É calculada de uma forma muito próxima das notas

dadas pelas avaliações realizadas pelo professor.– Consiste, basicamente, no percentual de acertos em

relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.


2) Teoria de Resposta ao Item:– Produz uma medida mais robusta do desempenho

dos estudantes, porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes.

– A TRI é, portanto, um conjunto de modelos estatísticos, capazes de determinar um valor/peso, diferenciado para cada item que o estudante respondeu no teste de proficiência.

Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para correção dos testes aplicados pelo CAEd

Como os testes são corrigidos?

2 + 2

2 x 3

2/7³

2² x (√3)



http://blogs.estadao.com.br/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/

Como são montados os testes

Itens Organizados em blocos Distribuídos em várioscadernos

Como são montados os testes

• Então quer dizer que...1) Um Item é mais que uma questão comum: ele precisa

atender aos requisitos estatísticos da TRI.2) Os Itens são independentes das características dos

estudantes: sua discriminação, dificuldade e acerto ao acaso não mudam quando os alunos mudam.

3) Cada estudante nos responde sobre apenas uma pequena parte em relação ao total da Matriz de Referência, e a contribuição de cada um deles é importante para sabermos a qualidade do ensino no sistema ou rede avaliados.

Exemplo hipotético:

Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer.

Possíveis questões: Você consegue guardar as malas no bagageiro interno de

um ônibus? Quando dorme à noite, seus pés ficam do lado de fora? Você consegue alcançar produtos que ficam na prateleira

de cima dos supermercados?

Como os valores de proficiência são gerados?

Exemplo de escala para a altura de uma pessoa

• Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus?

• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?

• Item 3 Para conversar com as pessoas, você precisa olhar para baixo?

Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não

Leonardo Sim Sim Sim

Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não

Leonardo Sim Sim Sim

1,5 1,6 1,7 1,8 1,9

Item 1 Item 2 Item 3

Carolina Priscila Leonardo

Exemplo de escala para a altura de uma pessoa

Como as questões estão associadas à altura da pessoa...podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

A escala de proficiência:

Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência.

Isso permite colocar numa mesma “régua” – escala – todas as habilidades.

Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.

Como os valores de proficiência são gerados?

• Traduz as medidas em diagnósticos qualitativos do desempenho escolar.

• Régua de ordenamento dos valores dos testes, relacionados simultaneamente, com as habilidades desenvolvidas pelos estudantes para alcançar determinados valores de proficiência.

Escala de Proficiência

• Os Padrões de Desempenho são grandes intervalos de valores dentro da Escala de Proficiência.

• Conferem uma interpretação pedagógica mais ampla do resultado dos estudantes, agrupando-os segundo diferenças de aprendizado apresentadas pelos mesmos nos testes.

Padrões de Desempenho

Padrões de desempenho

estudantil

Estabelecimento e monitoramento das metas de qualidade

educacional

Caracterização do desempenho

escolar

Grau de realização das ações

educacionais

Políticas públicas voltadas à

promoção da equidade

Identificação do percentual de alunos em

risco pedagógico (evasão, reprovação ou

abandono)

Projetos de intervenção pedagógica a partir dos Padrões de Desempenho

Abaixo do Básico Recuperação

Básico Reforço

Adequado Aprofundamento

Avançado Desafio

Escala de Proficiênciae Padrões de Desempenho

• Então quer dizer que...1) Valores na Escala de Proficiência e Itens estão

diretamente relacionados: cada item tem uma proficiência associada a ele.

2) Logo, a Proficiência é um número com relação direta ao conhecimento: seu valor tem interpretação pedagógica.

3) Os Padrões de Desempenho auxiliam não apenas na interpretação pedagógica, mas também na obtenção de metas, na verificação da efetividade de políticas educacionais e no planejamento pedagógico.

Aspectos Contextuais e Desempenho Escolar

Fatores socioeconômicos

Fatores familiares

Fatores individuais

Gestão e administração

Prática pedagógica

Condições de infraestrutura

Qualificação dos profissionais

Fatores Extraescolares Fatores Intraescolares

Fatores Associados ao Desempenho

Aspectos Contextuais: um convite à reflexão sobre os resultados da avaliação

Informações de qualidade sobre os atores escolares e as características do sistema escolar são um importante subsídio para a formulação e verificação da efetividade de políticas públicas educacionais e de outras intervenções nos processos escolares.


• Medida de desempenho dos estudantes: Proficiência.

• Foco nos déficits e problemas da aprendizagem: competências e habilidades mínimas que podem ser medidas em testes padronizados.

• Índice Socioeconômico (ISE) dos Estudantes.• Simplificação estratégica do currículo.• Limitada para múltiplas funções atribuídas à escola.

Avaliação em larga escala: alcances e limites

Avaliação Externa – Dimensões avaliadas

Como as avaliações em larga escala podem nos ajudar a obter informações dessa natureza?

Através dos questionários socioeconômicos aplicados a estudantes, professores, gestores, coordenadores, pais de estudantes etc.


A Análise Contextual

• O processo de ensino-aprendizagem é mediado por diversos fatores.

• Grande parte dos trabalhos se preocupa em destacar a forte influência que os fatores extraescolares têm sobre os resultados dos alunos dentro das escolas.


• Enfatizamos a importância do clima escolar, das disposições e práticas de gestão, das disposições e práticas pedagógicas, das expectativas em relação ao futuro e das condições de oferta do ensino.

• A consideração dos fatores extraescolares servirá apenas para guiar comparações mais adequadas sobre os diferentes fatores intraescolares.


• São nos contextos administrativos e pedagógicos das instituições escolares em que podemos interferir de maneira mais objetiva.

• Torna-se, então, fundamental verificar em quais circunstâncias encontramos resultados escolares mais eficazes.

As dimensões

• Condições socioeconômicas dos alunos.• Clima Escolar.• Atitudes e Práticas Pedagógicas.• Atitudes e Práticas de Gestão Democrática.• Expectativas de Alunos e Professores.• Condições de atendimento da escola.

As Cinco Dimensões

Clima Escolar:• Questionário de estudantes– Com base na sua experiência deste ano na escola, como

você se sente em relação às seguintes afirmações (Concordo muito, Concordo mais que discordo, Discordo mais que concordo e Discordo muito):• Tenho participado de atividades interessantes na escola.• Acho que vale a pena estudar nesta escola.• Estou sempre aprendendo atividades novas nesta escola.

As Cinco Dimensões

Clima Escolar:• Questionário dos professores– Com base na sua experiência deste ano, como você se

posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito):• Gostaria de continuar lecionando nesta escola.• Sinto que sou valorizado(a) nesta escola.• Gosto de fazer parte da equipe desta escola.

As Cinco Dimensões

Clima Escolar:• Questionário dos diretores– Com base na sua experiência deste ano, como você se

posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito):• Foi uma decisão acertada ter me candidatado a diretor(a)

desta escola.• Considero meu trabalho importante para o desenvolvimento

desta escola.• Ser diretor(a) de escola é gratificante.

• Separamos em grupos as escolas com as melhores condições de clima escolar:– Desenvolvimento acadêmico/profissional no

ambiente escolar.– Conforto e segurança na escola.– Pertencimento e inclusão na escola.– Satisfação e motivação nas atividades realizadas na

escola.– Respeito e diálogo entre os atores escolares.

Condições de Eficácia Escolar

As Cinco Dimensões

Atitudes e Práticas Pedagógicas:• Questionário de estudantes– Com base na sua experiência deste ano na escola, como

você se sente em relação às seguintes afirmações (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito):• Nas aulas o(a) professor(a) ouve a opinião dos alunos.• O(A) professor(a) sempre esclarece minhas dúvidas.• Aprendo o conteúdo que o(a) professor(a) ensina.

As Cinco Dimensões

Atitudes e Práticas Pedagógicas:• Questionário dos professores

– Com base na sua experiência deste ano de 2014, como você se posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito):• Atenho-me ao que está programado independente da

turma.• O aprendizado depende mais do estudante do que do

professor.• Não importa o nível de conhecimento do estudante, o

professor deve fazê-lo aprender.

• Separamos em grupos as escolas com as melhores condições pedagógicas:– Atenção ao aluno.– Avaliação da aprendizagem.– Compromisso com a aprendizagem.– Condições e práticas de ensino.


As Cinco Dimensões

Atitudes e Práticas de Gestão Democrática:• Questionário dos professores

– Responda o quanto você concorda ou discorda das afirmações abaixo (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito):• O gestor desta escola só toma suas decisões depois de

ouvir outros atores envolvidos com a escola.• O planejamento anual das atividades é feito

coletivamente.• O diretor desta escola tem por hábito consultar o

Colegiado da Escola e ouvir as pessoas interessadas pelas questões da escola.

As Cinco Dimensões

Atitudes e Práticas de Gestão Democrática:• Questionário do diretor

– Responda o quanto você concorda ou discorda das afirmações abaixo (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito):• Tenho por norma consultar o Colegiado da Escola e ouvir

as pessoas sobre as questões da escola.• O diálogo e a participação da comunidade é a melhor

maneira de administrar e conduzir as atividades da escola.• Só tomo minhas decisões depois de ouvir outros atores

envolvidos com a escola.

• Criamos um índice de gestão contendo informações de professores e do gestor sobre:– Atitudes e comportamento com relação à centralização ou

descentralização da gestão escolar (incluindo ou não a participação do conselho escolar).

– A prestação de contas da gestão para a comunidade escolar.– Diversas dimensões da capacidade discricionária e de

iniciativa do gestor frente a imprevistos e esferas superiores de decisão.


As Cinco Dimensões

Expectativas de Alunos e Professores:• Questionário de estudantes– Com base nas suas expectativas, você acredita que irá

(Sim, Provavelmente sim, Provavelmente não, Não): • Concluir o Ensino Médio.• Ingressar numa universidade pública.• Ingressar numa faculdade particular.• Ingressar no ensino profissional.

As Cinco Dimensões

Expectativas de Alunos e Professores:• Questionário dos professores– Com base na experiência com suas turmas nesta escola,

qual o percentual de alunos que você acredita que (Até 25% da turma, De 26% a 50% da turma, De 51% a 75% da turma, Mais de 75% da turma, Não se aplica):• Concluirá o Ensino Fundamental.• Concluirá o Ensino Médio.• Ingressará em uma universidade pública.• Ingressará em uma universidade particular.• Ingressará no ensino profissional.

• Criamos um índice das expectativas: – dos alunos em relação ao seu futuro; – dos professores em relação ao futuro escolar e

profissional dos seus alunos.


As Cinco Dimensões

Condições de atendimento:• Questionário da escola– Estado de conservação de: computador, máquina

fotográfica, data show etc. – Nesta escola existe: Depredação de banheiros, depredação

de dependências internas da escola? Depredação de dependências externas da escola?

– Existe área de lazer coberta nesta escola? Existe quadra poliesportiva nesta escola?

– Estado de conservação de: Livros de estudo, livros de literatura etc.

• Criamos um índice das condições de atendimento da escola: – conservação;– depredação; – existência de equipamento;– conservação de material de leitura;– utilização de biblioteca.


Características escolares associadas ao desempenho


• Atitudes e posturas positivas de gestão escolar podem fazer diferença no sucesso das instituições?

• Diferentes contextos de clima escolar fazem diferença nos resultados dos alunos?

• As expectativas dos alunos e professores em relação ao futuro escolar têm efeito sobre os resultados?

• Como as práticas pedagógicas afetam os resultados dos alunos?

• Como mensurar essas dimensões?

Estratégia de análise para os resultados• Medimos o sucesso escolar pelo percentual de estudantes

dentro da escola que alcançaram padrão Adequado ou Avançado em Matemática.

• Com as informações dos questionários socioeconômicos de estudantes, professores e gestores, criamos índices que caracterizam diferentes condições das escolas submetidas às avaliações.

• Característica de controle: condição socioeconômica dos alunos.


O que esses resultados apontam?


Qual a importância das informações que os questionários trazem para os resultados das avaliações em larga escala?

E quando o ISE dos estudantes nas escolas é alto: qual o sucesso escolar para diferentes condições de gestão, clima escolar, expectativas, atendimentos e práticas pedagógicas?

Qual o significado desses resultados para a equidade educacional em nossas escolas?


Aspectos positivos



1. Atitudes e comportamentos relacionados à descentralização da gestão escolar.

2. A prestação de contas da gestão para a comunidade escolar.

3. O reforço às expectativas positivas dos estudantes, ou o alerta ao descompasso entre suas aspirações e seu desempenho.

4. O zelo às condições e equipamentos da escola.5. Ambiente escolar em que todos se sintam bem é

parte do processo.6. Atenção e compromisso com o aprendizado de todos

os alunos.

Condições associadas a melhores resultados escolares:

Resultados são similares nos diversos sistemas de avaliação considerados e se sustentaram em diferentes contextos de condição socioeconômica, de clima escolar, e de condições pedagógicas na escola.


Aspectos negativos


Ponto negativo: resultados nos afastam de um sistema educacional equânime para os estudantes.

As diferenças de sucesso estiveram relacionadas, principalmente, aos contextos de condição socioeconômica favorável, indicando que as atitudes e comportamentos considerados se desenvolvem de modo a reproduzir a desigualdade social através do sistema escolar.


O desafio, então, é incorporar, ao cotidiano da gestão escolar, não somente os elementos favoráveis ao desempenho dos estudantes (melhores condições de clima escolar, de políticas e práticas pedagógicas positivas, políticas e práticas de gestão favoráveis, estímulos às expectativas), mas também refletir como esses elementos se desenvolvem no contexto escolar.

O contexto escolar, a partir das características consideradas, beneficiam mais os grupos com bons resultados nos demais índices. Essas dimensões associam-se e garantem uma boa frente para as escolas com as melhores características.


Documents

Oficina de Apropriação de Resultados – SISPAE