Etapa1 An lise das Poss veis Inter-rela es entre as Bases ...¡lisedasPossíveisInter... · 1....

Autores

Ana Carolina Zoghbi

Gabriela Moriconi

Bruno Oliva

Análise das Possíveis Inter-relações entre as Bases de Dados

do SAEB, do ENEM e do ENADE

Relatório Final - 2009

Análise das possíveis Inter-relações entre as Bases de Dados do SAEB, do ENEM e do ENADE

ÍNDICE

1. Introdução __________________________________________________________ 3

2. Bases de Dados ______________________________________________________ 8

2.1. SAEB ____________________________________________________________ 8

2.2. ENEM ___________________________________________________________ 9

2.3. ENADE __________________________________________________________ 9

2.4. PNAD ___________________________________________________________ 11

3. Análise 1: Avaliando a capacidade preditiva do ENEM em relação ao ENADE__ 12

3.1. O cálculo do IDD original___________________________________________ 12

3.2. Metodologia para recálculo do IDD ___________________________________ 15

4. Análise 2: Avaliando a relação entre as notas do SAEB e as notas do ENEM e do ENADE _______________________________________________________________ 28

4.1. Breve Revisão de Literatura Nacional utilizando Pseudo-Painel ____________ 28

4.2. Aplicando a Metodologia de Pseudo-Painel_____________________________ 32

5. Conclusão__________________________________________________________ 44

1. Introdução

As avaliações educacionais de grande escala, uma realidade presente em diversas partes do

mundo desde a década de 70, vêm crescendo no Brasil nos últimos anos, tanto em

quantidade como em qualidade. O Sistema Nacional de Avaliação da Educação Básica

(SAEB) foi a primeira iniciativa brasileira, em escala nacional, para se conhecer o sistema

educacional brasileiro em profundidade. O SAEB começou a ser desenvolvido no final dos

anos 80 e foi aplicado pela primeira vez em 1990. A partir daí, foram desenvolvidas outras

avaliações educacionais em escala nacional: o Exame Nacional de Cursos (Provão)

aplicado aos formandos de cursos de graduação no período de 1996 a 2003, posteriormente

substituído pelo Exame Nacional de Desempenho de Estudantes (ENADE) também para

avaliação dos alunos do ensino superior; o Exame Nacional do Ensino Médio (ENEM), que

teve sua primeira edição em 1998 e vem sendo universalizado recentemente; e a Prova

Brasil, o qual também avalia o ensino básico, mas de forma censitária para as escolas

públicas, a partir de 2005.

É interessante observar que os governos estaduais também têm investido bastante no

desenvolvimento de sistemas estaduais de avaliação para o ensino fundamental e ensino

médio. Entre as principais deles, encontramos o Sistema Permanente de Avaliação do

Ensino do Ceará (SPAECE), iniciado em 1992; o Sistema de Avaliação do Rendimento

Escolar do Estado de São Paulo (SARESP), iniciado em 1996; o Projeto de Avaliação

Externa do estado da Bahia, iniciado em 1999; o Sistema de Avaliação Educacional de

Pernambuco, iniciado em 2000; o Avalia Rio do estado do Rio de Janeiro, também iniciado

em 2000; e o Sistema Mineiro de Avaliação Educacional (SIMAVE), iniciado em 2001.

Todas essas iniciativas tiveram origem após a criação do SAEB – muitas delas tendo como

um de seus objetivos realizar a avaliação dos alunos de forma censitária em seu respectivo

estado.

Essas iniciativas são extremamente importantes na medida em que os sistemas de avaliação

do desempenho dos alunos, sejam eles internos ou externos, permitem a constatação do

nível educacional desses alunos, bem como as deficiências e avanços alcançados. Dessa

forma, são relevantes instrumentos tanto para a formulação de políticas educacionais com o

objetivo de melhorar a aprendizagem de todos os alunos, podendo inclusive auxiliar na

busca por maior eqüidade na aprendizagem, como também na análise do impacto dessas

políticas educacionais posteriormente.

Benveniste (2002), ao analisar a criação dos sistemas de avaliação educacional na América

Latina, observa sua relação com um movimento global de mudança do papel do Estado, de

modo a se concentrar na construção de consenso, disseminação de informação, avaliação e

compensação de desigualdades. A avaliação traria o potencial de promover um uso mais

eficiente dos recursos; promover constante melhoria e salvaguardar uma distribuição justa

de bens e serviços; e encorajar autonomia regional.

Wang et al (2006) discutem os tipos de avaliação educacional de acordo com os propósitos

com os quais são desenhadas. Elas vão desde avaliações centradas na accountability, nas

quais os resultados das avaliações devem ser utilizados para responsabilizar professores,

alunos e escolas por seus sucessos e fracassos; passando por avaliações direcionadas a

reformas e ao alcance de padrões pré-determinados de aprendizagem; até chegar ao tipo de

avaliação ligada a recompensas e sanções aos responsáveis pela aprendizagem dos alunos.

No Brasil, as avaliações de cunho nacional têm primordialmente um aspecto de

accountability, como é o caso do SAEB e do ENADE. O SAEB e a Prova Brasil,

especialmente, foram desenvolvidos de modo a permitir identificar níveis de aprendizado

esperado para os alunos das diversas séries avaliadas e observar o alcance desses níveis.

Em relação às avaliações estaduais, é possível afirmar que algumas já caminham inclusive

para a criação de recompensas com base nos resultados da avaliação, como é o caso do

Estado de São Paulo, onde recentemente foi aprovado um bônus para os professores com

base no desempenho da respectiva escola no SARESP. No entanto, o caráter de

accountability, onde prevalece a disseminação de informações, e não necessariamente a

definição de alguma recompensa ou punição, ainda prevalece nas experiências brasileiras –

o que não deve ser visto como algo negativo. Hanushek e Raymond (2004) encontram

resultados empíricos que indicam que tanto os estados americanos que têm sistemas de

avaliação com base apenas na accountability quanto aqueles que prevêem recompensas e

punições obtiveram melhores desempenhos educacionais do que os estados sem nenhum

dos dois tipos de avaliação.

Obviamente, quanto mais pesquisas e dados sobre educação existirem, melhor será a

informação disponível para a accountability por parte da população e para a formulação de

políticas públicas. Contudo, a proliferação de bases de dados, especialmente de avaliações,

pode produzir uma perda de eficácia se não executada de forma cuidadosa. Esse é o caso do

Exame Nacional de Desempenho dos Estudantes (ENADE). Já está bastante claro que o

ENADE representou um avanço significativo em termos de qualidade de informações

comparativamente ao Exame Nacional de Cursos (Provão). Enquanto este último buscava

somente uma avaliação dos cursos das Instituições de Ensino Superior (IES) em termos

absolutos, que distorcia as conclusões a respeito da qualidade desses cursos, pois refletia

em grande medida a qualidade de seus alunos antes mesmo de entrarem no ensino superior,

o primeiro também tenta avaliar o conhecimento que cada instituição agrega aos seus

alunos. Para isso o ENADE utilizou-se do desempenho dos alunos no primeiro ano do

curso como proxy para a qualidade dos alunos antes de ingressarem no ensino superior.

Dessa forma, o ENADE tentou diminuir o problema do viés de seleção presente na

avaliação institucional do Provão. Além disso, o ENADE representou uma grande

diminuição no custo de aplicação, pois avalia com base em amostras de estudantes, ao

contrário do Provão que era obrigatório a todos os concluintes. Contudo, o risco de uma

séria distorção relacionada com a falta de incentivos que os estudantes ingressantes têm

para se esforçarem na realização da prova ainda permanece com o ENADE. Tal distorção

será mais acentuada quanto maior for a heterogeneidade do esforço dos alunos ingressantes

entre as escolas. Por exemplo, se uma escola que agregue mais conhecimento tiver

ingressantes mais esforçados que escolas que agreguem menos conhecimento, o ENADE

subestimará o verdadeiro valor médio agregado pelo ensino superior brasileiro.

Nesse sentido, poder-se-ia pensar em utilizar os resultados do Exame Nacional do Ensino

Médio (ENEM) como medida do conhecimento dos ingressantes. Dados do INEP mostram

que o número de avaliados pelo ENEM nos últimos anos se aproximou do total do universo

de alunos que concluíram o Ensino Médio e buscam ingressar em uma universidade1. No

1 Programas de bolsas de estudos como o Prouni (Federal) e outros programas regionais têm utilizado cada vez mais os resultados do ENEM como critério de seleção. Esses incentivos despertaram um maior interesse nos egressos do Ensino Médio em ingressar em cursos superiores. Além disso, diversas IES públicas e privadas também utilizam de alguma forma os resultados do ENEM como critério de ingresso ou bolsas de

caso do ENEM, o problema de moral hazard, descrito acima, é minimizado pelo forte

incentivo que o aluno tem ao fazer a prova, uma vez que o seu desempenho será critério

para o processo seletivo nas Universidades.

Dada a possibilidade de estabelecer uma correspondência entre os alunos ingressantes do

ENADE e os inscritos no ENEM por meio de códigos comuns (RG ou CPF), por exemplo,

a utilização dos resultados do ENEM como meio de prever o desempenho dos ingressantes

é viável e também desejável. Ademais, como forma de tornar o método mais eficiente,

características dos alunos presentes em outras bases de dados poderão ser utilizadas.

Aproveitando esta lacuna na literatura empírica brasileira, o principal objetivo deste

trabalho é analisar as possíveis inter-relações entre os resultados das diferentes avaliações

realizadas pelo INEP contidas nas bases de dados do SAEB, do ENEM e do ENADE.

Desse modo, pretende-se que as inter-relações entre as avaliações permitam ampliar as

possibilidades de pesquisa em educação, o que conseqüentemente se traduziria em uma

maior quantidade de informação nova para auxiliar a formulação e implantação de políticas

públicas, também permitindo a proposição de melhorias em termos de eficiência na

realização da avaliação educacional no Brasil.

Para tanto, em primeiro lugar testaremos a capacidade de predição da nota do ENEM em

relação à nota dos ingressantes do ENADE, dados os incentivos a realizar o primeiro deles.

Será realizado também um estudo da comparabilidade entre essas duas bases, como por

exemplo, sobre a quantidade de alunos ingressantes do ENADE que também fizeram o

ENEM. Desse modo, será possível reestimar o valor (conhecimento) agregado de cada

instituição com base nos resultados do ENEM e comparar com os resultados já obtidos pelo

INEP utilizando as notas dos ingressantes no ENADE.

Em segundo lugar será avaliado o quanto a nota do SAEB de uma coorte explica o

desempenho dessa coorte no ENEM e no ENADE. A metodologia a ser testada se baseará

na análise dos resultados de coortes geracionais por meio da utilização de técnicas de

pseudo-painel, controlando os problemas de viés de seleção e mobilidade. Com esta

estudos. Assim, esses fatores, em conjunto, proporcionaram um aumento expressivo na quantidade de inscritos no ENEM.

análise, pretende-se agregar mais informações ao estudo dos resultados das avaliações

educacionais realizadas no país, oferecendo maiores subsídios à revisão das políticas de

avaliação do ensino no Brasil.

2. Bases de Dados

Dados os objetivos desse estudo, serão utilizadas diferentes bases de dados para a análise

empírica, as quais descrevemos a seguir. Essas bases de dados são oriundas das seguintes

avaliações educacionais nacionais realizadas pelo INEP: SAEB, ENEM e ENADE.

Adicionalmente, também faremos uso da Pesquisa Nacional por Amostra de Domicílios

(PNAD), descrita por último nesta seção.

2.1. SAEB

O SAEB, Sistema Nacional de Avaliação do Ensino Básico, foi a primeira iniciativa

brasileira, em escala nacional, para se conhecer o sistema educacional brasileiro em

profundidade. Ele começou a ser desenvolvido no final dos anos 80 e foi aplicado pela

primeira vez em 1990.

Em 1995, o SAEB passou por uma reestruturação metodológica que possibilita a

comparação dos desempenhos ao longo dos anos. Desde a sua primeira avaliação, fornece

dados sobre a qualidade dos sistemas educacionais do Brasil como um todo, das regiões

geográficas e das unidades federadas (estados e Distrito Federal).

No SAEB, os alunos fazem prova de Língua Portuguesa (com foco em leitura) e

Matemática (com foco na resolução de problemas). Diretores, professores e alunos

respondem a questionários sócio-econômicos.

O SAEB é feito a cada dois anos e avalia uma amostra representativa dos alunos

regularmente matriculados nas 4ª e 8ª séries do ensino fundamental e 3º ano do ensino

médio, de escolas públicas e privadas, localizadas em área urbana ou rural.

As notas do SAEB são apresentadas em uma escala de proficiência que varia entre 0 e 500.

Cada uma das disciplinas tem uma interpretação específica da escala, que é única para as

três séries avaliadas. As médias de proficiência da escala apontam os distintos graus de

desenvolvimento de habilidades, competências e aquisição de conhecimentos pelos

estudantes ao longo dos anos de estudo. Portanto, é esperado que alunos da 4ª série

alcancem médias numéricas menores que os de 8ª série e estes alcancem médias menores

que as alcançadas pelos alunos de 3º ano do ensino médio.

2.2. ENEM

O ENEM, Exame Nacional do Ensino Médio, é um exame individual, de caráter voluntário,

oferecido anualmente aos estudantes que estão concluindo ou que já concluíram o ensino

médio em anos anteriores.

O principal objetivo do ENEM é avaliar o desempenho do aluno ao término da escolaridade

básica, para aferir desenvolvimento de competências fundamentais ao exercício pleno da

cidadania. Porém, desde a sua concepção, o Exame foi pensado também como modalidade

alternativa ou complementar aos exames de acesso aos cursos profissionalizantes pós-

médio e ao ensino superior.

Apesar de ser voluntário, o ENEM caminha para a universalização entre os estudantes que

terminam o ensino médio, pois diversas instituições de ensino superior (IES) têm passado a

utilizar os resultados do Enem como componente dos seus processos seletivos. Além disso,

essa universalização do Exame tem sido promovida pelo seu uso para a participação em

programas governamentais de acesso ao ensino superior, como o ProUni, por exemplo, que

utiliza os resultados do ENEM como pré-requisito para a distribuição de bolsas de ensino

em instituições privadas de ensino superior.

A prova do ENEM é interdisciplinar e contextualizada. Nela, busca-se colocar o estudante

diante de situações-problemas e medir não apenas se ele conhece os conceitos, mas se sabe

aplicá-los. A prova é composta de uma parte objetiva com 63 questões e de uma redação.

Trabalha com uma escala clássica de 0 a 100 para a atribuição da nota final, tanto na parte

objetiva quanto na redação.

2.3. ENADE

O ENADE, Exame Nacional de Desempenho de Estudantes, é um exame aplicado aos

alunos ingressantes e concluintes em cursos de graduação, de áreas definidas pelo MEC

anualmente, sendo que a periodicidade máxima de aplicação do ENADE a cada área é

trienal.

O objetivo do ENADE é avaliar o desempenho dos estudantes com relação aos conteúdos

programáticos previstos nas diretrizes curriculares dos cursos de graduação, o

desenvolvimento de competências e habilidades necessárias ao aprofundamento da

formação geral e profissional, e o nível de atualização dos estudantes com relação à

realidade brasileira e mundial. O Exame é parte integrante do SINAES (Sistema Nacional

de Avaliação do Ensino Superior), juntamente com a avaliação institucional e a avaliação

dos cursos de graduação.

A prova é composta de 40 questões no total, sendo 10 questões da parte de formação geral,

comum aos estudantes de todos os cursos que realizam o ENADE naquele ano, e 30 de um

componente específico, relativo àquele curso de graduação, contendo as duas partes

questões discursivas e de múltipla escolha. As notas obtidas pelos alunos são transformadas

em valores de 0 a 100, para divulgação posterior.

Já o conceito do curso é calculado pela média ponderada da nota padronizada dos

concluintes no componente específico, da nota padronizada dos ingressantes no

componente específico e da nota padronizada em formação geral (concluintes e

ingressantes), possuindo estas, respectivamente, os seguintes pesos: 60%, 15% e 25%.

Assim, a parte referente ao componente específico contribui com 75% da nota final do

curso, enquanto que a parte de formação geral contribui com 25%. O conceito é

apresentado em cinco categorias (1 a 5), sendo que 1 é o resultado mais baixo e 5 é o

melhor resultado possível, na área.

O ENADE é realizado por amostragem e a participação no Exame constará no histórico

escolar do estudante ou, quando for o caso, sua dispensa pelo MEC. O INEP/MEC constitui

a amostra dos participantes a partir da inscrição, na própria instituição de ensino superior,

dos alunos habilitados a fazer a prova.

O ENADE é componente curricular obrigatório dos cursos de graduação, sendo o registro

de participação condição indispensável para a emissão do histórico escolar,

independentemente de o estudante ter sido selecionado ou não no processo de amostragem

do INEP.

2.4. PNAD

A PNAD, Pesquisa Nacional por Amostra de Domicílio, é uma pesquisa feita pelo IBGE

(Instituto Brasileiro de Geografia e Estatística) em uma amostra de domicílios brasileiros

que, por ter propósitos múltiplos, investiga diversas características socioeconômicas da

sociedade, como população, educação, trabalho, rendimento, habitação, previdência social,

migração, fecundidade, nupcialidade, saúde, nutrição etc., entre outros temas que são

incluídos na pesquisa de acordo com as necessidades de informação para o Brasil.

A pesquisa é feita em todas as regiões do Brasil, incluindo as áreas rurais de Rondônia,

Acre, Amazonas, Roraima, Pará e Amapá (excluídas até recentemente). Sua periodicidade é

anual, excluídos os anos em que são realizados os Censos Populacionais.

Vale ressaltar que, embora também possua informações relacionadas à educação dos

indivíduos, a PNAD não é uma pesquisa especificamente de cunho educacional. No caso

deste estudo, a PNAD servirá apenas como fonte de dados de apoio, como descreveremos

na metodologia mais adiante.

3. Análise 1: Avaliando a capacidade preditiva do ENEM em relação ao

Esta seção trata da capacidade preditiva das notas dos alunos participantes do ENEM em

relação às notas desses mesmos alunos no ENADE. O objetivo dessa análise é estudar a

viabilidade da utilização da nota do ENEM para os mesmos objetivos nas quais são

empregadas as notas dos ingressantes do ENADE, o que indicaria a possibilidade de

substituição da primeira pela segunda, reduzindo uma prova e aumentando a eficiência

deste processo avaliativo.

A principal aplicação da nota do ingressante do ENADE é o cálculo anual do IDD, o

Indicador de Diferença entre os Desempenhos Observado e Esperado. Assim, a nossa

análise dessa potencial capacidade preditiva será realizada por meio do recálculo do IDD

2006 substituindo a nota do ENADE dos alunos ingressantes pela nota do ENEM 2005

desses mesmos alunos. Os resultados dessa pesquisa permitirão ao MEC (Ministério da

Educação) avaliar de forma mais crítica a importância da aplicação da prova do ENADE

nos alunos ingressantes nos cursos avaliados.

A fim de esclarecer a metodologia adotada nessa primeira análise, segue uma breve

descrição do IDD, baseada na nota técnica divulgada pelo INEP.

3.1. O cálculo do IDD original

Um aspecto muito importante que deve ser considerado ao avaliar a qualidade de um curso

é o seu “valor agregado” ao aluno. Este conceito diz respeito a quanto o curso contribuiu

para o desenvolvimento das habilidades dos estudantes.

Existe uma série de problemas que precisam ser contornados para que se obtenha uma

medida adequada de valor agregado. Notadamente, o fato de o perfil dos alunos

ingressantes ser muito desigual entre as diferentes instituições influencia sobremaneira o

resultado dos concluintes em exames de aptidão, na medida em que carrega características

que não estão relacionadas com a qualidade do curso que se pretende avaliar.

O Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) é uma forma

de mensurar o valor agregado. Grosso modo o IDD procura comparar o desempenho dos

estudantes concluintes de uma instituição em relação aos resultados obtidos pelas demais

instituições cujos perfis dos ingressantes sejam semelhantes. Para tanto é preciso analisar o

perfil dos ingressantes e concluintes do mesmo curso. A partir do desempenho dos alunos

ingressantes é possível estimar qual seria o resultado esperado dos estudantes ao final do

curso.

O cálculo efetivo do IDD nada mais é que a diferença do desempenho médio observado

pelos concluintes de uma instituição e o desempenho esperado para os mesmos. Isto posto,

cabe discutir como é estimado o desempenho esperado dos alunos concluintes.

Os determinantes do desempenho médio dos estudantes concluintes de um curso (iC )

foram separados em três parcelas: i) a primeira (IiC ) determinada pelo nível médio de

formação dos estudantes que ingressaram no curso (iI )2, ii) a segunda parcela (iD )

determinada pela diferença da qualidade do curso em que o aluno está matriculado (iQ ) e a

qualidade média dos cursos (iQ ) e iii) um distúrbio aleatório (ie ). Formalmente temos:

iiIii eDCC ++= , sendo

[ ]iiIi ICEC |= e (1)

[ ] 0,| =iii DCeE .

A equação utilizada para a estimação de iC :

iiiii uZWPC ++++= δγβα , onde (2)

iC : média ponderada das notas médias de conteúdo específico e de formação geral dos

concluintes do curso “i”;

iP : média ponderada das notas médias de conteúdo específico e de formação geral dos

ingressantes do curso “i”;

iW : proporção de estudantes do curso “i” cujos pais possuem nível superior; e

2 Este recurso é utilizado por não haver informações sobre as características de formação anterior ao início do curso para os alunos concluintes. Portanto há a suposição implícita de que esta característica é semelhante entre os dois grupos de alunos para cada curso.

iZ : razão entre o número de concluintes e o número de ingressantes no curso “i”.

Pela equação (2) temos que:

[ ] iiiii ZWPICE δγβα +++=| ;

iii eDu += ; e

[ ] 0=iuE

Sendo assim, os resíduos da regressão geram uma estimativa da diferença entre o

desempenho médio e o esperado dos concluintes de cada curso.

Iiii CCD ˆˆ −=

Tendo sido exposto o método utilizado para estimar iD cabe fazer alguns comentários

acerca de alguns procedimentos que foram adotados para minimizar a possibilidade de

ocorrência de erros na estimação:

i) para o cálculo da nota média foram considerados apenas os estudantes que

obtiveram notas positivas;

ii) cursos com menos de dez participantes, ou com taxa de participação inferior a

20% dos selecionados, foram excluídos da estimação3.

A partir do valor estimado de iD , dividindo-o pelo seu desvio padrão, obtêm-se o seu valor

padronizado ( PADiD ). Com o intuito de melhorar as estimativas, os indicadores fora do

intervalo entre -3 e 3 foram excluídos da amostra. A partir daí todo o processo é refeito para

se obter o Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) de

cada curso.

Complementarmente, é calculado o IDD conceito segundo os critérios que seguem:

iIDDIDD

IDDIDDZ

+= *5 , sendo

3 Entretanto, o desempenho esperado foi computado foi computado para os cursos com taxa de participação inferior a 20%, desde que preenchido os outros requisitos elencados.

iZ : transformação do IDD para criação das faixas de conceito;

iINFIDD : módulo do menor IDD acima de -3; e

ISUPIDD : maior IDD abaixo de 3.

Os conceitos foram definidos segundo exposto na tabela abaixo.

Tabela 1 – Valores do IDD Conceito

IDD conceito Valor de Zi

1 0,0 a 0,9 2 1,0 a 1,9 3 2,0 a 2,9 4 3,0 a 3,9 5 4,0 a 5,0 Fonte: Nota Técnica do IDD realizada pelo INEP.

3.2. Metodologia para recálculo do IDD

Como indicamos, a metodologia utilizada para analisar a potencial capacidade preditiva

será o recálculo do IDD 2006 substituindo a nota do ENADE dos alunos ingressantes pela

nota do ENEM 2005 desses mesmos alunos.

Este estudo foi possível devido à disponibilização dos microdados do ENADE 2006 e do

ENEM 2005, juntamente com o CPF dos participantes nestes exames. Vale ressaltar que foi

assinado um termo de compromisso para que não houvesse divulgação de resultados em

que o aluno pudesse ser identificado. Com o CPF dos participantes do ENADE e do

ENEM foi possível identificar os alunos que fizeram o ENEM em 2005 e que também

participaram do ENADE 2006.

Contudo, não conseguimos identificar todos os alunos ingressantes que participaram do

ENADE 2006 no ENEM 2005. Mesmo com a expansão do ENEM entre os alunos que

estão concluindo o ensino médio, é provável observarmos pessoas ingressando na

Universidade após alguns anos da finalização do seu Ensino Médio4, assim, essas pessoas

apresentam menor probabilidade de realizar o ENEM. Dentre os 276.750 alunos

ingressantes que realizaram o ENADE 2006, recuperamos no ENEM 2005 um total de

78.797, o que representa 35,12% da amostra. O banco completo contendo os alunos

4 Infelizmente no questionário do Enade não há uma variável que identifique o ano de conclusão do Ensino Médio dos alunos, não permitindo que esse quantitativo seja calculado.

ingressantes que participaram das duas avaliações e os alunos concluintes que participaram

do ENADE totalizou em 291.022.

Uma vez que o novo banco apresenta somente 35,12% dos ingressantes que participaram

do ENADE, optamos por recalcular o IDD de duas formas. Primeiramente, recalculamos o

IDD utilizando as notas do ENADE dos ingressantes e dos concluintes da forma

tradicional5. Em seguida, recalculamos o IDD com a nota do ENEM dos ingressantes e com

a nota do ENADE dos concluintes. Ao recalcularmos o IDD da forma tradicional com o

banco reduzido, criamos um IDD que pode ser comparável com o IDD calculado a partir da

nota do ENEM6.

Antes de prosseguirmos com o cálculo do IDD foi necessário agregarmos as informações

dos alunos por curso. O IDD 2006 divulgado pelo INEP foi calculado para os seguintes

cursos:

1. Administração

2. Arquivologia

3. Biblioteconomia

4. Biomedicina

5. Ciências Contábeis

6. Ciências Econômicas

7. Comunicação Social

8. Design

9. Direito

10. Música

11. Normal Superior

12. Psicologia

13. Secretariado Executivo

14. Teatro

5 Quando nos referimos ao Cálculo IDD da “Forma Tradicional”, utilizamos a metodologia da nota técnica do IDD divulgada pelo INEP e descrita na subseção 3.1.. Por essa metodologia, o cálculo baseia-se na nota do ingressante e do concluinte do ENADE. 6 No cálculo dos IDD’s com a nota do Enade do ingressante, ou com a nota do Enem foram utilizados os filtros mencionados na descrição da metodologia de cálculo do IDD.

15. Turismo

As estimações que geraram o cálculo do IDD foram realizadas separadamente para cada um

desses 15 cursos pelo método de Ordinary Least Squares (OLS). Primeiramente,

calculamos o IDD pela metodologia tradicional com a estimação da equação 3.

igigigigig ingrconcEscpaiingresEnadeconclEnade εββββ ++++= 3210 sup___ (3)

Contudo, ao estimarmos esta equação com a base reduzida, encontramos a possibilidades

de viés de seleção relacionado com a escolha de prestar o ENEM7. Esse viés ocorre pelo

fato do grupo de ingressantes que prestou o ENEM apresentarem as melhores notas no

ENADE, comparativamente aos ingressantes que não prestaram ENEM, como podemos

observar na tabela 2.

Tabela 2 – Média do ENADE dos Ingressantes que Prestaram ou não o ENEM

Amostral Expandido Prestou

Enem Não

prestou Enem

Prestou Enem

Não prestou Enem

Média Nota Formação Geral do Enade 40,13 32,43 46,86 43,1 Média Nota Específica do Enade 29,32 24,47 33,99 32,47 Média Nota Geral do Enade 33,42 27,57 38,95 36,71

Fonte: Elaboração Própria com base nos microdados do ENADE 2006 e do ENEM 2005.

Para corrigimos esse viés seleção, construímos uma variável ( opPr ) que representa o

percentual de alunos, em cada curso, que prestou o ENEM, e também prestou o ENADE,

dentre o grupo de ingressantes. Assim, a equação 4 representa a re-estimação do modelo

com a nota do ingressante e do concluinte do ENADE com uma variável a mais, opPr .

igigigigigig opingrconcEscpaiingresEnadeconclEnade εβββββ +++++= Prsup___ 43210 (4)

Além da variável opPr , utilizamos igualmente as demais variáveis da estimação que

originou o IDD tradicional. Como variável dependente, temos o “desempenho médio no

ENADE do concluinte” ( conclEnade_ ). Já como variáveis explicativas, incluímos o

“desempenho médio no ENADE do ingressante” ( ingresEnade_ ), o “percentual de

ingressantes cujos pais têm nível superior”( sup_Escpai ) e a “razão entre número de 7 Esse viés de participação ocorre pelo fato do ENEM ser de caráter voluntário.

concluintes e o número de ingressantes” ( ingrconc ). Por fim o termo igε refere-se ao

termo aleatório de erro. Vale à pena destacar que nossa unidade de análise (ig) representa o

curso “i” da instituição “g”. Dessa forma, para facilitar a descrição dos resultados das

estimações, utilizaremos o termo “curso” ou “cursos” para nos referimos à unidade de

análise. As estimações da equação 4 encontram-se na tabela 3, e cada uma das colunas da

tabela representa a estimação para um dos 15 cursos mencionado acima .

Após efetuarmos a padronização do resíduo (YY)

− ) da equação 4, observamos que alguns

cursos apresentaram essa padronização abaixo de -3 ou acima de +3. Por essa razão,

optamos por re-estimar a equação 4 somente com os cursos que apresentaram seu resíduo

padronizado no intervalo de -3 a + 38. Os resultados desta estimação apresentam-se na

tabela 4.

8 O intervalo de -3 a + 3 baseou-se na nota técnica do IDD (p.2) divulgada pelo INEP – intervalo que se baseia em uma estimação sem outliers.

Tabela 3 – Estimação para o recálculo do IDD Tradicional com outliers (estimação com MQO)

Nota Concluinte

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Nota ingressante

0,62*** 0,24 0,49* 0,99*** 0,59*** 0,99*** 0,69*** 0,78*** 0,79*** 0,76** 0,32** 0,64*** 0,42 0,62 0,73***

0,03 1,05 0,26 0,11 0,07 0,13 0,06 0,1 0,05 0,18 0,13 0,08 0,25 0,5 0,08 Escolaridade pai

0,54 64,91 -12,97 4,36 -2,09 6,44 -1,05 -1,35 5,68** 48,88 -1,98 -0,98 10,07 28,22 1,05

1,29 42,34 18,42 8,85 1,92 7,3 2,36 5,15 2,3 35,22 4,34 3,47 7,85 18,29 4,73 Concluinte/ ingressante

-0,06 2,61 0,44 -1,6 0,04 -0,91 0,04 0,09 -0,14 -1,27 0,02 -0,21 0,66 -0,81 -0,2

0,11 7,7 1,28 1,28 0,18 0,77 0,2 0,67 0,1 1,1 0,24 0,18 0,86 3,67 0,36 Proporção 2,61* 4,94 19,96* -11,81** 1,09 -4,85 5,67*** -3,58 6,72*** -22,46 4,73 3,43 -1,11 -22,14 4,17

1,43 49,52 10,5 5,35 1,98 5,64 1,95 4,15 1,76 15,87 4,94 2,59 9,6 15,06 4,49 Constante 18,15*** 2,48 24,00** 14,94** 16,97*** 8,33 13,68*** 17,72*** 12,22*** 8,09 32,26*** 24,87*** 23,20*** 19,99 15,97***

1,28 81,81 10,06 6,62 2,32 5,36 2,58 4,29 1,91 16,45 5,93 3,41 7,53 20,93 4,87 R² ajustado 0,38 -0,18 0,18 0,72 0,2 0,54 0,41 0,58 0,52 0,72 0,08 0,42 0,18 0,31 0,5

N 722 6 16 34 286 57 227 61 332 8 59 120 28 12 91 Fonte: Elaboração Própria com base nos microdados do ENADE 2006. Os desvios padrão estão entre parênteses. * p<0,10; ** p<0,05; *** p<0,01

Tabela 4 – Estimação para o recálculo do IDD Tradicional sem outliers (estimação com MQO)

Nota Concluinte

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Nota ingressante

0,62*** 0,24 0,49* 0,99*** 0,59*** 0,99*** 0,68*** 0,78*** 0,85*** 0,76** 0,32*** 0,64*** 0,42 0,47 0,72***

0,4 64,91 -12,97 4,36 -2,09 6,44 -1,49 -1,35 4,79** 48,88 -1,06 0,1 10,07 7,27 -1,35

-0,05 2,61 0,44 -1,6 0,04 -0,91 0,07 0,09 -0,09 -1,27 0,11 -0,28* 0,66 2,56 -0,2

0,11 7,7 1,28 1,28 0,18 0,77 0,2 0,67 0,09 1,1 0,21 0,17 0,86 3,16 0,34 Proporção 2,71* 4,94 19,96* -11,81** 1,09 -4,85 5,54*** -3,58 6,56*** -22,46 6,79 3,58 -1,11 10,77 3,31

1,39 49,52 10,5 5,35 1,98 5,64 1,95 4,15 1,67 15,87 4,44 2,42 9,6 17,99 4,3 Constante 17,86*** 2,48 24,00** 14,94** 16,97*** 8,33 14,06*** 17,72*** 10,68*** 8,09 30,47*** 24,55*** 23,20*** 18,83 17,88***

1,25 81,81 10,06 6,62 2,32 5,36 2,58 4,29 1,82 16,45 5,32 3,19 7,53 16,17 4,68 R² ajustado 0,39 -0,18 0,18 0,72 0,2 0,54 0,41 0,58 0,57 0,72 0,13 0,46 0,18 0,21 0,53 N 718 6 16 34 286 57 226 61 328 8 58 119 28 11 90 Fonte: Elaboração Própria com base nos microdados do ENADE 2006. Os desvios padrão estão entre parênteses. * p<0,10; ** p<0,05; *** p<0,01

Ao compararmos essas duas estimações (com e sem outliers), observamos que não

ocorreram grandes modificações nos coeficientes, nos erros padrão, no tamanho do N e no

R² ajustado. Além disso, para ambas as estimações, a estatística F somente não foi

estatisticamente significativa nas estimações 2, 3 e 14, que representam os cursos de

arquivologia, de biblioteconomia e de teatro, respectivamente. Isso significa que a

regressão como um todo não foi estatisticamente significativa. Provavelmente, esse

resultado reflete o baixo número de observações (penúltima linha em negrito das tabelas 3 e

4) que essas estimações apresentaram. Ademais, a nota do ingressante apresentou efeito

positivo na nota do concluinte em todas as estimações. Por fim, o cálculo do IDD

tradicional baseou-se nas estimações sem outliers (Tabela 4). Entretanto, seria inviável

tabular esses novos conceitos para todas as unidade de análise. Assim, optamos por

disponibilizar em arquivos de Excel esses resultados9. Os seguintes arquivos serão

disponibilizados:

• “banco com idd_Tradicional por ies e por curso”. Neste arquivo encontra-se o

conceito IDD por cursos e instituições.

• “IDD_Tradicional região”. Este arquivo apresenta os resultados do IDD por curso

para cada uma das cincos regiões (Norte; Nordeste; Sudeste; Sul; Centro-Oeste ).

• “IDD_Tradicional organização acadêmica”. Nesse arquivo, os resultados do IDD

estão separados por curso e organização acadêmica (Universidade; Centro-

Universitário; Faculdades Integradas; Faculdades, Escolas, e Institutos Superiores;

Centros de Educação Tecnológica).

• “IDD_Tradicional categoria administrativa”. Este arquivo apresenta os resultados

por curso e dependência administrativa (Federal; Estadual; Municipal; Particular).

Os resultados desse IDD serão comentados mais a frente, conjuntamente com os do IDD

calculado com a nota do ENEM do ingressante.

9 Este relatório e seus arquivos em Excel com os novos Conceitos IDD serão disponibilizados em meio digital.

Nossa próxima etapa consiste em apresentar os resultados da estimação 4 que originou o

IDD com a nota do ENEM. A única diferença entre essa estimação e a estimação 5,

apresentada a seguir, é que substituímos a variável “desempenho médio no ENADE do

ingressante” ( ingresEnade_ ) por “desempenho médio no ENEM dos ingressantes que

prestaram ENADE” ( ingresEnem_ ):

igigigigigig opingrconcEscpaiingresEnemconclEnade εβββββ +++++= Prsup___ 43210 (5)

As notas consideradas para a variável ingresEnem_ foram as notas da prova objetiva e da

redação. O peso atribuído para cada uma dessas provas para construir o desempenho médio

no ENEM foi de 0,5. As demais variáveis de controle e a variável dependente

permaneceram as mesmas. Na tabela 5 encontram-se os resultados das estimações com

outliers.

Da mesma forma, após efetuarmos a padronização do resíduo ( YY)

− ) da equação 4,

observamos que alguns cursos apresentaram essa padronização fora do intervalo de -3 a +3.

Por essa razão, reestimamos a equação 5 somente com os cursos que apresentaram seu

resíduo padronizado dentro desse intervalo. Os resultados desta estimação estão na tabela 6.

Ao compararmos as estimações das tabelas 5 e 6, nota-se que a amostra apresentou uma

perda de 23 cursos (unidade de análise). No que dizem respeito às principais estatísticas,

elas não apresentaram grande variações entre as estimações. Em relação à estatística F, esta

não foi estatisticamente significativa nas estimações 2, 3, 10, 11, 13 e 14, que representam

os cursos de arquivologia, de biblioteconomia, de música, de normal superior, de

secretariado executivo e de teatro, respectivamente. Deve-se reconhecer que o dobro de

cursos (dos 15 cursos avaliados), comparativamente as estimações das tabelas 3 e 4,

apresentaram suas estimações não significativas. Ademais, a nota do ENEM do ingressante

apresentou efeito positivo na nota do concluinte em todas as estimações. Por fim, para

calcularmos o Conceito IDD com o ENEM, também utilizamos as estimações sem outliers.

Em relação aos novos Conceitos IDD, pela mesma razão mencionada acima,

disponibilizaremos esses resultados nos seguintes arquivos em Excel:

• “banco com idd_enem por ies e por curso”. Neste arquivo encontra-se o conceito

IDD Enem por cursos e instituição.

• “IDD_Enem região”. Este arquivo apresenta os resultados do IDD por curso para

cada uma das cincos regiões (Norte; Nordeste; Sudeste; Sul; Centro-Oeste ).

• “IDD_Enem organização acadêmica”. Nesse arquivo, os resultados do IDD estão

separados por curso e organização acadêmica (Universidade; Centro-Universitário;

Faculdades Integradas; Faculdades, Escolas, e Institutos Superiores; Centros de

Educação Tecnológica).

• “IDD_Enem categoria administrativa”. Este arquivo apresenta os resultados por

curso e dependência administrativa (Federal; Estadual; Municipal; Particular).

Tabela 5 – Estimação para o recálculo do IDD com ENEM com outliers

Nota Concluinte

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Nota Enem ingressante

0.21*** 1,51 -0,01 0.74*** 0.15*** 0.56*** 0.21*** 0.44*** 0.33*** 0,1 0,14 0.26*** 0,24 0,05 0.40***

4.41*** 94.81* 25,95 6,11 -0,88 12,31 -1,02 -2,5 8.18*** 20,19 0,05 -4,76 11,92 31,68 -1,83

0,16 3,19 -1,46 -0,11 0,24 -1.17* 0,16 1.95*** -0,18 1,99 -0,15 -0,07 0,17 1,97 -0.91**

0,13 1,13 1,39 1,95 0,2 0,63 0,22 0,68 0,11 2,06 0,21 0,19 0,83 3,09 0,43 Proporção 4.91*** -4,19 10,59 0,05 1,8 -5,21 8.66*** 9.66** 8.25*** 21,48 5,02 10.29*** 9,85 -12,96 4,95 1,68 9,43 8,98 7,29 2,23 6,53 2,23 4,3 2,27 30,35 5,07 3,05 8,32 14,44 5,4 Constante 26.57*** -84,18 35.06** -1,11 25.14*** 6,78 28.28*** 20.75*** 20.57*** 19,19 38.44*** 36.84*** 21.47** 36,23 29.14***

1,68 22,27 15,76 11,31 2,48 7,2 2,59 5,29 2,71 43,76 5,72 4,07 9,35 22,98 5,91 R² ajustado 0,1 0,95 0,29 0,47 0,04 0,32 0,16 0,41 0,24 -0,51 0,03 0,18 0,11 0,17 0,17 N 730 6 16 33 280 63 245 63 329 10 63 122 31 12 100 Fonte: Elaboração Própria com base nos microdados do ENADE 2006 e do ENEM 2005. Os desvios padrão estão entre parênteses. * p<0,10; ** p<0,05; *** p<0,01

Tabela 6 – Estimação para o recálculo do IDD com ENEM sem outliers

Nota Concluinte

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Nota Enem ingressante

0.18*** 1,4 -0,01 0.74*** 0.15*** 0.56*** 0.22*** 0.45*** 0.32*** 0,1 0,12 0.26*** 0,24 0,3 0.40***

0,03 . 0,29 0,13 0,04 0,12 0,04 0,08 0,04 0,35 0,09 0,06 0,17 0,22 0,09 Escolaridade pai

3.98*** 0 25,95 6,11 -0,58 12,31 -0,53 -1,48 7.71*** 20,19 1,33 -4,76 11,92 11,45 -1,79

1,37 . 14,59 12,73 2,06 8,29 2,68 5,41 2,83 57,91 4,19 3,88 8,25 16,61 5,38 Concluinte/ ingressante

0,18 0 -1,46 -0,11 0,2 -1.17* 0,09 2.05*** -0,16 1,99 -0,07 -0,07 0,17 4.61* -0.90**

0,12 . 1,39 1,95 0,2 0,63 0,22 0,63 0,11 2,06 0,2 0,19 0,83 2,34 0,44 Proporção 4.51*** 0 10,59 0,05 1,99 -5,21 8.31*** 11.44*** 8.83*** 21,48 7,12 10.29*** 9,85 22,19 4,68 1,6 . 8,98 7,29 2,18 6,53 2,17 4,01 2,19 30,35 4,69 3,05 8,32 15,75 5,42 Constante 28.57*** -25,24 35.06** -1,11 24.91*** 6,78 28.16*** 19.03*** 21.42*** 19,19 37.37*** 36.84*** 21.47** 14,18 29.27***

1,61 . 15,76 11,31 2,44 7,2 2,59 4,92 2,63 43,76 5,26 4,07 9,35 17,72 5,92 R² ajustado 0,08 . 0,29 0,47 0,04 0,32 0,16 0,48 0,24 -0,51 0,04 0,18 0,11 0,23 0,17 N 724 2 16 33 279 63 240 62 326 10 62 122 31 11 99 Fonte: Elaboração Própria com base nos microdados do ENADE 2006 e do ENEM 2005. Os desvios padrão estão entre parênteses. * p<0,10; ** p<0,05; *** p<0,01

Na tabela 7 realizamos alguns exercícios de correlações entre o Conceito IDD Tradicional e

o Conceito IDD com o ENEM. Assim, poderemos verificar a capacidade preditiva da nota

do ENEM em relação à nota do ENADE do ingressante. Para isso calculamos correlações

simples e de ordem (Spearman).

Também na tabela 7 há uma segunda análise, a qual refere-se à correlação entre os resíduos

padronizados (estimação com as notas do ENADE do ingressante e com as notas do ENEM

do ingressante) antes de serem discretizados entre 1 e 5 (Conceito IDD).

Tabela 7 – Correlações entre o IDD Tradicional e o IDD com ENEM

Conceito IDD Resíduo Padronizado Correlação

Simples Coeficiente de

Spearman Correlação

Simples Coeficiente de

Spearman Geral 0,71 0,68 0,79 0,73 Administração 0,65 0,58 0,79 0,73

Arquivologia - - - -

Biblioteconomia 0,13 0,12 0,35 0,33

Biomedicina 0,77 0,7 0,68 0,36

Ciências Contábeis 0,78 0,75 0,9 0,86

Ciências Econômicas 0,6 0,61 0,66 0,76

Comunicação Social 0,82 0,82 0,87 0,85

Design 0,8 0,78 0,84 0,8

Direito 0,63 0,64 0,69 0,69

Música 0,99 0,98 0,98 0,99

Normal superior 0,98 0,98 0,97 0,99

Psicologia 0,81 0,83 0,88 0,88

Secretariado Executivo 0,84 0,87 0,82 0,9

Teatro -0,55 -0,5 0,82 -0,5

Turismo 0,75 0,71 0,74 0,7

Fonte: Elaboração Própria com base nos microdados do ENADE 2006 e do ENEM 2005.

Na primeira análise, observamos que para a maioria dos cursos a correlação entre os

Conceitos IDD’s é alta – considerando 70% uma correlação alta. A diferença entre a

correlação simples e a de ordem foi de no máximo 0,07 p.p (pontos percentuais). Os cursos

que apresentaram as menores correlações entre os IDD’s foram biblioteconomia e teatro –

cursos que estão dentre aqueles com menor número de observações.

Vale ressaltar que os cursos com maior número de observações – administração (1),

ciências contábeis (5), comunicação social (7) e direito (9) – todos apresentaram

correlações de ordem entre 60% e 80% entre o IDD tradicional e o IDD calculado com base

na nota do Enem dos ingressantes.

O segundo exercício, o qual refere-se à correlação entre os resíduos padronizados, é

importante porque ao calcularmos as correlações com uma variável discreta, podemos

perder informações devido a pouca variabilidade. Contudo, nota-se que em geral as

correlações entre os resíduos padronizados apresentam valores um pouco superior do que

entre os IDD’s.

4. Análise 2: Avaliando a relação entre as notas do SAEB e as notas do

ENEM e do ENADE

Na segunda análise deste estudo, avaliamos o quanto a nota do SAEB de uma coorte

explica o desempenho dessa coorte no ENEM e no ENADE. Como indicamos, a

metodologia a ser testada se baseará na análise dos resultados de coortes geracionais por

meio da utilização de técnicas de pseudo-painel, controlando os problemas de viés de

seleção e mobilidade.

Antes de explicarmos a razão da utilização de pseudo-painel e sua metodologia de

construção, apresentamos alguns estudos em educação que se baseiam na construção de

coortes e de pseudo-painel, os quais servirão como base para a construção da análise

empírica deste trabalho.

4.1. Breve Revisão de Literatura Nacional utilizando Pseudo-Painel

Os estudos descritos brevemente a seguir verificam se a qualidade do ensino realmente

melhorou ou piorou, buscando superar os problemas de avaliação resultantes do “efeito

composição” e assim, direcionam as políticas públicas para a melhoria da qualidade da

educação. Resumidamente, o “efeito composição” consiste na piora do perfil sócio-

econômico dos alunos ao longo desse período devido a políticas públicas que incentivaram

o ingresso e permanência de alunos com situação sócio-econômica mais vulnerável no

sistema escolar (como a promoção automática ou a Bolsa-Escola). Esse problema de

composição da amostra pode induzir os formuladores de políticas a atuarem na direção

errada. Dessa forma, metodologias corretoras que permitam obter as proficiências das

gerações (incluindo aqueles que não são avaliados pelo SAEB) devem ser mais eficazes em

descrever a evolução da qualidade do sistema de ensino. Ademais, a análise de coortes

permite a utilização de diferentes bases de dados que possuam informações sobre as

mesmas, ou acompanhar os resultados dessas coortes ao longo do tempo.

Dentre os estudos sobre desempenho educacional de coortes geracionais pode-se destacar o

trabalho de Neri e Carvalho (2002). Os autores propõem uma metodologia corretora para

estimar a proficiência das crianças de diversos segmentos que não são avaliados pelo

SAEB, com a finalidade de verificar a ocorrência do chamado “efeito composição”, o qual,

na visão dos autores, pode ter sido responsável pela queda das proficiências observada nos

SAEBs de 1995 a 2001. A metodologia dos autores consistiu na especificação de um

modelo econométrico estimado por Mínimos Quadrados com o intuito de mensurar os

impactos de variáveis sócio-econômicas na proficiência. Para isso, utilizaram os dados do

SAEB 2001 sobre proficiência e provenientes dos questionários sócio-econômicos. As

variáveis utilizadas foram escolhidas seguindo a condição de que também estivessem

presentes na PNAD (Pesquisa Nacional por Amostra de Domicílios). Dessa forma,

puderam estimar as proficiências de diversos grupos etários não representados no SAEB

(atrasados ou fora da escola) com base nas variáveis da PNAD de 1995 a 2001.

Na mesma linha de raciocínio, os trabalhos de Fernandes e Natenzon (2003) e Fernandes

(2004) buscam identificar uma medida de proficiência para uma mesma geração, de modo a

anular a distorção na composição sócio-econômica da amostra resultante da variação nas

taxas de repetência, evasão, promoção e atendimento. Entretanto, grande parte de uma

mesma geração não é avaliada pelo SAEB, pois se encontra atrasada ou fora do sistema

escolar. Para superar esse problema os autores formularam a hipótese de que o desempenho

dos alunos não avaliados pelo SAEB era inferior ao do aluno do percentil 50 (aluno

mediano). Uma condição para essa análise ser possível é a de que o percentual de alunos

atrasados e evadidos seja menor do que 50% dos alunos da geração, e que a soma do

percentual dos alunos da coorte não avaliados pelo SAEB e do percentual de avaliados seja

maior do que 50% do total da geração. Dessa forma, baseados nessa hipótese, os autores

puderam estimar a nota do aluno mediano calculando o percentual de atrasados e evadidos,

e na idade adequada utilizando a PNAD e o SAEB. Em virtude do alto percentual de

atrasados, os autores não puderam estimar as notas dos alunos medianos para todos os

estados e anos do SAEB. Além disso, esse procedimento só foi viável para as gerações

adequadas à 4ª série do Ensino Fundamental (EF), pois as gerações adequadas à 8ª série do

EF e à 3ª série do Ensino Médio (EM) apresentavam uma alta proporção de atrasados e

evadidos, violando as condições citadas anteriormente.

Esses trabalhos citados anteriormente analisam a evolução da proficiência entre diferentes

gerações. Dessa maneira, considerando o nível sócio-econômico fixo no tempo, pode-se

observar a melhoria do sistema educacional sem os problemas causados por variáveis de

fluxo.

Dado um período minimamente satisfatório de pesquisas domiciliares e avaliações

educacionais poder-se-ia analisar a evolução do desempenho de uma determinada geração.

Nessa linha de raciocínio, uma metodologia promissora é a utilização de um pseudo-painel

que pode ser adaptado para o problema em questão de relacionar as bases de dados do

SAEB, do ENEM e do ENADE. Assim, alguns estudos que se basearam na utilização de

pseudo-painel com a utilização de resultados de proficiências no SAEB podem ser bem

elucidativos.

Curi e Menezes-Filho (2006), por exemplo, analisam coortes por meio da técnica de

pseudo-painel para analisar como a proficiência da geração afeta os salários a serem

recebidos por esta geração quando estiverem no mercado de trabalho. Os autores utilizam

duas bases: a PNAD e o SAEB. Por meio da seleção de duas gerações de nascidos entre

1977 e 1978 e entre 1979 e 1980, obtém as características das coortes na PNAD de 1982

para captar características quando crianças. Utilizam também dados do SAEB e da PNAD

de 1995 (primeira geração) ou 1997 (segunda geração) para analisar as proficiências e as

características desses dois grupos quando estavam no 3° ano do EM. Por fim, também usam

dados da PNAD de 2001 (primeira geração) e 2003 (segunda geração) quando os

indivíduos das coortes já auferiam renda. Contudo, os indivíduos de 2001 e 2003 que

fizeram parte das coortes selecionadas precisavam apresentar 10 anos de estudo e terem

nascido na mesma UF onde residiam em 1995 e 1997, o que resulta em um viés de

migração e em um viés educacional. Em seguida, as características foram agrupadas por

sexo, cor e Unidade da Federação, o que resultou em 108 observações de análise. Após a

construção da base, foi estimada uma regressão por Mínimos Quadrados Ordinários (MQO)

para variáveis do SAEB10 e utilizando a metodologia de Dahl (que busca controlar os dois

tipos de viés citados) foi regredido o logaritmo do salário contra o logaritmo da

proficiência, e ouras variáveis de controle, inclusive o erro da estimação anterior por MQO.

10 As variáveis dependentes foram o logaritmo das proficiências de matemática e de português, enquanto que as variáveis explicativas foram as características dos alunos (nível educacional da mãe), dos professores (logaritmo do salário dos professores, nível educacional dos professores e tempo de magistério), dos diretores (as mesmas características dos professores) e das escolas (rede, zona e se possuíam computadores, laboratórios de ciências, e /ou biblioteca).

Os resultados mostraram que as notas do SAEB não são estatisticamente significantes para

explicar os salários. Além disso, o que explicaria os salários seriam fatores não

considerados na primeira estimação, ou seja, o erro.

Oliva, Ponczek, Saito e Souza (2007) aplicam metodologias semelhantes de coortes e

pseudo-painel, mas nesse caso, analisam como a proficiência do SAEB de indivíduos do

sexo feminino afeta na probabilidade de gravidez e natimortos. As bases utilizadas no

trabalho são o SAEB e a PNAD. Os autores constroem duas gerações de nascidos entre

julho de 1979 a junho de 1981 e nascidos entre julho de 1981 a junho de 1983. Assim a

primeira geração se encontrava no 3° ano do EM em 1997 e a segunda em 1999. Foram

obtidas as proficiências no SAEB para o grupo de mulheres em 1997 e 1999 de forma a

representar as duas gerações. Foram também utilizados os dados das PNADs desses dois

anos para observar os dados de migração e sobre o indicativo de 10 anos de escolaridade

das coortes11. Na PNAD 2003 foram obtidas as variáveis indicativas de gravidez ou

natimortos. Os dados restringem-se ao sexo feminino e foram agregados por raça e

Unidade da Federação. Os autores formularam uma especificação para captar a influência

das variáveis explicativas sobre a proporção de mulheres da geração que passaram por uma

gravidez. Foram estimados os coeficientes das variáveis explicativas por dois métodos:

Mínimos Quadrados Ordinários e Mínimos Quadrados em Dois Estágios. As variáveis

utilizadas nas estimações foram os logaritmos da proporção de gravidez e da proporção de

natimortos (variáveis dependentes), logaritmo da proficiência, freqüência escolar,

proporção de pessoas da coorte com algum tempo na faculdade, proporção que apresentam

pai com nível superior e outras variáveis de controle (incluindo as variáveis de controle do

viés educacional e do viés de migração). No caso do Método de Dois Estágios, buscaram

considerar o problema da possível endogeneidade entre a gravidez e a proficiência. Para

isso, usaram diversos instrumentos para estimar a proficiência que foi utilizada no segundo

estágio12. Por fim, os resultados mostraram que não existe relação significativa entre as

11 Os indivíduos que fizeram parte das coortes, em 2003 precisavam apresentar 10 anos de estudo e não terem migrado para outro Estado desde o ano que foi aplicado o SAEB (1997 ou 1999). 12 A variável dependente foi o logaritmo da proficiência de matemática, enquanto as variáveis explicativas foram as características dos professores (logaritmo do salário dos professores, nível educacional dos professores e tempo de magistério), dos diretores (as mesmas características dos professores) e das escolas (se possuíam computadores e laboratórios de ciências).

notas do SAEB e a probabilidade de gravidez entre jovens (quando incluídas as variáveis de

controle) ou de natimortos.

4.2. Aplicando a Metodologia de Pseudo-Painel

A metodologia econométrica ideal para ser aplicada neste trabalho seria o uso de técnicas

de painel. Entretanto não dispomos de informações sobre um mesmo indivíduo em

diferentes momentos no tempo. Como forma de contornar a limitação dos dados a

estratégia empírica utilizada neste trabalho é o uso de pseudo-painel.

O objetivo é superar as limitações do uso de dados em cortes transversais (cross section),

notadamente a falta da dimensão temporal, que não permite a identificação de efeitos

específicos.

Apesar de não haver informações dos mesmos indivíduos ao longo do tempo, existe uma

série de dados transversais, nos quais indivíduos diferentes são pesquisados em cada

período. Este fato torna possível acompanhar gerações, ao invés de indivíduos, ao longo do

tempo.

A construção do pseudo-painel consiste na agregação, por características observáveis e

escolhidas segundo os objetivos de cada trabalho, dos dados a serem analisados em células,

estas serão análogas aos indivíduos em um painel.

Para definir as coortes, priorizamos a utilização de resultados de provas do ENEM mais

recentes. Isso porque, como já foi citado, somente nos últimos anos o ENEM tem se

aproximado da universalização – dado que se trata de um Exame de caráter voluntário.

Portanto, para realizar as estimações, utilizamos duas coortes: a primeira com indivíduos

nascidos entre julho de 1985 e junho de 1987, e a segunda com indivíduos nascidos entre

julho de 1987 e junho de 1989. Essa coorte estava na 4ª série do Ensino Fundamental nos

anos de 1997 e 1999, respectivamente – anos em que as coortes fizeram a prova do SAEB.

Posteriormente, essas mesmas coortes estavam no último ano do Ensino Médio em 2004 e

2006, respectivamente, quando fizeram a prova do ENEM.

As variáveis extraídas de cada uma das bases de dados utilizadas foram agrupadas por sexo,

raça e Unidade da Federação, o que resultou em 108 observações de análise para cada

variável13,14. Os dados estão na forma de um pseudo-painel, em que a unidade de análise

(célula) representa uma desagregação do Estado por raça (branco e não-branco) e gênero

(homem e mulher). Um exemplo de célula pode ser observado na tabela 1. Para a

construção das observações se calcula a média de cada variável entre os indivíduos que

fazem parte de cada uma das células.

Tabela 8 – Exemplo de célula do Pseudo-Painel

Unidade Estado Gênero Cor célula 1 Acre homem Branco célula 2 Acre homem não branco célula 3 Acre mulher Branco célula 4 Acre mulher não branco Fonte: elaboração própria.

Antes de analisar os resultados das estimações realizadas, apresentamos as estatísticas

descritivas referentes a essas estimações.

Em primeiro lugar, seguem as estatísticas relativas à previsão das notas do ENEM 2004

com base nas notas do SAEB 1997, e depois aquelas relativas à previsão das notas do

ENEM 2006 com base nas notas do SAEB 1999.

Devido ao grande número de células (108) em razão do significativo número de unidades

da federação existentes no Brasil, apresentaremos as estatísticas descritivas de forma

resumida, divididas por regiões do país, e não por estado.

A Tabela 9 apresenta as estatísticas resumidas referentes à variável dependente da primeira

estimação: as notas médias do ENEM 2004 de alunos da primeira coorte analisada – os

indivíduos nascidos entre julho de 1985 e junho de 1987.

13 Exceto no caso do ENEM 2004, para o qual não foi encontrado um número suficiente de indivíduos para formar as células referentes ao estado do Amapá. 14 Em alguns modelos foram incluídas as duas gerações na mesma regressão, como resultado, obtemos 216 observações. Neste caso ainda é incluída uma dummy para identificar a coorte.

Tabela 9 – Média da Nota Objetiva do ENEM 2004

Mulher Homem Região

Branca Não Branca Branco Não Branco Norte 40,68 38,26 44,55 43,48 Nordeste 45,03 39,83 53,76 47,12 Centro-Oeste 42,18 38,09 46,97 47,14 Sudeste 47,15 41,50 53,67 46,57 Sul 42,44 42,69 45,21 47,09

Fonte: elaboração própria com base em dados do INEP/MEC.

A Tabela 10, por sua vez, apresenta as estatísticas resumidas da variável utilizada para

predizer os resultados obtidos pelos alunos da coorte no ENEM 2004, ou seja, as notas

médias dos alunos da mesma coorte no SAEB 1997.

Tabela 10 – Média Agregada das Notas de Português e Matemática do SAEB 1997

Já as Tabelas 11 a 13 apresentadas na seqüência indicam as diferenças nos percentuais das

variáveis de controle na predição das notas do ENEM com base nas notas do SAEB, dadas

as regiões dos alunos, seu gênero e cor.

Tabela 11 – Percentual de alunos do ENEM 2004 cuja mãe concluiu o nível superior

Tabela 12 – Percentual de alunos do ENEM 2004 cujo pai concluiu o nível superior

Tabela 13 – Percentual de alunos do ENEM 2004 que estavam no último ano do Ensino Médio

Mais especificamente a Tabela 14 indica as estatísticas resumidas da variável utilizada na

tentativa de corrigir o possível viés de seleção dos alunos que tenham migrado de uma

unidade da federação para outra, comprometendo a construção das células por estado,

gênero e cor.

Tabela 14 – Percentual de alunos do ENEM 2004 que migraram de UF

Da mesma forma, a Tabela 15 apresenta as estatísticas resumidas referentes à variável

dependente da segunda estimação: as notas médias do ENEM 2006 de alunos da segunda

coorte analisada – os indivíduos nascidos entre julho de 1987 e junho de 1989.

Tabela 15 – Média da Nota Objetiva do ENEM 2006

Branca Não Branca Branco Não Branco Norte 33,09 31,22 36,89 33,99 Nordeste 35,17 32,53 40,55 36,65 Centro-Oeste 36,08 33,20 40,50 36,68 Sudeste 38,43 34,31 43,69 37,90 Sul 36,79 34,69 40,85 38,52 Fonte: elaboração própria com base em dados do INEP/MEC.

Analogamente, a Tabela 16 apresenta as estatísticas resumidas da variável utilizada para

predizer os resultados obtidos pelos alunos da coorte no ENEM 2006, ou seja, as notas

médias dos alunos da mesma coorte no SAEB 1999.

Tabela 16 – Média Agregada das Notas de Português e Matemática do SAEB 1999

As Tabelas 17 a 19 demonstram as o comportamento das variáveis de controle na predição

das notas do ENEM com base nas notas do SAEB, para os alunos que compõem a segunda

coorte utilizada.

Tabela 17 – Percentual de alunos do ENEM 2006 cuja mãe concluiu o nível superior

Tabela 18 – Percentual de alunos do ENEM 2004 cujo pai concluiu o nível superior

Tabela 1 – Percentual de alunos do ENEM 2006 que estavam no último ano do Ensino Médio

Mais uma vez a Tabela 20 apresenta as estatísticas resumidas da variável utilizada na

tentativa de corrigir o possível viés de seleção dos alunos que tenham migrado de uma

unidade da federação para outra.

Tabela 20 – Percentual de alunos do ENEM 2004 que migraram de UF

Percentual que Migrou - ENEM 2006 Mulher Homem

Região Branca Não Branca Branco Não Branco

Norte 0,17 0,15 0,19 0,12 Nordeste 0,07 0,06 0,08 0,06 Centro-Oeste 0,26 0,26 0,27 0,25 Sudeste 0,11 0,13 0,10 0,14 Sul 0,08 0,13 0,08 0,12 Fonte: elaboração própria com base em dados do INEP/MEC.

Prosseguindo com a análise, com a metodologia de pseudo-painel buscamos encontrar o

impacto da proficiência do SAEB das coortes quando se encontravam na 4a série do Ensino

Fundamental na nota do ENEM quando essas finalizavam o Ensino Médio. A especificação

básica utilizada nesta seção é a seguinte:

tttttttt opormigraçãoEMWSaebEnem µτββββ +++++Θ+= Pr54370 (6)

Por essa especificação, estimamos dois métodos com erros-padrão robustos: Ordinary Least

Squares (OLS) e Pooled OLS (POLS). A variável tEnem refere-se à nota média no ENEM

das células no período “t”, e 7−tSaeb representa a nota média no SAEB na 4a série em t-7

dessas mesmas células. O termo tW representa um vetor linha de covariadas, e Θ um vetor

coluna de parâmetros. As variáveis que compõem o primeiro vetor encontram-se como

percentual de pessoas dentro de cada célula e são as seguintes: alunos cujas mães possuem

educação superior; alunos cujos pais possuem educação superior. Quando a especificação

foi estimada por OLS, incluímos no vetor de covariadas as variáveis que fizeram parte da

construção das células: dummy de sexo, de raça e de Estado. Por fim, a variável tτ é uma

dummy de tempo que é igual a zero em 2004, e igual a 1 em 200615, e o termo tµ , por sua

vez, representa o termo aleatório do erro. Com exceção das proficiências do SAEB, que

foram obtidas no SAEB de 1997 e de 1999, todas as outras variáveis foram obtidas nos

bancos de dados do Enem de 2004 e de 2006.

Ainda em relação à especificação 6, existe a possibilidade de ocorrer viés de seleção por

duas razões. A primeira está relacionada com o fato de que somente os melhores alunos que

prestaram SAEB em t-7 prestariam o ENEM sete anos depois. Uma das principais razões

para esta auto-seleção ocorrer é devido à baixa taxa de conclusão do Ensino Médio entre os

jovens com até 19 anos, como se observa na Tabela 21. Alguns Estados do Nordeste não

apresentam nem 30% dos seus jovens, com até 19 anos, completando o Ensino Médio em

2004 e em 2006. Essa baixa taxa de conclusão está associada à evasão escolar e ao atraso

escolar nos anos intermediários a 4ª série (ano de aplicação do SAEB) e a 11ª série (ano

sugerido de aplicação do Enem). A outra razão dessa auto-seleção está relacionada à

escolha de tentar ingressar no Ensino Superior após o término do Ensino Básico. Os alunos

que não querem ou não se achem aptos a cursar o Ensino Superior, também não prestam

Mesmo se não houvesse essa auto-seleção, ainda existe a possibilidade de migração

estadual nesse intervalo de 7 anos. Por essa razão, a segunda possibilidade de viés de

15 Essa variável foi utilizada somente na estimação por POLS.

seleção está relacionada com a o fato de que parte dos alunos que prestaram o SAEB em t-7

mudaram de Estado no intervalo de tempo de 7 anos, e por isso, não serem os mesmos que

prestam o ENEM no período t.

É importante ressaltar que buscamos corrigir esses possíveis vieses de seleção causados

pela baixa conclusão do ensino médio, migração e escolha de tentar ingressar no Ensino

Superior com a inclusão de três variáveis na especificação 6: percentual de pessoas da

célula que estão no último ano do Ensino Médio (itEM ), percentual de pessoas da célula

que migraram no intervalo de 8 anos (migração) e proporção entre o total de pessoas da

célula que prestaram Enem e o total de pessoas da célula ( oporPr ). As duas primeiras

variáveis foram construídas com os dados da PNAD, e a última variável utilizou a PNAD

(para calcular o total das pessoas da célula) e o ENEM (para calcular o total de pessoas da

célula que prestou ENEM).

Tabela 21 – Taxa de Conclusão dos Jovens até 19 anos

Taxa de conclusão do Ensino Médio para jovens até 19 anos 2004 2006 BR 38,13 44,09 RO 31,30 39,75 AC 20,87 35,73 AM 29,88 32,79 RR 32,38 46,88 PA 16,37 20,46 AP 26,88 47,59 TO 30,39 35,43 MA 22,98 19,84 PI 13,95 22,39 CE 28,93 30,51 RN 25,00 44,20 PB 10,69 25,00 PE 24,44 29,10 AL 13,04 20,80 SE 17,60 32,48 BA 20,85 24,35 MG 38,45 45,76 ES 50,35 43,08 RJ 44,63 52,10 SP 58,23 65,52 PR 56,11 59,23 SC 51,01 52,97 RS 45,36 53,72 MS 34,51 33,02 MT 31,14 38,69 GO 40,26 41,05 DF 44,83 53,30

Fonte: Elaboração Própria com base nos dados das PNAD’s 2004 e 2006.

Os resultados das estimações por OLS e POLS encontram-se na tabela 22. As estimações

por OLS estão divididas em quatro categorias para cada ano de análise (2004 e 2006). Na

última linha da tabela 22, nomeamos as estimações de 1 a 4 para facilitar a visualização dos

resultados, e na primeira linha, podemos identificar para que ano a estimação ocorre. O

primeiro modelo (1) são as estimações sem peso e sem as dummies utilizadas para a

construção das células. Já no segundo modelo (2), estimamos a mesma especificação do

modelo 1, mas com os respectivos pesos da PNAD. No terceiro modelo (3), incluímos as

dummies que foram utilizadas para a construção das células (UF, sexo e raça), mas não

estimamos com peso. Por fim, o modelo 4 foi a mesma especificação do modelo 3, mas a

estimação foi com o peso. Vale ressaltar que omitimos as dummies de Estado da tabela,

nos modelos 3 e 4, por simplicidade. No entanto, na pasta Excel, que será enviada

juntamente com relatório, constará o arquivo “Estimações do Pseudo-Painel-SAEB e

ENEM” com as mesmas estimações, mas com as dummies de UF.

Como exercício adicional para analisarmos a relação entre a proficiência dos SAEBs 1997

e 1999 e a nota dos ENEMs 2004 e 2006, estimamos o modelo por POLS. Para isso, foi

necessário juntarmos os dois bancos: SAEB 1997 e ENEM 2004 com SAEB 1999 e ENEM

2006. Além disso, inserimos no modelo a variável ano ( tτ ) , e não colocamos as dummies

utilizadas na construção das células.

Os resultados demonstraram que existe uma relação positiva entre a nota do SAEB e a do

ENEM em todos os modelos estimados por OLS. Um aumento na nota do SAEB eleva o

desempenho no Enem. O mesmo ocorre para escolaridade da mãe e do pai, à medida que

aumenta o percentual de alunos com pais com Ensino Superior, aumenta a nota do ENEM.

Já o fato de ser mulher (modelos 3 e 4) reduz a nota do ENEM, e o fato de ser branco eleva

a nota do ENEM. Além disso, quando a variável proporção (Propor) aumenta, ocorre uma

elevação na nota de ENEM, mas isso ocorrer somente quando os resultados são

estatisticamente significativos (modelos 3 e 4 de 2006).

Tabela 2 – Estimações da capacidade de predição do SAEB em relação ao ENEM

Nota Enem OLS_2004 OLS_2004 OLS_2004 OLS_2004 OLS_2006 OLS_2006 OLS_2006 OLS_2006 POLS Proficiência SAEB 0.20*** 0.13*** 0.04 0.04 0.10*** 0.04 0.01 0.02* 0.16*** (0.04) (0.03) (0.10) (0.05) (0.03) (0.04) (0.02) (0.01) (0.03) Mãe Superior 14.86*** 17.85** 14.53** 20.77*** 10.20 28.03 1.36 -0.24 15.48*** (4.63) (7.53) (5.92) (5.50) (10.62) (20.87) (12.02) (9.89) (4.65) Pai Superior 16.69*** 24.18*** 6.19 5.79 24.76** 3.52 30.87** 28.46*** 16.70***

(3.65) (6.53) (5.62) (5.25) (11.59) (19.98) (11.72) (8.88) (3.64) Ensino Médio -14.10 -18.13** -1.52 4.83 -7.87 1.39 1.32 -0.18 -8.65

(8.99) (8.90) (11.91) (8.52) (5.87) (14.31) (3.30) (2.51) (6.68) Migração -9.97* 0.01 -25.35* -6.75 -5.85*** -5.35 -4.73* 0.19 -6.63***

(5.81) (6.02) (13.65) (5.24) (2.07) (3.72) (2.81) (2.14) (2.06) Propor 542.02 101.89 -496.69 -233.92 5.80 2.55 12.52*** 12.72*** 3.32

(450.66) (363.50) (734.23) (496.02) (5.96) (6.62) (2.46) (1.69) (5.78) Mulher -3.55** -4.82*** -3.48*** -4.03*** (1.58) (0.67) (0.24) (0.22) Branco 0.78 0.62 0.02 0.61*

(1.54) (0.88) (0.37) (0.34) Ano -4.99***

(1.19) Constante 3.26 16.18** 38.72* 29.86*** 13.84*** 24.60*** 33.56*** 25.09*** 9.88* (8.54) (6.71) (22.10) (9.48) (4.80) (6.37) (3.44) (3.15) (5.17) R² ajustado 0.66 0.74 0.78 0.93 0.62 0.61 0.96 0.98 0.74 N 103 103 103 103 108 108 108 108 211 Modelo 1 2 3 4 1 2 3 4

Os desvios padrão estão entre parênteses. * p<0,10; ** p<0,05; *** p<0,01

Na estimação por POLS, nota-se que uma elevação na proficiência do SAEB em t-7 na 4a

série, aumenta a nota do ENEM em t na 11a série. No que diz respeito à escolaridade dos

pais, um aumento no percentual de alunos com pais com nível superior eleva nota do

ENEM. Por fim, o fato de a análise ocorrer em 2006 (quando a dummy de ano é igual a 1)

reduz a nota do ENEM. Esse resultado pode estar revelando duas situações. A primeira é

que o ENEM 2004 e o ENEM 2006 não são comparáveis, já que não foram estruturados

com base na metodologia de Teoria de Reposta ao Item (TRI)16. A segunda situação que

pode estar ocorrendo é que o ENEM está em processo de universalização, entre os alunos

que estão finalizando o Ensino Médio, por essa razão, nesse intervalo de dois anos (2004 a

2006) ocorreu um aumento no número de participantes na prova do ENEM, o que pode

gerar uma prova mais elaborada, e conseqüentemente, mais difícil. Dessa forma, o valor

negativo que o coeficiente da dummy de tempo está captando pode ser resultado dessa

maior dificuldade da prova do ENEM de 2006, comparativamente a do ENEM de 2004.

16 Esta metodologia permite que as avaliações sejam comparáveis ao longo do tempo.

5. Conclusão

Neste projeto, buscamos analisar as possíveis relações entre algumas das avaliações

existentes no Brasil. Nosso principal exercício foi estudar a capacidade de predição da nota

do ENEM em relação à nota do ingressante no ENADE. Até onde temos conhecimento,

existe somente um trabalho empírico no Brasil que examina a capacidade preditiva de uma

avaliação em relação à outra. Esse estudo foi realizado por Pansanato e Soares (1999), e

trata da capacidade preditiva do ENEM em relação ao desempenho dos candidatos na 1ª

fase do vestibular da Universidade Federal de Minas Gerais (UFMG) de 1999. Nesse

estudo, a capacidade preditiva do ENEM em relação ao vestibular foi avaliada como

excelente, de modo que, se ocorresse a substituição da nota da 1ª fase do vestibular da

UFMG pela nota ENEM, o resultado do processo seletivo não se modificaria.

Diferentemente do estudo de Pansanato e Soares (1999), que calcularam a correlação entre

as notas dos alunos no ENEM e no vestibular da UFMG, este projeto calculou a capacidade

preditiva da nota do ENEM em relação à nota do ENADE do ingressante por meio do

recálculo do IDD. O valor, em média, da correlação entre o IDD calculado com a nota do

ENADE do ingressante e o IDD calculado com a nota do ENEM foi de 0,75, o que

consideramos um bom resultado – inclusive em comparação com o resultado obtido por

esses autores em sua correlação de ordem, o qual foi de 0,79, considerado excelente pelos

autores. Contudo, o resultado do presente trabalho deve levar em conta que somente

35,12% dos ingressantes que prestaram ENADE, também prestaram ENEM, e que estes

apresentaram nota no ENADE superior àqueles que não prestaram ENEM.

Por essa razão, da mesma forma que o Ministério da Educação determinou a

obrigatoriedade da participação dos alunos no ENADE, condicionando a obtenção do

diploma, sugerimos que o MEC determine que a realização do ENEM se torne obrigatória

para qualquer aluno que deseje se matricular em uma instituição de ensino superior,

independentemente desta instituição utilize o ENEM em seu processo seletivo ou não.

Desse modo, a totalidade dos alunos do ensino superior realizaria o ENEM e essa nota

serviria como uma substituta para a nota do ENADE dos ingressantes. Assim,

conseguiríamos, no longo prazo, utilizar no cálculo do IDD a nota do concluinte,

juntamente com sua nota no ENEM quando ingressou na IES17, ao invés da nota de outros

ingressantes.

Primeiramente, há uma grande vantagem na adoção dessa política pois isto geraria uma

redução de custos para o INEP, uma vez que não ocorreria mais a aplicação do ENADE

para os ingressantes nos cursos de graduação. Em segundo lugar, essa alteração geraria uma

medida melhor da qualidade dos alunos ingressantes em razão de que esses teriam maiores

incentivos ao realizar o ENEM do que ao realizar o ENADE. Isso porque, embora

estejamos sugerindo que o ENEM seja obrigatório para todos aqueles que desejem se

matricular em um curso de graduação, o Exame já é utilizado para o processo seletivo de

diversas IES e para programas como o Prouni, o que já torna o ENEM um exame com mais

incentivos para que os alunos empreguem um real esforço do que o ENADE para os

ingressantes.

Vale ressaltar que este processo deve ser realizado de forma cuidadosa, precedido de

análises cuidadosas dos questionários socioeconômicos aplicados aos estudantes em ambos

os Exames, de forma a compatibilizar esses questionários e não correr o risco de perder

informações importantes a serem utilizadas nos processos de avaliação e regulação de

cursos e em estudos que subsidiem as políticas educacionais brasileiras.

Além disso, também procuramos testar quanto da proficiência do SAEB de uma

determinada coorte explica a nota do Enem desta coorte. Nesta análise adicional, os

resultados demonstraram que existe uma relação positiva entre a nota do SAEB e a do

ENEM em todos os modelos estimados, ou seja, um aumento na nota do SAEB de fato

eleva o desempenho no ENEM.

17 Mesmo no longo prazo, utilizar a nota do ENADE do aluno concluinte, quando este foi ingressante é incerto, uma vez que, o seu curso poderia não fazer parte do conjunto de cursos avaliados no período em que ingressou na IES. Além disso, mesmo que seu curso tenha sido avaliado, este concluinte poderia não ter sido parte da amostra que prestou o ENADE quando era ingressante.

Referências Bibliográficas

Benveniste, Luis (2002). The Political Structuration of Assessment: Negotiating State Power and Legitimacy. Comparative Education Review, Vol. 46, No. 1, Special Issue on The Meanings of Globalization for Educational Change, (Feb., 2002), pp. 89-118.

Hanushek, Eric A., Margaret E. Raymond (2004). The Effect of School Accountability Systems on the Level and Distribution of Student Achievement. Journal of the European Economic Association 2 (2-3): 406-415.

INEP (2007) “Resultado do Indicador de Diferença entre os Desempenhos Esperado e Observado - IDD”. Nota Técnica do IDD.

Pansanato, Kleber Adriano; Soares, José Francisco (1999). “Desempenho dos alunos no ENEM e no vestibular da UFMG”. Apresentado na 1a. Jornada Latino-Americana de Estatística Aplicada. Anais, São Carlos, Brasil.

Wang, L.; Beckett, G. H.; Brown, L. (2006). Controversies of Standardized Assessment in School Accountability Reform: A Critical Synthesis of Multidisciplinary Research Evidence. Applied Measurement in Education, 19(4), 305–328, 2006.

Etapa1 An lise das Poss veis Inter-rela es entre as Bases ...¡lisedasPossíveisInter... · 1....

Documents

PROVÃO ANAC 3

TIC-APLICACION-ETAPA1-SEGUNDO SEMESTRE

Provão 4º BIM 2012 GAB

PROVÃO ANAC CT.pdf

Apresentação 2 revisão provão 2 ano

Clase1 etapa1

1º PROVÃO DE LÍNGUA PORTUGUESA

Rezultate Stlic Etapa1 Alf Alfabetic

PROVÃO 97 Prova de Engenharia Civil

Barometrul de Consum Cultural 2010 Etapa1

INFORME(EDIFICIO(CORMORAN( ETAPA1( · 14!Enero!2015!!! ! INFORME(EDIFICIO(CORMORAN(ETAPA1(División’Vivienda’Propia’ Armada’de’Chile’!!

Apresentação1 revisão provão 2 ano

Provão 2002

PROVÃO ANAC 2

PROVÃO ANAC 4

Prova PAAES Etapa1 2008-2011 Tipo1

Provão 9° ano 1ºsem2016

Revisão para o Provão

Provão 8° ano 1ºsem2016

PROVÃO ANAC 5