Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
Autores
Ana Carolina Zoghbi
Gabriela Moriconi
Bruno Oliva
Análise das Possíveis Inter-relações entre as Bases de Dados
do SAEB, do ENEM e do ENADE
Relatório Final - 2009
Análise das possíveis Inter-relações entre as Bases de Dados do SAEB, do ENEM e do ENADE
ÍNDICE
1. Introdução __________________________________________________________ 3
2. Bases de Dados ______________________________________________________ 8
2.1. SAEB ____________________________________________________________ 8
2.2. ENEM ___________________________________________________________ 9
2.3. ENADE __________________________________________________________ 9
2.4. PNAD ___________________________________________________________ 11
3. Análise 1: Avaliando a capacidade preditiva do ENEM em relação ao ENADE__ 12
3.1. O cálculo do IDD original___________________________________________ 12
3.2. Metodologia para recálculo do IDD ___________________________________ 15
4. Análise 2: Avaliando a relação entre as notas do SAEB e as notas do ENEM e do ENADE _______________________________________________________________ 28
4.1. Breve Revisão de Literatura Nacional utilizando Pseudo-Painel ____________ 28
4.2. Aplicando a Metodologia de Pseudo-Painel_____________________________ 32
5. Conclusão__________________________________________________________ 44
1. Introdução
As avaliações educacionais de grande escala, uma realidade presente em diversas partes do
mundo desde a década de 70, vêm crescendo no Brasil nos últimos anos, tanto em
quantidade como em qualidade. O Sistema Nacional de Avaliação da Educação Básica
(SAEB) foi a primeira iniciativa brasileira, em escala nacional, para se conhecer o sistema
educacional brasileiro em profundidade. O SAEB começou a ser desenvolvido no final dos
anos 80 e foi aplicado pela primeira vez em 1990. A partir daí, foram desenvolvidas outras
avaliações educacionais em escala nacional: o Exame Nacional de Cursos (Provão)
aplicado aos formandos de cursos de graduação no período de 1996 a 2003, posteriormente
substituído pelo Exame Nacional de Desempenho de Estudantes (ENADE) também para
avaliação dos alunos do ensino superior; o Exame Nacional do Ensino Médio (ENEM), que
teve sua primeira edição em 1998 e vem sendo universalizado recentemente; e a Prova
Brasil, o qual também avalia o ensino básico, mas de forma censitária para as escolas
públicas, a partir de 2005.
É interessante observar que os governos estaduais também têm investido bastante no
desenvolvimento de sistemas estaduais de avaliação para o ensino fundamental e ensino
médio. Entre as principais deles, encontramos o Sistema Permanente de Avaliação do
Ensino do Ceará (SPAECE), iniciado em 1992; o Sistema de Avaliação do Rendimento
Escolar do Estado de São Paulo (SARESP), iniciado em 1996; o Projeto de Avaliação
Externa do estado da Bahia, iniciado em 1999; o Sistema de Avaliação Educacional de
Pernambuco, iniciado em 2000; o Avalia Rio do estado do Rio de Janeiro, também iniciado
em 2000; e o Sistema Mineiro de Avaliação Educacional (SIMAVE), iniciado em 2001.
Todas essas iniciativas tiveram origem após a criação do SAEB – muitas delas tendo como
um de seus objetivos realizar a avaliação dos alunos de forma censitária em seu respectivo
estado.
Essas iniciativas são extremamente importantes na medida em que os sistemas de avaliação
do desempenho dos alunos, sejam eles internos ou externos, permitem a constatação do
nível educacional desses alunos, bem como as deficiências e avanços alcançados. Dessa
forma, são relevantes instrumentos tanto para a formulação de políticas educacionais com o
objetivo de melhorar a aprendizagem de todos os alunos, podendo inclusive auxiliar na
busca por maior eqüidade na aprendizagem, como também na análise do impacto dessas
políticas educacionais posteriormente.
Benveniste (2002), ao analisar a criação dos sistemas de avaliação educacional na América
Latina, observa sua relação com um movimento global de mudança do papel do Estado, de
modo a se concentrar na construção de consenso, disseminação de informação, avaliação e
compensação de desigualdades. A avaliação traria o potencial de promover um uso mais
eficiente dos recursos; promover constante melhoria e salvaguardar uma distribuição justa
de bens e serviços; e encorajar autonomia regional.
Wang et al (2006) discutem os tipos de avaliação educacional de acordo com os propósitos
com os quais são desenhadas. Elas vão desde avaliações centradas na accountability, nas
quais os resultados das avaliações devem ser utilizados para responsabilizar professores,
alunos e escolas por seus sucessos e fracassos; passando por avaliações direcionadas a
reformas e ao alcance de padrões pré-determinados de aprendizagem; até chegar ao tipo de
avaliação ligada a recompensas e sanções aos responsáveis pela aprendizagem dos alunos.
No Brasil, as avaliações de cunho nacional têm primordialmente um aspecto de
accountability, como é o caso do SAEB e do ENADE. O SAEB e a Prova Brasil,
especialmente, foram desenvolvidos de modo a permitir identificar níveis de aprendizado
esperado para os alunos das diversas séries avaliadas e observar o alcance desses níveis.
Em relação às avaliações estaduais, é possível afirmar que algumas já caminham inclusive
para a criação de recompensas com base nos resultados da avaliação, como é o caso do
Estado de São Paulo, onde recentemente foi aprovado um bônus para os professores com
base no desempenho da respectiva escola no SARESP. No entanto, o caráter de
accountability, onde prevalece a disseminação de informações, e não necessariamente a
definição de alguma recompensa ou punição, ainda prevalece nas experiências brasileiras –
o que não deve ser visto como algo negativo. Hanushek e Raymond (2004) encontram
resultados empíricos que indicam que tanto os estados americanos que têm sistemas de
avaliação com base apenas na accountability quanto aqueles que prevêem recompensas e
punições obtiveram melhores desempenhos educacionais do que os estados sem nenhum
dos dois tipos de avaliação.
Obviamente, quanto mais pesquisas e dados sobre educação existirem, melhor será a
informação disponível para a accountability por parte da população e para a formulação de
políticas públicas. Contudo, a proliferação de bases de dados, especialmente de avaliações,
pode produzir uma perda de eficácia se não executada de forma cuidadosa. Esse é o caso do
Exame Nacional de Desempenho dos Estudantes (ENADE). Já está bastante claro que o
ENADE representou um avanço significativo em termos de qualidade de informações
comparativamente ao Exame Nacional de Cursos (Provão). Enquanto este último buscava
somente uma avaliação dos cursos das Instituições de Ensino Superior (IES) em termos
absolutos, que distorcia as conclusões a respeito da qualidade desses cursos, pois refletia
em grande medida a qualidade de seus alunos antes mesmo de entrarem no ensino superior,
o primeiro também tenta avaliar o conhecimento que cada instituição agrega aos seus
alunos. Para isso o ENADE utilizou-se do desempenho dos alunos no primeiro ano do
curso como proxy para a qualidade dos alunos antes de ingressarem no ensino superior.
Dessa forma, o ENADE tentou diminuir o problema do viés de seleção presente na
avaliação institucional do Provão. Além disso, o ENADE representou uma grande
diminuição no custo de aplicação, pois avalia com base em amostras de estudantes, ao
contrário do Provão que era obrigatório a todos os concluintes. Contudo, o risco de uma
séria distorção relacionada com a falta de incentivos que os estudantes ingressantes têm
para se esforçarem na realização da prova ainda permanece com o ENADE. Tal distorção
será mais acentuada quanto maior for a heterogeneidade do esforço dos alunos ingressantes
entre as escolas. Por exemplo, se uma escola que agregue mais conhecimento tiver
ingressantes mais esforçados que escolas que agreguem menos conhecimento, o ENADE
subestimará o verdadeiro valor médio agregado pelo ensino superior brasileiro.
Nesse sentido, poder-se-ia pensar em utilizar os resultados do Exame Nacional do Ensino
Médio (ENEM) como medida do conhecimento dos ingressantes. Dados do INEP mostram
que o número de avaliados pelo ENEM nos últimos anos se aproximou do total do universo
de alunos que concluíram o Ensino Médio e buscam ingressar em uma universidade1. No
1 Programas de bolsas de estudos como o Prouni (Federal) e outros programas regionais têm utilizado cada vez mais os resultados do ENEM como critério de seleção. Esses incentivos despertaram um maior interesse nos egressos do Ensino Médio em ingressar em cursos superiores. Além disso, diversas IES públicas e privadas também utilizam de alguma forma os resultados do ENEM como critério de ingresso ou bolsas de
caso do ENEM, o problema de moral hazard, descrito acima, é minimizado pelo forte
incentivo que o aluno tem ao fazer a prova, uma vez que o seu desempenho será critério
para o processo seletivo nas Universidades.
Dada a possibilidade de estabelecer uma correspondência entre os alunos ingressantes do
ENADE e os inscritos no ENEM por meio de códigos comuns (RG ou CPF), por exemplo,
a utilização dos resultados do ENEM como meio de prever o desempenho dos ingressantes
é viável e também desejável. Ademais, como forma de tornar o método mais eficiente,
características dos alunos presentes em outras bases de dados poderão ser utilizadas.
Aproveitando esta lacuna na literatura empírica brasileira, o principal objetivo deste
trabalho é analisar as possíveis inter-relações entre os resultados das diferentes avaliações
realizadas pelo INEP contidas nas bases de dados do SAEB, do ENEM e do ENADE.
Desse modo, pretende-se que as inter-relações entre as avaliações permitam ampliar as
possibilidades de pesquisa em educação, o que conseqüentemente se traduziria em uma
maior quantidade de informação nova para auxiliar a formulação e implantação de políticas
públicas, também permitindo a proposição de melhorias em termos de eficiência na
realização da avaliação educacional no Brasil.
Para tanto, em primeiro lugar testaremos a capacidade de predição da nota do ENEM em
relação à nota dos ingressantes do ENADE, dados os incentivos a realizar o primeiro deles.
Será realizado também um estudo da comparabilidade entre essas duas bases, como por
exemplo, sobre a quantidade de alunos ingressantes do ENADE que também fizeram o
ENEM. Desse modo, será possível reestimar o valor (conhecimento) agregado de cada
instituição com base nos resultados do ENEM e comparar com os resultados já obtidos pelo
INEP utilizando as notas dos ingressantes no ENADE.
Em segundo lugar será avaliado o quanto a nota do SAEB de uma coorte explica o
desempenho dessa coorte no ENEM e no ENADE. A metodologia a ser testada se baseará
na análise dos resultados de coortes geracionais por meio da utilização de técnicas de
pseudo-painel, controlando os problemas de viés de seleção e mobilidade. Com esta
estudos. Assim, esses fatores, em conjunto, proporcionaram um aumento expressivo na quantidade de inscritos no ENEM.
análise, pretende-se agregar mais informações ao estudo dos resultados das avaliações
educacionais realizadas no país, oferecendo maiores subsídios à revisão das políticas de
avaliação do ensino no Brasil.
2. Bases de Dados
Dados os objetivos desse estudo, serão utilizadas diferentes bases de dados para a análise
empírica, as quais descrevemos a seguir. Essas bases de dados são oriundas das seguintes
avaliações educacionais nacionais realizadas pelo INEP: SAEB, ENEM e ENADE.
Adicionalmente, também faremos uso da Pesquisa Nacional por Amostra de Domicílios
(PNAD), descrita por último nesta seção.
2.1. SAEB
O SAEB, Sistema Nacional de Avaliação do Ensino Básico, foi a primeira iniciativa
brasileira, em escala nacional, para se conhecer o sistema educacional brasileiro em
profundidade. Ele começou a ser desenvolvido no final dos anos 80 e foi aplicado pela
primeira vez em 1990.
Em 1995, o SAEB passou por uma reestruturação metodológica que possibilita a
comparação dos desempenhos ao longo dos anos. Desde a sua primeira avaliação, fornece
dados sobre a qualidade dos sistemas educacionais do Brasil como um todo, das regiões
geográficas e das unidades federadas (estados e Distrito Federal).
No SAEB, os alunos fazem prova de Língua Portuguesa (com foco em leitura) e
Matemática (com foco na resolução de problemas). Diretores, professores e alunos
respondem a questionários sócio-econômicos.
O SAEB é feito a cada dois anos e avalia uma amostra representativa dos alunos
regularmente matriculados nas 4ª e 8ª séries do ensino fundamental e 3º ano do ensino
médio, de escolas públicas e privadas, localizadas em área urbana ou rural.
As notas do SAEB são apresentadas em uma escala de proficiência que varia entre 0 e 500.
Cada uma das disciplinas tem uma interpretação específica da escala, que é única para as
três séries avaliadas. As médias de proficiência da escala apontam os distintos graus de
desenvolvimento de habilidades, competências e aquisição de conhecimentos pelos
estudantes ao longo dos anos de estudo. Portanto, é esperado que alunos da 4ª série
alcancem médias numéricas menores que os de 8ª série e estes alcancem médias menores
que as alcançadas pelos alunos de 3º ano do ensino médio.
2.2. ENEM
O ENEM, Exame Nacional do Ensino Médio, é um exame individual, de caráter voluntário,
oferecido anualmente aos estudantes que estão concluindo ou que já concluíram o ensino
médio em anos anteriores.
O principal objetivo do ENEM é avaliar o desempenho do aluno ao término da escolaridade
básica, para aferir desenvolvimento de competências fundamentais ao exercício pleno da
cidadania. Porém, desde a sua concepção, o Exame foi pensado também como modalidade
alternativa ou complementar aos exames de acesso aos cursos profissionalizantes pós-
médio e ao ensino superior.
Apesar de ser voluntário, o ENEM caminha para a universalização entre os estudantes que
terminam o ensino médio, pois diversas instituições de ensino superior (IES) têm passado a
utilizar os resultados do Enem como componente dos seus processos seletivos. Além disso,
essa universalização do Exame tem sido promovida pelo seu uso para a participação em
programas governamentais de acesso ao ensino superior, como o ProUni, por exemplo, que
utiliza os resultados do ENEM como pré-requisito para a distribuição de bolsas de ensino
em instituições privadas de ensino superior.
A prova do ENEM é interdisciplinar e contextualizada. Nela, busca-se colocar o estudante
diante de situações-problemas e medir não apenas se ele conhece os conceitos, mas se sabe
aplicá-los. A prova é composta de uma parte objetiva com 63 questões e de uma redação.
Trabalha com uma escala clássica de 0 a 100 para a atribuição da nota final, tanto na parte
objetiva quanto na redação.
2.3. ENADE
O ENADE, Exame Nacional de Desempenho de Estudantes, é um exame aplicado aos
alunos ingressantes e concluintes em cursos de graduação, de áreas definidas pelo MEC
anualmente, sendo que a periodicidade máxima de aplicação do ENADE a cada área é
trienal.
O objetivo do ENADE é avaliar o desempenho dos estudantes com relação aos conteúdos
programáticos previstos nas diretrizes curriculares dos cursos de graduação, o
desenvolvimento de competências e habilidades necessárias ao aprofundamento da
formação geral e profissional, e o nível de atualização dos estudantes com relação à
realidade brasileira e mundial. O Exame é parte integrante do SINAES (Sistema Nacional
de Avaliação do Ensino Superior), juntamente com a avaliação institucional e a avaliação
dos cursos de graduação.
A prova é composta de 40 questões no total, sendo 10 questões da parte de formação geral,
comum aos estudantes de todos os cursos que realizam o ENADE naquele ano, e 30 de um
componente específico, relativo àquele curso de graduação, contendo as duas partes
questões discursivas e de múltipla escolha. As notas obtidas pelos alunos são transformadas
em valores de 0 a 100, para divulgação posterior.
Já o conceito do curso é calculado pela média ponderada da nota padronizada dos
concluintes no componente específico, da nota padronizada dos ingressantes no
componente específico e da nota padronizada em formação geral (concluintes e
ingressantes), possuindo estas, respectivamente, os seguintes pesos: 60%, 15% e 25%.
Assim, a parte referente ao componente específico contribui com 75% da nota final do
curso, enquanto que a parte de formação geral contribui com 25%. O conceito é
apresentado em cinco categorias (1 a 5), sendo que 1 é o resultado mais baixo e 5 é o
melhor resultado possível, na área.
O ENADE é realizado por amostragem e a participação no Exame constará no histórico
escolar do estudante ou, quando for o caso, sua dispensa pelo MEC. O INEP/MEC constitui
a amostra dos participantes a partir da inscrição, na própria instituição de ensino superior,
dos alunos habilitados a fazer a prova.
O ENADE é componente curricular obrigatório dos cursos de graduação, sendo o registro
de participação condição indispensável para a emissão do histórico escolar,
independentemente de o estudante ter sido selecionado ou não no processo de amostragem
do INEP.
2.4. PNAD
A PNAD, Pesquisa Nacional por Amostra de Domicílio, é uma pesquisa feita pelo IBGE
(Instituto Brasileiro de Geografia e Estatística) em uma amostra de domicílios brasileiros
que, por ter propósitos múltiplos, investiga diversas características socioeconômicas da
sociedade, como população, educação, trabalho, rendimento, habitação, previdência social,
migração, fecundidade, nupcialidade, saúde, nutrição etc., entre outros temas que são
incluídos na pesquisa de acordo com as necessidades de informação para o Brasil.
A pesquisa é feita em todas as regiões do Brasil, incluindo as áreas rurais de Rondônia,
Acre, Amazonas, Roraima, Pará e Amapá (excluídas até recentemente). Sua periodicidade é
anual, excluídos os anos em que são realizados os Censos Populacionais.
Vale ressaltar que, embora também possua informações relacionadas à educação dos
indivíduos, a PNAD não é uma pesquisa especificamente de cunho educacional. No caso
deste estudo, a PNAD servirá apenas como fonte de dados de apoio, como descreveremos
na metodologia mais adiante.
3. Análise 1: Avaliando a capacidade preditiva do ENEM em relação ao
ENADE
Esta seção trata da capacidade preditiva das notas dos alunos participantes do ENEM em
relação às notas desses mesmos alunos no ENADE. O objetivo dessa análise é estudar a
viabilidade da utilização da nota do ENEM para os mesmos objetivos nas quais são
empregadas as notas dos ingressantes do ENADE, o que indicaria a possibilidade de
substituição da primeira pela segunda, reduzindo uma prova e aumentando a eficiência
deste processo avaliativo.
A principal aplicação da nota do ingressante do ENADE é o cálculo anual do IDD, o
Indicador de Diferença entre os Desempenhos Observado e Esperado. Assim, a nossa
análise dessa potencial capacidade preditiva será realizada por meio do recálculo do IDD
2006 substituindo a nota do ENADE dos alunos ingressantes pela nota do ENEM 2005
desses mesmos alunos. Os resultados dessa pesquisa permitirão ao MEC (Ministério da
Educação) avaliar de forma mais crítica a importância da aplicação da prova do ENADE
nos alunos ingressantes nos cursos avaliados.
A fim de esclarecer a metodologia adotada nessa primeira análise, segue uma breve
descrição do IDD, baseada na nota técnica divulgada pelo INEP.
3.1. O cálculo do IDD original
Um aspecto muito importante que deve ser considerado ao avaliar a qualidade de um curso
é o seu “valor agregado” ao aluno. Este conceito diz respeito a quanto o curso contribuiu
para o desenvolvimento das habilidades dos estudantes.
Existe uma série de problemas que precisam ser contornados para que se obtenha uma
medida adequada de valor agregado. Notadamente, o fato de o perfil dos alunos
ingressantes ser muito desigual entre as diferentes instituições influencia sobremaneira o
resultado dos concluintes em exames de aptidão, na medida em que carrega características
que não estão relacionadas com a qualidade do curso que se pretende avaliar.
O Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) é uma forma
de mensurar o valor agregado. Grosso modo o IDD procura comparar o desempenho dos
estudantes concluintes de uma instituição em relação aos resultados obtidos pelas demais
instituições cujos perfis dos ingressantes sejam semelhantes. Para tanto é preciso analisar o
perfil dos ingressantes e concluintes do mesmo curso. A partir do desempenho dos alunos
ingressantes é possível estimar qual seria o resultado esperado dos estudantes ao final do
curso.
O cálculo efetivo do IDD nada mais é que a diferença do desempenho médio observado
pelos concluintes de uma instituição e o desempenho esperado para os mesmos. Isto posto,
cabe discutir como é estimado o desempenho esperado dos alunos concluintes.
Os determinantes do desempenho médio dos estudantes concluintes de um curso (iC )
foram separados em três parcelas: i) a primeira (IiC ) determinada pelo nível médio de
formação dos estudantes que ingressaram no curso (iI )2, ii) a segunda parcela (iD )
determinada pela diferença da qualidade do curso em que o aluno está matriculado (iQ ) e a
qualidade média dos cursos (iQ ) e iii) um distúrbio aleatório (ie ). Formalmente temos:
iiIii eDCC ++= , sendo
[ ]iiIi ICEC |= e (1)
[ ] 0,| =iii DCeE .
A equação utilizada para a estimação de iC :
iiiii uZWPC ++++= δγβα , onde (2)
iC : média ponderada das notas médias de conteúdo específico e de formação geral dos
concluintes do curso “i”;
iP : média ponderada das notas médias de conteúdo específico e de formação geral dos
ingressantes do curso “i”;
iW : proporção de estudantes do curso “i” cujos pais possuem nível superior; e
2 Este recurso é utilizado por não haver informações sobre as características de formação anterior ao início do curso para os alunos concluintes. Portanto há a suposição implícita de que esta característica é semelhante entre os dois grupos de alunos para cada curso.
iZ : razão entre o número de concluintes e o número de ingressantes no curso “i”.
Pela equação (2) temos que:
[ ] iiiii ZWPICE δγβα +++=| ;
iii eDu += ; e
[ ] 0=iuE
Sendo assim, os resíduos da regressão geram uma estimativa da diferença entre o
desempenho médio e o esperado dos concluintes de cada curso.
Iiii CCD ˆˆ −=
Tendo sido exposto o método utilizado para estimar iD cabe fazer alguns comentários
acerca de alguns procedimentos que foram adotados para minimizar a possibilidade de
ocorrência de erros na estimação:
i) para o cálculo da nota média foram considerados apenas os estudantes que
obtiveram notas positivas;
ii) cursos com menos de dez participantes, ou com taxa de participação inferior a
20% dos selecionados, foram excluídos da estimação3.
A partir do valor estimado de iD , dividindo-o pelo seu desvio padrão, obtêm-se o seu valor
padronizado ( PADiD ). Com o intuito de melhorar as estimativas, os indicadores fora do
intervalo entre -3 e 3 foram excluídos da amostra. A partir daí todo o processo é refeito para
se obter o Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) de
cada curso.
Complementarmente, é calculado o IDD conceito segundo os critérios que seguem:
iINF
ISUP
iINF
i
iIDDIDD
IDDIDDZ
+
+= *5 , sendo
3 Entretanto, o desempenho esperado foi computado foi computado para os cursos com taxa de participação inferior a 20%, desde que preenchido os outros requisitos elencados.
iZ : transformação do IDD para criação das faixas de conceito;
iINFIDD : módulo do menor IDD acima de -3; e
ISUPIDD : maior IDD abaixo de 3.
Os conceitos foram definidos segundo exposto na tabela abaixo.
Tabela 1 – Valores do IDD Conceito
IDD conceito Valor de Zi
1 0,0 a 0,9 2 1,0 a 1,9 3 2,0 a 2,9 4 3,0 a 3,9 5 4,0 a 5,0 Fonte: Nota Técnica do IDD realizada pelo INEP.
3.2. Metodologia para recálculo do IDD
Como indicamos, a metodologia utilizada para analisar a potencial capacidade preditiva
será o recálculo do IDD 2006 substituindo a nota do ENADE dos alunos ingressantes pela
nota do ENEM 2005 desses mesmos alunos.
Este estudo foi possível devido à disponibilização dos microdados do ENADE 2006 e do
ENEM 2005, juntamente com o CPF dos participantes nestes exames. Vale ressaltar que foi
assinado um termo de compromisso para que não houvesse divulgação de resultados em
que o aluno pudesse ser identificado. Com o CPF dos participantes do ENADE e do
ENEM foi possível identificar os alunos que fizeram o ENEM em 2005 e que também
participaram do ENADE 2006.
Contudo, não conseguimos identificar todos os alunos ingressantes que participaram do
ENADE 2006 no ENEM 2005. Mesmo com a expansão do ENEM entre os alunos que
estão concluindo o ensino médio, é provável observarmos pessoas ingressando na
Universidade após alguns anos da finalização do seu Ensino Médio4, assim, essas pessoas
apresentam menor probabilidade de realizar o ENEM. Dentre os 276.750 alunos
ingressantes que realizaram o ENADE 2006, recuperamos no ENEM 2005 um total de
78.797, o que representa 35,12% da amostra. O banco completo contendo os alunos
4 Infelizmente no questionário do Enade não há uma variável que identifique o ano de conclusão do Ensino Médio dos alunos, não permitindo que esse quantitativo seja calculado.
ingressantes que participaram das duas avaliações e os alunos concluintes que participaram
do ENADE totalizou em 291.022.
Uma vez que o novo banco apresenta somente 35,12% dos ingressantes que participaram
do ENADE, optamos por recalcular o IDD de duas formas. Primeiramente, recalculamos o
IDD utilizando as notas do ENADE dos ingressantes e dos concluintes da forma
tradicional5. Em seguida, recalculamos o IDD com a nota do ENEM dos ingressantes e com
a nota do ENADE dos concluintes. Ao recalcularmos o IDD da forma tradicional com o
banco reduzido, criamos um IDD que pode ser comparável com o IDD calculado a partir da
nota do ENEM6.
Antes de prosseguirmos com o cálculo do IDD foi necessário agregarmos as informações
dos alunos por curso. O IDD 2006 divulgado pelo INEP foi calculado para os seguintes
cursos:
1. Administração
2. Arquivologia
3. Biblioteconomia
4. Biomedicina
5. Ciências Contábeis
6. Ciências Econômicas
7. Comunicação Social
8. Design
9. Direito
10. Música
11. Normal Superior
12. Psicologia
13. Secretariado Executivo
14. Teatro
5 Quando nos referimos ao Cálculo IDD da “Forma Tradicional”, utilizamos a metodologia da nota técnica do IDD divulgada pelo INEP e descrita na subseção 3.1.. Por essa metodologia, o cálculo baseia-se na nota do ingressante e do concluinte do ENADE. 6 No cálculo dos IDD’s com a nota do Enade do ingressante, ou com a nota do Enem foram utilizados os filtros mencionados na descrição da metodologia de cálculo do IDD.
15. Turismo
As estimações que geraram o cálculo do IDD foram realizadas separadamente para cada um
desses 15 cursos pelo método de Ordinary Least Squares (OLS). Primeiramente,
calculamos o IDD pela metodologia tradicional com a estimação da equação 3.
igigigigig ingrconcEscpaiingresEnadeconclEnade εββββ ++++= 3210 sup___ (3)
Contudo, ao estimarmos esta equação com a base reduzida, encontramos a possibilidades
de viés de seleção relacionado com a escolha de prestar o ENEM7. Esse viés ocorre pelo
fato do grupo de ingressantes que prestou o ENEM apresentarem as melhores notas no
ENADE, comparativamente aos ingressantes que não prestaram ENEM, como podemos
observar na tabela 2.
Tabela 2 – Média do ENADE dos Ingressantes que Prestaram ou não o ENEM
Amostral Expandido Prestou
Enem Não
prestou Enem
Prestou Enem
Não prestou Enem
Média Nota Formação Geral do Enade 40,13 32,43 46,86 43,1 Média Nota Específica do Enade 29,32 24,47 33,99 32,47 Média Nota Geral do Enade 33,42 27,57 38,95 36,71
Fonte: Elaboração Própria com base nos microdados do ENADE 2006 e do ENEM 2005.
Para corrigimos esse viés seleção, construímos uma variável ( opPr ) que representa o
percentual de alunos, em cada curso, que prestou o ENEM, e também prestou o ENADE,
dentre o grupo de ingressantes. Assim, a equação 4 representa a re-estimação do modelo
com a nota do ingressante e do concluinte do ENADE com uma variável a mais, opPr .
igigigigigig opingrconcEscpaiingresEnadeconclEnade εβββββ +++++= Prsup___ 43210 (4)
Além da variável opPr , utilizamos igualmente as demais variáveis da estimação que
originou o IDD tradicional. Como variável dependente, temos o “desempenho médio no
ENADE do concluinte” ( conclEnade_ ). Já como variáveis explicativas, incluímos o
“desempenho médio no ENADE do ingressante” ( ingresEnade_ ), o “percentual de
ingressantes cujos pais têm nível superior”( sup_Escpai ) e a “razão entre número de 7 Esse viés de participação ocorre pelo fato do ENEM ser de caráter voluntário.
concluintes e o número de ingressantes” ( ingrconc ). Por fim o termo igε refere-se ao
termo aleatório de erro. Vale à pena destacar que nossa unidade de análise (ig) representa o
curso “i” da instituição “g”. Dessa forma, para facilitar a descrição dos resultados das
estimações, utilizaremos o termo “curso” ou “cursos” para nos referimos à unidade de
análise. As estimações da equação 4 encontram-se na tabela 3, e cada uma das colunas da
tabela representa a estimação para um dos 15 cursos mencionado acima .
Após efetuarmos a padronização do resíduo (YY)
− ) da equação 4, observamos que alguns
cursos apresentaram essa padronização abaixo de -3 ou acima de +3. Por essa razão,
optamos por re-estimar a equação 4 somente com os cursos que apresentaram seu resíduo
padronizado no intervalo de -3 a + 38. Os resultados desta estimação apresentam-se na
tabela 4.
8 O intervalo de -3 a + 3 baseou-se na nota técnica do IDD (p.2) divulgada pelo INEP – intervalo que se baseia em uma estimação sem outliers.
Tabela 3 – Estimação para o recálculo do IDD Tradicional com outliers (estimação com MQO)
Nota Concluinte
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Nota ingressante
0,62*** 0,24 0,49* 0,99*** 0,59*** 0,99*** 0,69*** 0,78*** 0,79*** 0,76** 0,32** 0,64*** 0,42 0,62 0,73***
0,03 1,05 0,26 0,11 0,07 0,13 0,06 0,1 0,05 0,18 0,13 0,08 0,25 0,5 0,08 Escolaridade pai
0,54 64,91 -12,97 4,36 -2,09 6,44 -1,05 -1,35 5,68** 48,88 -1,98 -0,98 10,07 28,22 1,05
1,29 42,34 18,42 8,85 1,92 7,3 2,36 5,15 2,3 35,22 4,34 3,47 7,85 18,29 4,73 Concluinte/ ingressante
-0,06 2,61 0,44 -1,6 0,04 -0,91 0,04 0,09 -0,14 -1,27 0,02 -0,21 0,66 -0,81 -0,2
0,11 7,7 1,28 1,28 0,18 0,77 0,2 0,67 0,1 1,1 0,24 0,18 0,86 3,67 0,36 Proporção 2,61* 4,94 19,96* -11,81** 1,09 -4,85 5,67*** -3,58 6,72*** -22,46 4,73 3,43 -1,11 -22,14 4,17
1,43 49,52 10,5 5,35 1,98 5,64 1,95 4,15 1,76 15,87 4,94 2,59 9,6 15,06 4,49 Constante 18,15*** 2,48 24,00** 14,94** 16,97*** 8,33 13,68*** 17,72*** 12,22*** 8,09 32,26*** 24,87*** 23,20*** 19,99 15,97***
1,28 81,81 10,06 6,62 2,32 5,36 2,58 4,29 1,91 16,45 5,93 3,41 7,53 20,93 4,87 R² ajustado 0,38 -0,18 0,18 0,72 0,2 0,54 0,41 0,58 0,52 0,72 0,08 0,42 0,18 0,31 0,5
N 722 6 16 34 286 57 227 61 332 8 59 120 28 12 91 Fonte: Elaboração Própria com base nos microdados do ENADE 2006. Os desvios padrão estão entre parênteses. * p<0,10; ** p<0,05; *** p<0,01
Tabela 4 – Estimação para o recálculo do IDD Tradicional sem outliers (estimação com MQO)
Nota Concluinte
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Nota ingressante
0,62*** 0,24 0,49* 0,99*** 0,59*** 0,99*** 0,68*** 0,78*** 0,85*** 0,76** 0,32*** 0,64*** 0,42 0,47 0,72***
0,03 1,05 0,26 0,11 0,07 0,13 0,06 0,1 0,04 0,18 0,11 0,07 0,25 0,39 0,07 Escolaridade pai
0,4 64,91 -12,97 4,36 -2,09 6,44 -1,49 -1,35 4,79** 48,88 -1,06 0,1 10,07 7,27 -1,35
1,25 42,34 18,42 8,85 1,92 7,3 2,36 5,15 2,17 35,22 3,88 3,26 7,85 16,61 4,58 Concluinte/ ingressante
-0,05 2,61 0,44 -1,6 0,04 -0,91 0,07 0,09 -0,09 -1,27 0,11 -0,28* 0,66 2,56 -0,2
0,11 7,7 1,28 1,28 0,18 0,77 0,2 0,67 0,09 1,1 0,21 0,17 0,86 3,16 0,34 Proporção 2,71* 4,94 19,96* -11,81** 1,09 -4,85 5,54*** -3,58 6,56*** -22,46 6,79 3,58 -1,11 10,77 3,31
1,39 49,52 10,5 5,35 1,98 5,64 1,95 4,15 1,67 15,87 4,44 2,42 9,6 17,99 4,3 Constante 17,86*** 2,48 24,00** 14,94** 16,97*** 8,33 14,06*** 17,72*** 10,68*** 8,09 30,47*** 24,55*** 23,20*** 18,83 17,88***
1,25 81,81 10,06 6,62 2,32 5,36 2,58 4,29 1,82 16,45 5,32 3,19 7,53 16,17 4,68 R² ajustado 0,39 -0,18 0,18 0,72 0,2 0,54 0,41 0,58 0,57 0,72 0,13 0,46 0,18 0,21 0,53 N 718 6 16 34 286 57 226 61 328 8 58 119 28 11 90 Fonte: Elaboração Própria com base nos microdados do ENADE 2006. Os desvios padrão estão entre parênteses. * p<0,10; ** p<0,05; *** p<0,01
Ao compararmos essas duas estimações (com e sem outliers), observamos que não
ocorreram grandes modificações nos coeficientes, nos erros padrão, no tamanho do N e no
R² ajustado. Além disso, para ambas as estimações, a estatística F somente não foi
estatisticamente significativa nas estimações 2, 3 e 14, que representam os cursos de
arquivologia, de biblioteconomia e de teatro, respectivamente. Isso significa que a
regressão como um todo não foi estatisticamente significativa. Provavelmente, esse
resultado reflete o baixo número de observações (penúltima linha em negrito das tabelas 3 e
4) que essas estimações apresentaram. Ademais, a nota do ingressante apresentou efeito
positivo na nota do concluinte em todas as estimações. Por fim, o cálculo do IDD
tradicional baseou-se nas estimações sem outliers (Tabela 4). Entretanto, seria inviável
tabular esses novos conceitos para todas as unidade de análise. Assim, optamos por
disponibilizar em arquivos de Excel esses resultados9. Os seguintes arquivos serão
disponibilizados:
• “banco com idd_Tradicional por ies e por curso”. Neste arquivo encontra-se o
conceito IDD por cursos e instituições.
• “IDD_Tradicional região”. Este arquivo apresenta os resultados do IDD por curso
para cada uma das cincos regiões (Norte; Nordeste; Sudeste; Sul; Centro-Oeste ).
• “IDD_Tradicional organização acadêmica”. Nesse arquivo, os resultados do IDD
estão separados por curso e organização acadêmica (Universidade; Centro-
Universitário; Faculdades Integradas; Faculdades, Escolas, e Institutos Superiores;
Centros de Educação Tecnológica).
• “IDD_Tradicional categoria administrativa”. Este arquivo apresenta os resultados
por curso e dependência administrativa (Federal; Estadual; Municipal; Particular).
Os resultados desse IDD serão comentados mais a frente, conjuntamente com os do IDD
calculado com a nota do ENEM do ingressante.
9 Este relatório e seus arquivos em Excel com os novos Conceitos IDD serão disponibilizados em meio digital.
Nossa próxima etapa consiste em apresentar os resultados da estimação 4 que originou o
IDD com a nota do ENEM. A única diferença entre essa estimação e a estimação 5,
apresentada a seguir, é que substituímos a variável “desempenho médio no ENADE do
ingressante” ( ingresEnade_ ) por “desempenho médio no ENEM dos ingressantes que
prestaram ENADE” ( ingresEnem_ ):
igigigigigig opingrconcEscpaiingresEnemconclEnade εβββββ +++++= Prsup___ 43210 (5)
As notas consideradas para a variável ingresEnem_ foram as notas da prova objetiva e da
redação. O peso atribuído para cada uma dessas provas para construir o desempenho médio
no ENEM foi de 0,5. As demais variáveis de controle e a variável dependente
permaneceram as mesmas. Na tabela 5 encontram-se os resultados das estimações com
outliers.
Da mesma forma, após efetuarmos a padronização do resíduo ( YY)
− ) da equação 4,
observamos que alguns cursos apresentaram essa padronização fora do intervalo de -3 a +3.
Por essa razão, reestimamos a equação 5 somente com os cursos que apresentaram seu
resíduo padronizado dentro desse intervalo. Os resultados desta estimação estão na tabela 6.
Ao compararmos as estimações das tabelas 5 e 6, nota-se que a amostra apresentou uma
perda de 23 cursos (unidade de análise). No que dizem respeito às principais estatísticas,
elas não apresentaram grande variações entre as estimações. Em relação à estatística F, esta
não foi estatisticamente significativa nas estimações 2, 3, 10, 11, 13 e 14, que representam
os cursos de arquivologia, de biblioteconomia, de música, de normal superior, de
secretariado executivo e de teatro, respectivamente. Deve-se reconhecer que o dobro de
cursos (dos 15 cursos avaliados), comparativamente as estimações das tabelas 3 e 4,
apresentaram suas estimações não significativas. Ademais, a nota do ENEM do ingressante
apresentou efeito positivo na nota do concluinte em todas as estimações. Por fim, para
calcularmos o Conceito IDD com o ENEM, também utilizamos as estimações sem outliers.
Em relação aos novos Conceitos IDD, pela mesma razão mencionada acima,
disponibilizaremos esses resultados nos seguintes arquivos em Excel:
• “banco com idd_enem por ies e por curso”. Neste arquivo encontra-se o conceito
IDD Enem por cursos e instituição.
• “IDD_Enem região”. Este arquivo apresenta os resultados do IDD por curso para
cada uma das cincos regiões (Norte; Nordeste; Sudeste; Sul; Centro-Oeste ).
• “IDD_Enem organização acadêmica”. Nesse arquivo, os resultados do IDD estão
separados por curso e organização acadêmica (Universidade; Centro-Universitário;
Faculdades Integradas; Faculdades, Escolas, e Institutos Superiores; Centros de
Educação Tecnológica).
• “IDD_Enem categoria administrativa”. Este arquivo apresenta os resultados por
curso e dependência administrativa (Federal; Estadual; Municipal; Particular).
Tabela 5 – Estimação para o recálculo do IDD com ENEM com outliers
Nota Concluinte
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Nota Enem ingressante
0.21*** 1,51 -0,01 0.74*** 0.15*** 0.56*** 0.21*** 0.44*** 0.33*** 0,1 0,14 0.26*** 0,24 0,05 0.40***
0,03 0,3 0,29 0,13 0,04 0,12 0,04 0,09 0,04 0,35 0,1 0,06 0,17 0,29 0,09 Escolaridade pai
4.41*** 94.81* 25,95 6,11 -0,88 12,31 -1,02 -2,5 8.18*** 20,19 0,05 -4,76 11,92 31,68 -1,83
1,46 10,35 14,59 12,73 2,1 8,29 2,71 5,84 2,93 57,91 4,55 3,88 8,25 21,64 5,37 Concluinte/ ingressante
0,16 3,19 -1,46 -0,11 0,24 -1.17* 0,16 1.95*** -0,18 1,99 -0,15 -0,07 0,17 1,97 -0.91**
0,13 1,13 1,39 1,95 0,2 0,63 0,22 0,68 0,11 2,06 0,21 0,19 0,83 3,09 0,43 Proporção 4.91*** -4,19 10,59 0,05 1,8 -5,21 8.66*** 9.66** 8.25*** 21,48 5,02 10.29*** 9,85 -12,96 4,95 1,68 9,43 8,98 7,29 2,23 6,53 2,23 4,3 2,27 30,35 5,07 3,05 8,32 14,44 5,4 Constante 26.57*** -84,18 35.06** -1,11 25.14*** 6,78 28.28*** 20.75*** 20.57*** 19,19 38.44*** 36.84*** 21.47** 36,23 29.14***
1,68 22,27 15,76 11,31 2,48 7,2 2,59 5,29 2,71 43,76 5,72 4,07 9,35 22,98 5,91 R² ajustado 0,1 0,95 0,29 0,47 0,04 0,32 0,16 0,41 0,24 -0,51 0,03 0,18 0,11 0,17 0,17 N 730 6 16 33 280 63 245 63 329 10 63 122 31 12 100 Fonte: Elaboração Própria com base nos microdados do ENADE 2006 e do ENEM 2005. Os desvios padrão estão entre parênteses. * p<0,10; ** p<0,05; *** p<0,01
Tabela 6 – Estimação para o recálculo do IDD com ENEM sem outliers
Nota Concluinte
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Nota Enem ingressante
0.18*** 1,4 -0,01 0.74*** 0.15*** 0.56*** 0.22*** 0.45*** 0.32*** 0,1 0,12 0.26*** 0,24 0,3 0.40***
0,03 . 0,29 0,13 0,04 0,12 0,04 0,08 0,04 0,35 0,09 0,06 0,17 0,22 0,09 Escolaridade pai
3.98*** 0 25,95 6,11 -0,58 12,31 -0,53 -1,48 7.71*** 20,19 1,33 -4,76 11,92 11,45 -1,79
1,37 . 14,59 12,73 2,06 8,29 2,68 5,41 2,83 57,91 4,19 3,88 8,25 16,61 5,38 Concluinte/ ingressante
0,18 0 -1,46 -0,11 0,2 -1.17* 0,09 2.05*** -0,16 1,99 -0,07 -0,07 0,17 4.61* -0.90**
0,12 . 1,39 1,95 0,2 0,63 0,22 0,63 0,11 2,06 0,2 0,19 0,83 2,34 0,44 Proporção 4.51*** 0 10,59 0,05 1,99 -5,21 8.31*** 11.44*** 8.83*** 21,48 7,12 10.29*** 9,85 22,19 4,68 1,6 . 8,98 7,29 2,18 6,53 2,17 4,01 2,19 30,35 4,69 3,05 8,32 15,75 5,42 Constante 28.57*** -25,24 35.06** -1,11 24.91*** 6,78 28.16*** 19.03*** 21.42*** 19,19 37.37*** 36.84*** 21.47** 14,18 29.27***
1,61 . 15,76 11,31 2,44 7,2 2,59 4,92 2,63 43,76 5,26 4,07 9,35 17,72 5,92 R² ajustado 0,08 . 0,29 0,47 0,04 0,32 0,16 0,48 0,24 -0,51 0,04 0,18 0,11 0,23 0,17 N 724 2 16 33 279 63 240 62 326 10 62 122 31 11 99 Fonte: Elaboração Própria com base nos microdados do ENADE 2006 e do ENEM 2005. Os desvios padrão estão entre parênteses. * p<0,10; ** p<0,05; *** p<0,01
26
Na tabela 7 realizamos alguns exercícios de correlações entre o Conceito IDD Tradicional e
o Conceito IDD com o ENEM. Assim, poderemos verificar a capacidade preditiva da nota
do ENEM em relação à nota do ENADE do ingressante. Para isso calculamos correlações
simples e de ordem (Spearman).
Também na tabela 7 há uma segunda análise, a qual refere-se à correlação entre os resíduos
padronizados (estimação com as notas do ENADE do ingressante e com as notas do ENEM
do ingressante) antes de serem discretizados entre 1 e 5 (Conceito IDD).
Tabela 7 – Correlações entre o IDD Tradicional e o IDD com ENEM
Conceito IDD Resíduo Padronizado Correlação
Simples Coeficiente de
Spearman Correlação
Simples Coeficiente de
Spearman Geral 0,71 0,68 0,79 0,73 Administração 0,65 0,58 0,79 0,73
Arquivologia - - - -
Biblioteconomia 0,13 0,12 0,35 0,33
Biomedicina 0,77 0,7 0,68 0,36
Ciências Contábeis 0,78 0,75 0,9 0,86
Ciências Econômicas 0,6 0,61 0,66 0,76
Comunicação Social 0,82 0,82 0,87 0,85
Design 0,8 0,78 0,84 0,8
Direito 0,63 0,64 0,69 0,69
Música 0,99 0,98 0,98 0,99
Normal superior 0,98 0,98 0,97 0,99
Psicologia 0,81 0,83 0,88 0,88
Secretariado Executivo 0,84 0,87 0,82 0,9
Teatro -0,55 -0,5 0,82 -0,5
Turismo 0,75 0,71 0,74 0,7
Fonte: Elaboração Própria com base nos microdados do ENADE 2006 e do ENEM 2005.
Na primeira análise, observamos que para a maioria dos cursos a correlação entre os
Conceitos IDD’s é alta – considerando 70% uma correlação alta. A diferença entre a
correlação simples e a de ordem foi de no máximo 0,07 p.p (pontos percentuais). Os cursos
que apresentaram as menores correlações entre os IDD’s foram biblioteconomia e teatro –
cursos que estão dentre aqueles com menor número de observações.
Vale ressaltar que os cursos com maior número de observações – administração (1),
ciências contábeis (5), comunicação social (7) e direito (9) – todos apresentaram
27
correlações de ordem entre 60% e 80% entre o IDD tradicional e o IDD calculado com base
na nota do Enem dos ingressantes.
O segundo exercício, o qual refere-se à correlação entre os resíduos padronizados, é
importante porque ao calcularmos as correlações com uma variável discreta, podemos
perder informações devido a pouca variabilidade. Contudo, nota-se que em geral as
correlações entre os resíduos padronizados apresentam valores um pouco superior do que
entre os IDD’s.
28
4. Análise 2: Avaliando a relação entre as notas do SAEB e as notas do
ENEM e do ENADE
Na segunda análise deste estudo, avaliamos o quanto a nota do SAEB de uma coorte
explica o desempenho dessa coorte no ENEM e no ENADE. Como indicamos, a
metodologia a ser testada se baseará na análise dos resultados de coortes geracionais por
meio da utilização de técnicas de pseudo-painel, controlando os problemas de viés de
seleção e mobilidade.
Antes de explicarmos a razão da utilização de pseudo-painel e sua metodologia de
construção, apresentamos alguns estudos em educação que se baseiam na construção de
coortes e de pseudo-painel, os quais servirão como base para a construção da análise
empírica deste trabalho.
4.1. Breve Revisão de Literatura Nacional utilizando Pseudo-Painel
Os estudos descritos brevemente a seguir verificam se a qualidade do ensino realmente
melhorou ou piorou, buscando superar os problemas de avaliação resultantes do “efeito
composição” e assim, direcionam as políticas públicas para a melhoria da qualidade da
educação. Resumidamente, o “efeito composição” consiste na piora do perfil sócio-
econômico dos alunos ao longo desse período devido a políticas públicas que incentivaram
o ingresso e permanência de alunos com situação sócio-econômica mais vulnerável no
sistema escolar (como a promoção automática ou a Bolsa-Escola). Esse problema de
composição da amostra pode induzir os formuladores de políticas a atuarem na direção
errada. Dessa forma, metodologias corretoras que permitam obter as proficiências das
gerações (incluindo aqueles que não são avaliados pelo SAEB) devem ser mais eficazes em
descrever a evolução da qualidade do sistema de ensino. Ademais, a análise de coortes
permite a utilização de diferentes bases de dados que possuam informações sobre as
mesmas, ou acompanhar os resultados dessas coortes ao longo do tempo.
Dentre os estudos sobre desempenho educacional de coortes geracionais pode-se destacar o
trabalho de Neri e Carvalho (2002). Os autores propõem uma metodologia corretora para
estimar a proficiência das crianças de diversos segmentos que não são avaliados pelo
SAEB, com a finalidade de verificar a ocorrência do chamado “efeito composição”, o qual,
29
na visão dos autores, pode ter sido responsável pela queda das proficiências observada nos
SAEBs de 1995 a 2001. A metodologia dos autores consistiu na especificação de um
modelo econométrico estimado por Mínimos Quadrados com o intuito de mensurar os
impactos de variáveis sócio-econômicas na proficiência. Para isso, utilizaram os dados do
SAEB 2001 sobre proficiência e provenientes dos questionários sócio-econômicos. As
variáveis utilizadas foram escolhidas seguindo a condição de que também estivessem
presentes na PNAD (Pesquisa Nacional por Amostra de Domicílios). Dessa forma,
puderam estimar as proficiências de diversos grupos etários não representados no SAEB
(atrasados ou fora da escola) com base nas variáveis da PNAD de 1995 a 2001.
Na mesma linha de raciocínio, os trabalhos de Fernandes e Natenzon (2003) e Fernandes
(2004) buscam identificar uma medida de proficiência para uma mesma geração, de modo a
anular a distorção na composição sócio-econômica da amostra resultante da variação nas
taxas de repetência, evasão, promoção e atendimento. Entretanto, grande parte de uma
mesma geração não é avaliada pelo SAEB, pois se encontra atrasada ou fora do sistema
escolar. Para superar esse problema os autores formularam a hipótese de que o desempenho
dos alunos não avaliados pelo SAEB era inferior ao do aluno do percentil 50 (aluno
mediano). Uma condição para essa análise ser possível é a de que o percentual de alunos
atrasados e evadidos seja menor do que 50% dos alunos da geração, e que a soma do
percentual dos alunos da coorte não avaliados pelo SAEB e do percentual de avaliados seja
maior do que 50% do total da geração. Dessa forma, baseados nessa hipótese, os autores
puderam estimar a nota do aluno mediano calculando o percentual de atrasados e evadidos,
e na idade adequada utilizando a PNAD e o SAEB. Em virtude do alto percentual de
atrasados, os autores não puderam estimar as notas dos alunos medianos para todos os
estados e anos do SAEB. Além disso, esse procedimento só foi viável para as gerações
adequadas à 4ª série do Ensino Fundamental (EF), pois as gerações adequadas à 8ª série do
EF e à 3ª série do Ensino Médio (EM) apresentavam uma alta proporção de atrasados e
evadidos, violando as condições citadas anteriormente.
Esses trabalhos citados anteriormente analisam a evolução da proficiência entre diferentes
gerações. Dessa maneira, considerando o nível sócio-econômico fixo no tempo, pode-se
30
observar a melhoria do sistema educacional sem os problemas causados por variáveis de
fluxo.
Dado um período minimamente satisfatório de pesquisas domiciliares e avaliações
educacionais poder-se-ia analisar a evolução do desempenho de uma determinada geração.
Nessa linha de raciocínio, uma metodologia promissora é a utilização de um pseudo-painel
que pode ser adaptado para o problema em questão de relacionar as bases de dados do
SAEB, do ENEM e do ENADE. Assim, alguns estudos que se basearam na utilização de
pseudo-painel com a utilização de resultados de proficiências no SAEB podem ser bem
elucidativos.
Curi e Menezes-Filho (2006), por exemplo, analisam coortes por meio da técnica de
pseudo-painel para analisar como a proficiência da geração afeta os salários a serem
recebidos por esta geração quando estiverem no mercado de trabalho. Os autores utilizam
duas bases: a PNAD e o SAEB. Por meio da seleção de duas gerações de nascidos entre
1977 e 1978 e entre 1979 e 1980, obtém as características das coortes na PNAD de 1982
para captar características quando crianças. Utilizam também dados do SAEB e da PNAD
de 1995 (primeira geração) ou 1997 (segunda geração) para analisar as proficiências e as
características desses dois grupos quando estavam no 3° ano do EM. Por fim, também usam
dados da PNAD de 2001 (primeira geração) e 2003 (segunda geração) quando os
indivíduos das coortes já auferiam renda. Contudo, os indivíduos de 2001 e 2003 que
fizeram parte das coortes selecionadas precisavam apresentar 10 anos de estudo e terem
nascido na mesma UF onde residiam em 1995 e 1997, o que resulta em um viés de
migração e em um viés educacional. Em seguida, as características foram agrupadas por
sexo, cor e Unidade da Federação, o que resultou em 108 observações de análise. Após a
construção da base, foi estimada uma regressão por Mínimos Quadrados Ordinários (MQO)
para variáveis do SAEB10 e utilizando a metodologia de Dahl (que busca controlar os dois
tipos de viés citados) foi regredido o logaritmo do salário contra o logaritmo da
proficiência, e ouras variáveis de controle, inclusive o erro da estimação anterior por MQO.
10 As variáveis dependentes foram o logaritmo das proficiências de matemática e de português, enquanto que as variáveis explicativas foram as características dos alunos (nível educacional da mãe), dos professores (logaritmo do salário dos professores, nível educacional dos professores e tempo de magistério), dos diretores (as mesmas características dos professores) e das escolas (rede, zona e se possuíam computadores, laboratórios de ciências, e /ou biblioteca).
31
Os resultados mostraram que as notas do SAEB não são estatisticamente significantes para
explicar os salários. Além disso, o que explicaria os salários seriam fatores não
considerados na primeira estimação, ou seja, o erro.
Oliva, Ponczek, Saito e Souza (2007) aplicam metodologias semelhantes de coortes e
pseudo-painel, mas nesse caso, analisam como a proficiência do SAEB de indivíduos do
sexo feminino afeta na probabilidade de gravidez e natimortos. As bases utilizadas no
trabalho são o SAEB e a PNAD. Os autores constroem duas gerações de nascidos entre
julho de 1979 a junho de 1981 e nascidos entre julho de 1981 a junho de 1983. Assim a
primeira geração se encontrava no 3° ano do EM em 1997 e a segunda em 1999. Foram
obtidas as proficiências no SAEB para o grupo de mulheres em 1997 e 1999 de forma a
representar as duas gerações. Foram também utilizados os dados das PNADs desses dois
anos para observar os dados de migração e sobre o indicativo de 10 anos de escolaridade
das coortes11. Na PNAD 2003 foram obtidas as variáveis indicativas de gravidez ou
natimortos. Os dados restringem-se ao sexo feminino e foram agregados por raça e
Unidade da Federação. Os autores formularam uma especificação para captar a influência
das variáveis explicativas sobre a proporção de mulheres da geração que passaram por uma
gravidez. Foram estimados os coeficientes das variáveis explicativas por dois métodos:
Mínimos Quadrados Ordinários e Mínimos Quadrados em Dois Estágios. As variáveis
utilizadas nas estimações foram os logaritmos da proporção de gravidez e da proporção de
natimortos (variáveis dependentes), logaritmo da proficiência, freqüência escolar,
proporção de pessoas da coorte com algum tempo na faculdade, proporção que apresentam
pai com nível superior e outras variáveis de controle (incluindo as variáveis de controle do
viés educacional e do viés de migração). No caso do Método de Dois Estágios, buscaram
considerar o problema da possível endogeneidade entre a gravidez e a proficiência. Para
isso, usaram diversos instrumentos para estimar a proficiência que foi utilizada no segundo
estágio12. Por fim, os resultados mostraram que não existe relação significativa entre as
11 Os indivíduos que fizeram parte das coortes, em 2003 precisavam apresentar 10 anos de estudo e não terem migrado para outro Estado desde o ano que foi aplicado o SAEB (1997 ou 1999). 12 A variável dependente foi o logaritmo da proficiência de matemática, enquanto as variáveis explicativas foram as características dos professores (logaritmo do salário dos professores, nível educacional dos professores e tempo de magistério), dos diretores (as mesmas características dos professores) e das escolas (se possuíam computadores e laboratórios de ciências).
32
notas do SAEB e a probabilidade de gravidez entre jovens (quando incluídas as variáveis de
controle) ou de natimortos.
4.2. Aplicando a Metodologia de Pseudo-Painel
A metodologia econométrica ideal para ser aplicada neste trabalho seria o uso de técnicas
de painel. Entretanto não dispomos de informações sobre um mesmo indivíduo em
diferentes momentos no tempo. Como forma de contornar a limitação dos dados a
estratégia empírica utilizada neste trabalho é o uso de pseudo-painel.
O objetivo é superar as limitações do uso de dados em cortes transversais (cross section),
notadamente a falta da dimensão temporal, que não permite a identificação de efeitos
específicos.
Apesar de não haver informações dos mesmos indivíduos ao longo do tempo, existe uma
série de dados transversais, nos quais indivíduos diferentes são pesquisados em cada
período. Este fato torna possível acompanhar gerações, ao invés de indivíduos, ao longo do
tempo.
A construção do pseudo-painel consiste na agregação, por características observáveis e
escolhidas segundo os objetivos de cada trabalho, dos dados a serem analisados em células,
estas serão análogas aos indivíduos em um painel.
Para definir as coortes, priorizamos a utilização de resultados de provas do ENEM mais
recentes. Isso porque, como já foi citado, somente nos últimos anos o ENEM tem se
aproximado da universalização – dado que se trata de um Exame de caráter voluntário.
Portanto, para realizar as estimações, utilizamos duas coortes: a primeira com indivíduos
nascidos entre julho de 1985 e junho de 1987, e a segunda com indivíduos nascidos entre
julho de 1987 e junho de 1989. Essa coorte estava na 4ª série do Ensino Fundamental nos
anos de 1997 e 1999, respectivamente – anos em que as coortes fizeram a prova do SAEB.
Posteriormente, essas mesmas coortes estavam no último ano do Ensino Médio em 2004 e
2006, respectivamente, quando fizeram a prova do ENEM.
33
As variáveis extraídas de cada uma das bases de dados utilizadas foram agrupadas por sexo,
raça e Unidade da Federação, o que resultou em 108 observações de análise para cada
variável13,14. Os dados estão na forma de um pseudo-painel, em que a unidade de análise
(célula) representa uma desagregação do Estado por raça (branco e não-branco) e gênero
(homem e mulher). Um exemplo de célula pode ser observado na tabela 1. Para a
construção das observações se calcula a média de cada variável entre os indivíduos que
fazem parte de cada uma das células.
Tabela 8 – Exemplo de célula do Pseudo-Painel
Unidade Estado Gênero Cor célula 1 Acre homem Branco célula 2 Acre homem não branco célula 3 Acre mulher Branco célula 4 Acre mulher não branco Fonte: elaboração própria.
Antes de analisar os resultados das estimações realizadas, apresentamos as estatísticas
descritivas referentes a essas estimações.
Em primeiro lugar, seguem as estatísticas relativas à previsão das notas do ENEM 2004
com base nas notas do SAEB 1997, e depois aquelas relativas à previsão das notas do
ENEM 2006 com base nas notas do SAEB 1999.
Devido ao grande número de células (108) em razão do significativo número de unidades
da federação existentes no Brasil, apresentaremos as estatísticas descritivas de forma
resumida, divididas por regiões do país, e não por estado.
A Tabela 9 apresenta as estatísticas resumidas referentes à variável dependente da primeira
estimação: as notas médias do ENEM 2004 de alunos da primeira coorte analisada – os
indivíduos nascidos entre julho de 1985 e junho de 1987.
13 Exceto no caso do ENEM 2004, para o qual não foi encontrado um número suficiente de indivíduos para formar as células referentes ao estado do Amapá. 14 Em alguns modelos foram incluídas as duas gerações na mesma regressão, como resultado, obtemos 216 observações. Neste caso ainda é incluída uma dummy para identificar a coorte.
34
Tabela 9 – Média da Nota Objetiva do ENEM 2004
Mulher Homem Região
Branca Não Branca Branco Não Branco Norte 40,68 38,26 44,55 43,48 Nordeste 45,03 39,83 53,76 47,12 Centro-Oeste 42,18 38,09 46,97 47,14 Sudeste 47,15 41,50 53,67 46,57 Sul 42,44 42,69 45,21 47,09
Fonte: elaboração própria com base em dados do INEP/MEC.
A Tabela 10, por sua vez, apresenta as estatísticas resumidas da variável utilizada para
predizer os resultados obtidos pelos alunos da coorte no ENEM 2004, ou seja, as notas
médias dos alunos da mesma coorte no SAEB 1997.
Tabela 10 – Média Agregada das Notas de Português e Matemática do SAEB 1997
Mulher Homem Região
Branca Não Branca Branco Não Branco Norte 178,17 176,04 179,27 179,02 Nordeste 193,32 185,91 194,46 184,88 Centro-Oeste 194,32 187,11 196,79 186,60 Sudeste 206,90 199,78 207,05 192,41 Sul 203,04 195,73 195,37 189,68
Fonte: elaboração própria com base em dados do INEP/MEC.
Já as Tabelas 11 a 13 apresentadas na seqüência indicam as diferenças nos percentuais das
variáveis de controle na predição das notas do ENEM com base nas notas do SAEB, dadas
as regiões dos alunos, seu gênero e cor.
Tabela 11 – Percentual de alunos do ENEM 2004 cuja mãe concluiu o nível superior
Mulher Homem Região
Branca Não Branca Branco Não Branco Norte 0,23 0,16 0,29 0,19 Nordeste 0,28 0,13 0,44 0,20 Centro-Oeste 0,21 0,11 0,22 0,13 Sudeste 0,27 0,11 0,33 0,13 Sul 0,16 0,13 0,21 0,13
Fonte: elaboração própria com base em dados do INEP/MEC.
35
Tabela 12 – Percentual de alunos do ENEM 2004 cujo pai concluiu o nível superior
Mulher Homem Região
Branca Não Branca Branco Não Branco Norte 0,17 0,10 0,22 0,18 Nordeste 0,28 0,11 0,38 0,17 Centro-Oeste 0,17 0,07 0,17 0,10 Sudeste 0,25 0,09 0,32 0,14 Sul 0,14 0,03 0,20 0,16
Fonte: elaboração própria com base em dados do INEP/MEC.
Tabela 13 – Percentual de alunos do ENEM 2004 que estavam no último ano do Ensino Médio
Mulher Homem Região
Branca Não Branca Branco Não Branco Norte 0,19 0,12 0,14 0,07 Nordeste 0,17 0,13 0,10 0,08 Centro-Oeste 0,22 0,16 0,18 0,10 Sudeste 0,27 0,21 0,24 0,17 Sul 0,24 0,15 0,19 0,08
Fonte: elaboração própria com base em dados do INEP/MEC.
Mais especificamente a Tabela 14 indica as estatísticas resumidas da variável utilizada na
tentativa de corrigir o possível viés de seleção dos alunos que tenham migrado de uma
unidade da federação para outra, comprometendo a construção das células por estado,
gênero e cor.
Tabela 14 – Percentual de alunos do ENEM 2004 que migraram de UF
Mulher Homem Região
Branca Não Branca Branco Não Branco Norte 0,11 0,14 0,21 0,13 Nordeste 0,05 0,04 0,07 0,05 Centro-Oeste 0,33 0,26 0,23 0,23 Sudeste 0,09 0,11 0,09 0,12 Sul 0,07 0,10 0,07 0,07
Fonte: elaboração própria com base em dados do INEP/MEC.
Da mesma forma, a Tabela 15 apresenta as estatísticas resumidas referentes à variável
dependente da segunda estimação: as notas médias do ENEM 2006 de alunos da segunda
coorte analisada – os indivíduos nascidos entre julho de 1987 e junho de 1989.
36
Tabela 15 – Média da Nota Objetiva do ENEM 2006
Mulher Homem Região
Branca Não Branca Branco Não Branco Norte 33,09 31,22 36,89 33,99 Nordeste 35,17 32,53 40,55 36,65 Centro-Oeste 36,08 33,20 40,50 36,68 Sudeste 38,43 34,31 43,69 37,90 Sul 36,79 34,69 40,85 38,52 Fonte: elaboração própria com base em dados do INEP/MEC.
Analogamente, a Tabela 16 apresenta as estatísticas resumidas da variável utilizada para
predizer os resultados obtidos pelos alunos da coorte no ENEM 2006, ou seja, as notas
médias dos alunos da mesma coorte no SAEB 1999.
Tabela 16 – Média Agregada das Notas de Português e Matemática do SAEB 1999
Mulher Homem Região
Branca Não Branca Branco Não Branco Norte 169,32 170,14 170,60 171,08 Nordeste 169,62 171,10 172,91 166,16 Centro-Oeste 187,40 178,69 180,53 175,66 Sudeste 200,94 185,31 196,12 180,12 Sul 190,70 177,97 186,58 178,71 Fonte: elaboração própria com base em dados do INEP/MEC.
As Tabelas 17 a 19 demonstram as o comportamento das variáveis de controle na predição
das notas do ENEM com base nas notas do SAEB, para os alunos que compõem a segunda
coorte utilizada.
Tabela 17 – Percentual de alunos do ENEM 2006 cuja mãe concluiu o nível superior
Mulher Homem Região
Branca Não Branca Branco Não Branco Norte 0,18 0,09 0,24 0,12 Nordeste 0,19 0,09 0,26 0,13 Centro-Oeste 0,21 0,10 0,26 0,13 Sudeste 0,23 0,08 0,29 0,10 Sul 0,16 0,04 0,20 0,06 Fonte: elaboração própria com base em dados do INEP/MEC.
37
Tabela 18 – Percentual de alunos do ENEM 2004 cujo pai concluiu o nível superior
Mulher Homem Região
Branca Não Branca Branco Não Branco Norte 0,14 0,06 0,18 0,07 Nordeste 0,14 0,06 0,20 0,09 Centro-Oeste 0,16 0,07 0,20 0,09 Sudeste 0,22 0,06 0,27 0,08 Sul 0,13 0,03 0,16 0,05 Fonte: elaboração própria com base em dados do INEP/MEC.
Tabela 1 – Percentual de alunos do ENEM 2006 que estavam no último ano do Ensino Médio
Mulher Homem Região
Branca Não Branca Branco Não Branco Norte 0,04 0,08 0,09 0,06 Nordeste 0,07 0,07 0,06 0,07 Centro-Oeste 0,06 0,09 0,07 0,05 Sudeste 0,04 0,06 0,05 0,06 Sul 0,04 0,06 0,04 0,05 Fonte: elaboração própria com base em dados do INEP/MEC.
Mais uma vez a Tabela 20 apresenta as estatísticas resumidas da variável utilizada na
tentativa de corrigir o possível viés de seleção dos alunos que tenham migrado de uma
unidade da federação para outra.
Tabela 20 – Percentual de alunos do ENEM 2004 que migraram de UF
Percentual que Migrou - ENEM 2006 Mulher Homem
Região Branca Não Branca Branco Não Branco
Norte 0,17 0,15 0,19 0,12 Nordeste 0,07 0,06 0,08 0,06 Centro-Oeste 0,26 0,26 0,27 0,25 Sudeste 0,11 0,13 0,10 0,14 Sul 0,08 0,13 0,08 0,12 Fonte: elaboração própria com base em dados do INEP/MEC.
Prosseguindo com a análise, com a metodologia de pseudo-painel buscamos encontrar o
impacto da proficiência do SAEB das coortes quando se encontravam na 4a série do Ensino
Fundamental na nota do ENEM quando essas finalizavam o Ensino Médio. A especificação
básica utilizada nesta seção é a seguinte:
tttttttt opormigraçãoEMWSaebEnem µτββββ +++++Θ+= Pr54370 (6)
38
Por essa especificação, estimamos dois métodos com erros-padrão robustos: Ordinary Least
Squares (OLS) e Pooled OLS (POLS). A variável tEnem refere-se à nota média no ENEM
das células no período “t”, e 7−tSaeb representa a nota média no SAEB na 4a série em t-7
dessas mesmas células. O termo tW representa um vetor linha de covariadas, e Θ um vetor
coluna de parâmetros. As variáveis que compõem o primeiro vetor encontram-se como
percentual de pessoas dentro de cada célula e são as seguintes: alunos cujas mães possuem
educação superior; alunos cujos pais possuem educação superior. Quando a especificação
foi estimada por OLS, incluímos no vetor de covariadas as variáveis que fizeram parte da
construção das células: dummy de sexo, de raça e de Estado. Por fim, a variável tτ é uma
dummy de tempo que é igual a zero em 2004, e igual a 1 em 200615, e o termo tµ , por sua
vez, representa o termo aleatório do erro. Com exceção das proficiências do SAEB, que
foram obtidas no SAEB de 1997 e de 1999, todas as outras variáveis foram obtidas nos
bancos de dados do Enem de 2004 e de 2006.
Ainda em relação à especificação 6, existe a possibilidade de ocorrer viés de seleção por
duas razões. A primeira está relacionada com o fato de que somente os melhores alunos que
prestaram SAEB em t-7 prestariam o ENEM sete anos depois. Uma das principais razões
para esta auto-seleção ocorrer é devido à baixa taxa de conclusão do Ensino Médio entre os
jovens com até 19 anos, como se observa na Tabela 21. Alguns Estados do Nordeste não
apresentam nem 30% dos seus jovens, com até 19 anos, completando o Ensino Médio em
2004 e em 2006. Essa baixa taxa de conclusão está associada à evasão escolar e ao atraso
escolar nos anos intermediários a 4ª série (ano de aplicação do SAEB) e a 11ª série (ano
sugerido de aplicação do Enem). A outra razão dessa auto-seleção está relacionada à
escolha de tentar ingressar no Ensino Superior após o término do Ensino Básico. Os alunos
que não querem ou não se achem aptos a cursar o Ensino Superior, também não prestam
Enem.
Mesmo se não houvesse essa auto-seleção, ainda existe a possibilidade de migração
estadual nesse intervalo de 7 anos. Por essa razão, a segunda possibilidade de viés de
15 Essa variável foi utilizada somente na estimação por POLS.
39
seleção está relacionada com a o fato de que parte dos alunos que prestaram o SAEB em t-7
mudaram de Estado no intervalo de tempo de 7 anos, e por isso, não serem os mesmos que
prestam o ENEM no período t.
É importante ressaltar que buscamos corrigir esses possíveis vieses de seleção causados
pela baixa conclusão do ensino médio, migração e escolha de tentar ingressar no Ensino
Superior com a inclusão de três variáveis na especificação 6: percentual de pessoas da
célula que estão no último ano do Ensino Médio (itEM ), percentual de pessoas da célula
que migraram no intervalo de 8 anos (migração) e proporção entre o total de pessoas da
célula que prestaram Enem e o total de pessoas da célula ( oporPr ). As duas primeiras
variáveis foram construídas com os dados da PNAD, e a última variável utilizou a PNAD
(para calcular o total das pessoas da célula) e o ENEM (para calcular o total de pessoas da
célula que prestou ENEM).
40
Tabela 21 – Taxa de Conclusão dos Jovens até 19 anos
Taxa de conclusão do Ensino Médio para jovens até 19 anos 2004 2006 BR 38,13 44,09 RO 31,30 39,75 AC 20,87 35,73 AM 29,88 32,79 RR 32,38 46,88 PA 16,37 20,46 AP 26,88 47,59 TO 30,39 35,43 MA 22,98 19,84 PI 13,95 22,39 CE 28,93 30,51 RN 25,00 44,20 PB 10,69 25,00 PE 24,44 29,10 AL 13,04 20,80 SE 17,60 32,48 BA 20,85 24,35 MG 38,45 45,76 ES 50,35 43,08 RJ 44,63 52,10 SP 58,23 65,52 PR 56,11 59,23 SC 51,01 52,97 RS 45,36 53,72 MS 34,51 33,02 MT 31,14 38,69 GO 40,26 41,05 DF 44,83 53,30
Fonte: Elaboração Própria com base nos dados das PNAD’s 2004 e 2006.
Os resultados das estimações por OLS e POLS encontram-se na tabela 22. As estimações
por OLS estão divididas em quatro categorias para cada ano de análise (2004 e 2006). Na
última linha da tabela 22, nomeamos as estimações de 1 a 4 para facilitar a visualização dos
resultados, e na primeira linha, podemos identificar para que ano a estimação ocorre. O
primeiro modelo (1) são as estimações sem peso e sem as dummies utilizadas para a
construção das células. Já no segundo modelo (2), estimamos a mesma especificação do
modelo 1, mas com os respectivos pesos da PNAD. No terceiro modelo (3), incluímos as
dummies que foram utilizadas para a construção das células (UF, sexo e raça), mas não
estimamos com peso. Por fim, o modelo 4 foi a mesma especificação do modelo 3, mas a
estimação foi com o peso. Vale ressaltar que omitimos as dummies de Estado da tabela,
nos modelos 3 e 4, por simplicidade. No entanto, na pasta Excel, que será enviada
41
juntamente com relatório, constará o arquivo “Estimações do Pseudo-Painel-SAEB e
ENEM” com as mesmas estimações, mas com as dummies de UF.
Como exercício adicional para analisarmos a relação entre a proficiência dos SAEBs 1997
e 1999 e a nota dos ENEMs 2004 e 2006, estimamos o modelo por POLS. Para isso, foi
necessário juntarmos os dois bancos: SAEB 1997 e ENEM 2004 com SAEB 1999 e ENEM
2006. Além disso, inserimos no modelo a variável ano ( tτ ) , e não colocamos as dummies
utilizadas na construção das células.
Os resultados demonstraram que existe uma relação positiva entre a nota do SAEB e a do
ENEM em todos os modelos estimados por OLS. Um aumento na nota do SAEB eleva o
desempenho no Enem. O mesmo ocorre para escolaridade da mãe e do pai, à medida que
aumenta o percentual de alunos com pais com Ensino Superior, aumenta a nota do ENEM.
Já o fato de ser mulher (modelos 3 e 4) reduz a nota do ENEM, e o fato de ser branco eleva
a nota do ENEM. Além disso, quando a variável proporção (Propor) aumenta, ocorre uma
elevação na nota de ENEM, mas isso ocorrer somente quando os resultados são
estatisticamente significativos (modelos 3 e 4 de 2006).
42
Tabela 2 – Estimações da capacidade de predição do SAEB em relação ao ENEM
Nota Enem OLS_2004 OLS_2004 OLS_2004 OLS_2004 OLS_2006 OLS_2006 OLS_2006 OLS_2006 POLS Proficiência SAEB 0.20*** 0.13*** 0.04 0.04 0.10*** 0.04 0.01 0.02* 0.16*** (0.04) (0.03) (0.10) (0.05) (0.03) (0.04) (0.02) (0.01) (0.03) Mãe Superior 14.86*** 17.85** 14.53** 20.77*** 10.20 28.03 1.36 -0.24 15.48*** (4.63) (7.53) (5.92) (5.50) (10.62) (20.87) (12.02) (9.89) (4.65) Pai Superior 16.69*** 24.18*** 6.19 5.79 24.76** 3.52 30.87** 28.46*** 16.70***
(3.65) (6.53) (5.62) (5.25) (11.59) (19.98) (11.72) (8.88) (3.64) Ensino Médio -14.10 -18.13** -1.52 4.83 -7.87 1.39 1.32 -0.18 -8.65
(8.99) (8.90) (11.91) (8.52) (5.87) (14.31) (3.30) (2.51) (6.68) Migração -9.97* 0.01 -25.35* -6.75 -5.85*** -5.35 -4.73* 0.19 -6.63***
(5.81) (6.02) (13.65) (5.24) (2.07) (3.72) (2.81) (2.14) (2.06) Propor 542.02 101.89 -496.69 -233.92 5.80 2.55 12.52*** 12.72*** 3.32
(450.66) (363.50) (734.23) (496.02) (5.96) (6.62) (2.46) (1.69) (5.78) Mulher -3.55** -4.82*** -3.48*** -4.03*** (1.58) (0.67) (0.24) (0.22) Branco 0.78 0.62 0.02 0.61*
(1.54) (0.88) (0.37) (0.34) Ano -4.99***
(1.19) Constante 3.26 16.18** 38.72* 29.86*** 13.84*** 24.60*** 33.56*** 25.09*** 9.88* (8.54) (6.71) (22.10) (9.48) (4.80) (6.37) (3.44) (3.15) (5.17) R² ajustado 0.66 0.74 0.78 0.93 0.62 0.61 0.96 0.98 0.74 N 103 103 103 103 108 108 108 108 211 Modelo 1 2 3 4 1 2 3 4
Os desvios padrão estão entre parênteses. * p<0,10; ** p<0,05; *** p<0,01
43
Na estimação por POLS, nota-se que uma elevação na proficiência do SAEB em t-7 na 4a
série, aumenta a nota do ENEM em t na 11a série. No que diz respeito à escolaridade dos
pais, um aumento no percentual de alunos com pais com nível superior eleva nota do
ENEM. Por fim, o fato de a análise ocorrer em 2006 (quando a dummy de ano é igual a 1)
reduz a nota do ENEM. Esse resultado pode estar revelando duas situações. A primeira é
que o ENEM 2004 e o ENEM 2006 não são comparáveis, já que não foram estruturados
com base na metodologia de Teoria de Reposta ao Item (TRI)16. A segunda situação que
pode estar ocorrendo é que o ENEM está em processo de universalização, entre os alunos
que estão finalizando o Ensino Médio, por essa razão, nesse intervalo de dois anos (2004 a
2006) ocorreu um aumento no número de participantes na prova do ENEM, o que pode
gerar uma prova mais elaborada, e conseqüentemente, mais difícil. Dessa forma, o valor
negativo que o coeficiente da dummy de tempo está captando pode ser resultado dessa
maior dificuldade da prova do ENEM de 2006, comparativamente a do ENEM de 2004.
16 Esta metodologia permite que as avaliações sejam comparáveis ao longo do tempo.
44
5. Conclusão
Neste projeto, buscamos analisar as possíveis relações entre algumas das avaliações
existentes no Brasil. Nosso principal exercício foi estudar a capacidade de predição da nota
do ENEM em relação à nota do ingressante no ENADE. Até onde temos conhecimento,
existe somente um trabalho empírico no Brasil que examina a capacidade preditiva de uma
avaliação em relação à outra. Esse estudo foi realizado por Pansanato e Soares (1999), e
trata da capacidade preditiva do ENEM em relação ao desempenho dos candidatos na 1ª
fase do vestibular da Universidade Federal de Minas Gerais (UFMG) de 1999. Nesse
estudo, a capacidade preditiva do ENEM em relação ao vestibular foi avaliada como
excelente, de modo que, se ocorresse a substituição da nota da 1ª fase do vestibular da
UFMG pela nota ENEM, o resultado do processo seletivo não se modificaria.
Diferentemente do estudo de Pansanato e Soares (1999), que calcularam a correlação entre
as notas dos alunos no ENEM e no vestibular da UFMG, este projeto calculou a capacidade
preditiva da nota do ENEM em relação à nota do ENADE do ingressante por meio do
recálculo do IDD. O valor, em média, da correlação entre o IDD calculado com a nota do
ENADE do ingressante e o IDD calculado com a nota do ENEM foi de 0,75, o que
consideramos um bom resultado – inclusive em comparação com o resultado obtido por
esses autores em sua correlação de ordem, o qual foi de 0,79, considerado excelente pelos
autores. Contudo, o resultado do presente trabalho deve levar em conta que somente
35,12% dos ingressantes que prestaram ENADE, também prestaram ENEM, e que estes
apresentaram nota no ENADE superior àqueles que não prestaram ENEM.
Por essa razão, da mesma forma que o Ministério da Educação determinou a
obrigatoriedade da participação dos alunos no ENADE, condicionando a obtenção do
diploma, sugerimos que o MEC determine que a realização do ENEM se torne obrigatória
para qualquer aluno que deseje se matricular em uma instituição de ensino superior,
independentemente desta instituição utilize o ENEM em seu processo seletivo ou não.
Desse modo, a totalidade dos alunos do ensino superior realizaria o ENEM e essa nota
serviria como uma substituta para a nota do ENADE dos ingressantes. Assim,
conseguiríamos, no longo prazo, utilizar no cálculo do IDD a nota do concluinte,
45
juntamente com sua nota no ENEM quando ingressou na IES17, ao invés da nota de outros
ingressantes.
Primeiramente, há uma grande vantagem na adoção dessa política pois isto geraria uma
redução de custos para o INEP, uma vez que não ocorreria mais a aplicação do ENADE
para os ingressantes nos cursos de graduação. Em segundo lugar, essa alteração geraria uma
medida melhor da qualidade dos alunos ingressantes em razão de que esses teriam maiores
incentivos ao realizar o ENEM do que ao realizar o ENADE. Isso porque, embora
estejamos sugerindo que o ENEM seja obrigatório para todos aqueles que desejem se
matricular em um curso de graduação, o Exame já é utilizado para o processo seletivo de
diversas IES e para programas como o Prouni, o que já torna o ENEM um exame com mais
incentivos para que os alunos empreguem um real esforço do que o ENADE para os
ingressantes.
Vale ressaltar que este processo deve ser realizado de forma cuidadosa, precedido de
análises cuidadosas dos questionários socioeconômicos aplicados aos estudantes em ambos
os Exames, de forma a compatibilizar esses questionários e não correr o risco de perder
informações importantes a serem utilizadas nos processos de avaliação e regulação de
cursos e em estudos que subsidiem as políticas educacionais brasileiras.
Além disso, também procuramos testar quanto da proficiência do SAEB de uma
determinada coorte explica a nota do Enem desta coorte. Nesta análise adicional, os
resultados demonstraram que existe uma relação positiva entre a nota do SAEB e a do
ENEM em todos os modelos estimados, ou seja, um aumento na nota do SAEB de fato
eleva o desempenho no ENEM.
17 Mesmo no longo prazo, utilizar a nota do ENADE do aluno concluinte, quando este foi ingressante é incerto, uma vez que, o seu curso poderia não fazer parte do conjunto de cursos avaliados no período em que ingressou na IES. Além disso, mesmo que seu curso tenha sido avaliado, este concluinte poderia não ter sido parte da amostra que prestou o ENADE quando era ingressante.
46
Referências Bibliográficas
Benveniste, Luis (2002). The Political Structuration of Assessment: Negotiating State Power and Legitimacy. Comparative Education Review, Vol. 46, No. 1, Special Issue on The Meanings of Globalization for Educational Change, (Feb., 2002), pp. 89-118.
Hanushek, Eric A., Margaret E. Raymond (2004). The Effect of School Accountability Systems on the Level and Distribution of Student Achievement. Journal of the European Economic Association 2 (2-3): 406-415.
INEP (2007) “Resultado do Indicador de Diferença entre os Desempenhos Esperado e Observado - IDD”. Nota Técnica do IDD.
Pansanato, Kleber Adriano; Soares, José Francisco (1999). “Desempenho dos alunos no ENEM e no vestibular da UFMG”. Apresentado na 1a. Jornada Latino-Americana de Estatística Aplicada. Anais, São Carlos, Brasil.
Wang, L.; Beckett, G. H.; Brown, L. (2006). Controversies of Standardized Assessment in School Accountability Reform: A Critical Synthesis of Multidisciplinary Research Evidence. Applied Measurement in Education, 19(4), 305–328, 2006.