Embed Size (px)
Citation preview
UNIVERSIDADE FEDERAL DO CEARÁ
FACULDADE DE EDUCAÇÃO
PROGRAMA DE PÓS-GRADUAÇÃO EM EDUCAÇÃO BRASILEIRA
ANTÔNIA BRUNA DA SILVA
VARIÁVEIS SIGNIFICATIVAMENTE RELACIONADAS COM O DESEMPENHO
DOS ALUNOS DO 5º ANO DO ENSINO FUNDAMENTAL PÚBLICO DO ESTADO
DO CEARÁ NO TESTE DE LÍNGUA PORTUGUESA DA PROVA BRASIL/2011
FORTALEZA
2015
ANTÔNIA BRUNA DA SILVA
VARIÁVEIS SIGNIFICATIVAMENTE RELACIONADAS COM O DESEMPENHO DOS
ALUNOS DO 5º ANO DO ENSINO FUNDAMENTAL PÚBLICO DO ESTADO DO
CEARÁ NO TESTE DE LÍNGUA PORTUGUESA DA PROVA BRASIL/2011
Dissertação apresentada ao Programa de Pós-
-Graduação em Educação Brasileira da
Universidade Federal do Ceará, como requisito
parcial para obtenção do título de Mestre em
Educação. Área de concentração: Educação.
Orientador: Prof. Dr. Claudio de Albuquerque
Marques.
Coorientador: Prof. Dr. Nicolino Trompieri Filho.
FORTALEZA
2015
Dados Internacionais de Catalogação na Publicação
Universidade Federal do Ceará S586v Silva, Antônia Bruna da.
Variáveis significativamente relacionadas com o desempenho dos alunos do 5° ano do ensino
fundamental público do estado do Ceará no teste de língua portuguesa da prova Brasil/2011 /
Antônia Bruna da Silva. – 2015.
88 f. : il.color., enc. ; 30 cm.
Dissertação (mestrado) – Universidade Federal do Ceará, Faculdade de Educação, Programa de
Pós-Graduação em Educação Brasileira, Fortaleza, 2015.
Orientação: Prof. Dr. Claudio de Albuquerque Marques.
Coorientação: Prof. Dr. Nicolino Trompieri Filho.
1. Variáveis extraescolares. 2. Variáveis intraescolares. 3. Proficiência em Língua Portuguesa.
I. Marques, Claudio de Albuquerque (orient.). II. Universidade Federal do Ceará – Programa de
Pós-Graduação em Educação Brasileira. III. Título.
CDD 371.26
ANTÔNIA BRUNA DA SILVA
VARIÁVEIS SIGNIFICATIVAMENTE RELACIONADAS COM O DESEMPENHO DOS
ALUNOS DO 5º ANO DO ENSINO FUNDAMENTAL PÚBLICO DO ESTADO DO
CEARÁ NO TESTE DE LÍNGUA PORTUGUESA DA PROVA BRASIL/2011
Dissertação apresentada ao Programa de Pós-
Graduação em Educação Brasileira da
Universidade Federal do Ceará, como requisito
parcial para obtenção do título de Mestre em
Educação. Área de concentração: Educação.
Aprovada em: 17 / 04 / 2015.
BANCA EXAMINADORA
________________________________________________
Prof. Dr. Claudio de Albuquerque Marques (Orientador)
Universidade Federal do Ceará (UFC)
________________________________________________
Prof. Dr. Nicolino Trompieri Filho (Coorientador)
Universidade Federal do Ceará (UFC)
________________________________________________
Prof. Dr. Liv. Doc. Raimundo Hélio Leite
Universidade Federal do Ceará (UFC)
________________________________________________
Prof. Dr. Basílio Rommel Almeida Fechine
Instituto Federal do Ceará (IFCE)
Dedico este trabalho à minha família,
especialmente à minha mãe, Maria Josélia da
Silva, por compreender a minha ausência
durante esta caminhada e por todo investimento
imaterial e impalpável que fomentou a minha
educação.
AGRADECIMENTOS
Aos meus pais, Maria Josélia da Silva e Justino Soares da Silva, pelo exemplo de
fortaleza e por depositarem em mim seus sonhos.
Ao professor Claudio de Albuquerque Marques, pela contribuição no
desenvolvimento deste trabalho. Suas considerações acerca do estudo foram tecidas com maestria.
Ao professor Nicolino Trompieri Filho, pelos conhecimentos obtidos durante esta
trajetória e pelas horas de coorientação regadas por cafés e cigarros. Professor Nicolino é uma
referência que levarei por toda a minha vida.
Ao professor Raimundo Hélio Leite, pelos conhecimentos partilhados e pelo
empenho dispensado na condução do Núcleo de Avaliação Educacional (NAVE). Manifesto
aqui a minha gratidão a ele pela confiança em mim depositada.
Ao professor Basílio Rommel Almeida Fechine, pela disponibilidade em integrar
a Banca Examinadora.
Aos amigos, pelos momentos de reflexão e pelas parcerias estabelecidas.
A Pablo Carvalho, pelas horas compartilhadas no Laboratório de Pesquisa,
Avaliação e Medidas Psicopedagógicas (LabPAM) e pela ajuda inestimável na organização
dos dados do estudo.
À Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), pelo
incentivo à pesquisa.
“Uma cabeça bem-feita vale mais do que uma
cabeça cheia.”
(Montaigne)
RESUMO
Seguindo uma perspectiva de análise do desempenho escolar que considera a influência de
fatores intra e extraescolares, o estudo identificou as variáveis dos questionários contextuais
significativamente relacionadas com o rendimento dos alunos de 5º ano do Ensino Fundamental
da rede pública municipal do estado do Ceará no teste de Língua Portuguesa na quarta edição da
Prova Brasil. A partir disso, elaborou-se um modelo linear múltiplo que incorporou as variáveis
do aluno, do professor, do diretor e da escola para investigar a influência dessas variáveis na
Proficiência em Língua Portuguesa. Da população objeto de estudo – constituída pelos alunos
do 5º ano do Ensino Fundamental público municipal cearense e pelos respectivos professores de
Língua Portuguesa, diretores e escolas –, extraiu-se uma amostra aleatória composta por 486
alunos, 276 professores, 223 diretores e 223 escolas. Os resultados evidenciaram que 23,3% da
variabilidade da Proficiência em Língua Portuguesa está creditada a determinadas
características do aluno e do contexto escolar. Observando os coeficientes padronizados da
função de regressão linear múltipla (β), os fatores extraescolares que exercem efeito sobre o
desempenho do aluno são: (a) a reprovação e o abandono escolar (β = - 0,178); (b) o fato de o
aluno trabalhar (β = - 0,155); (c) os locais que o aluno costuma frequentar (β = - 0,155); (d) a
quantidade de pessoas que moram com o aluno (β = - 0,145); e (e) a participação dos pais nas
reuniões escolares e o incentivo fornecido aos filhos (β = 0,136). Quanto às variáveis preditoras
de ordem intraescolar, a pesquisa constatou que as seguintes variáveis desempenham influência,
positiva ou negativa, sobre os resultados escolares: (a) a falta de critério para a formação das
turmas de 1ª a 4ª séries (β = - 0,134); (b) o fato de o diretor ter assumido o cargo por meio de
indicação política (β = - 0,148); (c) o fato de o gestor ter se graduado em uma faculdade isolada
(β = 0,145); (d) as condições de acessibilidade das imediações externas da escola (β = 0,115);
(e) a quantidade dos conteúdos previstos desenvolvidos com os alunos (β = 0,101); (f) o tempo
(em anos) que o diretor exerce funções de direção (β = 0,100); (g) o tempo (em anos) que o
professor ministra aulas no 5º ano (β = 0,090); e (h) a formação do diretor em nível de pós-
graduação na área da Educação (β = 0,087). Entre os resultados obtidos, ficou claro que o
desempenho cognitivo do aluno em Língua Portuguesa é produto de variáveis de múltiplas
ordens que atuam com um efeito combinado sobre o educando. Logo, não pode ser atribuído a
um só agente ou a um só aspecto.
Palavras-chave: Variáveis extraescolares. Variáveis intraescolares. Proficiência em Língua
Portuguesa.
ABSTRACT
Taking into consideration an analysis perspective of a school performance that considers the
influence of intra- and extra-school factors. This study, using the achievement of 5th grade
students of public elementary school in the state of Ceará in the fourth edition of Prova Brasil (a
Brazilian school evaluation) in Portuguese Language test, has identified the variables of the
contextual questionnaires significantly related to these student's performance. Based on that, we
have prepared a multiple linear model that incorporated the student, teacher, principal and
school's variables to investigate the influence of these variables on Portuguese Language
Proficiency. From the object of study – set up by 5th grade students of public elementary
Municipal school from Ceará and their Portuguese teachers, principals and schools – we have
extracted a random sample of 486 students, 276 teachers, 223 principals and 223 schools. The
results have shown 23.3% of the variability in Portuguese Proficiency is due to certain student's
characteristics and also due to certain characteristics of the school context. According to the
standardized coefficients of multiple linear regression function, the extra-school factors that
cause an effect on student's performance are (β): (a) the failure and school dropout (β = - 0.178);
(b) the fact that the student works (β = - 0.155); (c) the places that students are use to attending
(β = - 0.155); (d) the amount of people living with the student (β = - 0.145); and (e) parents
participation in school meetings and the encouragement given to the children (β = 0.136). In
relation to the intra-school order of predictor variables, the survey found out that the following
variables play positive or negative influence on the outcomes: (a) the lack of criteria to form the
1st to 4th degree groups (β = - 0.134); (b) the fact that the principal has been named by a
politician (β = - 0.148); (c) the fact that the manager has graduated in an isolated college (β =
0.145); (d) the conditions of accessibility of the school's external surroundings (β = 0.115); (e)
the amount of the expected content developed with students (β = 0.101); (f) the time (in years)
that the principal works as a principal (β = 0.100); (g) the time (in years) that the teacher
teaches the 5th grade (β = 0.100); and (h) the principal's major level – Specialization grade post-
graduation in educational realm (β = 0.087). Among the results, it became clear that the
student's cognitive performance in Portuguese proficiency is a consequence of multiple orders
variables acting with a combined effect on it. Therefore, it cannot be assigned to only one agent
or to a single point.
Keywords: Extra-school variables. Intra-school variables. Proficiency in Portuguese.
LISTA DE ILUSTRAÇÕES
Figura 1 – Sistema avaliativo da Educação Básica no Brasil .......................................... 21
Figura 2 – Modelo conceitual dos fatores intra e extraescolares associados ao
desempenho escolar ....................................................................................... 39
Figura 3 – Associação dos arquivos ............................................................................ 50
Figura 4 – Média da Proficiência em Língua Portuguesa na população ......................... 52
Figura 5 – Média da Proficiência em Língua Portuguesa na amostra ............................. 53
Figura 6 – Exemplo de histograma com normalidade satisfeita ..................................... 63
Figura 7 – Exemplos de diagramas de probabilidade normal ......................................... 64
Figura 8 – Exemplos de gráficos dos resíduos padronizados contra os valores
previstos padronizados ................................................................................... 65
Figura 9 – Histograma e diagrama P-P dos resíduos normalmente distribuídos............. 69
Figura 10 – Gráfico do ZRESID contra ZPRED ............................................................... 70
LISTA DE QUADROS
Quadro 1 – Construtos privilegiados pelos questionários contextuais do Saeb................ 37
Quadro 2 – Descrição dos arquivos da pasta Dados ......................................................... 49
Quadro 3 – Correspondência entre arquivos ..................................................................... 50
Quadro 4 – Variáveis significativamente correlacionadas com a Proficiência em
Língua Portuguesa ......................................................................................... 56
Quadro 5 – Variáveis incluídas/removidasa ...................................................................... 66
LISTA DE TABELAS
Tabela 1 – Níveis da Escala da Prova Brasil em Matemática ......................................... 25
Tabela 2 – Níveis da Escala da Prova Brasil em Língua Portuguesa .............................. 25
Tabela 3 – Metas nacionais projetadas pelo Ideb para os anos iniciais do Ensino
Fundamental ................................................................................................... 32
Tabela 4 – Estatística da distribuição da Proficiência em Língua Portuguesa na
população. ................................................................................................................ 52
Tabela 5 – Estatística da distribuição da Proficiência em Língua Portuguesa na
amostra.. ............................................................................................................. 52
Tabela 6 – Matriz dos coeficientes de correlação para a Proficiência em Língua
Portuguesa ...................................................................................................... 55
Tabela 7 – Resumo do modeloa ....................................................................................... 67
Tabela 8 – Análise de variância (ANOVA) ..................................................................... 68
Tabela 9 – Estatísticas de colinearidade .......................................................................... 70
Tabela 10 – Estatísticas dos resíduos ................................................................................. 71
Tabela 11 – Coeficientes do modelo de regressão linear múltiplaa ................................... 74
LISTA DE ABREVIATURAS E SIGLAS
ANA Avaliação Nacional da Alfabetização
Aneb Avaliação Nacional de Educação Básica
ANOVA Análise de Variância
Anresc Avaliação Nacional do Rendimento Escolar
BIRD Banco Internacional para Reconstrução e Desenvolvimento
CAEd Centro de Políticas Públicas e Avaliação da Educação
CAP Coordenação de Análises e Publicações
CAPES Coordenação de Aperfeiçoamento de Pessoal de Nível Superior
CVR Razão de Covariância
DAEB Diretoria de Avaliação da Educação Básica
EDURURAL Programa de Expansão e Melhoria da Educação no Meio Rural
Enem Exame Nacional do Ensino Médio
FCC Fundação Carlos Chagas
FCPC Fundação Cearense de Pesquisa e Cultura
FIV Fator de Inflação de Variância
Fundeb Fundo de Manutenção e Desenvolvimento da Educação Básica e de
Valorização dos Profissionais da Educação
Ideb Índice de Desenvolvimento da Educação Básica
IFCE Instituto Federal de Educação, Ciência e Cultura do Ceará
IICA Instituto Interamericano de Cooperação para a Agricultura
Inep Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira
Inse Indicador de Nível Socioeconômico das Escolas de Educação Básica
LabPAM Laboratório de Pesquisa, Avaliação e Medidas Psicopedagógicas
MEC Ministério da Educação
NAVE Núcleo de Avaliação Educacional
OCDE Organização para Cooperação e Desenvolvimento Econômico
ONU Organização das Nações Unidas
PCN Parâmetros Curriculares Nacionais
PDDE Programa Dinheiro Direto na Escola
PDE Plano de Desenvolvimento da Educação
PISA Programme for International Student Assessment
PNAIC Pacto Nacional pela Alfabetização na Idade Certa
Saeb Sistema Nacional de Avaliação da Educação Básica
SAEP Sistema de Avaliação do Ensino Público de Primeiro Grau
Saresp Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo
SEE/DF Secretaria de Estado de Educação do Distrito Federal
SENEB Secretaria Nacional de Educação Básica
SGBD Sistema Gerenciador de Bancos de Dados
SPAECE Sistema Permanente de Avaliação da Educação Básica do Ceará
SPSS Statistical Package for the Social Sciences
UECE Universidade Estadual do Ceará
UFC Universidade Federal do Ceará
VIF Variance Inflaction Factor
ZPRED Valores previstos padronizados
ZRESID Resíduos padronizados
LISTA DE SÍMBOLOS
b Coeficiente de regressão não padronizado
β Coeficiente de regressão padronizado
d Teste de Durbin-Watson
ɛ Erro
F Razão F
gl Graus de liberdade
k Número de previsores do modelo de regressão
σ Desvio padrão
σ² Variância
µ Média de uma população de valores
n Tamanho da amostra
© Coeficiente de correlação de Pearson
R Coeficiente de correlação múltiplo
R² Coeficiente de determinação
R²ajustado Coeficiente ajustado de determinação
Sig. Nível de significância
t Teste de Student
SUMÁRIO
1 INTRODUÇÃO ................................................................................................... 16
2 O SISTEMA AVALIATIVO DA EDUCAÇÃO BÁSICA NO BRASIL ........ 19
2.1 Prova Brasil: Escala e Matrizes de Referência ................................................. 23
2.2 Impactos dos resultados da Prova Brasil na unidade escolar ......................... 27
3 VARIÁVEIS COM INTERFERÊNCIA SIGNIFICATIVA NO
DESEMPENHO ESCOLAR .............................................................................. 36
3.1 Variáveis intraescolares ...................................................................................... 39
3.2 Variáveis extraescolares...................................................................................... 43
4 PROCEDIMENTOS METODOLÓGICOS ..................................................... 48
4.1 Organização dos microdados da Prova Brasil/2011 ......................................... 48
4.2 População ............................................................................................................. 51
4.3 Amostra ................................................................................................................ 51
4.4 Sumário das variáveis ......................................................................................... 53
4.5 Regressão linear múltipla ................................................................................... 58
4.5.1 Estatísticas ............................................................................................................ 59
4.5.2 Inexistência de multicolinearidade .................................................................... 61
4.5.3 Independência dos resíduos ................................................................................ 61
4.5.4 Normalidade dos resíduos................................................................................... 63
4.5.5 Homocedasticidade e linearidade....................................................................... 64
5 APRESENTAÇÃO E ANÁLISE DOS RESULTADOS .................................. 66
5.1 Poder de explicação do modelo do desempenho acadêmico em Língua
Portuguesa ........................................................................................................................... 67
5.2 Teste de ajuste do modelo ................................................................................... 68
5.3 Validação dos pressupostos do modelo do desempenho acadêmico em
Língua Portuguesa .............................................................................................. 68
5.4 Modelo explicativo do desempenho acadêmico em Língua Portuguesa de
alunos do 5º ano do Ensino Fundamental do estado do Ceará ....................... 72
6 CONSIDERAÇÕES FINAIS.............................................................................. 78
REFERÊNCIAS .................................................................................................. 80
ANEXOS .............................................................................................................. 86
ANEXO A – DECLARAÇÕES EXPEDIDAS PELO REVISOR ................... 87
ANEXO B – DIPLOMA DO REVISOR ........................................................... 88
16
1 INTRODUÇÃO
No âmbito das recentes políticas educacionais, é reconhecida a centralidade
atribuída à avaliação educacional e, em especial, à avaliação externa, que no Brasil ganhou
forma a partir da década de 1980. No território nacional, esse procedimento foi difundido por
meio de estudos e pesquisas educacionais e se materializou com a criação do Sistema
Nacional de Avaliação da Educação Básica (Saeb). Sem diferir dos demais países que
largaram na frente e formularam seus sistemas avaliativos, a adoção do Saeb se relacionou
com a necessidade de se obter informações mais gerais sobre a educação no País, com vistas a
promover a qualidade da educação.
Desse modo, além dos testes do desempenho escolar em Língua Portuguesa e em
Matemática, a sistemática avaliativa supracitada é composta por uma diversidade instrumental
que coleta informações a respeito das variáveis relacionadas ao ensino e à aprendizagem, a
saber: questionário da escola, questionário do diretor, questionário do professor e questionário
do aluno. Em termos quantitativos, os referidos questionários são compostos por 72 itens
destinados à escola, 212 itens destinados ao diretor, 152 itens destinados ao professor e 54
itens destinados ao aluno.
Acredita-se que os construtos que compõem esses instrumentos possuem uma
relação muito estreita com a aprendizagem posta em xeque no Saeb. Contudo, os dados
colhidos pelos instrumentos utilizados não são devidamente aproveitados. Apenas os
resultados dos testes é que são considerados, não é estabelecida uma relação do desempenho
do educando nos testes com os dados (formação do professor, práticas pedagógicas, recursos
pedagógicos disponíveis, gestão escolar, histórico escolar, incentivo dos pais, etc.) obtidos
nos demais instrumentos.
Avaliações em larga escala como o Saeb geram dados e mais dados acerca da
dinâmica escolar, que se exaurem entre si sem estabelecer a articulação que, necessariamente,
atribui-lhe significação, produzindo, desse modo, um acúmulo de informações fragmentadas
resultantes do instrumental utilizado.
Atentando para a análise dos resultados coletados pelo Saeb, constatamos que o
tratamento dos dados é feito separadamente, sem aquela correlação – entre os fatores contextuais e o
desempenho acadêmico – anunciada nos objetivos do referido sistema avaliativo. Trocando em
miúdos, apesar de todo o trabalho empreendido na seleção de construtos para compor os
questionários contextuais e na coleta de dados feita pelos mesmos instrumentos, o que realmente
interessa são as médias das proficiências obtidas nos testes.
17
Por entendermos que o aprendizado do aluno resulta das condições de escolarização e
das condições socioeconômicas, defendemos que o rendimento do educando não deve ser
interpretado isoladamente. Assim, o trabalho proposto se insere entre os estudos de cunho
internacional e nacional que partem em defesa do estabelecimento da relação entre o desempenho
escolar e as variáveis contextuais. Para o presente estudo, o tratamento articulado das proficiências
com os dados contextuais deve ser um procedimento a ser adotado pelo atual sistema de avaliação
da Educação Básica, já que fornece informações úteis para o alargamento da compreensão dos
problemas que permeiam o universo escolar.
Nesse sentido foi que se desenrolou a dissertação deste tema. Para tanto,
delimitamos a Avaliação Nacional do Rendimento Escolar (Anresc) – uma das avaliações que
compõem o Saeb, mais conhecida como Prova Brasil – como objeto de estudo. No percurso
metodológico que assumimos nesta investigação, dedicamos um grande rigor ao tratamento
dos dados.
Assim, a partir das variáveis referentes aos questionários contextuais destinados à
escola, ao diretor, ao professor e ao aluno, propusemo-nos a: 1) identificar as variáveis do
aluno, do professor, do diretor e da escola que se relacionam significativamente com o
rendimento dos discentes de 5º ano do Ensino Fundamental de escolas da rede pública
municipal do estado do Ceará no teste de Língua Portuguesa da Prova Brasil/2011; 2) elaborar
um modelo linear múltiplo com as variáveis do aprendiz, do docente, do diretor e da escola
como variáveis independentes que expliquem o desempenho dos estudantes no teste de
Língua Portuguesa na quarta edição da Prova Brasil. Para isso, recorremos à regressão linear
múltipla com o auxílio do software Statistical Package for the Social Sciences (SPSS) para
Windows, versão 20.0.
O desenvolvimento desta investigação reveste-se de grande relevância
educacional, em especial, para o grupo de estudos sobre eficácia escolar – movido pelo
interesse de identificar os fatores escolares associados ao desempenho dos alunos –, por fazer
apologia a uma visão diferenciada em torno dos resultados da Prova Brasil, em uma
perspectiva de análise do desempenho escolar (produto) que considera a influência de fatores
de diversas ordens (contexto, processo e insumos). Aliados a uma consistente teorização, os
achados deste trabalho contribuem para ampliar o entendimento acerca dos fatores com poder
de explicação do rendimento escolar.
As evidências deste estudo possuem acentuada relevância para os agentes
educacionais (professores, gestores e formuladores de políticas públicas educacionais), pois
apresentam informações mais detalhadas sobre as características e as práticas intra e
18
extraescolares que produzem o desempenho da rede pública municipal cearense, sem se
limitarem a um determinado escore.
A pesquisa foi organizada em seis capítulos, incluindo esta Introdução.
No segundo capítulo, intitulado O sistema avaliativo da Educação Básica no
Brasil, relatamos um breve histórico que contempla as primeiras experiências avaliativas de
cunho nacional que corroboraram para a constituição do Saeb, estendendo-se até o ano de
2013. Nele, destinamos uma seção para o detalhamento da Prova Brasil, abrindo espaço para a
explicação da Escala e das Matrizes de Referência adotadas pela citada sistemática de
avaliação. Para aprofundar a discussão, abordamos também a relação existente entre a Prova
Brasil e o Índice de Desenvolvimento da Educação Básica (Ideb), caracterizando o
encerramento do capítulo.
N o terceiro capítulo, denominado de Fatores com interferência significativa no
desempenho escolar, apresentamos contribuições de renomados estudiosos do campo de
avaliação educacional que atestam a influência dos fatores internos e externos ao contexto
escolar sobre o desempenho acadêmico. Ademais, apresentamos os resultados de alguns estudos
com abordagens, recortes e amostras específicos, mas que possuem a mesma finalidade:
investigar os fatores que produzem efeito no rendimento escolar.
No quarto capítulo, descrevemos os Procedimentos Metodológicos. Mais
precisamente, apresentamos a população do estudo, relatando os passos adotados para a
delimitação da amostra. Em seguida, citamos os instrumentos de medida adotados pelo
Saeb/Prova Brasil que viabilizaram a coleta de dados. A análise delineada no presente
estudo trabalhou com os microdados da Prova Brasil/2011, constituindo-se, portanto, em
dados secundários. Nesse capítulo, atribuímos especial atenção ao detalhamento da
organização dos referidos dados. Por fim, não poderíamos deixar de expor, minuciosamente,
o processo de análise dos dados realizado a partir do tratamento daqueles pertinentes ao
estado do Ceará. Para atingir esse fim, recorremos à regressão linear múltipla com o auxílio
do software SPSS.
No quinto capítulo, trazemos à baila a Apresentação e análise dos resultados.
Mais precisamente, apresentamos o modelo explicativo do desempenho acadêmico em Língua
Portuguesa dos alunos do 5º ano do Ensino Fundamental do estado do Ceará no ano de 2011.
Por oportuno, estabelecemos interlocução com pesquisas que corroboram com os resultados
encontrados.
Finalmente, no sexto capítulo, tecemos as Considerações finais a respeito deste
estudo.
19
2 O SISTEMA AVALIATIVO DA EDUCAÇÃO BÁSICA NO BRASIL
No Brasil, a organização de um sistema de avaliação da Educação Básica ocorreu
de modo progressivo. De fato, sua concepção foi impulsionada na década de 1980, quando
fatores de ordem interna e externa convergiram para o interesse pela avaliação. A divulgação de
experiências de diversos países em avaliação, as recomendações acerca da melhoria da
qualidade do ensino promovidas pela Organização das Nações Unidas (ONU) e o aumento de
pesquisas relativas ao efeito e à eficácia escolar estão entre os fatores externos. No plano
interno, destacam-se a rápida expansão do ensino nos anos 1970, a demanda social pela
democratização da educação no processo de redemocratização da sociedade brasileira, o
desenvolvimento de projetos educacionais com financiamento externo e a formação de
profissionais especializados em avaliação educacional e de pesquisadores em educação
(FREITAS, 2013).
Nesse período – década de 1980 –, especiais contribuições foram dadas pela
Avaliação da Educação Rural Básica no Nordeste Brasileiro, a qual tinha como finalidade
estudar o impacto do Programa de Expansão e Melhoria da Educação no Meio Rural
(EDURURAL)1 em três estados do Nordeste (Ceará, Pernambuco e Piauí), nas dimensões de
acesso à escola, eficiência do processo educacional e qualidade da educação. Também era
intenção da referida avaliação treinar pessoal das Secretarias de Educação dos estados
participantes numa metodologia de avaliação que poderia ser utilizada em outros programas. A
avaliação foi realizada por meio do convênio entre a Secretaria de ensino de 1º e 2º graus do
Ministério da Educação (MEC), a Universidade Federal do Ceará (UFC) e a Fundação Cearense
de Pesquisa e Cultura (FCPC), com a participação da Fundação Carlos Chagas (FCC). De 1982
a 1986, a referida avaliação acompanhou a implementação e o desenvolvimento do projeto
EDURURAL2.
Por certo, a Avaliação da Educação Rural Básica no Nordeste teve repercussão
nacional e forneceu subsídios para a proposição de medir o sistema educacional, por meio do
Sistema de Avaliação do Ensino Público de Primeiro Grau (SAEP), criado pelo MEC em 1988
por intermédio da Secretaria Nacional de Educação Básica (SENEB). Nesse mesmo ano, realizou-
-se, nos estados do Paraná e do Rio Grande do Norte, o teste piloto da avaliação. Em 1990, a
1 O programa EDURURAL abrangeu escolas da área rural de todos os estados do Nordeste, para tanto seu
planejamento foi iniciado em 1977, contando com um financiamento resultante do acordo firmado entre o
Ministério da Educação (MEC) e o Banco Internacional para Reconstrução e Desenvolvimento (BIRD). 2 Maiores informações estão disponíveis nos Relatórios Técnicos da Avaliação da Educação Rural Básica no
Nordeste Brasileiro.
20
realização da avaliação contemplou todos os estados da federação, englobando alunos das então
chamadas 1ª, 3ª, 5ª e 7ª séries3 do Ensino Fundamental.
Por seu turno, o SAEP utilizou os recursos de um convênio firmado entre o Instituto
Interamericano de Cooperação para a Agricultura (IICA) e o MEC. Esse sistema pretendia ser um
mecanismo de avaliação da educação aplicado em todo o território nacional, ampliando-se, desse
modo, a abrangência da avaliação do Programa EDURURAL.
Mais tarde, em 1991, o SAEP passou a se chamar Sistema Nacional de Avaliação da
Educação Básica (Saeb), adequando-se à nomenclatura sancionada pela Constituição de 1988.
Inicialmente, o Saeb previa trabalhar com as medidas de desempenho e com os resultados das
variáveis contextuais de modo articulado, nestes termos,
O Sistema Nacional de Avaliação da Educação Básica (Saeb) foi criado em 1990 e,
desde 1995, realiza seu ciclo de avaliação a cada dois anos. O Saeb foi criado tendo
por objetivo central promover uma avaliação externa e em larga escala da educação no
Brasil, visando construir dois tipos de medidas: a primeira refere-se à aprendizagem
dos estudantes e, a segunda, aos fatores de contexto correlacionados com o
desempenho escolar. A implementação da avaliação em larga escala se constituiu com
a intenção de subsidiar os formuladores e executores das ações governamentais na área
educacional em todos os níveis de governo. Com a avaliação pretende-se averiguar a
eficiência dos sistemas no processo de ensino-aprendizagem e, também, a eqüidade da
educação oferecida em todo o país. (INEP, 2006, p. 11).
O Saeb avalia, regularmente, a cada dois anos, os estudantes do ensino regular de
escolas públicas e privadas, urbanas e rurais, matriculados nos 5º e 9º anos do Ensino
Fundamental e no 3º ano do Ensino Médio em Língua Portuguesa e em Matemática. Além
dos testes, são aplicados questionários socioeconômicos aos alunos e a determinados
integrantes da comunidade escolar. O Saeb, com o objetivo proposto de promover a qualidade
da educação, foi alvo de críticas suscitadas por estudiosos da área avaliativa que corroboraram
para a expansão e o aperfeiçoamento desse sistema avaliativo. Como salienta Vianna (2002,
p. 136):
O grande problema do Saeb é que os seus resultados não chegam à escola e nem aos
professores, não gerando, por conseguinte, qualquer impacto no sistema de ensino.
Podem dar margem a pesquisas, muitas de grande sofisticação estatística, e
importantes do ponto de vista científico, cujos resultados não se traduzem em ações
pelos professores.
Em outra situação, Vianna (2003a) torna a analisá-lo e conclui que o sistema, após
anos de levantamento de dados acerca do sistema educacional, não instituiu uma educação de
qualidade no País. Uma das principais limitações do Saeb reside na divulgação das informações.
3 Com a ampliação do Ensino Fundamental para nove anos de duração, a 1ª, 3ª, 5ª e 7ª séries passaram a se
chamar 2º, 4º, 6º e 8º anos, respectivamente.
21
Essa constatação é reforçada por Horta Neto (2006), o qual argumenta que a divulgação dos
resultados é uma das fraquezas do Saeb.
A partir de 2005, o Saeb passou a ser constituído pela Avaliação Nacional da
Educação Básica (Aneb) e pela Avaliação Nacional do Rendimento Escolar (Anresc). A Aneb
manteve as características do Saeb, enquanto a Anresc, tipicamente denominada de Prova
Brasil, assumiu novos objetivos. Nessa reestruturação foi conservada a periodicidade bianual.
A descrição da gênese e da evolução do sistema avaliativo da Educação Básica
brasileira, as quais se têm abordado, foi sintetizada por Freitas (2013, p. 72) mediante um
organograma que vai de 1981 a 2011 (figura 1).
Figura 1 – Sistema avaliativo da Educação Básica no Brasil (1981–2011)
Fonte: Extraída de Freitas (2013, p. 72).
22
Em 2013, o Saeb foi novamente ampliado a partir da divulgação da Portaria n.º 482,
de 7 de junho de 2013, e passou a incorporar a Avaliação Nacional da Alfabetização (ANA),
prevista no Pacto Nacional pela Alfabetização na Idade Certa (PNAIC). A ANA, de caráter
censitário e de realização anual, envolve alunos do 3º ano do Ensino Fundamental das escolas
públicas, com o objetivo de avaliar os níveis de alfabetização e de letramento em Língua
Portuguesa, alfabetização em Matemática e condições de oferta do Ciclo de Alfabetização das
redes públicas. Desse modo, atualmente, o Saeb é composto por três avaliações: a Aneb, a
Anresc/Prova Brasil e a ANA.
Em relação à Prova Brasil, seus objetivos gerais, determinados por meio da
Portaria Ministerial n.º 931, de 2005, no artigo 1º, § 2º, expressam a crescente preocupação
com a qualidade do ensino e com o estabelecimento de uma cultura de avaliação no sistema
educativo:
a) avaliar a qualidade do ensino ministrado nas escolas, de forma que cada
unidade escolar receba o resultado global;
b) contribuir para o desenvolvimento, em todos os níveis educativos, de uma
cultura avaliativa que estimule a melhoria dos padrões de qualidade e eqüidade da
educação brasileira e adequados controles sociais de seus resultados;
c) concorrer para a melhoria da qualidade de ensino, redução das desigualdades e
a democratização da gestão do ensino público nos estabelecimentos oficiais, em
consonância com as metas e políticas estabelecidas pelas diretrizes da educação
nacional. (BRASIL, 2005, p. 17).
A avaliação objeto de estudo tem o propósito de fornecer informações mais
precisas acerca do desempenho de cada escola. Estudo apresentado por Filho, Nuñez e
Ribeiro (2009) explica que a prova foi idealizada para produzir informações sobre o ensino
público oferecido em todos os estados do País. Para tanto, ela conta com a participação de
todas as escolas públicas com mais de 20 alunos matriculados na série avaliada.
Na população a ser avaliada, é utilizado o método censitário, assim, envolve toda
a população escolarizada nos 5º e 9º anos do Ensino Fundamental. Feito isso, é possível “[...]
gerar informações para subsidiar as escolas em seu trabalho pedagógico, além de permitir que
os gestores públicos conheçam a qualidade dos estabelecimentos de ensino que compõem sua
rede, [...] da qual participa todo o universo avaliado” (OLIVEIRA, 2011, p. 111). Quanto ao
objetivo da Prova Brasil, Vieira (2008, p. 116) acrescenta que
[...] é, principalmente, oferecer aos governos estaduais e prefeituras municipais uma
avaliação das escolas de suas redes para que, de posse de informações acerca de
cada uma delas, planejem e implementem políticas públicas e, ainda, possam aplicar
recursos com maior precisão.
23
A Prova Brasil surgiu da necessidade de tornar o Sistema de Avaliação da
Educação Básica mais eficiente. Além do mais, o diagnóstico do desempenho do educando
aferido pela Prova Brasil soma-se aos dados do fluxo escolar avaliado pelo Educacenso para o
cálculo do Ideb (Índice de Desenvolvimento da Educação Básica)4.
Em tese, essa metodologia é capaz de viabilizar o estreitamento da relação entre
avaliação externa em larga escala e escola, por meio de uma melhor comunicação na
divulgação dos resultados. Tais resultados são passíveis de compreensão a partir da escala5
considerada na avaliação objeto de estudo.
2.1 Prova Brasil: Escala e Matrizes de Referência
Em avaliação educacional, os juízos de valor são expressos de três formas. Pode ser
referido ao critério, pode ser referido à norma e pode ser referido ao crescimento da
aprendizagem. No juízo de valor pertinente ao critério, a comparação é realizada a partir de
referências definidas previamente. Ele possibilita estabelecer diferentes níveis de desempenho
que indicam níveis de aprendizagem para cada aluno. Isso dá subsídio para a criação de uma
escala com níveis de aprendizagem distintos que definem o que se espera do discente em
diferentes fases da vida escolar. No juízo de valor atinente à norma, é realizada uma
comparação entre indivíduos ou instituições pertencentes a um mesmo grupo. Nesse caso em
que a referência é a norma, o juízo de valor produzido é relativo à classificação do indivíduo em
relação aos demais (HORTA NETO, 2010).
Por fim, no juízo de valor concernente ao crescimento da aprendizagem, analisa-
-se a variação do sujeito em relação a um determinado ponto de partida. Nesse caso, se as
referências que serão utilizadas forem definidas com antecedência, esse juízo é
caracterizado como criterial. Mas, se há uma preocupação com a posição relativa entre os
indivíduos, o juízo também pode ser normativo. Mais precisamente, essa última forma
objetiva comparar o desempenho do indivíduo em diversas fases, produzindo juízos de valor
que evidenciem as variações sofridas entre os diversos períodos da avaliação (HORTA
NETO, 2010).
4 O Ideb foi implantado nacionalmente por meio do Decreto n.º 6.094, de 24 de abril de 2007, que dispõe sobre
o Plano de Metas Compromisso Todos pela Educação com vistas à mobilização social em prol da melhoria
da qualidade da Educação Básica. 5 Por escala entende-se a sequência de números (escalas quantitativas) ou categorias qualitativas (escalas
qualitativas) que indicam os vários graus da magnitude de um traço ou característica. Os escores de um teste
formam uma escala quantitativa.
24
Na Prova Brasil, leva-se em consideração tanto o juízo de valor normativo como o
criterial, pois ela estabelece uma comparação dos sujeitos entre si e descreve as habilidades
dos aprendizes demonstradas através do teste, tais habilidades são contempladas na escala de
proficiência dessa avaliação.
A proficiência ou média de desempenho é uma medida teórica que demonstra as
habilidades desenvolvidas pelos discentes. A média de proficiência alcançada por uma
unidade escolar indica o desempenho dos estudantes nas habilidades avaliadas pelos itens6
da prova (INEP, 2011e). Essa média assinala uma posição na escala adotada pela Prova
Brasil. Dito de outro modo, os resultados da escala são apresentados por meio de uma média
de proficiência ou média de desempenho. Na construção dessa escala, não é feita uma
relação direta com a quantidade de acertos na prova, a lógica empregada leva em conta que:
a média de proficiência indica uma posição na escala, e esta posição é interpretada
pedagogicamente. Por meio desta interpretação dos níveis da escala e da localização
da média de desempenho, é possível saber quais competências e habilidades os
alunos já possuem, quais estão desenvolvendo e aquelas a serem alcançadas. (INEP,
2011e, p. 16).
A sistemática avaliativa estudada considera duas escalas, uma para Língua
Portuguesa e outra para Matemática, de modo que cada aluno recebe uma proficiência relativa
à Língua Portuguesa e outra relativa à Matemática. De acordo com as informações
disponibilizadas pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira
(Inep) (2011e, p. 16),
as escalas são compostas por níveis de desempenho, expressos em números que vão
de 0 a 500, e que variam de 25 em 25 pontos. Em cada nível da escala são
distribuídas as habilidades que os alunos demonstraram ter desenvolvido, sendo
ordenadas de acordo com o grau de complexidade.
Por intermédio da escala, é possível verificar o percentual de alunos que
construiu as competências e habilidades requeridas para cada uma das séries avaliadas e que
está em processo de construção do que seria adequado para a série e/ou que está acima do
nível. Com essas informações, a unidade escolar pode verificar se os aprendizes de cada
série desenvolveram as habilidades requeridas para a sua seriação e se existe alguma
porcentagem de educandos abaixo do que é esperado para a série (INEP, 2011e). A escala
“[...] é cumulativa no sentido de que, a cada nível novo, acrescentam-se novas habilidades
e/ou conhecimentos adquiridos pelos respondentes” (KLEIN, 2005, p. 129). Por manter uma
6 Segundo o Glossário de termos técnicos em medidas educacionais, item é a menor unidade independente
de um teste; questão, exercício ou problema de um teste (FUNDAÇÃO CARLOS CHAGAS).
25
lógica cumulativa, os níveis das escalas de Matemática (tabela 1) e de Língua Portuguesa
(tabela 2) são considerados tanto no 5º quanto no 9º ano do Ensino Fundamental.
Tabela 1 – Níveis da Escala da Prova Brasil em Matemática
Nível Proficiência
Nível 0 0 a 125
Nível 1 125 a 150
Nível 2 150 a 175
Nível 3 175 a 200
Nível 4 200 a 225
Nível 5 225 a 250
Nível 6 250 a 275
Nível 7 275 a 300
Nível 8 300 a 325
Nível 9 325 a 350
Nível 10 350 a 375
Nível 11 375 a 400
Nível 12 Maior que 400
Fonte: Elaborada a partir dos dados do Inep (2011e).
Apesar de cada escala ser tomada como referência em ambas as séries avaliadas,
na descrição das habilidades correspondentes a cada um dos níveis, as habilidades exigidas
para os alunos do 9º ano são acrescidas.
Tabela 2 – Níveis da Escala da Prova Brasil em Língua Portuguesa
Nível Proficiência
Nível 0 0 a 125
Nível 1 125 a 150
Nível 2 150 a 175
Nível 3 175 a 200
Nível 4 200 a 225
Nível 5 225 a 250
Nível 6 250 a 275
Nível 7 275 a 300
Nível 8 300 a 325
Nível 9 Maior que 325
Fonte: Elaborada a partir dos dados do Inep (2011e).
Cada nível de desempenho dessas escalas corresponde a uma série de
habilidades que diferem de acordo com a disciplina avaliada. Nos documentos oficiais, os
níveis de desempenho da Prova Brasil são expressos em termos numéricos, como é possível
observar nas tabelas 1 e 2. Não obstante, na apresentação do Seminário Aprova Brasil ,
realizado em 2010 em algumas capitais brasileiras7, Francisco Soares (2010) fez referência
7 Belém, Belo Horizonte, Curitiba, Fortaleza, Goiânia, Porto Alegre, Recife, Rio de Janeiro, Salvador, São Luís e
São Paulo.
26
a quatro níveis nominais baseados na proficiência obtida na Prova Brasil, a saber: avançado,
adequado, básico e abaixo do básico ou insuficiente.
O nível avançado abrange o aluno que domina a competência completamente e
sabe usá-la para a solução de problemas complexos. O nível adequado classifica o estudante
que demonstra conhecimento dos conteúdos e habilidades esperadas de seu estágio escolar;
assim, na concepção do autor supracitado, o aprendiz que se encontra nesse nível está apto a
continuar os estudos das etapas posteriores de ensino de modo satisfatório. O nível básico,
por sua vez, comporta aquele educando com um domínio parcial da competência. Por fim, o
nível abaixo do básico ou insuficiente é composto pelo discente com conhecimentos
rudimentares da competência, um aluno inadequado para o estágio escolar em que se
encontra e merecedor de atenção especial e imediata da escola, conforme argumenta Soares
(2010).
Os níveis da escala de Matemática, que vão do 0 ao 12, contam com diversas
habilidades, das mais simples, como a capacidade de resolução de problemas de cálculo de área,
baseando-se na contagem de unidades com o apoio de representações gráficas, às mais
complexas, como a capacidade de resolução de problemas envolvendo ângulos utilizando a Lei
Angular de Tales e aplicando o Teorema de Pitágoras.
Do mesmo modo, os níveis da escala de Língua Portuguesa são ordenados das
habilidades mais simples às mais complexas. Assim, o nível inicial, isto é, o nível de 0 a 125,
entre outras habilidades, faz alusão à capacidade de localizar em textos curtos (contos infantis,
histórias em quadrinhos e convites) informações explícitas que completam o enunciado da
questão. O nível mais avançado dessa escala, por sua vez, relaciona-se com as habilidades de
interpretar tabela a partir da comparação entre informações e de identificar informações
explícitas em texto dissertativo-argumentativo de alta complexidade linguística, por exemplo.
Os conhecimentos requeridos no teste da Prova Brasil são avaliados com base nas
Matrizes de Referência, que são compostas por um
[...] conjunto de competências e habilidades comuns para as séries e disciplinas
avaliadas em todo o território nacional e que podem ser medidas por meio dos
testes utilizados na Prova Brasil. É importante ressaltar que as Matrizes de
Referência não devem ser confundidas com as propostas curriculares das redes ou
das escolas, pois não englobam todo o currículo escolar. (INEP, 2011e, p. 7).
As Matrizes de Referência foram elaboradas pelo Inep a partir dos Parâmetros
Curriculares Nacionais (PCN), dos currículos das Secretarias Estaduais de Educação e de
algumas redes municipais para as séries e disciplinas avaliadas e da consulta aos livros didáticos
mais utilizados por professores das redes de ensino (INEP, 2011e, p. 7). Como o nome já
27
pressupõe, elas têm o propósito de servir de referência para a formulação dos itens do teste.
Nessa direção,
[...] uma matriz de referência para a avaliação não pretende abranger todas as
experiências de aprendizagem e atividades promovidas pela escola para a
formação dos seus alunos e muito menos prescrever como elas devem ser
realizadas. Pretende, sim, fornecer indicações do que se pretende valorizar no
exame e servir de orientação para a elaboração dos itens de teste nas diferentes
áreas do conhecimento. (FONTANIVE, 2005, p. 142).
Ambas as matrizes, disponíveis para consulta no site do Inep, estão diretamente
vinculadas ao currículo escolar, na verdade, elas derivam dele e representam mais um dos
novos elementos que a Prova Brasil traz para o contexto escolar. A aplicação da Prova
Brasil em todo o território brasileiro tornou o sistema escolar sujeito a padrões externos de
julgamento, fato que provoca um determinado incômodo em todos aqueles que dele
participam.
Ao se pensar sobre a significação da palavra incomodação, nota-se que, no
contexto especificado, ela pode ter uma conotação positiva ou negativa. A configuração
positiva reside no fato de que a avaliação externa promove, ou deveria promover, no
ambiente escolar uma inquietação, uma saída da acomodação, um planejamento de ações a
partir das informações obtidas. Essa configuração corrobora a ideia de que os “resultados de
avaliação externa não podem ser ignorados pela escola. É preciso fazer com que eles gerem
respostas, que tenham influência direta nas ações que se realizam na sala de aula todos os
dias” (CAFIERO; ROCHA, 2008, p. 97). Por seu turno, a dimensão negativa desse termo
pode estar na formação de um clima tenso no interior da instituição educacional com
gestores, professores e alunos irritados com os resultados obtidos.
Com efeito, o tema é inquietante e merece um tratamento mais aprofundado, com
o propósito de saber os impactos dos resultados apresentados pela Prova Brasil na unidade
escolar, é o que analisamos na próxima subseção deste trabalho.
2.2 Impactos dos resultados da Prova Brasil na unidade escolar
No ramo da pesquisa científica, não é possível resolver um problema de pesquisa
sem obter as informações da realidade empírica. Na avaliação, não é diferente, pois não é
possível caracterizar o desempenho de um aluno sem levantar as informações necessárias para
tanto. Logo, a informação torna-se um elemento crucial tanto para a pesquisa quanto para a
28
avaliação. Nas páginas iniciais de seu livro: Análise Multivariada de Dados, Hair et al. (2009,
p. 23) alegam que
[...] a informação disponível na tomada de decisões explodiu nos últimos anos e
irá continuar assim no futuro, provavelmente até mais rapidamente. Até
recentemente, muito dessa informação simplesmente desapareceria. Ou não era
coletada, ou era descartada. Hoje, essa informação está sendo coletada e
armazenada em bancos de dados e está disponível para ser feita a ‘garimpagem’
para fins de melhoria na tomada de decisões. Parte dessa informação pode ser
analisada e compreendida com estatística simples, mas uma grande porção
demanda técnicas estatísticas multivariadas mais complexas para converter tais
dados em conhecimento.
Em adendo às considerações de Hair et al. (2009), é valido esclarecer a
diferença entre informação e dado. Dados “são sinais que não foram processados,
correlacionados, integrados, avaliados ou interpretados de qualquer forma e, por sua vez,
representam a matéria-prima a ser utilizada na produção de informações” (RUSSO, 2010, p.
15). Dito de outro modo, eles consistem em “um conjunto de registros qualitativos ou
quantitativos conhecido que organizado, agrupado, categorizado e padronizado
adequadamente transforma-se em informação” (MIRANDA, 1999, p. 285).
Quando se transformam dados em um elemento decisório, eles se convertem em
informação. Desse modo, a partir da transformação de dados em informações, mediante
modelos matemáticos, é possível fazer inferências acerca do objeto estudado. Assim, a
noção de dado conduz ao entendimento do que representa informação. Para Miranda (1999),
as informações consistem em dados organizados significativamente, de modo a fornecer
subsídios para a tomada de decisão.
Logo, deduz-se que a finalidade das informações é fornecer base para a tomada
de decisões, última etapa da avaliação. Com efeito, para Ballester e Pitaluga (2003), a
avaliação é formada por três etapas sucessivas que se inicia com a coleta de dados, passa
pela análise e conclusão dessas informações e termina com a tomada de decisões a partir do
que foi constatado.
Desde a sua primeira edição, em 2005, a Prova Brasil tem gerado um acervo de
informações a respeito do ensino ministrado nas escolas brasileiras. A cada dois anos, são
investigadas em torno de 55.924 escolas públicas das redes estaduais, municipais e federais,
da área rural e urbana. A periodicidade cumprida por esse procedimento avaliativo parece
atender ao que foi proposto por Tyler na década de 1940. Para o referido autor, a avaliação
deve verificar a eficiência da escola, regularmente. Assim, é capaz de fornecer subsídios
29
para a análise crítica do objeto avaliado – a escola – com base em dados empíricos
(TYLER, 1942).
Ora, que a Prova Brasil avalia de modo permanente e periódico não restam
dúvidas. Entretanto, resta saber se ela tem contribuído para a análise crítica e para o
aprimoramento do que está sendo avaliado; resta saber os impactos dos resultados da Prova
Brasil na unidade escolar.
Na verdade, os impactos dos resultados da Prova Brasil para a melhoria da
aprendizagem têm se revelado baixos, possibilitando o surgimento das mesmas críticas
feitas ao Saeb. Os gastos públicos para se obter essas informações não são compensados,
pois não promovem os devidos efeitos na escola. Nesse contexto, as informações coletadas
não representam elementos promotores de mudanças. Para Vianna (2000), uma avaliação
deve produzir impactos traduzidos por transformações no pensar, de tal forma que a
disseminação dos resultados e o impacto são aspectos intervenientes da qualidade da
avaliação. Com efeito,
os resultados das avaliações não devem ser usados única e exclusivamente para
traduzir um certo desempenho escolar. A sua utilização implica servir de forma
positiva na definição de novas políticas públicas, de projetos de implantação e
modificação de currículos, de programas de formação continuada dos docentes e,
de maneira decisiva, na definição de elementos para a tomada de decisões que
visem a provocar um impacto, ou seja, mudanças no pensar e no agir dos
integrantes do sistema. (VIANNA, 2003c, p. 26).
A utilidade reconhecida como um dos critérios norteadores de todo e qualquer
procedimento avaliativo é efetivada quando a avaliação fornece informações úteis para o
aprimoramento de algo, por exemplo, pode contribuir, de modo positivo, para a modificação
do currículo, como foi salientado por Vianna (2003c).
Contudo, em exames padronizados, como é o caso da Prova Brasil, não é bem
nesse sentido que a modificação do currículo ocorre. Mais precisamente, o que se dá é a
adequação do currículo à sistemática avaliativa. Dias Sobrinho (2010, p. 217) assinala que
“exames em larga escala e com importantes funções regulatórias, sempre que repetidos por
vários anos, consolidam um padrão curricular e acabam sendo tomados como modelos”.
Nessa esteira, o ajuste do currículo à Prova Brasil, do modo como foi constatado
no estudo de Oliveira (2011), soa como uma tomada de decisão equivocada. Não obstante, a
adequação do currículo ao teste não é um efeito exclusivo da Prova Brasil, mas é um efeito
colateral de exames externos relevantes para o meio escolar.
30
É curioso citar que, na obra intitulada The Death and Life of the Great American
School System: how testing and choice are undermining education, Diane Ravitch (2010)
alega que o maior problema do exame padronizado consiste no fato de ele se tornar mais
importante do que o próprio currículo e de se tornar um fim em si mesmo.
A análise anterior faz alusão ao sistema escolar americano, todavia não é
diferente no sistema educacional brasileiro, uma vez que os procedimentos avaliativos
acabam determinando o currículo. Não raro, os conteúdos avaliados pela sistemática
avaliativa externa são visados pela escola de modo tão agressivo a ponto de conhecimentos
regionais de grande relevância para o entendimento do lugar onde o aluno vive serem
excluídos dos conteúdos escolares. A lógica preponderante indica que não faz sentido eles
continuarem ali, já que não são contemplados pela avaliação.
Considerando a relação entre currículo e avaliação, Bonamino e Sousa (2012)
distinguiram três gerações de Avaliação da Educação Básica no Brasil, de sorte que cada
uma delas possui determinadas consequências para o currículo. A primeira destaca a
avaliação de cunho diagnóstico da qualidade educacional, “sem atribuição de consequências
diretas para as escolas e para o currículo” (BONAMINO; SOUSA, 2012, p. 375). A segunda
é caracterizada por realizar a divulgação pública e a devolução dos resultados para as
escolas e a comunidade em geral. Por seu turno, a terceira geração faz alusão às avaliações
que referenciam políticas de responsabilização; em função dos resultados alcançados, são
geradas sanções ou recompensas.
Como é possível perceber, a segunda e terceira gerações promovem políticas de
responsabilização traduzidas por meio da atribuição de consequências aos agentes escolares.
Além disso, as autoras analisam que o desenho introduzido a partir da segunda geração
produz “indicadores capazes de fornecer informações a respeito dos componentes do
currículo que estão chegando aos alunos” (BONAMINO; SOUSA, 2012, p. 386). As
avaliações pertencentes à segunda geração, assim, “parecem estar reforçando o alinhamento,
nas escolas e secretarias de educação, entre o currículo ensinado e o currículo avaliado”
(BONAMINO; SOUSA, 2012, p. 386).
Em tese, avaliações em larga escala verificam aquele desempenho escolar resultante
dos processos educacionais – norteados pelo currículo – ocorridos ao longo do ano. Todavia,
vem ocorrendo uma reconfiguração desse ciclo. Mais precisamente, os processos educacionais
são pensados e executados considerando o que se é exigido nos exames externos, o que, por sua
vez, resulta no desempenho do aluno. Na prática, o currículo ensinado tenta entrar nos moldes
do currículo avaliado.
31
A redução curricular pode ser observada ainda em estudos como o de Machado
(2012), que retrata a relação entre a avaliação externa e a gestão escolar no que se refere ao uso
dos resultados. Nesse estudo, também é possível observar a relação que se faz entre os resultados
adquiridos e as iniciativas que sugerem a redução do currículo, favorecendo as disciplinas e
conteúdos pertinentes às avaliações externas, a exemplo da Prova Brasil. Ao final desta subseção,
perceberemos facilmente que os resultados da Prova Brasil têm seus efeitos no meio escolar.
Difícil será chegar à conclusão de que tais efeitos, na maioria dos casos, não estão em prol da
melhoria da aprendizagem dos avaliados.
Outro trabalho desenvolvido com o objetivo de investigar os impactos dos
resultados da Prova Brasil na gestão do processo de ensino-aprendizagem de uma escola
municipal do estado da Bahia, entre 2007 e 2009, revelou a complexa relação entre as
proposições das novas políticas públicas e a respectiva materialização delas nos espaços
escolares. Os resultados da pesquisa realizada por Melo (2012) indicam que essa cultura
avaliativa tem provocado impactos nas questões pedagógicas e nas questões administrativas.
Uma das constatações é que se, de um lado, a avaliação externa gera informações para subsidiar
o trabalho pedagógico, de outro, instaura um clima de competição ao divulgar os resultados do
Ideb de cada escola. Outra evidência é que a avaliação supracitada amplia a possibilidade de
estabelecer o diálogo para a concretização do regime de colaboração entre os sistemas de
ensino.
Também chamam a atenção os apontamentos de uma pesquisa desenvolvida por
Oliveira (2011), com o propósito de investigar em que medida os resultados da segunda edição da
Prova Brasil auxiliaram a Secretaria de Estado de Educação do Distrito Federal (SEE/DF) no
processo de regulação da rede de ensino, com vistas à melhoria da qualidade do ensino nos anos
iniciais do Ensino Fundamental. De acordo com os resultados obtidos nessa investigação, a
avaliação ainda não é um subsídio para a gestão realizada pela SEE/DF. A estratégia de
disseminação da Prova Brasil pelo Inep foi apontada como inadequada e insuficiente, pois
promove rankings e deixa gestores e educadores com dúvidas quanto à utilização das informações
produzidas pela Prova Brasil.
Nessa esteira, em virtude disso, nas atividades desenvolvidas no âmbito da
secretaria estudada, há o predomínio do controle das médias obtidas na referida avaliação e das
metas do Ideb, estimulando a competitividade entre as escolas e responsabilizando-as pela
melhoria da qualidade. Em face da pressão sentida, a equipe escolar tende a padronizar o
ensino, com o intuito de preparar os estudantes para o teste.
32
Direta e indiretamente, ambas as pesquisas tratam dos impactos dos resultados
da Prova Brasil, que, como é possível perceber, nem sempre estão direcionadas para a
melhoria da aprendizagem. Outro ponto em comum é a referência feita ao Ideb, indicador
implantado no território nacional por meio do Decreto 6.094, de 24 de abril de 2007, que
dispõe sobre o Plano de Metas Compromisso Todos pela Educação com vistas à
mobilização social em prol da melhoria da qualidade da Educação Básica. Nos termos do
art. 3º do mencionado decreto,
a qualidade da educação básica será aferida, objetivamente, com base no IDEB,
calculado e divulgado periodicamente pelo INEP, a partir dos dados sobre
rendimento escolar, combinados com o desempenho dos alunos, constantes do censo
escolar e do Sistema de Avaliação da Educação Básica – SAEB, composto pela
Avaliação Nacional da Educação Básica – ANEB e a Avaliação Nacional do
Rendimento Escolar (Prova Brasil). (BRASIL, 2007a).
Conforme o site oficial do Inep (2011c), a ideia do Ideb de reunir os conceitos
de médias de desempenho nas avaliações e de fluxo escolar em um indicador representa
uma iniciativa pioneira no cenário educacional brasileiro. A série histórica de resultados
do Ideb se inicia em 2005, a partir de onde foram estabelecidas metas bienais de qualidade
a serem atingidas por escolas, municípios e unidades da federação (tabela 3).
Tabela 3 – Metas nacionais projetadas pelo Ideb para os anos iniciais do
Ensino Fundamental
Ano Ideb observado Metas nacionais do Ideb
2005 3,8 -
2007 4,2 3,9
2009 4,6 4,2
2011 5,0 4,6
2013 - 4,9
2021 - 6,0
Fonte: Elaborada a partir dos dados do Inep/Ideb (2005-2021).
Cientes dessas metas, cada instância deve evoluir de forma a contribuir para que
o Brasil atinja o patamar educacional da média dos países da Organização para Cooperação
e Desenvolvimento Econômico (OCDE). Isso significa progredir da média nacional (3,8)
que foi registrada em 2005, na primeira fase do Ensino Fundamental, para uma média igual
a 6,0 em 2021.
Dada a sua relevância como indicador de qualidade na Educação Básica, o Ideb
está entre uma das ações integrantes do Plano de Desenvolvimento da Educação (PDE). Esse
plano é constituído por 30 ações que aparecem no site do MEC de forma individualizada,
encontrando-se justapostas, sem nenhum critério de agrupamento. No que se refere aos níveis
escolares, a Educação Básica está contemplada com 17 ações, sendo 12 em caráter global e 5
33
de ordem específica aos níveis de ensino. Das ações que incidem globalmente sobre a
Educação Básica, situam-se o Fundo de Manutenção e Desenvolvimento da
Educação Básica e de Valorização dos Profissionais da Educação (Fundeb) e o Plano de
Metas do PDE–Ideb (SAVIANI, 2007).
Nessa direção, o livro intitulado O plano de desenvolvimento da educação:
razões, princípios e programas, elaborado pelo MEC em 2007, cita a preocupação que
conduziu a criação do Ideb. De acordo com esse material,
são graves os dados relativos à aprendizagem, mas não se pode esquecer que são
igualmente preocupantes as altas taxas de evasão e repetência. A divulgação, por
escola, dos dados relativos ao desempenho médio dos alunos poderia ensejar um
movimento de retenção, visando à melhoria do indicador de qualidade relativo ao
desempenho, o que prejudicaria ainda mais o fluxo. A avaliação poderia, no
limite, produzir efeitos contrários aos pretendidos. O PDE partiu do diagnóstico de
que a ‘indústria da aprovação automática’ é tão perniciosa quanto a ‘indústria da
repetência’. Dessa preocupação nasceu a idéia de combinar os resultados de
rendimento escolar (fluxo apurado pelo censo escolar) num único indicador de
qualidade: o Índice de Desenvolvimento da Educação Básica (IDEB). (BRASIL,
2007b, p. 20-21).
Nesse sentido, o indicador sobre o qual ora discorremos foi pensado de modo a
equilibrar a aprendizagem traduzida no desempenho dos alunos (em Língua Portuguesa e
em Matemática) e o fluxo escolar, também denominado de rendimento escolar. Na
verdade, ele é calculado a partir das seguintes informações: taxa de aprovação e médias de
desempenho em Língua Portuguesa e em Matemática. Os dados sobre aprovação escolar
são obtidos no Censo Escolar8, já as médias de desempenho são obtidas por meio das
avaliações realizadas pelo Inep a cada dois anos: o Saeb e a Prova Brasil.
Mais precisamente, a forma geral do Ideb é dada por:
IDEBji = Nji Pji
Onde:
i = ano do exame (Saeb e Prova Brasil) e do Censo Escolar;
8 O Censo Escolar é um levantamento de dados estatístico-educacionais de âmbito nacional realizado
anualmente sob a coordenação do Inep. Conta com a colaboração das secretarias estaduais e municipais de
Educação e com a participação de todas as escolas públicas e privadas do País. Trata-se do principal
instrumento de coleta de informações da Educação Básica. Coleta dados sobre estabelecimentos,
matrículas, funções docentes, movimento e rendimento escolar. Essas informações são utilizadas para
traçar um panorama nacional da Educação Básica e servem de referência para a formulação de políticas
públicas e execução de programas na área da educação, incluindo os de transferência de recursos públicos,
como merenda e transporte escolar, distribuição de livros e uniformes, implantação de bibliotecas,
instalação de energia elétrica, Programa Dinheiro Direto na Escola (PDDE) e Fundo de Manutenção e
Desenvolvimento da Educação Básica e de Valorização dos Profissionais da Educação (Fundeb). Além
disso, os resultados obtidos no Censo Escolar sobre o rendimento (aprovação e reprovação) e movimento
(abandono) escolar dos alunos do Ensino Fundamental e Médio são utilizados para o cálculo do Ideb
(INEP, 2011a).
34
Nji = média da Proficiência em Língua Portuguesa e em Matemática, padronizada
para um indicador entre 0 e 10, dos alunos da unidade j, obtida em determinada
edição do exame realizado ao final da etapa de ensino;
Pji = indicador de rendimento baseado na taxa de aprovação da etapa de
ensino dos educandos da unidade (FERNANDES, 2007).
Em função do exposto, é possível afirmar que o índice supracitado representa um
avanço importante, pois combina os dados do rendimento do aprendiz com os dados da evasão e
da repetência e possibilita aferir, por um padrão comum nacional, os resultados da
aprendizagem de cada estudante, em cada unidade de ensino (SAVIANI, 2007). Em que pese à
relevância desse indicador para a qualidade da Educação Básica, como observa Villas Boas
(2008, p. 19), “avaliar é necessário. Ter indicadores de avaliação que apontem a situação de
cada aluno, de cada escola e de cada município é fundamental. Mas o principal objetivo disso é
ter como foco a aprendizagem”.
De todo modo, é preciso atentar para as implicações desse índice para a
educação. Uma das implicações pode ser encontrada em Villas Boas (2008, p. 19):
[...] a partir da criação do Ideb, tanto em nível federal quanto nos estados e
municípios têm sido criados mecanismos para evitar a repetência. Mas o que se
observa é o uso insistente das palavras ‘repetência’ e ‘reprovação’, dando a
impressão de que, se os alunos obtiverem nota que garanta sua aprovação, tudo
estará resolvido. Não se têm observado ações voltadas para a ‘aprendizagem’.
Parece estar mantida a concepção tradicional de avaliação, atrelada à aprovação e
à reprovação dos alunos.
A tentativa de driblar a repetência que atua negativamente na
operacionalização do Ideb desponta como um efeito colateral desse indicador. Como não é
de se estranhar, a especulação da mídia em torno desse índice é intensa, de modo
semelhante ao que ocorre com os resultados do Exame Nacional do Ensino Médio (Enem)
e do Programme for International Student Assessment (Pisa).
Como nos mostra Villas Boas (2008), os primeiros resultados do Ideb
produziram um ranqueamento das escolas, elogiando as primeiras colocadas e
desqualificando as últimas. A respeito do Ideb, cabe mencionar que é uma avaliação
somativa que tem a finalidade de realizar o balanço das aprendizagens em um determinado
período de tempo. Entretanto, a autora enfatiza que é preciso pensar o que deve ser feito
com os resultados obtidos. Se houver uma combinação de tais indicadores com aqueles da
avaliação conduzida diariamente na escola, os resultados do Ideb podem contribuir para
que a avaliação formativa seja mais significativa (VILLAS BOAS, 2008).
35
Apesar de reconhecer a sua relevância para o monitoramento da qualidade da
educação, Vidal e Vieira (2011) salientam que a simples existência do Ideb não assegura a
utilização desse indicador, nem muito menos o compromisso de melhorias. Sobre isso, é
interessante notar ainda que o Decreto 6.094, de 24 de abril de 2007, que instituiu o Ideb no
território nacional, expressa claramente a intenção de aferir a qualidade da Educação Básica.
Não obstante, apesar de expressar, por diversas vezes, a preocupação em promover a melhoria
da qualidade da Educação Básica, em nenhum momento o referido documento explicita o que
vem a ser essa tão propalada qualidade.
Ao relacionar Ideb e qualidade da educação, Oliveira (2007, p. 33) aponta uma
deficiência ao afirmar “que, se passamos a considerar como um indicador de qualidade da
educação apenas resultados de produto, difundimos uma idéia de que os processos educativos
não são importantes”. Some-se à análise de Oliveira as considerações de Minhoto (2013, p.
140), que atenta para a complexidade dos fatores associados à definição da qualidade da
educação:
[...] é possível colocar em xeque a racionalidade de recentes intervenções públicas
que buscam induzir e incrementar a qualidade da educação, bem como
responsabilizar seus agentes, por meio do estabelecimento de metas e da
elaboração e divulgação de indicadores educacionais extremamente simples, que
relacionam tão somente os resultados das provas externas ao fluxo escolar. O
Estado brasileiro tem insistido em utilizar tecnologias que apontam
exclusivamente para um ‘quantum’ abstrato e simplista de qualidade, mostrando
apenas parte da realidade e tomando-a pelo todo.
Nesse sentido, faz-se necessário repor o conceito de avaliação como relação entre
fatores, e não como aferição de um único fator, o desempenho do aluno. Em resumo, é preciso
criar a cultura de avaliar a qualidade dos sistemas de ensino, levando em consideração um
número maior de variáveis, sem se limitar àquela gerada pela boa aferição do que os discentes
sabem e são capazes de fazer (MINHOTO, 2013).
Em virtude disso foi que se escolheu a Prova Brasil como objeto de estudo em
uma perspectiva de análise do desempenho escolar (produto) que considera a influência de
fatores de diversas ordens (contexto, processo e insumos). Desse modo, desenvolvemos a
dissertação desse tema, pois, além do aprendizado do educando em Língua Portuguesa e
em Matemática, o instrumental utilizado na Prova Brasil investiga as condições de
qualidade da escolarização e as condições extraescolares intervenientes na aprendizagem
que corroboram para o sucesso e para o fracasso escolar.
36
3 VARIÁVEIS COM INTERFERÊNCIA SIGNIFICATIVA NO DESEMPENHO
ESCOLAR
Tomando como base os documentos publicados na década de 1990 relativos ao
Saeb, Gatti (2014) sinaliza que o Saeb é formado por dois eixos. Um dos eixos está
relacionado ao acesso ao ensino básico, mais precisamente, refere-se ao atendimento à
demanda (taxas de acesso e de escolarização) e à eficiência (taxas de produtividade, de
transição e de eficiência interna). O outro eixo é referente à qualidade atinente ao produto, ao
contexto, ao processo e aos insumos9.
Nessa direção, a dimensão do produto representa o desempenho do aluno na
aprendizagem de conteúdos e no desenvolvimento de habilidades e competências. O contexto
diz respeito ao nível socioeconômico dos discentes, aos hábitos de estudo, ao perfil e
condições de trabalho dos docentes e diretores, ao tipo de escola, ao grau de autonomia da
unidade escolar e à matriz organizacional dessa instituição. A dimensão do processo engloba
o planejamento do ensino e da escola, o projeto pedagógico, a utilização do tempo escolar e as
estratégias de ensino. E os insumos compreendem a infraestrutura, o espaço físico, as
instalações, os equipamentos, os recursos e os materiais didáticos (GATTI, 2014).
Na coleta de dados desse sistema avaliativo, são utilizados questionários
destinados a quatro públicos (alunos, professores, diretores e escolas). Conforme Locatelli
(2002, p. 11), no instrumento do educando, privilegiou-se “[...] a caracterização
sociodemográfica, o capital cultural, o capital social, a motivação e autoestima, as práticas de
estudos e a trajetória escolar”.
Nos instrumentos direcionados ao docente, coletam-se informações acerca da “[...]
caracterização sociodemográfica dos professores, a formação, a experiência profissional, as
condições de trabalho, o estilo pedagógico e a expectativa destes em relação aos alunos”
(LOCATELLI, 2002, p. 10).
Nos questionários da escola, do diretor e do professor, abordam-se os aspectos
relativos ao contexto escolar, são eles: caracterização sociodemográfica do diretor; formação,
experiência e liderança do diretor; condições de trabalho do diretor e da equipe; trabalho
colaborativo; organização do ensino e políticas de promoção; clima acadêmico; clima
disciplinar; recursos pedagógicos; situação das instalações e equipamentos e atividades
extracurriculares (INEP, 2001).
9 A ideia da avaliação do contexto, dos insumos, do processo e do produto foi formulada por Guba, Hammond,
Provus, Stufflebeam, entre outros.
37
Certamente, os dados levantados por meio desses questionários representam um
verdadeiro acervo de informações que podem servir de subsídios para a avaliação das políticas
educacionais. Dito de outro modo, além do desempenho escolar, o Saeb “[...] verifica outras
variáveis que se associam e condicionam o rendimento escolar” (VIANNA, 1990, p. 99).
A partir da análise das variáveis que atualmente compõem os instrumentos
contextuais aplicados pelos Saeb, adaptamos o quadro apresentado por Locatelli em 2001, no
Seminário Experiências em Sistemas Estaduais de Avaliação10
(quadro 1).
Quadro 1 – Construtos privilegiados pelos questionários contextuais do Saeb
Questionário Construtos
Aluno
Caracterização socioeconômica (indicadores de renda familiar, educação dos pais
ou responsáveis)
Caracterização demográfica (idade, etnia, tamanho da família e condições de
moradia)
Capital cultural
Apoio familiar à escolarização (capital social mobilizado pela família)
Motivação e autoestima
Hábitos de estudo
Trajetória escolar (distorção idade–série, repetência, abandono da escola,
conciliação trabalho e estudo)
Professor
Caracterização socioeconômica do professor
Caracterização demográfica do professor (idade, etnia)
Formação do professor (inicial e continuada)
Experiência do professor
Condições de trabalho e satisfação profissional do professor
Clima disciplinar
Clima acadêmico
Estilo pedagógico
Expectativas do professor em relação ao aluno
Trabalho colaborativo do corpo docente
Duração da jornada de trabalho
Diretor
Caracterização socioeconômica do diretor
Caracterização demográfica do diretor (idade, etnia)
Experiência do diretor
Estilo de gestão
Liderança da direção
Clima disciplinar
Clima acadêmico
Duração da jornada de trabalho
Escola
Relação escola–família
Política de avaliação da escola
Porte da escola
Conservação das instalações físicas
Equipamentos pedagógicos
Recursos financeiros
Recursos e materiais didáticos
Condições ambientais
Condições de acessibilidade
Fonte: Adaptado de Locatelli (2001).
10
O Seminário Experiências em Sistemas Estaduais de Avaliação, realizado em 2001 na cidade de Recife (PE), foi
promovido pela Secretaria de Educação e Cultura do Estado de Pernambuco e UNESCO, com o apoio da Diretoria
de Avaliação da Educação Básica, do Instituto Nacional de Estudos e Pesquisas Educacionais – DAEB/INEP.
38
A utilização desses questionários foi adotada logo no primeiro ciclo do Saeb, ou
seja, em 1990. As variáveis externas ao âmbito escolar passaram a integrar tais instrumentos a
partir do terceiro ciclo do Saeb, isto é, desde a edição de 1995. Em uma entrevista concedida à
Coordenação de Análises e Publicações (CAP) do Centro de Políticas Públicas e Avaliação da
Educação (CAEd), a pesquisadora Alicia Bonamino (2014) descreveu com maestria o que a
referida adoção representou:
[...] no terceiro ciclo do Saeb foram utilizados questionários contextuais
destinados aos estudantes, o que representa um avanço já que os ciclos
anteriores tendiam a valorizar apenas o papel das variáveis escolares,
subestimando, portanto, a importância da dimensão socioeconômica e cultural
da vida do aluno e sua relação com o desempenho escolar. O Saeb 1995
produziu uma ruptura positiva com os ciclos anteriores ao voltar sua atenção
para os fatores externos que influenciam o desempenho escolar, e manteve a
ênfase na importância dos processos internos da escola sobre os resultados dos
alunos.
Isso posto, autores como Locatelli (2001) consideram que o Saeb está bem
organizado para responder questões acerca do desempenho, assim como para auxiliar na
construção de modelos explicativos da relação entre desempenho acadêmico e contexto
escolar e familiar do aluno. Considerando o posicionamento de Bonamino (2014) e de
Locatelli (2001), a configuração do Saeb – em termos ideais – está de acordo com o que foi
expresso por Vianna (1990, p. 99):
O desempenho dos estudantes, em pesquisas da qualidade da educação é melhor
compreendido e interpretado quando se levantam informações sobre o tipo de ensino
que recebem, os procedimentos que vivenciam em sala de aula e no colégio, e ainda
sobre as características ambientais da família, que determinam o seu
comportamento.
No que atine às avaliações nacionais em larga escala, é válido considerar o
argumento citado por Vianna (1990), que demonstra a inter-relação dos elementos
constituintes do processo de ensino e de aprendizagem. Nessa linha, a análise do desempenho
escolar deve considerar a influência de fatores intra e extraescolares.
No contexto educacional brasileiro, o campo de estudo relativo aos fatores intra e
extraescolares associados ao desempenho escolar tem recebido as contribuições de diversos
pesquisadores. Entre esses aportes, encontramos o modelo conceitual dos fatores intra e
extraescolares vinculados ao rendimento escolar elaborado por Soares (2004), conforme se
pode visualizar na figura adiante.
39
Figura 2 – Modelo conceitual dos fatores intra e extraescolares associados ao desempenho escolar
Fonte: Extraída de Soares (2004, p. 85).
No modelo, as variáveis relativas ao aluno e à família dele estão situadas no
primeiro plano. O segundo plano é constituído pelas variáveis escolares e o último pelas
variáveis relativas às estruturas sociais que estão no entorno da escola. Apesar da apresentação
em três planos, para Soares (2004, p. 85), “a divisão dos fatores em blocos [...] não deve ser
vista como evidência de que se trata de áreas estanques ou dotadas de grande homogeneidade.
Como é freqüente em educação, os construtos se inter-relacionam em sua definição e
ocorrência”.
O reconhecimento da interferência das variáveis internas e externas ao contexto
escolar no desempenho acadêmico tem fomentado o desenvolvimento de uma variedade de
estudos com abordagens, recortes e amostras específicos, a despeito de possuírem o propósito
comum de desvelar quais são esses fatores. A identificação desses fatores permite que os
agentes educacionais tenham mais elementos para avançar na busca da melhoria dos
resultados escolares.
3.1 Variáveis intraescolares
Uma das vantagens advindas da cristalização dos sistemas avaliativos trata-se
da obtenção de inúmeros dados concernentes às redes de ensino e ao público atendido. O
40
acesso a esses dados tem possibilitado ao pesquisador obter – por meio de métodos
quantitativos – as evidências necessárias de que o rendimento escolar resulta da influência
de diversas variáveis. Tais evidências são úteis para validar os postulados dos estudiosos
que defendem essa tese, como é o caso de Parlett e Hamilton (1982, p. 40), para eles,
o meio de aprendizagem representa um complexo de variáveis culturais, sociais,
institucionais e psicológicas. Estas interagem de forma complicada, produzindo em
cada sala de aula ou em cada curso um arranjo único de circunstâncias, pressões,
hábitos, opiniões e estilos de trabalho, o qual influencia o ensino e a aprendizagem
que lá se realizam.
Considerar o meio de aprendizagem é uma das preocupações da avaliação
iluminativa, esse conceito “[...] é necessário para analisar a interdependência entre a
aprendizagem e o ensino e para relacionar a organização e as práticas instrucionais com o
desempenho dos alunos a curto e longo prazo” (PARLETT; HAMILTON, 1982, p. 41). A
perspectiva ora defendida insere-se na proposta inovadora da avaliação iluminativa, que está
atenta a um complexo conjunto de questões de modo a englobar o todo.
Nesse entendimento, o desenvolvimento intelectual do aprendiz não pode ser
compreendido de modo isolado, mas dentro do contexto escolar (PARLETT;
HAMILTON, 1982). Não foi à toa que Ferrão et al. (2001) preocuparam-se em identificar
os fatores associados ao desempenho escolar e à eficiência educacional. Para tanto, os
pesquisadores aplicaram modelos de regressão multinível aos dados do quinto ciclo de
avaliação do Saeb relativos ao ano de 1999. Na seleção das variáveis explicativas, além
das variáveis relativas ao aluno, à escola/turma e ao professor, recorreram ao estudo de
Sammons, Hillman e Mortimore (1995), que trata de onze fatores-chave relacionados ao
sucesso escolar. Os autores chegaram a esses fatores a partir de uma revisão de
publicações na área.
Como conclui Sammons (2008), a descrição desses fatores tem o propósito de
fornecer um background aos interessados na promoção da eficácia e do melhoramento
escolar. São eles:
1. Liderança profissional;
2. Objetivos e visões compartilhados;
3. Ambiente de aprendizagem;
4. Concentração no ensino e na aprendizagem;
5. Ensino e objetivos claros;
6. Altas expectativas;
7. Incentivo positivo;
41
8. Monitoramento do progresso;
9. Direitos e responsabilidades do aluno;
10. Parceria casa–escola;
11. Organização orientada à aprendizagem.
Estudos dessa ordem são conduzidos por dois grandes objetivos, o primeiro é
estimar a magnitude dos efeitos escolares, analisando suas propriedades científicas; já o
segundo é identificar os fatores da sala de aula, da escola e do contexto, que fazem com que
uma escola seja eficaz (TORRECILLA, 2003). Em linhas gerais, tais investigações fazem
parte do campo da pesquisa em eficácia escolar, catalisador do interesse de pesquisadores
estrangeiros e brasileiros. Sobre isso, como refere Torrecilla (2008), o segundo objetivo
ganha mais ênfase entre pesquisadores ibero-americanos. Nesse sentido, ao pressupor a
existência de efeitos escolares, os estudiosos concentram suas forças na determinação dos
fatores associados.
A literatura especializada sobre eficácia escolar desenvolvida na América Ibérica
agrupa-se em quatro grupos de trabalho, a saber: 1) estudos sobre a eficácia escolar, com o
propósito de identificar os fatores escolares associados ao desempenho dos alunos; 2) estudos
que procuram encontrar a relação entre determinados fatores e desempenho, a fim de analisar
a relação entre o rendimento escolar e um dos seguintes grupos de fatores: eficácia docente,
clima escolar, recursos econômicos, pré-escolarização, nutrição/desnutrição e educação
bilíngue; 3) avaliações de programas de melhoria, com a intenção de obter resultados a
respeito da eficácia escolar; 4) estudos etnográficos sobre a escola, com a finalidade de
investigar aspectos vinculados à docência e à gestão escolar (TORRECILLA, 2008).
O escopo desta dissertação insere-se no primeiro grupo de estudos sobre eficácia
escolar. Ao nos aprofundarmos um pouco mais nesse grupo, verificamos que,
Dentro desse grande leque de pesquisas, podemos distinguir duas linhas claramente
diferenciadas: de um lado, os estudos cujo projeto e coleta de dados foi realizado ad
hoc, com o objetivo de conhecer os fatores de eficácia escolar; de outro, os trabalhos
que realizaram uma exploração secundária de dados recolhidos com outros
propósitos, fundamentalmente explorações secundárias de avaliações do sistema
educativo. (TORRECILLA, 2008, p. 472).
O percurso metodológico assumido pela presente pesquisa – delineado a partir da
exploração secundária dos microdados da Prova Brasil/2011 – adere-se à segunda linha
supracitada.
A partir da análise da literatura brasileira que se detém ao estudo dos fatores
associados à eficácia escolar, Alves e Franco (2008) os organizaram em cinco categorias: 1)
42
recursos escolares – os equipamentos e a conservação deles e do prédio escolar contribuem de
modo positivo no contexto educacional brasileiro, porém eles só são eficazes se efetivamente
usados; 2) organização e gestão da escola – marcada pela liderança do diretor e pelo
comprometimento coletivo dos docentes com o aprendizado do aluno; 3) clima acadêmico –
delineado pela primazia do ensino e da aprendizagem; 4) formação e salário docente – com
interferência relativamente pequena; e 5) ênfase pedagógica – métodos ativos de ensino
promovem desdobramentos eficazes.
De modo geral, os estudos que se empenham em demonstrar os efeitos da escola
no desempenho do discente recorrem ao controle do impacto das variáveis socioeconômicas,
pois, em boa parte dos casos, elas possuem elevado poder de explicação. Ressalte-se, por
oportuno, a pesquisa de Jesus e Laros (2004), que teve como finalidade propor um modelo
explicativo para o desempenho dos alunos da 8ª série, atual 9º ano do Ensino Fundamental,
em Língua Portuguesa com base nos resultados do Saeb 2001.
No controle do impacto da composição socioeconômica, os pesquisadores
consideraram dois níveis de agregação, nível socioeconômico individual do educando (nível
1) e composição socioeconômica média da escola (nível 2). No nível 1, eles evidenciaram que
o atraso escolar (- 0,19 σ), o dever de casa (0,08 σ) e o fato de o discente trabalhar (- 0,04 σ)
são aspectos de interferência significativa no rendimento acadêmico.
Quanto à escola, os aspectos dela oriundos que contribuíram para a elevação do
rendimento do aprendiz em Língua Portuguesa e que constituíram o modelo explicativo
foram: a existência e a manutenção de recursos técnico-pedagógicos; professor que adere ao
dever de casa e que o corrige; instalações físicas em bom estado de conservação; docente
comprometido com a melhoria da escola, das aulas, dos resultados dos estudantes e da
aprendizagem; educador com altas expectativas em relação ao desempenho do aluno; e pai
que apoia o filho por meio da ajuda na lição de casa, do incentivo para tirar boas notas e da
conversa.
Entender que o aproveitamento escolar relativo aos conteúdos estudados resulta
dos processos desenvolvidos pela e na escola é um passo importante quando se pretende
aprofundar a compreensão em torno do desempenho cognitivo, tomando-o como fruto de
múltiplas determinações.
Com vistas a avançar ainda mais nesse entendimento, torna-se necessário captar
até que ponto os aspectos não oriundos da escola pesam nos resultados escolares.
43
3.2 Variáveis extraescolares
Análises empíricas adeptas ao discurso que apregoa o condicionamento do
rendimento acadêmico, além das variáveis restritas ao âmbito interno da escola, incluem
as variáveis externas à instituição educacional vinculadas ao aluno e à sua família.
Especial protagonismo das variáveis dessa natureza foi verificado no estudo Equality of
educational opportunity (Igualdade de Oportunidades Educacionais), concebido por
Coleman, Campbell, Hobson, McPartland, Mood, Weinfeld e York entre as décadas de
1950 e 1960.
A publicação desse trabalho contribuiu significativamente para os debates em
torno do tema e para o desenvolvimento de outras investigações movidas com o mesmo
propósito, de tal modo que os pesquisadores que dissertam acerca da temática – na maioria
dos casos – fazem referência ao estudo conhecido como Relatório Coleman. Mais
precisamente, ao relacionar mais de 400 variáveis com as medidas dos resultados escolares, o
Relatório Coleman evidenciou que os efeitos provenientes das características da família do
educando contribuíram em maior grau para a variância total do desempenho escolar do que os
efeitos das características da escola.
Resultado compatível com as evidências do Relatório Coleman foi apresentado
pelo estudo de Albernaz, Ferreira e Franco (2002), que revelou que cerca de 80% da
variância em desempenho médio entre as escolas relaciona-se com as diferenças na
composição socioeconômica dos alunos. O referido trabalho foi realizado com base nos
dados do Sistema de Avaliação da Educação Básica (Saeb) para a então chamada 8ª série do
Ensino Fundamental em 1999, utilizando modelos hierárquicos lineares.
Nessa linha, o histórico escolar revelou-se como um dos fatores individuais com
efeitos estatisticamente relevantes sobre o desempenho escolar. Os resultados da pesquisa
indicaram que, enquanto os alunos com um ano de repetência apresentam, em média,
desempenho inferior em -16 pontos, os discentes com dois anos de repetência apresentam um
desempenho médio ainda mais inferior, de -20.0 pontos, assim como os educandos que
repetiram três e quatro vezes, -21.0 e -22.8, respectivamente.
Não é preciso muito esforço para encontrar investigações caracterizadas pelo
acentuado rigor metodológico no tratamento de dados e por constatações que em muito se
assemelham às evidências dos estudos mencionados anteriormente.
Isso posto, antes de controlar as variáveis relativas à seletividade e à composição
escolar, os resultados da pesquisa de Jesus e Laros (2004) – citada na seção anterior e
44
desenvolvida tomando como base os dados do Saeb relativos ao 9º ano do Ensino
Fundamental – indicaram que as variáveis que fazem alusão à caracterização socioeconômica
da escola e ao status socioeconômico do aluno são responsáveis por 79% da variância entre as
escolas no desempenho em Língua Portuguesa.
Com efeito, não há como negar a influência dos fatores externos ao contexto
escolar em seu desempenho acadêmico. Autores como Vianna (2003b, p. 47) destacam a
interferência dos fatores externos no desempenho estudantil do aprendiz:
Fatores externos à escola [...] também têm importante papel no sucesso escolar,
sendo suficiente citar alguns poucos como, entre outros, a equivalência
idade/série; horas de estudo no lar e a participação efetiva da família no
acompanhamento das atividades escolares. O fracasso ou o baixo desempenho
numa avaliação, portanto, nem sempre está relacionado ao professor, que, muitas
vezes, por si, não tem condições de atuar visando à eliminação desses fatores.
O autor endossa as constatações das investigações relatadas e, na conclusão de sua
tese, defende um julgamento atento às múltiplas variáveis, incluindo as variáveis sociais,
econômicas e culturais, com o poder de invalidar as ações ulteriores ao trabalho avaliativo
(VIANNA, 2003c).
Em virtude da pertinência e da capacidade de germinar efeitos positivos para a
escola, o tema tem povoado a cabeça de estudiosos contemporâneos que partem da
prerrogativa de que
os fatores que determinam o desempenho cognitivo do aluno pertencem a três
grandes categorias: a estrutura escolar, a família e características do próprio aluno.
Nesse campo de pesquisa educacional as melhores análises incorporam todos esses
fatores ao invés de se apoiar em apenas uma área. Ou seja, nem os fatores extra-
escolares conseguem sozinhos explicar o desempenho cognitivo, nem a escola faz
toda a diferença. (SOARES; ARAÚJO, 2006, p. 109).
Compartilhar desse pensamento implica superar a ideia de que o produto – aqui
entendido como o desempenho cognitivo do aluno – não está passível de mudança, que ele é
desenhado pelas condições socioeconômicas do estudante. Implica também superar a ideia
de que o produto resulta exclusivamente dos processos pedagógicos aos quais ele esteve
exposto.
Outro estudo empreendido no Brasil analisou os fatores que mais afetam o
desempenho escolar. A pesquisa foi realizada por Filho, Nuñez e Ribeiro (2009) a partir
dos dados da Prova Brasil de 2007 e do Sistema de Avaliação de Rendimento Escolar do
Estado de São Paulo (Saresp) de 2008. Os resultados obtidos indicaram o ingresso do
educando na pré-escola, a idade do aluno, o nível educacional da mãe, a existência de
computador em casa, a experiência do diretor, o tempo no cargo de diretor, o vínculo
45
empregatício estável do professor, a ocorrência de faltas por parte do corpo docente, a
cobertura do programa didático, a distribuição do livro didático e a ocorrência de roubos
e de violência na escola como fatores que afetam significativamente o desempenho
escolar.
À semelhança de Vianna (2003b) e de Soares e Araújo (2006), Horta Neto (2010,
p. 98), ao dissertar acerca da avaliação externa de escolas e sistemas, concorda que “os
resultados educacionais dos estudantes são o produto de um complexo conjunto de fatores
(que inclui o próprio esforço individual do estudante para aprender)”. Não obstante, ele
observa que
[...] esses fatores levantados pelos questionários não estabelecem uma relação de
causalidade entre o fator levantado e o desempenho do aluno, mas podem indicar
quais as áreas que deveriam ser prioritárias para a intervenção dos governos e quais
as iniciativas políticas que deveriam ser tomadas, com o objetivo de promover
melhorias no ensino. (HORTA NETO, 2010, p. 87).
Em adendo à observação de Horta Neto (2010), convém citar a recente criação do
Indicador de Nível Socioeconômico das Escolas de Educação Básica (Inse) pelo Inep. O
objetivo desse indicador é contextualizar o desempenho das escolas nos testes realizados pelo
Inep, pois os processos de ensino e de aprendizagem, em parte, são condicionados pelo padrão
de vida do alunado atendido pela unidade de ensino. Em outros termos, o Inse pretende
evidenciar um dos principais condicionantes do ensino e da aprendizagem, o nível
socioeconômico dos alunos (BRASIL, 2015).
O indicador é calculado com base nas informações fornecidas pelos alunos no
questionário contextual do Saeb e do Enem. Norteados por um levantamento teórico, a
partir dos referidos instrumentos, foram extraídas 17 questões que passaram a compor o
Inse. Em linhas gerais, as questões referem-se à renda familiar, à posse de bens, à
contratação de empregada doméstica e ao nível de escolaridade dos pais ou dos
responsáveis.
No Inse é possível verificar a média do nível socioeconômico dos alunos de cada
escola classificada em um dos sete níveis da escala do Inse que levam em conta os elementos
citados no parágrafo anterior. Além do Inse, foram criados mais três indicadores formulados
com base nas informações prestadas pelas escolas ao Censo Escolar, são eles: indicador para
mensurar a complexidade da gestão nas escolas a partir dos dados do Censo Escolar da
Educação Básica; indicador de adequação da formação do docente da Educação Básica; e
indicador de esforço docente.
46
Os novos indicadores atendem à prescrição do Plano Nacional de Educação (Lei
n.º 13.005/2014) ao Saeb, traduzida por meio da produção de indicadores de avaliação
institucional relativos ao perfil dos discentes e dos docentes, à infraestrutura escolar, aos
recursos pedagógicos e aos processos da gestão.
O empreendimento envolvido na formulação de novos indicadores representa um
grande avanço no tratamento dos dados contextuais coletados via questionários do Saeb e do
Enem e via Censo Escolar, porém há muito que se fazer para que o objetivo proposto pelo
Saeb de construir um tipo de medida referente aos fatores de contexto correlacionados com o
desempenho escolar seja efetivado. Não basta apresentar as características relativas a cada
elemento que compõe a unidade de ensino, é preciso aferir o que cada característica agrega à
aprendizagem do alunado.
De certo modo, a obtenção do Inse por meio dos dados coletados pelo questionário
discente aplicado pelo Saeb/Prova Brasil soa como algo de bom-tom para as discussões
relativas ao assunto. Acredita-se que os dados obtidos mediante os questionários discriminados
por unidade de ensino, aliados ao desempenho do educando demonstrado nos testes,
representam verdadeiros subsídios para a compreensão do rendimento acadêmico do aprendiz e
para o desenvolvimento da intervenção pedagógica.
Nesse sentido, como refere Vieira (2008), a produção de informações por unidade
escolar feita pela Prova Brasil pretende contribuir para o desenvolvimento de uma cultura
avaliativa, pois estimula a melhoria da qualidade da educação nacional e conduz a adequados
controles sociais dos resultados.
Ainda em relação a esse assunto, deve-se considerar o que Pestana (2013, p.
125) exprimiu em seu texto, numa visão deliberadamente provocativa:
Hoje o sistema de avaliação SAEB pode ser definido como uma avaliação restrita
ao rendimento dos alunos. Há pouca ou nenhuma referência às informações
obtidas com os questionários de contexto e de fatores intraescolares e somente os
dados da proficiência são divulgados. À população não é dado conhecer os
resultados sobre a situação das escolas, dos alunos ou dos professores. A
mensagem trazida por este tipo de tratamento da informação é a de que o
desempenho dos alunos é aspecto independente, autônomo, não condicionado por
fatores materiais, subjetivos, históricos.
Nesse ponto, relacionamos a presente discussão com o que Montaigne
defendeu em meados do século XVI, para ele, ao ensino compete a formação da cabeça
bem feita em detrimento da cabeça cheia. A ideia do filósofo francês é compartilhada por
Morin (2003, p. 21): “[...] mais vale uma cabeça bem-feita que bem cheia”. O significado
da cabeça bem cheia, na interpretação de Morin (2003), faz alusão a uma cabeça na qual o
47
saber é acumulado, empilhado, sem dispor de uma seleção e/ou organização que lhe dê
sentido. Não obstante, a cabeça bem feita é constituída pela busca de colocar e tratar os
problemas, orientada por um princípio organizador para ligar os saberes e lhes dar sentido.
Passar da cabeça bem cheia para a cabeça bem feita representa um desafio para o
ensino, que também se faz presente no sistema avaliativo, na medida em que a avaliação em larga
escala gera dados e mais dados acerca da dinâmica escolar, que se exaurem entre si, sem
estabelecer a articulação que, necessariamente, atribui-lhe significação. Logo, na avaliação
externa, a cabeça cheia é representada pelo acúmulo de informações fragmentadas resultantes do
instrumental utilizado.
Assim, na análise dos dados coletados pelo referido sistema de avaliação, adota-
-se um tratamento desagrupado, enfatizando, apenas, a média da proficiência obtida nos
testes. Por seu turno, a cabeça bem feita é constituída a partir da articulação das variáveis,
percebendo as relações existentes, o que possibilita compreender que o rendimento escolar
não pode ser visto como uma entidade independente, como se ele não resultasse de fatores
intra e extraescolares.
Nesses termos, desenvolvemos esta investigação com o propósito de identificar as
variáveis do aluno, do professor, do diretor e da escola que se relacionam significativamente
com o rendimento dos discentes de 5º ano do Ensino Fundamental do estado do Ceará no teste
de Língua Portuguesa na quarta edição da Prova Brasil/2011. A partir disso, elaboramos um
modelo linear múltiplo com as variáveis do educando, do professor, do diretor e da escola
como variáveis independentes que expliquem a Proficiência em Língua Portuguesa obtida
pelos aprendizes. Para tanto, adotamos os procedimentos metodológicos descritos no próximo
capítulo.
48
4 PROCEDIMENTOS METODOLÓGICOS
A partir da discussão suscitada anteriormente, retomamos a preocupação central do
estudo, traduzida por meio do objetivo de elaborar um modelo linear múltiplo com as variáveis
do aluno, do professor, do diretor e da escola como variáveis independentes que expliquem o
desempenho dos discentes no teste de Língua Portuguesa. Tendo em vista o escopo aventado,
recorremos ao estudo explicativo transversal de abordagem quantitativa, utilizando os dados
secundários da Prova Brasil/2011.
O acesso aos arquivos da Prova Brasil/2011 nos possibilitou a obtenção dos dados
utilizados nesta investigação, disponíveis na página eletrônica do Inep. O referido instituto
disponibiliza os microdados da Prova Brasil em seu site oficial, na seção intitulada
Informações Estatísticas (INEP, 2011f), de onde se pode descarregar os muitos arquivos ali
dispostos pertinentes aos microdados das edições de 2007, 2009 e 2011 da Prova Brasil. Para
esta pesquisa, interessaram-nos apenas os microdados de 2011.
Além das proficiências em Língua Portuguesa obtidas pelos alunos do 5º ano do
Ensino Fundamental do estado do Ceará na Prova Brasil/2011, utilizamos nesta investigação
os dados obtidos por meio dos seguintes questionários contextuais, elaborados e aplicados
pelo Inep:
Questionário da escola (composto por 72 itens);
Questionário do diretor (composto por 212 itens);
Questionário do professor de Língua Portuguesa da turma de 5º ano do Ensino
Fundamental (composto por 152 itens);
Questionário do aluno (composto por 54 itens).
Os instrumentos supracitados integram os microdados da Prova Brasil/2011, mais
bem discriminados na próxima subseção deste estudo.
4.1 Organização dos microdados da Prova Brasil/2011
Na edição de 2011, a Prova Brasil avaliou 55.924 escolas públicas das redes
estaduais, municipais e federais, de área rural e urbana, com a condição de que a instituição
possuísse em cada série avaliada no mínimo a quantidade de 20 alunos regularmente
matriculados (INEP, 2011d).
Os microdados referentes à Prova Brasil de 2011 consistem em uma compilação
de dados desagregados, os quais são constituídos por seis pastas (Manual do Usuário,
49
Dicionário, Escalas de Desempenho, Matrizes de Referência, Questionários Socioeconômicos
e Dados).
A pasta Manual do Usuário contém um documento que traz esclarecimentos
acerca do Saeb, da Prova Brasil/2011 e dos Microdados da Prova Brasil/2011. A pasta
Dicionário, por sua vez, além da descrição dos códigos utilizados (ID_UF,
ID_LOCALIZACAO, ID_SERIE, ID_DESCRITOR, etc.), apresenta um detalhamento dos
itens e das opções de resposta de cada questionário contextual. Nos microdados, são
destinadas duas pastas, uma para as Escalas de Desempenho em Língua Portuguesa e em
Matemática para os 5º e os 9º anos do Ensino Fundamental e outra para as Matrizes de
Referência de ambas as séries. Na pasta Questionários Socioeconômicos, estão disponíveis o
questionário da escola, o questionário do diretor, o questionário do professor por disciplina
(Língua Portuguesa ou Matemática) e por turma e o questionário do aluno. Finalmente, a
pasta Dados é composta por dez arquivos em formato Excel (quadro 2).
Quadro 2 – Descrição dos arquivos da pasta Dados
Arquivo Descrição
TS_ITEM
Constituído pelo código do descritor (1 ao 37) e pelo gabarito (A,
B, C, D) de cada um dos itens que compuseram os testes de
Língua Portuguesa e de Matemática destinados aos 5º e aos 9º
anos do Ensino Fundamental.
TS_RESPOSTA_ALUNO
Constituído pelo código e pelas respostas de cada aluno nos testes
de Língua Portuguesa e de Matemática destinados aos 5º e aos 9º
anos do Ensino Fundamental.
TS_RESULTADO_ALUNO
Constituído pela proficiência na escala (0 ; 500) obtida por cada
discente avaliado pela Prova Brasil/2011 nos testes de Língua
Portuguesa e de Matemática.
TS_PESOS Constituído pelo número de participantes por estado, por
município, por escola, por turma e por série.
TS_RESULTADO_ESCOLA Constituído pela taxa de participação, pela média da Proficiência
em Língua Portuguesa e em Matemática de cada escola.
TS_RESULTADO_MUNICIPIO Constituído pela taxa de participação, pela média da Proficiência
em Língua Portuguesa e em Matemática de cada município.
TS_QUEST_ALUNO Constituído pelas respostas (A, B, C, D, E, F, G, H, I, J, K, L)
relativas ao questionário aplicado ao aluno de cada série avaliada.
TS_QUEST_PROFESSOR
Constituído pelas respostas (A, B, C, D, E, F, G, H, I) relativas ao
questionário aplicado ao docente de cada disciplina de cada série
avaliada.
TS_QUEST_DIRETOR Constituído pelas respostas (A, B, C, D, E, F, G, H, I, J) relativas
ao questionário aplicado ao diretor de cada escola.
TS_QUEST_ESCOLA Constituído pelas respostas (A, B, C, D) relativas ao questionário da
escola.
Fonte: Dados adaptados de Inep (2011b).
Dentre esses dez arquivos, cinco foram essenciais para a organização dos dados
do estudo (quadro 3).
50
Quadro 3 – Correspondência entre arquivos
Arquivo Prova Brasil – Estados da federação Arquivo Prova Brasil – Estado do Ceará
TS_QUEST_ALUNO e TS_RESULTADO_ALUNO Arquivo Aluno
TS_QUEST_PROFESSOR Arquivo Professor
TS_QUEST_DIRETOR Arquivo Diretor
TS_QUEST_ESCOLA Arquivo Escola
Fonte: Elaborado pela pesquisadora (2015).
Os cinco arquivos possuem dados de todos os estados da federação, com isso,
foram extraídos cinco bancos de dados apenas com as informações pertinentes ao estado do
Ceará. Nesse processo, o arquivo TS_QUEST_ALUNO foi facilmente associado ao arquivo
TS_RESULTADO_ALUNO por meio do código de identificação do aprendiz. Nesse
sentido, além das respostas de cada discente relativas ao questionário contextual, o Arquivo
Aluno possui as proficiências obtidas por cada estudante no teste de Língua Portuguesa.
Com isso, passamos a trabalhar com quatro arquivos.
No Statistical Package for the Social Sciences (SPSS) para Windows, versão 20.0,
as variáveis dos quatro arquivos foram dispostas a partir dos itens dos questionários
contextuais e das opções de resposta contidas neles. Depois de ordenados, os quatros arquivos
foram agrupados em um só banco de dados. Para tanto, contamos com o auxílio do Sistema
Gerenciador de Bancos de Dados (SGBD), chamado Microsoft SQL Server versão 2005. A
associação dos arquivos foi feita através do código de identificação da escola (ID_Escola) e
do código de identificação da turma (ID_Turma), códigos comuns entre os quatro arquivos
(figura 3).
Figura 3 – Associação dos arquivos
Fonte: Elaborada pela pesquisadora com o auxílio do Microsoft SQL Server versão 2005 (2015).
51
Depois de reunidos, os dados foram novamente exportados para o SPSS, que
viabilizou a análise.
4.2 População
A população objeto de estudo foi constituída pelos alunos do 5º ano do Ensino
Fundamental de escolas da rede pública municipal do estado do Ceará e pelos respectivos
professores de Língua Portuguesa, diretores e escolas.
Assim, do universo avaliado pela Prova Brasil, analisamos nesta investigação
apenas os dados do estado do Ceará para o 5º ano do Ensino Fundamental. O banco,
composto por 2.754 unidades de ensino, 2.754 diretores, 13.262 professores e 106.632 alunos,
caracterizou-se por um elevado número de itens sem resposta (Missing), com o poder de
invalidar o tipo de análise pretendida pela dissertação.
Desse modo, a partir da frequência simples de cada variável, eliminamos os
casos não respondidos, resultando em um banco composto por 396 unidades de ensino,
396 diretores, 530 professores de Língua Portuguesa e 13.846 alunos do 5º ano do Ensino
Fundamental do estado do Ceará.
4.3 Amostra
A partir do banco constituído por 396 escolas, 396 diretores, 530 docentes e
13.834 educandos, selecionamos uma amostra constituída por 486 discentes, 276 professores,
223 diretores e 223 unidades de ensino, tomados aleatoriamente. Para tanto, contamos com o
auxílio do SPSS, recorrendo aos seguintes comandos: Data – Select Cases – Select – Random
Sample of Cases – Sample (Clicar) – Sample Size – Exactly (Valor: 486) – Cases from the
first (13.846) Cases – Continue – Ok.
A amostra foi calculada para uma confiança de 99% e erro igual a 0,05 na escala
de proporção, supondo a distribuição na população de uma variável medida dicotomicamente
apresentando variância máxima (σ² = 0,25)11
. Além desse critério, atentamos para a
recomendação de Field (2009), que sugere que a amostra possua pelo menos 15 participantes
por previsor.
11
Isso ocorre quando a variável apresenta medida em uma escala com duas categorias de medida, por exemplo,
a variável sexo, que só pode assumir masculino ou feminino como medida. A variância máxima ocorre
quando cada uma dessas categorias apresenta 50% da frequência total.
52
Tabela 4 – Estatística da distribuição da Proficiência em Língua
Portuguesa na população
Proficiência em Língua Portuguesa Estatística
N 13.728
Missing 106
Mínimo 77,2033
Máximo 335,5774
Média 182,592000
Desvio padrão 44,2134414
Variância 1954,828
Assimetria 0,457
Fonte: Elaborada pela pesquisadora (2015).
Algumas das informações contidas na tabela 4 foram apresentadas graficamente
na figura adiante.
Figura 4 – Média da Proficiência em Língua
Portuguesa na população
Fonte: Elaborada pela pesquisadora (2015).
Por seu turno, a amostra selecionada aleatoriamente apresentou as estatísticas da
Proficiência em Língua Portuguesa obtida pelos alunos do 5º ano do Ensino Fundamental da
rede pública municipal cearense, conforme a tabela a seguir.
Tabela 5 – Estatística da distribuição da Proficiência em Língua Portuguesa na amostra
Proficiência em Língua Portuguesa Estatística
N 486
Mínimo 88,7064
Máximo 322,4122
Média 186,935499
Desvio padrão 46,6524862
Variância 2176,454
Assimetria 0,415
Intervalo de confiança para a média (99%) Limite inferior 181,462998
Limite superior 192,408001
Fonte: Elaborada pela pesquisadora (2015).
53
Além da tabela, verificamos como os dados da Proficiência em Língua Portuguesa
se comportam graficamente na amostra estudada (figura 5).
Figura 5 – Média da Proficiência em Língua
Portuguesa na amostra
Fonte: Elaborada pela pesquisadora (2015).
A média da proficiência na população (µ = 182,592000) situou-se nos respectivos
intervalos de confiança para a média na amostra. Ademais, podemos observar que as demais
medidas na amostra situam-se muito próximas das medidas verificadas na população. Assim,
podemos concluir que a amostra possui uma boa representação da população.
4.4 Sumário das variáveis
Em relação aos tipos de variáveis a serem tratadas na análise de regressão linear
múltipla, Field (2009) observa que as variáveis independentes devem ser quantitativas ou
categóricas. Já as variáveis dependentes devem ser caracterizadas como quantitativas e
contínuas. A Proficiência em Língua Portuguesa, variável dependente do estudo, atende aos
critérios supracitados, pois a proficiência obtida por cada aluno é representada por valores que
vão de 0 inclusive a 500 inclusive.
Autores como Hair et al. (2009) impõem que, para aplicar a análise de
regressão múltipla, os dados devem ser métricos12
(quantitativos) ou não métricos13
(qualitativos). Quanto aos dados não métricos, recomenda-se que eles sejam
adequadamente transformados.
12
“Medidas de dados métricos são feitas de modo que os indivíduos podem ser identificados como diferenciados em
quantia ou grau. Variáveis metricamente medidas refletem quantidade relativa ou grau” (HAIR et al., 2009, p. 27). 13
“Dados não-métricos são atributos, características ou propriedades categóricas que identificam ou
descrevem um objeto. Descrevem diferenças em tipo ou espécie, indicando a presença ou a ausência de
uma característica ou propriedade” (HAIR et al., 2011, p. 27).
54
Assim, nos casos de variáveis não métricas, medidas com categorias qualitativas, as
categorias de resposta foram transformadas em variáveis mudas (dummy). Tomemos como exemplo
a questão 2 do questionário do aluno, que originalmente estava disposta da seguinte forma:
Questão 2 – Como você se considera?
(a) Branco. (d) Amarelo.
(b) Pardo. (e) Indígena
(c) Preto. (f) Não sei.
Por ser não métrica, criou-se no banco de dados uma variável para cada uma
das categorias da questão 2, assumindo valor 0 (ausência) ou valor 1 (presença):
Questão 2.1 – Você se considera Branco? (0) Não (1) Sim
Questão 2.2 – Você se considera Pardo? (0) Não (1) Sim
Questão 2.3 – Você se considera Preto? (0) Não (1) Sim
Questão 2.4 – Você se considera Amarelo? (0) Não (1) Sim
Questão 2.5 – Você se considera Indígena? (0) Não (1) Sim
Questão 2.6 – Você não sabe como se considera? (0) Não (1) Sim
Nesse sentido, todas as variáveis do tipo não métricas do conjunto de variáveis
independentes foram convertidas em variáveis mudas, resultando em um banco de dados
composto por 200 variáveis referentes à escola, 445 variáveis referentes ao diretor, 520
variáveis referentes ao professor e 173 variáveis referentes ao aluno.
Dependendo da natureza das variáveis, foi possível agrupar algumas delas em uma
só. Como exemplo, podemos descrever os passos adotados na formulação da variável intitulada
Avaliação da existência de computadores e das condições de uso para alunos, professores e
pessoal administrativo, com escala de resposta que varia de 0 a 15 (EQ31_35.esc).
Para agrupar um conjunto de variáveis em uma só, utilizamos dois critérios: (1) As
variáveis tratam do mesmo assunto; (2) As variáveis possuem as mesmas opções de resposta.
Assim, a variável EQ31_35.esc reuniu as variáveis a seguir: EQ31 – Computadores para uso dos
alunos; EQ32 – Acesso à Internet para uso dos alunos; EQ33 – Computadores para uso dos
professores; EQ34 – Acesso à Internet para uso dos professores; e EQ35 – Computadores
exclusivamente para uso administrativo. Notadamente, tais variáveis tratam do mesmo assunto,
possuindo as mesmas opções de resposta: (0) Inexistente; (1) Ruim; (2) Regular; e (3) Bom. Assim:
EQ31_35.esc = EQ31 + EQ32 + EQ33 + EQ34 + EQ35
Como as opções de resposta de cada uma dessas variáveis varia de 0 a 3, com a soma
das respostas, a variável EQ31_35.esc foi constituída por um escore que varia de 0 a 15.
55
Realizado o agrupamento, para cada nova variável (em escores), criamos uma segunda variável,
na qual transformamos o escore obtido em nota de 0 a 10. Os passos relativos ao referido
agrupamento foram realizados por meio dos comandos Transform >> Compute Variable,
disponíveis na barra de ferramentas do SPSS.
Logo em seguida, recorremos ao coeficiente de correlação de Pearson © com o
intuito de identificar as variáveis com correlação significativa com a Proficiência em Língua
Portuguesa. O coeficiente de correlação de Pearson © representa um dos conceitos fundamentais
em uma análise de regressão, o conceito de associação. Por intermédio desse coeficiente, pode-se
descrever a relação entre duas variáveis. Se verificarmos na análise da relação entre duas variáveis
que as mudanças em uma delas são associadas às alterações ocorridas na outra, concluímos que as
duas variáveis são correlacionadas (HAIR et al., 2009).
A título de ilustração, apresentamos uma parte da matriz dos coeficientes de
correlação entre as variáveis previsoras (independentes) e a variável prevista (dependente), que
no caso é a Proficiência em Língua Portuguesa (tabela 6).
Tabela 6 – Matriz dos coeficientes de correlação para a Proficiência em Língua Portuguesa
Proficiência em Língua Portuguesa
Proficiência em Língua
Portuguesa
Correlação de Pearson ©
Significância (Sig.)
Tamanho da amostra
1
0,000
486
DQ17 – Há quantos anos você
trabalha em Educação?
Correlação de Pearson ©
Significância (Sig.)
Tamanho da amostra
0,076
0,096
486
DQ18 – Há quantos anos você
exerce funções de direção?
Correlação de Pearson ©
Significância (Sig.)
Tamanho da amostra
0,096*
0,036
482
DQ19 – Há quantos anos você
é diretor desta escola?
Correlação de Pearson ©
Significância (Sig.)
Tamanho da amostra
0,040
0,380
486
Fonte: Elaborada pela pesquisadora (2015).
*A correlação é significativa ao nível de 0,05.
Das três variáveis previsoras apresentadas na tabela 6, a Proficiência em Língua
Portuguesa relaciona-se, positivamente, apenas com a variável que se refere ao tempo (anos) que o
diretor exerce funções de direção, com um coeficiente r = 0,096, sendo que há uma probabilidade de
0,036, isto é, menor que 0,05, que esse coeficiente de correlação tenha ocorrido por acaso numa
amostra de 486 sujeitos. Convencionalmente, um valor de probabilidade abaixo de 0,05 é
considerado como estatisticamente significativo. Em outros termos, à medida que o tempo na
função de direção aumenta, a Proficiência em Língua Portuguesa obtida pelo aluno também cresce.
A partir desse critério, o número de variáveis incluído na regressão foi
substancialmente reduzido. Assim, para a regressão que adotou como variável prevista a
56
Proficiência em Língua Portuguesa, consideramos apenas as variáveis significativamente
(Sig. ≤ 0,05) correlacionadas com a proficiência, conforme se pode observar no quadro adiante.
Quadro 4 – Variáveis significativamente correlacionadas com a Proficiência em Língua Portuguesa
Questio-
nário Código da variável Variável Opções de resposta
DQ7.2 Natureza dessa instituição: Faculdade
isolada.
(0) Não
(1) Sim
Diretor
DQ10_3
Área temática do curso de pós-graduação de
mais alta titulação que você possui:
Educação (área pedagógica).
(0) Não
(1) Sim
DQ11 Participou de formação continuada nos
últimos dois anos?
(0) Não
(1) Sim
DQ18
Há quantos anos você exerce funções de
direção?
(1) Menos de um ano
(2) De 1 a menos de 2 anos
(3) De 2 a menos de 5 anos
(4) De 5 a menos de 7 anos
(5) De 7 a menos de 10 anos
(6) De 10 a menos de 15 anos
(7) De 15 a menos de 20 anos
(8) 20 anos ou mais
DQ21_1 Assumiu a direção desta escola por:
seleção.
(0) Não
(1) Sim
DQ21_5 Assumiu a direção desta escola por:
indicação de políticos.
(0) Não
(1) Sim
DQ29
Neste ano, quantas vezes o conselho de
classe se reuniu?
(1) Nenhuma vez
(2) Uma vez
(3) Duas vezes
(4) Três vezes ou mais
DQ31_1
Qual é o critério para a admissão de
alunos nesta escola? Não existe critério
preestabelecido.
(0) Não
(1) Sim
DQ31_5
Qual é o critério para a admissão de
alunos nesta escola? Prioridade por
ordem de chegada.
(0) Não
(1) Sim
DQ34_1
Critério mais importante para a
atribuição das turmas de 1ª a 4ª séries14
:
não houve critério preestabelecido.
(0) Não
(1) Sim
DQ69_78.nota
Nota da avaliação das condições de
acessibilidade das imediações externas da
escola.
Escala [0 ; 10]
Professor
PQ19
Há quantos anos você ministra aulas
para alunos da série desta turma?
(1) Menos de 2 anos
(2) De 2 a menos de 4 anos
(3) De 4 a menos de 6 anos
(4) De 6 a menos de 8 anos
(5) 8 anos ou mais
PQ46_52.nota
Para o professor, os problemas de
aprendizagem do aluno decorrem da
infraestrutura física e/ou pedagógica, da
insegurança física da escola, do
conteúdo curricular, da sobrecarga e da
baixa remuneração do professor.
Escala [0 ; 10]
(Continua)
14
O questionário destinado ao diretor ainda utiliza as antigas nomenclaturas referentes ao 2º e 5º anos do
Ensino Fundamental, respectivamente.
57
(Continuação)
Questio-
nário Código da variável Variável Opções de resposta
Professor
PQ121
Quanto dos conteúdos previstos você
conseguiu desenvolver com os alunos
desta turma, neste ano?
(1) Menos de 40%
(2) Entre 40% e 60%
(3) Entre 60% e 80%
(4) Mais de 80%
PQ130
Na escolha do livro didático utilizado
nesta turma em que você leciona, foi
consultado o Guia de livros didáticos da
SEB/MEC?
(0) Não
(1) Sim
PQ131_7
Para a disciplina que você ministra, como
foi escolhido o livro didático para
utilização nesta turma? Escolhi junto com
outros professores.
(0) Não
(1) Sim
PQ142_152.nota
(Professor de Matemática) Nota da
frequência que desenvolve as práticas
pedagógicas (exercícios para fixar
procedimentos, situações-problema de
raciocínios complexos, interpretar
resultados numéricos, diferentes modos de
resolver problemas.
Escala [0 ; 10]
Aluno
AQ1
Sexo. (1) Masculino
(2) Feminino
AQ2_3
Você se considera preto? (0) Não
(1) Sim
AQ4.3
Qual a sua idade? 10 anos. (0) Não
(1) Sim
AQ4.4
Qual a sua idade? 11 anos. (0) Não
(1) Sim
AQ4.5
Qual a sua idade? 12 anos. (0) Não
(1) Sim
AQ4.6
Qual a sua idade? 13 anos. (0) Não
(1) Sim
AQ4.7
Qual a sua idade? 14 anos. (0) Não
(1) Sim
AQ17
Quantas pessoas moram com você?
(1) Moro sozinho(a) ou com mais
1 pessoa
(2) Moro com mais 2 pessoas
(3) Moro com mais 3 pessoas
(4) Moro com mais 4 ou 5 pessoas
(5) Moro com mais 6 ou 7 pessoas
(6) Moro com mais de 7 pessoas
A20_21_24_25.nota Nota do hábito de leitura. Escala [0 ; 10]
AQ26_31.nota Nota da participação na reunião de pais e
do incentivo dos pais ao aluno.
Escala [0 ; 10]
AQ38_42.nota
Nota dos locais que costuma frequentar:
bibliotecas, cinema, museu, apresentações
teatrais, musicais ou de dança.
Escala [0 ; 10]
AQ45
Você trabalha fora de casa? (0) Não
(1) Sim
AQ46_4 Quando você entrou na escola? Depois
da 1ª série.
(0) Não
(1) Sim
AQ48_49.nota Nota da reprovação e do abandono escolar.
Escala [0 ; 10].
Fonte: Elaborado pela pesquisadora (2015).
58
Em outros termos, a regressão, tomando como variável prevista a Proficiência em
Língua Portuguesa, contou com 11 variáveis referentes ao diretor, 6 variáveis concernentes ao
professor e 14 variáveis atinentes ao aluno. Por não se correlacionarem de modo significativo
com a Proficiência em Língua Portuguesa, as variáveis extraídas do questionário da escola
não foram utilizadas na regressão.
4.5 Regressão linear múltipla
Com vistas a elaborar um modelo linear múltiplo com as variáveis do aluno, do
professor, do diretor e da escola como variáveis independentes que expliquem o
desempenho dos discentes no teste de Língua Portuguesa, recorremos à regressão linear
múltipla com o auxílio do software Statistical Package for the Social Sciences (SPSS) para
Windows, versão 20.0.
Em termos estatísticos, regressão “define um conjunto vasto de técnicas
estatísticas usadas para modelar relações entre variáveis e predizer o valor de uma variável
dependente (ou de resposta) a partir de um conjunto de variáveis independentes (ou
preditoras)” (MARÔCO, 2011, p. 673). Deve-se destacar que a relação entre as variáveis
analisadas por meio da regressão não é do tipo causa e efeito.
Ademais, a regressão múltipla foi definida por Hair et al. (2009) como uma
técnica estatística geral de dependência usada para analisar a relação entre uma única variável
dependente (critério) e diversas variáveis independentes (preditoras), possuindo a formulação
básica:
Y1 = X1 + X2..... + X3
(métrica) (métricas)
Com isso, podemos afirmar que a regressão linear múltipla faz aderência ao
objetivo proposto pelo estudo. Por se constituir em um campo vasto, no tratamento relativo à
regressão linear múltipla, adotamos uma série de cuidados, norteando-nos pelas
recomendações de Field (2009), Hair et al. (2009) e Marôco (2011).
Desse modo, na seleção dos previsores para o modelo explicativo do
desempenho acadêmico em Língua Portuguesa, optamos pelo método stepwise. Mais
precisamente, a estimação stepwise trata-se de um método de seleção de variáveis que,
inicialmente, seleciona o melhor preditor da variável dependente. Logo em seguida,
variáveis independentes adicionais são selecionadas de acordo com o poder explicativo
59
incremental acrescentado ao modelo de regressão. As variáveis independentes só são
acrescentadas se possuírem coeficientes de correlação parcial significantes. Nesse processo,
uma variável independente também pode ser eliminada se seu poder preditivo cair para um
nível não significante quando uma outra variável independente for acrescentada ao modelo
(HAIR et al., 2009).
Utilizando o método stepwise, decidimos por manter o critério padrão de uma
probabilidade de 0,05 para a inclusão e de 0,10 para a remoção de uma variável do modelo.
Em seguida, selecionamos a opção “excluir casos em uma base de pares” (Exclude cases
pairwise) como o método para tratar com dados faltosos (missing). Essa opção “significa que
se o participante tem um escore desconhecido para uma variável em particular, seus dados
serão excluídos da análise somente em cálculos envolvendo a variável para a qual ele não
apresenta valor” (FIELD, 2009, p. 191).
4.5.1 Estatísticas
Em relação às estatísticas, no software SPSS, foram solicitadas as estimativas que
nos fornecem os coeficientes estimados do modelo de regressão (valores b). Além disso, o
teste t de Student e a significância de cada coeficiente de regressão são fornecidos (FIELD,
2009).
As estimativas dos valores b indicam a contribuição individual de cada
variável previsora para o modelo. Tais valores “nos informam em que grau cada previsor
afeta a saída se todos os demais previsores forem mantidos constantes” (FIELD, 2009, p.
197, grifo do autor). Por seu turno, o teste t consiste em uma medida útil para informar se
a variável preditora está contribuindo significativamente para o modelo. Nessas
condições, se o teste t, associado com um valor b, é significativo (Sig. ≤ 0,05), a variável
preditora a qual um determinado valor b se refere contribui para o modelo de modo
significativo (FIELD, 2009).
Os valores b, tipicamente conhecidos como coeficientes não padronizados, e
suas significâncias são importantes para quaisquer modelos de regressão, porém
coeficientes de regressão padronizados (β) que apresentam as versões padronizadas dos
valores b são mais fáceis de interpretar (FIELD, 2009). Em virtude da padronização, tais
coeficientes eliminam o problema de lidar com diferentes unidades de medida, conforme
pontuam Hair et al. (2009). Assim, os valores β “fornecem uma ideia melhor da
60
‘importância’ de um previsor para o modelo (FIELD, 2009, p. 199). Os coeficientes β
também são fornecidos pelo SPSS.
Em uma regressão linear múltipla que considera vários previsores, interessa
saber os valores assumidos pelo Coeficiente de determinação (R²) e pelo Coeficiente
ajustado de determinação (R² ajustado). Ambos, R² e R²ajustado, são essenciais em uma análise
de regressão múltipla, pois expressam o nível de precisão de previsão. Com isso, a opção
Model fit, relativa à aderência do modelo, foi selecionada no SPSS. Ela fornece um teste
estatístico da habilidade de o modelo prever a variável da saída, os valores de R² e
R²ajustado.
Como refere Field (2009, p. 180), “o R² informa quanta variância de Y pode ser
creditada ao modelo de regressão amostral, e o valor ajustado nos informa quanta variância de
Y pode ser creditada ao modelo se ele tiver sido derivado da população de onde a amostra foi
retirada”.
De modo geral, o R²ajustado é usado como um estimador da qualidade do
ajustamento e da dimensão do efeito. Ele é também uma estimativa da variância da
variável dependente explicada se o modelo tivesse sido obtido na população. Dito de outro
modo, ele é interpretável como uma medida da capacidade de generalização do modelo
para outras amostras da mesma população (MARÔCO, 2011). Assim, R²ajustado é dado por:
R²ajustado =
Onde:
n = número de casos;
k = número de previsores no modelo;
R² = valor não ajustado (FIELD, 2009).
Por oportuno, solicitamos as alterações no R² por meio de opção R squared
change, disponível no SPSS para a regressão linear múltipla. Esse procedimento apresenta
as alterações no R² em função da inclusão de uma nova variável preditora, o que significa
que “essa medida é uma maneira útil de avaliar a contribuição do novo previsor (ou
conjunto de previsores) na explicação da variância das saídas” (FIELD, 2009, p. 187).
Efetuada a estimação dos coeficientes de regressão, é necessário validar os
pressupostos relativos à análise de regressão linear múltipla, a saber: (1) Inexistência de
multicolinearidade; (2) Independência dos resíduos; (3) Normalidade dos resíduos; (4)
Homocedasticidade e linearidade.
61
4.5.2 Inexistência de multicolinearidade
Em um modelo de regressão, a multicolinearidade, isto é, a correlação entre três
ou mais variáveis independentes, não deve existir. Em outros termos, “não deve existir
relacionamento linear perfeito entre dois ou mais previsores. Assim, as variáveis previsoras
não devem apresentar correlações muito altas” (FIELD, 2009, p. 178). Dito de outro modo, a
presença de multicolinearidade entre as variáveis independentes diminui o poder preditivo de
uma variável independente na medida em que ela se associa a outras dessas variáveis. O
aumento da colinearidade reduz a variância explicada por cada variável preditora, enquanto o
percentual da previsão compartilhada aumenta. O ideal é que as variáveis independentes
possuam baixa multicolinearidade entre si e alta correlação com a variável dependente (HAIR
et al., 2009).
Nesse sentido, a opção Collinearity diagnostics, selecionada no comando da
regressão, foi útil para que obtivéssemos as estatísticas de colinearidade, a saber: Tolerância e
Fator de Inflação de Variância (FIV)15
.
A Tolerância, definida como T = 1 – R²ᵢ,, onde R²ᵢ é o coeficiente de determinação
para previsão da variável dependente i pelas variáveis independentes. Trata-se de um
diagnóstico de multicolinearidade. De modo geral, valores altos da tolerância indicam pouca
colinearidade. Um valor abaixo de 0,10 é motivo de preocupação, pois indica que o preditor é
quase totalmente explicado pelos demais preditores (HAIR et al., 2009).
Por sua vez, o FIV, definido por 1 / (1 – R²ᵢ), é outra medida usual no diagnóstico de
multicolinearidade. Em outros termos, FIV = 1 / T. Assim, “por definição, variáveis com baixa
tolerância têm valores elevados de VIF e vice-versa” (MARÔCO, 2011, p. 714). Como regra
convencionalmente aceita, valores de FIV superiores a 5 denotam multicolinearidade entre as
variáveis preditoras incluídas no modelo de regressão.
4.5.3 Independência dos resíduos
Em primeiro lugar, é preciso esclarecer o que são resíduos e o que eles representam
para uma análise de regressão múltipla. Conforme Field (2009, p. 173, grifo do autor), “as
diferenças entre os valores previstos pelo modelo e os valores observados na amostra são
conhecidos como resíduos. Esses resíduos representam o erro que está presente no modelo”.
15
Tradução de Variance Inflaction Factor (VIF).
62
Dessa forma, validar o pressuposto de independência dos resíduos é o mesmo
que dizer que “a magnitude de um resíduo não influencia a magnitude do resíduo seguinte”
(HAIR et al., 2009, p. 698). Quando essa suposição é violada, os erros-padrão dos
coeficientes de regressão tendem a ser subestimados ou sobre-estimados (FIELD, 2009).
Com vistas a verificar a suposição de independência dos erros, selecionamos o teste
de Durbin-Watson (d) no SPSS. Mais precisamente, essa ferramenta “testa se resíduos
adjacentes são correlacionados” (FIELD, 2009, p. 179). Convencionalmente, valores menores
do que 1 ou maiores do que 3 são preocupantes, a não autocorrelação entre os resíduos é
evidenciada quando d ≈ 2.
Encerrando os comandos relativos às estatísticas, solicitamos os diagnósticos por
casos – Casewise diagnostics –, que apresentam “os valores observados da saída, os valores de
saída previstos, a diferença entre esses valores (os resíduos) e essa diferença padronizada”
(FIELD, 2009, p. 188). Esses valores são listados apenas para casos nos quais o resíduo
padronizado é maior do que 3. Associada a esse comando, uma tabela resumo de estatísticas
residuais é gerada contendo o mínimo, o máximo, a média e o desvio padrão para os valores
previstos pelo modelo e para os resíduos. O resumo das estatísticas dos resíduos informa o
mínimo, o máximo, a média e o desvio padrão para os valores das distâncias de Mahalanobis,
da distância de Cook e da influência leverage. Essas estatísticas são úteis para indicar
possíveis casos influentes com poder sobre os parâmetros do modelo, valores atípicos. Elas
ajudam a determinar se o modelo é estável por toda a amostra ou se é influenciado somente
por poucos casos (FIELD, 2009).
As distâncias de Mahalanobis “medem os afastamentos dos valores a partir das
médias das variáveis previsoras” (FIELD, 2009, p. 175). Em grandes amostras, valores de
Mahalanobis superiores a 25 são problemáticos. A distância de Cook, por sua vez, consiste
em uma medida de influência global de um único caso sobre o modelo. Recomenda-se que
os valores assumidos por essa medida não devem ser superiores a 1. Por fim, a influência
leverage mensura o quanto um valor observado influencia o valor previsto da variável
dependente. Os valores de leverage podem variar entre 0 e 1, em que 0 indica que o caso
não exerce influência alguma sobre a previsão e 1 indica que o caso exerce total influência .
De todo modo, quando nenhum caso desempenha acentuada influência sobre o modelo, os
valores de leverage situam-se próximos do valor médio ([k + 1]/n), onde k é número de
previsores do modelo e n é o número de participantes (FIELD, 2009).
Além das distâncias de Mahalanobis, da distância de Cook e da influência
leverage, recorremos à razão de covariância (CVR), uma medida que informa quanto um
63
determinado caso atua sobre a variância dos parâmetros do modelo. Convencionalmente, se a
razão está próxima de 1, significa dizer que o caso tem pouca influência nas variâncias dos
parâmetros de regressão (FIELD, 2009).
4.5.4 Normalidade dos resíduos
Seguindo as recomendações de Field (2009), Hair et al. (2009) e Marôco (2011),
solicitamos um histograma e um diagrama das probabilidades normais dos resíduos (Normal
Probability Plot). O histograma e o diagrama das probabilidades normais dos resíduos são
úteis no teste da normalidade dos resíduos. Para satisfazer a normalidade dos termos de erro, a
distribuição do histograma dos resíduos deve se aproximar da normal. Para que uma
distribuição seja caracterizada como normal, a média (µ) deve assumir valor de 0 e o desvio
padrão (σ) valor de 1 (figura 6).
Figura 6 – Exemplo de histograma com
normalidade satisfeita
Fonte: Extraída de Field (2009, p. 249).
Em regra, qualquer desvio da curva traçada no histograma pode ser
interpretado como um sinal de não normalidade. Validar o pressuposto de normalidade
equivale a dizer que as diferenças entre o modelo e os dados observados são
frequentemente iguais ou muito próximos de zero, daí a sua importância para um modelo
de regressão (FIELD, 2009).
O pressuposto da distribuição normal dos erros também pode ser evidenciado
por meio do diagrama de probabilidades normais. No diagrama, “a distribuição normal
64
forma uma reta diagonal, e os resíduos graficamente representados são comparados com a
diagonal. Se uma distribuição for normal, a reta residual se aproximará da diagonal” (HAIR
et al., 2009, p. 155).
Na figura a seguir, podemos notar que, no diagrama do lado esquerdo, a
normalidade dos erros foi decididamente satisfeita. O mesmo não foi evidenciado no
diagrama situado no lado direito.
Figura 7 – Exemplos de diagramas de probabilidade normal
Fonte: Extraída de Field (2009, p. 249).
4.5.5 Homocedasticidade e linearidade
Na análise, o gráfico ZPRED (valores previstos padronizados) contra ZRESID
(resíduos padronizados) nos foi de grande valia para determinarmos se as suposições de
homocedasticidade e de linearidade foram atendidas.
Em uma regressão linear múltipla, atender à condição de homocedasticidade é
fundamental. Field (2009) explica que, atendendo a essa condição, os resíduos possuem a
mesma constante a cada nível dos previsores. De modo geral, espera-se que 95% dos casos
tenham resíduos padronizados dentro de ± 2.
Por sua vez, a linearidade da relação existente entre as variáveis independentes e a
variável dependente consiste no grau em que a variação na variável é associada com a
independente (HAIR et al., 2009). Quanto a essa suposição,
deve-se esperar que a relação entre as variáveis independentes e a variável
dependente possa ser representada por uma função linear. Quanto mais a relação se
distanciar de uma função linear, menor é a aplicabilidade da forma funcional de
mínimos quadrados para ajustar o modelo. Em outras palavras cresce a diferença
65
entre os parâmetros estimados e os observados (FIGUEIREDO FILHO et al.,
2011, p. 52-53).
De modo geral, o modelo de regressão linear não será válido se a análise de
resíduos demonstrar relações de tipo não linear (MARÔCO, 2011). Como já mencionado, os
pressupostos de homocedasticidade e de linearidade são validados mediante a análise do
gráfico ZPRED contra ZRESID. Field (2009) apresentou alguns exemplos desse gráfico que
são úteis para diagnosticar as situações em que os referidos pressupostos são violados
(figura 8).
Figura 8 – Exemplos de gráficos dos resíduos padronizados contra os valores
previstos padronizados
Fonte: Extraída de Field (2009, p. 248).
Os gráficos marcados com a linha vermelha violam as suposições de
homocedasticidade e de linearidade. O diagrama (b) indica um crescimento da variância nos
resíduos, fugindo da homocedasticidade. No diagrama (c), não se verifica um relacionamento
linear entre previsores e variável dependente. Os dados do diagrama (a) e (d) indicam
situações opostas. O diagrama (a), por possuir pontos aleatoriamente dispersos pelo
quadrante, atende aos pressupostos de homocedasticidade e de linearidade. Por sua vez, o
diagrama (d) ilustra uma situação em que os dados não satisfazem os dois pressupostos
analisados (FIELD, 2009).
Em resumo, os procedimentos adotados descritos ao longo deste capítulo
buscaram atender às típicas recomendações da regressão linear clássica. Com isso, é possível
avançar para a apresentação e análise dos resultados.
66
5 APRESENTAÇÃO E ANÁLISE DOS RESULTADOS
Para a elaboração do modelo de regressão linear múltiplo, consideramos as 31
variáveis significativamente correlacionadas com a Proficiência em Língua Portuguesa
descritas no sumário das variáveis.
Com o critério padrão de uma probabilidade de 0,05 para a inclusão e de 0,10
para a remoção de uma variável no modelo, mediante o método de seleção de variáveis
stepwise, o modelo explicativo do desempenho acadêmico em Língua Portuguesa dos
alunos do 5º ano do Ensino Fundamental do estado do Ceará incluiu 13 variáveis
independentes (quadro 5).
Quadro 5 – Variáveis incluídas/removidas
a
Modelo Variáveis incluídas Variáveis
removidas
Método
1 AQ48_49.nota – Nota da reprovação e do abandono
escolar. Escala [0 ; 10] .
Stepwise (Criteria:
Probability-of-F-
to-enter
<= 0 ,050,
Probability-of-F-
to-remove
>= 0,100).
2 AQ17 – Quantas pessoas moram com você? .
3 AQ45 – Você trabalha fora de casa? .
4 AQ26_31.nota – Nota da participação na reunião de pais
e do incentivo dos pais ao aluno. Escala [0 ; 10] .
5
AQ38_42.nota – Nota dos locais que costuma frequentar:
bibliotecas, cinema, museu, apresentações teatrais,
musicais ou de dança. Escala [0 ; 10]
.
6
DQ69_78.nota – Nota da avaliação das condições de
acessibilidade às imediações externas da escola. Escala
[0 ; 10]
.
7 DQ34.1 – Critério mais importante para a atribuição das
turmas de 1ª a 4ª séries: não houve critério preestabelecido .
8 DQ7.2 – Natureza dessa instituição: faculdade isolada .
9 DQ21.5 – Assumiu a direção desta escola por: indicação
de políticos .
10 PQ121 – Quanto dos conteúdos previstos você conseguiu
desenvolver com os alunos desta turma, neste ano? .
11 PQ19 – Há quantos anos você ministra aulas para alunos
da série desta turma? .
12 DQ18 – Há quantos anos você exerce funções de direção? . Stepwise (Criteria:
Probability-of-F-to-
enter <=0 ,050,
Probability-of-F-to-
remove >= 0,100).
13
DQ10.3 – Área temática do curso de pós-graduação de
mais alta titulação que você possui: Educação (área
pedagógica)
.
Fonte: Elaborado pela pesquisadora (2015). a Variável dependente: Proficiência em Língua Portuguesa.
No método stepwise, cada vez que um previsor é adicionado no modelo, é feito
um teste para verificar a existência de algum previsor redundante, se evidenciado, ele é
removido da equação (FIELD, 2009). O quadro 5 apresenta as variáveis de acordo com a
67
ordem em que elas foram incluídas na seleção das variáveis através do método supracitado,
também conhecido como “passo a passo”.
Por meio desse método, atendemos a um dos objetivos do estudo, qual seja:
identificar as variáveis do aluno, do professor, do diretor e da escola que se relacionam
significativamente com o rendimento dos alunos de 5º ano do Ensino Fundamental de escolas
da rede pública municipal do estado do Ceará no teste de Língua Portuguesa da Prova
Brasil/2011.
5.1 Poder de explicação do modelo do desempenho acadêmico em Língua Portuguesa
Na tabela a seguir, convém analisar os valores assumidos por R² que
representam as alterações no coeficiente de determinação em função da inclusão de uma
nova variável preditora na regressão. Assim, para o primeiro modelo, que incluiu apenas a
nota da reprovação e do abandono escolar, o valor de R² é 0,071, o que equivale a dizer que
essa variável é responsável por 7,1% da variação da Proficiência em Língua Portuguesa.
Com a inserção de mais uma variável preditora, o valor de R² salta para 0,102 (modelo 2).
Essa lógica se mantém até o método stepwise chegar ao modelo final, que foi precedido por
12 modelos (tabela 7).
Tabela 7 – Resumo do modelo
a
Modelo R R² R²ajustado Erro padrão da estimativa Durbin-Watson
1 0,266 0,071 0,069 45,0134213 –
2 0,319 0,102 0,098 44,3057708 –
3 0,357 0,127 0,122 43,7171916 –
4 0,382 0,146 0,139 43,2892186 –
5 0,408 0,167 0,158 42,8073016 –
6 0,425 0,181 0,170 42,4911498 –
7 0,438 0,192 0,180 42,2466527 –
8 0,453 0,205 0,192 41,9380191 –
9 0,470 0,221 0,206 41,5698541 –
10 0,479 0,229 0,213 41,3820428 –
11 0,488 0,238 0,220 41,1926325 –
12 0,496 0,246 0,227 41,0163685 –
13 0,503 0,253 0,233 40,8628286 1,940
Fonte: Elaborada pela pesquisadora (2015). a Variável dependente: Proficiência em Língua Portuguesa.
O modelo final obteve R²ajustado = 0,233, o que nos respalda para afirmarmos que
23,3% da variabilidade da Proficiência em Língua Portuguesa dos educandos do 5º do Ensino
Fundamental do estado do Ceará são explicadas pelas variáveis independentes do modelo
ajustado.
68
À medida que o valor assumido pelo R² diz respeito à qualidade do ajuste para a
amostra, o R²ajustado refere-se à qualidade do ajuste para a população. Assim, para Marôco
(2011), o R²ajustado é uma medida da capacidade de generalização do modelo de regressão para
a população de onde a amostra foi extraída.
5.2 Teste de ajuste do modelo
O teste da significância da regressão foi realizado por meio da análise de variância
(ANOVA), que apresentou nível de significância (Sig.) de 0,000, atestando que há um bom
ajuste do modelo. Nesses termos, o modelo é altamente significativo, podendo ser
generalizado para a população origem da amostra (tabela 8).
Tabela 8 – Análise de variância (ANOVA)
Modelo Soma dos Quadrados
SQ
Graus de liberdade
gl
Quadrado Médio
QM F Sig.
Regressão 267448,617 13 20572,971 12,321 0,000
Residual 788131,799 472 1669,771 - -
Total 1055580,416 485 - - -
Fonte: Elaborada pela pesquisadora (2015).
A verificação da qualidade do ajuste do modelo de regressão, isto é, a análise de
variância (ANOVA), baseia-se na soma dos quadrados das diferenças das observações em
relação ao seu valor médio:
SQtotal = SQresidual + SQregressão
Onde:
SQresidual = soma dos quadrados explicada pelo modelo de regressão;
SQregressão = soma dos quadrados dos resíduos não explicada pelo modelo de
regressão.
Além de serem relevantes no cálculo da análise de variância, os resíduos são
essenciais no processo de validação dos pressupostos de uma regressão linear múltipla.
5.3 Validação dos pressupostos do modelo do desempenho acadêmico em Língua
Portuguesa
O modelo adequou-se aos pressupostos estatísticos de uma análise de regressão.
Inicialmente, o teste de Durbin-Watson foi solicitado para verificar a existência de
69
autocorrelação (dependência) nos resíduos (erros) da regressão. Como já foi relatado, valores
menores do que 1 ou maiores do que 3 são preocupantes, o ideal é que o valor do teste seja
próximo ou igual a 2. Para esses dados, o valor foi de 1,940, assim, a hipótese de independência
dos erros foi satisfeita.
Em seguida, com vistas a verificar a validade dos pressupostos, procedemos a
análise gráfica dos resíduos da regressão, que viabilizou a verificação da normalidade dos
termos de erro (figura 9).
Figura 9 – Histograma e diagrama P-P dos resíduos normalmente distribuídos
Fonte: Elaborada pela pesquisadora (2015).
O histograma dos resíduos dá uma ideia da distribuição normal, já que o valor da
média µ = 3,18x10-15
é, para efeitos práticos, 0. Além disso, o desvio padrão observado é muito
próximo de 1 (σ = 0,987). No diagrama, a linha reta representa a distribuição normal e os pontos
representam os resíduos observados já padronizados. Em um conjunto de dados normal, todos
os pontos situam-se bem próximos da linha (FIELD, 2009).
Na análise gráfica do diagrama, podemos afirmar que o modelo tem um bom
ajustamento aos dados, atendendo às recomendações propostas por Field (2009, p. 173): “Se o
modelo se ajusta bem aos dados da amostra, todos os resíduos devem ser pequenos (se o
modelo aderir perfeitamente aos dados da amostra, todos os pontos estarão sobre a linha de
regressão e todos os resíduos serão iguais a zero)”.
Posteriormente, verificamos o pressuposto de homocedasticidade por meio da
análise dos resíduos da regressão dispostos no gráfico do ZRESID contra ZPRED. De acordo
com Field (2009), o ideal é que o gráfico se assemelhe a um conjunto aleatório de pontos
dispersos em torno de 0. A disposição dos pontos, para o modelo explicativo do desempenho
70
acadêmico em Língua Portuguesa, possibilita-nos afirmar que a linearidade e a
homocedasticidade foram satisfeitas (figura 10).
Figura 10 – Gráfico do ZRESID contra ZPRED
Fonte: Elaborada pela pesquisadora (2015).
Além da validação da homocedasticidade, da linearidade, da independência e da
normalidade dos resíduos, em uma análise de regressão, é necessário validar o pressuposto de
inexistência de multicolinearidade. Como já mencionado, a multicolinearidade consiste em uma alta
correlação entre as variáveis previsoras. Assim, a fim de verificar a imperfeição da
multicolinearidade entre as variáveis previsoras, analisamos os valores da Tolerância e do Fator de
Inflação de Variância (FIV) de cada coeficiente (tabela 9).
Tabela 9 – Estatísticas de colinearidade
Fonte: Elaborada pela pesquisadora (2015). a
Variável dependente: Proficiência em Língua Portuguesa.
* Estatísticas de colinearidade.
Coeficientesa Tolerância* FIV*
AQ48_49.nota - Nota da reprovação e do abandono escolar. Escala [0 ; 10] 0,884 1,131
AQ17 - Quantas pessoas moram com você? 0,927 1,078
AQ45 - Você trabalha fora de casa? 0,922 1,085
AQ26_31.nota - Nota da participação na reunião de pais e do incentivo dos
pais ao aluno. Escala [0 ; 10] 0,957 1,045
AQ38_42.nota - Nota dos locais que costuma frequentar: bibliotecas, cinema,
museu, apresentações teatrais, musicais ou de dança. Escala [0 ; 10] 0,958 1,044
DQ69_78.nota - Nota da avaliação das condições de acessibilidade às
imediações externas da escola. Escala [0 ; 10] 0,963 1,038
DQ34.1 - Critério mais importante para a atribuição das turmas de 1ª a
4ª séries: não houve critério preestabelecido 0,896 1,115
DQ7.2 - Natureza dessa instituição: faculdade isolada 0,917 1,090
DQ21.5 - Assumiu a direção desta escola por: indicação de políticos 0,929 1,076
PQ121 - Quanto dos conteúdos previstos você conseguiu desenvolver
com os alunos desta turma, neste ano? 0,954 1,048
PQ19 - Há quantos anos você ministra aulas para alunos da série desta turma? 0,920 1,087
DQ18 - Há quantos anos você exerce funções de direção? 0,978 1,022
DQ10.3 - Área temática do curso de pós-graduação de mais alta
titulação que você possui: Educação (área pedagógica) 0,953 1,050
71
Para o modelo atual, não existe problemas de multicolinearidade. Os valores do
FIV indicam baixa intercorrelação entre as variáveis previsoras, já que são inferiores a 5 e os
valores da tolerância foram iguais ou superiores a 0,896. Para Hair et al. (2009, p. 179), “uma
alta tolerância indica pouca colinearidade, e valores de tolerância próximos de zero indicam
que a variável é quase totalmente explicada pelas outras variáveis”. Decididamente, não há
evidência da existência de multicolinearidade na regressão, como indicado pelas estatísticas
da tolerância e do FIV.
Outra precaução consiste em averiguar se o modelo é estável por toda a amostra
ou se é influenciado por determinados casos influentes (FIELD, 2009). Tais casos podem
ser identificados por meio da análise das distâncias de Mahalanobis, da distância de Cook e
da influência leverage (tabela 10).
Tabela 10 – Estatísticas dos resíduos
a
Mínimo Máximo Média Desvio padrão N
Valor previsto 115,876091 248,792557 186,935499 23,4827692 486
Valor previsto padronizado -3,026 2,634 0,000 1,000 486
Erro padrão do valor
previsto 3,271 13,261 6,761 1,547 486
Valor previsto ajustado 114,457001 249,544067 186,934803 23,5591809 486
Resíduo -133,5957947 124,6605225 0E-7 40,3114626 486
Resíduo padronizado -3,269 3,051 0,000 0,987 486
Resíduo studentizado -3,338 3,082 0,000 1,001 486
Resíduo deletado padronizado -139,2997894 127,1944046 0,0006966 41,4777017 486
Resíduo deletado studentizado -3,375 3,110 0,000 1,003 486
Distância de Mahalanobis 2,109 50,083 12,973 6,617 486
Distância de Cook 0,000 0,034 0,002 0,003 486
Valor leverage 0,004 0,103 0,027 0,014 486
Fonte: Elaborada pela pesquisadora (2015). a Variável dependente: Proficiência em Língua Portuguesa.
Convencionalmente, valores de Mahalanobis superiores a 25 são motivos de
preocupação (FIELD, 2009). Conforme as estatísticas dos resíduos, o valor máximo
assumido pelas distâncias de Mahalanobis foi de 50,083, o que denuncia uma situação
de caso(s) influente(s) sobre os parâmetros da regressão. Porém, essas distâncias
obtiveram µ = 12,973, o que significa dizer que o referido valor máximo consiste em um
caso que se distancia dos demais valores, não foi à toa que o desvio padrão dessa
estatística foi de 6,617. Porém, os valores relativos às distâncias de Cook foram
extremamente baixos, o valor máximo foi de 0,034, portanto, inferior ao limite
recomendado, que é 1.
72
Além disso, 0,103 faz referência ao valor máximo atingido pela influência
leverage, medida que varia entre 0 (sem influência) e 1 (total influência). De acordo com
Field (2009), quando os valores da influência leverage ficam em torno do valor médio
([k + 1]/n), pode-se afirmar que nenhum caso influencia o modelo. Assim, o valor médio
relativo ao modelo foi de 0,028, valor muito próximo da média dos valores de leverage
obtida na regressão, que foi de 0,027. Com isso, essa medida não identificou casos
influentes.
Por seu turno, o valor mínimo e máximo atingidos pela razão de covariância
(CVR) foram 0,77 e 1,14, respectivamente. A média dessa medida foi de 1,03, resultado
satisfatório, pois o fato de a razão estar próxima de 1 evidencia que o caso tem pouca
influência nas variâncias dos parâmetros de regressão (FIELD, 2009).
Desse modo, em virtude dos valores apresentados nas demais medidas, não nos
foi necessário recorrer à remoção do(s) caso(s) identificado(s) pelas distâncias de
Mahalanobis.
5.4 Modelo explicativo do desempenho acadêmico em Língua Portuguesa de alunos do
5º ano do Ensino Fundamental do estado do Ceará
Por meio da regressão linear múltipla, identificamos as variáveis explicativas da
Proficiência em Língua Portuguesa. Além da identificação, diagnosticamos a magnitude da
influência exercida por cada uma das variáveis preditoras no modelo de regressão. Mais
precisamente, a variável dependente foi explicada da seguinte forma:
Y = b0 + b1 · X1 + b2 · X2 + b3 · X3+ b4 · X4 + b5 · X5 + b6 · X6 + b7 · X7 + b8 · X8+ b9 · X9+ b10 ·
X10 + b11· X11 + b12· X12 + b13 · X13 + ɛ
Em que cada elemento representa:
Y = Proficiência em Língua Portuguesa (0 - 500);
b0 = Número constante da Proficiência em Língua Portuguesa na equação
de regressão;
b1, b2, b3 ... b13 = Coeficientes de regressão não padronizados;
X = Variável “AQ48_49.nota - Nota da reprovação e do abandono
escolar”;
X2 = Variável “AQ17 - Quantas pessoas moram com você?”;
73
X3 = Variável “AQ45 - Você trabalha fora de casa?”;
X4 = Variável “AQ26_31.nota - Nota da participação na reunião de pais e
do incentivo dos pais ao aluno”;
X5 = Variável “AQ38_42.nota - Nota dos locais que costuma frequentar:
bibliotecas, cinema, museu, apresentações teatrais, musicais ou de
dança”;
X6 = Variável “DQ69_78.nota - Nota da avaliação das condições de
acessibilidade às imediações externas da escola”;
X7 = Variável “DQ34.1 - Critério mais importante para a atribuição das
turmas de 1ª a 4ª séries: não houve critério preestabelecido”;
X8 = Variável “DQ7.2 - Natureza da instituição que você fez o curso superior:
faculdade isolada”;
X9 = Variável “DQ21.5 - Assumiu a direção desta escola por: indicação de
políticos”;
X10 = Variável “PQ121 - Quanto dos conteúdos previstos você conseguiu
desenvolver com os alunos desta turma, neste ano?”;
X11 = Variável “PQ19 - Há quantos anos você ministra aulas para alunos da série
desta turma?”;
X12 = Variável “DQ18 - Há quantos anos você exerce funções de direção?”;
X13 = Variável “DQ10.3 - Área temática do curso de pós-graduação de
mais alta titulação que você possui: Educação (área pedagógica)”;
ε – Erro experimental, diferença entre o valor previsto e o observado de Y.
Nesses termos, o modelo é dado por:
ProficiênciaLP = 148,154 + (- 4,566 · AQ48_49.nota) + (- 5,701 · AQ17) + (- 22,649 · AQ45) +
(4,234 · AQ26_31.nota) + (-3,680 · AQ38_42.nota) + (2,986 · DQ69_78.nota) + (- 16,680 ·
DQ34.1) + (26,102 · DQ7.2) + (- 14,263 · DQ21.5) + (5,994 · PQ121) + (2,967 · PQ19) +
(2,695 · DQ18) + (9,257 · DQ10.3) + 16,906
Os coeficientes não padronizados (b) utilizados na equação indicam a
contribuição individual de cada variável previsora para o modelo. Essas estimativas
apresentam valores negativos e positivos que denotam o tipo de relação mantida entre as
variáveis independentes e a variável dependente. A tabela a seguir exibe os parâmetros do
modelo e a significância deles de modo mais detalhado.
74
Tabela 11 – Coeficientes do modelo de regressão linear múltiplaª
Modelo
Coeficientes
não padronizados
Coeficientes
padronizados t Sig.
b Erro padrão β
(Constante) 148,154 16,906 - 8,763 0,000
AQ48_49.nota - Nota da reprovação e
do abandono escolar. Escala [0 ; 10] -4,566 1,084 -0,178 -4,214 0,000
AQ17 - Quantas pessoas moram com
você? -5,701 1,621 -0,145 -3,518 0,000
AQ45 - Você trabalha fora de casa? -22,649 6,060 -0,155 -3,738 0,000
AQ26_31.nota - Nota da participação na
reunião de pais e do incentivo dos pais
ao aluno. Escala [0 ; 10]
4,234 1,267 0,136 3,342 0,001
AQ38_42.nota - Nota dos locais que
costuma frequentar: bibliotecas, cinema,
museu, apresentações teatrais, musicais
ou de dança. Escala [0 ; 10]
-3,680 0,966 -0,155 -3,808 0,000
DQ69_78.nota - Nota da avaliação
das condições de acessibilidade às
imediações externas da escola.
Escala [0 ; 10]
2,986 1,054 0,115 2,834 0,005
DQ34.1 - Critério mais importante para a
atribuição das turmas de 1ª a 4ª séries: não
houve critério preestabelecido
-16,680 5,230 -0,134 -3,190 0,002
DQ7.2 - Natureza da instituição que você
fez o curso superior: faculdade isolada 26,102 7,487 0,145 3,486 0,001
DQ21.5 - Assumiu a direção desta
escola por: indicação de políticos -14,263 3,987 -0,148 -3,577 0,000
PQ121 - Quanto dos conteúdos previstos
você conseguiu desenvolver com os
alunos desta turma, neste ano?
5,994 2,421 0,101 2,476 0,014
PQ19 - Há quantos anos você ministra
aulas para alunos da série desta turma? 2,967 1,373 0,090 2,161 0,031
DQ18 - Há quantos anos você exerce
funções de direção? 2,695 1,086 0,100 2,483 0,013
DQ10.3 - Área temática do curso de pós-
-graduação de mais alta titulação que
você possui: Educação (área pedagógica)
9,257 4,334 0,087 2,136 0,033
Fonte: Elaborada pela pesquisadora (2015).
ª Variável dependente: Proficiência em Língua Portuguesa.
Como já foi mencionado no capítulo 4, através do teste t, é possível averiguar se uma
variável preditora contribui significativamente para um modelo de regressão. Para a variável
colaborar de modo significativo para o modelo, o teste t, associado ao seu respectivo valor b, deve
ser significativo (Sig. ≤ 0,05). Conforme a tabela 11, no modelo, o valor máximo assumido pelos
valores rotulados como Sig. foi de 0,03, o que quer dizer que as 13 variáveis preditoras
apresentam coeficientes significantes para a regressão.
Quanto menor for o valor de Sig. e maior o valor de t, maior será a contribuição
do previsor para o modelo (FIELD, 2009). A partir da magnitude do valor de t, evidencia-se
que o histórico escolar do aluno relativo à reprovação e ao abandono escolar é a variável
75
independente com maior impacto sobre o desempenho em Língua Portuguesa (t = - 4,214,
Sig. = 0,000).
Em consonância com a estatística t, está o valor beta padronizado (coeficiente β),
que se revela útil para estabelecer uma comparação direta entre os coeficientes e seus poderes
relativos de explicação da variável dependente. O uso do coeficiente β torna-se mais
recomendado devido ao fato de esse coeficiente eliminar o problema de tratar com diferentes
unidades de medida (HAIR et al., 2009). Na verdade, os coeficientes β são mensurados em
termos de unidades de desvio padrão (FIELD, 2009).
Na análise dos coeficientes β, a variável relativa à reprovação e ao abandono
escolar revelou-se como o fator de maior influência sobre o desempenho (β = - 0,178),
concordando, desse modo, com a estatística t. Em adendo a essa constatação, os resultados
obtidos nas pesquisas de Albernaz, Ferreira e Franco (2002) e de Jesus e Laros (2004)
também indicaram a reprovação e o abandono escolar como fatores que afetam
significativamente o desempenho escolar.
Desse modo, a influência negativa da reprovação e do abandono escolar exercida
sobre o desempenho acadêmico “confirma a importância de tentarmos controlar para o
estoque de capital humano com o qual o aluno chega ao teste, de forma a não atribuirmos
erroneamente ao ensino recente, problemas advindos de trajetórias passadas” (ALBERNAZ;
FERREIRA; FRANCO, 2002, p. 465-466). Por ter sido extraído do questionário do aluno e
por se referir a uma característica do discente, não significa dizer que os fenômenos da
reprovação e do abandono escolar sejam totalmente desarticulados do contexto intraescolar.
Pelo contrário, eles resultam da interação entre o meio social e o escolar.
Semelhante ao primeiro fator, o segundo fator de maior contribuição para o
modelo também está vinculado ao questionário do aluno, pois diz respeito ao fato de o
educando trabalhar fora de casa (β = - 0,155). Tal resultado é consistente com os valores
achados pelo estudo realizado por Jesus e Laros (2004) com base nos dados do Saeb.
Além do preditor relativo ao fato de o aprendiz trabalhar, mais dois preditores
vinculam-se ao nível socioeconômico dos estudantes, a saber: locais que o aluno costuma
frequentar: bibliotecas, cinema, museu, apresentações teatrais, musicais ou de dança
(β = - 0,155); quantidade de pessoas que moram com o aluno (β = - 0,145). A relação
evidenciada entre o desempenho escolar e a variável relativa aos locais frequentados pelo aluno
é justificável, pois as escolas que constituíram a amostra do estudo pertencem a municípios
situados na capital, na região metropolitana e no interior do estado do Ceará. Nessa perspectiva,
76
com exceção da capital do estado, os alunos matriculados nas escolas localizadas no interior e
na região metropolitana dificilmente possuem acesso à maioria dos locais investigados.
No modelo, a participação dos pais nas reuniões escolares e o incentivo dado aos
filhos é um fator que produz um aumento na Proficiência em Língua Portuguesa (β = 0,136). A
evidência de que o incentivo paterno ao estudante produz efeito positivo no rendimento escolar
também foi constatada por Jesus e Laros (2004). Isso demonstra que a devida atuação da família
na escolarização dos filhos resulta em melhor desempenho.
É interessante verificar que, das cinco variáveis relativas ao aluno incluídas no modelo,
quatro produzem um representativo decréscimo na Proficiência em Língua Portuguesa e apenas
uma possui efeito positivo. Os preditores supracitados fazem parte do rol de duas categorias de
fatores que determinam o desempenho escolar elencadas por Soares e Araújo (2006), as quais fazem
alusão à família e às características do próprio aprendiz.
Por outro lado, evidenciamos que a maioria das variáveis derivadas do contexto
escolar incorporadas no modelo de regressão desempenha influência positiva sobre a variável
prevista. Especiais contribuições ao modelo foram dadas por duas das variáveis vinculadas ao
questionário do docente, as quais se referem à quantidade dos conteúdos previstos
desenvolvidos com os alunos (β = 0,101) e ao tempo (em anos) que o professor ministra aulas
para alunos do 5º ano (β = 0,090). A cobertura do programa didático já foi qualificada como
uma influência benéfica para os resultados escolares no trabalho desenvolvido por Filho,
Nuñez e Ribeiro (2009), o qual também analisou os dados da Prova Brasil referentes ao ano
de 2007.
O desempenho cognitivo evidenciado na Prova Brasil também foi explicado pela
formação do diretor. Ele relaciona-se com a caracterização da instituição que o diretor fez o curso
superior. Em termos práticos, o fato de o gestor ter se graduado em uma faculdade isolada
interfere no desempenho de modo positivo (β = 0,145), não foi mensurar a contribuição das
universidades federais e dos centros universitários, pois as variáveis que medeiam esses atributos
não se correlacionaram com a variável prevista. O desempenho escolar também está relacionado
com a área em que o diretor realizou o curso de pós-graduação. Constatamos que a formação do
diretor em nível de pós-graduação na área da Educação contribui, positivamente, para os
resultados escolares (β = 0,087).
Em contrapartida, o fato de o diretor ter assumido o cargo por indicação política
revelou-se como uma variável que influencia os resultados escolares negativamente
(β = - 0,148). Essa variável nada mais é do que uma expressão de clientelismo político ainda
77
presente no contexto educacional cearense. Sobre essa temática, Souza (2007, p. 166)
argumenta que
indicar política ou tecnicamente o dirigente escolar pressupõe compreender a
direção da escola pública não como uma função a ser desempenhada por um
especialista da carreira do magistério, mas como um cargo político de confiança do
governante municipal ou estadual ou como instrumento de compensação no jogo
político-eleitoral.
Além disso, averiguamos, com base na regressão, que o tempo (em anos) que o
diretor exerce funções de direção atua positivamente na explicação do rendimento escolar em
Língua Portuguesa (β = 0,100). Esse resultado ratifica os achados apresentados na pesquisa de
Filho, Nuñez e Ribeiro (2009), que também indicaram o tempo no cargo de diretor como um
fator de efeito positivo para o rendimento escolar. O tempo no exercício do cargo de diretor
também foi apontado pela investigação de Bonamino, Aguiar e Correa (2012, p. 16) como um
fator de atuação contra a repetência, os quais asseveram: “alunos que estudam em escolas cujos
diretores estão há mais de 10 anos no cargo têm aproximadamente menos 48% de chances de
repetir”.
Bonamino, Aguiar e Correa (2012) citam também o critério para formação das
turmas como um fator interveniente na reprovação. Assim, turmas heterogêneas quanto à idade
têm mais chances de reprovar do que as turmas heterogêneas quanto ao rendimento. À
semelhança do estudo supracitado, a falta de estabelecimento de um critério para a atribuição
das turmas de 1ª a 4ª séries resultou em um efeito negativo (β = - 0,134) sobre o desempenho
cognitivo dos alunos cearenses matriculados no 5º ano do Ensino Fundamental.
As variáveis que faziam alusão à conservação das instalações físicas, aos
equipamentos pedagógicos, aos recursos financeiros e didáticos, às condições ambientais e
outras diretamente associadas à escola não foram consideradas na regressão, em virtude do fato
de não se correlacionarem com a Proficiência em Língua Portuguesa de modo significativo.
Contudo, a variável preditora extraída do questionário do diretor, relacionada às condições de
acessibilidade às imediações externas da escola incluída no modelo, indica uma influência
oriunda da unidade escolar (β = 0,115).
A perspectiva de análise que seguimos neste estudo levou em consideração a
influência que as variáveis intra e extraescolares exercem sobre o desempenho cognitivo, o
que equivale a dizer que “nem os fatores extraescolares conseguem sozinhos explicar o
desempenho cognitivo, nem a escola faz toda a diferença” (SOARES; ARAÚJO, 2006, p.
109).
78
6 CONSIDERAÇÕES FINAIS
Nosso escopo nesta investigação, ao analisarmos o desempenho escolar em
função da influência exercida pelas variáveis intra e extraescolares, adere-se ao campo de
estudos relativos aos fatores associados ao desempenho escolar que têm se cristalizado na
América Ibérica.
Nessa direção, com vistas a contribuir com o conhecimento sobre os fatores que
relacionam significativamente com o desempenho escolar, aplicamos um modelo de regressão
linear múltipla, com base nos microdados da quarta edição da Prova Brasil/2011,
incorporando as variáveis do aluno, do professor, do diretor e da escola para investigar o
efeito dessas variáveis na Proficiência em Língua Portuguesa obtida pelos discentes do 5º ano
do Ensino Fundamental da rede pública municipal cearense.
A primeira conclusão que extraímos dos resultados é o fato de a reprovação,
adicionada ao abandono escolar, ser a variável independente com maior impacto sobre o
desempenho escolar em Língua Portuguesa. Os resultados refletem a realidade do contexto
social cearense, em que não raro se prioriza o trabalho em detrimento da educação,
culminando na reprovação ou, até mesmo, no abandono escolar. Somam-se a isso os
ambientes que o aluno costuma frequentar e a quantidade de pessoas que moram com ele, fato
que nos fez constatar que tais aspectos prejudicam o bom desempenho cognitivo.
Em oposição a essa situação, verificamos que a participação dos pais nas reuniões
escolares, combinada ao incentivo fornecido aos filhos, atua na promoção de um rendimento
estudantil mais satisfatório.
As conclusões a que chegamos expressam, ainda, a realidade do contexto
educacional do estado do Ceará, no qual, por exemplo, ainda persiste a tradição do
clientelismo político, mantida por meio da indicação política do dirigente escolar, o que
transmite uma má influência sobre o desempenho cognitivo do seu alunado. Na verdade,
dever-se-ia adotar como critério a qualificação do profissional para assumir essa função, já
que, como foi aqui constatado, a qualificação do diretor em nível de pós-graduação na área
pedagógica produz efeitos benéficos sobre o rendimento escolar.
No mesmo contexto, averiguamos a contribuição negativa que a falta de um
critério preestabelecido para a atribuição das turmas de 1ª a 4ª séries agrega ao desempenho
acadêmico. Em contrapartida, significativas e positivas contribuições estão relacionadas à
quantidade dos conteúdos previstos desenvolvidos com os alunos, ao tempo do gestor no
79
exercício do cargo de diretor, ao tempo que o professor ministra aulas na instituição e às
condições de acessibilidade às imediações externas da escola.
Entre os resultados obtidos, é visível que as variáveis extraescolares interferem no
rendimento estudantil de uma forma mais negativa do que as variáveis intraescolares. Na
mesma proporção, as variáveis intraescolares influenciam o rendimento escolar de uma forma
mais positiva do que as variáveis extraescolares.
Em função disso, levando em conta a proposta deste estudo, podemos afirmar que
o desempenho cognitivo do aluno em Língua Portuguesa é produto de variáveis de múltiplas
ordens que atuam com um efeito combinado sobre o discente. Nessa perspectiva, a culpa do
baixo rendimento presente em boa parte das escolas públicas brasileiras, constatado pelas
avaliações e exames nacionais e internacionais, não pode ser atribuída a um só agente ou a um
só aspecto.
Analisar resultados escolares, dessa forma, conduz a uma visão que não se
limita a um viés determinista, que, por enfatizar apenas as características socioeconômicas
dos educandos, invalida qualquer esforço desencadeado pela escola no sentido de
promover a aprendizagem de seu alunado. Pelo contrário, evidenciamos que o trabalho
promovido pela escola concorre para a obtenção de melhores resultados educacionais.
Por fim, é válido sublinhar duas considerações em torno dos dados coletados
pelo atual sistema nacional de avaliação da Educação Básica: 1) quanto às variáveis dos
questionários contextuais, verificamos que muitas das variáveis contidas nesses
instrumentos são medidas por meio de escalas ordinais, o que dificulta a análise estatística.
Nesse caso, seria mais adequado mensurá-las mediante escala intervalar ou de razão. Além
da forma como são medidas, é preciso estudar melhor quais variáveis devem ser incluídas
no corpo desses instrumentos; 2) quanto à completude dos dados, vale ressaltar que os
questionários referentes ao diretor e ao professor foram os que apresentaram maior
quantidade de dados não fornecidos.
Assim, destacamos a necessidade imperiosa de conduzir o processo de coleta de
dados de uma forma mais eficaz, garantindo que as informações solicitadas nos
questionários contextuais sejam devidamente fornecidas, de modo a servirem como matéria-
-prima para o desenvolvimento de estudos de outras magnitudes, afinal, os dados levantados
não podem ser, conforme Vianna (2003c, p. 31), “condenados ao silêncio de um arquivo
morto”.
80
REFERÊNCIAS
ALBERNAZ, Â.; FERREIRA, F. H. G.; FRANCO, C. Qualidade e eqüidade no Ensino
Fundamental brasileiro. Pesquisa e Planejamento Econômico, Rio de Janeiro, IPEA, v. 32,
n.º 3, p. 453-476, 2002.
ALVES, M. T. G.; FRANCO, C. A pesquisa em eficácia escolar no Brasil: evidências sobre o
efeito das escolas e fatores associados à eficácia escolar. In: BROOKE, N.; SOARES, J. F.
(Org.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: Editora UFMG,
2008. 552 p.
BALLESTER, M.; PITALUGA, I. A avaliação dos objetivos de etapa. In: BALLESTER, M.;
BATOLLO, J. M.; CALATAYUD, M. A. Avaliação como apoio à aprendizagem. Trad.
Valério Campos. Porto Alegre: Artmed. 2003. p. 143-150.
BONAMINO, A. Pesquisadora revela a importância de encarar a avaliação como
atividade-meio. 13 ago. 2014. Entrevista concedida à Coordenação de Análises e Publicações
(CAP) do Centro de Políticas Públicas e Avaliação da Educação (CAEd). Disponível em:
<http://www.portalavaliacao.caedufjf.net/2014/08/13/pesquisadora-revela-a-importancia-de-
encarar-a-avaliacao-como-atividade-meio/>. Acesso em: 13 nov. 2014.
BONAMINO, A.; AGUIAR, G. S.; CORREA, E. V. O impacto das características intra e
extraescolares para o risco de repetência de alunos dos anos iniciais do Ensino Fundamental.
In: III Congreso Ibero-Americano de Política y Administración de la Educación, 2012,
Zaragoza, Espanha
BONAMINO, A.; SOUSA, S. Z. Três gerações de avaliação da Educação Básica no Brasil:
interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-
388, abr./jun., 2012. Disponível em: <http://www.scielo.br/pdf/ep/v38n2/ aopep633.pdf>.
Acesso em: 29 jun. 2014.
BRASIL. Decreto 6.094, de 24 de abril de 2007. Dispõe sobre a implementação do Plano de
Metas Compromisso Todos pela Educação, pela União Federal, em regime de colaboração
com Municípios, Distrito Federal e Estados, e a participação das famílias e da comunidade,
mediante programas e ações de assistência técnica e financeira, visando a mobilização social
pela melhoria da qualidade da Educação Básica. Diário Oficial da República Federativa do
Brasil, Casa Civil, Subchefia para Assuntos Jurídicos. Brasília, 24 de abril de 2007a.
Disponível em: <http://www.planalto.gov.br/ccivil_03/_ ato20072010/2007/decreto/
d6094.htm>. Acesso em: 23 abr. 2014.
______. Ministério da Educação. Indicador de Nível Socioeconômico das Escolas de
Educação Básica (Inse). Nota Técnica. Instituto Nacional de Estudos e Pesquisas
Educacionais Anísio Teixeira. Diretoria de Avaliação da Educação Básica, 2015.
Disponível em: <http://download.inep.gov.br/educacao_basica/saeb/ana/resultados/
2014/nota_tecnica _inse.pdf>. Acesso em: 1 mar. 2015.
______. Ministério da Educação. O plano de desenvolvimento da Educação: razões,
princípios e programas. Brasília, DF, MEC, 2007b. Disponível: <http://portal.mec.gov.
br/arquivos/livro/>. Acesso em: 10 maio 2014.
81
______. Ministério da Educação. Portaria n.º 931, de 21 de março de 2005. Institui o Sistema de
Avaliação da Educação Básica – SAEB, que será composto por dois processos de avaliação: a
Avaliação Nacional da Educação Básica – ANEB, e a Avaliação Nacional do Rendimento
Escolar – ANRESC. Diário Oficial da União, Brasília, Seção 1, p. 17, n.º 55, 22 mar. 2005.
CAFIERO, D.; ROCHA, G. Avaliação da leitura e da escrita nos primeiros anos do Ensino
Fundamental. In: CASTANHEIRA, M. L.; MACIEL, F. I. P.; MARTINS, R. M. F. (Org.).
Alfabetização e letramento na sala de aula. Belo Horizonte: Autêntica Editora: Ceale, 2008.
COLEMAN, J. S.; CAMPBELL, E. Q.; HOBSON, C. J.; MCPARTLAND, J.; MOOD, A.
M.; WEINFELD, F. D.; YORK, R. L. Equality of educational opportunity. Washington:
Office of Education/US Departament of Health, Education, and Welfare, 1966.
DIAS SOBRINHO, J. Avaliação e transformações da Educação Superior brasileira (1995-
2009): do PROVÃO ao SINAES. Avaliação, Campinas, v. 15, n. 1, p. 195-224, mar. 2010.
FERNANDES, R. Índice de Desenvolvimento da Educação Básica (Ideb). Brasília, DF:
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2007.
FERRÃO, M. E.; BELTRÃO, K. I.; FERNANDES, C.; SANTOS, D.; SUÁREZ, M.;
ANDRADE, A. C. O SAEB – Sistema Nacional de Avaliação da Educação Básica:
objetivos, características e contribuições na investigação da escola eficaz. Revista
Brasileira de Estudos de População, v. 18, n. 1/2, jan./dez. 2001. Disponível em:
<http://rebep.org.br/ index.php/revista/article/viewFile/347/pdf_324>. Acesso em: 23 abr. 2014.
FIELD, A. Descobrindo a estatística usando o SPSS. 2. ed. Porto Alegre: Artmed, 2009.
FIGUEIREDO FILHO, D.; NUNES, F.; ROCHA, E. C. da; SANTOS, M. L.; BATISTA, M.;
SILVA JÚNIOR, J. A. O que fazer e o que não fazer com a regressão: pressupostos e aplicações do
modelo linear de Mínimos Quadrados Ordinários (MQO). Revista Política Hoje, v. 20, n. 1, 2011.
FILHO, N. M.; NUÑEZ, D. F.; RIBEIRO, F. P. Comparando as escolas paulistas com melhor
e pior desempenho no Saresp e na Prova Brasil. São Paulo Perspectiva, São Paulo, v. 23, n.
1, p. 115-134, jan./jun. 2009.
FONTANIVE, N. O uso pedagógico dos testes. In: SOUSA, A. de M. e (Org.). Dimensões da
avaliação educacional. Petrópolis: Vozes, 2005.
FREITAS, D. N. T. Avaliação da Educação Básica no Brasil: características e pressupostos.
BAUER, A.; GATTI, B. A.; TAVARES, M. R. (Org.). Vinte e cinco anos de avaliação de
sistemas educacionais no Brasil – origens e pressupostos. Florianópolis: Insular, 2013. v. 1.
FUNDAÇÃO CARLOS CHAGAS. Glossário de termos técnicos em medidas
educacionais. Disponível em:<http://www.fcc.org.br/pesquisa/glossario.execute.mtw>.
Acesso em: 15 jul. 2014.
GATTI, B. A. Avaliação de sistemas educacionais no Brasil. Sísifo. Revista de Ciências da
Educação, 2009, p. 7-18. Consultado em [novembro, 2012] em: <http://sisifo.fpce. ul.pt>.
Acesso em: 14 fev. 2014.
82
______. Avaliação: contexto, história e perspectivas. Olh@res: Revista Eletrônica do
Departamento de Educação da UNIFESP, Guarulhos, v. 2, n. 1, maio 2014.
______. O professor e a avaliação em sala de aula. Estudos em Avaliação Educacional, n.
27, jan./jun. 2003.
HAIR, J. F.; BLACK, W. C.; BABIN, B. J.; ANDERSON, R. J.; TATHAM, R. L. Análise
multivariada de dados. 6. ed. Porto Alegre: Bookman, 2009. 688 p.
HORTA NETO, J. L. Avaliação externa de escolas e sistemas: questões presentes no debate
sobre o tema. Revista Brasileira de Estudos Pedagógicos, Brasília, DF, v. 91, n. 227, p. 84-
104, jan./abr. 2010.
______. Avaliação externa: a utilização dos resultados do Saeb 2003 na gestão do ensino
público de Ensino Fundamental no Distrito Federal. 2006. Dissertação (Mestrado) – Programa
de Pós-Graduação stricto sensu em Educação, Universidade de Brasília, Brasília, DF, 2006.
______. Um olhar retrospectivo sobre a avaliação externa no Brasil: das primeiras medições
em educação até o SAEB de 2005. Revista Iberoamericana de Educación, n. 42/45, 25 abr.
2007, p. 1-14. Disponível em: <http://www.rieoei.org/deloslecto res/1533Horta.pdf>. Acesso
em: 14 dez. 2014.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO
TEIXEIRA – INEP. Censo escolar, 2011a. Disponível em: <http://portal.inep.gov.br/ basica-
censo>. Acesso em: 9 jan. 2014.
______. Microdados para download. Brasília, DF, 2011b. Disponível em: <http://portal.
inep.gov.br/basica-levantamentos-acessar>. Acesso em: 2 out. 2014.
______. Portal Ideb. Brasília, DF, 2011c. Disponível em: <http://portal.inep.gov.br/web/
portal-ideb/o-que-e-o-ideb>. Acesso em: 9 jun. 2014.
______. Prova Brasil e Saeb 2011. Brasília, DF, 2011d. Disponível em: <http://portal.
inep.gov.br/web/prova-brasil-e-saeb/edicao-2011>. Acesso em: 18 jun. 2014.
______. Prova Brasil: avaliação do rendimento escolar – 2011e. Disponível em: <http://
download.inep.gov.br/educacao_basica/prova_brasil_saeb/downloads/livretos/livreto_2011.p
df>. Acesso em: 1 jun. 2014.
______. Informações estatísticas. Brasília, DF, 2011f. Disponível em: <http://portal.inep.
gov.br/basica-levantamentos-acessar>. Acesso em: 2 out. 2014.
______. Relatório Nacional Saeb 2003. Brasília, DF, 2006. Disponível em: <http://www.
oei.es/quipu/brasil/RelatorioSaeb2003_1.pdf>. Acesso em: 8 dez. 2014.
______. SAEB 2001: novas perspectivas. Brasília, DF, 2001. Disponível em: <http://obr.ic.
unicamp.br/Anteriores/obr2009/matriz_referencia_saeb>. Acesso em: 9 jun. 2014.
JESUS, G. R. de; LAROS, J. A. Eficácia escolar: regressão multinível com dados de
avaliação em larga escala. Avaliação Psicológica, v. 3, n. 2, p. 93-106, 2004.
83
KLEIN, R. Testes de rendimento escolar. In: SOUSA, A. de M. e (Org.). Dimensões da
avaliação educacional. Petrópolis: Vozes, 2005.
LOCATELLI, I. Construção de instrumentos para a avaliação de larga escala e indicadores de
rendimento: o modelo SAEB. In: Estudos em Avaliação Educacional, n. 25, jan./jun., 2002.
______. Novas perspectivas de avaliação. In: SEMINÁRIO EXPERIÊNCIAS EM SISTEMAS
ESTADUAIS DE AVALIAÇÃO, 2001, Recife. Anais... Recife, 2001. Disponível em: <http://
educa.fcc.org.br/ pdf/ensaio/v09n33/v09n33a07.pdf>. Acesso em: 13 nov. 2014.
MACHADO, C. Avaliação externa e gestão escolar: reflexões sobre uso dos resultados.
Revista @mbienteeducação, v. 5, n. 1, p. 70-82, jan./jun. 2012.
MARÔCO, J. Análise estatística com o SPSS Statistics. 5. ed. Pêro Pinheiro: ReportNumber,
2011.
MELO, S. C. L. Impactos da avaliação nacional do rendimento escolar (ANRESC/PROVA
BRASIL) entre os anos de 2007 a 2009 na gestão do processo de ensino-aprendizagem em
um município baiano. 2012. Dissertação (Mestrado) – Programa de Pós-Graduação stricto
sensu em Educação, Universidade Católica de Brasília, Brasília, DF, 2012.
MINHOTO, M. A. P. Notas sobre a avaliação da qualidade de sistemas educacionais. In:
BAUER, A.; GATTI, B. A.; TAVARES, M. R. (Org.). Vinte e cinco anos de avaliação de
sistemas educacionais no Brasil: origem e pressupostos. Florianópolis: Insular, 2013. v. 1.
MIRANDA, R. C. da R. O uso da informação na formação de ações estratégicas pelas
empresas. Ciência da Informação, Brasília, DF, v. 28, n. 3, p. 284-290, set./dez. 1999.
MORIN, E. A cabeça bem-feita: repensar a reforma, reformar o pensamento. Trad. Eloá
Jacobina. 8. ed. Rio de Janeiro: Bertrand Brasil, 2003. Disponível em: <http://www.uesb.
br/labtece/artigos/A%20Cabe%C3%A7a%20Bem-feita.pdf>. Acesso em: 7 nov. 2012.
OLIVEIRA, A. P. de M. A Prova Brasil como política de regulação da rede pública do
Distrito Federal. 2011. Dissertação (Mestrado) – Programa de Pós-Graduação em Educação,
Políticas Públicas e Gestão da Educação, Universidade de Brasília, Brasília, DF, 2011.
OLIVEIRA, R. P. Qualidade com garantia de respeito às diversidades e necessidades
de aprendizagem. In: GRACIANO, M. O Plano de Desenvolvimento da Educação (PDE).
São Paulo: Ação Educativa, 2007. (Em Questão, v. 4).
PARLETT, M; HAMILTON, D. Avaliação iluminativa: uma abordagem no estudo de
programas inovadores. In: GOLDBERG, M. A. A; SOUZA, C. P. (Org.). Avaliação de
programas educacionais: vicissitudes, controvérsias e desafios. São Paulo: EPU, 1982.
PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens – entre duas
lógicas. Trad. Patrícia Chittoni Ramos. Porto Alegre: Artes Médicas Sul, 1999.
84
PESTANA, M. I. G. S. A experiência em avaliação de sistemas educacionais. Em que avançamos?
In: BAUER, A.; GATTI, B. A.; TAVARES, M. R. (Org.). Vinte e cinco anos de avaliação de
sistemas educacionais no Brasil: origem e pressupostos. Florianópolis: Insular, v. 1, 2013.
RAVITCH, D. The Death and Life of the Great American School System: how testing and
choice are undermining education. New York: Basic Books, 2010.
RUSSO, M. Fundamentos em Biblioteconomia e Ciência da Informação. Rio de Janeiro:
E-papers Serviços Editoriais, 2010. 178 p.
SAMMONS, P. As características-chave das escolas eficazes. In: BROOKE, N.; SOARES, J.
F. (Org.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: Editora UFMG,
2008. 552 p.
SAVIANI, D. Educação brasileira: estrutura e sistema. 5. ed. São Paulo: Saraiva, 1983. 146 p.
______. O Plano de Desenvolvimento da Educação: análise do projeto do MEC. Educ. Soc.,
Campinas, v. 28, n. 100. Especial, p. 1231-1255, out. 2007. Disponível em: <http://www.
scielo.br/pdf/es/v28n100/a2728100.pdf>. Acesso em: 24 abr. 2014.
SOARES, J. F. O efeito da escola no desempenho cognitivo de seus alunos. REICE: Revista
Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, v. 2, n. 2, 2004.
Disponível em: <http://www.ice.deusto.es/RINACE/reice/vol2n2/ Soares.pdf>. Acesso em:
30 jan. 2015.
______. Seminário Aprova Brasil. [S.l.], 2010. Disponível em: <http://www.seminarioapro
vabrasil.com.br/default.asp?page=02_seminario.asp>. Acesso em: 9 jun. 2014.
SOARES, J. F.; ARAÚJO, R. J. Nível socioeconômico, qualidade e eqüidade das escolas de
Belo Horizonte. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 14, n.
50, p. 107-126, jan./mar., 2006.
SOUZA, A. R. de. Perfil da gestão escolar no Brasil. 2007. 302 p. Tese (Doutorado em
Educação) – Programa de Pós-Graduação em Educação, Pontifícia Universidade Católica de
São Paulo, São Paulo, 2007.
TORRECILLA, F. J. M. El movimiento de investigación de eficacia escolar. In: ______.
(Coord.). La investigación sobre eficacia escolar em Iberoamérica: revisión internacional
sobre el estado del arte. Bogotá: Convenio Andrés Bello, 2003, p. 53-92.
______. Um panorama da pesquisa ibero-americana sobre a eficácia escolar. In: BROOKE, N.;
SOARES, J. F. (Org.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte:
Editora UFMG, 2008. 552 p.
TYLER, R. W. General Statement on Evaluation. Journal of Educational Research, 35, p.
492-501, 1942.
VIANNA, H. M. Avaliação educacional. Teoria, planejamento e modelos. São Paulo:
IBRASA, 2000.
85
______. Avaliações em debate: Saeb, Enem, Provão. Brasília, DF: Plano, 2003a.
______. Avaliações nacionais em larga escala: análises e propostas. Estudos em Avaliação
Educacional, n. 27, p. 41-76, jan./jun. 2003b.
______. Construindo o campo e a crítica: o debate. In: FREITAS, L. C. de. Avaliação:
construindo o campo e a crítica. Florianópolis: Insular, 2002. p. 99-214.
______. Fundamentos de um programa de avaliação educacional. Estudos em Avaliação
Educacional, São Paulo, n. 28, p. 11-27, jul./dez. 2003c.
______. Medida da qualidade em educação: apresentação de um modelo. Estudos em
Avaliação Educacional, São Paulo, n. 2, p. 99-104, 1990.
VIDAL, E. M.; VIEIRA, S. L. Gestão educacional e resultados no Ideb: um estudo de caso
em dez municípios cearenses. Estudos em Avaliação Educacional, São Paulo, v. 22, n. 50,
p. 419-434, set./dez. 2011. Disponível em: <http://www.fcc.org.br/pesquisa/publicacoes/eae/
arquivos/1658/1658.pdf>. Acesso em: 14 maio 2014.
VIEIRA, S. L. Educação básica: política e gestão da escola. Fortaleza: Liber Livro, 2008. 220 p.
VILLAS BOAS, B. M. F. Virando a escola do avesso por meio da avaliação. Campinas,
SP: Papirus, 2008.
86
ANEXOS
87
ANEXO A – DECLARAÇÕES EXPEDIDAS PELO REVISOR
DECLARAÇÃO DE CORREÇÃO DE PORTUGUÊS
Declara-se, para constituir prova junto aos órgãos interessados, que, por
intermédio do profissional infra-assinado, foi procedida a correção gramatical e estilística da
dissertação intitulada Variáveis significativamente relacionadas com o desempenho dos
alunos do 5º ano do Ensino Fundamental público do estado do Ceará no teste de Língua
Portuguesa da Prova Brasil/2011, razão por que se firma a presente declaração, a fim de que
surta os efeitos legais, nos termos do novo Acordo Ortográfico Lusófono, vigente desde 1º de
janeiro de 2009.
Fortaleza-CE, 22 de abril de 2015.
_______________________________
Felipe Aragão de Freitas Carneiro
DECLARAÇÃO DE NORMALIZAÇÃO
Declara-se, para constituir prova junto aos órgãos interessados, que, por
intermédio do profissional infra-assinado, foi procedida a normalização da dissertação
intitulada Variáveis significativamente relacionadas com o desempenho dos alunos do 5º
ano do Ensino Fundamental público do estado do Ceará no teste de Língua Portuguesa
da Prova Brasil/2011, razão por que se firma a presente declaração, a fim de que surta os
efeitos legais, nos termos das normas vigentes decretadas pela Associação Brasileira de
Normas Técnicas (ABNT).
Fortaleza-CE, 22 de abril de 2015.
_________________________________
Felipe Aragão de Freitas Carneiro
88
ANEXO B – DIPLOMA DO REVISOR
