Sebastian Martinez, Sophie Naudeau & Vitor Pereira
IDB World Bank PUC-Rio
AVALIAÇÃO DE IMPACTO DO PROGRAMA DE DPI (DESENVOLVIMENTO DA PRIMEIRA
INFANCIA) DA SAVE THE CHILDREN NA PROVINCIA DE GAZA - MOÇAMBIQUE
Conteúdo
1. Por quê esta Avaliação e Por quê em Moçambique?
2. O Modelo de DPI da Save the Children3. Perguntas Chaves da Avaliação4. Desenho da Avaliação5. Resultados 6. Impacto Sobre o Diálogo Político
2
1. Por quê esta Avaliação?
O DPI é um primeiro passo crítico no desenvolvimento humano
Forte evidencias existem sobre a importancia e custo-efectivade de investir no DPI: Melhor preparação das crianças para a escola primaria;
sucesso e completação mais altos. Melhor saude / Menos comportamentos de risco e menos
crime. Productividade e renda mais altas
Quando ha atrasos na primera infancia, é mais difficil e caro mudar/recuperar mais tarde na vida A desnutrição crónica de uma criança de 2 anos prediz o
crecimento futuro desta criança. A maior parte do desenvolvimento do cerébro humano
acontece nos primeros 5 anos de vida– e a “plasticidade” do cerébro baixa com a idade da pessoa.
1. Por quê esta Avaliação?...
Mas como podemos investir mais e de melhor forma?
Ha pouca evidência no mundo sobre as melhores opções para investir no DPI quando os recursos financeiros são limitados, particularmente no contexto dos paises em desenvolvimento. Muito poucas avaliações rigorosas (i.e., countrafactual válido)
foram feitas na área do DPI em países em desemvolvimento Entre essas, muito poucas usavam uma seleção aleatória, e a
maioria tinha amostras < 500Grande lacuna de conhecimento
(especialmente na AFR): Que tipos de programas de DPI têm mais custo-efectividade em contextos de desenvolvimento? Isso é a primeira avaliação de impacto do DPI que seja randomizada e a larga escala na África
4
1. Por quê em Moçambique?
Em 2008: 47 % das crianças de
menos de 5 anos com desnutrição crónica
42.6% das crianças de 6 anos fora das escolas primárias
Taxas altas de repetição e abandono escolar
Só 4% das crianças de menos de 5 anos matriculadas em programas de DPI (principalmente privados).
Uma oportunidade
única de parceria
Forte potential para ter um impacto político
5
Save the Children
World Bank
Implementação do projecto &
monitoria
Avaliação de Impacto+
= Resultados
2. O Modelo de DPI da Save the Children
A. Um meio ambiente favorável à aprendizagem Curriculum bem
desenvolvido 1 “animadora” por
15 crianças Nenhuma turma com
mais de 35 crianças Bastante rico em
materiais feitos localmente (livros, brinquedos, jogos)
6
2. O Modelo de DPI da Save the Children…
B. Custos baixos e sustentáveis
Modelo gerido pela comunidade através de um comité de gestão da escolinha
Construções simples, feitas com materiais locais
“Animadoras” da communidade que recebem uma remuneração de $10-20 por mês
Custo total < $30 /criança/ano
7
2. O Modelo de DPI da Save the Children…
C. Apoio continuo e monitoria intensiva Uma semana de formação inicial + 1 dia de
formação em serviços todos os meses Agentes de desenvolvimento comunitário bem
formados (1 agente por 5 escolinhas) Visitas regulares de monitoria e apoio a todas as
escolinhas
8
3. Perguntas e Indicadores Chaves da Avaliação
Qual e o impacto deste modelo communitário de DPI sobre:
A taxa de matrícula na escola primária e aprendizagem
O desenvolvimento infantil, incluindo: cognitivo, sócio-emocional, linguístico, físico
O comportamento dos encarregados em relação à(s) sua(s) criança(s)
O desenvolvimento das outras crianças dentro da família
A productividade e participação dos encarregados no mercado de trabalho.
9
4. Desenho da Avaliação
A. Amostra: 76 comunidades dividas de maneira
aleátoria entre o grupo de tratatmento (30) e
o grupo de control (46). 2000 crianças entre 3 e 5 anos
na linha de base 76 líderes comunitários 1020 crianças na primeira classe
(questionário pelos professores)
B. Coleta de dados: Linha de base: Maio - Agosto 2008 Dados de impacto: Abril –Dezembro 2010
10
4. Desenho da Avaliação
C. Instrumentos da avaliação: Pesquisa domiciliar (renda, riqueza, consumo,
educação, uso do tempo, etc.) Medidas de desenvolvimento infantil para
crianças entre 3 e 5 anos na linha de base (2008) e entre 5 e 7 anos após a intervenção (2010): Teste de Vocabulário por Imagens Peabody
(TVIP): Questionário de idades e estágios(ASQ): Questionário de aptidões e dificuldades (SDQ): Medidas antropométricas:
Pesquisa nas escola primárias (primeira classe): Instrumento de desenvolvimento infantil (EDI)
Questionário aos líderes comunitários
11
5. Resultados
Resumo dos dados da linha de base: Sem intervenção de DPI, crianças pobres
entre 3 e 5 anos nas áreas rurais de Moçambique estão atrasadas em termos de desenvolvimento físico, linguístico, e cognitivo.
Estes resultados indicam que as crianças na nossa amostra são pouco preparadas para aprender na escola primária e para ter sucesso na vida. Elas têm um risco alto de repetir classes e de abandonar a escola cedo.
Tudo isso contribue para caras ineficiências orcamentais no sector da educação.
12
Equilíbrio entre os dos grupos na linha de base (2008):
Características das criançasVariável Tratamento Control
eT-stat
Meninas 51% 49% 0.88Idade em anos 3.45 3.48 -0.91Fala Português 13% 12% 0.27
Orfão (mãe) 3% 2% 1.29Orfão (pai) 7% 8% -0.86z-score de peso pela idade -0.33 -0.27 -0.64z-score de altura pela idade -1.99 -1.85 -1.45ASQ Total 198.97 196.54 0.72TVIP Changana (score estandarizado censurado) 78.85 78.66 0.18TVIP Portuguese (score estandarizado censurado)
74.40 74.20 0.36
13
Equilíbrio entre os dos grupos na linha de base (2008):
Características dos encarregados
Variable Treatment
Control T-stat
Mulher=1 81% 88% -2.40
Idade em anos 34.75 34.16 0.69
Fala Português 50% 48% 0.35
Sabe ler e escrever 62% 62% 0.10
Anos de educação 3.40 3.45 -0.20
Casado/a (formal ou informal) 68% 65% 1.00
Viuvo/a 12% 13% -0.58
Lê livros com a criança 40% 40% 0.05
Brinca com a criança 33% 36% -0.77
14
Matrícula nas escolinhas0
.05
.1.1
5.2
.25
Pro
bab
ility
01jan2000 01jan2002 01jan2004 01jan2006 01jan2008 01jan2010Time
Control Treatment
By Treatment and ControlProbability of enrollment in escolinhas across time
15
Impacto na matrícula escolar (escola primária)
16
Tabela: Atualmente matriculados na escola=1(R1) (1) (R2) (2) (3)ITT ITT TOT TOT TOTOLS OLS IV IV IV
Comunidade de tratamento 0.055** 0.058***(0.021) (0.022)
Escolinha=1 0.148*** 0.154***(0.053) (0.053)
Escolinha x Rapaz =1 0.167*(0.092)
Escolinha x Rapariga =1 0.142**(0.068)
Caracteristicas geograficas Não Sim Não Sim SimCaracteristicas domiciliares e individuais Não Sim Não Sim Sim
Observações 2,591 2,591 2,591 2,591 2,591R-squared 0.050 0.212 0.032 0.210 0.210Medía dos controles: 0.633 0.633 0.633 0.633Tamanho do efeito % mudança 0.087 0.0919 0.233 0.242Medía dos controles-Grup o1: 0.594Medía dos controles-Grupo 2: 0.671Tamanho do efeito % mudança – Grupo 1 0.281Tamanho do efeito % mudança – Grupo 2 0.212
Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.
Impacto na matrícula escolar
(escola primária)
17
Tabela : Educação
Atualmente matriculado Tem ido à escola Nível aproppriado
pela idadeAbandonou a escola
(1) (2) (3) (4)TOT TOT TOT TOTIV IV IV IV
Escolinha=1 0.154*** 0.134** 0.102** -0.014(0.053) (0.051) (0.046) (0.026)
Observações 2,591 2,686 2,891 1,872R-quadrado 0.210 0.221 0.090 0.039Medía dos controles: 0.633 0.672 0.469 0.038Tamanho do efeito % mudança 0.242 0.200 0.217 -0.377Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.
Uso do tempo das crianças
18
Tabela : Uso do tempo (Horas passadas na atividade por semana)
Assistir escola e fazer
deveres de casa
Tempo para brincar
Trabalho na machamba
familiarTarefas
domésticas
Cuidados de crianças, idosos, doentes
Reuniões comunitarias Sono
(1) (2) (3) (4) (5) (6) (7)TOT TOT TOT TOT TOT TOT TOT
LABELS IV IV IV IV IV IV IV
Escolinha= 1 7.212*** -0.684 -1.316** -0.529 0.056 -1.403*** 3.712(2.019) (1.921) (0.637) (0.407) (0.320) (0.507) (2.416)
Observações 2,891 2,891 2,891 2,891 2,891 2,891 2,891R-quadrado 0.108 0.093 0.080 0.067 0.048 0.009 0.052Medía dos controles: 15.560 22.046 2.540 0.748 0.569 1.099 61.417Tamanho do efeito % mudança 0.463 -0.031 -0.571 -0.707 0.098 -1.276 0.060
Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.
Desenvolvimento das crianças: EDI
19
Tabela: Resultados de PDI por áreas
Saúde física e bem-estar
Comunicação e conhecimentos
gerais
Desenvolvimento cognitivo e lenguagem
Competência social
Maturidade emocional
(1) (2) (3) (4) (5)TOT TOT TOT TOT TOTIV IV IV IV IV
Escolinha= 1 1.828 0.291 12.199** 6.338 1.1767(1.962) (2.164) (5.393) (10.316) (4.562)
Observações 862 862 862 862 862R-quadrado 0.149 0.233 0.026 0.192 0.212Medía dos controles: 5.551 2.864 14.015 11.479 3.596Tamanho do efeito % mudança 0.329 0.102 0.870 0.552 0.491
Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.
EDI: Resultados por área
7.383.15
26.21
17.82
5.375.55 2.86
14.01 11.48
3.600.32 0.10 0.87 0.55 0.49
Preschool Control Impact (%)
20
Desenvolvimento das crianças: ASQ
21
Tabela: ASQ
Score ASQ Total Comunicação Resolução de
problemasCoordinação motriz fina
Coordinação motriz grossa
(1) (2) (3) (4) (5)TOT TOT TOT TOT TOTIV IV IV IV IV
Escolinha= 1 14.668** 4.452* 5.350** 3.746* 1.120(6.976) (2.357) (2.634) (2.108) (0.974)
Observações 1,831 1,831 1,831 1,831 1,831R-quadrado 0.179 0.095 0.189 0.180 0.06Medía dos controles: 283.735 83.746 84.022 59.470 56.497Tamanho do efeito % mudança 0.052 0.053 0.064 0.063 0.020
Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.
Desenvolvimento das crianças: TVIP
22
Tabela: TVIP
Português
(bruto) Português
(estandardizado)Changana
(bruto) Changana
(estandardizado)
(1) (2) (3) (4)TOT TOT TOT TOTIV IV IV IV
Escolinha= 1 0.351 0.335 0.463 1.086(0.301) (0.262) (0.921) (0.998)
Observações 1,839 1,839 1,839 1,839R-quadrado 0.094 0.145 0.106 0.139Medía dos controles: 3.757 55.992 9.047 59.443Tamanho do efeito % mudança 0.093 0.006 0.051 0.018
Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.
Desenvolvimento das crianças: Estatura e Peso
23
Table: Child Anthropometrics
Desnutrição aguda (waz_avg<=-2)
Peso pela idade Z-Score
Desnutrição crónica
(haz_avg<=-2)Estatura pela
idade Z-Score
(1) (2) (3) (4)TOT TOT TOT TOTIV IV IV IV
Escolinha= 1 0.007 0.034 -0.017 0.169(0.027) (0.099) (0.056) (0.179)
Observações 1,839 1,818 1,811 1,811R-quadrado 0.041 0.085 0.071 0.069Medía dos controles: 0.094 -0.739 0.357 -1.578Tamanho do efeito % mudança 0.078 -0.045 -0.047 -0.107Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.
Desenvolvimento das crianças: Saúde
24
Tabelas : Saúde das crianças
Doente nas últimas 4 semanas
Problemas de pele nas últimas
4 semanas
Diarrhea nas últimas 4 semanas
Tosse nas últimas 4 semanas
(1) (2) (3) (4)TOT TOT TOT TOTIV IV IV IV
Escolinha= 1 0.122** -0.035 -0.027 0.131(0.057) (0.048) (0.022) (0.083)
Observações 1,836 1,837 1,832 1,839R-quadrado 0.079 0.038 0.054 0.060Medía dos controles: 0.358 0.148 0.082 0.447Tamanho do efeito % mudança 0.341 -0.236 -0.325 0.293Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.
Crianças mas velhas (10-15) nas famílias com crianças em
idade pre-escolar
25
Tabela: Matricula escolar
Atualmente matriculado
Tem ido à escola
Nível adequado pela idade
Abandonou a escola
(1) (2) (3) (4)TOT TOT TOT TOTIV IV IV IV
Escolinha= 1 0.043 0.054*** 0.058 0.018(0.026) (0.017) (0.038) (0.023)
Observações 1,802 1,895 1,553 1,766R-quadrado 0.089 0.064 0.285 0.060Medía dos controles: 0.854 0.923 0.443 0.066Tamanho do efeito % mudança 0.050 0.059 0.131 0.267Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.
Comportamento e esperanças do/as encarregado/as
26
Tabela: Encarregado/as
Número de reuniões atendidades nas ultimas 4 semanas
Você acha que é correto castigar uma criança físicamente
Lê livros com a criança
Brinca com a criança
Pratica rótinas diarias com a criança
Pratica rótinas de independendização com a criança
Satisfeita pela preparção da criança para a escola futura
-1 -2 -3 -4 -5 -6 -7TOT TOT TOT TOT TOT TOT TOT
IV IV IV IV IV IV IV
Escolinha= 1 1.006** -0.128** -0.06 0.051 0.210*** 0.093** 0.064**(0.424) (0.059) (0.066) (0.053) (0.050) (0.045) (0.030)
Observações 1,839 1,834 1,833 1,835 1,837 1,837 1,818R-quadrado 0.04 0.077 0.098 0.087 0.078 0.061 0.044
Medía dos controles: 3.706 0.279 0.598 0.693 0.666 0.769 0.899Tamanho do efeito % mudança 0.271 -0.459 -0.1 0.073 0.315 0.121 0.071
Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.
Participação dos encarregados no mercado
do trabalho
27
Tabela: Oferta de trabalho dos adultos
CaregiverTrabalhou nos últimos
30 dias
MãeTrabalhou nos últimos
30 dias
PaiTrabalhou nos últimos
30 dias (1) (2) (3)
TOT TOT TOTIV IV IV
Escolinha= 1 0.062* 0.076 0.095*(0.036) (0.047) (0.049)
Observações 1,726 1,323 1,113R-quadrado 0.056 0.082 0.151Medía dos controles: 0.240 0.203 0.582Tamanho do efeito % mudança 0.260 0.373 0.164Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.
5. Resumo dos resultados
Matrícula mais alta na escola primária, e na idade certa de 6 anos.
Melhor preparação das crianças para a escola primária, especialmente nas áreas cognitiva, sócio-emocional, psicomótrica, e de communicação:
Impactos mistos nas áreas da saúde e do desenvolvimento físico
Impactos positivos na matrícula escolar dos irmões/das irmãs mais velho/as, e sobre os encarregados (mercado do trabalho e comportamento em casa).
28
PDI ASQ TVIP
Cognitivo/solução de prob.
+ +
Socio-emocional 0 +
Motriz fina 0 +
Motriz grossa 0
Communicação + 0
6. Impacto Sobre o Diálogo Político
Os resultados da linha de base foram apresentados ao Governo de Moçambique e aos parceiros no mês de Março 2010.
Nessa altura, O Sr. Ministro da Educação formalmente solicitou apoio técnico e financeiro ao Banco Mundial para o desenvolvimento duma estratégia multi-setoral na área do DPI e de um projeto de desenvolvimento do pre-escolar.
29
6. Impacto Sobre o Diálogo Político...
Os dados de impacto foram apresentados ao Governo e aos parceiros de cooperação em Maputo no mês de Junho de 2011.
Estos resultados informaram diretamente o desenho do novo projeto de desenvolvimento pre-escolar e de uma nova avaliação de impacto (juntamente com o MINED) no contexto do projeto.
30