Sebastian Martinez, Sophie Naudeau & Vitor Pereira IDB World Bank PUC-Rio AVALIAÇÃO DE IMPACTO DO PROGRAMA DE DPI (DESENVOLVIMENTO DA PRIMEIRA INFANCIA)

Sebastian Martinez, Sophie Naudeau & Vitor Pereira

IDB World Bank PUC-Rio

AVALIAÇÃO DE IMPACTO DO PROGRAMA DE DPI (DESENVOLVIMENTO DA PRIMEIRA

INFANCIA) DA SAVE THE CHILDREN NA PROVINCIA DE GAZA - MOÇAMBIQUE

Conteúdo

1. Por quê esta Avaliação e Por quê em Moçambique?

2. O Modelo de DPI da Save the Children3. Perguntas Chaves da Avaliação4. Desenho da Avaliação5. Resultados 6. Impacto Sobre o Diálogo Político

2

1. Por quê esta Avaliação?

O DPI é um primeiro passo crítico no desenvolvimento humano

Forte evidencias existem sobre a importancia e custo-efectivade de investir no DPI: Melhor preparação das crianças para a escola primaria;

sucesso e completação mais altos. Melhor saude / Menos comportamentos de risco e menos

crime. Productividade e renda mais altas

Quando ha atrasos na primera infancia, é mais difficil e caro mudar/recuperar mais tarde na vida A desnutrição crónica de uma criança de 2 anos prediz o

crecimento futuro desta criança. A maior parte do desenvolvimento do cerébro humano

acontece nos primeros 5 anos de vida– e a “plasticidade” do cerébro baixa com a idade da pessoa.

1. Por quê esta Avaliação?...

Mas como podemos investir mais e de melhor forma?

Ha pouca evidência no mundo sobre as melhores opções para investir no DPI quando os recursos financeiros são limitados, particularmente no contexto dos paises em desenvolvimento. Muito poucas avaliações rigorosas (i.e., countrafactual válido)

foram feitas na área do DPI em países em desemvolvimento Entre essas, muito poucas usavam uma seleção aleatória, e a

maioria tinha amostras < 500Grande lacuna de conhecimento

(especialmente na AFR): Que tipos de programas de DPI têm mais custo-efectividade em contextos de desenvolvimento? Isso é a primeira avaliação de impacto do DPI que seja randomizada e a larga escala na África

4

1. Por quê em Moçambique?

Em 2008: 47 % das crianças de

menos de 5 anos com desnutrição crónica

42.6% das crianças de 6 anos fora das escolas primárias

Taxas altas de repetição e abandono escolar

Só 4% das crianças de menos de 5 anos matriculadas em programas de DPI (principalmente privados).

Uma oportunidade

única de parceria

Forte potential para ter um impacto político

5

Save the Children

World Bank

Implementação do projecto &

monitoria

Avaliação de Impacto+

= Resultados

2. O Modelo de DPI da Save the Children

A. Um meio ambiente favorável à aprendizagem Curriculum bem

desenvolvido 1 “animadora” por

15 crianças Nenhuma turma com

mais de 35 crianças Bastante rico em

materiais feitos localmente (livros, brinquedos, jogos)

6

2. O Modelo de DPI da Save the Children…

B. Custos baixos e sustentáveis

Modelo gerido pela comunidade através de um comité de gestão da escolinha

Construções simples, feitas com materiais locais

“Animadoras” da communidade que recebem uma remuneração de $10-20 por mês

Custo total < $30 /criança/ano

7

2. O Modelo de DPI da Save the Children…

C. Apoio continuo e monitoria intensiva Uma semana de formação inicial + 1 dia de

formação em serviços todos os meses Agentes de desenvolvimento comunitário bem

formados (1 agente por 5 escolinhas) Visitas regulares de monitoria e apoio a todas as

escolinhas

8

3. Perguntas e Indicadores Chaves da Avaliação

Qual e o impacto deste modelo communitário de DPI sobre:

A taxa de matrícula na escola primária e aprendizagem

O desenvolvimento infantil, incluindo: cognitivo, sócio-emocional, linguístico, físico

O comportamento dos encarregados em relação à(s) sua(s) criança(s)

O desenvolvimento das outras crianças dentro da família

A productividade e participação dos encarregados no mercado de trabalho.

9

4. Desenho da Avaliação

A. Amostra: 76 comunidades dividas de maneira

aleátoria entre o grupo de tratatmento (30) e

o grupo de control (46). 2000 crianças entre 3 e 5 anos

na linha de base 76 líderes comunitários 1020 crianças na primeira classe

(questionário pelos professores)

B. Coleta de dados: Linha de base: Maio - Agosto 2008 Dados de impacto: Abril –Dezembro 2010

10

4. Desenho da Avaliação

C. Instrumentos da avaliação: Pesquisa domiciliar (renda, riqueza, consumo,

educação, uso do tempo, etc.) Medidas de desenvolvimento infantil para

crianças entre 3 e 5 anos na linha de base (2008) e entre 5 e 7 anos após a intervenção (2010): Teste de Vocabulário por Imagens Peabody

(TVIP): Questionário de idades e estágios(ASQ): Questionário de aptidões e dificuldades (SDQ): Medidas antropométricas:

Pesquisa nas escola primárias (primeira classe): Instrumento de desenvolvimento infantil (EDI)

Questionário aos líderes comunitários

11

5. Resultados

Resumo dos dados da linha de base: Sem intervenção de DPI, crianças pobres

entre 3 e 5 anos nas áreas rurais de Moçambique estão atrasadas em termos de desenvolvimento físico, linguístico, e cognitivo.

Estes resultados indicam que as crianças na nossa amostra são pouco preparadas para aprender na escola primária e para ter sucesso na vida. Elas têm um risco alto de repetir classes e de abandonar a escola cedo.

Tudo isso contribue para caras ineficiências orcamentais no sector da educação.

12

Equilíbrio entre os dos grupos na linha de base (2008):

Características das criançasVariável Tratamento Control

eT-stat

Meninas 51% 49% 0.88Idade em anos 3.45 3.48 -0.91Fala Português 13% 12% 0.27

Orfão (mãe) 3% 2% 1.29Orfão (pai) 7% 8% -0.86z-score de peso pela idade -0.33 -0.27 -0.64z-score de altura pela idade -1.99 -1.85 -1.45ASQ Total 198.97 196.54 0.72TVIP Changana (score estandarizado censurado) 78.85 78.66 0.18TVIP Portuguese (score estandarizado censurado)

74.40 74.20 0.36

13

Equilíbrio entre os dos grupos na linha de base (2008):

Características dos encarregados

Variable Treatment

Control T-stat

Mulher=1 81% 88% -2.40

Idade em anos 34.75 34.16 0.69

Fala Português 50% 48% 0.35

Sabe ler e escrever 62% 62% 0.10

Anos de educação 3.40 3.45 -0.20

Casado/a (formal ou informal) 68% 65% 1.00

Viuvo/a 12% 13% -0.58

Lê livros com a criança 40% 40% 0.05

Brinca com a criança 33% 36% -0.77

14

Matrícula nas escolinhas0

.05

.1.1

5.2

.25

Pro

bab

ility

01jan2000 01jan2002 01jan2004 01jan2006 01jan2008 01jan2010Time

Control Treatment

By Treatment and ControlProbability of enrollment in escolinhas across time

15

Impacto na matrícula escolar (escola primária)

16

Tabela: Atualmente matriculados na escola=1(R1) (1) (R2) (2) (3)ITT ITT TOT TOT TOTOLS OLS IV IV IV

Comunidade de tratamento 0.055** 0.058***(0.021) (0.022)

Escolinha=1 0.148*** 0.154***(0.053) (0.053)

Escolinha x Rapaz =1 0.167*(0.092)

Escolinha x Rapariga =1 0.142**(0.068)

Caracteristicas geograficas Não Sim Não Sim SimCaracteristicas domiciliares e individuais Não Sim Não Sim Sim

Observações 2,591 2,591 2,591 2,591 2,591R-squared 0.050 0.212 0.032 0.210 0.210Medía dos controles: 0.633 0.633 0.633 0.633Tamanho do efeito % mudança 0.087 0.0919 0.233 0.242Medía dos controles-Grup o1: 0.594Medía dos controles-Grupo 2: 0.671Tamanho do efeito % mudança – Grupo 1 0.281Tamanho do efeito % mudança – Grupo 2 0.212

Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.

Impacto na matrícula escolar

(escola primária)

17

Tabela : Educação

Atualmente matriculado Tem ido à escola Nível aproppriado

pela idadeAbandonou a escola

(1) (2) (3) (4)TOT TOT TOT TOTIV IV IV IV

Escolinha=1 0.154*** 0.134** 0.102** -0.014(0.053) (0.051) (0.046) (0.026)

Observações 2,591 2,686 2,891 1,872R-quadrado 0.210 0.221 0.090 0.039Medía dos controles: 0.633 0.672 0.469 0.038Tamanho do efeito % mudança 0.242 0.200 0.217 -0.377Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.

Uso do tempo das crianças

18

Tabela : Uso do tempo (Horas passadas na atividade por semana)

Assistir escola e fazer

deveres de casa

Tempo para brincar

Trabalho na machamba

familiarTarefas

domésticas

Cuidados de crianças, idosos, doentes

Reuniões comunitarias Sono

(1) (2) (3) (4) (5) (6) (7)TOT TOT TOT TOT TOT TOT TOT

LABELS IV IV IV IV IV IV IV

Escolinha= 1 7.212*** -0.684 -1.316** -0.529 0.056 -1.403*** 3.712(2.019) (1.921) (0.637) (0.407) (0.320) (0.507) (2.416)

Observações 2,891 2,891 2,891 2,891 2,891 2,891 2,891R-quadrado 0.108 0.093 0.080 0.067 0.048 0.009 0.052Medía dos controles: 15.560 22.046 2.540 0.748 0.569 1.099 61.417Tamanho do efeito % mudança 0.463 -0.031 -0.571 -0.707 0.098 -1.276 0.060


Desenvolvimento das crianças: EDI

19

Tabela: Resultados de PDI por áreas

Saúde física e bem-estar

Comunicação e conhecimentos

gerais

Desenvolvimento cognitivo e lenguagem

Competência social

Maturidade emocional

(1) (2) (3) (4) (5)TOT TOT TOT TOT TOTIV IV IV IV IV

Escolinha= 1 1.828 0.291 12.199** 6.338 1.1767(1.962) (2.164) (5.393) (10.316) (4.562)

Observações 862 862 862 862 862R-quadrado 0.149 0.233 0.026 0.192 0.212Medía dos controles: 5.551 2.864 14.015 11.479 3.596Tamanho do efeito % mudança 0.329 0.102 0.870 0.552 0.491


EDI: Resultados por área

7.383.15

26.21

17.82

5.375.55 2.86

14.01 11.48

3.600.32 0.10 0.87 0.55 0.49

Preschool Control Impact (%)

20

Desenvolvimento das crianças: ASQ

21

Tabela: ASQ

Score ASQ Total Comunicação Resolução de

problemasCoordinação motriz fina

Coordinação motriz grossa

(1) (2) (3) (4) (5)TOT TOT TOT TOT TOTIV IV IV IV IV

Escolinha= 1 14.668** 4.452* 5.350** 3.746* 1.120(6.976) (2.357) (2.634) (2.108) (0.974)

Observações 1,831 1,831 1,831 1,831 1,831R-quadrado 0.179 0.095 0.189 0.180 0.06Medía dos controles: 283.735 83.746 84.022 59.470 56.497Tamanho do efeito % mudança 0.052 0.053 0.064 0.063 0.020


Desenvolvimento das crianças: TVIP

22

Tabela: TVIP

Português

(bruto) Português

(estandardizado)Changana

(bruto) Changana

(estandardizado)


Escolinha= 1 0.351 0.335 0.463 1.086(0.301) (0.262) (0.921) (0.998)

Observações 1,839 1,839 1,839 1,839R-quadrado 0.094 0.145 0.106 0.139Medía dos controles: 3.757 55.992 9.047 59.443Tamanho do efeito % mudança 0.093 0.006 0.051 0.018


Desenvolvimento das crianças: Estatura e Peso

23

Table: Child Anthropometrics

Desnutrição aguda (waz_avg<=-2)

Peso pela idade Z-Score

Desnutrição crónica

(haz_avg<=-2)Estatura pela

idade Z-Score


Escolinha= 1 0.007 0.034 -0.017 0.169(0.027) (0.099) (0.056) (0.179)

Observações 1,839 1,818 1,811 1,811R-quadrado 0.041 0.085 0.071 0.069Medía dos controles: 0.094 -0.739 0.357 -1.578Tamanho do efeito % mudança 0.078 -0.045 -0.047 -0.107Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.

Desenvolvimento das crianças: Saúde

24

Tabelas : Saúde das crianças

Doente nas últimas 4 semanas

Problemas de pele nas últimas

4 semanas

Diarrhea nas últimas 4 semanas

Tosse nas últimas 4 semanas


Escolinha= 1 0.122** -0.035 -0.027 0.131(0.057) (0.048) (0.022) (0.083)

Observações 1,836 1,837 1,832 1,839R-quadrado 0.079 0.038 0.054 0.060Medía dos controles: 0.358 0.148 0.082 0.447Tamanho do efeito % mudança 0.341 -0.236 -0.325 0.293Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.

Crianças mas velhas (10-15) nas famílias com crianças em

idade pre-escolar

25

Tabela: Matricula escolar

Atualmente matriculado

Tem ido à escola

Nível adequado pela idade

Abandonou a escola


Escolinha= 1 0.043 0.054*** 0.058 0.018(0.026) (0.017) (0.038) (0.023)

Observações 1,802 1,895 1,553 1,766R-quadrado 0.089 0.064 0.285 0.060Medía dos controles: 0.854 0.923 0.443 0.066Tamanho do efeito % mudança 0.050 0.059 0.131 0.267Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.

Comportamento e esperanças do/as encarregado/as

26

Tabela: Encarregado/as

Número de reuniões atendidades nas ultimas 4 semanas

Você acha que é correto castigar uma criança físicamente

Lê livros com a criança

Brinca com a criança

Pratica rótinas diarias com a criança

Pratica rótinas de independendização com a criança

Satisfeita pela preparção da criança para a escola futura

-1 -2 -3 -4 -5 -6 -7TOT TOT TOT TOT TOT TOT TOT

IV IV IV IV IV IV IV

Escolinha= 1 1.006** -0.128** -0.06 0.051 0.210*** 0.093** 0.064**(0.424) (0.059) (0.066) (0.053) (0.050) (0.045) (0.030)

Observações 1,839 1,834 1,833 1,835 1,837 1,837 1,818R-quadrado 0.04 0.077 0.098 0.087 0.078 0.061 0.044

Medía dos controles: 3.706 0.279 0.598 0.693 0.666 0.769 0.899Tamanho do efeito % mudança 0.271 -0.459 -0.1 0.073 0.315 0.121 0.071


Participação dos encarregados no mercado

do trabalho

27

Tabela: Oferta de trabalho dos adultos

CaregiverTrabalhou nos últimos

30 dias

MãeTrabalhou nos últimos

30 dias

PaiTrabalhou nos últimos

30 dias (1) (2) (3)

TOT TOT TOTIV IV IV

Escolinha= 1 0.062* 0.076 0.095*(0.036) (0.047) (0.049)

Observações 1,726 1,323 1,113R-quadrado 0.056 0.082 0.151Medía dos controles: 0.240 0.203 0.582Tamanho do efeito % mudança 0.260 0.373 0.164Notas: Erros estandares robustos em parentése , cluster ao nível de comunidade. * Significativo a 10%, ** Significativo a5% , *** Significativo a 1%.

5. Resumo dos resultados

Matrícula mais alta na escola primária, e na idade certa de 6 anos.

Melhor preparação das crianças para a escola primária, especialmente nas áreas cognitiva, sócio-emocional, psicomótrica, e de communicação:

Impactos mistos nas áreas da saúde e do desenvolvimento físico

Impactos positivos na matrícula escolar dos irmões/das irmãs mais velho/as, e sobre os encarregados (mercado do trabalho e comportamento em casa).

28

PDI ASQ TVIP

Cognitivo/solução de prob.

+ +

Socio-emocional 0 +

Motriz fina 0 +

Motriz grossa 0

Communicação + 0

6. Impacto Sobre o Diálogo Político

Os resultados da linha de base foram apresentados ao Governo de Moçambique e aos parceiros no mês de Março 2010.

Nessa altura, O Sr. Ministro da Educação formalmente solicitou apoio técnico e financeiro ao Banco Mundial para o desenvolvimento duma estratégia multi-setoral na área do DPI e de um projeto de desenvolvimento do pre-escolar.

29

6. Impacto Sobre o Diálogo Político...

Os dados de impacto foram apresentados ao Governo e aos parceiros de cooperação em Maputo no mês de Junho de 2011.

Estos resultados informaram diretamente o desenho do novo projeto de desenvolvimento pre-escolar e de uma nova avaliação de impacto (juntamente com o MINED) no contexto do projeto.

30

Obrigada!31

[email protected]

www.worldbank.org/afr/hd

mailto:[email protected]

Documents

Sebastian Martinez, Sophie Naudeau & Vitor Pereira IDB World Bank PUC-Rio AVALIAÇÃO DE IMPACTO DO PROGRAMA DE DPI (DESENVOLVIMENTO DA PRIMEIRA INFANCIA)