Presentación Evaluación Impacto PRONASAR · 9 Cierre de Programa 2013 Las ... significancia del estimador original de doble diferencias. 7. Metodologías específicas de estimación

1

El desafío de implementar una evaluación de impacto de un

programa de agua y saneamiento rural. La experiencia de PRONASAR

en Perú

PROGRAMA DE APOYO DEL BANCO MUNDIAL ALSECTOR DE AGUA POTABLE Y SANEAMIENTO

Estructura de la presentación

1. Modelo de intervención del PRONASAR2. Fases y periodo de implementación3. Contexto de implementación del PRONASAR4. Diseño de la evaluación de impacto5. Principales dificultades del diseño de la

evaluación6. Metodologías específicas de estimación del

impacto7. Principales Resultados de la evaluación8. Conclusiones y Recomendaciones

1. Modelo de Intervención del PRONASAR

Mejorar la calidad de los servicios de agua y saneamiento existentes

Mejorar la cobertura en agua y saneamiento

Fortalecer el Sector agua y saneamiento

Contribuir a mejorar la salud y calidad de vida de la población rural

Componentes:

1. Abastecimiento de agua y saneamiento rural

1A. Rehabilitación de sistemas existentes

1B. Construcción de nuevos sistemas.

2. Abastecimiento de agua y saneamiento en pequeñasciudades

3. Construcción de capacidades en el sector Agua ySaneamiento.

4. Administración, monitoreo y evaluación.

Para lograr su objetivo los proyectos requieren que las JuntasAdministradoras de Servicio y Saneamiento (JASS) y losmunicipios cumplan sus roles de forma efectiva y sostenible.


Políticas y Enfoques:

1) Integralidad de la intervención: Infraestructura,Administración, operación y mantenimiento, Educaciónsanitaria.

2) Política financiera: cofinanciamiento del Programa, laMunicipalidad y la Comunidad.

3) Enfoque de respuesta a la demanda (a nivel delocalidades seleccionadas)

4) Equidad de género

5) Interculturalidad

6) Sostenibilidad ambiental.



Matriz de Indicadores del Proyecto

(9)

Indicadores de Impacto (7 indicadores)

3 de Objetivo superior y 4 de Propósito

Indicadores a nivel de los Objetivos Específicos (93 indicadores)

O1: Generar capacidades en las localidades - JASS (31 )

O2: Rehabilitación, expansión y mejoramiento de servicios

O3: Implantar nuevos sistemas en localidades sin servicio

O5: Fortalecer capacidad técnica de los gobiernos locales (31)

O6: Mejoramiento de hábitos de aseo e higiene en la población (22)

Fases:

1) Pre inversión: selección de localidades, elaboración de perfiles (4 meses).

2) Inversión: expediente técnico, infraestructura, capacitación sanitaria, organización y capacitación AOM (7 meses).

3) Post inversión: acompañamiento y reforzamiento de acciones educativas (7 meses)

Total: 18 meses (*)

(*) Según diseño. No incluye el tiempo que toma seleccionar y contratar al Operador.

2. Fases y periodo de implementación

2. Fases y periodo de implementación

Inicio de Programa

Aprobación del Convenio de Préstamo, inicio del Programa

2002

Cumplimiento de condiciones de efectividad

2003 - 2004 Inicio de desembolsos

Cambio de Unidad ejecutora

Reevaluación

Reevaluación del Programa, enmienda al convenio 2005 - 2006

Cambio de Unidad Ejecutora (“Agua para Todos”). 2007

Ampliación de plazo, financiamiento adicional

Ampliación de plazo a 2010 2008

Ampliación del Financiamiento, y fecha de cierre 2010

Modificaciones finales y cierre de Programa

Cambios en política de cofinanciamiento 2012 Cambios en los productos (opciones técnicas)

Cambio de Unidad Ejecutora

Cierre de Programa 2013

Las zonas rurales experimentaron un proceso decrecimiento económico, que permitió reducir la pobreza ymejorar los ingresos de la población (generando tambiénmigración de la población más joven).

Se implementaron diversos programas sociales como: JUNTOS (desde 2006) destinado a dar incentivos

monetarios para la demanda de servicios en saludmaterno neonatal y educación básica para los hogarespobres.

Programa Articulado Nutricional (desde 2008)destinado a reducir la desnutrición crónica infantilmediante intervenciones como la vacunación(incluyendo rotavirus y neomucoco), controles decrecimiento y desarrollo (CRED), entre otros.

Implementación del proceso de descentralización, trasladode competencias hacia niveles subnacionales de gobierno(regional y local).

3. Contexto de implementación del PRONASAR

El diseño de evaluación inicialmente propuesto por elPRONASAR en los TDR (2005) consistió en un estudio“cuasi experimental”:

Grupo de intervención (Beneficiarios)

Grupo de control (No beneficiarios)

Se proyectó realizar una doble medición: i) Situación antes y después de la intervención. ii) Situación con y sin intervención.

4. Diseño de la evaluación de impacto

Los grupos de Beneficiarios y de Control deberían sersimilares sin la intervención: para los controles se tomólocalidades cercanas con características muy parecidas(tamaño, nivel socio-económico, geografía).

Si ambos grupos fueran comparables el impacto de laintervención se obtendría con el estimador de “Diferenciasen Diferencias”.

Beneficiario

PRONASAR

Grupo de

control

Inicio Proyecto X 1b X 1c

Final Proyecto X 2b X 2c

Impacto en X = (X2b - X1b) - (X2c - X 1c)

4. Diseño de la Evaluación de Impacto

Indicadores principales del Marco Lógico (objetivos específicos)

1.1 Porcentaje de niños menores de 5 años con diarrea en los últimos 15 días.

1.2 Porcentaje de madres con prácticas adecuadas de lavado de manos

1.3 Porcentaje de la población que utiliza un servicio de saneamiento que sea

higiénico.

1.4 Porcentaje de hogares con acceso continuo a una fuente segura de agua

1.5 Porcentaje de hogares con acceso a un servicio de saneamiento.

1.6 Porcentaje de localidades que adecuadamente administran, operan y

mantienen su sistema de agua potable.

1.7 Porcentaje de municipalidades que han incorporado y ejercen

funciones de planificación, supervisión, monitoreo y evaluación a los

servicios de agua y saneamiento de localidades rurales, contribuyendo a su

sostenibilidad



Población

objetivo

Beneficiario Poblaci

ón

No

beneficiario

Muestra de controles

Muestra de

Tratados

Proceso no aleatorio

Aleatorización Selección comparable

Línea de Base Medición de resultados

Diseño muestral cuasi-experimental

• Selección de la Muestra para la Evaluación:• Marco Muestral para selección de Localidades:

Beneficiarias: Listado con la relación de las localidades de los distritos priorizados 2004, primera y segunda convocatoria, entregado por el proyecto PRONASAR con los TDR.

Controles: Localidades del INEI para los distritos seleccionados, que cumplieran con el criterio de tamaño poblacional (200 < de 2000 hab,).

• Marco muestral para la selección de hogares:Registro de viviendas con ocupantes presentes en las seleccionadas (elaborado por equipo de campo SASE)

4. Diseño de la Evaluación de Impacto

Instrumentos para levantamiento de Información:

• Encuesta a Hogares

• Encuesta a Juntas Administradoras de Servicios de Saneamiento (JASS) o comité semejante.

• Encuesta a Municipalidad Distrital

Tamaño y distribución de la muestra de Evaluación de Impacto

Nuevo Rehabilitado Total Nuevo Rehabilitado Total Nuevo Rehabilitado Total

Hogares

2005 80 260 340 80 440 520 160 700 860

2014 80 260 340 40 480 520 120 740 860

Total 160 520 680 120 920 1040 280 1440 1720

Madres de menores de 5 años

2005 31 108 139 34 176 210 65 284 349

2014 26 74 100 9 154 163 35 228 263

Total 57 182 239 43 330 373 100 512 612

Menores de 5 años

2005 38 138 176 47 220 267 85 358 443

2014 33 84 117 11 172 183 44 256 300

Total 71 222 293 58 392 450 129 614 743

No tratadoAño

Tratado Total


5. Principales dificultades del diseño de la evaluación

1) La matriz de indicadores para los objetivos específicos conteníademasiados indicadores a ser evaluados, sobre todo de buenasprácticas de los hogares, las madres y los niños, así como de accionesimplementadas por las JASS o municipios (que son mas bienindicadores de seguimiento).Por ello, la evaluación se concentro en indicadores de objetivosuperior, de propósito del proyecto, y algunos de objetivosespecíficos.

2) Había transcurrido un periodo largo desde la implementación delas intervenciones (entre 2006 y 2009), por lo cual la evaluaciónanaliza efectos de largo plazo (pudiendo existir efectos mayores omenores en el corto o mediano plazo que no se conocen).Se utilizó una nueva muestra de hogares en las mismas localidadesde la línea de base tanto para tratados como para controles.Dado el plazo los hogares habrían variado de forma significativa en sucomposición (y no podría hacerse un seguimiento adecuado a lasmismas madres o niños, los cuales incluso estarían fuera del rango deedad requerido).


3) La muestra contenía tanto localidades que no habían tenidointervención previa como localidades donde la intervención sería dela rehabilitación de sistemas que no funcionaban adecuadamente (lagran mayoría). Por ello el análisis refleja el efecto de larehabilitación.

4) El tamaño de la muestra no permitía un análisis adecuado de lasignificancia estadística de los impactos para determinadosindicadores, especialmente por el reducido número de localidades(municipios y JAAS) era muy pequeña. Sí era suficiente para lamayoría de indicadores relativos a hogares y personas.Se hizo un análisis de la potencia de la muestra para la rechazar lahipótesis de que no existían impactos sobre los principalesindicadores (como si fuera un diseño experimental utilizando elcomando power de STATA).Por ejemplo, la potencia era muy baja para el caso del indicador 1.1“Porcentaje de niños menores de 5 años con diarrea en los últimos 15días”, dado que el valor del efecto estimado, pero era de casi 100%para los indicadores 1.3 y 1.4 de acceso a servicios adecuados desaneamiento y agua segura.


5) Los hogares y las localidades beneficiarias y de control no teníanvalores promedio similares en variables asociadas a los indicadoresde impacto (en la línea de base).

No se podía realizar una comparación directa de losindicadores de impacto entre ambos grupos. Las diferenciasrequerían ser controladas mediante metodologías estándar.

Se utilizó una metodología no experimental, basada enregresiones que incluyen variables observables de control. Asímismo, se utilizó un estimador de Diferencias en Diferenciasque permite controlar también el efecto de factores noobservables o no medidos (bajo el supuesto de tendenciacomún).

6) Problema de “crossovers”: 4 localidades del grupo de tratamiento (2005), no fueron

intervenidas, pasaron al grupo de no tratados. 4 localidades del grupo de no tratados (2005), fueron

intervenidas , pasaron al grupo de tratamientoSe tuvo que reprocesar la información.

Estimador de Diferencias en Diferencias

6. Metodologías específicas de estimación del impacto

Dado el tamaño de muestra se utilizo metodologías específicasbasadas en el estimador de “Diferencias en Diferencias”:

Análisis de Regresión: Para los principales indicadores a nivel de población y dehogares donde el tamaño de la muestra era grande se utilizó modelos deregresión no lineal y lineal utilizando el estimador de “Diferencias enDiferencias”.

Análisis estadístico: Para los indicadores de localidades y de hogares donde eltamaño de la muestra era pequeño se hizo un análisis estadístico basado enpruebas de medias o proporciones entre grupos de casos tratados y de control.Se complementó con un modelo de regresión básico para determinar lasignificancia del estimador original de doble diferencias.


Análisis de Regresión (“Diferencias en Diferencias”)

El estimador DD del ETPT para cada indicador de impacto se obtienemediante un modelo de regresión con datos de corte transversal de dosperiodos (pool). Para variables continuas (pocos indicadores) se usa un modelo lineal.

Para variables binarias (mayoría de indicadores) se usa un modelo no lineal tipo Probitde la probabilidad de que el indicador de resultado Y tome el valor 1.

Modelo no lineal: Se utiliza como variables T (0 pre-tratamiento y 0 post-tratamiento), D, y la interacción

entre D y T, un conjunto de variables exógenas de control Xj(t) y un grupo de variablesidiosincráticas Zh a nivel e departamento.

Donde:

yit es el valor observado de la variable de resultado para el individuo i en elmomento t,

xijt es el valor de la variable j para el para el individuo i en el momento t,

zh es el valor de la variable dicotómica que indica que la observación perteneceal departamento h,

Φ es la función de distribución acumulada normal estándar.

)....()1Pr( hhjijtit zxTDTDy


Análisis de Regresión (“Diferencias en Diferencias”)

Siguiendo a Puhani (2012) el estimador DD del ETPT es la diferencia entre lasprobabilidades de que la variable dicotómica tome el valor 1 cuando la variable deinteracción entre D y T es 1 respecto a cuando es 0:

Donde y son el valor promedio observado de las variables Xj(t) y Zh,respectivamente.

Complementariamente se realizó un análisis a partir de la metodología de “PropensityScore Matching” entre localidades para algunos indicadores principales, obteniéndoseresultados similares (pero con un menor tamaño de muestra).

]0,0|[]0,1|[]1,0|[]1,1|[ TDYETDYETDYETDYEDD

)()( hhijhhij zxzx

ijx hz


Modelos de Regresión de “Diferencias en Diferencias”:

a) Modelo básico: solo las variables de pertenencia al grupo detratamiento, pertenencia al segundo período de observación, y lainteracción de estas dos variables.

b) Modelo con características del hogar y la localidad: incluye,además otras características relevantes de los hogares o personas, yde las localidades según corresponda. Además, se incluye una variabledicotómica para la existencia previa de infraestructura de agua ysaneamiento o de infraestructura construida por otras entidades en elcaso de las localidades no intervenidas.

c) Modelo completo: que incluye además de las variables de losmodelos anteriores (a y b), variables para característicasidiosincráticas a nivel departamental.


Análisis estadístico basado en pruebas de medias oproporciones:

Cuando la muestra es grande (indicadores de personas yhogares): Prueba t-student para diferencias de medias si la variable es continua

(utilizando el comando ttest de STATA).

Prueba normal z para diferencias en proporciones si el indicador es detipo discreto (utilizando el comando prtest de STATA).

Para estimar la significancia de la doble diferencia se utiliza el modelobásico de regresión.

Cuando la muestra es pequeña (sobre todo localidades): - Prueba t-student para diferencias de medias si la variable es

continua.

- Prueba exacta de Fischer para diferencias en proporciones si elindicador es de tipo discreto (utilizando el comando tab con la opcióne de STATA).

No se puede estimar la significancia de la doble diferencia, sólointerpretar los resultados en cada caso.


Resultados para los indicadores principales (Objetivo superior y propósito del proyecto)

Nº INDICADOR

Efecto tratamiento

promedio para los

tratados (en puntos

porcentuales)

Significancia

estadística

1 1.1 Porcentaje de niños menores de 5 años con

diarrea en los últimos 15 días. -7.4 No significativo

2 1.2 Porcentaje de madres con prácticas

adecuadas de lavado de manos -10.6No significativo

3 1.3 Porcentaje de la población que utiliza un

servicio de saneamiento que sea higiénico. +11.7Significativo (al 99

% de confianza)

4 1.4 Porcentaje de hogares con acceso continuo

a una fuente mejorada de agua +12.1Significativo (al

95% de confianza)

5 1.5 Porcentaje de hogares con acceso a un

servicio de saneamiento +17.6Significativo (al

95% de confianza)

6 1.6 Porcentaje de localidades que administran,

operan y mantienen un sistema de agua potable +15.2 No significativo

7. Principales Resultados de la Evaluación de Impacto

Nº INDICADOR

Efecto tratamiento

promedio para los

tratados (en puntos

porcentuales)

Significancia

estadística

1 2.32 Familias que utiliza fuente segura de agua

para consumir y cocinar

+6,3 Significativo (al

95% de confianza)

2 2.33 Familias que trae agua desde fuera del

hogar

-6,3 Significativo (al

95% de confianza)

3 2.36 Hogares con abastecimiento de agua todo el

año


95% de confianza)

4 2.37 Hogares que percibe el grado de

funcionamiento del suministro de agua como

aceptable


99% de confianza)

5 2.72 Madre que se lava las manos en los cinco

tiempos críticos

-6,7 No significativo

6 2.73 Madre que utiliza una técnica adecuada de

lavado de manos

-18 Significativo (al

95% de confianza)

Resultados para indicadores específicos (resumen)


Nº INDICADOR

Efecto tratamiento

promedio para los

tratados (en puntos

porcentuales)

Significancia

estadística

7 2.76 Madre de niños menores de 3 años que

hacen disposición sanitaria de excretas

+6,4 No significativo

8 2.82 Familia que utiliza recipientes cubiertos para

almacenar agua en el hogar


9 2.83 Familia emplea un método que evita la

contaminación cuando sirven agua para beber

+3,3 No significativo

10 2.84 Hogar que utiliza algún método de

purificación del agua


95% de confianza)

11 2.88 Madre puede identificar dos causas de las

diarreas infantiles


12 2.89 Madre identifica que el lavado de manos

contribuye a evitar la diarrea



Resultados para indicadores específicos (resumen)

Ejemplo de resultado del Análisis Estadístico

Media

Tratados

Media No

tratados

Diferencia

de medias

Intervalo de

confianza al 95%t-student

* = p<10%

**=p<5%

***=p<1%

P-value

Línea de Base (2005) 42,1% 74,4% -32,3% -65% -65% -4,19 *** 0,000

Ex post (2014) 15,2% 26,2% -11,0% -24% 2% -1,63 0,105Diferencia entre

períodos -26,9% -48,3% 21,3% 1% 41% 2,09 ** 0,038

Medición

SISTEMA NUEVO

Media

Tratados

Media No

tratados

Diferencia

de medias

Intervalo de

confianza al

95%

t-student

* = p<10%

**=p<5%

***=p<1%

P-value

Línea de Base (2005) 71,9% 66,9% 5,0% -5% 15% 1,00 0,316

Ex post (2014) 20,0% 33,8% -13,7% -23% -4% -2,90 *** 0,004Diferencia entre

períodos -51,8% -33,2% -18,7% -32% -5% -2,73 *** 0,006

Medición

SISTEMA REHABILITADO

2.88 Porcentaje de madres que pueden identificar dos causas de las diarreas infantiles


8. Conclusiones y Recomendaciones

Lecciones aprendidas en cuanto al diseño de la evaluación deimpacto:

1) La evaluación debe concentrarse en los principales indicadores deimpacto sobre los resultados esperados del programa tanto finales(nivel de objetivo superior y propósito del proyecto) comointermedios (objetivos específicos, especialmente buenas prácticas),

2) Desarrollar, en lo posible, una evaluación experimental paragarantizar una comparación directa de los resultados de los grupos yno tratados.

3) Realizar mediciones intermedias de impactos en el corto y medianoplazo, así como una medición de largo plazo.

4) Desarrollar un análisis de impacto por separado para intervencionesen localidades sin servicio y para intervenciones de rehabilitación.

5) Garantizar que el tamaño de muestras (localidades, hogares, madres,niños) sea suficiente para que el análisis de la significanciaestadística de los impactos tenga la “potencia” suficiente (dado unvalor esperado de los mismos).

6) Garantizar con los responsables del programa evaluado que noexistan problemas de “crossover”.

En cuanto a impactos para los indicadores de objetivo superior delproyecto:La estimación del efecto tratamiento no ha detectado impactoestadísticamente significativo para:• Porcentaje de niños menores de 5 años con diarrea en los últimos

15 días.• Porcentaje de madres con prácticas adecuadas de lavado de manos

Sí se detecta un impacto positivo, estadísticamente significativo, parael indicador:• Porcentaje de la población que utiliza un servicio de saneamiento

que sea higiénico.

También se encuentra un impacto positivo, estadísticamentesignificativo, en los indicadores de propósito del proyecto:• Porcentaje de hogares con acceso continuo a una fuente segura de

agua.• Porcentaje de hogares con acceso a un servicio de saneamiento.


No se ha encontrado un impacto estadísticamente significativo enel indicador de propósito vinculado al fortalecimiento de las JASS:• Porcentaje de localidades que adecuadamente administran,

operan y mantienen su servicio de agua.

En relación a otros indicadores específicos de fortalecimiento deJASS:• Porcentaje de localidades con sistema de agua que funciona sin

mayores problemas.• Porcentaje de JASS capacitada en administración, operación y

mantenimiento (AOM) de servicios de agua y saneamiento.

No se encuentran diferencias estadísticamente significativas en laLínea de Base, pero sí las hay en la segunda medición, a favor delos tratados, lo cual indica que el programa ha tenido efectopositivo en ambos indicadores.


FIN DE PRESENTACIÓN

GRACIAS

Documents

Presentación Evaluación Impacto PRONASAR · 9 Cierre de Programa 2013 Las ... significancia del estimador original de doble diferencias. 7. Metodologías específicas de estimación