-
Profesor: Edmundo Beteta O.
ALTERNATIVAS METODOLGICAS DE EVALUACIN PARA LA GESTIN POR
RESULTADOS
-
Contenido
1. Evaluacin de Programas en Marco Lgico
2. Evaluacin de Impacto de Programas
-
1. EVALUACIN DE PROGRAMAS EN MARCO LGICO
-
Derechos de autor
Material basado en experiencia chilena en evaluaciones (Direccin
de Presupuestos), reconocimiento a funcionarios: Marcela Guzmn,
Heidi Berner, Nelson Guzmn, etc.
-
QU ES EL MARCO LGICO?
El Marco Lgico es una herramienta de
anlisis estructurado que permite facilitar el
proceso de identificacin, diseo, ejecucin y
evaluacin de polticas, programas y
proyectos.
-
VENTAJAS DEL MARCO LGICO
Puede ser utilizado en las diferentes etapas de los procesos de
planificacin de los programas (diseo, ejecucin, evaluacin).
Como esquema lgico, permite dar cuenta de cualquier tipo de
programa (productivo, fomento, rea social).
Aporta una terminologa uniforme: facilita la comunicacin y
reduce ambigedades.
Enfoca el trabajo tcnico en los aspectos crticos: posibilita
deteccin de vacos y debilidades de los programas.
Proporciona una estructura para expresar ordenada y
sintetizadamente la informacin mas importante de un programa.
-
DNDE SE UBICA LA MATRIZ DE MARCO
LGICO?
Situacin
Actual Situacin
Futura Deseada
EJECUCIN DEL
PROGRAMA O
PROYECTO
Anlisis de
involucrados
MATRIZ DEL
MARCO LOGICO
A1
An
Anlisis de Alternativas
ALTERNATIVA
SELECCIONADA
Anlisis de problemas
Anlisis de
objetivos/soluciones
Anlisis del entorno
Programa
-
SNTESIS ESQUEMTICA DE LA MATRIZ DE MARCO LGICO
OBJETIVOS
PROPSITO
COMPONENTES
ACTIVIDADES
FIN
INDICADORES MEDIOS DE
VERIFICACIN SUPUESTOS
-
LOS OBJETIVOS QU SON Y CMO SE DEFINEN LOS OBJETIVOS EN EL
MARCO
LGICO?
Son logros o resultados esperados
Estn orientados a resolver los problemas
Se definen en frases precisas y breves
Forma diferente de presentar los objetivos generales y
especficos, utilizados tradicionalmente
Los objetivos se plantean en diferentes niveles, desde lo ms
general o macro (fin) hasta lo ms detallado o micro
(actividades)
-
FIN
El fin contribuye a la solucin de un problema o satisfaccin de
una necesidad en el largo plazo.
La solucin definitiva y total de un problema requiere
probablemente de varios programas, adems de ser generalmente
multitemticos.
El logro del fin representa el impacto del programa en una
poblacin determinada.
Un programa puede contribuir a solucionar uno o ms problemas,
por lo tanto se puede contribuir a uno o ms fines.
-
PROPSITO
Resultado directo (intermedio) a ser logrado una vez que los
beneficiarios han recibido los bienes y/o servicios (componentes)
que entrega el programa.
Es la contribucin especfica de un programa a la solucin de un
problema o a la satisfaccin de una necesidad.
Es una hiptesis sobre el beneficio que se desea lograr.
Un programa tiene un slo propsito. Dos propsitos son dos
programas.
Generalmente da el nombre al programa.
-
COMPONENTES
Son los bienes y/o servicios producidos por el programa.
Un componente es un bien y/o servicio dirigido al beneficiario
final. Excepcionalmente a beneficiarios intermedios.
Un programa tiene normalmente ms de un componente.
En los componentes se plasman los resultados conseguidos por la
ejecucin de las actividades establecidas. Deben expresarse en
acciones o trabajo terminado.
-
ACTIVIDADES
Acciones operativas o tareas necesarias para conseguir los
componentes.
Se realizan durante el perodo de ejecucin del programa.
Una actividad es programada en el tiempo y en el espacio.
Se les asigna en forma directa los recursos: humanos,
materiales, financieros, infraestructura.
-
CUL ES LA LGICA DE LOS OBJETIVOS?
.
ENTONCES
ENTONCES
ENTONCES
SI
SI
SI
FIN
ACTIVIDADES
PROPSITO
COMPONENTES
LA LECTURA ES: SI SE EJECUTAN LAS ACTIVIDADES, ENTONCES SE
CUMPLEN
LOS COMPONENTES Y AS SUCESIVAMENTE
-
Programa de Mejoramiento de la Calidad y Equidad de la
Educacin Superior (MECESUP)
FIN
Contribuir al mejoramiento de la calidad del recurso humano
graduado y
titulado de las Instituciones de Educacin Superior (IES).
PROPSITO
Mejorar la calidad y equidad de la oferta educacional de las IES
elegibles:
universidades, Centros de Formacin Tcnica e Institutos
Profesionales.
COMPONENTES
1. Aseguramiento de la Calidad de la Gestin: Acreditacin de
programas
(pregrado, postgrado y formacin tcnico nivel superior e
instituciones).
2. Proyectos de mejoramiento de la oferta educativa (pregrado,
postgrado
y nivel tcnico de nivel superior) financiados a travs del
Fondo
Competitivo (FC).
EJEMPLO DE HIPTESIS VINCULADAS
-
ACTIVIDADES COMPONENTE 1
1.1. Capacitacin en aseguramiento de calidad
2.2. Definicin y aprobacin de estndares de calidad
2.3. Aprobacin de procesos de acreditacin
2.4. Desarrollo de procesos de acreditacin
2.5. Resolucin de acreditaciones
2.6. Informacin pblica de resoluciones
2.7. Preparacin de proyecto de ley
EJEMPLO DE HIPTESIS VINCULADAS (Cont.)
-
CMO SE INSERTAN LOS INDICADORES EN
LA MATRIZ?
FIN
PROPSITO
COMPONENTES
ACTIVIDADES
INDICADORES DE
COMPONENTES
INDICADORES DE
PROPSITO
INDICADORES
DE FIN
-
CMO SE DEFINEN LOS INDICADORES EN EL MARCO LGICO?
Herramienta que entrega informacin cuantitativa respecto del
nivel de logro alcanzado por un programa, pudiendo cubrir aspectos
cuantitativos o cualitativos de este logro.
Expresin que establece una relacin entre dos o ms variables, la
que comparada con perodos anteriores, bienes o servicios similares
o una meta o compromiso permite evaluar desempeo.
Cada nivel de objetivo (fin, propsito, componentes) tiene
indicadores (uno o ms).
Los indicadores se construyen a partir de los objetivos.
Muestran cmo puede ser medido el resultado de un programa.
Proporcionan las bases para el monitoreo y la evaluacin.
-
INDICADORES DE DESEMPEO
EFICACIA
EFICIENCIA
ECONOMA
CALIDAD
PROCESO PRODUCTO RESULTADO
AMBITOS DE CONTROL
D
I
M
E
N
S
I
O
N
E
S
-
INDICADORES DE DESEMPEO MBITOS DE CONTROL
Procesos
Actividades o prcticas de trabajo vinculadas con la ejecucin o
forma en que el programa produce los componentes y responden a
preguntas tales como: Cuntas actividades programadas y/o procesos
se han ejecutado?En que tiempo promedio se han realizado? cul ha
sido el costo asociado a estas actividades?
Productos
Resultados del programa a nivel de componentes (bienes y/o
servicios). En una lnea de tiempo corresponden al primer tipo de
resultados que debe generar un programa y al efecto ms inmediato
que tiene la produccin de los componentes sobre la poblacin
beneficiaria: personas vacunadas, urgencias atendidas, textos
escolares entregados, trabajadores capacitados, familias
subsidiadas etc.
-
INDICADORES DE DESEMPEO MBITOS DE CONTROL (Continuacin)
Resultados Intermedios
Resultados principalmente a nivel de propsito. Corresponden
al
segundo tipo de resultados que se produce en una secuencia
de
tiempo.
Se refieren a cambios en el comportamiento o actitud de los
beneficiarios o certificacin o cambio en el estado de stos,
una
vez que han recibido los bienes y servicios que entrega el
programa ( jvenes con actitud crtica frente a las drogas
despus
de participar en talleres de sensibilizacin; innovaciones
organizacionales despus de un programa de capacitacin;
agricultores que estn desarrollando nuevos cultivos despus
de
acceder a transferencia tecnolgica; alumnos egresados;
mediaciones laborales exitosas, etc.).
-
INDICADORES DE DESEMPEO
MBITOS DE CONTROL (Continuacin)
Resultados Finales (impacto)
Resultados a nivel de fin del programa.
Implican un mejoramiento significativo y, en algunos casos
perdurable en el tiempo en alguna de las condiciones o
caractersticas de la poblacin objetivo que se plantearon
como
esenciales en la definicin del problema que dio origen al
programa.
Un resultado final suele expresarse como un beneficio de
mediano
y largo plazo obtenido por la poblacin atendida (aumento en
el
nivel de remuneraciones de los jvenes capacitados, reduccin de
la
tasa de reincidencia de jvenes con problemas delictuales,
etc.).
-
INDICADORES DE PROGRAMAS DIMENSIONES O FOCOS DEL DESEMPEO
Eficacia Mide aspectos tales como: resultados a nivel de
producto, intermedio y finales, cobertura de los programas, grado
de focalizacin en la poblacin objetivo.
Calidad Mide aspectos tales como: oportunidad, accesibilidad,
precisin y continuidad en la entrega del servicio, comodidad y
cortesa en la atencin.
Eficiencia Mide aspectos tales como: costos medios del programa
(costo por beneficiario, costo por unidad de produccin, costos por
componente, etc.); medidas de productividad de los distintos
factores (usuarios atendidos por unidad de tiempo, consultas
diarias por mdico, nmero de docentes por alumno, promedio
fiscalizaciones por fiscalizador, etc.) y estructura de costos del
programa (porcentaje de gastos administrativos sobre total gasto
del programa).
Economa Mide aspectos tales como: la capacidad de
autofinanciamiento, la eficacia en la ejecucin de su presupuesto o
su nivel de recuperacin de prstamos.
-
CMO SE INSERTAN LOS MEDIOS
DE VERIFICACION EN LA MATRIZ?
FIN
PROPOSITO
COMPONENTES
ACTIVIDADES
MEDIO DE VERIFICACIN INDICADOR FIN
INDICADORES
DE FIN
INDICADORES
DE PROPOSITO
INDICADORES DE
COMPONENTE
MEDIO DE VERIFICACIN
INDICADOR PROPSITO
MEDIO DE VERIFICACIN
INDICADOR COMPONENTE
-
MEDIOS DE VERIFICACIN
Fuentes de Informacin.
- Estudios, Encuestas.
- Sistemas de Informacin, Bases de Datos.
- Informes de Supervisin en Terreno, etc.
Periodicidad de Medicin.
-
CMO SE INSERTAN LOS SUPUESTOS EN LA MATRIZ?
FIN
PROPOSITO
COMPONENTES
ACTIVIDADES
MEDIO DE VERIFICACIN
INDICADORES DE FIN
INDICADORES
DE FIN
INDICADORES
DE PROPOSITO
INDICADORES DE
COMPONENTE
MEDIO DE VERIFICACIN
INDICADORES DE PROPSITO
MEDIO DE VERIFICACIN
INDICADORES DE COMPONENTES
SUPUESTOS
SUPUESTOS
SUPUESTOS
-
QU SON Y CMO SE DEFINEN LOS SUPUESTOS O FACTORES EXTERNOS?
Factores externos, fuera del control de la Institucin
Responsable de un programa, que inciden en el xito (fracaso) del
mismo: ambientales, normativos, financieros, institucionales,
sociales, polticos, naturales.
Acontecimientos, condiciones o decisiones que tienen que ocurrir
para que se logre los distintos niveles de objetivo de un
programa.
Se les debe identificar y hacer seguimiento.
Su conocimiento mejora la comunicacin entre las diferentes
instancias del programa.
Si no se cumplen los supuestos, estos se transforman en
riesgos.
-
SUPUESTOS: CMO ANALIZAR
3. Cul es la probabilidad de que ocurra?
No es
probable
Probable
(=Supuesto)
Muy probable (no incluir)
4. Puede ser rediseado el programa?
No (supuesto fatal - Pare!)
S (redisear el
programa)
1. Es externo al programa?
S No (no incluir )
2. Es importante?
S No (no incluir)
-
CONDICIONES NECESARIAS Y SUFICIENTES
Fin
Propsito
Componentes
Actividades
Supuestos
Supuestos
Supuestos
-
CONTENIDOS DE LA EVALUACIN
II. Temas de Evaluacin
1. Anlisis y Evaluacin en los mbitos de:
Diseo (uso MML)
Organizacin y Gestin
Eficacia/Calidad (uso MML)
Recursos Financieros (uso MML)
Sostenibilidad
Justificacin de Continuidad
III. Conclusiones
IV. Recomendaciones
V. Bibliografa
VI. Entrevistas Realizadas
-
CONTENIDOS DE LA EVALUACIN
DISEO DEL PROGRAMA
Diagnstico Situacin Inicial Identificacin del Problema /
Necesidad
Definicin Poblacin Potencial / Objetivo
Matriz de Marco Lgico Lgica Vertical
Lgica Horizontal
-
PROGRAMA TEXTOS ESCOLARES DE EDUCACIN BSICA Y
MEDIA, MINISTERIO DE EDUCACION
ENUNCIADO
OBJETIVO
INDICADORES / INFORMACION
MEDIOS DE
VERIFICACIN
SUPUESTOS
Enunciado
Forma de Clculo
FIN
Contribuir a mejorar la
calidad de los
aprendizajes y la
equidad de su
distribucin social en la
educacin escolar del
pas
PROPSITO
Oportunidades de
aprendizaje aumentadas
de alumnos y docentes
de los establecimientos
subvencionados del pas,
en reas prioritarias del
marco curricular, a
travs de la utilizacin
esperada de los textos
escolares distribuidos
por el Ministerio de
Educacin.
Eficacia/Resultado
Intermedio
Porcentaje de
alumnos/docentes que
declaran utilizar el Texto
entregado por el Mineduc en
relacin a otros recursos
(N
de alumnos/docentes
que declaran utilizar el
Texto entregado por el
Mineduc en relacin a otros
recursos) / (Total de
alumnos/docentes
encuestados)*100,
Estudio de uso de
textos escolares
Periodicidad de
medicin cada tres
aos.
Disposicin de
los docentes,
directivos y
sostenedores a
utilizar los
Textos
Nota: El uso esperado de los textos, por docentes y alumnos,
tiene dos dimensiones: (a) orientador del trabajo de la asignatura
y (b) recurso
didctico. Estas dimensiones consideran el uso dado al texto
escolar por ambos actores (docentes y alumnos), aunque es
importante precisar que
en la primera se destaca mayormente el rol del docente y en la
segunda el rol del alumno. No obstante en ambas dimensiones estn
involucrados
docentes y alumnos.
-
Eficacia/Resultado
Intermedio
Porcentaje de
alumnos/profesores que
utilizan los textos
adecuadamente (de
acuerdo a la definicin
de uso esperado).
N de
alumnos/profesores de la
muestra que utilizan el
texto adecuadamente /
total de
alumnos/profesores
encuestados)*100
Estudio de uso de
textos escolares Periodicidad de
medicin cada tres
aos.
Eficacia/Resultado
Intermedio
Porcentaje de profesores
que usan la gua
didctica para el profesor
(Nmero de profesores
que usan la gua
didctica para el profesor
/ Nmero total de
profesores encuestados)
* 100
Estudio de uso de
textos escolares
Periodicidad de
medicin anual (segn
los niveles y sectores
de aprendizaje
definidos en el doc.
Lnea de accin).
Eficacia/Producto
Porcentaje de reas
prioritarias del currculum
cubierto por los textos
(N
de reas prioritarias
con textos) / (N
total de
reas prioritarias)*100
Ordenes de Compra
(Textos nuevos y
reimpresiones).
Guas de Distribucin
(Tasa de reposicin).
Periodicidad de
medicin anual.
-
Calidad/Producto
Porcentaje de docentes
conformes con la calidad
de los Textos (de
acuerdo a la definicin de
niveles de satisfaccin)
(N
de docentes que se
declaran conforme con la calidad del Texto /
Total de docentes
encuestados)*100
Estudio de uso de
textos escolares
Periodicidad de
medicin anual (segn
los niveles y sectores
de aprendizaje
definidos en el doc.
Lnea de accin).
Eficiencia/Proceso
Porcentaje anual de
gastos administrativos en
relacin al gasto efectivo
total anual del programa
(Gastos administrativos
del programa ao i /
Gasto efectivo total del
Programa ao i) x 100
Sistema de control
presupuestario (UCE).
Periodicidad de
medicin anual.
Economa/Proceso
Porcentaje anual de
ejecucin presupuestaria
(Gasto total efectivo del
programa ao i /
Presupuesto asignado al
programa ao i) x 100
Sistema de control
presupuestario (UCE)
Periodicidad de
medicin anual
-
Componente
Textos de calidad
adquiridos y distribuidos
oportunamente velando
por las preferencias de
los establecimientos
dentro de las exigencias
tcnico-pedaggicas.
Eficacia/Producto
Porcentaje de
establecimientos
subvencionados que
participan al menos en la
eleccin de una
asignatura en el proceso
de elegibilidad
(N
de establecimientos
subvencionados que
participa al menos en
una asignatura en la
eleccin) / (N
total de
establecimientos
subvencionados) * 100
SI elegibilidad.
Periodicidad de
medicin anual.
Precios ofertados
acordes con
marco
presupuestario
Eficacia/Producto
Porcentaje de matrcula
de establecimientos que
participan al menos en la
eleccin de una
asignatura en el proceso
de elegibilidad
(Matrcula de
establecimientos que
participan al menos en
una asignatura en la
eleccin) / (Matrcula
total de establecimientos)
*100
SI elegibilidad.
Periodicidad de
medicin anual.
Existencia de
mercado con
inters en
participar en
Licitaciones
Pblicas de
Textos
escolares.
Eficacia/Proceso
(Adquisicin)
Porcentaje de textos
recibidos conforme a la
planificacin
(Textos recibidos
conforme a la
Planificacin / Textos
Adquiridos) * 100
Documento de la
Planificacin.
Ordenes de Compra.
Guas de despacho.
Periodicidad de
medicin anual.
Existencia de
oferta editorial
para todas las
asignaturas y
grados.
-
Eficacia/Proceso
(Distribucin)
Porcentaje de
establecimientos que
reciben Textos conforme
a la planificacin
(N de establecimientos
que reciben Textos
conformes a la
Planificacin) / (N de
establecimientos que se
han considerado en la
Planificacin) * 100
Documento de la
Planificacin.
Guas de despacho.
Periodicidad de
medicin anual.
En el mercado
existen
proveedores con
capacidad e
infraestructura
para ejecutar la
operacin de
distribucin.
Calidad/Producto
(Distribucin)
Porcentaje de usuarios
(alumnos y docentes)
que declaran haber
recibido Textos en
relacin al total de
usuarios encuestados.
(N de usuarios que
declaran haber recibido
Textos ao n) / (Total de
usuarios encuestados
ao n) * 100
Estudio de uso de
textos escolares
(alumnos y docentes)
Periodicidad de
medicin anual.
Existencia y
capacidad de uso
de tecnologas
(informacin y
comunicacin).
Eficiencia/Producto
Costo unitario total
promedio de los Textos
distribuidos a profesores
y alumnos
(Gasto efectivo total del
Programa ao n) / (N
de
Textos distribuidos ao
n)
Sistema de control
presupuestario (UCE).
SI de distribucin de
Textos 2003.
Periodicidad de
medicin anual.
Planificacin del
proyecto
acordada por
todos los
involucrados en
el Proyecto
-
Eficiencia/Producto
Porcentaje que
representa el precio del
Texto adquirido sobre el
precio de los mismos
Textos en el mercado.
(Costo promedio Textos
adquiridos) / (Precios
promedios de los mismos
Textos en el mercado) *
100
Mercado Editorial.
Periodicidad de
medicin anual.
Eficiencia/Producto
(Distribucin)
Costo promedio de
distribucin de un Texto
al punto de destino
(establecimientos)
(Costo total de operacin
de distribucin a punto
de destino) / (N
total de
Textos distribuidos a
punto de destino)
SI de distribucin de
Textos 2003.
Periodicidad de
medicin anual.
Actividades
Componente
- Planificacin
- Preparacin de
bases tcnicas
- Definicin de
criterios de evaluacin
- Licitacin para
adquirir Textos
- Evaluacin de
Textos
- Eleccin de Textos
por establecimientos
- Preparacin de
Base de Datos para la
distribucin
- Distribucin de
Textos.
Seguimiento del uso.
-
CONTENIDOS DE LA EVALUACIN
ORGANIZACIN Y GESTIN DEL PROGRAMA
Estructura Organizacional y Mecanismos de Coordinacin
Criterios de Asignacin de Recursos y Mecanismos de Transferencia
de Recursos
Relacin Ejecutor e Institucin Responsable del Programa
Funciones y Actividades de Seguimiento y Evaluacin
-
CONTENIDOS DE LA EVALUACIN
EFICACIA Y CALIDAD
Desempeo del Programa a Nivel de: Componentes (Bienes y/o
Servicios) - Producto
Propsito
Fin
Anlisis de Cobertura
Focalizacin del Programa
Grado de Satisfaccin Beneficiarios
-
ASPECTOS DE LA EVALUACIN
RECURSOS FINANCIEROS
Fuente y Uso de Recursos Financieros
Evaluacin de Eficiencia Productividad Media de los Factores
Costos Medios de Produccin
Estructura de Costos
Evaluacin de Economa Ejecucin del Presupuesto
Aporte de Terceros
Recuperacin de Costos
-
CONTENIDOS DE LA EVALUACIN
SOSTENIBILIDAD
Factores Institucionales
Capacidad
Factores Cualitativos (Legitimidad beneficiarios, credibilidad,
etc.)
JUSTIFICACIN DE CONTINUIDAD DEL PROGRAMA
Contina vigente el problema /necesidad que dio origen al
programa?
Se justifica el programa en su forma de ejecucin actual?
-
EJEMPLO DE UNA EVALUACIN
EVALUACIN PROGRAMA SALUD BUCAL
Evaluacin Diseo
Lgica Vertical
Lgica Horizontal
Evaluacin de Gestin
Resultados:
Eficacia
Eficiencia
Economa
Justificacin de la continuidad
-
2. EVALUACIN DE IMPACTO DE PROGRAMAS
-
EVALUACIN DE IMPACTO
Qu es Evaluacin de Impacto?
La Evaluacin de Impacto comprende la efectividad o eficacia de
los bienes y/o servicios entregados por el programa. Para ello se
debe identificar el efecto del programa, separndolo de posibles
efectos de variables externas que influyen en los resultados.
Mdulo de Impacto
- Resultados de Corto, Mediano y Largo Plazo
Evaluacin en Profundidad
- Evaluacin del Diseo y la Organizacin y Gestin
- Resultados de Corto, Mediano y Largo Plazo
-
i i Y 0 i Y 1
No es posible observar y a al mismo tiempo. Un individuo i en
un
momento del tiempo puede presentar slo uno de los dos estados
posibles,
intervencin en el programa (tratamiento) o no intervencin en el
programa.
Esto es conocido como el Problema Fundamental de
Identificacin.
Para evaluar el impacto de un programa sobre un beneficiario
se
deseara poder comparar el resultado final en el beneficiario
afectado por
el programa vs. su situacin sin el programa.
METODOLOGA DE EVALUACIN DE IMPACTO
i Y 1i i Y 0
-
Cmo solusionar el problema de identificacin?
Si Grupo 1 y 2 son estadsticamente comparativos.
) 0 / ( ) 1 / ( 0 1
i i i i
T Y E T Y E
) ( i
E ) ( 0 1 i i
Y Y E
La ltima expresin puede ser estimada a partir de una muestra
de
beneficiarios en la cual la asignacin del tratamiento sea
aleatoria.
METODOLOGA DE EVALUACIN DE IMPACTO
-
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO EXPERIMENTAL O ALEATORIO
Si el tratamiento es asignado de manera aleatoria, es posible
confiar que en la
situacin sin programa, las caractersticas del grupo de
beneficiarios sean en
promedio iguales a las del grupo de control.
Beneficiarios
t0 t1
Control
Y
T PROGRAMA
-
) 0 / ( ) 1 / ( 0 1
i i i i
T Y E T Y E
2 1
1 2 1 1
1 1 n
i
i
n
i
i ATE Y
n Y
n
) ( ATE E
Esta estimacin se conoce como Average Treatment Effect
(ATE):
Si realizramos la estimacin para mltiples muestras
aleatorias, el promedio de los parmetros estimados ser
igual al verdadero valor poblacional.
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO EXPERIMENTAL O ALEATORIO
-
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO QUASI - EXPERIMENTAL
Cuando la asignacin del tratamiento no es aleatoria, no es
posible
saber cul hubiese sido el resultado para los beneficiarios si
no
hubieran recibido el tratamiento. Por lo tanto es necesario
crear una
situacin contrafactual: un grupo de control que se parezca lo
ms
posible al grupo de beneficiarios, de modo de aproximar la
estimacin de efecto causal del programa.
t0 t1
Control
Y
T PROGRAMA
Beneficiarios
Diferencia Pre Programa
Sesgo
-
Tcnica para Construccin del Grupo de Control. Matching:
Corrige las diferencias observables entre el grupo de
tratamiento (beneficiarios del
programa) y el grupo de comparacin (no beneficiarios), buscando
para cada
individuo de la muestra del grupo de tratamiento el ms parecido
de la muestra del
grupo de comparacin.
Requiere informacin para ambos grupos al inicio de la
intervencin del programa,
que incluya las variables que se utilizaron para seleccionar a
los participantes del
programa y las variables de resultado relevantes (lnea
base).
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO QUASI - EXPERIMENTAL
-
Matching:
Se puede utilizar el mtodo de Matching para evaluar los
resultados finales
del programa al momento de la evaluacin (t1) cuando se cuenta
con
informacin slo del perodo actual (t1).
El problema de la estimacin utilizando matching (corte
transversal) es que si existen elementos no observables (fijos
o
variables??) diferentes entre grupos de tratamiento y control,
que
afecten el resultado final, el indicador que mide el impacto
del
programa estar sesgado.
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO QUASI - EXPERIMENTAL
-
Matching:
El grfico siguiente muestra como el mtodo matching corrige solo
parte del
sesgo por omisin de variables, dado que no considera los
factores no
observables.
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO QUASI - EXPERIMENTAL
t0 t1
Control
Y
T PROGRAMA
Beneficiarios
Sesgo por omisin de no observables
-
Diferencia en Diferencia (DIF-DIF):
La estimacin de impacto mediante Dif - Dif permite controlar por
elementos no
observables que son fijos en el tiempo.
) ( ) ( ) ( ) ( 0 0 0 1 1 0 1 1 t i t i t i t i dif dif Y E Y E
Y E Y E
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO QUASI - EXPERIMENTAL
= [ (Beneficiario ExPost) - (Control ExPost)] [ (Beneficiario
ExAnte) (Control ExAnte) ]
