View
219
Download
0
Category
Preview:
Citation preview
!
!
Curso Avanzado de
Evaluaciones de Impacto
Experimentales
19-21 DE MARZO, 2014!MONTEVIDEO, URUGUAY
¡Bienvenidos!
En J-PAL trabajamos para promover que las políticas públicas se basen en evidencia
científica. Una de nuestras acciones para lograrlo consiste en capacitar a encargados
de políticas públicas e investigadores, entregando los conocimientos necesarios para
participar en la evaluación de impacto de políticas sociales y tomar decisiones más
efectivas. El curso del que formarán parte durante estos días busca contribuir a este
objetivo y promover su participación en el uso y la producción de evidencia, con la
finalidad de nutrir el diseño y evaluación de políticas públicas y contribuir a una
cultura de innovación social.
En J-PAL estamos honrados en colaborar con la Universidad de Montevideo con el fin
de fortalecer la capacidad para utilizar evidencia científica en la política pública y el
desarrollo de evaluaciones de impacto rigurosas en Latinoamérica. Esperamos, con la
participación de ustedes, ayudarlos a desarrollar los conocimientos y habilidades
requeridas para la aplicación selectiva, diseño, implementación y utilización de
evaluaciones de impacto.
Durante las actividades que tenemos programadas, tendrán la oportunidad de
intercambiar experiencias con implementadores de política pública tanto del sector
público como de organizaciones no gubernamentales, académicos y otros especialistas
en evaluación de impacto. Esperamos que dicha interacción contribuya a la
identificación de intereses en común y de oportunidades para nuevas alianzas,
proyectos e ideas innovadoras.
¡Esperamos que tengan una experiencia productiva y llena de aprendizaje!
Francisco Gallego
Director Científico
J-PAL LAC
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
Contenido
Agenda del curso .................................................................................................................... 1
Equipo de Profesores .............................................................................................................. 5
Equipo de Coordinación y Profesores Ayudantes .................................................................. 6
Ejercicio: Poder de un experimento y tamaño de la muestra ................................................. 7
Taller de Costeo .................................................................................................................... 15
Elaboración y análisis de presupuesto ................................................................................. 21
Estándares de calidad en el levantamiento de datos ............................................................. 33
Preguntas para el diagnóstico de evaluabilidad .................................................................... 35
Términos Importantes ........................................................................................................... 39
Apuntes ................................................................................................................................. 43
Mapas ................................................................................................................................... 49
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
1
Inicio Fin Miércoles 19 de marzo Jueves 20 de marzo Viernes 21 de marzo 8:30 8:45
Registro de participantes
8:45 9:00 Repaso del día anterior Repaso del día anterior
9:00 10:00 Bienvenida y palabras de introducción
STATA I: Tamaño muestral y
Poder estadístico
Implementación III: Amenazas y Análisis de Datos
10:00 10:30 Evaluación inicial de conocimientos DIEGO VERDUGO DEAN KARLAN
10:30 10:45 Coffee Break
10:45 12:00
Clase de Introducción Evaluación de principio a fin
Interludio: Evaluación de impacto y Ética
STATA III: Análisis de datos
FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO
12:00 13:15
Diseño I: Lógica de programa
Implementación I: Diseño de Instrumentos
Taller de Costeo
LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS
13:15 14:30 Almuerzo
14:30 15:45:
Diseño II: ¿Por qué y cómo implementar
evaluaciones aleatorias?
Implementación II: Levantamiento de datos
Clase de Cierre De la evidencia a la acción
DEAN KARLAN NICOLE CARPENTIER RYAN COOPER
15:45 16:00 Coffee Break Evaluación final de conocimientos
16:00 17:15
Diseño III: Ejemplos de diseño de evaluaciones
experimentales
STATA II: Cómo aleatorizar
Cierre de curso y entrega de diplomas
DEAN KARLAN SEBASTÍAN OTERO
Agenda del curso
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
2
Agenda detallada Miércoles 19 de marzo
Inicio Fin Sesión Descripción Expositor 8:30 9:00 Registro de participantes 9:00 10:00 Bienvenida y palabras de
introducción
10:00 10:30 Evaluación inicial de conocimientos
10:30 10:45 Coffee Break
10:45 12:00
Clase de inauguración Evaluación de principio a fin
En esta sesión presentaremos una evaluación aleatoria de principio a fin desde la perspectiva del evaluador. Se discutirá la teoría que conduce a investigar el tema, el diseño experimental propuesto, las restricciones prácticas que afectan al diseño, la administración de trabajo de campo, el análisis de los resultados y las conclusiones de política pública.
Francisco Gallego
12:00 13:15 Diseño I.
Lógica de programa
En esta sesión se explicará lo que es una Teoría de Cambio y se explicarán en detalle sus componentes por medio de un ejemplo. Se presentará la cadena causal como un método efectivo para plantear la Teoría de Cambio y se detallará como utilizarla. Finalmente se hablará de la importancia de la Teoría de Cambio para la evaluación experimental.
Leigh Linden
13:15 14:30 Almuerzo
14:30 15:45
Diseño II. ¿Por qué y cómo
implementar evaluaciones aleatorias?
En esta sesión se hablará acerca de cómo el método experimental permite superar el problema del sesgo selección, permitiendo identificar el impacto causal de un programa. A su vez, se presentarán los principales aspectos que caracterizan al diseño de aleatorización.
Dean Karlan
15:45 16:00 Coffee Break
16:00 17:15
Diseño III. Ejemplos de diseño de
evaluaciones experimentales
En esta sesión se repasarán algunos diseños de evaluaciones experimentales utilizando como ejemplo evaluaciones reales. Se señalarán las restricciones y ventajas de cada diseño. Dean Karlan
Agenda detallada
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
3
Jueves 20 de marzo
Inicio Fin Sesión Descripción Expositor 8:45 9:00 Repaso del día anterior
9:00 10:30
STATA I: Tamaño muestral y
Poder estadístico
En esta sesión se repasará brevemente la importancia del tamaño muestral para detectar el efecto de un programa, y se utilizará STATA para desarrollar un ejercicio de cálculo de tamaño muestral y poder estadístico.
Diego Verdugo
10:30 10:45 Coffee Break
10:45 12:00
Interludio: Evaluación de impacto y
Ética
En esta presentación se discutirán los aspectos éticos de la investigación en ciencias sociales en general y sus implicaciones para la investigación basada en el método experimental.
Cristián Larroulet
12:00 13:15 Implementación I:
Diseño de instrumentos
En esta sesión se hablará de la importancia de contar con buenos instrumentos de medición a fin de medir de manera fiable los impactos de una intervención o programa, y de la complejidad que supone cuantificar ciertos resultados de interés.
Cristián Larroulet
13:15 14:30 Almuerzo
14:30 15:45 Implementación II:
Levantamiento de datos
En esta sesión se revisarán los elementos operativos y logísticos implicados en el levantamiento de datos y el trabajo de campo. Se discutirá el costo de levantar datos a fin de proporcionar una idea de magnitud, para poder incorporar esto en el presupuesto de una evaluación de impacto.
Nicole Carpentier
16:00 17:15 STATA II:
Cómo aleatorizar
En esta sesión se utilizarán datos reales de una evaluación para realizar el proceso de asignación aleatoria en STATA, utilizando distintos diseños de aleatorización con distinto grado de complejidad.
Sebastián Otero
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
4
Viernes 21 de marzo
Inicio Fin Sesión Descripción Expositor 8:45 9:00 Repaso del día anterior
9:00 10:30 Implementación III: Amenazas y análisis
En esta clase se presentan y comparan los conceptos de validez externa y validez interna. Se definen las siguientes amenazas a la validez interna: desgate de muestra, presencia de externalidades y cumplimiento imperfecto de protocolos de asignación. En respuesta a estas amenazas se detallan soluciones prácticas y estadísticas al análisis de resultados, y se define el efecto de Intención de Tratar (ITT) y el efecto del Tratamiento sobre los Tratados (TOT).
Dean Karlan
10:30 10:45 Coffee Break
10:45 12:00 STATA III:
Análisis de datos
Esta sesión se dedicará al análisis de datos en STATA. Se utilizará una base de datos de una evaluación real y se replicarán y discutirán los resultados usando el software estadístico.
Sebastián Otero
12:00 13:15 Taller de Costeo
En esta sesión se presentará sobre los costos relacionados a la evaluación de impacto en forma general y se realizará un ejercicio para calcular el costo de una evaluación de impacto experimental.
Thomas Vargas
13:15 14:30 Almuerzo
14:30 15:45 Clase de Cierre
De la evidencia a la acción
En esta sesión se hablará sobre la importancia de que las evaluaciones de impacto incidan sobre la política pública. Se discutirá cómo este objetivo se relaciona con las decisiones acerca de qué evaluar y sobre cómo maximizar el uso de evidencia científica en el diseño de políticas.
Ryan Cooper
15:45 16:15 Evaluación final de conocimientos
16:15 16:45 Cierre de curso y entrega de
diplomas
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
5
Dean Karlan
Professor of Economics
Yale University
(Ph.D. Massachusetts Institute of
Technology)
Leigh Linden
Profesor Asistente de Economía
University of Texas, Austin
(Ph.D. Massachusetts Institute of
Technology)
Francisco Gallego
Director Científico de J-PAL LAC y
Profesor Asistente de Economía,
Pontificia Universidad
Católica de Chile
(Ph.D. Massachusetts Institute of
Technology)
Ryan Cooper
Director Ejecutivo de J-PAL LAC
M.A. Universidad de Chile
Dean Karlan está afiliado al Bureau for
Research and Economic Analysis of
Development y es Presidente y Fundador
de Innovations for Poverty Action. Su
investigación se centra en temas
microeconómicos sobre políticas
públicas y pobreza. En sus estudios
analiza la eficacia de determinadas
políticas para luchar contra la pobreza o
la importancia de las teorías económicas
sobre la toma de decisiones de los
individuos. Gran parte de su trabajo,
utiliza ideas y enfoques de la economía
del comportamiento para examinar
asuntos económicos y de política pública.
Leigh Linden es Profesor en el
Departamento de Economía de la
University of Texas at Austin. Su
investigación se centra en la capacidad de
los servicios sociales para mejorar el
bienestar de los niños, especialmente en
áreas empobrecidas. En este sentido, el
Profesor Linden ha analizado los procesos
de producción educativa y los problemas de
toma de decisiones en el núcleo familiar
que determinan la asignación de
oportunidades educacionales dentro de la
familia. Metodológicamente, Linden se
especializa en el uso de experimentos
aleatorizados de gran escala.
Francisco Gallego posee un Ph.D. en
Economía del MIT. Es Profesor Asociado
en el Instituto de Economía de la
Pontificia Universidad Católica de Chile
(PUC). Sus áreas de interés son el
desarrollo económico, la economía
política y la economía de la educación. Él
ha trabajado en evaluaciones
educacionales, enfocadas en el impacto
de la entrega de información sobre las
decisiones de los padres de los
estudiantes. Francisco Gallego es
Director Científico de J-PAL
Latinoamérica.
Ryan Cooper es Director Ejecutivo de J-
PAL Latinoamérica y El Caribe. Comenzó
su carrera profesional como Analista de
Evaluación en el Ministerio de Finanzas
del Gobierno de Chile. Luego se dedicó a
la creación y liderazgo de una ONG
educativa en Chile llamada OPTE. Al
mismo tiempo, en conjunto con un grupo
de economistas del World Bank,
University of California, Berkeley y Un
Techo para mi País (UTPMP), comenzó
una evaluación aleatoria del programa
UTPMP en tres diferentes países de
Latinoamérica. Desde noviembre de 2008
hasta Agosto de 2009, se desempeñó como
Analista de Investigación en el IFPRI.
Equipo de Profesores
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
6
Coordinadora del Curso
Anne Thibault
Training Manager
J-PAL LAC
Cristián Larroulet
Research Manager
J-PAL LAC
TEACHING
ASSISTANTS
(TAs)
Thomas Vargas
Training Analyst
J-PAL LAC
Nicole Carpentier
Research Analyst
J-PAL LAC
Sebastián Otero
Research Analyst
J-PAL LAC
Max Mendez-Beck
Training Analyst
J-PAL LAC
Diego Verdugo
Research Analyst
J-PAL LAC
José Vila-Belda
Training Analyst
J-PAL LAC
Equipo de Coordinación y Profesores Ayudantes
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
7
Indicaciones generales
Este ejercicio utiliza la base de datos “poder.dta”. En este ejercicio los participantes
utilizarán STATA para realizar cálculos de poder. Para realizar estos problemas es
necesario contar con STATA instalado en su computador.
Este ejercicio se basa en un ejercicio de Innovations for Poverty Action (IPA) para
funcionarios de IPA y J-PAL.
Objetivos
Después de esta sesión, los participantes serán capaces de:
1. Definir el concepto de poder en la evaluación experimental.
2. Identificar cómo el tamaño de la muestra, la existencia de clústers y otras
restricciones prácticas pueden afectar el poder de la evaluación experimental.
3. Calcular el tamaño de muestra óptimo para realizar una evaluación de impacto
experimental.
Sección 1: tamaño de muestra estimado para un experimento simple
El Banco Popular de la República Aleatoria (BPR) es un banco estatal que tiene dos
objetivos:
i. Aumentar los montos de ahorro en las cuentas de sus clientes existentes.
ii. Aumentar el número de clientes con cuentas de ahorros
Ejercicio
Poder de un experimento y tamaño de muestra
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
8
Algunos estudios previos sugieren que los recordatorios de mensaje de texto enviados a
teléfonos móviles y las reuniones informativas pueden ser una manera conveniente y eficaz
de lograr los dos objetivos antes planteados.
Suponga que el banco le entrega una base de datos originados a partir de una encuesta
piloto, que incluye tanto a clientes existentes como a personas sin cuentas bancarias, y le
encarga realizar los análisis que se detallan a continuación.
Tarea 1
Comencemos con el objetivo (i), relacionado a aumentar los montos de ahorro en las
cuentas de clientes existentes. Suponga que la gerencia del banco está planeando lograr
dicho objetivo mediante el envío de mensajes de texto a celulares, que según estudios
previos podría generar un aumento del 25%. Sigamos los siguientes pasos para encontrar el
tamaño de muestra que necesitaríamos para evaluar la eficacia de este procedimiento
mediante un experimento aleatorio:
1. Abra la base de datos. Recuerde que se llama “poder.dta”.
2. Recolectemos los insumos necesarios para estimar el tamaño de muestra necesario.
Primero, observe el conjunto de datos (escriba describe para averiguar cuál de las
variables corresponde a balance de ahorro). Luego, utilice summarize para
encontrar la desviación estándar y la media de los balances de ahorro de los clientes
existentes.
a. Media: _______________
b. Desviación estándar: _______________
3. Ahora, averigüemos cuál es la muestra mínima que se necesita para detectar si el
programa es tan eficaz como la gerencia de BPR espera que sea.
a. La respuesta que obtuvimos en la pregunta anterior (la media y desviación
estándar de ahorros de la encuesta piloto) es lo que se debería considerar
como la media y desviación estándar para el grupo de control. Si la
intervención supuestamente incrementa los balances de ahorro en un 25%,
¿cuál espera que sea la media para el grupo de tratamiento?
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
9
Media del grupo de tratamiento: _____________
b. Ahora, utilicemos el comando sampsi para averiguar el tamaño de muestra
que se necesita para detectar un 25% de aumento. La sintaxis que se debe
utilizar es la siguiente:
sampsi promedio1 promedio2, sd(desviación estándar)
donde promedio1 es la media del grupo de control y promedio2 es la media
del grupo de tratamiento. Se debe colocar la desviación estándar entre los
paréntesis contiguos a sd.
Anote el comando de Stata aquí: ___________________
c. ¿Cuál es el tamaño de la muestra que se necesita para el grupo de control y
el grupo de tratamiento?
Tamaño grupo control: _______________
Tamaño grupo tratamiento: _______________
Tamaño total: _______________
4. Suponga que el director de BPR menciona que el programa de mensajes de texto es
barato de implementar, y sería rentable aún si los balances de ahorro aumentan sólo
en un 15%. Por lo mismo, le interesa que el experimento sea capaz de detectar un
aumento de esa magnitud. ¿Cuál es el tamaño mínimo de muestra que se necesitaría
para detectarlo? ¿Cuál es la intuición del resultado? (Pista: se deben seguir los
mismos pasos anteriores, pero se debe calcular una diferencia de un 15% en vez de
un 25%)
Tamaño grupo control: _______________
Tamaño grupo tratamiento: _______________
Tamaño total: _______________
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
10
5. Esta es una muestra bastante grande. ¿Qué ocurre si reducimos el poder estadístico
del experimento a un 80% (el comando samspi usa por default un poder de 90%)?
¿Cuál es la intuición del resultado? (Pista: se debe utilizar el mismo comando de
Stata que se utilizó en la pregunta 3, pero se debe añadir p(.8) al final.).
Tamaño grupo control: _______________
Tamaño grupo tratamiento: _______________
Tamaño total: _______________
6. Si sólo tenemos los fondos como para encuestar a 1000 clientes, ¿deberíamos seguir
con el estudio?
Respuesta:_____________________________________________________________
______________________________________________________________________
Tarea 2. Diseño aleatorio simple y cumplimiento imperfecto con el tratamiento
1. La intervención con teléfonos móviles antes descrita tiene un pequeño problema:
sólo funciona con aquellas personas que mantienen el mismo celular que aparece en
las bases de datos del banco. Estimaciones preliminares sugieren que esto ocurre en
el 70% de los casos, pero no sabemos cuáles. ¿Qué tamaño de muestra se necesitaría
para detectar un aumento de un 25% en los balances de las cuentas de ahorro? ¿A
qué se debe el cambio? (Pista: primero, se debe "ajustar" el tamaño de efecto que
se quiere detectar según la proporción de individuos que se ven beneficiados por el
programa).
Ajuste del efecto: _______________
Tamaño grupo control: _______________
Tamaño grupo tratamiento: _______________
Tamaño total: _______________
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
11
Sección 2: tamaño de muestra estimado para un experimento con
conglomerados
Tarea 3. Diseño aleatorio por conglomerados
Para esta segunda parte de los ejercicios es necesario instalar "clustersampsi" en Stata.
Para este fin, escriba “findit clutersampsi” en la ventana del comando, y luego seleccione
el texto en azul debajo de donde dice “1 package found”.
Suponga ahora que el BPR está considerando realizar sesiones grupales informativas en las
distintas localidades, para lo cual ha decidido asociarse con una ONG que realiza
capacitaciones de gestión de portafolios y alfabetización financiera a hogares en las áreas
en donde opera. Lo bueno de este programa es que le permitiría al banco lograr los dos
objetivos que persigue (aumento en el número de clientes y en los montos ahorrados por
sus clientes existentes); lo malo es que es caro, y si se quiere llevar a cabo a una escala
regional, BPR calcula que debe aumentar la base de clientes en al menos 20 puntos
porcentuales y los ahorros de sus clientes existentes en un 25%.
BPR y la ONG contarán con un equipo de encargados de las capacitaciones, los que
viajarán a cada poblado. Los cursos quedan abiertos a todo el público en cada pueblo, por
lo que consideraremos que nuestra unidad de intervención serán los pueblos.
Comencemos con el ahorro de los clientes existentes y la intención de aumentarlos en 25%.
Lo primero que se debe hacer cuando se selecciona de manera aleatoria a nivel grupal es
calcular la correlación intra-conglomerado de la variable resultante dentro de esos grupos.
El comando que sirve para encontrar la correlación intra-conglomerado en Stata es
loneway, y se utiliza de la siguiente manera:
loneway variableresultado variabledegrupo
1. Encuentre la correlación intra-conglomerado de la variable del balance de ahorros
Correlación intra-conglomerado: _______________
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
12
2. A fin de incluir los conglomerados en los cálculos de poder estadístico de la
muestra, utilizaremos el comando clustersampsi. El formato es el siguiente:
clustersampsi, rho(correlación intra-conglomerado) m(observaciones por
conglomerado) mu1(promedio grupo control) sd1(desviación estándar grupo
control) mu2(promedio grupo tratamiento) sd2(desviación estándar grupo
tratamiento)
Observe que al ejecutar el comando éste le entrega primero el tamaño de muestra sin
conglomerados, y luego con conglomerados.
Repita el comando varias veces, y ajuste el número de observaciones por
conglomerado, según la siguiente tabla:
Personas por conglomerado Número de conglomerados Tamaño total de la muestra
10
30
50
¿A qué se deben los cambios en el número de grupos y en el tamaño total de muestra al
aumentar el número de clientes por conglomerado?
Respuesta:_____________________________________________________________
______________________________________________________________________
Tarea 4. Diseño aleatorio por conglomerados y cumplimiento imperfecto con el
tratamiento.
Veamos ahora el caso del aumento en el número de clientes, que se espera alcance 20
puntos porcentuales, y añadamos además el concepto de cumplimiento imperfecto.
Las reuniones antes descritas no tuvieron asistencia completa, pero aun así resultaron ser
relativamente exitosas: un 50% de los adultos en los poblados asistieron, y el número
promedio de asistentes fue de 60.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
13
¿Cuántos poblados sería necesario visitar para verificar si se incrementó la captación en 20
puntos porcentuales? Respondamos por partes:
1. ¿Cuál es el tamaño de efecto esperado si se toma en cuenta el cumplimiento
(asistencia)?
Respuesta: _______________
2. ¿Cuál es el número de observaciones por conglomerado?
Respuesta: _______________
3. ¿Cuáles son los comandos de Stata que se deberían utilizar? (Notar que la sintaxis
del comando clustersampsi es diferente cuando se quiere comparar proporciones en
lugar de promedios.)
Respuesta: _______________
4. ¿Cuántos poblados se deberían visitar?
Respuesta: _______________
Tarea 5. Tamaño de muestra y múltiples tratamientos
1. En término generales, ¿cuál es el tamaño de muestra que debemos elegir si
queremos implementar múltiples tratamientos en un experimento?
Respuesta: _______________
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
14
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
15
Objetivos:
Identificar los parámetros más importantes a la hora de presupuestar una evaluación
de impacto.
Entender cómo se calculan los costos del trabajo de campo.
Observar como variar ciertos parámetros impactan los costos finales de la
evaluación.
Presentación
¿Cuál es la estructura presupuestaria de una evaluación de impacto experimental? ¿Cómo
se costean los costos del trabajo de campo? ¿Cuáles son los parámetros con mayor
incidencia sobre el presupuesto? ¿Qué es un rango de precios aceptable para un contrato
de trabajo de campo?
Estas preguntas son sólo algunas de los interrogantes que caracterizan las discusiones sobre
la conformación y análisis de los presupuestos de evaluación. Estas discusiones casi nunca
son triviales pues, si bien la evaluación es un ejercicio deseable, es un evento costoso cuyo
valor pudiese sobrepasar el costo de algunas intervenciones. Dado que los recursos siempre
son limitados, entender la estructura de costos de una evaluación, es de esencial para
justificar, cuantificar, y validar su valor en vista de sus eventuales beneficios.
El siguiente documento provee una guía complementaria al “Taller de Costeo” del Curso de
Evaluación de Impacto impartido por J-PAL LAC en la Universidad de Montevideo. La
sección de ejercicios proveerá un espacio resumir las observaciones y conceptos más
importantes expuestos en el taller para apuntes y respuestas. Acompañe estos ejercicios con
el documento de Excel llamado “Taller de Costeo”.
Taller de Costeo
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
16
I. Ejercicio 1: ¿Cómo se calculan los costos del trabajo de campo?
Los costos del trabajo de campo y/o levantamiento de datos en terreno tienden a ser el ítem
presupuestario con mayor incidencia sobre el costo total de la evaluación. Es importante
entender cómo se estima el costo del trabajo de campo para identificar potenciales ahorros,
analizar propuestas de contratistas, en el caso que este sea subcontratado, y tener una
apreciación más profunda del costo de la evaluación en relación a su valor esperado.
El Ejercicio 1 indagará de forma didáctica cómo se estiman los costos del trabajo de campo
utilizando las hojas de Excel:
Ejercicio 1 Hoja de Costeo 1
Ejercicio 1 Hoja de Costeo 2
Se variarían algunos parámetros, marcados en color gris para observar los cambios en el
presupuesto.
Las filas bajo “Parámetros Clave” de la hoja Ejercicio 1 Hoja de Costeo 1 señalan que en
este ejercicio se estimarán los costos de levantamiento de campo para una muestra de 150
escuelas en las cuales de aplicarán pruebas cognitivas y encuestas a 40 alumnos (diseño
clúster con medición individual). La totalidad de alumnos (100%) participará en la
evaluación; no se aplicarán los instrumentos a una sub-muestra.
El objetivo de este ejercicio es definir el número de días que el equipo de terreno estará en
campo para cumplir con este requerimiento. Conociendo el número de días, se pueden
calcular la mayoría de costos variables y, de hecho, todos los costos de campo con
excepción de algunos costos operativos (imprenta) y los costos de digitación.
Se puede identificar la duración del levantamiento siguiendo los siguientes pasos.
1. Establecer los supuestos de tamaño muestral.
a. Coloque el número de escuelas (N) en la casilla D16 y el número de
alumnos en la casilla D17.
b. Las casillas D18 y D19 se ocuparían si el levantamiento también contaría
con encuestas de hogar.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
17
2. Convertir a los instrumentos en unidades de tiempo.
a. Colocar la duración de las pruebas por alumno (40 min) en la casilla K25.
Anotar la duración de la encuesta (15 min) en la casilla K26.
b. El tiempo designado a “Obtención de Consentimiento” K24 es un estimado
del tiempo necesario para ordenar a los alumnos y obtener su permiso para
aplicar las pruebas/encuestas.
c. Las casillas G24 y G25 contienen parámetros de tiempo, señalan el tiempo
de viaje que el equipo de terreno ocuparía para viajar acceder a las unidades
de muestra; ie la dispersión de la muestra.
d. La casilla D28, “Total por Etapa,” recuenta el número total de horas
requeridas para cumplir con la aplicación de instrumentos de la etapa
observada.
3. Calcular las “horas hombre” del equipo de evaluación.
a. Estimar el potencial de horas de trabajo del equipo de terreno. La cantidad
de horas disponibles dependerá del número de encuestadores K35 y
supervisores K37 en cada equipo y el número total de equipos G36.
b. Colocar 4 encuestadores por equipo, 1 supervisor por equipo, y 8 equipos de
terreno en las casillas correspondientes.
4. Hacer ajustes finales al número de días de medición.
a. Ajustar la duración de la medición reportada en la casilla D44 ajustando la
casilla “Días de Remuestro” D45 y la casilla “Factor de Ajuste por
Revisita.”
b. El producto final de estos ajustes se reporta en la casilla D47. Esta figura es
utilizada para costear los salarios del personal de campo y el transporte
requerido para efectuar el levantamiento. Estas cifras se reportan en las
casillas D55- D60. Los días de levantamiento son directamente insertados al
presupuesto como se demuestra en la Ejercicio 1 Hoja de Costeo 2.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
18
II. Ejercicio 2: Variación de Parámetros de Campo
No es inusual que los presupuestos de evaluación sean sujetos a cambios. Eventos desde
tormentas hasta retrasos en la implementación del programa pueden afectar el presupuesto
junto con el comportamiento de la población objetivo. Dado el alto potencial de
variabilidad en el presupuesto, es recomendable conformar varios escenarios
presupuestarios que controlen por estas posibilidades de antemano. En esta sección se
presentará los parámetros macro y micro del presupuesto que, al ser modificados, tienen
una incidencia importante en el presupuesto.
En el Ejercicio 2 se ocuparán las hojas de Excel denominadas:
Presupuesto General
Ejercicio 2
Se variarían algunos parámetros, marcados en color gris para observar los cambios en el
presupuesto.
Hoja Presupuesto General
1. ¿Cuántas etapas tiene este presupuesto? ¿Cuál es el valor del presupuesto?
Respuesta:________________________________________________________________
_________________________________________________________________________
2. Modifique el número de etapas removiendo dos etapas del presupuesto,
¿Cuáles remueve? ¿Por qué? ¿Cuál es el valor del presupuesto?
Respuesta:________________________________________________________________
_________________________________________________________________________
Hoja Ejercicio 2
3. ¿Cuál es el valor original de esta etapa presupuestaria?
Respuesta:________________________________________________________________
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
19
4. Modifique el tamaño de muestra aumentando el número de clústers N16 de
150 escuelas a 300 escuelas. ¿Cuál es el valor del presupuesto?
Respuesta:________________________________________________________________
5. Modifique el tamaño de muestra aumentando la cantidad de individuos N17
medidos por clúster de 40 a 60 Q25 . ¿Cuál es el valor del presupuesto?
Respuesta:________________________________________________________________
6. Modifique la dispersión de la muestra el tiempo de transporte entre escuelas
de 60 a 120. ¿Cuál es el valor del presupuesto?
Respuesta:________________________________________________________________
7. Modifique el tiempo de búsqueda cambiando la tasa de revisita N46 de 1 a
1.25 (este cambio implica que se tendrán que aumentar los días de medición
por 25% para recuperar observaciones). ¿Cuál es el valor del presupuesto?
Respuesta:________________________________________________________________
8. Modifique la complejidad del instrumento cambiando la duración de la
prueba cognitiva de 50 a 120 U25. ¿Cuál es el valor del presupuesto?
Respuesta:________________________________________________________________
9. En base a las variaciones que acabamos de hacer, ¿qué conclusiones
podemos sacar sobre los parámetros que más afectan el presupuesto de una
evaluación de impacto experimental?
Respuesta:________________________________________________________________
_____________________________________________________________
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
20
I. Introducción
Este documento contiene lineamientos generales y buenas prácticas para considerar en el
proceso de conformar un presupuesto para una evaluación de impacto experimental. Las
observaciones presentadas se forman a base a las experiencias de J-PAL LAC en trabajos
de evaluación y recolección de datos en América Latina. Su objetivo es servir de referencia
para aquellos que desean presupuestar evaluaciones de impacto.
Este documento está organizado de la siguiente manera: la Sección II presenta los ítems
principales que se deben incluir en un presupuesto de evaluación, la Sección III desarrolla
una discusión sobre los parámetros que típicamente tienen mayor impacto sobre el
presupuesto, la Sección IV presenta parámetros adicionales a considerar, la Sección V
presenta varios ejemplos de presupuesto, desgloses de costos realizados y ofrece un rubro
de costo general, finalmente, la Sección VI ofrece sugerencias útiles para analizar el
presupuesto de una firma encuestadora.
II. Ítems Presupuestarios
Los presupuestos de evaluación de impacto están compuestos por costos variables y fijos
que generalmente pueden asociarse a una de las cinco categorías que se describen en el
siguiente cuadro. El anexo 1 contiene una lista detallada de insumos que caen bajo cada
ítem presentado a continuación.
Ítem Descripción
Salarios Salarios del equipo de investigación, usualmente incluye salarios de
investigadores principales, analistas y otro personal de apoyo.
Los salarios usualmente se fijan según un estimado de las horas que
los miembros del equipo de investigación invertirán en cada etapa de
la evaluación.
Los estimados de horas por persona varían según la etapa de
investigación y estructura de la evaluación de impacto
(subcontratada vs. interna).
Viajes Viajes asignados a miembros del equipo de evaluación. Los viajes
Elaboración y Análisis de Presupuestos
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
21
son necesarios para efectuar visitas a terreno, negociaciones y
realizar otros labores de investigación.
Los costos de viajes incluyen transporte, alojamiento, viáticos y
seguros.
El rubro de viajes varía según el tamaño del equipo de investigación,
proximidad a la población de estudio, extensión del trabajo de
campo, el ambiente político del estudio y otras características de la
evaluación y ubicación del estudio.
Trabajo de
Campo
Costos asociados con los labores requeridos para levantar datos de
terreno/ campo requeridos por la evaluación de impacto.
Los costos particulares de este proceso incluyen: salarios del equipo
de terreno (encuestadores, etc.), transporte, instrumentos impresos,
lapiceros, comunicaciones y otro material de apoyo.
En lo macro, los costos del trabajo de campo varían según las
fuentes de datos (datos administrativos vs datos de terreno)de la
evaluación y la estructura del trabajo de campo (subcontratado vs.
interno).
En lo micro, los costos del trabajo de campo varían según la unidad
(encuestas de hogar vs. pruebas escolares), tamaño y dispersión de la
muestra de evaluación.
Digitación Costos asociados con el proceso de transformación de datos de
terreno a formato digital.
Los costos de digitación incluyen salarios de equipo de
digitalización e insumos tecnológicos.
Costos
Administrativos
Costos operativos generados por la contratación de personal,
impuestos, manejo de fondo y otros costos.
En general, la recolección de datos suele ser el componente más costoso de una
evaluación de impacto, independientemente de si el trabajo de campo es
subcontratado o se realiza internamente. Esto puede variar según varios factores, como
por ejemplo, el tamaño de la muestra, la duración y tipo de la encuesta, y el uso de datos
administrativos. Un análisis de algunos presupuestos de evaluaciones de impacto realizadas
por J-PAL confirma la magnitud y variabilidad de los costos de recolección de datos. En los
presupuestos considerados, los costos asociados con la recolección de datos representaron
desde un 42% hasta un 85% del presupuesto total. Los salarios del equipo de investigación
representan otro costo importante y variable: puede ser desde un 12% hasta un 43% de los
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
22
costos totales de la investigación dependiendo del número de investigadores, cuánto
cobran, y el costo de vida en cada país.
Como se discute en la siguiente sección, pequeños cambios en la estructura del trabajo de
campo pueden afectar de gran manera los costos.
III. Parámetros Determinantes
Dentro de los presupuestos de evaluación de impacto el ítem con mayor incidencia sobre
los costos de evaluación es el trabajo de campo. El único caso en donde el presupuesto de
trabajo de campo no es determinante es el caso en que la evaluación de impacto se realiza a
base de datos administrativos. Salvo esta excepción el presupuesto de trabajo de campo es
central tanto cuando éste es subcontratado o realizado internamente.
El presupuesto de trabajo de campo y sus potenciales variaciones usualmente se concentran
en una colección de factores endógenos y exógenos a la evaluación de impacto. Los
factores endógenos que afectan el presupuesto son:
Parámetro Descripción
Tamaño de Muestra La cantidad de unidades en la muestra naturalmente afecta
el presupuesto, las muestras más grandes son más caras.
El tamaño mínimo de la muestra se puede determinar
mediante un cálculo de poder.
Unidad de Muestra La unidad de muestra es determinante: las muestras a nivel
individual (hogar, individuo) usualmente son más costosas
que medir que una muestra a nivel de clúster (escuela) en
la cual se puede medir a varios individuos a la vez.
A veces, se puede ahorrar tomando información
“masivamente” siempre y cuando esto no afecte la calidad
de la medición.
Dispersión de
Muestra
La dispersión de la muestra se refiere a las distancias entre
unidades de medición.
La dispersión es relevante tanto para muestras a nivel
individual (eg. distancia entre hogares) y clúster (eg.
distancia entre escuelas).
Las muestras más dispersas usualmente son más caras de
medir.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
23
La importancia de los factores endógenos sobre el presupuesto se resume en una pregunta
clara: ¿Cuál es el costo requerido para llegar a cada unidad de medición? Esta cantidad
en gran parte es determinada por la unidad y dispersión de la muestra. Al ser multiplicada
por la cantidad de unidades determina la magnitud de los costos del trabajo de campo.
Los factores exógenos que afectan a la evaluación surgen de características particulares al
contexto en el cual se realiza la evaluación de impacto que afectan la eficiencia y duración
del trabajo de campo. En el contexto centroamericano, por ejemplo, la seguridad de las
rutas de transporte y de los equipos de recolección de datos es un factor importante que
afecta la movilidad de los equipos y por ende extiende la duración y costos del
levantamiento de datos. Igualmente, la calidad de la infraestructura, clima y ambiente
político del contexto de la evaluación son factores que pueden afectar la complejidad del
trabajo de campo y aumentar el presupuesto. Dado esto, se recomienda incluir dentro del
proceso de elaboración un análisis de factores contextuales que identifique eventos y
factores que puedan afectar los costos del trabajo de campo. Al subcontratar el trabajo
de campo, es importante discutir con la empresa encuestadora cuáles factores contextuales
ha considerado en su presupuesto. Esta discusión ayudará a evaluar su nivel de preparación
y experiencia para operar dentro del entorno local.
IV. Otras consideraciones y buenas prácticas
Esta sección presenta una lista de consideraciones adicionales y buenas prácticas que deben
evaluarse al definir el marco presupuestario de una evaluación experimental. Los
parámetros presentados no aplican a cada contexto de evaluación; al conformar un
presupuesto sólo se debe considerar los factores que apliquen.
1. Planificación: Desarrollar planilla de las tareas y etapas de la evaluación usando
Project, Excel o un software similar.
2. Implementación de la Evaluación: En casos cuando el evaluador también está
implementando la intervención, pueden haber ahorros de costos si se calibra el
proceso de implementación con los procesos de medición. Sólo se debería buscar
alinear estos procesos si no afecta a calidad de la medición o el comportamiento de
los sujetos de estudio.
3. Salarios: Coloque los salarios del personal de investigación en rubros diferentes de
los salarios del equipo de terreno.
4. Costos: Verificar costos con equipo de trabajo de campo y recolectar información
sobre los costos asociados con cada tarea.
5. Etapas: Divida el prepuesto por etapas. Esto ayudará con el cálculo de horas que
deben facturarse para el equipo de investigación, costear el trabajo de campo
ordenadamente y asignar viajes según las características de cada etapa.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
24
a. Usualmente, las etapas incluidas en una evaluación son: diseño, línea base,
seguimiento y análisis final.
b. Si el trabajo de campo es subcontratado, es recomendable incluir en el
presupuesto una etapa especial de monitoreo durante los mayores
levantamientos (línea base y seguimiento).
6. Moneda: Redacte el presupuesto en dólares y en la moneda local. Si la tasa de
cambio no es estable, arme varios escenarios según potenciales tasas de cambio.
7. Escenarios: Arme varios escenarios presupuestarios variando parámetros claves
incluyendo: el número de etapas, el número de unidades sometidas a monitoreo,
personal de evaluación. Si el trabajo de campo es subcontratado, exija que la
encuestadora le entregue un mínimo de tres escenarios de presupuesto.
8. Imprevistos: Incluya entre 2-5% del prepuesto total como presupuesto para
imprevistos.
9. Aprobación: Enviar el presupuesto para su aprobación por las debidas autoridades.
V. Ejemplos
Ejemplos de distribución de costos en diferentes evaluaciones.
i. Evaluación de un programa de involucramiento parental en la educación de sus
hijos en Chile (Figura 1). Esta evaluación tiene una duración de 3 años. La muestra
consiste en 64 escuelas en Chile. Se recolectan datos en tres instancias: una línea de
base, una medición al final del segundo año y una encuesta final cuando se termine el
programa. Se utilizan varios instrumentos incluyendo una prueba de lenguaje, una
prueba de funciones ejecutivas, un cuestionario de involucramiento parental y un
cuestionario de hogar. Además se utilizan datos administrativos del Ministerio de
Educación de Chile. Todo el trabajo se está haciendo “in-house”.
ii. Evaluación de un programa de construcción de casas para personas viviendo en
asentamientos pobres en México (Figura 2). Esta evaluación tuvo una duración de
3 años. Se buscaba medir el impacto de la casa en salud, ingresos y bienestar familiar.
Este presupuesto contempla dos fases de una línea base al igual que una investigación
cualitativa. Ya que se estaba midiendo salud, se contrató enfermeras para ser parte del
equipo encuestador. Los instrumentos de medición incluían una encuesta ASQ (Ages
and Stages Questionnaire), balanzas y análisis de material fecal.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
25
Figura 1. Evaluación de un programa de involucramiento parental en la educación de
sus hijos en Chile.
Figura 2. Evaluación de un Programa de construcción de casas para personas
viviendo en asentamientos pobres en México.
Figura 3. Evaluación en el área de educación en Honduras.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
26
iii. Evaluación en el área de educación en Honduras (Figura 3). Esta evaluación
tiene una duración de aproximadamente 18 meses. La evaluación buscó medir el
impacto de un programa de educación sobre una muestra de 300 escuelas a nivel
nacional. El trabajo de campo consistió de dos levantamientos principales que
recolectaron pruebas educativas en la totalidad la muestra de evaluación y varios
levantamientos secundarios que monitorearon el progreso del programa. El
trabajo de campo pertinente a los levantamientos principales fue subcontratado,
el trabajo de campo de los levantamientos secundarios fue implementado por
equipos de trabajo de campo de J-PAL LAC. En este desglose, los costos
administrativos incluyen overheads y también impuestos.
VI. Analizando el presupuesto de una empresa encuestadora
Hay muchos factores que inciden sobre la decisión de contratar a una empresa
encuestadora. La expansión de la muestra de evaluación, la dificultad logística del trabajo
de campo, la dificultad de aplicar ciertos instrumentos y acudir a la muestra de estudio, y la
experiencia de las empresas encuestadoras son factores a considerar al momento de definir
si el trabajo de campo de una evaluación de impacto será subcontratada. En este contexto,
evaluar con precisión la relación de costo y valor entregado por las empresas
encuestadoras es clave. Esta sección se enfoca en evaluar la primera de estas
características: el costo asociado a subcontratar el levantamiento de datos para la
evaluación de impacto.
Los presupuestos presentados por empresas encuestadoras tienden a ser bastante generales
y son pocos los detalles en cuanto a supuestos y cálculos subyacentes (ver ejemplo a
continuación). En muchos casos, los presupuestos se entregan de esta manera debido a que
es muy difícil determinar precisamente los costos totales del levantamiento de datos en el
campo a gran escala. Aun así, es importante evaluar los presupuestos de la encuestadora
con el mayor escrutinio posible. A continuación se presentan cuatro prácticas que pueden
ayudar con este proceso.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
27
i. Práctica Uno: Pedir un Listado Detallado de Supuestos
Es muy inusual que una empresa encuestadora provea los supuestos a base de cual
conformó el presupuesto de evaluación. Por ende, solicitar y revisar sus supuestos de fondo
es muy importante. Algunos supuestos clave que vale revisar son:
- ¿Cuál es la conformación del equipo?
- ¿De dónde vienen los cálculos de costos unitarios como costo de alquiler de
automóviles, seguros, costos de impresión y costos de materiales?
- ¿Cuáles son los imprevistos esperados, demoras y planes de contingencia para
situaciones adversas?
ii. Práctica Dos: Consultar el Costo Unitario
Las encuestadoras tienden a entregar presupuestos globales por los levantamientos de
campo, una pregunta clave que ayuda a desmantelar sus cálculos es: ¿Cuál es el costo
unitario (promedio) de llegar a cada observación en la muestra?1Entender los factores
que determinan los costos unitarios de un levantamiento puede revelar en efecto los
parámetros presupuestarios sobre los cuales se rige el presupuesto global. Es importante,
por ende, pedir en detalle el proceso por el cual se calcula el costo unitario. Tras obtener
esta figura, se recomienda indagar cómo el costo unitario varía entre diferentes
observaciones o grupos de observaciones. Con estas piezas de información, es posible
construir un estimado de costos para el trabajo de campo.
iii. Práctica Tres: Conformar Un Presupuesto Propio
La mejor manera de analizar el presupuesto de una empresa encuestadora es
rehaciendo los cálculos del levantamiento en un presupuesto propio. Este ejercicio es
relativamente sencillo de realizar conociendo los componentes que la encuestadora
considera determinante para los costos unitarios de la evaluación. Esta información permite
estructurar un presupuesto propio que puede entregar estimados base para los costos de
evaluación. Es importante establecer que el propósito de este ejercicio no es calcular cuánto
se ahorraría mediante un levantamiento propio, pero tener un número base con el cual se
pueden discutir los cálculos de la encuestadora y así evaluar con mayor profundidad sus
consideraciones presupuestarias.
1 Al solicitar el costo unitario es importante considerar la estructura de la muestra. Si la muestra está conformada a nivel
individual, la unidad relevante tiene a ser el hogar u individuo. Cuando la muestra está conformada a nivel de cluster, la
unidad relevante tiende a ser el cluster. Una excepción importante a estos lineamientos es una muestra que está
conformada a nivel individual pero los individuos están agrupados en cluster (eg. una muestra a nivel de hogar tomando
varios hogares de varias comunidades), en este caso el costo unitario relevante es el cluster.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
28
iv. Práctica Cuatro: Solicitar un Presupuesto con un Mínimo de Tres Escenarios
Una manera muy efectiva de evaluar los presupuestos de las encuestadoras es ponerlas a
prueba al momento que se solicita el presupuesto. La mejor manera de hacer esto solicitar
que entreguen sus propuestas económicas con un mínimo de tres escenarios
presupuestarios. No es necesario especificar el contenido o diferencias entre escenarios. De
hecho es mejor dejar que las encuestadoras los realicen ellas mismas para poder observar
cuáles parámetros presupuestarios varían con el fin de generar opciones de costo. Observar
las opciones propuestas por las encuestadoras es otra manera de entender y cuestionar su
estructura de costos.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
29
ANEXO
Insumos e Ítems Presupuestario Detallados
A continuación se presentan varios insumos específicos que corresponden a los uno de los
cinco ítems presupuestarios propuestos por la Sección 2 “Ítems Presupuestarios.”
1. Trabajo de Campo
Encuestas: Incluya todas las encuestas que la evaluación debe hacer, incluso encuestas que
se realicen antes del comienzo de la intervención o encuestas de seguimiento que se
realicen después de la evaluación. Esto incluye encuestas hechas durante pilotajes.
Recuerde también tomar en cuenta lo largo de la encuesta al momento de calcular tiempos.
Imprevistos: Al hacer un presupuesto, incluya días adicionales para imprevistos. Hemos
aprendido de la experiencia de J-PAL y de IPA que realizar las encuestas toma más tiempo
del que se planificó. Incluya alrededor de 10 días adicionales para los costos de
encuestadores. Similarmente, siempre se van a utilizar más encuestas que el tamaño de la
muestra, por lo que debe presupuestar imprimir 100 encuestas más por cualquier
imprevisto.
Costos de Traducción: Algunas veces los cuestionarios están en inglés y deben ser
traducidos al español. También incluya costos de traducción para documentos que deben
ser traducidos por un traductor certificado, como por ejemplo traducciones para el IRB.
Costos de Transporte: Si tiene que organizar transporte para los encuestadores o para
recoger encuestas, tome en cuenta que éstos pueden variar según distancia, modo de
transporte y temporada.
Costos de Comunicación: Incluya costos de comunicación del equipo durante el trabajo de
campo. Muchas veces, se tiene que comprar USB módems para conectarse al internet o
proveer saldo para los celulares.
Impresiones y Escaneo: Si su proyecto debe comprar o arrendar una impresora, scanner o
cualquier otro tipo de aparato (ejemplo, lector de código de barras), estos costos se incluyen
en la sección de costos generales.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
30
Control de Calidad: Incluya todos los costos relacionados al control de calidad de los
dato: back-checks, spot checks, revisión de cuestionarios, etc. Esto normalmente ha
representado alrededor del 10% de los costos de encuestas, pero puede variar según el tipo
de encuesta y tamaño de la muestra.
Inflación y tipos de cambio: Al momento de presupuestar encuestas que serán realizadas
en más de seis meses después de hacer el presupuesto, debe tomar en cuenta costos de
inflación así como también posibles fluctuaciones en las tasas de cambio. Si la línea final
de tu encuesta es similar a la línea de base, los costos de la línea final deben reflejar
aumentos por la inflación.
Costos de Digitación: Aparte de los pagos a los digitadores, recuerde incluir gastos de
alquiler de salas y equipo para realizar la digitación.
Costos de Seguimiento: Incluya costos de seguimiento a los costos de las encuestas de
seguimiento y líneas finales ya que puede ser más difícil encontrar a los encuestados y es
posible que tenga que llamarlos, ir a otras comunidades, preguntar por ellos para
encontrarlos. Dependiendo del contexto y del tipo de información que tienes sobre los
encuestados, esto puede representar un 5 a 30% de los costos de la encuesta.
Tiempo para reportes y análisis: Muchas veces, se olvida incluir los tiempos invertidos
en preparación de reportes, análisis de datos, desarrollo de publicaciones y actividades de
difusión de resultados.
Costos de Seguridad: Para proyectos en países donde los índices de violencia son
mayores, es necesario agregar un 20% adicional al presupuesto para cubrir costos de
seguridad.
Monitoreo: Es necesario anticipar cualquier costo relacionado con el monitoreo del
tratamiento. Esto consiste en verificar que el tratamiento esté siendo implementado
correctamente en el grupo de tratamiento y que no esté siendo implementado en el grupo de
control. Es posible que esto requiera recolectar datos adicionales.
Materiales: Es posible que su proyecto necesite comprar equipo nuevo como sistemas de
GPS, kits médicos para tomar muestras, etc. Estos costos tienen que ir incluidos en el
presupuesto bajo costos generales y tome en cuenta que pueden tener costos adicionales,
como por ejemplo impuestos de aduana o de transporte si se traen del extranjero
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
31
Otros: Costos de capacitaciones para los encuestadores, compensación para los
encuestados si es que se les dará algo por su tiempo (ej. Giftcards), equipo para los
encuestadores (lapiceros, gorras, tabletas, etc).
2. Digitación:
La extensión de la encuesta: Adapte los costos de digitación al tiempo que toma digitar
toda una encuesta.
Bonos e Incentivos: Piense en el tipo de incentivos que tendrán los digitadores e incorpore
éstos al presupuesto.
Doble Digitación: Recuerde tomar en cuenta costos de hacer la doble digitación de datos.
Costos de software: Incluya costos asociados con desarrollar el software para la digitación
de datos o el costo de adquirir este software.
Revisión de errores: Incluya costos de revisar por errores en una sub-muestra de los datos.
Esto puede representar alrededor del 5% de los costos de digitación de datos.
3. Salarios Costos administrativos
Tiempo de analistas de investigación: Normalmente, el tiempo del equipo involucrado en
un proyecto es subestimado, por lo que debe recordar incluir tiempos de trabajo durante
todo el proceso de la evaluación, incluyendo tiempo antes y después de la intervención.
Recuerde también presupuestar por trabajadores temporales.
Otros: Para proyectos internacionales, tomar en cuenta gastos relacionados a visas y otros
trámites.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
32
Este documento provee un rubro básico de estándares de calidad para el levantamiento de
datos en terreno de las evaluaciones de impacto. Los estándares presentados que deben
figurar dentro de los protocolos y planes de levantamiento de campo que levantarán datos
de terreno para una evaluación de impacto. En general, los estándares buscan promover: el
rigor y estandarización de procesos de medición, la protección de información confidencial
y derechos de la población de estudio, y la calidad, integridad, y validez de datos. Los
estándares estipulados pueden servir, no solamente para diseñar procesos de recolección y
digitación de datos, pero también para redactar términos de referencia y revisar propuestas
de encuestadoras y otros proveedores de servicios.
Confidencialidad: El levantamiento cuenta con protocolos estrictos de
confidencialidad que resguardan la información estudio, instrumentos de medición,
datos personales de los encuestados, y derechos de sujetos humanos del estudio. Se
recomienda incluir en el protocolo lineamientos que indiquen cómo manejar
consultas del estudio o la información levantada.
Muestreo: Existe un protocolo de muestreo que define claramente la muestra del
estudio al nivel(es) de medición relevante(s). El protocolo establece la tasa de
participación requerida por el estudio; se recomienda que las tasas de participación
se fijen entre 90-100% de la muestra de estudio. El protocolo de muestreo debería
incluir un plan de recuperación de muestra que se efectué en el caso de no llegar a
la tasa de participación especificada2.
Entrenamiento: El entrenamiento de los equipos de campo es competitivo, los
equipos de campo se eligen a través de varias pruebas prácticas y escritas.
Equipos: Se definen claramente la composición de los equipos de terreno; los
equipos de terreno incluyen aplicadores (encuestadores), supervisores, monitores; se
asignan responsabilidades específicas y competencias de cada cargo.
Pilotaje: El plan de terreno contempla realizar por lo menos un estudio piloto
previo al levantamiento de información. El pilotaje debe validar el contenido de los
instrumentos y protocolos de aplicación dentro del contexto local.
Monitoreo: El plan de terreno incluye un protocolo de monitoreo. El monitoreo
debe incluir actividades de re muestreo, acompañamiento, y revisión de documentos
2En el caso de que la muestra esté conformada a nivel individual (eg: hogar, persona) se debe especificar el número de revisitas a realizarse en el caso que el sujeto no se encuentre en la primer visita de aplicación.
Estándares de calidad en el levantamiento de datos
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
33
llenados. El protocolo debe establecer que se realizará cada tipo de monitoreo sobre
un mínimo de 10% de la muestra total. Es recomendable que el monitoreo se
extienda sobre el tiempo total de la medición. El protocolo de monitoreo debe
proveer un reglamento que especifique cómo corregir errores e inconsistencias.
Tasa de Error: Se establece que la tasa de error aceptable para los instrumentos de
datos levantados en terreno es 5%3.
Reportaje: Se establece un cronograma claro para la emisión de reportes de
resultados, progreso del trabajo de campo, y errores observados en terreno. Se
recomienda que los reportes de progreso y errores se exijan con una frecuencia
determinada (eg: semanalmente, bi semanalmente) por la duración del trabajo de
campo.
Digitación: La entrada de datos cuenta con doble digitación. La doble digitación es
el proceso por el cual los datos se ingresan dos veces por distintos operadores con el
fin de identificar y reconciliar errores. Adicional a la doble digitación, 10% de la
totalidad de instrumentos digitados deben ser sometidos a una re digitación
completa. Es decir, un monitor independiente debe re-digitar la totalidad de estos
instrumentos con el fin de detectar y corregir errores. La tasa de error acceptable
para digitaciones .01%4.
3La tasa de error de instrumentos de datos de terrenos (encuestas) se define como el número de campos que no fueron llenados del número de campo que debiesen haber sido llenados. Por ejemplo si a un encuestado le corresponden 10 preguntas pero el encuestador solo llena 9, la tasa de error es 10%. 4En los trabajos de digitación la tasa de error es el porcentaje de datos que no coinciden para la misma observación entre dos o más bases elaboradas por diferentes operadores. Por ejemplo, si de 10 preguntas solo coinciden 8 de las respuestas imputadas por dos operadores, la tasa de error es 20%.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
34
Evaluar el impacto causal de un programa genera informes que pueden ser muy útiles para
los tomadores de decisiones. Esto no quiere decir que todo programa, componente o
intervención amerite una evaluación de impacto, particularmente porque éstas pueden tener
un costo relativamente elevado. Así mismo, se reconoce que no toda intervención debe ser
evaluada—hay varias alternativas que podrían generar evidencia importante para la mejor
gestión de un programa más allá de la evaluación de impacto. Por lo tanto, es importante
verificar que la intervención de interés cumpla con ciertas características que permitan
realizar sobre él un análisis prospectivo de impacto y que el plan de evaluación de impacto
sea factible y útil.
Este documento presenta algunas de las consideraciones que se deben tomar en cuenta al
realizar una evaluación de impacto y se basa en la experiencia de J-PAL y sus socios a lo
largo de la región en el diseño de sus proyectos.
Paso 1. Identificar si “vale la pena” evaluar una intervención.
Para evaluar el impacto de un programa de manera rigurosa, un programa o intervención
necesita cumplir con una serie de requisitos. J-PAL LAC trabaja de cerca con los
operadores de una intervención para verificar que el programa cumpla con estos requisitos.
Las siguientes preguntas ayudan a identificar si un programa está listo para ser evaluado:
¿Cuál sería el costo total de una evaluación experimental para el programa? ¿Son
proporcionales los costos relativos al tamaño, escala y presupuesto del programa o
intervención?
Con respecto al programa o intervención: ¿se encuentra maduro y estable en su
gestión?
¿Se pueden diseñar protocolos de evaluación que no incidan en el buen desempeño
del programa o de la intervención?
¿Qué tipo de preguntas importantes sobre el programa responderá la evaluación?
¿Cómo contribuirá esto al bienestar de los beneficiarios y la toma de decisiones de
los operadores de programa y de los hacedores de política pública?
¿Se podría replicar el programa a mayor escala en otros contextos?
Preguntas para el diagnóstico de evaluabilidad
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
35
Paso 2. Definir al equipo investigador.
Definir un buen equipo de investigación es fundamental para la ejecución de una
evaluación de impacto que resulte en una estimación rigurosa de un impacto causal. Este
equipo debe ser imparcial, de tal manera que no introduzca un sesgo en los estimadores de
impacto. A la vez el equipo debe asegurar un alto nivel de coordinación entre todos los
actores involucrados para permitir una evaluación rigurosa de acuerdo a los plazos
establecidos. Este equipo debe ser lo suficientemente creativo para poder definir el método
de identificación causal que mejor se ajusta a las características y contexto de la
intervención y que sea capaz de anticipar y sortear las amenazas a la ejecución y validez
interna de la evaluación.
Paso 3. Identificar las preguntas de evaluación que son relevantes.
J-PAL busca que sus evaluaciones se incorporen al proceso de diseño de políticas públicas.
Para lograr que esto suceda, se debe identificar ex ante cuales son las preguntas de política
pública más importantes que se podrían contestar con la evaluación. Entre las tareas del
equipo investigador se encontrará:
Identificar preguntas que puedan servir a los operadores de programa en la toma de
decisiones.
Circular estas preguntas entre todos los actores involucrados.
Con esta información en mano, se debe tener en mente que la evaluación se debe diseñar de
tal manera que permita:
Proveer información sobre las razones por las cuales el programa funciona o no
funciona, más allá de un simple análisis de impacto (es decir, los mecanismos a
través de los cuales la intervención funciona).
Compartir los resultados de la evaluación con todos los actores involucrados en la
intervención.
Educar a los tomadores de decisiones en otros contextos similares.
Paso 4. Definir el método de identificación causal.
El siguiente paso es definir el método de identificación causal. Identificar el impacto causal
de un programa requiere estimar el contrafactual rigurosamente. Bajo ciertas condiciones,
la evaluación experimental es el método más confiable para estimar el impacto causal de un
programa. Sin embargo, las reglas de operación de los programas deberían guiar la elección
del método de evaluación. Las siguientes preguntas pueden ayudar a definir el método de
identificación:
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
36
¿Cómo se seleccionan los beneficiarios? ¿Existen grupos prioritarios a la hora de
distribuir beneficios?
¿Hay consideraciones éticas que prohibirían impedir la entrega de algún beneficio
inmediatamente a ciertos grupos?
¿Con qué probabilidad se le podría entregar beneficios a personas en grupos de
comparación?
¿Cuáles son los costos y beneficios de utilizar una metodología en comparación con
las demás?
Si se puede aleatorizar:
o ¿A qué nivel se aleatorizará y por qué? ¿Cuál es el método de aleatorización
ideal?
Si no se puede aleatorizar:
o ¿Cuál es el método de identificación causal más apropiado dadas las reglas
de operación del programa?
¿Cuál es el tamaño de muestra necesario para detectar un impacto causal?
La elección del método de identificación causal es la pieza clave para una evaluación de
impacto. No obstante, no es el único insumo necesario. Una buena evaluación de impacto
incluirá una estimación del impacto del programa o intervención acompañada de un buen
levantamiento de datos y costos, una evaluación de procesos y un análisis de resultados que
especifique las recomendaciones de política pública.
Paso 5. Levantar datos de alta calidad.
Típicamente, el levantamiento de datos es el costo más alto de una evaluación de impacto.
Abaratar costos parte con establecer lineamientos claros con respecto a los diferentes
requisitos de un levantamiento de datos. Esto se define a partir de algunas de las siguientes
consideraciones:
Poner atención al levantamiento de datos en línea base.
Diseñar un plan de recolección de datos, que ligue el levantamiento con un
subsiguiente análisis de datos.
Desarrollar protocolos de levantamiento, digitación y seguridad de datos.
Asegurarse de que los protocolos se mantengan invariables a través del tiempo.
Validar la precisión de los datos.
Monitorear la calidad de los datos.
Entregar los datos con suficiente rapidez después de haber sido recolectados para su
análisis.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
37
Paso 6: Estimar impacto causal del programa
Al analizar el impacto causal de un programa, es importante tener en cuenta que es óptimo
que el análisis se presente de manera transparente, sea consistente y comparable. Esto
asegura que sea de utilidad no solo para esta investigación sino para investigaciones
subsiguientes y cualquier evaluación que esté sucediendo o que haya sucedido. Para esto, se
debe asegurar que:
El equipo de investigación diseñe, levante y analice los datos de manera consistente.
Se realice un reporte de evaluación de impacto que señale, de manera transparente,
la metodología, los datos, así como los métodos de análisis y sus limitaciones.
Se publiquen los datos para que el análisis de los investigadores pueda ser replicado.
Se documente cualquier conflicto de interés.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
38
Términos Importantes Análisis de regresión: Un método estadístico que determina la asociación entre las
variables dependientes y una o más variables independientes.
Asignación aleatoria: Un diseño de intervención en el cual los miembros de la población
elegible son asignados aleatoriamente bien sea al grupo de tratamiento o al de control (i.e.
asignación aleatoria). Es decir, el que alguien esté en el grupo de tratamiento o en el de
control es un asunto de azar exclusivamente y no una función de cualquiera de sus
características (observadas o no).
Cálculos de poder: El cálculo de la muestra requerida para la evaluación de impacto, el
cual depende de diversos factores, tales como el tamaño de efecto mínimo detectable o el
nivel de confianza requerido.
Contaminación (Spillover): Cuando los miembros del grupo de control se ven
afectados,ya sea por la intervención propia (ver efectos secundarios) o por otra intervención
que afecte el resultado esperado.
Contrafactual: Corresponde al valor que hubiera tenido la variable de resultado para los
individuos del grupo de tratamiento en el caso hipotético de no haber recibido el
tratamiento. El contrafactual no puede ser observado por lo que debe ser inferido de un
grupo de comparación o grupo de control.
Correspondencia, Pareamiento (o Matching): Un método empleado para crear grupos de
control, en los cuales los grupos o individuos son hechos corresponder a aquellos en el
grupo de tratamiento en base a las características que se consideran relevantes para el
resultado o resultados de la intervención.
Correspondencia de puntaje de propensión (Propensity Score Matching (PSM)): Un
diseño cuasi-experimental para calcular el impacto de una intervención. Los resultados del
grupo de tratamiento se comparan con aquellos para un grupo de control, en donde este
último se construye a lo largo de correspondencias establecidas sobre puntajes de
propensión. Los puntajes de propensión son la probabilidad de participar en la intervención,
tal y como son dados por una ecuación probit sobre características observadas. Dichas
características no deben verse afectadas por la intervención.
Desgaste o Atrición: Datos perdidos a causa del retiro de los participantes del grupo de
tratamiento durante la intervención, o a causa de la imposibilidad de recolectar información
de una unidad en rondas subsiguientes en un sondeo de información. Cualquiera de las
anteriores formas de desgaste puede resultar en estimaciones de impacto sesgadas.
Términos Importantes
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
39
Diferencia única: La comparación en el resultado para el grupo de control después de la
intervención con el valor de su línea de base (también conocido como "antes versus
después" ), o bien una comparación ex post en el resultado entre los grupos de tratamiento y
control.
Diseño de evaluación ex ante: Un diseño para una evaluación de impacto preparado antes
de que tenga lugar la intervención. Los diseños ex ante son más fuertes que los diseños ex
post por su capacidad para considerar la asignación aleatoria así como la recolección de
información de base tanto del grupo de tratamiento como del grupo de control. También
conocido como evaluación prospectiva.
Diseño de evaluación ex post: Un diseño de una evaluación de impacto preparado una vez
que la intervención haya comenzado y posiblemente haya sido completada. Salvo que haya
habido una asignación aleatoria, deberá emplearse un diseño cuasiexperimental o no
experimental.
Diseño de Regresión Discontinua: Un diseño de evaluación de impacto en el cual los
grupos de tratamiento y control se identifican como aquellos que se encuentran
inmediatamente por encima y por debajo de un umbral que determina la elegibilidad o
participación en el programa. Este umbral puede basarse en un puntaje o una característica
observada (por ejemplo edad o ingresos) o un índice compuesto construido para este fin.
Diferencia en Diferencias: Es el cambio observado en la variable de interés en el grupo de
tratamiento “menos” el cambio observado en el grupo de control. La doble diferenciación
permite evitar el sesgo de selección que resulta de diferencias entre el grupo de control y el
grupo tratado que se mantienen constantes.
Efecto promedio del tratamiento: El valor promedio del impacto sobre el conjunto de la
población estudiada, incluyendo tanto al grupo tratado como al grupo de control. Ver
también “efecto intención de tratar” y “efecto del tratamiento sobre los tratados”.
Efectos indirectos o externalidades: Cuando la intervención tiene un impacto (bien sea
positivo o negativo) sobre unidades que se encuentran fuera del grupo de tratamiento. Hacer
caso omiso de los efectos indirectos puede resultar en una estimación sesgada del impacto.
De existir estas externalidades, el grupo de beneficiarios es mayor que el de participantes.
Cuando los efectos indirectos afectan a miembros del grupo de control, nos hallamos en un
caso de “contaminación” o spillover.
Error de muestreo: Es el error que se produce cuando se emplean estimaciones a partir de
una muestra en lugar de información obtenida a partir de la población entera.
Factores de confusión (Confounding factors):variables que están asociadas tanto con la
asignación al tratamiento o al control como con el resultado de interés. Si el grupo de control
y el grupo de tratamiento son distintos en términos de una variable que afecta al resultado, el
efecto de esta variable se confundirá con el efecto del tratamiento (si no se controla por esta
variable mediante regresión estadística).
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
40
Grupo de comparación o control: grupo de individuos no participantes en un programa
respecto a los cuales se comparan los resultados del grupo participante (grupo de
trataminento), a fin de estimar el efecto del programa.
Grupo de tratamiento: El grupo de personas, compañías, instituciones, etc. que recibe la
intervención (participantes del programa o intervención).
Hipótesis: una proposición específica acerca de la relación entre dos variables. En una
evaluación de impacto, las hipótesis generalmente se plantean como una relación causal
entre la intervención y las distintas variables de resultado, afirmándose que la intervención
no tiene efecto (hipótesis nula) o si lo tiene (hipótesis alternativa).
Impacto: se define como la diferencia entre el valor de la variable de interés en presenciadel
programa y el valor que tendría esta variable si el programa no hubiera tenido lugar.
Indicadores: Métricas usadas para cuantificar o medir las dimensiones que un programa
busca afectar, así como la forma en que se implementa un programa.
Línea base: Levantamiento de información que se realiza antes de dar inicio a la
intervención. Los datos de línea base pueden servir para mejorar la precisión de la
estimación de impacto y deberían ser recolectados tanto en relación con el grupo de
tratamiento como con el de grupo control.
Nivel de aleatorización: El nivel (e.g. individual, hogar, escuela, aldea) en el cual se realiza
la asignación aleatoria a grupos de tratamiento y de control.
No observables: Características que no pueden ser observadas ni medidas. La presencia de
inobservables puede generar sesgo en la selección en diseños no experimentales si dichas
variables inobservables están correlacionadas con la participación en el programa y con la
variable resultado.
Efecto de Intención de tratar: Efecto promedio del tratamiento calculado sobre la
totalidad del grupo de tratamiento cuando algunos de los individuos asignados al
tratamiento no fueron tratados (no participaron en la intervención).
Teoría de cambio: Describe la forma en que la implementación de un programa se traduce
en resultados, por medio de una cadena de relaciones causales. Un enfoque basado en
teoría de cambio examina las presunciones que subyacen a las hipótesis de una evaluación
de impacto.
Muestra: Un subconjunto de la población estudiada. La muestra se obtiene al azar del
marco de muestreo. En una muestra aleatoria simple todos los elementos del marco tienen
una probabilidad igual de ser seleccionados, pero normalmente se emplean los diseños de
muestreo más complejos, los cuales requieren el uso de peso de las muestras en el análisis.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
41
Prueba aleatoria controlada: Un diseño para la evaluación de impacto en el cual se
emplea la asignación aleatoria para adjudicar la intervención entre miembros de la
población elegible. Dado que no debería haber ninguna correlación entre las características
de los participantes y el resultado, y que las diferencias entre el resultado entre los grupos
de tratamiento y control pueden atribuirse enteramente a la intervención, es decir, que no
hay sesgo en la selección. Sin embargo, estas pruebas pueden estar sujetas a diferentes tipos
de sesgo y por tanto requieren de protocolos estrictos.
Sesgo de selección: Sesgo introducido en la estimación de un impacto debido a diferencias
en la composición promedio entre los grupos de tratamiento y control. Cuando ambos
grupos no son idénticos en promedio, parte de las diferencias en los resultados pueden
deberse a dichas diferencias preexistentes, no solo al tratamiento.
Tamaño de efecto mínimo: El tamaño mínimo de efecto que el investigador considera
necesario detectar en la evaluación de impacto. Debe ser definido con anterioridad a la
evaluación para desarrollar el cálculo de potencia, a fin de determinar el tamaño de muestra
requerido.
Tamaño del efecto: Magnitud de la asociación entre la variable de tratamiento (que toma
valores cero o uno) y la variable de resultado. Esta asociación se considera causal bajo
determinadas condiciones.
Efecto del tratamiento sobre los sujetos tratados: Estimación del impacto promedio del
tratamiento sobre la población tratada, es decir, sólo para aquellos que efectivamente fueron
objeto de la intervención.
Validez externa: Los resultados de una evaluación tienen validez externa si son
generalizables a otros contextos temporales o culturales.
Validez interna: Los resultados de una evaluación tienen validez interna si se puede
argumentar que la estimación del impacto es una estimación adecuada del efecto causal de
la intervención. Ello supone abordar amenzadas a la validez interna tales como el sesgo en
la selección, los efectos indirectos o la contaminación (spillovers).
Variable dependiente: Una variable que se cree que puede ser predicha por o causada por
una o más variables variables independientes. El término se utiliza comúnmente en el
análisis de regresión.
Variable independiente: Una variable que se cree causa cambios sobre la variable
dependiente. Usualmente se aplica en el análisis de regresión.
Basado en el glosario para la evaluación de impacto de 3ie.
3ie (2011), 3ie Glosario para la Evaluación de Impacto. Iniciativa Internacional para la Evaluación de
Impacto. Nueva Delhi, India.
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
42
Apuntes
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
43
Apuntes
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
44
Apuntes
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
45
Apuntes
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
46
Apuntes
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
47
Apuntes
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
48
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
49
Mapas
El curso se desarrollará en el Centro de Postgrados de la Universidad de Montevideo (UM). La dirección es: Puntas de Santiago 1564, (Carrasco).
Curso Avanzado de Evaluación de Impacto |
Montevideo, 19 al 21 de marzo de 2014
50
Recommended