View
4
Download
0
Category
Preview:
Citation preview
1
Estudios Aleatorizados Francisco Gallego PUC Chile y J-PAL Santiago, 9 de abril de 2013
Mapa I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
V. Validez Externa VI. Material adicional: ¿Cómo aleatorizar?
2
I. Recapitulando
3
Mapa
1. Recapitulando
Algunos conceptos claves : • Evaluaciones de impacto en un contexto de
inferencia causal • Desafío fundamental de identificación del impacto
de un programa: – ¿Cómo habría sido la vida del individuo o grupo son el
programa? ¡NO OBSERVABLE! – Aproximarse a lo “no observable”: Grupo de control o
grupo contrafactual. Problema central: sesgo de selección.
– ¿Cómo? Métodos observacionales o experimentales
I. Recapitulando II. Motivación
5
Mapa
2. Motivación
• En muchos campos (en el pasado en la medicina), hoy en ciencias sociales y políticas públicas, la mejor evidencia de contrafactuales es generada por ensayos aleatorios.
• Bajo ciertas condiciones, los ensayos aleatorios aseguran que los resultados en el grupo control realmente capturen el contrafactual para un grupo tratamiento
6
7
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos
8
Mapa
3.1. Aleatorización e inferencia causal • Los estadísticos recomiendan un modelo en
etapas: – Primera etapa: una muestra aleatoria de unidades
seleccionada de una población definida – Segunda etapa: esta muestra de unidades es
asignada aleatoriamente a los grupos tratamiento y control
• La idea de aleatorización en ambas etapas cumple objetivos muy diferentes…
9
3.2. Caracterización básica de una evaluación aleatoria bi-etápica
10
Población objetivo
No está en la evaluación
Muestra aleatoria de la
evaluación
Asignación aleatoria
Grupo de tratamiento
Grupo de control
Primera Etapa Segunda Etapa
3.3. Aleatorización e inferencia causal • Primera etapa: buscar ayudar a asegurar validez
externa (pero no es condición necesaria ni suficiente, más sobre esto más adelante) – Asegurar que la muestra utilizada en la evaluación
represente a la población (dado un cierto error muestral) – Puede ser una aleatorización estratificada
• Segunda etapa: busca ayudar a asegurar validez interna: – Asegurar que el impacto observado se debe al tratamiento
y no a otro factor (o sea, ayudar a definir adecuadamente el contrafactual)
– Puede ser una aleatorización estratificada 11
• En este tipo de ensayos aleatorios (bietápicos): • Si la muestra es grande (cálculo de potencia/poder),
se asegura que: • ¿Por qué? • Y, por tanto,
estima consistentemente ATE. ¿por qué?
12
[ ] [ ] [ ] [ ]0|1|y 0|1| 0011 ====== DYDYDYDY
[ ] [ ]1|ˆ1|ˆˆ01 =−== DYDYδ
3.3. Aleatorización e inferencia causal
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
13
Mapa
4. Aleatorización: Otros
• Sin embargo, hay otras formas de aleatorización diferentes que se usan en la práctica – Típicamente se desvían del diseño bi-etápico y, por ello es
interesante entender qué permiten estimar y qué limitaciones pueden tener.
• Veremos dos casos – Ensayos aleatorios sin aleatorización en la primera etapa:
• Caso particular: ensayos aleatorios con auto-selección previa
– Ensayos aleatorios con cumplimiento imperfecto
14
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
V. Material adicional: ¿Cómo aleatorizar?
15
Mapa
16
Población objetivo
No está en la evaluación
Muestra seleccionada
de la evaluación
Asignación aleatoria
Grupo de tratamiento
Grupo de control
4.1.2. Evaluación aleatoria con muestra seleccionada
4.1.3. Evaluación aleatoria con Voluntarios
17
Población objetivo
No está en la evaluación
Voluntarios Asignación aleatoria
Grupo de tratamiento
Grupo de control
• Es una sub-población auto-seleccionada (denotemos V=1 si postula) que postula a recibir el tratamiento. – Tratados (D=1|V=1): los que quisieron participar y fueron
asignados al programa con una lotería. – Control (D=0|V=1): los que quisieron participar y no fueron
asignados al programa.
18
4.1.3. Evaluación aleatoria con Voluntarios
• ¿Qué asegura la aleatorización?
y, por lo tanto, nuestro estimador estima consistentemente para los que quisieron participar:
• O sea estamos estimando el efecto del tratamiento en los tratados y no en la población completa. – ¿Es una problema esto? ¿Cuándo? Según Duflo et al.
(2007) este grupo es el que justamente sería afectado por lo política si se expandiese, entonces también es de interés de evaluación.
19
[ ] [ ][ ] [ ]1,0|1,1|y
1,0|1,1|
00
11
=====
=====
VDYVDY
VDYVDY
[ ] [ ]1,0|ˆ1,1|ˆˆ011 ==−==== VDYVDYVδ
4.1.3. Evaluación aleatoria con Voluntarios
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
V. Material adicional: ¿Cómo aleatorizar?
20
Mapa
4.2.1. Caracterización básica de una evaluación aleatoria con cumplimento imperfecto
21
Población objetivo
No está en la evaluación
Muestra de la evaluación
Asignación aleatoria
Grupo de tratamiento
Participantes
No participan
Grupo de control
No participantes
Controles tratados
• Algunos individuos en el grupo de control reciben tratamiento
• Ej. Programa de desparasitación (Miguel y Kremer, 2004); Baird et al. (2011): – Los padres podrían intentar cambiar a sus hijos desde la
escuela de comparación a la escuela en tratamiento – 5% de los alumnos del grupo de control recibió el
tratamiento.
4.2.2. Cumplimiento parcial con el protocolo
22
• Algunos en grupo de tratamiento deciden no tomar
el tratamiento • Ej. Programa de desparasitación:
- Algunos estudiantes asignados a tratamiento en las escuelas en tratamiento no recibieron el tratamiento médico
- 78% de los pupilos asignados para recibir tratamiento recibieron al menos algo de tratamiento
23
4.2.2. Cumplimiento parcial con el protocolo
• ¿Cómo se estima el efecto del programa? • Utilice la asignación original
– Si una niña terminó en una escuela en tratamiento, pero era de control, se debe asignar a control cuando calcula el efecto
• Esto nos brinda el cálculo de intención de tratar (ITT)
4.2.2. Cumplimiento parcial con el protocolo
• Como discutimos antes, el ITT mide el efecto promedio de ofrecer el programa. “Qué le ocurrió al niño promedio que está en
una escuela tratada en esta población?”
• ¿Es este el número adecuado a buscar?, ¿Es el efecto de la desparasitación?
4.2.3. Intención de tratar (ITT)
• Se puede relacionar con programas concretos. En general, no se puede obligar a que los individuos “tomen” los tratamientos. – Por ejemplo, podría no interesarnos el efecto médico del
tratamiento de desparasitación, pero mas bien lo que ocurriría en un programa de desparasitación real.
– Si los estudiantes con frecuencia faltan a la escuela y por lo tanto no reciben el medicamento para la desparasitación, la estimación de la intención de tratar podría ser realmente lo más importante.
4.2.4. ¿Cuándo es útil ITT?
4.2.5. Cumplimiento parcial con el protocolo
Escuela 1
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 sí sí 0 Pupilo 2 sí sí 0 Pupilo 3 sí sí 1 Pupilo 4 sí no 3 Pupilo 5 sí sí 1 Pupilo 6 sí no 3 Pupilo 7 sí no 3 Pupilo 8 sí sí 1 Pupilo 9 sí sí 0 Pupilo 10 sí no 3
Escuela 2
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 no no 3 Pupilo 2 no no 2 Pupilo 3 no sí 1 Pupilo 4 no no 3 Pupilo 5 no no 3 Pupilo 6 no sí 0 Pupilo 7 no no 3 Pupilo 8 no no 2 Pupilo 9 no no 2 Pupilo 10 no no 3
1. Comparar a quienes RECIBEN tratamiento con quienes NO reciben tratamiento
4.2.6. Algunas Posibilidades
Escuela 1
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 sí sí 0 Pupilo 2 sí sí 0 Pupilo 3 sí sí 1 Pupilo 4 sí no 3 Pupilo 5 sí sí 1 Pupilo 6 sí no 3 Pupilo 7 sí no 3 Pupilo 8 sí sí 1 Pupilo 9 sí sí 0 Pupilo 10 sí no 3
Escuela 2
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 no no 3 Pupilo 2 no no 2 Pupilo 3 no sí 1 Pupilo 4 no no 3 Pupilo 5 no no 3 Pupilo 6 no sí 0 Pupilo 7 no no 3 Pupilo 8 no no 2 Pupilo 9 no no 2 Pupilo 10 no no 3
1. Comparar a quienes RECIBEN tratamiento con quienes NO reciben tratamiento
• Pero quién recibe el tratamiento no es aleatorio. - En el grupo de control, quienes reciben
tratamiento pueden ser los hijos de padres más motivados.
- En el grupo de tratamiento, quienes no lo reciben pueden ser los hijos de padres menos motivados.
4.2.6. Algunas Posibilidades
2. Comparar a quienes RECIBEN tratamiento en grupo de tratamiento con quienes NO reciben tratamiento en grupo de control
Escuela 1
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 sí sí 0 Pupilo 2 sí sí 0 Pupilo 3 sí sí 1 Pupilo 4 sí no 3 Pupilo 5 sí sí 1 Pupilo 6 sí no 3 Pupilo 7 sí no 3 Pupilo 8 sí sí 1 Pupilo 9 sí sí 0 Pupilo 10 sí no 3
Escuela 2
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 no no 3 Pupilo 2 no no 2 Pupilo 3 no sí 1 Pupilo 4 no no 3 Pupilo 5 no no 3 Pupilo 6 no sí 0 Pupilo 7 no no 3 Pupilo 8 no no 2 Pupilo 9 no no 2 Pupilo 10 no no 3
4.2.6. Algunas Posibilidades
2. Comparar a quienes RECIBEN tratamiento en grupo de tratamiento con quienes NO reciben tratamiento en grupo de control
• Pero quién recibe el tratamiento no es aleatorio - En el grupo de tratamiento quienes reciben
son los motivados. - En el grupo de control quienes no lo reciben
son los no motivados
4.2.6. Algunas Posibilidades
3. Comparar a quienes fueron ASIGNADOS a grupo de tratamiento con quienes fueron ASIGNADOS a grupo de control
Escuela 1
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 sí sí 0 Pupilo 2 sí sí 0 Pupilo 3 sí sí 1 Pupilo 4 sí no 3 Pupilo 5 sí sí 1 Pupilo 6 sí no 3 Pupilo 7 sí no 3 Pupilo 8 sí sí 1 Pupilo 9 sí sí 0 Pupilo 10 sí no 3
Escuela 2
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 no no 3 Pupilo 2 no no 2 Pupilo 3 no sí 1 Pupilo 4 no no 3 Pupilo 5 no no 3 Pupilo 6 no sí 0 Pupilo 7 no no 3 Pupilo 8 no no 2 Pupilo 9 no no 2 Pupilo 10 no no 3
4.2.6. Algunas Posibilidades
4.2.7. Intención de Tratar: ¡Qué hacer!
33
Promedio de escuela 1: (A)
Promedio de escuela 2: (B)
¿Intención de Escuela 1 tratamiento? ¿Tratado? Pupilo 1 sí sí 4 Pupilo 2 sí sí 4 Pupilo 3 sí sí 4 Pupilo 4 sí no 0 Pupilo 5 sí sí 4 Pupilo 6 sí no 2 Pupilo 7 sí no 0 Pupilo 8 sí sí 6 Pupilo 9 sí sí 6 Pupilo 10 sí no 0
Cambio prom. entre escuela A=
Escuela 2 Pupilo 1 no no 2 Pupilo 2 no no 1 Pupilo 3 no sí 3 Pupilo 4 no no 0 Pupilo 5 no no 0 Pupilo 6 no sí 3 Pupilo 7 no no 0 Pupilo 8 no no 0 Pupilo 9 no no 0 Pupilo 10 no no 0
Cambio prom. entre escuela B=
Cambio observado en el peso
Efecto Intención de tratar 3
0,9
3
,9
2,1
• SIEMPRE se debe respetar la asignación inicial cuando se analizan los datos, independiente de quien termina recibiendo tratamiento
– Asignación inicial es lo único que es aleatorio y por
tanto útil para estimar impacto con validez interna – Tomar o no tomar el tratamiento no es aleatorio
• Notar que externalidades desde el tratamiento al control se pueden pensar como un caso particular de
4.2.8. Cumplimiento parcial con el protocolo
• Además de afectar interpretación de resultados, cumplimiento parcial tiene implicaciones importantes para diseño del experimento
• Afecta cálculos de poder y tamaño muestral – Es importante ANTICIPAR posible cumplimiento
parcial
4.2.8. Cumplimiento parcial con el protocolo
• ¿Puedo saber impacto del tratamiento sobre los que efectivamente lo reciben?
36 36
4.2.8. Cumplimiento parcial con el protocolo
• A veces…
• Necesito supuestos adicionales – Ya no es suficiente la aleatorización
37 37
4.2.8. Cumplimiento parcial con el protocolo
Supuestos: 1. No hay externalidades en el tratamiento
– Niños que no toman desparasitantes en colegios asignados a recibirlos se siguen contagiando como antes
2. No hay efectos indirectos de la asignación del tratamiento
– En diseños aleatorios de estímulo, el estímulo no tiene un impacto directo sobre el resultado
4.2.9. Tratamiento en los tratados (TOT)
38
• El efecto del tratamiento en quienes recibieron el tratamiento: – Suponga que los niños que recibieron el tratamiento
aumentaron de peso A, independiente de si están en un tratamiento o una escuela de control
– Suponga que los niños que no reciben tratamiento tuvieran un aumento de peso de B, nuevamente en ambos tipos de escuelas
– Deseamos conocer A-B, la diferencia entre los estudiantes tratados y no tratados
39
4.2.9. Tratamiento en los tratados (TOT)
• Luego... • Y(T)=A*Prob[tratado|T]+B(1-Prob[tratado|T]) • Y(C)=A*Prob[tratado|C]+B(1-Prob[tratado|C]) • A-B= (Y(T)-Y(C)) / (Prob[tratado|T] – Prob[tratado|C]) = El efecto del “tratamiento en los tratados”.
40
4.2.9. Tratamiento en los tratados (TOT)
4.2.9. Calcular tratamiento en los tratados
¿Intención Escuela 1 de tratar? ¿Tratado?
Pupilo 1 sí sí 4 Pupilo 2 sí sí 4 Pupilo 3 sí sí 4
A = Aumenta si se trata
Pupilo 4 sí no 0 B = Aumenta si no se trata
Pupilo 5 sí sí 4 Pupilo 6 sí no 2 Pupilo 7 sí no 0
Calculador de ToT: A-B
Pupilo 8 sí sí 6 Pupilo 9 sí sí 6 Pupilo 10 sí no 0
A-B = Y(T)-Y(C)
Cambio promedio Y(T)=
Prob(Tratado|T)-Prob(Tratado|C)
School 2 Pupilo 1 no no 2
Y(T)
Pupilo 2 no no 1
Y(C)
Pupilo 3 no sí 3
Prob(Tratado|T)
Pupilo 4 no no 0
Prob(Tratado|C)
Pupilo 5 no no 0 Pupilo 6 no sí 3 Pupilo 7 no no 0
Y(T)-Y(C)
Pupilo 8 no no 0
Prob(Tratado|T)-Prob(Tratado|C)
Pupilo 9 no no 0 Pupilo 10 no no 0
Cambio promedio Y(C) =
A-B
Cambio observado
en el peso
3
0,9
3 0,9
60% 20%
2,1 40%
5,25
Compare a Intención de tratar: 2,1
• En la práctica, el TOT se estima con utilizando la asignación del tratamiento como variable instrumental para recibir el tratamiento. – Ver más adelante en el curso… – Por lo tanto, el efecto estimado es un efecto local.
42
4.2.9. Tratamiento en los tratados (TOT)
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
V. Validez Externa VI. Material adicional: ¿Cómo aleatorizar?
43
Mapa
• La validez interna es una condición necesaria para que los resultados de un experimento aleatorio sean generalizables…
• Pero no es suficiente.
5. Validez externa
44
• Una limitación de las evaluaciones aleatorias es que la evaluación en sí puede provocar que el grupo de tratamiento o de comparación cambie su conducta – La conducta del grupo en tratamiento cambia:
Efecto Hawthorne – La conducta del grupo de comparación cambia:
Efecto John Henry
5.1. Amenaza para la validez externa: Respuestas conductuales para las evaluaciones
45
• Además: un programa puede generar respuestas conductuales que no ocurrirían si el programa fuera generalizado
5.2. Respuestas conductuales para las evaluaciones
46
• Depende de tres factores: – Implementación del programa: ¿se puede replicar
a gran escala (nacional)? • Implementación del programa • Efectos de equilibrio general
– Muestra del estudio: ¿es representativo? – Sensibilidad de los resultados: ¿tendría el mismo
impacto un programa similar, pero levemente diferente?
47
5.3. Generabilidad de los resultados
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
V. Validez Externa VI. Material adicional: ¿Cómo aleatorizar?
48
Mapa
• Unidad y método de aleatorización
• Restricciones del mundo real
• Revisando de nuevo la unidad y el método
• Variaciones en análisis tratamiento-control simple
6.1. ¿Cómo aleatorizar?
• Entender cómo aleatorizar (mecánica) y decidir entre alternativas. – Conceptos clave: Unidad y método de aleatorización,
estratificación
• Cómo adaptar (de modo creativo) la aleatorización a las restricciones del mundo real
• Entender algunas variaciones en análisis tratamiento-control simple
6.2. Objetivos
Cómo aleatorizar, Parte I - 51
Asignación aleatoria
2006
Ingresos por persona, por mes, rupias
1000
500
0 Trat. Comp.
1457 1442
• Es necesario un marco muestral (lista de donde aleatorizar)
• Opciones:
– Sacar del sombrero – Utilice un generador de números
aleatorios en un programa de planilla de cálculo para ordenar las observaciones de manera aleatoria
– Utilice un código del programa Stata
• ¿Qué ocurre si no hay lista existente?
52
6.3. Mecánica de la aleatorización
Fuente: Chris Blattman
1. Aleatorizar al nivel individual 2. Aleatorizar al nivel del grupo
“Estudio aleatorio con observaciones agrupadas”
• ¿A qué nivel se debe aleatorizar?
53
6.4. Unidad de aleatorización
6.4.1. Unidad de aleatorización: consideraciones
• ¿A qué unidad apunta el programa para tratamiento?
• ¿Cuál es la unidad de análisis?
6.4.2. Unidad de aleatorización: ¿individual?
6.4.2. Unidad de aleatorización: ¿individual?
“Grupos de personas”: Estudio aleatorio en unidades agrupadas
6.4.2. Unidad de aleatorización: ¿individual?
6.4.3. Unidad de aleatorización: ¿clase?
6.4.3. Unidad de aleatorización: ¿clase?
6.4.4. Unidad de aleatorización: ¿escuela?
6.4.4. Unidad de aleatorización: ¿escuela?
• ¿De qué manera se administra la intervención?
• ¿Cuál es el área de captación de cada “unidad de intervención”?
• ¿Cuál es la amplitud del posible impacto?
6.4.5. Unidad de aleatorización: población objetivo
• Recuerde: ¿cuál es nuestra medición del impacto?
• ¿Dónde/cómo obtenemos estos datos?
6.4.6. Unidad de aleatorización: análisis
• Tome a 1000 personas y dele el medicamento a la mitad
• ¿Podemos simplemente aplicar este enfoque a programas sociales?
Cómo aleatorizar, 64
6.7. Lotería: Comience con los estudios clínicos como punto de referencia
• Elegido al azar de una selección de postulantes
• Los participantes conocen a los “ganadores” y “perdedores”
• La lotería simple es útil cuando no existe un motivo a priori para discriminar
• Se percibe como justo • Transparente • Comúnmente viable políticamente
6.7. Las loterías son simples, comunes y transparentes
• Por qué las restricciones de recursos son el mejor amigo de un evaluador
• Muchos programas tienen recursos limitados • Muchos más receptores elegibles que recursos
que permitan servir a estos • Bastante comunes en la práctica:
– Capacitación para empresarios o granjeros – Vouchers en educación – Transferencias monetarias
Cómo aleatorizar, Parte I - 66
6.8.1. Restricciones: recursos
• ¡Recuerde el contrafactual! • Si el grupo de control es diferente al del
contrafactual, nuestros resultados pueden estar sesgados
6.8.2. Restricciones: contaminación
• Externalidad • Control tratado • Cumplimiento parcial o incumplimiento del
tratamiento
6.8.2. Restricciones: contaminación Externalidad/control tratado
• Suponga que la administración de medicamentos de desparasitación fuera una de las responsabilidades de un trabajador de la salud
• Suponga que el trabajador de la salud prestó servicios a los miembros de los grupos de control y tratamiento
• Podría ser difícil capacitarlos para seguir diferentes procedimientos para diferentes grupos y llevar un registro de qué se administra a quién
6.8.3. Restricciones: logísticas
• Aleatorizar a nivel del niño dentro de las clases • Aleatorizar a nivel de la clase dentro de
colegios • Aleatorizar al nivel de la comunidad
6.8.4. Restricciones: justicia, política
• El programa es sólo lo suficientemente grande para prestar servicios a un puñado de comunidades
6.8.5. Restricciones: Tamaño de la muestra
• Considere los diseños de lotería no estándares • Podrían aumentar las actividades de
divulgación • ¿Es esto ético?
Cómo aleatorizar, Parte I - 72
6.8.6. ¿Qué ocurre si tiene 500 postulantes para 500 cupos?
• Suponga que hay 2000 postulantes • El filtrado de las solicitudes produce 500 candidatos
“elegibles” • Hay 500 cupos • Una lotería simple no funcionará
• ¿Cuáles son nuestras opciones?
6.8.7. A veces el filtrado importa
• ¿Se filtra para qué? • ¿Qué elementos son esenciales? • Los procedimientos de selección sólo pueden existir
para reducir los candidatos elegibles para cumplir una restricción de capacidad o para focalizar el programa
• Si ciertos mecanismos del filtro aparecen como “arbitrarios” (pero no aleatorios), la aleatorización puede servir para el propósito de filtrar y ayudarnos a evaluar
6.8.7. Considere las normas de filtro o focalización
• A veces puede que un socio no esté dispuesto a aleatorizar entre las personas elegibles.
• Un socio podría estar dispuesto a aleatorizar en “la burbuja”.
• Las personas “en la burbuja”, son personas que están en el límites en términos de elegibilidad – Justo sobre el umbral no elegible, pero casi
• ¿Qué efecto en el tratamiento medimos? ¿Qué significa para la validez externa?
6.9. Aleatorización en la burbuja
Aleatorización en “la burbuja”
Dentro de la burbuja, compare el tratamiento con el control
Participantes No participantes
Tratamiento
Control
• Los funcionarios del programa pueden mantener la discreción
• Ejemplo: Programa de capacitación • Ejemplo: Expansión de los créditos de
consumo en Sudáfrica
6.10. Cuando el análisis importa: Lotería parcial
• Eventualmente todos reciben el programa • El enfoque natural al expandir el programa enfrenta
restricciones de recursos • ¿Qué determina que las escuelas, ramas, etc. se
incluirán cada año?
6.11. Diseño escalonado: aprovecha la expansión
Diseño escalonado
Ronda 1 Tratamiento: 1/3 Control: 2/3
Ronda 2 Tratamiento: 2/3 Control: 1/3
Ronda 3 Tratamiento: 3/3 Control: 0 1
1
1 1
1
1
1
1
1
1 1
1
1
1
2
2
2 2
2
2
2 2
2
2
2
2 2
2
2
2
3
3 3 3
3
3 3
3 3
3
3 3
3
3
3 3
3
Ronda 1 Tratamiento: 1/3 Control: 2/3
Ronda 2 Tratamiento: 2/3 Control: 1/3
Finaliza la evaluación aleatoria
Ventajas • Eventualmente todos reciben algo • Proporciona incentivos para mantener el contacto
Preocupaciones • Puede complicar el cálculo de efectos a largo plazo • Atención con las ventanas de escalonamiento • Expectativas cambian acciones hoy?
6.11. Diseño escalonado
• Los grupos reciben tratamiento en turnos • Ventajas • Preocupaciones
Cómo aleatorizar, Parte I - 81
6.12. Diseño por rotación
Ronda 1 Tratamiento: 1/2 Control: 1/2
Diseño por rotación
Ronda 2 Tratamiento de la Ronda 1 Control ——————————————————————————
Control de la Ronda 1 Tratamiento
Ronda 1 Tratamiento: 1/2 Control: 1/2
• La introducción escalonada puede no proporcionar suficiente beneficio para los participantes de la ronda posterior
• La cooperación del grupo de control puede ser esencial
• Considere la aleatorización entre-grupo • Por ejemplo, programa de balsakhi (Banerjee et al. 2007) • Todos los participantes obtienen algún beneficio • Preocupación: mayor probabilidad de contaminación
6.13. “¿Desea encuestarme? Entonces, trate conmigo”
• A veces es práctica o éticamente imposible aleatorizar el acceso al programa
• Sin embargo, la mayoría de los programas tiene menos de 100% de tasa de participación
• Aleatorice por estímulo a recibir tratamiento
6.14. Diseño por estímulo a participar: ¿Qué hacer cuando no puede aleatorizar acceso?
Diseño por estímulo
Estímulo
No Estímulados
participó
no participó
Cumplimiento
No cumplimiento
compare estimulados con no estimulados
no compare participantes con no participantes
Ajuste para el no cumplimiento en la fase de análisis
Éstos se deben correlacionar
• Algo que hace que algunas personas sean más propensas a utilizar este programa que otras
• No es un “tratamiento” en sí • ¿Para quiénes estamos calculando el efecto
del tratamiento? • Piense en quiénes responden a la motivación
6.14. ¿Qué es “estímulo”?
• Lotería simple • Aleatorización en la “burbuja” • Aleatorización por escalonamiento • Rotación • Diseño por estímulo
– Nota: Éstos no son mutuamente exclusivos.
6.15. Para resumir: Posibles diseños
6.15. Métodos de aleatorización – recapitulación
Diseño Más útil cuando Ventajas Desventajas
Lotería simple Programa supersuscrito Familiar Puede que el grupo de control no coopere Está bien que algunos que no
reciben nada Fácil de comprender
Desgaste diferencial Fácil de implementar Se puede implementar en público
Escalonamiento Se amplía con el tiempo Fácil de comprender La anticipación del tratamiento puede impactar la conducta a corto plazo Finalmente, todos deben recibir
tratamiento Restricción fácil de explicar
Dificultad para medir el impacto a largo plazo
El control acepta dado que espera beneficio posterior
Rotación Todos deben recibir algo en algún Más datos que en la introducción escalonada
Difícil de medir a largo plazo punto, no hay suficientes recursos en el año para todos
Estímulo El programa debe estar abierto para todos
Puede aleatorizar en el nivel individual incluso cuando el programa se entrega a nivel individual
Mide el impacto de quienes responden al incentivo
Cuando la tasa de participación es Baja, pero se puede impactar fácilmente con incentivos.
Necesita un incentivo lo suficientemente grande para la adquisición El estímulo puede tener un efecto directo
Recommended