1
Sesión 4A: Indicadores y diseño de cuestionarios
Beatriz Godoy Sistemas Integrales Santiago, de abril de 2013
Si la firma contratada para realizar el trabajo de campo de una encuesta tiene experiencia demostrada en este campo, entonces el diseño del cuestionario puede ser encargado a ellos
2
1 2
0%0%
1. Verdadero 2. Falso
Si el contenido del cuestionario ha sido revisado y validado por los distintos actores involucrados en la Evaluación de Impacto, entonces este no necesita ser probado en campo
3
1 2
0%0%
1. Verdadero 2. Falso
• Producir un buen cuestionario es una actividad crítica en el diseño de una encuesta
• La calidad de los datos recogidos por la encuesta es afectada directamente por el diseño del cuestionario
• Pequeños errores o inexactitudes en la redacción de una pregunta o en el flujo de estas pueden provocar sesgos indeseados
4
Diseño de cuestionario: las etapas
5
Etapa 1: Definición del contenido • ¿Qué quiere averiguar?
Etapa 2: Elaboración del cuestionario • ¿Cómo lo puede averiguar?
Etapa 3: Prueba del cuestionario • ¿Funciona bien en el terreno?
Lista de indicadores
Reuniones: Equipo de Evaluación de
Impacto
Definición de los indicadores relevantes
6
Etapa 1: Definición del contenido
Lista de indicadores
7
Preparación de una lista de preguntas
Elaboración del
cuestionario físico
Borrador del cuestionario
Etapa 2: Elaboración del cuestionario
Discusiones sobre los resultados de la
prueba
Revisión / modificación
del cuestionario
Entrevista de hogares /
establecimientos
8
Cuestionario «final»
Etapa 3: Prueba del cuestionario
9
Diseño de cuestionario: un proceso
Cuestionario «final»
Etapa 2: Elaboración
del cuestionario
Etapa 1 Lista de
indicadores
Etapa 3 Prueba del
cuestionario
Diseño del cuestionario
10
Etapa 1: Definición del contenido • ¿Qué quiere averiguar?
Etapa 2: Elaboración del cuestionario • ¿Cómo lo puede averiguar?
Etapa 3: Prueba del cuestionario • ¿Funciona bien en el terreno?
11
Etapa 1 - Contenido: Definición de la lista de indicadores
Identifique a las personas clave que deben participar en el desarrollo del cuestionario, con el objetivo de asegurar que los objetivos de la Evaluación de Impacto están cubiertos El contenido del cuestionario debe ser discutido entre
todos los interesados: al menos el equipo de evaluación de impacto, y quizás el Gobierno, agencias locales o internacionales, universidades, etc.
Recuerde que el objetivo principal de la encuesta es recolectar datos que permitan medir los indicadores necesarios para hacer la evaluación de impacto
12
¿De qué se trata la intervención?
¿Cuáles son las preguntas que quiere responder?
¿Cuál es la población objetivo?
Indicadores
Etapa 1 - Contenido: Definición de la lista de indicadores
13
Ejemplo en el sector educación: La intervención fue diseñada para aumentar la matrícula escolar y la retención de estudiantes de entre 6 y 10 años de edad.
Tasa de matricula Tasa de abandono
Ejemplo en el sector salud: Se espera que el programa incentive a las mujeres a dar a luz en centros de salud
Tasa de nacimientos atendidos en centros de salud
Indicadores
Etapa 1 - Contenido: Definición de la lista de indicadores
14
Etapa 2: Elaboración del cuestionario
¿Cómo de puede medir los indicadores definidos en la etapa anterior? Revisión de encuestas anteriores
Comparabilidad con otras encuestas, en particular en
el caso de evaluación de impacto, entre el cuestionario de línea basal y el de la encuesta de seguimiento
Revisión de estudios cualitativos relevantes
Revisión de bibliografía
1. Preparación de una lista de preguntas
15
Use un lenguaje simple y claro
Evite el lenguaje académico, incomprensible para los entrevistados Lenguaje complejo:
• «¿Cuál es la fuente principal de energía utilizada por los miembros de este hogar para la preparación de los alimentos?»
Simple: • «¿Qué combustible usan para cocinar?»
1. Preparación de una lista de preguntas
Etapa 2: Elaboración del cuestionario
¿Cuál es la pregunta correcta?
16 1 2
0%0%
1. ¿Sabe usted si el agua que beben en este hogar tiene bacterias, protozoos, que pueden ser peligrosos para la salud?
2. ¿Es segura para la salud el agua que beben en este hogar?
17
Cuidado: lo que es válido en un contexto cultural puede
no serlo en otro
Adapte el cuestionario a la realidad e idiosincrasia local, use el idioma adecuado
1. Preparación de una lista de preguntas
Etapa 2: Elaboración del cuestionario
18
Evite el lenguaje ambiguo
Ambiguo: “¿Cuándo se mudaron a esta vivienda?” Respuesta 1: “En 1999” Respuesta 2: “Cuando yo tenía 20 años” Respuesta 3: “Después de que terminé los estudios
secundarios” Respuesta 4: “Después del verano” Respuesta 5: “Cuando la compramos”
Claro: “¿En qué año se mudaron a esta vivienda?”
1. Preparación de una lista de preguntas
Etapa 2: Elaboración del cuestionario
19
Haga una pregunta a la vez
Incorrecto: Pregunta 1: “¿Está usted a favor de reducir el consumo
de alcohol entre los jóvenes y aumentar los impuestos de las bebidas alcohólicas?”
Correcto:
Pregunta 1: “¿Está usted a favor de reducir el consumo de alcohol entre los jóvenes?”
Pregunta 2: “¿ Está usted a favor de aumentar los
impuestos de las bebidas alcohólicas?”
1. Preparación de una lista de preguntas
Etapa 2: Elaboración del cuestionario
20
Claridad respecto de quién debe responder cada pregunta
Ejemplos:
Preguntas sobre fertilidad Mujeres de entre 15 y 49 años de edad
Preguntas sobre educación Miembros del hogar de 5 años y más
1. Preparación de una lista de preguntas
Etapa 2: Elaboración del cuestionario
21
Cuando corresponde, debe explicitar los períodos de referencia y las unidades de medida
Confuso: “¿Cuántas veces ha visitado usted un centro de salud?”
• ¿La semana pasada? • ¿El mes pasado? • ¿El invierno pasado?
Claro: “Durante los últimos 30 días, ¿cuántas veces visitó
usted un centro de salud?”
1. Preparación de una lista de preguntas
Etapa 2: Elaboración del cuestionario
22
Un buen formato físico de cuestionario facilita: La entrevista y el registro de las respuestas
El diseño del programa de ingreso de datos
2. Inserción de las preguntas en un cuestionario físico
Etapa 2: Elaboración del cuestionario
• Tipos de preguntas – Con alternativas – Numéricas – Abiertas
23
2. Inserción de las preguntas en un cuestionario físico
Etapa 2: Elaboración del cuestionario
• Numeración de las preguntas
24
2. Inserción de las preguntas en un cuestionario físico
Etapa 2: Elaboración del cuestionario
25
Numeración de las preguntas - EJEMPLO Cuestionario
26
Datos en Stata
Numeración de las preguntas - EJEMPLO
• Normas editoriales – Saltos o pases
27
2. Inserción de las preguntas en un cuestionario físico
Etapa 2: Elaboración del cuestionario
• Normas editoriales – Mayúsculas y minúsculas
28
MAYÚSCULAS: NO LEER EN VOZ ALTA MINÚSCULAS: LEER EN VOZ ALTA
2. Inserción de las preguntas en un cuestionario físico
Etapa 2: Elaboración del cuestionario
• ¿Cuál es el software adecuado? – Excel o similares son mucho mejores que Word o
similares
• Permite usar fórmulas para numerar las preguntas • Facilita la traducción • Las cajas y grillas son muy fáciles de dibujar
29
2. Inserción de las preguntas en un cuestionario físico
Etapa 2: Elaboración del cuestionario
Orden de las preguntas
– El cuestionario debe estar organizado de tal forma que su aplicación sea natural, tanto para el encuestador como para el entrevistado
– Las preguntas se deben formular solo cuando son aplicables. Esto se logra con una buena estructura de saltos o pases
– La decisión sobre cuándo y quién debe responder cada pregunta no puede ser dejada al encuestador
30
2. Inserción de las preguntas en un cuestionario físico
Etapa 2: Elaboración del cuestionario
Idioma • Debe traducir el cuestionario al idioma local • Verifique si la traducción está correcta haciendo
traducción a la inversa
31
2. Inserción de las preguntas en un cuestionario físico
Etapa 2: Elaboración del cuestionario
¿Qué está mal en esta sección de cuestionario?
32 1 2 3 4 5
0% 0% 0%0%0%
1. Problemas de numeración de preguntas
2. Faltan saltos (pases) 3. Saltos incorrectos 4. Alternativas incorrectas 5. Todas las anteriores
Usted quiere preguntas a los miembros adultos del hogar acerca de sus actividades económicas actuales que generan ingreso. ¿Cuál de las siguientes alternativas le parece más apropiada?
33 1 2 3 4
0% 0%0%0%
1. ¿Tiene usted alguna actividad que genera ingresos?
2. ¿Usted trabaja? 3. ¿Tiene usted un trabajo
por el cual recibe paga en efectivo o especie?
4. ¿Tiene usted alguna actividad económica?
• Deben participar los analistas y los diseñadores
• Debe ser probado en un número pequeño de miembros de la población objetivo: privilegie la calidad por sobre la cantidad
• La prueba del cuestionario debe ser hecha en distintos contextos: debe cubrir la diversidad de realidades que se incluyen en el estudio
34
Etapa 3: Prueba del cuestionario
Siempre pruebe el cuestionarios antes de lanzar el trabajo de campo
Discusiones sobre los resultados de
la prueba
Revisión / modificación
del cuestionario
Entrevista de hogares /
establecimientos
35
Cuestionario «final»
Siempre pruebe el cuestionarios antes de lanzar el trabajo de campo
Es un proceso iterativo
Etapa 3: Prueba del cuestionario
36
Resumen: El diseño del cuestionario es un
proceso iterativo y esto toma tiempo…
¿Quién tiene la última palabra en un cuestionario de Evaluación de Impacto?
1 2 3 4
0% 0%0%0%
37
1. La unidad que implementa el programa
2. El equipo de Evaluación de Impacto
3. La firma local implementadora de la encuesta
4. Los expertos en diseño de encuestas
¿Cuál de las aseveraciones siguientes es verdadera: Un buen cuestionario siempre debe…
1 2 3 4 5
0% 0% 0%0%0%
38
1. ser corto 2. ser probado en el terreno 3. ser desarrollado muy
rápidamente 4. satisfacer las necesidades
de información de la firma local
5. satisfacer las necesidades de información de los académicos
39
Lista de indicadores
Reuniones: Equipo de Evaluación de Impacto Definición de los indicadores relevantes
Etapa 1: Definición del contenido
Preparación de una lista de preguntas Inserción de las preguntas en un cuestionario
físico
Borrador del cuestionario
Etapa 2: Elaboración del cuestionario
Revisión / modificación del cuestionario
Discusiones sobre los resultados de la prueba
Entrevista de hogares / establecimientos
Cuestionario «final»
Etapa 3: Prueba del cuestionario