Marcos A. Rangel
Universidade de São Paulo
Abdul Latif Jameel Poverty Action Lab
www.povertyactionlab.org
Implementando uma análise de impacto: coleta de dados, atrito
e problemas a evitar
• Quero aprender sobre o impacto de um dos
meus programas usando alocação aleatória dos status de tratamento
• Por onde começo?
Decidi realizar uma análise de impacto experimental…
2
• Há informação administrativa para construir a amostra, definir o desenho e realizar a alocação?
– escolha do tipo de desenho
(individual/agrupamentos) que vou usar • Dados administrativos podem informar a respeito de
preditores
– escolha de alocação baseada em maior validade externa esperada • Heterogeneidade é bem vinda
– cálculos para determinar qual é o tamanho da amostra que preciso para a minha avaliação
Informação
• Custo da intervenção vs. custo das enquetes – Quando a intervenção é grande e cara, e coletar dados é
barato, vale a pena coletar dados de linha de base – Quando a intervenção é pequena, e coletar dados é caro, é
melhor dedicar recursos adicionais a uma intervenção maior e não coletar dados de linha de base
• Cuidados quando considerado invasivo em termos de
implementação do programa
Precisamos de uma linha de base?
• Permite validar a execução do protocolo
experimental
• Permite analisar interações com variáveis pré-tratamento – Pode ser importante para analisar a validade externa
• Variáveis da linha de base absorvem variação amostral, aumentando portanto o poder amostral
• Essencial para análise detalhada de atrito (discutido a seguir)
Vantagens de uma linha de base?
• Mas em geral, faltam dados próprios para: – Obter informação sobre variáveis que nos
interessam de forma mais especifica – Obter cobertura adicional (ou sobre-amostragem)
das populações tratadas e de controle – Realizar medições no momento adequado (timing)
Coletar dados próprios ou usar dados administrativos apenas?
• Base de Amostragem e algumas variáveis pré-tratamento provinham de dados administrativos
• Angrist e co-autores (2002) realizaram enquetes para medir resultados a curto prazo (3 anos)
• Usaram dados administrativos do ministério da educação e do ministério da proteção social para analisar impactos a longo prazo (15 anos)
Exemplo: Vouchers na Colômbia
• A enquete piloto permite revisar: – A ordem das perguntas
– As respostas disponíveis (ex: quando o questionário deve
apresentar respostas “fechadas”)
– A abordagem das perguntas
– O desempenho dos entrevistadores
– O tipo e o valor da compensação para os entrevistados (se for o
caso)
– Estimar envolvimento necessário dos atores intermediários
• Durante a enquete piloto é possível testar o questionário para identificar possíveis problemas com a medição
Precisamos de uma enquete piloto?
• Depende do prazo esperado para observar efeitos
• É ideal realizar múltiplas medições: – Os resultados de uma etapa podem ajudar a garantir o
financiamento das etapas posteriores – Maior precisão – Compilar dados em cada etapa ajuda no acompanhamento
posterior dos entrevistados
• É possível usar dados administrativos para resultados a longo prazo
Quando fazer a medição final?
• Custo por enquete (duração, complexidade) versus número de enquetes
• A capacidade em termos de recursos humanos
da organização que implementa a enquete
• A disponibilidade e capacidade dos entrevistados de proporcionar a informação desejada
Considerações práticas
• Fazer relatório para obter a informação desejada
• Utilizar medições objetivas
se o tratamento puder influir na medição
• Pedir informação que não necessite cálculos da
parte do entrevistado => minimiza os erros
Disposição e capacidade do entrevistado
• Se as amostras são retiradas de uma população-alvo maior, será preciso uma base de amostragem
• A enquete deve ser clara e
não deve deixar margem à interpretação do entrevistador (minimizar impulsos interpretativos)
Coleta de dados I
• Subcontratar ou empregar diretamente os entrevistadores?
• É essencial treinar os
entrevistadores e monitorar a coleta
• Criar manuais para todos os instrumentos da enquete
Coleta de dados II
Novos entrevistadores aprendem a usar
aparelhos em Udaipur, India. A formação de
45 entrevistadores durou duas semanas.
• É preciso fazer uma verificação periódica de todos os questionários, por um supervisor, e uma nova verificação aleatória pelo gerente de pesquisa
• Entrevistar de novo uma sub-amostra de
entrevistados de forma aleatória
Coleta de dados III
• Para coleta de dados em várias rodadas, preencha os formulários com os nomes dos entrevistados e as datas de cada enquete
• Use formulários cujas
páginas possam ser separadas
Coleta de dados IV
• A equipe de campo é constituída por entrevistadores e supervisores
• O tamanho ideal de uma equipe subordinada a um supervisor depende da área da enquete e do tamanho do questionário (normalmente de 8 a 10 pessoas)
• Analisar o esquema de pagamento da equipe para garantir a qualidade dos dados
Coleta de dados V
Grosh y Glewwe, 2005
Questões logísticas: as enquetes devem chegar aos entresvitados
Você
Supervisor Supervisor Supervisor Supervisor Supervisor
Entre-
vistador
entrevistado
Lar Lar Lar Lar Lar Lar Lar Lar
& &
Entre-
vistador
Entre-
vistador Entre-
vistador
Entre-
vistador
Entre-
vistador
Entre-
vistador
Entre-
vistador
entrevistado entrevistado entrevistado entrevistado
• Ingrese rápidamente los dadospara captar los problemas • Al ingresar los dados, asigne un número de enquete a cada
cuestionario • Escanee los documentos • Invierta en una buena base de dadosde ingreso de dados(puede
utilizar una empresa de software). • Ingrese dos veces todos los dadosy unifique con las copias impresas
para detectar errores. • Vuelva a ingresar algunas entradas por tercera vez (supervisor) y
busque obtener un índice de error menor al 0,5%. • Después de volver a ingresarlos, limpie los dados.
E os questionários levados para a entrada de dados
Cada vez são maiores as possibilidades de usar computadores portáteis, tablets e telefones celulares no trabalho de campo. A informação chega diretamente a uma base de dados (por exemplo as plataformas Datadine e Android do Google)
Entrada de dados
Fotografía de Chris Blattman
• Faça um orçamento generoso e precaucional com relação a contingências
• Muitas vezes podem haver falhas – Mudanças na taxa de câmbio – Tempo de inatividade do entrevistador – Custos de seguro e beneficios de acordo com a
legislacao brasileira – Gastos de transporte – Necessidade de entrevistar de novo
Orçamento
• Verifique o que deve ser aprovado – Comitê de Ética (IRB) do país – Comitê de Ética (IRB) da universidade
• Consentimento informado oral vs. escrito por parte
do entrevistado ou participantes • Autorizações
– Governo nacional – Autoridades locais – Ministério correspondente – Acompanhamento da aleatorização!
Considerações éticas
• Mesmo se foi possível realizar um estudo aleatorizado adequado, ainda assim podem haver problemas com a medição do impacto e a análise
• Um problema frequente é a deserção amostral (desaparecimento de entrevistados ou atrito) – “É um problema se algumas pessoas do
experimento desaparecem antes que eu termine a coleta de dados?”
Má notícia: Uma boa estratégia de avaliação é necessária… mas não é suficiente
22
Atrito amostral
23
População
alvo
Não fazem
parte da
avaliação
Amostra da
avaliação alocação
aleatória
Grupo de
tratamento
Participantes
Desertores
Grupo de
controle Controles
Desertores
• É um problema quando os indivíduos que desaparecem estão relacionados com o tratamento
• Por quê? • Isto se chama viés de atrito (attrition bias). • Por que poderíamos esperar que isso tenha
grande chance de acontecer?
Viés de atrito
24
• Você quer saber se um programa de alimentação tem impacto: – aumento da matrícula – peso das crianças
• Você vai a todas as escolas (tratamento e controle) e pesa todas as crianças que vão à escola em um determinado dia
• A diferença de peso entre os grupos de tratamento e
de controle estará subestimada ou superestimada?
Viés de atrito: um exemplo
25
Antes do tratamento Depois do tratamento
T C T C
30 30 32 30
35 35 37 35
40 40 42 40
Média 35 35 37 35
Diferença 0 Diferença 2
Peso de cada criança (3 crianças por grupo)
O que aconteceria se só fossem à escola crianças com mais de 30kg?
Antes do tratamento Depois do tratamento
T C T C
[ausente] [ausente] 32 [ausente]
35 35 37 35
40 40 42 40
Média 37.5 37.5 37 37.5
Diferença 0 Diferença -0.5
• Suponha que o tratamento é um “voucher” que permite aos alunos tratados ir a uma escola particular
• Quem recebe o voucher tem mais possibilidades de concluir o ensino médio e fazer as provas para entrar na faculdade
• Só temos as notas daqueles que fizeram as provas
• A comparação das notas entre T e C é viesada?
Viés de atrito: outro exemplo
28
• Se houver atrito, verifique que não seja diferente entre tratamento e controle
• Verifique também que a interação entre tratamento e variáveis observáveis não prevê a probabilidade de sair da amostra
– A coleta em linha de base é decisiva para entender quem tem mais probabilidade de desertar
• Tente estimar limites para o viés (worst e best-case scenario)
Viés de atrito
29
• Causa primária
– Nos países desenvolvidos: rejeição do entrevistado
– Nos países em desenvolvimento: incapacidade de encontrar o entrevistado (mobilidade)
• Encontrar as pessoas é difícil
• Muitas enquetes não realizam nenhuma busca
Controle do atrito amostral
• Dados de acompanhamento coletados em 1997 (Thomas, Frankenberg e Smith, 2001) – informação de vizinhos, parentes, líderes
comunitários, caso o entrevistado já não estiver em seu lugar de origem
– Índice de re-contato de 94,4% – Sucesso similar no Kenya Life Panel Survey (1998 –
até hoje) • 84% re-entrevistados; para 89% pelo menos um
parente voltou a ser entrevistado
Controle do atrito amostral
• Ex ante
– Quando desenhar a enquete, inclua na primeira medição a possibilidade de encontrar os entrevistados posteriormente
– Desenvolva um protocolo de acompanhamento ou monitoramento e faça um orçamento
• Ex post
– Se tiver dados experimentais, compare os que desertaram com aqueles que não desertaram, além de comparar com o grupo de controle, em dimensões observáveis
– Se for preciso, ajuste estatisticamente
Controle do atrito amostral
• Descrever o ambiente onde se realiza a
intervenção/o experimento
• Medir os insumos da intervenção
• Medir os resultados da intervenção e sua
heterogeneidade (e projeção de scale-up)
• Avaliar a implementação da intervenção – atrito
• Registrar as percepções sobre a intervenção
Conclusão: para que servem os dados?
33