Upload
vubao
View
214
Download
0
Embed Size (px)
Citation preview
OCTOBER 13-17, 2014 | LISBON, PORTUGAL
DIME WORKSHOP
Métodos Experimentais
Arianna Legovini
October 13, 2014
DIME/Banco Mundial
Provocações!
1. Você acha que o seu projeto é um sucesso ou vai se tornar quando sair do papel? Sim!
2. Se o governo quiser universalizar um programa que não possou por uma avaliação rigorosa, qual será o seu conselho?
3
Provocações
• O quê avaliar?
• Por que avaliar?
• Quando avaliar?
4
A realidade é um pouco mais complexa do que…
5
Objetivos de uma Avaliação de Impacto
• Identificar o efeito causal da programa
– O programa funciona? Para quem?
– Há alternativas?
– Implementar o que funciona melhor a um custo mais baixo
• Não somos auditores! Queremos ajudá-lo a melhorar o seu programa!
6
Erros comuns… mas evitáveis!
7
• Correlação implica causalidade;
• Análise do tipo ‘antes e depois’ informa o impacto do programa;
• Qualquer grupo de controle é um bom/válido grupo de controle;
8
9
Correlação vs. causalidade
• Correlação implica causalidade;
• Análise do tipo ‘antes e depois’ informa o impacto do programa;
• Qualquer grupo de controle é um bom/válido grupo de controle;
10
11
Antes e depois
11
12
Antes e depois
Como chegamos nesse resultado?!!
12
• Correlação implica causalidade;
• Análise do tipo ‘antes e depois’ informa o impacto do programa;
• Qualquer grupo de controle é um bom grupo de controle;
13
14
VS.
Eike Batista Anônima – beneficiária do Bolsa Família
Qualquer grupo de controle é um bom grupo de controle?!
Como numa famosa música brasileira: “As aparências enganam…” (Elis Regina)
Intuição
• Preciso ter claro qual o público-alvo: elegíveis • Preciso ter informações antes e depois da
intervenção (nem sempre…) desse grupo
• Parte dos elegíveis estará no grupo de controle para me permitir identificar o impacto (contrafactual)
• Como proceder na prática?
15
Métodos de Avaliação de Impacto
• Ideal: método/desenho experimental – randomized controlled trial
• Plano B: método não-experimental (as vezes aparece como quasi-experimental)
16
Métodos de Avaliação de Impacto
• Ideal: método/desenho experimental – randomized controlled trial
• Plano B: método não-experimental (as vezes aparece como quasi-experimental)
17
Formas Alternativas de Aleatorização
Sorteio • Alguns desempregados (elegíveis) são sorteados para
participar de um programa de treinamento
Entrada gradual • Alguns municípios/vilas/escolas/hospitais são selecionados
para receber um programa que será universalizado num intervalo de 3 anos
Encorajamento/Incentivo • Um grupo de pequenos agricultores recebe crédito com taxa
de juros um pouco inferior a de mercado
18
1. Sorteio entre os elegíveis
Deve receber o programa
Inelegível para o programa
Aleatorizar quem recebe o programa
(programa de treinamento para desempregados)
19
2. Entrada Gradual
• As limitações orçamentárias impedem a cobertura integral
• O sorteio é feito para decidir quem entra no programa primeiro
– O sorteio é imparcial e transparente
• Capacidade limitada de implementação
– A introdução gradual oferece a todos a mesma chance de serem os primeiros
20
Quem deveria sentar na cadeira primeiro?
21
3. Encorajamento
• Adesão ao programa existente não é completa
– Fornecer informações ou incentivos para a adesão de alguns
• Um novo programa piloto
– Boa oportunidade para testar o desenho antes de expandi-lo
• Mudanças operacionais em programas em andamento
– Boa oportunidade de testar as mudanças antes de expandi-las
– Introduzir inovações de maneira aleatória
• O encorajamento tem como objetivo aumentar a adesão por meio de um incentivo aleatório
22
Aleatorização individual ou em grupo?
23
Aleatorização individual ou em grupo (cluster)?
• A aleatorização é feita no mesmo nível de intervenção
• Mais fácil obter amostras grandes o bastante se os indivíduos forem aleatorizados
Aleaorização individual Aleaorização de grupos (clusters)
Amostra = 20 indivíduos
Amostra = 12 grupos
24
Aleatorização em diferentes níveis
– Individual: agricultores, desempregados, estudantes etc.
– Aglomerados: organizações de agricultores, escolas, hospital, centros esportivos etc.
– Vilas, distritos, bairros, comunidades
– Estados/Municípios
25
Unidade de Aleatorização
• A aleatorização em nível mais alto às vezes é necessária: – Limitações políticas a tratamentos diferenciados na comunidade
– Limitações práticas – confusão para implementar diferentes versões
– Os efeitos sobre unidades vizinhas podem demandar uma aleatorização em nível mais alto (Ex. populaçoes na mesma organização ou vila)
• Aleatorizar ao nível de grupo requer muitos grupos por causa da correlação dentro da comunidade
• Cluster randomized trials
26
Aleatorização individual e representativa
Randomização
Randomização
População Nacional
Amostras da População Nacional
27
Aleatorização com estratificação
Estratificação
Randomização
População
Estrato do População Amostras do Estrato
da População
28
Representativo porém enviesado: inútil
População Nacional
Distribuição Enviesada INÚTIL!
Randomização
29
Representativo porém enviesado: inútil
População Nacional
Distribuição Enviesada INÚTIL!
Randomização
Muita gente confunde amostra aleatória com experimento aleatório
30
Exemplo: programa de crédito, validade interna
Distribuição aleatória
Amostra de mulheres empresárias
31
E se houver restrições sobre a aleatorização?
32
E se houver restrições…?
• Limitações orçamentárias: randomizar entre os mais necessitados
• Limitações de capacidade de implantação: randomizar quem recebe primeiro... (ou a seguir se você já houver começado)
• Promover o programa aleatoriamente para alguns, não para outros... (participantes fazem suas próprias escolhas sobre adoção)
33
Aleatorização: indivíduo ou clusters
Alocado para tratamento
Alocado para controle
Diferença Impacto: efeito médio do tratamento sobre os tratados
Não-tratados
Tratados
Proporção tratada
100% 0% 100% Impacto da alocação
100%
Resultado médio
103 80 23 Estimativa da intenção de tratar
23/100%=23 Tratamento médio sobre os tratados 34
Encorajamento aleatório: adesão baixa
Incentivados Não incentivados
Diferença Impacto: efeito médio do tratamento sobre os que aderiram
Não tratados (não aderiram)
Tratados (aderiram)
Proporção tratada
70% 30% 40% Impacto do incentivo
100%
Resultado 100 92 8 Estimativa da intenção de tratar (efeito do encorajamento)
8/40%=20 Tratamento médio sobre os que aderiram 35
Cuidado com…
• Cálculo incorreto da amostra – Randomizar um distrito para tratamento e outro
para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas
• Coleta de dados diferentes no tratamento e no controle
• Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!!
36
Vantagens dos “experimentos”
• Impacto causal claro e confiável
• Em relação a outros métodos
– Muito mais fácil de analisar
– Mais barato (tamanhos menores de amostra)
– Mais fácil de explicar
– Mais convincente para os formuladores de política
– Metodologicamente incontroverso
37
Quando é que é realmente impossível?
O tratamento já foi alocado e anunciado e não há possibilidade de expansão do tratamento O programa já acabou (retrospectiva) Já há adesão universal O programa é nacional e não exclui ninguém A amostra é muito pequena para ser válida
38