Upload
geneva
View
31
Download
4
Embed Size (px)
DESCRIPTION
Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas III Seminário da Rede Brasileira de Monitoramento e Avaliação Brasília, DF, Brasil 01 de junho de 2011. Workshop Coordenado por Jim Rugh - PowerPoint PPT Presentation
Citation preview
1
Avaliação em um Mundo Real
Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e
políticas
III Seminário da Rede Brasileira de Monitoramento e Avaliação
Brasília, DF, Brasil01 de junho de 2011
Workshop Coordenado porJim Rugh
A apresentação é um resumo do capítulo do livro que está disponível em :
www.RealWorldEvaluation.org
Traduzida para o portugues por Marcia Joppert
Objetivos do Workshop
1. Os sete passos do enfoque da Avaliação em um Mundo Real para responder a assuntos comuns e restrições enfrentadas por avaliadores, tais como: quando o avaliador é convocado não momento de finalização do projeto e não existe linha de base nem grupo de comparação; ou quando a avaliação tem que ser realizada com um orçamento inadequado ou prazo insuficiente; e quando existem pressões políticas e expectativas a respeito de cómo a avaliação deveria ser conduzida ou quais deveriam ser as conclusões.
2
Objetivos do Workshop
2. Definir qual deveria ser o impacto da avaliação;
3. Identificar e analisar várias opções de desenho que poderiam ser usados em um contexto particular de avaliação;
4. Maneiras de reconstruir a linha de base quando a avaliação inicia quando o projeto já está muito avançado ou finalizado;
5. como minimizar as ameaças à validade ou adequação usando uma apropriada combinação de enfoques qualitativos e quantitativos (métodos mistos) em relação a um contexto específico de Avaliações em um Mundo Real.
3
Objetivos do Workshop
Nota: Este workshop tem como foco a avaliação de impactos em projetos. Naturalmente, há muitas outras propostas, escopos e tipos de avaliação. Alguns desses métodos podem ser aplicáveis a eles, mas nossos exemplos se basearão em avaliações de impacto de projetos, principalmente no contexto de países em desenvolvimento.
4
Agenda de Trabalho
1.Introdução [10 minutos] 2. Resumo da abordagem Avaliação em um Mundo Real (AMR) [30 minutos] 3. Apresentação de participantes em pequenos grupos e intercâmbio de experiências relacionadas com a AMR. [30 minutos] 4. AMR (passos 1, 2 e 3): Definindo o escopo da avaliação e as estratégias para resolver as restrições de tempo e orçamentos [75 minutos]
--- intervalo curto [15 minutos]---
5. AMR (passo 4): Enfrentando restrições de informação [30 minutos]6. Pequenos grupos lêem seus estudos de caso e iniciam a discussão [30 minutos]
--- almoço [60 minutos] ---
7. Métodos qualitativos, quantitativos e mistos [20 minutos]
8. Os grupos completam a preparação dos estudos de caso. Exercícios sobreTermos de Referência (TORs) [30 minutos]
9. Negociação de Termos de Referência entre gurpos [60 minutos] 10. Resultados do exercício [15 minutos]
11. Conclusão das discussões. Avaliação do workshop [30 minutos]
6
Resumo do enfoque AMR
Avaliação em um Mundo Real
Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e
políticas
7
Cenários de Avaliação em um Mundo Real
Cenário 1: avaliadores não participam até quase o final do projeto
Por razões políticas, técnicas ou orçamentárias:
• Não houve plano de avaliação do ciclo de vida do projeto
• Não houve pesquisa de linha de base
• Os executores não coletaram informação adequada sobre os participantes nem no início nem durante a implementação do projeto
• É difícil conseguir informações de grupos de controle comparáveis
8
Cenário 2: A equipe de avaliação é convocada no início do projeto
Mas, por razões orçamentárias, políticas ou metodológicas:
A linha de base foi uma avaliação de necessidades, não é comparável em uma avaliação eventual
Não foi possível coletar dados de linha de base de um grupo de comparação
Cenários da Avaliação em um Mundo Real
9
Checando a realidade – Desafios da Avaliação do Mundo Real • Em geral, os formuladores de projetos não pensam
avaliativamente e a avaliação acaba sendo desenhada ao final do projeto
• Não houve linha de base; ao menos não uma com dados comparáveis na avaliação
• Não houve e nem pode haver grupos de comparação/controle.
• Tempo e recursos limitados para a avaliação • Os clientes têm suas próprias expectativas sobre o que
eles querem que os resultados digam• Muitos atores não entendem avaliação; não confiam no
proceso ou o vêm como uma ameaça (não gostam de ser julgados)
10
Avaliação em um Mundo Real Metas de Controle de Qualidade
Conseguir o máximo rigor possível na avaliação dentro das limitações de um dado contexto
Identificar e controlar as debilidades metodológicas no desenho de uma avaliação
Negociar com os clientes as vantagens e desvantagens entre o rigor desejado e os recursos disponíveis
A apresentação de achados deve reconhecer as debilidades metodológicas e como estas podem causar generalizações a outras populações/comunidades
11
A necessidade da abordagem Avaliação em um Mundo Real
Como resultado destas restrições , muitos dos principios básicos para um rigoroso desenho de avaliação de impacto são frequentemente sacrificados, como por exemplo: pré-teste comparável, desenho pós-teste, grupo de controle, desenvolvimento e teste de instrumentos adequados, seleção de amostra aleatória, controle dos viéses dos investigadores, minuciosa documentação da metodologia de avaliação, etc.
12
A abordagem Avaliação em um Mundo Real
um enfoque integrado para assegurar padrões aceitáveis de rigor metodológico enquanto se trabalha sob restrições políticas, orçamentárias, de tempo e de informação .
Ver o livro RealWorld Evaluationou, ao menos, o capítulo resumo para mais detalhes
13
A abordagem Avaliação em um Mundo Real
Desenvolvido para ajudar avaliadores e clientes
• Gerentes de Projetos, agências de financiamento e consultores externos
Um trabalho ainda em construção (continu-se aprendendo a partir de workshops como este)
Inicialmente desenhado para países em desenvolvimento, mas igualmente aplicável em países desenvolvidos
14
Desafios particulares da avaliação em países em desenvolvimento
Falta de acesso ou inexistência de dados secundários Escassos recursos locais para avaliação Orçamentos limitados para avaliação Restrições institucionais e políticas Falta de uma cultura em avaliação (ainda quando as
associações de avaliação tentam dar resposta a esta questão)
Muitas avaliações desenhadas por e em função dos interesses das agências financeiras e raras vezes em função das prioridades dos atores locais ou nacionais
15
Apesar desses desafios, existe uma crescente demanda por avaliações metodologicamente “sérias”, capazes de captar os impactos, a sustentabilidade e a replicabilidade dos projetos e programas de desenvolvimento.
(Falaremos disto mais tarde…!)
Expectativas para avaliações “rigorosas”
16
A maioria das ferramentas da Avaliação em um Mundo Real não são novas, mas promovem um enfoque holístico e integrado
A maioria das ferramentas para coleta e análise de dados da abordagem Avaliação em um Mundo Real serão familiares para avaliadores experientes.
O que se enfatiza é um enfoque integrado, o qual combina uma ampla gama de ferramentas adaptadas para obter a melhor qualidade da avaliação sob as restrições e condicionantes do mundo real.
17
O que há de especial na abordagem Avaliação em um Mundo Real?
Existe uma serie de passos definidos, cada um com uma lista de verificação das restrições e a maneira de enfrentá-las.
Esses passos estão resumidos no próximo slide e depois em um fluxograma mais detalhado.…
18
Os passos do Enfoque Avaliação em um Mundo Real
passo 1: Planejar e definir o escopo da avaliação passo 2: Abordar as restrições orçamentáriaspasso 3: Abordar as restrições de tempo passo 4: Abordar as restrições de Informação passo 5: Abordar as restrições políticaspasso 6: Avaliar e abordar as fortalezas e
debilidades do desenho da avaliação passo 7: Ajudar os clientes a usar a avaliação
A abordagem Avaliação em um Mundo Real
passo 1: Planejando e definindo o escopo da avaliação A. Definir as necessidades de informação do cliente e comprender o contexto políticoB. Definir o modelo teórico do programaC. Identificar as restrições de tempo , orçamento, informação e políticas a seren endereçadas pela AMR D. Selecionar o desenho que melhor atenda as necessidades do cliente dentro das restrições da AMR
passo 2Abordar restrições
orçamentárias A. Modificar o desenho da avaliação B. Racionalizar necessidades de informação C. Pesquisar informações secundárias confiáveisD. Revisar o desenho amostralE. Definir métodos econômicos de coleta de dados
passo 3Abordar restrições de tempo
Todo o passo 2 + :F. Realizar Estudos preparatóriosG. Contratar mais recursos humanosH. Revisar formatos de registro do projeto para incluir dados críticos para a avaliação de impacto.I. Tecnologia moderna para coleta e análise de dados
passo 4Abordar restrições de
informação A. Reconstruir linha de baseB. Recriar os grupos de controle/comparação C. Trabalhar con grupos de controle não equivalentesD. Coletar informação em temas sensibles ou de grupos difíceis de acessarE. Uso de métodos múltiplos
passo 6Avaliar e abordar as fortalezas e debilidades do desenho de
avaliação Uma lista de verificação integrada para desenhos multi-métodosA. Objetividade/confirmabilidadeB. Replicabilidade/dependência C. Validade interna/credibilidade/autenticidadeD. Validade externa/transferência/adaptabilidade
passo 7
Ajudar os clientes a usar a avaliação A. Utilização B. Aplicação C. Orientação D. Ação
passo 5Abordar influências
políticasA. Acomodar as pressões das agências de financiamento ou dos clientes sobre o desenho da avaliação B. Endereçar as preferências metodológicas dos atores sociaisC. Reconhecer a influência dos paradigmas de investigação profissional .
19
tempo tempo para para discussãodiscussão em em gruposgrupos 20
21
1.1. Apresentação de cada Apresentação de cada participanteparticipante
2.2. Que Que restrições restrições destes destes tipos tipos vocês enfrentaram vocês enfrentaram em em suas prática de suas prática de avaliação avaliação ??
3.3. Como lidaram com elasComo lidaram com elas??
22
passo 1
Planejando e definindo o escopo da avaliação
Avaliação em um Mundo Real
Desenhando avaliações sob restrições orçamentárias, de tempo, de informação e
políticas
23
Passo1: Planejando e definindo o escopo da avaliação
Comprender as necessidades de informação dos clientes
Definir o modelo teórico do programa Identificação preliminar de restrições a
serem endereçadas pela Avaliação em um Mundo Real
24
A. Comprendendo as necessidades de informação do cliente
Perguntas típicas que os clientes desejam responder:
O projeto está alcançando seus objetivos? Está tendo o impacto desejado? Todos os setores da população-alvo estão
sendo beneficiados? Os resultados serão sustentáveis? Que fatores contextuais determinam o grau de
êxito ou fracasso?
25
Uma completa compreensão das necessidades de informação do cliente frequentemente reduzem os tipos de informação coletada, o nível de detalhe e o rigor necessário.
No entanto, esta completa compreensão também pode incrementar a quantidade de informação requerida!
A. Comprendendo as necessidades de informação do cliente
26
B. Definindo o modelo teórico do Programa
Todos os programas baseiam-se em um conjunto de pressupostos (hipóteses) acerca de como as intervenções deveriam contribuir para o alcance dos resultados desejados.
Às vezes isso está claramente explicitado nos documentos de projeto.
Às vezes está apenas implícito e o avaliador tem que ajudar os diferentes atores a articularem as hipóteses através de um modelo lógico.
27
Definir e testar os pressupostos críticos são elementos essenciais (mas frequentemente ignorados) do modelo da teoria de programas.
O slide a seguir mostra um exemplo de um modelo para avaliar os impactos do micro-crédito no empoderamento social e econômico de mulheres
B. Definindo o modelo teórico do Programa
28
Sustentabilidade• Mudanças estruturais contribuirão com impactos de longo prazo.
Impactos de médio e longo prazo• Incremento do empoderamento econômico e social das mulheres. • Melhora do bem-estar econômico e social das mulheres e suas
famílias. Resultados a curto prazo
• Se as mulheres obtêm empréstimos, elas iniciarão atividades geradoras de renda.
• As mulheres serão capazes de controlar o uso dos empréstimos e pagá-los.
Produtos• Se há oferta de crédito, as mulheres estarão dispostas e aptas a
obter empréstimos e assistência técnica.
Hipóteses críticas da cadeia lógica em um programa de micro-crédito com inclusão de gênero
PROBLEMA
CAUSA PRIMARIA 2
CAUSA PRIMARIA 1
CAUSA PRIMARIA 3
Causa Secundaria 2.2
Causa Secundaria 2.3
Causa Secundaria 2.1
Causa Terciaria 2.1.1
Causa Terciaria 2.2.2.
Causa Terciaria 2.2.3.
Consequências Consequências Consequências
IMPACTO DESEJADO
RESULTADO 2
RESULTADO 1
RESULTADO 3
PRODUTO 2.2 PRODUTO 2.3PRODUTO 2.1
Intervenção 2.2.1
Intervenção 2.2.2
Intervenção 2.2.3
Consequências Consequências Consequências
MULHERES EMPODERADAS
Mulheres jovens educadasMulheres em
funções de liderança
Oportunidades Econômicas
para mulheres
Aumento da participação das
mulheres
Melhora nos currículos
Melhores políticas
educacionais
Pais estimulados
a mandar suas filhas
para a escola
Construção de escolas
Contratação e remuneração
justa de professores
Redução da Pobreza
Promoção do Objetivo do
projeto : Políticas
educacionais melhoradas
Objetivo do Programa: mulheres jovens instruídas
Objetivos constructivos
do projeto Mais salas de aula construídas
Objetivos de formação de educadores: Melhorar a
qualidadr do currículo
Objetivos de Programa em nivel de Objetivos de Programa em nivel de impactoimpacto
PRESSUPOSTO(que outros farão isto) PARCEIROS farão isto
NOSSO
projeto
Para ter sinergia e gerar impactos tudo isso precisa envolver
O mesmo público alvo.
O Que é preciso para medir indicadores em cada nível?
Resultados: Resultados: Mudanças de comportamento dos participantes
(Pode ser checado anualmente)
Produto:Produto: Medido e reportado pela equipe do projeto (anualmente)
Actividades: Actividades: Durante (monitoramento da intervenção )
Insumos: Insumos: Durante (acompanhamento financeiro)
Impacto: Impacto: Pesquisa junto à população Pesquisa junto à população (avaliação da linha de base e da linha final)
Nós precisamos reconhecer qual processo avlaiativo é mais apropriado para a
medição em diferentes níveis
• Impacto
• Resultados
• Produtos
• Atividades
• Insumos
MONITORAMENTO do MONITORAMENTO do DESEMPENHODESEMPENHO
AVALIAÇÃO do AVALIAÇÃO do Projeto Projeto
AVALIAÇÃO de IMPACTOAVALIAÇÃO de IMPACTO
35
Desenho InsumosProceso
de Implementação
Produtos Resultados Impactos Sustenta-bilidade
Contexto Econômico no qual
opera o projeto
Contexto Político no qual opera o
projeto
Contexto institucional e operacional
Características sócio-econômicas e culturais das populações afetadas
Nota: os quadros laranja estão incluidos nos modelos teóricos convencionais de programas. Os quadros azuis agregados permitem uma análise mais completa
Uma forma de Modelo Teórico (lógico) de um Programa
36
Insumos
Produtos
Resultados Intermediários
Impactos
Financiador 1 Governo outros financiadores
Crédito para pequenos produtores
Estradas em zonas rurais
EscolasServiços de Saúde
Renda familiar rural aumentada
Produção aumentada
Aumento do nº de matrículas na escola
Aumento do uso de serviços de saúde
Acesso a emprego não agrícola
Desempenho educacional melhorado
Saúde melhorada
Participação política aumentada
Expandindo a cadeia de resultados para um programa com multi-financiadores e multi-componentes
Atribuir efeitos é muito difícil! Considere a possibilidade de identificar as contribuições plausíveis de cada intervenção.
Lógica de uma Intervenção Educacional
Gestão institucional
Materiais educativos e Currículo
Emprego e capacitação educadores
Servicios Educacionais
Saúde
Melhor alocação de recursos
educacionais
Aumento asequibilidad
Educativa
Emprego ótimo
Incremento de habilidades e aprendizado
Acesso equitativo a educação
Qualidade da Educação
Melhores oportunidades
de Renda
CrescimentoEconómico
Desenvolvimento Social
Redução da Pobreza
Grupo de produtos
Resultados Impactos específicos
Impactos Intermediários
Impactos Globais
Maior participação da
Sociedade
Planejamento familiar e seguros de saúde
melhorados
ODM 3
ODM 2
ODM 1ODM 2
Fonte: OECE/DAC Network on Development Evaluation
39
1. Relação causa-efeito direta entre um produto (ou um limitado número de produtos) e um resultado que pode ser medido ao final do projeto ? Atribuição muito clara.
… Ou …
l Mudanças em indicadores de alto nível de melhorias sustentadas na qualidade de vida da população, ex: os ODMs (Objetivos de Desenvolvimento do Milenio)? Mais significativos, mas muito mais difícil analisar la atribução .
Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”?
40
OECD-DAC (2002: 24) define impacto como “os efeitos de longo prazo, positivos e negativos, primários e secundários, produzidos por uma intervenção de desenvolvimento, direta ou indiretamente, esperados ou não. Tais efeitos podem ser econômicos, socio-culturais, institucionais, ambientais ou de outros tipos”.
Isto menciona ou implica em atribuição direta?, ou ressalta a necessidade de estabelecer grupos de controle (contrafactuais) ou Ensaios Aleatórios de Controle (RCTs)?
Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”?
41
Este pode ser um tema delicado: em geral, não agrada a equipe de projeto ter responsabilidade além de produtos, enquanto que os financiadores (e o púbico-alvo) podem insistir em avaliar resultados de mais alto nível.
Se a correlação entre efeitos intermediários e impactos foi adequadamente estabelecida em estudos e avaliações prévios, então aferir indicadores intermediários pode ser suficiente, uma vez que os contextos podem mostrar-se suficientemente similares para que tais correlações causa-efeito sejam consideradas testadas
Chegando a um acordo sobre que níveis do modelo lógico incluir na avaliação
42
Avaliação de Programa é a coleta sistemática de informação acerca das atividades, características e resultados de um programa para realizar julgamentos, melhorar ou desenvolver a sua efetividade, subsidiar futuras tomadas de decisões e aumentar a compreensão sobre a intervenção .
-- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, 2008, page 39
Definição de avaliação de Programas
43
Formativa: aprendizagem e melhoria, incluindo a identificação antecipada de possíveis problemas
Geradora de Conocimiento: identificaras relações de causa-efeito e princípios gerais acerca da efetividade.
Prestadora de Contas: demonstra que os recursos foram usados eficientemente para obter os resultados esperados
Juízos Somativos: determina o valor e o futuro do programa Avaliação do Desempenho: adaptação em condições
complexas, emergentes e dinámicas
-- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, pages 139-140
Alguns Propósitos da Avaliação de Programas
44
Determinando um desenho de avaliação apropriado e viável
Com base no principal propósito de conduzir uma avaliação, na compreensão das necessidades de informação do cliente, no nivel de rigor requerido e o que é viável dadas as restrições, o avaliador e o cliente têm que determinar que desenho de avaliação é requerido e possível sob as circunstâncias.
45
Algumas considerações para o desenho de uma avaliação
1: Quando se realizam os eventos de avaliação? (linha de base, avaliação intermediária, avaliação final)
2. Análise de diferentes desenhos de avaliação (experimentais, quasi-experimentais, outros)
3: Nível de rigor desejado4: Métodos qualitativos e quantitativos5: um desenho de avaliação basado no “ciclo
de vida” do projeto.
linha de baselinha de base Avaliação Final Avaliação Final
do projeto do projeto
iIustrando a iIustrando a necessidadenecessidade de desenhos de de desenhos de avaliação avaliação quasi-quasi-experimentaisexperimentais e e de sériesde séries de tempo de tempo ou longitudinais ou longitudinais
ParticipantesParticipantes do projeto do projeto
Grupo de Grupo de comparacomparação ção
avaliação avaliação pós pós projeto projeto
Uma IntroduUma Introdução ção a vários desenhos de a vários desenhos de avaliação avaliação
Escala do principal indicador de impacto46
OK, vamos dar uma paradinha para identificar cada um dos
principais tipos de desenho de avaliação (investigação ) …
… um de cada vez, começando pelo desenho mais rigoroso.
47
Antes de tudo; a chave dos símbolos tradicionais:
X = Intervenção (tratamento), ou seja: que faz o projeto numa comunidade?
O = Evento de Observação (ex: linha de base, avaliação intermediária, avaliação final do projeto)
P (fila superior): Participantes do Projeto C (fila inferior): Grupo de Comparação (ou
de controle)
48
Nota: os 7 desenhos de AMR se encontram na página 41 do documento resumo do livro Avaliação em um Mundo Real
Linha Linha
de basede base
Avaliação FinalAvaliação Final
Do ProjetoDo Projeto
Grupo de comparaGrupo de comparação ção
avaliação avaliação posterior de posterior de Projeto Projeto
desenho desenho # 1: Quasi-experimental Longitudinal# 1: Quasi-experimental Longitudinal
P1 X P2 X P3 P4
C1 C2 C3 C4
ParticipantesParticipantes do do Projeto Projeto
Interme-Interme-
diáriodiário49
Linha de Linha de basebase
Grupo de ComparaGrupo de Comparação ção
Desenho Desenho # 2: Quasi-experimental (pre+pós, com compara# 2: Quasi-experimental (pre+pós, com comparação ção ) )
P1 X P2
C1 C2
Participantes do Participantes do Projeto Projeto
50
Avaliação FinalAvaliação Final
Do ProjetoDo Projeto
linha de baselinha de base
Grupo de Grupo de ControleControle
Desenho Desenho ##2+2+: Teste de Controle Aleatório: Teste de Controle Aleatório
P1 X P2
C1 C2
Participantes de Participantes de Projeto Projeto
51
Temas de investigação selecionados aleatoriamente seja para o grupo de projeto ou o grupo de controle
Avaliação FinalAvaliação Final
do Projetodo Projeto
Grupo de Grupo de ComparaComparação ção
desenho desenho #3: Longitudinal Truncado #3: Longitudinal Truncado
X P1 X P2
C1 C2
Participantes de Participantes de Projeto Projeto
Interme-Interme-
diáriadiária52
Avaliação FinalAvaliação Final
do Projetodo Projeto
Linha de Linha de basebase
Grupo de Grupo de ComparaComparação ção
desenho desenho #4: Pre+pós #4: Pre+pós do Projetodo Projeto; compara; comparação só posterior ção só posterior
P1 X P2
C
Participantes do Participantes do ProjetoProjeto
53
Avaliação FinalAvaliação Final
do Projetodo Projeto
Grupo de Grupo de ComparaComparação ção
Desenho Desenho #5: #5: apenas pós-teste do Projeto e apenas pós-teste do Projeto e comparacomparação ção
X P
C
Participantes Participantes do do ProjetoProjeto
54
Avaliação FinalAvaliação Final
do Projetodo Projeto
linha de baselinha de base Avaliação Final do Avaliação Final do ProjetoProjeto
Desenho Desenho # 6: Pre+posterior# 6: Pre+posterior do Projeto do Projeto; sem compara; sem comparação ção
P1 X P2
ParticipantesParticipantes do do projeto projeto
55
desenho desenho #7: Pós-teste apenas de Participantes do #7: Pós-teste apenas de Participantes do Projeto Projeto
X P
Participantes do Participantes do projeto projeto
56
Avaliação Final do Avaliação Final do ProjetoProjeto
57
Desenho
T1
(linha de base)
X(intervenção )
T2
(momento intermediário)
X(intervenção
cont.)
T3
(Linha Final)
T4
(posterior)
1 P1
C1
XP2
C2
XP3
C3
P4
C4
2 P1
C1
X XP2
C2
3X
P1
C1
XP2
C2
4P1 X X
P2
C2
5X X
P1
C1
6 P1 X X P2
7 X X P1
58
Atribução e contrafactuais
Como saber se as mudanças observadas nos participantes do Projeto ou comunidade• renda, saúde, atitudes, assistência escolar, etc.
se devem à implementação do projeto • crédito, abastecimento de água, vale-transporte,
construção de escolas, etc.
ou a outros fctores não relacionados?• Mudanças na economia, mudanças demográficas,
outros programas de desenvolvimento, etc.
59
O contrafactual
Que mudanças teriam ocorrido na condição da população alvo se não houvesse existido a intervenção através deste Projeto ?
60
Onde está o contrafactual?
Depois de viver por 3 anos em novas casas (obtidas a partir do Projeto), um estudo descobriu que sua renda cresceu 50 %
Isto mostra que as casas são uma maneira efetiva para elevar a renda?
Comparando o Projeto com dois possíveis grupos de comparação
2004 2009
250
500
750
Grupo de projeto . Melhora em 50%
Cenário 2. 50% de melhorana renda do grupo de comparação. Não há evidência de impacto
do Projeto
Cenário1. Renda do grupo de comparação não melhora.
Potencial evidência de impacto do Proejto
Ingr
eso
62
Grupo de Controle e Grupo de Comparação
Grupo de controle = atribuição aleatoria de temas a grupos do Projeto e grupos sem ‘tratamento’
Grupo de Comparação = procedimento separado de amostragem para grupos beneficiados (do Projeto) e sem tratamento (não beneficiários), grupos que são praticamente idênticos salvo pelo tratamento (intervenção)