Avaliação de Impacto do Projeto de Combate à Pobreza Rural
(PCPR)
Claudia Romano
Fátima Amazonas, Túlio Barbosa, Hans Binswanger, Alberto Costa, Naércio Menezes, Elaine Pazello
Sumário da Apresentação• O que é o PCPR• Desenho do Estudo• Principais desafios e Métodos utilizados
para lidar com estes desafios• Principais Resultados• Capital Social• Implicações para Políticas Públicas
O que é o PCPR• Programa opera na zona rural do Nordeste
desde 1993; baseado na demanda comunitária.
• Financia pequenos projetos comunitários, de infraestrutura, produtivos e sociais.
• Exemplos: pequenos sistemas de abastecimento de água; eletrificação; casa de farinha; beneficiamento mel; centro comunitário
O Programa opera em grande escala:(1993 a 2005)
Qual a pergunta? Como responder?
• Definição do que o estudo deve responder
• Compreensão do funcionamento do Projeto
Desenho do Estudo: Aspectos gerais
Pergunta: impacto do programa sobre acesso a serviços de infra-estrutura, ativos, saúde, e capital social ?
Note: diferente de perguntar se processo CDD é melhor do que benefícios distribuídos aleatoriamente
Desenho do Estudo:Aspectos gerais
• Amostra: 864 domicílios entrevistados em 2005; em 54 comunidades tratamento e 54 controle; 8 domicílios por comunidade
• Abrangência: Ceará, Piauí e Rio Grande do Norte
• Análise sobre impacto entre 2002 e 2005
Principais Desafios do Estudo
(1) Viés de Seleção(2) Falta de Perfil de Entrada
(3) Qualidade dos Dados
Principais desafios para desenho do estudo: (1) Viés de seleção
• O PCPR estimula comunidades a se auto-selecionarem, portanto: – Comunidades que obtém subprojetos são
mais capacitadas, têm melhor capital social, possivelmente maior renda e riqueza do que as comunidades não-beneficiadas
– Portanto, temos um viés de seleção positivo
Método: Reduzindo o viés de seleção- 3 métodos em 4 etapas
1) Método “amostragem pipeline” (lista de espera):
o tratamento selecionado entre beneficiários de 2002 (primeiro subprojeto)
o controle selecionado entre solicitantes já aprovados mas ainda não contemplados pelo programa em 2005Esta forma de seleção garante que controle seja mais similar a tratamento
o mas ainda há possibilidade de viés pois há 3 anos de diferença na obtenção do projeto
Reduzindo o viés de seleção
2) Método Propensity-Score matching - PSM (pareamento por índice de probabilidade).
– Diminui as diferenças devidas a características observadas
– PSM em dois estágios:o Primeiro estágio: nível comunitário para
seleção amostraloSegundo estágio: na análise, níveis
domiciliar e comunitário
PS antes e depois do pareamento
Reduzindo o viés de seleção
3) Análise de painel ou “diferenças-em-diferenças”:
- diminui as diferenças entre controle e tratamento devidas a características de efeitos aditivos em variáveis não-observáveis e observáveis não medidas
– As únicas características não passíveis de controle são as não-observáveis de efeito variável
Resultados indicaram que a combinação destas 4 etapas teve efeito na redução do
viés
Principais desafios: (2) falta de perfil de entrada
• Faltavam dados domiciliares da situação no período anterior à implementação dos subprojetos
• Perfil de entrada realizado pela Fecamp era muito recente (2004) para retorno e estudo de impacto de médio-prazo.
Método: Como lidamos com falta de um perfil de entrada
• Coleta de dados com “recall” • Capital físico (ativos), capital social e
alguns indicadores sobre saúde. • Momento importante: última vez que Brasil
ganhou a Copa do Mundo (julho de 2002)• Situação antes da formação da
associação
Principais Desafios: (3) Qualidade dos Dados
• Testes de campo e treinamento entrevistadores: – Questionários testados no campo duas vezes
• Dados:– Taxa de resposta a questionários foi alta– Análise dos dados revelou pequena proporção de
outliers• Exceção foram dados sobre valor da terra e
tamanho da propriedade. Decidiu-se por não utilizar estes dados na análise
PRINCIPAIS RESULTADOS
Impactos positivos sobre acesso a água e eletricidade
• Todos modelos estimados demonstraram impacto positivo e significativo do programa sobre acesso à água e à rede elétrica
Efeitos sobre acesso a águaTabela 3.12: Impacto do PCPR sobre o acesso a rede de água
água Amostra resultante do matching Modelo 1 Modelo 2 Modelo 3
0,095* Tratamento (0,034)
0,242* Trat*Abast (0,044) -0,029 Trat*Eletrif (0,028) -0,009 Trat*Prod (0,036) 0,290* Trat*Ce*Abast (0,049) 0,033 Trat*Rn*Abast (0,051) 0,010 Trat*Rn*Prod (0,050) -0,029 Trat*Pi*Eletr (0,028) -0,029 Trat*Pi*Prod (0,028)
0,029 0,029 0,029 constante (0,028) (0,028) (0,028)
nº de observ. 573 573 573 F (k, n-1) 7,93 . . Prob > F 0,0050 . . R-quadrado 0,0189 0,0851 0,1033
*Entre parênteses desvios-padrões robustos à heterocedasticidade. * Estatisticamente Significante a 5%
Efeito sobre eletrificaçãoTabela 3.13: Impacto do PCPR sobre o acesso a rede de luz
luz Amostra resultante do matching Modelo 1 Modelo 2 Modelo 3
0,088* Tratamento (0,020)
0,042 Trat*Abast (0,024) 0,400* Trat*Eletrif (0,080) 0,066* Trat*Prod (0,023) 0,054* Trat*Ce*Abast (0,026) -0,010 Trat*Rn*Aabast (0,046) 0,029 Trat*Rn*Prod (0,023) 0,400* Trat*Pi*Eletr (0,080) 0,106* Trat*Pi*Prod (0,035)
0,010 0,010 0,010 Constante (0,013) (0,013) (0,013)
nº de observ. 573 573 573 F (k, n-1) 18,92 10,43 6,87 Prob > F 0,0000 0,0000 0,0000 R-quadrado 0,0285 0,1051 0,1122
Impactos sobre ativos domiciliares
• Impacto positivo sobre ativos, em todos os modelos, inclusive sobre cada tipo de ativo e de projetos analisados separadamente (por volta de 30 coeficientes estimados)
• Nenhum dos coeficientes de impacto no valor total de ativos é estatisticamente significativo; somente alguns dos impactos em tipos específicos de ativos são estatisticamente significativos
Efeito sobre ativos per capita
Amostra resultante do matching ativos totais domiciliares per capita Modelo 1 Modelo 2 Modelo 3
523,789 Tratamento (442,423)
505,380 Trat*abast (446,599) 430,351 Trat*eletrif (448,319) 558,453 Trat*prod (458,631) 602,750 Trat*Ce*abast (447,093) 76,347 Trat*Rn*abast (532,012) 749,101 Trat*Rn*prod (506,935) 430,351 Trat*Pi*eletr (449,109) 353,757 Trat*Pi*prod (448,862)
-480,328 -480,328 -480,328 Constante (434,952) (435,716) (436,483)
nº de observ. 573 573 573 F (k, n-1) 1,400 0,600 1,450 Prob > F 0,237 0,615 0,205 R-quadrado 0,015 0,015 0,019
PCPR reduz incidência de doenças
• Análise das doenças mais comuns: diarréia, verminoses, dengue, hepatite, asma e doença de chagas
• PCPR diminui a incidência do conjunto das doenças e, em especial, sobre ‘hepatite’, ‘asma’ e ‘doença de chagas’
• Resultados indicam pequeno efeito positivo também sobre mortalidade infantil
Efeito sobre incidência de doenças
doenças Diarréia Verminoses Dengue Hepatite Asma Chagas Doenças Tratamento 0,350 0,467 0,022 1,040* 1,229* 1,219* 0,704 (0,592) (0,548) (0,550) (0,534) (0,538) (0,643) (0,512) Nº de obs. 72 72 72 72 71 66 66 Chi2(k) 0,350 0,730 0,000 3,800 5,210 3,600 1,890 P > chi2 0,554 0,394 0,969 0,051 0,023 0,058 0,169 Pseudo R2 0,004 0,007 0,000 0,037 0,048 0,045 0,009
O que o estudo não respondeu
• Este estudo usou o capital físico (ativos) como um indicador da renda. – Comunidades pobres podem consumir grande parte de
aumento na renda, o que não se reflete em aumento de capital.
• Resultados indicam que há probabilidade do impacto na renda ser positivo, mas não são conclusivos. – Para medir impacto na renda é necessário usar dados
de perfil de entrada coletados na época de implementação dos projetos
Capital Social - KS• Objetivo: medir impacto do PCPR na
organização da vida social e instituições locais e as relações entre as comunidades e o Estado
• Medir impacto quantitativamente
• Construção de índices a partir de questões concretas e simples
Como medimos Capital Social• Indices de Capital Social (KS)
– “CONDICIONANTES”– Cognitivo: grau de confiança, solidariedade e
ajuda mútua– Estrutural: formação e engajamento em
associações
– “RESULTANTES”– Participação comunitária: solução conjunta de
assuntos locais– Participação civil: representação e influência
em decisões governamentais
Impactos no Capital Social são maiores na relação entre comunidade e governo local: induz maior transparência pública
e redução de riscos de corrupção.
Conclusões Principais KS– Impacto positivo em capital social em geral,
mas maior em indicadores de envolvimento da comunidade na política pública local
– O PCPR se baseia no capital social existente, transformando o capital social comunitário em ação de controle e participação na esfera de políticas públicas locais
– Assim induz maior controle sobre interferência política e corrupção
Implicações para Políticas Públicas
• Alcance com relação aos serviços de infra-estrutura é alto e abrangente, enquanto impacto na renda ainda baixo
• Alguns Governos Estaduais estão assumindo atender a infra-estrutura básica com recursos do Tesouro (Estadual e/ou Federal)
• Nova Fase – Projetos Desenvolvimento Local : Integração rural-urbana – maioria dos municípios de pequeno porte
• Ênfase em projetos produtivos com alcance de mercado – arranjos produtivos locais como base para os investimentos
Implicações para Políticas Públicas
• Fortalecimento da Integração das políticas nos 3 níveis de governo, utilizando no âmbito local os mecanismos participativos do PCPR: Conselhos Municipais e Territoriais
• Integração Regional através do tratamento das questões ambientais, gerenciamento dos recursos naturais, ampliação da escala , ampliação do acesso aos mercados
• Competitividade, Inovação, Tecnologia – aplicação estratégica
Sugestões para Futuros Estudos
• Um estudo metodologicamente apropriado não é necessariamente difícil de ser implementado e tem um alto poder de produzir resultados úteis e confiáveis;
• Os termos de referência dos estudos de avaliação de impacto devem ser claramente definidos no período de preparação do Projeto, devendo ser anexados ao PAD;
• O perfil de entrada deve ser realizado em até seis meses após a declaração de efetividade do empréstimo; a contratação do perfil deve fazer parte de um pacote de todas as atividades/produtos esperados no estudo de avaliação de impacto;
• Selecionar indicadores de avaliação com clara relação (causa-efeito) com as atividades intencionais do Projeto; evitar a tentação de grande número de indicadores
• MIS deve conter registro das informações associadas com atividades e indicadores, incluindo o perfil das comunidades no momento de entrada no Projeto
Conclusão• Elabore a pergunta certa para o estudo
(olhando em perspectiva o que deseja obter)
• Forneça todas as informações sobre o funcionamento real do programa
• Defina claramente os indicadores que, por experiência dos gestores, são provavelmente afetados pelo programa
• Os resultados serão muito úteis!