Sessão 4: Avaliação na perspectiva de diferentes tipos de organizações

do setor sem fins lucrativos

Avaliação Econômica como instrumento para o aprimoramento

da gestão das ações sociais26/09/2013

Fundação Itaú Social

• Responsável pelo Investimento Social Privado do Banco Itaú

• Desde 1993 – desenvolvimento de tecnologias que contribuem para melhoria de políticas públicas.

• Estrutura de Governança: Comissão Executiva e Grupo Orientador

• Foco em resultados: objetividade; mensuração; instrumentos; métodos.

Áreas de atuação

Educação Integral Gestão

EducacionalAvaliação de Projetos

Sociais

Mobilização Social

Programas

Missão: Formular, implantar e disseminar metodologias voltadas para melhoria de políticas públicas na área educacional e para avaliação econômica de projetos sociais

Avaliação

• Importante instrumento para gestão – refletido na própria missão

• Verificação de resultados escolhas internas disseminação organizações governamentais e não governamentais

Paradigma do investimento social

Resultado Retorno

Eficiência no uso dos recursos

Impacto das ações

Avaliação Econômica de Projetos Sociais

Avaliação de Impacto

� Metodologia quantitativa

� Relações causais: ações do projeto eindicadores de interesse.

� Efeitos sobre público alvo: intencionaisou não-intencionais (externalidades)

� Efeitos foram REALMENTE resultadodo projeto ou ocorreriam de qualquerforma.

� Grupo Tratamento – participou doprojeto

� Grupo Controle - formar grupos denão-participantes (na linguagem deavaliação de não-tratados), que tenham asmesmas características dos participantes(tratados).

Avaliação de Retorno Econômico

� Retorno do programa em termosmonetários para a sociedade.

� Custos do projeto e benefícios geradospara as pessoas atendidas peloprograma.

� Benefícios - ciclo de vida das pessoasou alguns anos.

� Custos x resultados alcançados?

� Efetividade do programa xalternativas?

Planejamento 2013

Focos de Atuação:

• Ampliar a disseminação de conceitos sobre

avaliação econômica de projetos sociais

• Incentivar e contribuir para a prática da

avaliação econômica

• Consolidar os conhecimentos relacionados à

avaliação econômica de projetos sociais

Programa de Avaliação Econômica de Projetos Sociais

Frentes

Cursos

Oficinas

Seminários

Encontros Temáticos

Rede de Avaliação

Avaliações

Público Alvo:

• Terceiro setor

• Servidores públicos

• Universitários

Desde 2004

Curso de Avaliação Econômica de Projetos Sociais

• Curso para Gestores

• 72 horas

• Atividades teóricas e práticas

• Início – 2005: São Paulo e Rio de Janeiro

• A partir de 2009: expansão para outros estados

• 1800 participantes – 2005 a 2013

• Necessidade da verificação dos resultados alcançados:

Os ex alunos:

� Haviam aprendido sobre esta metodologia de avaliação?

� Haviam mudado as práticas avaliativas em suas instituições?

� Estavam realizando a avaliação econômica de seus projetos para reorientação ou aprimoramento das ações desenvolvidas?

Avaliação do Curso de Avaliação Econômica

Avaliação Econômica

� Avaliação do impacto sobre quatro aspectos:

i) Condições para avaliação

ii) Prática das avaliações

iii) Gestão de projetos

iv) Uso das avaliações para gestão e dos projetos.

� Impactos poderiam ir além da prática de avaliação

i. Insumos para avaliação

ii. Aspectos de gestão

iii. Planejamento das ações e acompanhamento de metas

Avaliação Qualitativa

� Aprofundamento e qualificação dos resultados

� Influência nas organizações

� Alteração de práticas

Vantagens e benefícios da complementaridade de metodologias

Sobre avaliação

• “Programas sociais simples podem ter grandes impactos, mas

precisamos saber exatamente quais programas e qual o seu

impacto real, se quisermos realizar a maior mudança possível

no mundo” Karlan(2011)

• Diferentes tipos de avaliação estão diretamente ligados ao i)

momento em que são realizadas (antes durante e depois); ii)

objeto do estudo; objetivos do estudo; técnicas que empregam;

pela relação que estabelece com a política (ou projeto) –

FRANCO e COHEN (1998)

Avaliação Econômica 2007 2010

26 cursos em 14 cidades

250 – Grupo controle

Amostra: São Paulo, Rio de Janeiro e Belo Horizonte

14 turmas68% inscrições91% lista de espera

547 – Grupo tratados

Perfil

Organizações majoritariamente do terceiro setor

Áreas de atuação variadas, mas com alta concentração em assistência e educação

Organizações que participam em média são maiores (mais projetos e beneficiários) do

que as da lista de espera

Características, em geral, são muito variadas

� Não identificou impacto em diversos indicadores analisados

� Participar do Curso não está associado a maior prática de avaliação

� Apontou que as organizações atribuem valor relevante para o Curso, contudo, não refletem sobre o aumento da prática de avaliação nas organizações

� Mais de 90% das organizações, independente da participação no Curso, declararam realizar avaliações periódicas de seus projetos, sem especificar a metodologia utilizada

� Com relação a avaliação de impacto, principal método abordado no Curso, mais de 90% das organizações que ficaram em lista de espera declaram praticar este tipo de avaliação, contra menos de 80% das instituições que efetivamente participaram do Curso

Avaliação Econômica: resultados

Retorno econômico

• Benefícios para organizações que participaram do Curso, não sobre seus

beneficiários

• Disposição a Pagar - Alternativa a análise de retorno econômico

• O grupo que fez o Curso - R$1.877

• O grupo não participante - R$1.989.

• Valorizam igualmente

• Benefícios valorizados - não captados pelo instrumento usado na parte de

impacto da avaliação econômica.

Avaliação Qualitativa

• 20 entrevistas (1h30) em profundidade com gestores de projetos sociais.

• Roteiro semi-estruturado para aprofundamento

• Exploração das principais hipóteses levantadas pela avaliação econômica do Curso

• Público-alvo: participantes e não participantes do Curso;

• 4 entrevistas (São Paulo) foram conduzidas em salas de espelho para acompanhamento e refinamento do roteiro;

• Além das cidades incluídas na avaliação de impacto, a pesquisa qualitativa incluiu participantes em Recife.

Razões para não realizar a avaliação de impacto

• Despreparo para colocar os conhecimentos em prática;

• Dificuldade na implementação;

• Falta de apoio político dentro da instituição;

• Sobrecarga de trabalho, priorizando outras atividades em detrimento da avaliação econômica.

Principais benefícios do curso

• Maior utilização de indicadores sistemáticos para o monitoramento dos projetos

• Indicadores subjetivos ou adaptados/híbridos

• Informações mais organizadas, porém nem sempre fáceis de se obter

Resultados da Avaliação Qualitativa

Uso dos resultados: aprimoramento das ações - objetivos

Apesar de bilhões de dólares serem gastos todos os anos com projetos

sociais, muito pouco se sabe do seu impacto sobre beneficiários e sua

viabilidade econômica”

Banco Mundial