Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
Seminário: “Aperfeiçoando Políticas Públicas no Brasil a partir de
Resultados: Desenvolvendo Competências e Sistemas de Monitoramento e
Avaliação”.
Sessão “Monitoramento e Avaliação: Estudos Selecionados para o Brasil”
CLEAR-FGV e IPEA
28 e 29 Set 2015 São Paulo
Lígia Vasconcellos Gerência de Avaliação de Projetos
Itaú Unibanco
2
GAP| Gerência de Avaliação de Projetos
Escopo de atuação: Avaliação de projetos e políticas sócio-corporativas
• Mensuração de impacto e retorno social e/ou privado: os resultados da avaliação de
impacto ex-post e da análise de custo-benefício validam projetos e geram inputs para
tomadas de decisão estratégicas, melhorias dos projetos e políticas, e alocação eficiente
de recursos.
• Alocada na Área de Finanças, atende em especial:
• instituições sociais ligadas ao banco: Fundação Itaú Social, Instituto Unibanco
• áreas do banco: treinamentos para colaboradores; políticas relacionadas a
sustentabilidade e negócios inclusivos; programas de educação financeira
• setor público e parceiros da Fundação Itaú Social
3
Análise de custo benefício
• Importância:
• Gerar informação para gestão das políticas e projetos • Prestar contas a investidores e sociedade em geral • Verificação de viabilidade econômica do projeto • Possibilidade de comparação de alternativas de investimentos (com mesmos
objetivos)
• Definição:
• Comparação, em valores monetários, de investimento e custos realizados com benefícios gerados
• Retorno social: consideram-se todos os custos e benefícios independentemente de quem realiza o desembolso, e quem recebe os benefícios (setor público ou investidor social vs beneficiários de determinada política)
4
Análise de custo benefício
• Mesmas medidas utilizadas em viabilidade econômica de investimento privado: • VPL, TIR, razão benefício-custo • Análise de sensibilidade
• Premissas:
• Horizonte de tempo: longo, para incluir maturação de investimentos de longo prazo (como educação) e para considerar gerações futuras (custos ambientais)
• Taxa de desconto: em geral baixa, não se trata de remunerar um investimento de risco, e quer-se dar peso aos benefícios mais distantes no tempo
• Custos de oportunidade: além dos investimentos desembolsados, direta e indiretamente, considerados também custos relacionados a alternativas de uso dos recursos (custo do tempo, valoração de insumos “gratuitos”)
• Avaliação de impacto é o primeiro passo: transformação de impactos em valores monetários: relação nem sempre direta, hipóteses de mecanismos de transmissãoç estimativas no caso de valores ainda não terem se materializado (como renda futura advinda do retorno de educação)
• Alternativa: disposição a pagar
5
Análise de custo benefício: exemplos
• 3 exemplos:
• Política de progressão continuada: • custos indiretos a partir de impacto direto da Política
• Programa Jovem de Futuro:
• horizonte de tempo de longo prazo para benefícios
• Treinamento Fábrica de Talentos: • importância dos custos de oportunidade
6
Exemplos: Política de Progressão Continuada
• Objetivo: • avaliar trade-off entre potencial melhora da evasão escolar e piora de
desempenho escolar
• Escopo do estudo: • escolas estaduais urbanas no ano de 2005
• Indicadores de impacto:
• Taxas de rendimento (ensino fundamental e médio, Censo Escolar 2006) • Desempenho escolar (4a e 8a séries, Prova Brasil 2005)
• Impactos encontrados:
• Taxas de rendimento: menor taxa de abandono, inclusive com transbordamento para ensino médio
• Desempenho escolar: sem impacto na 4a série; impacto negativo na 8a série
• Artigo apresentado SBE 2008 e LACEA 2008 (Menezes-Filho, Werlang, Vasconcellos, Biondi), relatório disponível em www.fundacaoitausocial.org.br
7
Exemplos: Política de Progressão Continuada
• Análise de custo-benefício:
• Custos para o Sistema Educacional: • Redução de custo: maior taxa de conclusão de séries por ano cursado
(maior aprovação) • Aumento de custo: maior número de anos cursados (menor abandono)
• Retorno no mercado de trabalho:
• Retorno educacional:
• Retorno salarial positivo por ano adicional de escolaridade (calculada equação de Mincer com dados PNAD 2005)
• Retorno salarial negativo em função de menor desempenho na 8a série (elasticidade desempenho-renda por Curi e Menezes Filho 2007)
• Custos de oportunidade:
• Hipótese de entrada no mercado de trabalho apenas após escola
8
Exemplos: Política de Progressão Continuada
• Projeção de fluxo escolar: • Cálculo da diferença em anos completos de escolaridade, gerada pelo impacto
estimado nas taxas de fluxo escolar
• Considerando as seguintes hipóteses: • crianças entram na escola com 7 anos, • o abandono é irreversível; • a probabilidde de transição se mantem ao longo dos anos; • alunos que não concluem o ensino médio até os 21 anos desistem e
abandonam a escola • aqueles quem completam o ensino médio têm uma dada probabilidade de
entrar e terminar o ensino superior
9
Exemplos: Política de Progressão Continuada
Probabilidades de fluxo escolar (%)
Ciclos Pareadas
100.0 100.0
Conclusão do Ensino fundamental 61.3 50.0
na idade certa 28.3 14.6
Conclusão do Ensino Médio 36.5 24.0
na idade certa 11.9 5.6
Conclusão do ensino superior 8.4 5.5
8.2 6.7
Probabilidades relativas ao ensino superior: - de ingressar: 37,5% entre os que concluíram o Ensino Médio (IPEA) - de completá-lo: 61,1% (Inep/MEC)
Escolaridade média
10
Exemplos: Política de Progressão Continuada
Número de alunos que
concluem o nível
educacional
Ensino Fundamental
Tratadas (ciclo) 3,862,813 33,715,693
Pareadas 3,544,977 33,435,488
diferença 317,836 280,205
Ensino Médio
Tratadas (ciclo) 2,360,985 16,949,379
Pareadas 1,839,650 14,233,268
diferença 521,335 2,716,111
Ensino Superior
Tratadas (ciclo) 540,961 32,414,776
Pareadas 421,510 25,257,183
diferença 119,451 7,157,593
1,607
1,530
11,363
Custo total (R$ mil)* Custo médio por
aluno (R$)*
Custos do sistema educacional: matrículas de 2006 nas escolas tratadas
Fonte: Desenvolvimento pelos autores. * Em preços de 2005 em R$ (reais). **Inep/MEC 2005
11
Exemplos: Política de Progressão Continuada
Valor Presente Total (R$ bi)* Média (R$ por aluno)*
Ganho adicional de salário:
- impacto I 22.11 4235
- impacto II 20.2 3869
Custo adicional da educação 5.29 1014
Valor Presente Líqüido
- impacto I 16.82 3221 - impacto II 14.91 2855
VPL unitário (benefício/custo)
- impacto I 4.2 - - impacto II 3.8 -
TIR
- impacto I 12.10% - - impacto II 11.40% -
•Valores de 2005 •Taxa de desconto de 5% ao ano
• Impacto I: impacto da adoção do ciclo nas taxas de fluxo escolar
• Impacto II: incluindo as perdas salariais em função do desempenho dos alunos da 8ª série.
12
Exemplos: Programa Jovem de Futuro
• Objetivo: • Projetar retorno salarial esperado ao longo do ciclo de vida, dado impacto
encontrado em desempenho escolar
• Escopo do estudo: • Intervenções piloto (3 anos, com início em 2008) em POA – 25 escolas e BH
– 20 escolas: foco em impacto no 3o ano das escolas de BH
• Indicadores de impacto: • Desempenho escolar em Língua Portuguesa e Matemática • Evasão escolar
• Impactos encontrados:
• Desempenho escolar
• Fontes de informação: Relatórios de atividades Instituto Unibanco 2008 a 2010, e relatório de avaliação IETS 2011
13
Exemplos: Programa Jovem de Futuro
• Análise de custo-benefício:
• Investimento do Instituto Unibanco
• Retorno no mercado de trabalho
• Fluxo de retorno ao longo do ciclo de trabalho: hipótese de entrada no mercado de trabalho após escola; e saída com aposentadoria (65 anos de idade)
• Retorno educacional: • Elasticidade renda-desempenho, calculada por duas metodologias:
estudo de Curi e Menezes-Filho (2007) para o Brasil e de Hanushek e Zhang (2006) para o Chile.
• Ponderação de três trajetórias educacionais potenciais: não concluir Ensino Médio, concluir o Ensino Médio, e concluir o Ensino Superior.
14
Exemplos: Programa Jovem de Futuro
Nota inicial
dos tratados Impacto médio
Referência Impacto % no salário de 1 ponto adicional
na escala SAEB
Impacto total no salário
MG (impacto nas
escolas) 264,5 11,4
C. e M. (2007) 0,12% 1,37%
H. e Z.(2006) 0,3% 3,42%
Elasticidade salário-desempenho escolar
Taxa Média de Conclusão, dado que começou a cursar o Ensino Médio
Minas Gerais
Probabilidade de Não Concluir o Ensino Médio 53,70%
Probabilidade de concluir apenas o Ensino Médio 35,07%
Probabilidade de concluir o Ensino Superior 11,23%
* Fonte: IETS (2011): taxa média de conclusão do Ensino Médio ** Fonte: PNAD 2009: taxa média de conclusão do Ensino Superior
15
Exemplos: Programa Jovem de Futuro
Trajetórias educacionais e retorno educacional:
• Para cada trajetória educacional foi calculado um fluxo de renda através de uma
Equação de Mincer (dados PNAD 2009).
• A idade de entrada no mercado de trabalho e a renda inicial variam em cada trajetória.
Exemplo: Renda mensal estimada aos 30 anos
Trajetória MG
Não conclui o Ensino Médio R$ 574,71
Conclui apenas o Ensino Médio R$ 871,77
Conclui o Ensino Superior R$ 2.185,11
Obs: A renda esperada foi calculada para uma jornada de trabalho de 40h; aos desocupados foi atribuída renda zero.
16
Exemplos: Programa Jovem de Futuro
Retorno Econômico Jovem de Futuro – Minas Gerais
Impacto* 11,45
Taxa de Desconto a.a. 5,00%
Número de Escolas 20
Nº alunos
(3º ano de 2010) 3754
Cenário 1 Cenário 2
VP Benefício Salarial (por aluno) R$ 2.109,65 R$ 5.247,68
VP Custos (por aluno) R$ 788,87 R$ 788,87
VPL (por aluno) R$ 1.320,78 R$ 4.458,81
VPL Total ** R$ 4.958.216,97 R$ 16.738.372,23
VP benefício salarial/VP custo 2,67 6,65
TIR ao ano 10,76% 18,68%
*Média entre os impactos de Língua Portuguesa e Matemática Cenário 1:Transformação de desempenho escolar em salário segundo Curi e Menezes-Filho (2007) para o Brasil Cenário 2: Transformação de desempenho escolar em salário segundo Hanusheck e Zhang (2006) para o Chile
17
Exemplos: Treinamento Fábrica de Talentos
• Objetivo: • avaliar ROI do investimento em treinamento a distância para cargo de
entrada da Itaucred
• Escopo do estudo: • promotores de financiamento de veículos contratados em 2013
• Indicadores de impacto:
• NPV financeiro mensal (margem financeira por venda) ao longo de 2013
• Impactos encontrados:
• Impactos estatisticamente significativos para 2 canais de venda (onde há maior concorrência)
• Estudo realizado com dados internos Itaú Unibanco (2014)
18
Exemplos: Treinamento Fábrica de talentos
• Análise de custo-benefício:
• Custos considerados: • Custos fixos (rateados por treinado):
• Criação dos conteúdos de e-learning • Aluguel do espaço para realização do treinamento
• Custos de oportunidade: • Salário dos promotores • Vendas não realizadas
• no período de treinamento (previsão de dedicação de 3 dias) • Custos de perda do conhecimento:
• Custo de desligamento: calculado de acordo com total de desligamentos no período analisado
• Retorno em vendas:
• Impacto em NPV: considerados os promotores treinados dos 2 canais de venda com impacto, durante o período analisado
19
Exemplos: Treinamento Fábrica de talentos
1 mês 2meses
3meses
4meses
5meses
6meses
7meses
8meses
9meses
10meses
11meses
12meses
13meses
14meses
15meses
16meses
17meses
NPV por tempo de banco – Todos os canais
Até 3 meses 4 a 6 meses 7 a 9 meses 9 a 12 meses Acima de 12 meses
Impacto NPV
Curva de aprendizado
Impacto por trimestre de contratação