Avaliação Executiva de Projetos

Avaliação Executiva

de Projetos

Estado para Resultados

Agenda

Programa Estado para Resultados

Antecedentes

Modelos de Avaliações Executivas

A Experiência Piloto de Minas Gerais

Resultados da fase Piloto

Desafios

Missão: “Estruturar uma gestão por resultados efetiva no

Governo de Minas Gerais”

Vice-Governador

Coordenação Executiva

Unidade de Indicadores

Unidade de Empreendedores

Unidade de Gestão

Estratégica

Secretaria de

Planejamento

Parceiro

estratégico

Programa Estado para Resultados

GERAES: Gestão Estratégica de Recursos e

Ações do Estado

2003 2004 2006 2007 2010

A criação de uma carteira de projetos estratégicos aprimorou as

técnicas de planejamento e a priorizou o fluxo de recursos,

alinhando o plano e o orçamento.

A plataforma de gerenciamento com metodologia diferenciada de

monitoramento dos Projeto introduziu mecanismos que

incentivaram o atingimento das metas.

Projetos Estruturadores

31 Projetos Estruturadores

capacidade de transformar a estratégia do

governo em ações concretas

foco prioritário quanto à alocação de

recursos do Estado de Minas Gerais

2004 - 2007

2003 2004 2006 2007 2010

4% da despesa orçamentária em 2004

Investimentos com recursos do

tesouro estadual: R$ 354 milhões

Planejamento

Quais são os objetivos do

Governo?

Como alcançá-los?

Desenho dos

Projetos

Desenho Inputs Atividades ProdutosEfeitos e Impactos

Monitoramento dos Projetos

Desdobramento das metas e detalhamento do

cronograma das atividades

Desenho Inputs Atividades ProdutosEfeitos e Impactos

Modelo para Resultados

Estado para Resultados

2003 2004 2006 2007 2010

Consolidação do Equilíbrio Fiscal e do Gerenciamento Intensivo de Projetos

Resultados para a Sociedade

Projetos Estruturadores

31 Projetos Estruturadores

2004 - 2007

57 Projetos Estruturadores

11,5% da despesa orçamentária em

20082007 - 2010

4% da despesa orçamentária em 2004

Investimentos com recursos do

tesouro estadual: R$ 354 milhões

Investimentos com recursos do

tesouro estadual: R$ 3,4 bilhões

2003 2004 2006 2007 2010

Indicadores e Avaliações

» Criação de uma carteira de indicadores: Resultados

Finalísticos

» Desenvolvimento de avaliações para testar o marco causal

de alguns projetos

Desenho Inputs Atividades ProdutosEfeitos e Impactos

Modelo Causal Implícito

Resultados Finalísticos

Desenho Inputs Atividades ProdutosEfeitos e Impactos

Projetos Estruturadores

Aprimorando o Modelo Causal Implícito

Resultados Finalísticos

Desenho Inputs Atividades ProdutosEfeitos e Impactos

Projetos Estruturadores

Teste de Causalidade1

Avaliação de impacto

Testando o Modelo Causal Implícito

Resultados Finalísticos

Desenho Inputs Atividades ProdutosEfeitos e Impactos

Projetos Estruturadores

Avaliação Executiva de Projetos2

Viabilizar melhorias no

desenho e planejamento

dos Projetos com vistas

aos resultados finalísticos

almejados

2003 2004 2006 2007 20102009

ESTADOS UNIDOSProgram Assessment Rating Tool (PART), 2002

COLÔMBIA

Evaluación Ejecutiva (E2), 2008

MÉXICO

Consistencia y Resultados (CyR), 2007

Dezembro/2009

Conhecimento das experiências internacionais: Consultora Gita Becker Busjeet, Junho/2009

Aprofundamento e debate:

Ponto de partida: experiências internacionais

Resumo das experiências

Avaliação Modelo Características

Program Rating

Assessment Tool

(PART)

I

• 4 áreas: propósito e desenho, planejamento estratégico,

gerenciamento, e resultados

• 25 questões, formato binário principalmente (Sim/Não)

• Ocorre a cada 5 anos

• Ocasiona decisões orçamentárias.

Evaluación de

Programas

Gubernamentales

(EPG)

II

• 5 áreas: justificativa, desenho, organização e gestão,

resultados e sustentabilidade

• Questões abertas, amplas orientações fornecidas sobre

como responder às perguntas.

Evaluación

Ejecutiva (E2)I e II

• 6 áreas: resultados, desenho, insumos, gestão

operacional, estrutura organizacional e atividades de

avaliação e controle.

• Critérios específicos para cada seção.

• Escala de classificação de 1 a 4 para cada questão.

Consistencia y

Resultados (CyR)I e II

• 6 áreas: desenho, planejamento estratégico, focalização e

cobertura, operação, percepção da população-alvo,

resultados.

• 100 perguntas, formato binário e descritivas.

Avaliação Executiva de Projetos

Possibilitar uma visão geral e uniformizada sobre a carteira de Projetos Estruturadores do Estado de Minas Gerais

Objetivos específicos

Objetivo estratégico

Subsidiar a tomada de

decisão

Avaliar a maturidade dos

Projetos

Institucionalizar a Avaliação

Consolidar a metodologia

Características da Avaliação

Imparcialidade e Independência

Baseada em Evidências Objetivas

Foco em Oportunidades de Melhorias

Igualdade de critérios para

todos os Projetos

Caráter Consultivo

Principais atores

Equipe GERAES

Avaliadores

Gerente e Equipe do Projeto

Conselho Gestor

InicializaçãoRealização

de entrevistas

Coleta de evidências

Elaboração dos

RelatóriosDevolutiva Finalização

Como avaliar?

InicializaçãoRealização

de entrevistas

Coleta de evidências

Elaboração dos

RelatóriosDevolutiva Finalização

Kick-off com a equipe do Projeto

Como avaliar?

InicializaçãoRealização

de entrevistas

Coleta de evidências

Elaboração dos

RelatóriosDevolutiva Finalização

Manual de Aplicação

Como avaliar?

27 perguntas distribuídas em 4 eixos

EIXO OBJETIVO Nº

PROPÓSITO E

CONCEPÇÃO

Examinar a clareza da concepção do Projeto e a precisão

em seu propósito (objetivo, público-alvo, escopo, etc).06

PLANEJAMENTOAvaliar a presença elementos essenciais de planejamento

como metas, indicadores, cronograma de atividade, etc.07

GERENCIAMENTO

Avaliar a gestão sobre a supervisão financeira, avaliação

dos avanços físicos das atividades, compilação de dados de

desempenho, sustentabilidade e responsabilização das

ações e atividades.

09

RESULTADOS

/ACCOUNTABILITY

Avaliar os resultados alcançados, a transparência na

execução das ações e a publicização de informações.05

Mapa Conceitual AEP

Como avaliar?

InicializaçãoRealização

de entrevistas

Coleta de evidências

Elaboração dos

RelatóriosDevolutiva Finalização

Relatório ExecutivoRelatório Completo

Como avaliar?

InicializaçãoRealização

de entrevistas

Coleta de evidências

Elaboração dos

RelatóriosDevolutiva Finalização

Espaço para solicitações de Mudança

Como avaliar?

InicializaçãoRealização

de entrevistas

Coleta de evidências

Elaboração dos

RelatóriosDevolutiva Finalização

57 PROJETOS ESTRUTURADORES

OPORTUNIDADES DE MELHORIA

Pontos mais avançados dos projetos

Os eixos de concepção e gerenciamento apresentaram maior presença de elementos desejáveis

71%

0%

20%

40%

60%

80%

100%

Concepção

Menor = 50%

Maior = 100%

47%

0%

20%

40%

60%

80%

100%

Gerenciamento

Menor = 33%

Maior = 67%

Pontos mais vulneráveis dos projetos

Os eixos de planejamento e resultados apresentaram maior espaço para oportunidades de melhoria

39%

0%

20%

40%

60%

80%

100%

Planejamento

Menor = 0%

Maior = 71%

25%

0%

20%

40%

60%

80%

100%

Resultados / Accountability

Menor = 20%

Maior = 40%

2010

1610

17

21 4

0

20

13

13

10

4

8

4

4

0

20

40

60

80

100

1 2 3 4

Resultados/Accoutability

Gerenciamento

Planejamento

Propósito e Concepção

Resultado Final

245261 38 A ausência dos elementos

necessários aos requisitos da

avaliação sugere espaço para

oportunidades de melhorias

Nota Final

12 NÃO 13 NÃO 16 NÃO 20 NÃO

Desafios

DESAFIO 1: Como adequar as experiências internacionais ao

contexto mineiro sem que se perca a comparabilidade entre as

avaliações?

DESAFIO 2: Como institucionalizar a avaliação executiva de

projetos?

DESAFIO 3: Como acompanhar a utilização das oportunidades

de melhoria identificadas?

DESAFIO 4: Como publicizar os resultados da avaliação?

Diana Martins Barbosadiana.barbosa@planejamento.mg.gov.br