Upload
buidan
View
217
Download
2
Embed Size (px)
Citation preview
www.coneval .gob.mx
Nereida Hernández ReyesDirección General Adjunta de Coordinación
Septiembre 2008
Sistema de Monitoreo y Evaluación basado en resultados:
Caso México
ÍNDICE
� Antecedentes
� Marco Normativo Anterior
� Nuevo Marco Normativo
� Coneval
� La Estrategia de Evaluación y Monitoreo
� Avances en el tema de evaluación
� Avances en el tema de indicadores
ANTECEDENTES
• 1990´s: Algunas evaluaciones de programas y nuevas formas de presupuestación
• 2000: Inicio normativo sin una estrategia clara
• 2000-2006: Desarticulación de la evaluación con la mejora en la gestión
− PEF y Acuerdo entre SHCP y SFP− Ausencia de una estrategia de monitoreo− Agenda del Buen Gobierno, e Iniciativas de Innovación y Calidad
Gubernamental− Sistema de Metas Presidenciales
• 2005: Impulso normativo de la evaluación solo en el sector social, pero aún desarticulado con la mejora en la gestión pública
− Creación del Coneval
− Primer impulso normativo al monitoreo
− Vínculo con Pobreza
ÍNDICE
� Antecedentes
� Marco Normativo Anterior
� Nuevo Marco Normativo
� Coneval
� La Estrategia de Evaluación y Monitoreo
� Avances en el tema de evaluación
� Avances en el tema de indicadores
MARCO NORMATIVO PREVIO
¿Qué demandan las autoridades?
• Presupuesto de Egresos de la Federación (a partir del 2000)– Informes Trimestrales sobre el avance de presupuesto– Evaluación Externa y Anual– Informar los recursos entregados a beneficiarios– Apartado específico sobre el bienestar, la equidad, la igualdad y la
no discriminación de las mujeres, jóvenes e indígenas.– Difusión a través de Internet– El objeto: Proceso de análisis y aprobación del presupuesto del
siguiente año
• Existe una mezcla de Monitoreo y Evaluación de “fin o impacto”, en dos instrumentos específicos y diferentes
MARCO NORMATIVO PREVIO
¿Qué demandan las autoridades?
• Acuerdo de Requisitos Mínimos (2002)– Porcentaje de cumplimiento de objetivos
– Cobertura– Satisfacción de la población objetivo
– Cumplimiento de Reglas de Operación– En términos de impacto, beneficios económicos y sociales– Costo-beneficio de los recursos asignados– Verificación en campo del cumplimiento de metas físicas y financieras– Escenario prospectivo y opinión sobre permanencia, readecuación o
conclusión• Existe una mezcla de Monitoreo, Evaluación de “fin o impacto”, Evaluación
de “Resultados o Propósito” y Evaluación de “Componentes y/o Actividades”, todo en un mismo instrumento.
• No necesariamente refleja el espíritu de la demanda del PEF
Esquema de Evaluación 2002-2006• Características:
– Evaluación Externa– Periodo Anual, con dos informes (septiembre y marzo)– Se distribuye a la SHCP, SFP y el Congreso– Difusión a través de Internet– El proceso de contratación es individual y a través de la Ley de
Adquisiciones– Algunos programas:
– Entregan los informes sólo por cumplir y no usan la información– Agregan y/o eliminan temas en la evaluación– En una menor proporción, usan información para informes
oficiales, planeación y monitoreo
MARCO NORMATIVO PREVIO
DIAGNÓSTICO - VENTAJAS
• Se ha avanzado en la cultura de la evaluación
• Existen casos particulares de evaluaciones que han apoyado la toma de decisiones
• Existe un respaldo normativo para institucionalizar un M&E
– Ley General de Desarrollo Social,
– CONEVAL,
– Ley Federal de Presupuesto y Responsabilidad Hacendaria,
– PEF 2007
• Actores principales conscientes de la poca efectividad del sistema vigente: SHCP, Función Pública, Congreso
• Transición política favorable para la introducción de cambios
• Elementos de M&E desarticulados y no alienados conceptual, metodológica ni operacionalmente
• Alto costo de esquema actual: Cada evaluación cuesta aprox. $1 millón: 170 programas: $170 millones al año.
… y con poca utilidad• Percepción del sistema de M & E como instrumento de fiscalización, y
no de gestión y rendición de cuentas• La medición de Resultados no es una prioridad para el programa o la
dependencia.Mucho énfasis en indicadores de ejercicio del recurso y de cantidades de bienes y servicios entregados
• No hay claridad en los objetivos estratégicos de las dependencia• Muchos indicadores que no se usan para una gestión por resultados• Lineamientos actuales poco flexibles• Seguimiento limitado a las recomendaciones generadas de la
evaluación
DIAGNÓSTICO - DESVENTAJAS
ÍNDICE
� Antecedentes
� Marco Normativo Anterior
� Nuevo Marco Normativo
� Coneval
� La Estrategia de Evaluación y Monitoreo
� Avances en el tema de evaluación
� Avances en el tema de indicadores
NUEVAS REGLAS DEL JUEGO
2007: Una oportunidad para mejorar el marco normati vo
• Ley General de Desarrollo Social (2004)
– Establece un Sistema Nacional de Desarrollo Social en el que participen los gobiernos municipales, de las entidades federativas y el federal;
– Mecanismos de evaluación y seguimiento de los programas y acciones de la Política Nacional de Desarrollo Social
• Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006)
– Todos los programas: evaluación externa
– Sistema de Evaluación del Desempeño
– Programa de Mejoramiento de la Gestión (SFP)
• PEF 2007. Cámara de Diputados
– Establecer Objetivos Estratégicos
– Matriz de Indicadores, ligada a Objetivos Estratégicos
– CONEVAL, SHCP y SFP coordinan el sistema de evaluación y monitoreo
• CONEVAL (2005)
• Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006)
• Programa de Mejoramiento de la Gestión SFP
• PEF 2007. Cámara de Diputados
NUEVAS REGLAS DEL JUEGO
Lineamientos de Evaluación y Monitoreo (Marzo 2007)
Lineamientos de Evaluación y Monitoreo (Marzo 2007)
ÍNDICE
� Antecedentes
� Marco Normativo Anterior
� Nuevo Marco Normativo
� Coneval
� La Estrategia de Evaluación y Monitoreo
� Avances en el tema de evaluación
� Avances en el tema de indicadores
EL CONEVAL
• Ley General de Desarrollo Social establece la creación del CONEVAL, cuyo propósito es revisar el cumplimiento del objetivo social de los programas, metas y acciones a través de:– Normar y coordinar la evaluación de la Política y Programas de Desarrollo Social
– Aprobar los indicadores de resultados, gestión y servicios que serán sometidos a consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF
– Establecer los criterios para la definición, identificación y medición de la pobreza
• Contribuir a la toma de decisiones de Política de desarrollo Social y combate a la pobreza y rezago social en México– Información útil, objetiva y oportuna
• El CONEVAL está integrado por 6 investigadores académicos electos democráticamente por la CNDS, a través de una convocatoria pública – También lo integran el Secretario de Desarrollo Social y un Secretario Ejecutivo
designado por el Ejecutivo Federal
Alineación del Coneval a la Planeación Nacional
EJE 5.DEMOCRACIA EFECTIVA.
Objetivo 4. Mejorar la regulación, la gestión, los procesos y los resultados de la APF
EJE 5.DEMOCRACIA EFECTIVA.
Objetivo 4. Mejorar la regulación, la gestión, los procesos y los resultados de la APF
OBJETIVOS DEL PROGRAMA DE DESARROLLO SOCIAL
OBJETIVOS DEL PROGRAMA DE DESARROLLO SOCIAL
OBJETIVO ESTRATÉGICO DEL CONEVAL
Mejorar la eficacia y eficiencia, así como la rendición de cuentas de la política de desarrollo social mediante la evaluación y monitoreo de programas y políticas sociales y la medición de la pobreza
OBJETIVO ESTRATÉGICO DEL CONEVAL
Mejorar la eficacia y eficiencia, así como la rendición de cuentas de la política de desarrollo social mediante la evaluación y monitoreo de programas y políticas sociales y la medición de la pobreza
PND
PDS
Entidad
COMISIÓNINTERSECRETARIAL
COMISIÓNNACIONAL
CONSEJO CONSULTIVO
• Analiza y propone programas y acciones que inciden en la Política Nacional de Desarrollo Social
•Propone partidas y montos de gasto social
•Ordena la Política Social a nivel Federal
•Coordinación de programas y acciones de dependencias y entidades federales
CONSEJO DE EVALUACIÓN
•Norma y analiza las evaluaciones
•Evalúa la política•Define pobreza•Recomendaciones
DEPENDENCIAS Y ENTIDADES
•Operación de los programas, acciones y fondos
CONSULTIVA POLÍTICA OPERATIVA
TÉCNICA-EVALUACIÓN
SISTEMA NACIONAL DE DESARROLLO SOCIAL
ÍNDICE
� Antecedentes
� Marco Normativo Anterior
� Nuevo Marco Normativo
� Coneval
� La Estrategia de Evaluación y Monitoreo
� Avances en el tema de evaluación
� Avances en el tema de indicadores
Rendiciónde cuentas
• PND• Programas Sectoriales• Objetivos de las Dependencias• Programas Federales
• PND• Programas Sectoriales• Objetivos de las Dependencias• Programas Federales
Diagnóstico
Diseño
Presupuesto
Operación
Evaluación y Monitoreo (Indicadores)
HERRAMIENTAS DE PLANEACIÓN
Objetivos EstratégicosObjetivos
Estratégicos
Matriz de Marco Lógico
Matriz de Marco Lógico
Sistema de EvaluaciónDel Desempeño (SED)
Sistema de EvaluaciónDel Desempeño (SED)
Resultados Diferentes tipos de Evaluación
Diferentes tipos de Evaluación
Programa Anual de Evaluación
Programa Anual de Evaluación
EvaluacionesComplementarias
EvaluacionesComplementarias
Programas NuevosProgramas Nuevos
Gestión para Resultados
Convenio de Compromisos para el Mejoramiento de la Gestión
Convenio de Compromisos para el Mejoramiento de la Gestión
SISTEMA DE EVALUACIÓN Y MONITOREO
Política de Desarrollo Social Nivel 1
Programas Sectoriales
Nivel 2
Objetivos de las dependencias
Nivel 3
Programas presupuestarios
Nivel 4
Objetivos NacionalesEjes política pública
Objetivos y Estrategias
Objetivos NacionalesEjes política pública
Objetivos y Estrategias
Objetivos de los Programas
del PNDEstrategias
Líneas de acción
Objetivos de los Programas
del PNDEstrategias
Líneas de acción
Objetivo estratégico de la Dependencia
Objetivo estratégico de la Dependencia
FinPropósitoComponentesActividad
Reglas de operaciónReglas de operación
PLANEACIÓN INCOMPLETA SI NO SE LLEGA A ROP
PROGRAMAS POR OBJETIVO NACIONAL
2
OBJETIVO NACIONALPROGRAMAS ALINEADOS
Objetivo 1Garantizar la integridad y asegurar la viabilidad del Estado y de la democracia
1
Objetivo 2Garantizar la vigencia plena del Estado de Derecho, fortalecer el marco institucional y afianzar una sólida cultura de legalidad
0
Objetivo 3 Alcanzar un crecimiento económico sostenido 5
Objetivo 4Economía competitiva que ofrezca bienes y servicios de calidad a precios accesibles
25
Objetivo 5 Reducir la pobreza extrema y asegurar la igualdad de oportunidades 52
Objetivo 6 Reducir significativamente las brechas sociales, económicas y culturales 21
Objetivo 7 Garantizar que los mexicanos cuenten con oportunidades efectivas 6
Objetivo 8 Asegurar la sustentabilidad ambiental 23
Objetivo 9 Consolidar un régimen democrático 0
Objetivo 10 Aprovechar los beneficios de un mundo globalizado para impulsar el desarrollo nacional
0
Total 133
2
Reducir las brechas sociales, económicas y culturales persistentes en la sociedadIgualdad de Oportunidades
Grupos Prioritarios
3.4 Pueblos Indígenas3.5 Igualdad entre mujeres y
hombres3.6 Grupos Vulnerables 3.7 Familia, niños y jóvenes
15. Incorporar plenamente a los pueblos y comunidades indígenas al desarrollo económico, social y cultural con respeto a sus tradiciones históricas
16. Eliminar cualquier discriminación por motivos de género y garantizar la igualdad de oportunidades
17. Abatir la marginación y el rezago que enfrentan los grupos sociales vulnerables para proveer igualdad en las oportunidades
18. Desarrollar una política pública dirigida a la familia con el fin de reducir la vulnerabilidad social
19. Garantizar las condiciones necesarias para el desarrollo integral de los jóvenes
20. Promover el desarrollo sano e integral de la niñez mexicana
Turismo Alternativo en Zonas Indígenas (PTAZI)
Apoyo a las Instancias de Mujeres en las Entidades Federativas
Mujer en el Sector Agrario (PROMUSAG)
Atención a Familias y Población Vulnerable (18)
Coordinación para el Apoyo a la Producción Indígena (PROCAPI)
Guarderías y estancias infantiles para apoyar a madres trabajadoras
Coinversión SocialProtecció n y Desarrollo Integral de la
Infancia (20)
Atención a Indígenas Desplazados (Indígenas urbanos y migrantes
desplazados)
Atención a los Adultos Mayores de 70 años y más en Zonas Rurales
Proyectos de comunicación indígena
Atención a Jornaleros Agrícolas
Infraestructura Social Básica (PIBAI)Modelo de Educación para la Vida y
el Trabajo (INEA)
Promoción de Convenios en Materia de Procuración de Justicia (PCMJ)
Fortalecimiento de la Educación Especial y de la Integración
EducativaFomento y Desarrollo de las Culturas Indígenas (PFDCI)
Atención a Personas con Discapacidad
Fondos Regionales Indígenas (PFRI)
Organización Productiva para Mujeres Indígenas (POPMI)
Albergues Escolares Indígenas (PAEI)
PRINCIPALES INSTRUMENTOS DE ESTA NUEVA GESTIÓN PARA RESULTADOS
• “Matriz de Indicadores” (marco lógico). Permite focalizar la atención y los
esfuerzos de una dependencia o entidad, así como apoyar los procesos de
planificación, diseño, monitoreo y evaluación
• “Lineamientos generales de evaluación” (DOF, marzo 2007) con varios tipos de
evaluaciones y mayor libertad para temas específicos
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS: OBJETIVOS
• Busca medir, de manera homogénea , el desempeño global de los
Programas (gestión y RESULTADOS)
• Con base en los resultados de la evaluación, se espera que los
programas mejoren su diseño y gestión ; volverán a ser evaluados en
un futuro
• La evaluación 2007 fue un “Diagnóstico” de la orientación de los
programas hacia una gestión para RESULTADOS
• En años posteriores, la evaluación deberá contener adicionalmente una
comparación con los resultados encontrados en la evaluación de
consistencia y resultados que se haya efectuado con anterioridad
IMPORTANCIA DE LA EVALUACIÓN DE CONSISTENCIA Y RESULTADOS
• La evaluación servirá para tomar decisiones de política pública con el fin de
mejorar la gestión y los resultados de los programas
• Se desarrollan seminarios entre evaluadores, junto con servidores
públicos, para analizar conjuntamente los resultados de las evaluaciones y
metodologías aplicadas
• Los evaluadores presentaron al H. Congreso de la Unión, al CONEVAL, a
la SHCP y a la SFP, los resultados obtenidos de la evaluación
• Las evaluaciones son difundidas públicamente con el objetivo de que los
actores claves y la ciudadanía en general, conozcan el desempeño de los
programas
• El CONEVAL también elabora una evaluación del proceso de evaluación,
que incluye la calidad de las evaluaciones
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS
• Evaluación exclusivamente de gabinete
• 5 temas de evaluación: diseño, planeación estratégica, cobertura y
focalización, operación, percepción de los beneficiarios, resultados
• 100 preguntas específicas relacionadas con los temas de evaluación
• Respuestas específicas, en su mayoría, en esquema binario (SI o NO)
fundamentada con evidencia documental y análisis de la misma
– Respuestas apoyadas en la información y documentación con la que
cuenta el programa
• Identificación concisa de fortalezas y oportunidades, debilidades y amenazas
para cada tema de evaluación
• Al menos una recomendación precisa para solventar el problema identificado y
mejorar el diseño y la gestión del programa
TEMAS RELEVANTES
• ¿El programa lleva a cabo una gestión para Resultad os? ¿Cómo poder
apoyarlo para que así suceda?
• ¿El programa tiene una clara razón de ser ? ¿Está claramente combatiendo
un problema , identificado de manera objetiva?
• ¿El programa tiene una lógica interna clara?
• ¿El programa tiene indicadores de Resultados , que son recabados de
manera sistemática?
• ¿Más allá de metas financieras, el programa ha podido documentar que ha
venido resolviendo el problema que busca atender?
• ¿El programa cuenta con instrumentos que le permitan medir el grado de
satisfacción de la población objetivo con los servicios que se brindan?
• ¿El programa tiene mecanismos para establecer y definir metas e
indicadores?
• ¿El programa ha identificado claramente a la población objetivo? ¿Cuál es
su cobertura ?
• ¿Existe información sistematizada y actualizada que permita conocer
quiénes reciben los apoyos y sus características (Padrones )?
• ¿Existe evidencia documental de que el programa cumple con los procesos
de ejecución establecidos en las ROP?
• ¿Existe evidencia de que el programa tiene un adecuado sistema de
monitoreo que proporcione información oportuna y confiable para la toma
de decisiones?
• ¿El programa le ha dado seguimiento a las recomendaciones
provenientes de las evaluaciones externas previas?
TEMAS RELEVANTES
MATRIZ DE INDICADORES (MARCO LÓGICO)
• Hoy en día es difícil conocer la lógica interna de los programas y por lo tanto saber si su diseño es el adecuado para alcanzar los objetivos planteados (resultados en la población objetivo)
• Por otro lado, se reportan muchos indicadores , no necesariamente útiles para medir el desempeño del programa y tomar decisiones (medición parcial: GESTIÓN)
• En el 2007 los programas iniciaron la construcción de una matriz de indicadores que permita la identificación de sus objetivos, sus relaciones causales, los indicadores y los supuestos o riesgos que pueden influir en el éxito o fracaso del mismo.
Componentes
Actividades
Propósito
Fin
Impl
emen
taci
ónR
esul
tado
s
Contribuir a que la población desempleada en pobreza tenga un mejor acceso a empleos de calidad
Mejorar los conocimientos técnicos de los desempleados en situación de pobreza extrema
1.- Capacitación a individuos en pobreza extrema desempleados2.- Beca de apoyo a familias beneficiadas
- Focalización Geográfica1.1 Identificación y selección de familias en pobreza extrema2.1 Distribución de las becas de apoyo
ESQUEMA LÓGICO DE UN PROGRAMA
Porcentaje de capacitados que obtienen un mejor trabajo
Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos técnicos adecuados
1.- Porcentaje de cursos y talleres realizados2.- Porcentaje de becas repartidas3.- Monto total de las becas repartidas4.- Porcentaje de desempleados capacitados
1.- % del presupuesto ejercido2.- Costo promedio x actividad3.- Costo promedio de distribución de la beca
Componentes
Actividades
Propósito
Fin
Impl
emen
taci
ónR
esul
tado
sMENOS Y MEJORES INDICADORES
Componentes
Actividades
Propósito
Fin
Objetivos Nacionales
Res
ulta
dos
… Y A ESTO EN UN SEGUNDO MOMENTO
PROGRAMAS NUEVOS
• La evaluación de los programas nuevos analiza la consistencia del diseño del programa
• Como parte de la evaluación externa, o a través de un ejercicio interno, las dependencias o entidades deberán realizar:– Los mecanismos de elegibilidad para la selección de proyectos
y/o beneficiarios;– Los mecanismos de atención del programa;– La entrega o distribución del apoyo del Programa;– El registro de operaciones programáticas y presupuestales;– La rendición de cuentas, transparencia y difusión de
información; y– Otros aspectos que solicite el Consejo o que considere
conveniente incluir el Programa.
INICIOINICIO
1 UE y PROGRAMA
Análisis y selección de los aspectos
susceptibles de mejora
1 UE y PROGRAMA
Análisis y selección de los aspectos
susceptibles de mejora
2 UE y UR
Clasificación de los aspectos
susceptibles de mejora
2 UE y UR
Clasificación de los aspectos
susceptibles de mejora
3 UE y UR
Formulación de instrumentos
susceptibles de mejora
3 UE y UR
Formulación de instrumentos
susceptibles de mejora
4 DEPENDENCIAS Y ENTIDADES
Difusión de los aspectos susceptibles de mejora
4 DEPENDENCIAS Y ENTIDADES
Difusión de los aspectos susceptibles de mejora
FINFIN
Criterios de selección
a) Claridadb) Relevanciac) Justificaciónd) Factibilidad
Criterios de selección
a) Claridadb) Relevanciac) Justificaciónd) Factibilidad
Rubros de Clasificación
a ) Específicosb) Institucionalesc) Coordinación intergubernamentald) Generales de Política pública
Rubros de Clasificación
a ) Específicosb) Institucionalesc) Coordinación intergubernamentald) Generales de Política pública
SEGUIMIENTO A LOS RESULTADOS DE LAS ECR 2007
Niveles de Prioridad
a ) Altab) Mediac) Baja
Niveles de Prioridad
a ) Altab) Mediac) Baja
2007 2008 2009 2010-12
Evaluación de Consistencia
(Gabinete)
1. Diseño
2. Cobertura y focalización
3. Planeación
4. Operación
5. Resultados
6. Percepción de los Beneficiarios
Evaluaciones Estratégicas
Programa Anual de Evaluación
Diseño del Sistema de Evaluación del
Desempeño
(SED-SHCP)
SED SED SED
Est
rate
gia
de E
valu
ació
n y
Mon
itore
o
Evaluación de Impacto
Matriz de Marco LógicoMatriz de Marco
LógicoMatriz de Marco
Lógico
Matriz de Marco Lógico
Evaluaciones Temáticas
Evaluaciones Estratégicas
Programa Anual de Evaluación
Evaluación de Impacto
Evaluaciones Temáticas
Evaluaciones Estratégicas
Programa Anual de Evaluación
Evaluación de Impacto
Evaluaciones Temáticas
Evaluaciones Estratégicas
Programa Anual de Evaluación
Evaluación de Impacto
Evaluaciones Temáticas
SED:
-Monitoreo de Indicadores
-Resultado de las Evaluaciones
-Seguimiento a Recomendaciones
SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN
Evaluación Externa1. Diseño 8
2. Cobertura y focalización 9
3. Planeación 5
4. Operación 9
5. Resultados 7
6. Percepción de los Beneficiarios 9
SED
2007
Preparación para un SM&E basado en Resultados
2008 2009 …2010 2011
0 < p < 1
Evaluación Externa
1. Diseño 8
2. Cobertura y focalización 93. Planeación 8
4. Operación 5
5. Resultados 7
6. Percepción de los Beneficiarios 9
SE REQUIERE UNA EVALUACIÓN DE
OPERACIÓN
SE REQUIERE UNA EVALUACIÓN DE
PLANEACIÓN
Evaluación de Consistencia1. Diseño2. Cobertura y focalización3. Planeación4. Operación5. Resultados6. Percepción de los Beneficiarios
Evaluaciones Estratégicas
Programa Anual de Evaluación
Diseño del Sistema de Evaluación del
Desempeño
(SED-SHCP)
Evaluación de Impacto
Matriz de Marco Lógico
Evaluaciones Temáticas
Evaluación de Consistencia
1. Diseño
2. Cobertura y focalización
3. Planeación
4. Operación
5. Resultados
6. Percepción de los Beneficiarios
Evaluaciones Estratégicas
Programa Anual de Evaluación
Diseño del Sistema de Evaluación del
Desempeño
(SED-SHCP)
Evaluación de Impacto
Matriz de Marco Lógico
Evaluaciones Temáticas
Matriz de Marco Lógico
SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN
ÍNDICE
� Antecedentes
� Marco Normativo Anterior
� Nuevo Marco Normativo
� Coneval
� La Estrategia de Evaluación y Monitoreo
� Avances en el tema de evaluación
� Avances en el tema de indicadores
� En octubre de 2007 se recibieron 116 Informes del tema de Diseño de las Evaluaciones de Consistencia y Resultados
� El CONEVAL analizó 116 Informes detectado las siguientes recomendaciones:1. Elaborar o actualizar diagnósticos que sustente la razón de ser del programa y que dé
cuenta de la situación actual del problema a resolver
2. Ampliar las capacidades de los sistemas de información que permitan contar con indicadores más precisos
3. Establecer medios de verificación validados para los indicadores
4. Identificar, definir y caracterizar de manera puntual a la población potencial y objetivo
5. Identificar las fuentes de información más actualizadas y confiables para la cuantificación de la población que se pretende atender
6. Construir sistemas de información que registren a los beneficiarios del programa
7. Que las ROP y la Matriz de Indicadores guarden consistencia y expresen adecuadamente el diseño de los programas
8. Evaluar la posibilidad de coordinación y colaboración con otras dependencias y entidades, para potenciar las complementariedades y evitar duplicidades entre programas
9. Delimitar el ámbito de competencia de los programas eliminando la posibilidad de duplicidad con otros programas
Resultados de Evaluación
RESULTADOS EN EVALUACIÓN
� Se recibieron106 Evaluaciones de Consistencia y Resultados
� Se recibieron 13 Evaluaciones de Diseño
� Se realizó un análisis por programa evaluado, así como el análisis por tema evaluado
Documenta Resultados
Tipo Resultados
1Programa De Abasto Social De Leche (LICONSA)
1,941.5 100% 71% 50% 100%
2Programa De Desarrollo Humano (OPORTUNIDADES)
37,211.0 100% 27% 75% 100%
Resultados FinalesNo. Programa
Presupuesto 2008
Diseño Planeación Cobertura Operación
Documenta Resultados
Tipo Resultados
1Fondo Para Atender A La Población Rural Afectada Por Contingencias Climatológicas
900.0 56% 29% 25% 100%
2 Programa De Apoyos Directos Al Campo 16,678.0 16% 43% 25% 63%
No.Resultados Finales
ProgramaPresupuesto
2008Diseño Planeación Cobertura Operación
SEDESOL:
SAGARPA
EJEMPLOS ESPECÍFICOS
Documenta Resultados
Tipo Resultados
1 Programa Comunidades Saludables 64.3 100% 86% 25% 63%
2Programa de Atención a Personas con Discapacidad (SNDIF)
325.9 44% 57% 50% 100%
OperaciónResultados Finales
No. ProgramaPresupuesto
2008Diseño Planeación Cobertura
SSA
HALLAZGOS DISEÑO
TEMA HALLAZGOS
Identificación del problema
71 % de los programas tiene claramente identificado el problema que atienden
67 %cuenta con objetivos que corresponden a la solución del problema que atienden
Población a atender
58 %tiene un diseño adecuado para alcanzar su propósito y atender a la población objetivo
47 % de los programas tiene definida a la población total que presenta el problema
Lógica causal
76 %de los programas tienen claro que el logro de su propósito contribuye a la solución de un problema de desarrollo o la consecución de los objetivos estratégicos de las dependencias y entidades
44 % cuentan con una matriz de indicadores clara y válida (lógica vertical)
66 % tienen un diseño claramente expresado en la normatividad
50 % de los programas definieron bienes y servicios públicos necesarios y suficientes para el logro del su propósito
Instrumentos de monitoreo
41 % tienen indicadores claros, relevantes, económicos, monitoreables y adecuados
35 %de los programas pueden medir el nivel de logro de sus resultados esperados a cada nivel de sus objetivos (lógica horizontal)
HALLAZGOS PLANEACIÓN ESTRATÉGICA
TEMA HALLAZGOS
Orientación a resultados
58 %de los programas utilizan los resultados de las evaluaciones para mejorar su desempeño
51 %tienen metas pertinentes y plazos específicos para sus indicadores de desempeño
49 %tienen un número suficiente de indicadores orientados a resultados que reflejen su propósito
21 % de los planes establecen claramente los resultados que se buscan alcanzar
Instrumentos de planeación
25 % cuentan con planes estratégicos a corto, mediano y largo plazo
23 %de los planes establecen indicadores, metas, estrategias, políticas y programas de trabajo
27 %de los programas tienen mecanismos para establecer y definir metas e indicadores
HALLAZGOS COBERTURA Y PERCEPCIÓN
COBERTURA Y FOCALIZACIÓN:
TEMA HALLAZGOS
Definición de la Población Objetivo
y Estrategia de Cobertura
24 % de los programas cuantifica su población objetivo y potencial
25 % tienen un avance adecuado para cumplir con su propósito
23 % cuenta con una estrategia de cobertura a corto, mediano y largo plazo
21 % de los programas se considera que la estrategia de cobertura es la adecuada
TEMA HALLAZGOS
Medición de la percepción de los
beneficiarios
54 %de los programas cuentan con instrumentos para medir el grado desatisfacción de la población objetivo
37 % presentan información objetiva
PERCEPCIÓN DE BENEFICIARIOS:
HALLAZGOS OPERACIÓN
TEMA HALLAZGOS
Cumplimiento con normatividad
84 %de los programas cumplen con la normatividad establecida para la entrega de apoyos
89 %tienen evidencia documental de que cumple con los procesos de ejecución establecidos
Eficacia en la operación
76 % tienen procedimientos adecuados para procesar solicitudes de apoyo
72 %tienen procesos estandarizados y adecuados para la selección de proyectos y beneficiarios
Infraestructura necesaria
80 % cuentan con una estructura organizacional que le permite alcanzar su propósito
80 % tienen información sistematizada que permita dar seguimiento oportuno a la ejecución de obras y/o acciones
84 % de los programas cuentan con indicadores de eficacia en la operación
61 %tienen información sistematizada adecuada en la administración y operación del programa
HALLAZGOS RESULTADOS
TEMA HALLAZGOS
Información sobre el
progreso en el cumplimiento de
objetivos
36 % de los programas han demostrado adecuado progreso en alcanzar sus objetivos
42 %de los programas recolectan información veraz y oportuna sobre los indicadores que miden sus objetivos
26 % han llevado a cabo evaluaciones externas que le permitan medir su impacto
ÍNDICE
� Antecedentes
� Marco Normativo Anterior
� Nuevo Marco Normativo
� Coneval
� La Estrategia de Evaluación y Monitoreo
� Avances en el tema de evaluación
� Avances en el tema de indicadores
– 389 programas presupuestarios con matriz de indicadores,
identificando indicadores de resultados, no sólo de gestión y de
producto
– Presupuesto 2008 con 3,975 indicadores estratégicos y de gestión
– La SHCP en coordinación con las dependencias seleccionaron
258 indicadores para dar seguimiento al presupuesto (178 son
de resultados)
– 87% de los programas presupuestarios que otorgan subsidios
(modalidad presupuestal S y U) presentaron una matriz de
indicadores parcial o totalmente consistente
– 2,128 indicadores, de los cuáles 564 son de resultados
AVANCES EN EL TEMA DE MI
SEMÁFORO GENERAL ABRIL DE 2008
Semaforización de las matrices de indicadores, Abril 2008
• 133 MI fueron analizadas considerando:–El cumplimiento de la definición de sus elementos (PND, Fin,
Propósito, Componentes y Actividades)–La lógica que presenta cada uno de ellos (Vertical y Horizontal)
(19%) Matrices de Indicadores consistentes,(68%) Matrices de Indicadores parcialmente consistentes,requieren cambios, principalmente en sus indicadores(13%) Matrices de Indicadores con insuficiente consistencia. En ellas se requieren cambios significativos para fortalecer la coherencia del diseño
SEMÁFORO: DISEÑO DE LAS MATRICES
– El 50% de las matrices no cuentan con los componentes (bienes y servicios que produce o entrega) necesarios y suficientes para que el programa alcance su propósito.
– En el 26% de las matrices se identifican múltiples propósitos, y no es claro cuál es el objetivo esperado en la población como resultado de la ejecución del programa.
– En el 24% de las matrices no se identifica con claridad la contribución que el propósito hace al fin del programa.
– En el 10% el fin no está claramente vinculado con el objetivo estratégico de la dependencia.
SEMÁFORO: DISEÑO DE LAS MATRICES
– El 61% de las matrices no cuenta con indicadores necesarios y suficientes que permitan medir adecuadamente el desempeño del Programa a nivel de Componentes.
– Esto también se observa en el 55% y 59% de las matrices a nivel de Fin y Propósito, respectivamente.
– Las matrices de indicadores no tienen identificados de manera clara y precisa los medios de verificación, a nivel de los Componentes (68%), Propósito (59%) y Fin (57%)
EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPSANTES
• Indicadores de Resultados de las Reglas de Operación 2004
En el Informe de Labores 2006, la dependencia reporta como resultados del Programa los siguientes:
•De enero a junio de 2006 se atendieron a 180,390 personas
•Se lograron colocar en un empleo 90,325 personas (50.1%)
•Se comprometieron 324.6 millones de pesos
•Los resultados de algunas estrategias en el 2005 fueron:
• BÉCATE atendió a 207,118 personas y logró colocar al 54.5%
• Empleo Formal atendió a 118,425 personas y logró colocar al 54.9%
• Jornalero Agrícolas atendió a 47,936 personas y logró colocar al 42.9%
EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPSANTES
• Como resultado de la estrategia de capacitación y de los comentarios que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora
cuenta con los siguientes indicadores de RESULTADOS
EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPSAHORA
EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOLANTES
• Indicadores de Resultados de las Reglas de Operación 2008
NOTA: El programa no ha actualizado los indicadores de las ROP
X 100
X 100
X 100
En el informe de labores 2007, la dependencia reporta como resultados del programa lo siguiente:
•Para el presente ejercicio, el Programa cuenta con un techo presupuestal de 220 millones de pesos. A julio de 2007 se han realizado un total de 696 proyectos, de los cuales:
– 40.9% son obras de pavimentación, urbanización y mejoramiento urbano;
– 12.5% son proyectos de agua potable;
– 9.9% son de drenaje, mientras que las electrificaciones fueron un 8.8% de
los proyectos realizados;
– 10.6% son obras de infraestructura educativa, deportiva y de salud;
– 2.2% son caminos rurales, y un 15.1% se destinaron a otro tipos de
proyectos (productivos, orfanatos, asilos, centros comunitarios, centros culturales, rehabilitación de edificios históricos y becas).
EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOLANTES
• Como resultado de la estrategia de capacitación y de los comentarios que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora
cuenta con los siguientes indicadores de RESULTADOS
X 100
X 100
EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOLAHORA
Índice
� Antecedentes
� Marco Normativo Anterior
� Diagnóstico
� Nuevo Marco Normativo
� Coneval
� La Estrategia de Evaluación y Monitoreo
� Avances en el tema de evaluación
� Avances en el tema de indicadores
� A mediano Plazo
• Promover la gestión y evaluación basada en “Resultados”
• Tener un sistema de Evaluación y Monitoreo coordinado y sistematizado
• Menor número de indicadores a reportar, pero de mejor calidad
• Que el sistema tenga nexos con el proceso presupuestario
• Promover el uso sistemático de la información de evaluación y monitoreo
• Que la información se utilice para mejorar la gestión de los programas y dependencias
• Que se puedan evaluar políticas en su conjunto, especialmente políticas sociales
• Con esta información más la evolución de los indicadores de pobreza nacionales, estatales y municipales, poder evaluar la política social en su conjunto
• Reforzar la transparencia y la rendición de cuentas
LO QUE SE ESPERA EN EL MEDIANO PLAZO
TEMAS A CONSIDERAR
• Diferencias entre:
– Evaluación: ¿Las cosas que se hacen son las correctas?
– Auditoria: ¿Las cosas se están haciendo correctamente?
• Vínculo entre:
– Gestión y evaluación;
– Resultados y presupuesto,
• Coordinación entre diferentes actores
– Al interior y entre de las secretarias
– Con el Jefe de Gobierno y el Congreso Local
– Definir roles de los diferentes actores
• Impulsar los “resultados” y mejorar la gestión (agenda política)
• Implementación gradual y/o aplicación de pilotos
– Temas, instrumentos, alcances, etc.
TEMAS A CONSIDERAR
• Iniciar por “voluntad política” y luego se impulsa normativamente
• Fortalecer capacidad técnica de las secretarías
• Fortalecer la oferta de evaluadores
– Normatividad de adquisiciones
• Diagnóstico de lo existente y lo aprendido hasta el momento
– Normatividad y prácticas actuales
– Nomenclatura y conocimientos básicos
– Detectar prácticas exitosas ya existentes
• Analizar la experiencia internacional
– Pocos casos locales, más experiencia federal
• Definir con claridad lo que se busca
• Evaluar constantemente los avances que se tengan
– Apoyado con un organismo externo nacional o internacional
• Considerable demanda gubernamental
• Objetividad y calidad
• Grado de utilización (oferta adecuada de instrumentos y productos)
• Importancia de los incentivos para generar información
• Diagnóstico del SE&M existente
• Peligro de complejidad excesiva
• Esfuerzo de largo plazo, impulso por etapas
• …
• Promotor “influyente”
• Impulso de una secretaría competente
• Normatividad (limitaciones y ventajas)
• …
FACTORES DE “ÉXITO” DE LOS SE&M x RESULTADOS