View
225
Download
7
Category
Preview:
Citation preview
Los Sistemas de Monitoreo:
Teoria y Práctica
Alejandro Medina Giopp Julio 21-22, 2014
Los Sistemas de Monitoreo:
Teoria y Práctica
Conceptos y elementos que
constituyen un Sistema Nacional de
Monitoreo
Los Sistemas de Monitoreo: Contexto
Los SM&E son componentes de estrategias de modernización de la gestión pública, buscan contribuir a evitar:
• Crisis Fiscal: Si el monto de recaudaciones de tasas, derechos e impuestos es menor que el gasto corriente hay déficit fiscal, si esto es recurrente, hay crisis fiscal. Lo que presiona a “hacer mas con menos” (incremento de productividad) y mejorar la política fiscal.
• Crisis de legitimidad: se expresa en baja calidad y cobertura de servicios públicos, corrupción, déficit legalidad, baja rentabilidad social del gasto e inversión pública.
A través de SM&E: consecuencias: informe la asignación de recursos, mejora de la gestión de programas, instituciones (productividad) y mayor rendición de cuentas.
Conceptos
Sistema Nacional de Monitoreo
“Conjunto integrado de principios, prácticas gerenciales/ institucionales y técnicas….
Principios:
• Continuidad en la colecta de datos
• Síntesis sobre desviaciones de la programación (y pertinencia program)
• Retroalimentacion sobre hallazgos
Prácticas gerenciales/ institucionales:
• Informar al ciclo presupuestal (tiempo legales)
• Ranking desempeño institucional y de programas
• Uso de la evidencia: reuniones ministeriales (metas presidenciales y seguimiento a PND), informes a Congreso, etc.
Herramientas:
• Estimaciòn de eficacia, eficiencia y calidad de producción institucional; marco de gasto de mediano plazo; planes indicativos, evaluacion de calidad de las estadísticas, medición de productividad en la entrega de servicios, tableros de control de gestion, enfoque de marco lógico, etc.
Conceptos
Sistema Nacional de Monitoreo
“.. que permiten generar reportes continuos del desempeño de la gestión pública..”
Desempeño de:
• Proyectos: sistemas de inversión pública (ex ante, seguimiento, ex post).
• Programas: eficacia, eficiencia, calidad, productividad, focalización.
• Instituciones: modelo organización y gestión (procesos)
• Funcionario públicos: Servicio civil y carrera administrativa. Desempeño servidores públicos.
• Muy importante el tipo y estructura de los Reportes (hallazgos, explicación desviaciones, recomendaciones).
Conceptos
Sistema Nacional de Monitoreo
“.. orientados a mejorar la asignación de recursos en el proceso
presupuestal, la rendición de cuentas, y la gestión pública..” (!! Que
genere Consecuencias!!)
Hallazgos y recomendaciones útiles para:
• Asignación/ reasignación de recursos presupuestales.
• Ajustar el diseño y la gestión de instituciones, programas y
proyectos.
• Mejorar la difusión de resultados y la rendición de cuentas.
De no haber consecuencias, el sistema no es útil. No agrega valor.
Conceptos
Recapitulando: Un sistema Nacional de Monitoreo es:
“Conjunto integrado de pincipios, prácticas gerenciales y
técnicas que permiten generar reportes continuos del
desempeño de la gestión pública; orientados a mejorar la
re-asignación de recursos en el proceso presupuestal, la
rendición de cuentas, y la gestión pública, para constribuir
a la mejora del Bienestar”.
Monitoreo y Evaluación Evaluación Monitoreo
Foco Políticas y Programas. Programas, proyectos,
instituciones, servidores
públicos.
Tiempo Episódico. Periódico.
Métodos Predominantemente
Cuantitativo.
Cuantitativo y
cualitativo.
Alcance Impacto y resultados de
las intervenciones
públicas.
Producción institucional
entregada a usuarios y
beneficiarios, y las
actividades y procesos
de su producción..
Conceptos
Piezas clave: Sistema Nacional de Monitoreo • Un sistema nacional de monitoreo, se constituye de diversas piezas
clave y parte de ciertas condiciones mínimas para poder
consolidarse.
• A continuacion se presentan 12 piezas clave derivadas de la práctica
de Monitoreo en diversos paises, Las piezas de ordenan en 3 niveles:
• Nivel básico: Existencia de condiciones básicas y operación minima.
• Nivel intermedio: El sistema posee articulaciones institucionales
adecuadas.
• Nivel Avanzado: normas, metodologías y prácticas consolidadas y
evidencia de consecuencias.
Nivel Básico
SNP y
Planes
Agenda de
Evaluación
Elementos clave PND
• Proyección Macroeconómica y
Marco Fiscal de Mediano Plazo
• Estrategia de Reducción de
Pobreza
• Priorización de Objetivos
• Vínculo a Presupuesto
• Consenso / Consulta
• Metas e indicadores (IPS, IOH,
PM, IDH, MDG etc.)
• Difusión y eventos públicos
Agenda Nacional de Evaluación
• Prioridades del PND y metas
presidenciales
• Definición de unidades de
evaluación (qué de va a evaluar):
Programas, Proyectos,
Instituciones, Funcionarios
• Definición de Mecanismos de
Evaluación (cómo?) y evaluadores
(quienes?)
• Definición de Fuentes de
Financiamiento de evaluaciones
• Uso de los resultados
Nivel Básico
SNP y
Planes
Agenda de
Evaluación
Consolidación
Producción
institucional
Consolidación Producción
Institucional
• El monitoreo se concentra en
actividades, productos (B/S)
entregados a usuarios y
beneficiarios.
• Se requieren herramientas para
estandarizar la definición de
productos, unidades medida,
indicadores y metas
• Importante rol de los POAs
• Marcos de Gasto de Mediano
Plazo (Sectorial) / Sistematización
de la Evaluación de Programas
Reporte Regulares de Produccion de
Bienes y Servicios
• Usualmente solo se mide Eficacia, es
decir cumplimiento de entrega B/S
• Eficiencia menos frecuente (costos
indicativos)
• Calidad poco realizada (mayor
demanda Clase Media y clave 20%
mas pobre), estándardes / satisfacción
• Productividad en producción y entrega
B/S (poco explorado)
Reportes
Regulares B/S
EECPF
Nivel Básico
SNP y
Planes
Agenda de
Evaluación
Consolidación
Producción
institucional
Marco Normativo
Reformas legales:
• Planeación; Hacendaria y Fiscal;
• Acceso a la Información Pública,
• Control Interno; Sistema Estadístico,
• Transparencia y Acceso a Información Pública, etc.
Relevancia de la adecuada Reglamentación
Lineamientos concretos de aplicación a entidades y
dependencias de la Administración pública
Normas y estándares sobre un resultado esperado, mas
que sobre metodologìas especificas.
Reportes
Regulares B/S
EECP
Marco normativo
Lineamientos
Nivel Intermedio
Conexión Presupuestal
• Integrar Planificación y Prespuesto
• PND puede leerse en la Estrutura
Presupuestal
• Unificar Catálogos de Productos
Planeación / Programación y
Presupuestacion
• Alineación estructura Programas
Presupuestales vs Programa
Gerenciales (Ep Central y Sectorial)
• Capacidad de reportar gasto,
productos entregados y beneficiarios
Conexión a Inversión Pública
• Es el antecedente mas
importante de los SNM&E
• Experiencia acumulada en
evaluación (ex ante/ seguimiento)
• Integrar inversión de gasto de K
con gasto corriente NK
• Opción para potenciar acciones
de Monitoreo desde proyectos
(por sector, y agregación)
• Programa como artculador de
proyectos.
Conexión a
Proceso
Presupuestal
Conexión a
Sistema Inversión
Pública
Nivel Intermedio
Conexión Función Pública
• Evaluación del desempeño institucional:
Programas de Mejora de la Gestión Pública.
• Evaluación del desempeño de los
funcionarios públicos (agenda por consolidar,
sin sistematizacion y consecuencias por
desempeño),
• Articular los mecanismos de control interno al
sistema de monitoreo (seguimiento de las
recomendaciones de gestión,
retroalimentación). CI como aliado de
gestion. Evitar superponer funciones.
Conexión a
Proceso
Presupuestal
Conexión a
Sistema
Inversión
Publica
Conexión a
Función Pública
y Control Interno
Problemas Frecuentes
Problema Descripción
Clasificadores Uso no regular de clasificadores, por ejemplo municipios, entidades federativas, etc. Estaban como variables alfanuméricas y no utilizaban la codificación numérica de los INEs. Otras variables que eran sujetas de codificación no se encontraban codificadas, lo que impedía hacer análisis de frecuencia.
Escaso potencial de aprovechamiento estadístico de los archivos
Los archivos de varios programas tenía todas, o casi todas las variables de tipo alfanumérico (texto) lo que es inútil para su trabajo estadístico. Algunas de éstas fácilmente pudieron ser convertidas durante el taller en variables numéricas.
Casos perdidos Algunas variables en varios archivos se identificaron con un alto porcentaje de casos perdidos. En algunos casos de más del 50%, y sin existir información sobre si son blancos o saltos de pregunta.
Ausencia de metadatos
Archivos de datos sin metadatos básicos a nivel general y de variables
Identificadores Sin identificación de variables clave en los archivos.
Ausencia de microdatos
En varios casos los archivos no tienen microdatos sino datos agregados que provienen de municipios, estados o delegaciones regionales del programa, pero no se constituyen como archivos de microdatos. Esto sucede ya que los programas son más consolidadores de información que productores
Nivel Intermedio
Conexión al Sistema Estadístico Nacional
Conexión fundamental….
• Calidad de las estadísticas básicas: Encuestas
y Censos para la construcción de indicadores
Especial atención a la mejora de los registros
administrativos.
• Necesidad de capacitación para fortalecer los
RRAA; Evaluar la Calidad de los RRAA y de
INTEGRARLOS. Conexión a microdatos
• Rol protagónico de INEGI, Sedes regionales y
estatales y Unidades Estadísticas de Entidades
públicas..
Conexión a
Proceso
Presupuestal
Conexión a
Sistema
Inversión
Publica
Conexión a
Función Publica
Conexión al
Sistema
Estadístico
Nacional
Evaluación de Calidad de Indicadores en los
Sistemas de Monitoreo
• En relación a la Calidad de los Indicadores, diversas iniciativas
aplican el criterio CREAM para valorar la CALIDAD al definir los
indicadores y SMART para evaluar la CALIDAD de las metas
asociadas.
• Iniciativas de M&E como CONEVAL México o MEPYD en
República Dominicana, han desarrollado guías específicas para
la aplicación de dichos criterios.
CLARO
RELEVANTE
ECONÓMICO
MONITOREABLE
ADECUADO
S Específico
M Medible
A Acordado
R Realistas
T Limitado en el
tiempo
La evaluación de las fuentes de
información
• CREAM/SMART son herramientas Necesarias pero no
Suficientes para valorar la Calidad de un Indicador.
• La experiencia al evaluar indicadores en varios países es:
Indicadores y metas cada vez mejor definidos pero
basadas en archivos de datos inconsistentes,
incompletos y poco confiables. En especial en RRAA
Evaluación de fuentes de información
• El indicador tiene Verde en CREAM y SMART.
• Indicador y metas están bien definidas.
¿Es suficiente?
Var 1
Var 2Indicador A =
Descripción: Mide el grado de
desnutrición de los niños de 6 a 14 años
matriculados en los Colegios del Estado de
Nayarit. Año 2013
SMARTCREAM
Importancia de Evaluación de fuentes de
información
Var 1
Var 2Indicador A =
Descripción: Mide el grado de
desnutrición de los niños de 6 a 14 años
matriculados en los Colegios del Estado de
Nayarit. Año 2013
SMARTCREAM
ARCHIVOS DE DATOS
(Excel; SPSS;Stata,
DBF, etc.)
FUENTES DE
INFORMACIÓNv1 v2 v3 v4
Hombre 2 3 5
Hombre 22 22 21
Mujer 2 4 2
v1 v2 v3 v4
Calvillo 2 3 5
San Fco 22 22 21
Calvillo 2 4 2
Agostadero 56 43 23
Nivel Avanzado
Sistema Único de Identificación de
Beneficiarios / Sistema Integrado de
Padrones de Beneficiarios
• Base de datos de hogares pobres en el
país y Padròn de Hogares Elegibles.
• Sistema integrado de Beneficiarios de
los diversos programas públicos
• Responder con el Monitoreo que se
produce (B/S), que se entrega y a quién.
• Reportar gasto por tipo de beneficiario
(Gasto anual en tercera edad, menores
de 5 años, etc.) y focalizacion (exclusión
y exclusión)
Sistemas Único
de Identificación
de Beneficiarios
Nivel Avanzado
Expansión a Nivel Territorial
Sistemas Federales / Sistemas Uniatarios
• Coordinacion / inducción a nivel territorial
del modelo nacional de Monitoreo.
• Alineación planes territoriales, a
sectoriales y nacionales.
• Consolidación de información nacional y
territorial.
• Desarrollo de capacidades locales de
Monitoreo.
• Aprovechamiento de registros
administrativos de nivel local.
Sistemas Único
de Identificación
de Beneficiarios
Expansión a
nivel territorial
Nivel Avanzado
Triangulación de Resultados
• Valorar toda la información del
desempeño sobre las prioridades del
Gobierno: Por ejemplo Mejoras en la
educación inicial
• Establecer conclusiones y definir
estrategias que atiendan a las diversas
dimensiones del desempeño
• Medir las consecuencias de la
intervenciòn..!!!
Sistemas Único
de Identificación
de Beneficiarios
Expansión a
nivel territorial
Triangulación
Resultados
(reporte
ejecutivo)
Educación
Evaluacion de Programas
Educativos
Evalu
ació
n d
eF
uncio
nario
sE
ducativ
os
Evalu
ació
n M
inisterio
de E
duca
ción
Evaluación de proyectos
de inversión educativa
Nivel Avanzado
Consecuencias
• Debe contarse con Estrategias para el Uso de la Evidencia. Foco
en Recomendaciones: Pertinencia, complejidad, costos, etc.
• Asignación presupuestal informada.
• Mejora en la gestión de programas, proyectos e instituciones.
• Mejora en la difusión del información y rendición de cuentas,
• Si el sistema de Monitoreo NO LOGRA nada de esto… no
agrega valor a la modernizacion de la gestión pública ni al
bienestar.
Sistemas Único
de Identificación
de Beneficiarios
Expansión a
nivel territorial
Consecuencias
Triangulación
Resultados
Todos los Niveles
SNP y
Planes
Agenda de
Evaluación
Consolidación
Producción
institucional
Reportes
Regulares B/S
EECP
Marco normativo
Lineamientos
Conexión a
Proceso
Presupuestal
Conexión a
Sistema
Inversión
Publica
Conexión a
Función Publica
Conexión al
Sistema
Estadístico
Nacional
Sistemas Único
de Identificación
de Beneficiarios
Expansión a
nivel territorial
Consecuencias
Triangulación
Resultados
Posible usos del enfoque
• Realizar diagnósticos de sistemas nacionales de monitoreo (12 Piezas).
• Identificar Planes de Acción para el fortalecimiento de Sistemas Nacionales.
• Sistematizar prácticas y herramientas por componentes o piezas.
• Los más relevante:
• Evaluar y tener evidencia de las Consecuencias del uso del sistema nacional de monitoreo.
Diagnóstico rápido
SNP y
Planes
Agenda de
Evaluación
Consolidación
Producción
institucional
Reportes
Regulares B/S
EECP
Marco normativo
Lineamientos
Conexión a
Proceso
Presupuestal
Conexión a
Sistema
Inversión
Publica
Conexión a
Función Publica
Conexión al
Sistema
Estadístico
Nacional
Sistemas Único
de Identificación
de Beneficiarios
Expansión a
nivel territorial
Consecuencias
Triangulación
Resultados
Muchas gracias
amedinagiopp@worldbank.org
Recommended