Para qué sirven los Indicadores - cepal.org · Contenido • Lo que dice la teoría del “presupuesto por resultados” • Que han hecho los países • Que tipo de indicadores

Para que sirven los Indicadores de Desempeño

Marianela ArmijoConsultoraÁrea de Políticas Presupuestarias y Gestión Pública ILPES/[email protected]

Taller de Expertos “Presupuestar en América Latina”Santiago de Chile, 5 y 6 de Diciembre

Contenido• Lo que dice la teoría del “presupuesto por resultados”

• Que han hecho los países

• Que tipo de indicadores se usan y para qué. Algunas evidencias

• Conclusiones a partir de estudios y balances

• Sugerencias para un mejor uso

• Mejores prácticas internacional

Para que sirven los indicadores...la teoría…

• Mejorar la información para la toma de decisiones en el proceso presupuestario...mejorar la calidad del gasto público

• Posibilitar la evaluación

• Mejorar la gestión

• Establecer compromisos de desempeño

• Rendir cuentas

Sistemas de Evaluación del Desempeño

(SEV)

I. Planificación-Programación-Presupuesto

II. Monitoreo y Evaluación

III. Rendición de Cuentas

Plan Nacional de Desarrollo

Planificación Sectorial

Planificación-Programación

Presupuestaria con enfoque a resultados

Sistema de Indicadores de Gestión y resultados

Evaluación de Gestión, de Resultados (Impacto)

y Resultados Intermedios

Informes de Evaluación Anual Resultados de la

Gestión, Congreso, Órganos de Control

Que han hecho los países

• Países con Sistemas de Evaluación con intentos de integración de evaluación del desempeño entre niveles de decisión gubernamental (Plan-Presupuesto)

– Colombia: SINERGIA– Costa Rica: MAPI-POIS– Uruguay SEV– Brasil Plan Plurianual. PPA– México SED

Que han hecho los países

• Países sin “Sistema” de Evaluación del Desempeño pero que usan indicadores en el proceso presupuestario

– Chile– Perú– Argentina– Bolivia– Otros…

Que tipos de indicadores se usan y para qué

• Indicadores “agregados”, nivel país– Monitoreo y evaluación? de las metas del Plan

Nacional del Desarrollo.

• Indicadores a nivel sectorial: Educación, Salud, Seguridad Pública, Transporte, etc.– Monitoreo y evaluación de metas sectoriales

• Indicadores a nivel Ministerial, Entidades Descentralizadas– Programas Presupuestarios, Programas Públicos

Presidencia (Evidencia, solo Colombia)

Ministerio de Hacienda (Poca Evidencia)

Se publican en algunos países…(CostaRica, México, Brasil, Colombia)

Se desconoce el uso para TdD y paraRdC

Para la programación presupuestaria PAO,

POI, POA´sEl monitoreo y la evaluación…al parecerUna cuestión de cumplir con las normas

presupuestarias

Uso de la Información

Evidencias….sobre la aplicación de los indicadores….

• México

• Costa Rica

• Brasil

• Colombia

• Uruguay

• Chile

Países con Plan Nacional de Desarrollo

Países sin Plan......Lineamientos y Agendas...

Que pasa con los Indicadores que intentan medir Resultados...vinculados al seguimiento y evaluación de los Planes

Nacionales

Algunos casos...

Hay información valiosa, pero existe un desnivel respecto de la

importancia de la información que entregan los INDICADORES DE RESULTADO vinculados al Plan

COSTA RICA: INDICADORES DEL PLAN NACIONAL DE DESARROLLO

Cumplimiento del Plan? O de la Ejecución Presupuestaria del Plan?..

COLOMBIA

Avances en la información sobre la mejora de los Productos (Bienes y servicios) provistos....

Falta cruzar información sobre qué piensan los ciudadanos

Buena Práctica:La Rendición de Cuentas no solo son cuentas

alegres

Hay un esfuerzo importantePor medir y evaluar los

avances en la gestión de las Unidades Ejecutoras..., se

trata de vincular Objetivos..,Metas concretas..e

Indicadores

URUGUAY

¿Es necesario tratar de medir impacto para la producción genérica o intangible..?

Aplicable a todos los paises

Producto Estratégico al que se Vincula Indicador Fórmula de Cálculo Efectivo

2001Efectivo

2002Efectivo

2003

Efectivo a Junio

2004

Estimado

2004

Meta2005

•Subsidios Habitacionales

Eficacia/Resultado Intermedio

Porcentaje de subsidios pagados dentro del periodo de vigencia año t del total de subsidios otorgados. Aplica Enfoque de Género: NO

((Número de subsidios pagados

dentro del periodo de

vigencia (sin renovación) año t-2/Número total

de subsidios otorgados cuyo

periodo de vigencia (sin renovación)

termina año t-2)*100)

s.i. s.i.45.0 %

30.0 %

25.0 %

45.0 %

•Viviendas Eficacia/ProductoPorcentaje del tiempo efectivo en ejecutar las obras sobre el tiempo estipulado por contratoAplica Enfoque de Género: NO

((Suma en días del tiempo real de ejecución de

las obras terminadas año t/Suma en días

del tiempo según contrato de las

obras terminados año t)*100)

s.i. s.i.116.4

%147.1

%156.1

%136.4

%

CHILE: Indicadores al Presupuesto

•Obras Urbanas y Programas Concursables− Programas Concursables≈Pavimentos Participativos

Eficiencia/Producto

Porcentaje de Metros Lineales (ML) pavimentados en la modalidad Pavimentos Participativos en relación con lo Programado.

Aplica Enfoque de Género: NO

((Número de Metros

Lineales (ML) pavimentados

en la modalidad de Pavimentos

Participativos año t/Nº Total

de Metros Lineales (ML)

según lo Programado año t)*100)

s.i. s.i.104.4

%34.5 %

90.0 %

100.0 %

15%

Producto Estratégico al que se Vincula

Indicador Fórmula de Cálculo Efecti

vo2001

Efectivo

2002

Efectivo

2003

Efectivo a

Junio2004

Estimado2004

Meta2005

Ponde-ración

Los indicadores de calidad de vivienda

Calidad del entorno ..

Satisfacción de los usuarios

Calidad construcción obras y viviendas, están ausentes...

Algunas conclusiones a partir de la evidencia

Indudablemente los SEV dan cuenta de avances

Colombia:

Monitoreo y TdD Metas Presidenciales

Insumo Rendición de Cuentas

Indicadores y escasa vinculación con el

Presupuesto

Chile:

Indicadores y Uso en la formulación y

evaluación Presupuesto

Se evalúa alto % gasto público

Información pocoComprensible por

ciudadanía

Escaso uso Evaluación por el Congreso

Uruguay

Indicadores y Uso de los Indicadores como

apoyo a la formulación presupuestaria

(Avance indicadores de eficiencia)


ciudadanía


Costa Rica

Información más estratégica al presupuesto

Más simplicidad en la información sobre

resultados


ciudadanía


La articulación entre la Planificación y el ProcesoPresupuestario debe ser revisada...

• Plan Nacional de Desarrollo: • Indicadores Macro nivel país

– Tasas de disminución de la Pobreza y marginalidad– Creación de empleo formal– Indicadores de seguridad ciudadana– Indicadores de Salud y Educación

• Planes Sectoriales

• Indicadores de Impacto y resultados intermedios de losProgramas

– Tasas de Desnutrición– Deserción escolar– Disminución de déficit viviendas, etc

• Planes Institucionales

• Indicadores de Objetivos Estratégicos Institucionalesvinculados a los Programas

• Programas Presupuestarios

PRIORIDADESNACIONALES

PRIORIDADESPROGRASECTORIALES

FINES Y OBJETIVOSESTRATEGICOS

INSTITUCIONALES

Indicadores de Impacto Políticas

Estadísticas Nacionales

Indicadores de Impacto y

Resultado IntermedioProgramas

Evaluaciones de Impacto

Indicadoresde Impacto Y resultado intermedioProgramas

PROGRAMACION OPERATIVAIndicadores

de Gestión

Indicadores Impacto – País articulados con metas a nivel sectorial ?

Indicadores de Impacto a nivel sectorial con atribucióndirecta con los Programas ?

Planificación EstratégicaInstitucional y Indicadoresde Objetivos Estratégicosalineados con los Sectoriales?

Indicadores de Gestión alineados con OE?

No hay mayor evidencia empírica de la relación...Monitereo- Evaluación ....Mejoras Gestión..

• Débil relación entre Indicadores-Monitoreo-Evaluación- Mejoras de la Eficacia Asignativa, Eficiencia Operacional, Mejoría provisión productos Usuarios.....

Se mantienen ciertos mitos...

– Se fortalece “cultura de evaluación” v/s tiempos de trabajo de los funcionarios e incentivos....

(Testimonios)

• “Si tuviera tiempo para trabajar, planificar..y no para llenar formularios..Dra. Especialista en Nutrición”. Programa de Nutrición del Ministerio de Salud

• “Si no puedo tener buenos indicadores y me expongo a no cumplir (por razones no controlables.”invento”...subvalúo las metas, etc...”Funcionario de Alto Nivel Jerárquico de Ministerio...

Se mantienen ciertos mitos....

– Presentar indicadores no es rendir cuentas…

– (Testimonios…)– En un país, los PAO´S con informes de indicadores

que van al Congreso tienen promedio 120 páginas ...

– ¿De que indicadores me hablan..? Informes Emitidos../Informes Programados , etc.

Los indicadores como instrumentos de control....

• Las normativas de las leyes de presupuesto, muchas veces conspiran para que se monitoree lo innecesario...

A evaluar, evaluar que el mundo se va a acabar.......

Una nueva enfermedad:Indicadoritis....aguditis..monitoreos trimestrales

De metas físicas...

(Testimonios...)

Las metas de los indicadores...(PAO´s) sin relación con la formulaciónPresupuestaria...desfase de la información

Sugerencias para mejorar los indicadores como apoyo al PoR…..

1. Distintos Indicadores para distintos usos..Como articular la información para la Toma de Decisiones

2. Integrar la Planificación Estratégica como fase previa a la generación de indicadores de desempeño institucional y programático.. Empoderar a los responsables...

3. Algunas sugerencias metodológicas que apunten a la simplicidad y la pertinencia del uso de los indicadores

4. Rendición de Cuentas más estratégica

1. Distintos Indicadores para distintos usos..Como articular la información para la Toma de

Decisiones

No todos los Indicadores deben ir en la información anexa al Presupuesto...

• Monitoreo y Evaluación del Plan de Desarrollo o grandes metas país

• Presupuesto• Sistemas de información gerencial• Sistemas de información operacional

CUAN BIEN LO HACEMOS QUE HACEMOS

HAY ALGUNA MEJORIA

COMO CAMBIAN LASCONDICIONES INICIALES

CUANTOS RECURSOS OCUPAMOS

INDICADORES

Costos planillaCostos unidadesde productos

Número de funcionarios

Licitacionesrealizadas

Actividades

Número de viviendas

Kilómetrosconstruidos

Inspeccionesrealizadas

Costo porvivienda

Costo porkilómetroconstruido

Tiempo de respuestainspecciones

Gastoadministrativo/Gasto TotalGastoEjecutado/Gastoprogramado

COMO CAMBIAN LOS COMPORTAMIENTOS DE LA VARIABLE, USUARIOS

Porcentaje de viviendas con estándares de calidad en la normal

Porcentaje de viviendas con entorno urbanomejorado

Disminución del déficit habitacionalProvincia X

Porcentaje de usuariosque reciben viviendadeclaran satisfacciónpor calidad y entorno

TIPO

Insumos

Inptus

EficienciaCalidadEconomía

USO

INF.

Sistema de InformaciónInterna

Entidades

Contraloría

Eficacia(Cobertura, Focalización)Calidad

Eficacia (Cobertura, Focalización)EficienciaCalidad

EficaciaEficienciaCalidad

Presupuesto(ProductosFinales)

Sistema deInformaciónInterna(ProductosIntermedios)

Presupuesto

Sistema de Informacióninterna(Productosintermedios, Productos finales, no relacionadoscon O.Estratégicos)

Presupuesto

Sistema de InformaciónDirectivo

Presupuesto

Sistema de InformaciónDirectivo

ORGANISMO DE PLANIFICACION

INSUMO PROCESO PRODUCTO RESULTADOINTERMEDIO

RESULTADO

FINAL

MISION

VISION

ESTRATEGIAS

OBJETIVOS

ESTRATEGICOS

METAS o LINEAS DE ACCION

PROYECTOS, PROGRAMAS, ACTIVIDADES

INDICADORES

PLA

N

EST

RA

TE

GIC

ORAZON DE SER DE LA ENTIDAD, FIN, PROPOSITO

FUTURO, ESCENARIO DESEADO, COMO QUIERE SER LA ENTIDAD

MEDIOS PARA LOGRAR LOS OBJETIVOS ESTRATEGICOS

COMO

QUE ESPERA LOGRAR LA ENTIDAD PARA CUMPLIR SU MISION

ANALISIS DEL MEDIO EXTERNO E INTERNO

PROPOSITOS

FUNDAMENTALES

CONCRECION DE LOS

OBJETIVOS ESTRATEGICOS

MEDIDAS PARA ESTABLECER EL GRADO DE CUMPLI MIENTO DE LOS OBJETIVOS

PRESUPUESTO

2. Integrar La Planificacion Estratégica Al Sistema de M&E

a. Necesidad de revisar el concepto de “metasfísicas” para ser incluidas como parte del sistema de monitoreo y evaluación del presupuesto (esto no significa que no se contabilicen…perotiene que ser esa la información que se adjunta al presupuesto ?)

• Genera problemas para la medición de producciónintangible o bienes genéricos e implica una sobre poblaciónde indicadores

– Las experiencias internacionales de PoR más avanzadas no tienen el concepto de meta física, sí el de productos (bienes y servicios)

3. Algunas sugerencias metodológicas..simplicidad y pertinencia


b. Necesidad de sincerar las capacidades deconstrucción de indicadoresindicadores de de eficienciaeficiencia

– Para qué tipo de instituciones esconveniente su generación y a qué nivel

Costos para la producción final e intermedia, producción tangible e intangible ?Quien usa la información sobre eficiencia

– Qué tipo de capacidades y sistemas es necesariodesarrollar para construir indicadores de eficiencia


Si es tan difícil y estamos tan lejos para medir resultados...orientémonos a medir bien los Insumos, Productos y los Procesos....

Algunos de sus defensores..

MakonShackShick......Quirós...


Pero no abandonemos los intentos de generar y mejorar buenos indicadores de resultados...intermedios y finales (impactos)...

• Indicadores que permitan monitorear las prioridades nacionales....y los compromisos asociados a ellos...y sobre todo indicadores que sean útiles para generar acciones..mejoras..información


Aprender de las buenas prácticas de presupuesto orientado a resultados...

• Apostar a la simplicidad de los modelos de vinculación Prioridades Gubernamentales...Gasto Público... Asignación Eficiente y Responsabilización...

• Canadá• Nueva Zelanda• Reino Unido

Lamentablemente en América Latina nos cuesta definir PRIORIDADES ESTRATEGICASSectoriales e Institucionales....10, 15 Objetivos

Estratégicos..poco concretablesSe cometen la mayor parte de las prácticas no

aconsejables en evaluación:

“No es posible ni deseable medirlo todo”Evitar la trampa de la medición...

“Haces solo lo que es posible mostrar”Indicadores con incentivos perversos

• Informar lo que interesa conocer…Cumplimiento de Metas físicas de productos?

• Mejoramiento del marketing del presupuesto.. Que información de desempeño y deseable y posible …?

Mayor expertise para presentación de “Informes sobre Resultados” al Congreso y ciudadanos…

4. La Rendición de Cuentas debe ser más estratégica.

Estudio de Mejores Prácticas Sistemas de M&E

Factores que deben ser potenciados

• Capacidad de empoderamiento a los directivos

• Desarrollo de Sistemas de Información

• Rendiciones de Cuentas en un marco de participación ciudadana

• Debe haber una interconección entre el alto nivel de decisión y el desempeñooperacional

• El Sistema de M&E debe incluirIndicadores de desempeñoestratégicos en cascada desde el cuerpo Directivo hacia los departamentos, los indicadores operacionales apoyan a los niveles de gestión senior.

Estudio de Mejores Prácticas Sistemas de M&E

Factores que deben ser potenciados

Documents

Para qué sirven los Indicadores - cepal.org · Contenido • Lo que dice la teoría del “presupuesto por resultados” • Que han hecho los países • Que tipo de indicadores