Embed Size (px)
Citation preview
Cepal/Marzo
Bases para el Monitoreo y Evaluación de Políticas Públicas en Brasil: Contribuciones de la Secretaría del Tesoro Nacional (STN)
2
Contenido
1. Sistema de Monitoreo y Evaluación (M&E)
2. Experiencia de América Latina
3. Estado Actual del M&E en Brasil
4. Algunas experiencias recientes del Tesoro Nacional
5. Caso de estudio interno: una evaluación de la FIES (Financiación de
los estudiantes de educación superior)
Sistema de Monitoreo y Evaluación
Los sistemas de Monitoreo y Evaluación (M&E) tienen como objetivo integrar los indicadores, tanto cuantitativos como cualitativos, que involucra todos los pasos que constituyen una política pública, y el uso de este proceso en el ciclo presupuestario del gobierno.
Esos pasos pueden dividirse en:
diagnóstico y diseño;
aplicación;
los resultados a corto, a mediano y a largo plazo.
3
Sistema de Monitoreo y Evaluación
4
Verificar y cuantificar la
efectividad y las consecuencias de la política sobre los beneficiarios directos y la sociedad en general.
Monitorear y Evaluar si lo que se ha planeado se está ejecutando.
¿Existe una adecuación de los componentes y los resultados esperados con la política? Ej. Metodología de Marco Lógico.
¿La política responde a un problema bien definido y
relevante? ¿Está claro el objetivo de acción del Estado? ¿El diseño puede alcanzar eficazmente este
objetivo?
Chile – un caso de éxito
Chile le otorgó un papel destacado al Ministerio de Hacienda, con la Dirección de Presupuesto (DIPRES) => mayor capacidad de vinculación entre los resultados del sistema de M&E y la programación presupuestaria y financiera.
Ciclo de monitoreo y evaluación bien definido:
La Comisión Interministerial elige entre 15 y 20 programas que integraran la agenda anual;
En noviembre de cada año la agenda es enviada para el Congreso, que puede rechazarla o aprobarla;
Memorando de entendimiento entre Hacienda y el Congreso es establecido;
Las evaluaciones se presentan en octubre junto con el Informe de Finanzas Públicas: Proyecto de Ley del Presupuesto del Sector Público;
Compromisos formales entre los órganos encargados y la Dipres son establecidos, a través de un plan de trabajo para las mejoras en los programas en línea con las recomendaciones formuladas en las evaluaciones.
Los programas evaluados se clasifican en buen desempeño, desempeño adecuado, bajo desempeño y los resultados no conclusivos. Toda la sociedad puede acceder a los resultados.
5
Colombia – implementación de SINERGIA (1994)
En 1994 es implementado el Sistema Nacional de Evaluación de Gestión y Resultados (SINERGIA), dirigido por el Departamento Nacional de Planeación (DNP) y ejecutado por la Dirección de Seguimiento y Evaluación de Políticas Públicas (DSEPP).
Marco legal introducido en la Constitución, además de las normas inferiores.
El papel de la DSEPP es:
Definir la agenda anual de los programas a evaluar – un promedio de 20 programas, aprobado por el Comité interministerial;
desarrollar el diseño de estrategias de evaluación, pasando por el mapeo de la cadena de valor y por el alcance de la definición de la política;
gestionar la contratación de investigadores y consultores;
dirigir la evaluación de la aplicación.
El Ciclo de monitoreo y evaluación también está bien definido:
Agenda anual de programas, definida con los ministerios sectoriales;
El Presidente reporta al Congreso los resultados de las evaluaciones (se clasifican los programas evaluados en tres colores);
El presupuesto sigue la lógica del presupuesto por resultado.
6
Brasil – ¿Cómo estamos?
Varias iniciativas se han consolidado con diversos grados de madurez y han influenciado a los órganos del gobierno.
Instituto de Investigación Económica Aplicada (IPEA) – su producción ha contribuido con muchos sectores del Estado.
PPA (Plano Plurianual) - permitió la estructuración de un sistema de seguimiento de los programas finalistas, planificando la acción del gobierno, además de monitorear los suministros, los productos y el presupuesto de los programas.
Tribunal de Cuentas (Tribunal de Contas da União) y la Contraloría General de la Unión (Controladoria-Geral da União - CGU) realizan cada año una lista de las agencias y de los programas que serán monitoreados y evaluados, enfocándose en la gestión, el diseño establecido y el uso de los recursos.
Instituto Nacional de Estudios e Investigación para la Educación Anísio Teixeira (INEP) - estudia, investiga y revisa el sistema de educativo brasileño.
Departamento de Monitoreo y Evaluación del SUS (DEMAS) - planificación estratégica del Ministerio de Salud, con ejecución de las acciones de M&E para la calificación del Sistema Único de Salud.
Secretaría de Evaluación y Gestión de la Información (SAGI) - representa una forma estructurada de esta red de iniciativas, desarrollando herramientas de información específicas en los tres niveles de gobierno.
8
Brasil – ¿Dónde estamos?
Está claro que aún existen espacios para profundizar la institucionalización de M&E, el establecimiento de roles y la planificación de trabajo bien definido y vinculado con el ciclo presupuestario.
Dos desafíos, entre muchos otros, pueden ser destacados en Brasil:
1. la estructuración de un sistema que incluya y coordine la acción de todos estos actores y;
2. que las evaluaciones mejoren la política pública y la asignación del presupuesto, volviendo mucho más eficaz su planificación estratégica, financiera y presupuestaria.
Este podría materializarse con la inclusión de directrices y recomendaciones, resultado de las evaluaciones, en las partes del ciclo presupuestario (PPA - Plano Plurianual, LDO - Lei de Diretrizes Orçamentárias, LOA - Lei Orçamentária Anual).
9
Algunas experiencias recientes del Tesoro Nacional, 2015
En 2015, el Tesoro Nacional impulsó algunas iniciativas o contribuciones a nivel gubernamental para la coordinación más amplia del M&E:
Propuesta inicial de institucionalización en Brasil de un Sistema de Monitoreo y Evaluación de Políticas Públicas y Revisión del Presupuesto, convocando el debate en el gobierno. Asegurando que la sistematización de sus instrumentos mejore continuamente las políticas públicas y que la gestión de los gastos públicos se realice en los niveles adecuados.
La evaluación y revisión se realizarían siguiendo criterios técnicos y estandarizados, con el rigor de los métodos para medir la eficiencia, la eficacia, el impacto producido y el costo efectivo de las políticas públicas.
Importancia de la investigación sobre equidad, enfoque, eficiencia, rentabilidad e impacto estricto de la política pública.
Es importante que la evaluación y revisión cuente con el apoyo de expertos que le otorguen un carácter de independencia y legitimidad externa para su implementación.
Las nuevas propuestas de políticas públicas que serán implementadas o las ya existentes que serán expandidas, se evaluarán a priori, siguiendo criterios de análisis de pertinencia y coherencia de su objetivo con el diseño de sus acciones, entre otros.
Incorporación de propuesta de implantación de sistema de M&E en el proyecto de ley de Calidad Fiscal, pendiente en el Congreso.
Estudios internos de evaluaciones hechos en el Tesoro, como la evaluación del programa de Financiación de Estudiantes de educación superior.
10
Algunas experiencias recientes del Tesoro Nacional, 2016
Propuesta de modificación de la Ley de Responsabilidad Fiscal (LRF - Ley Complementaria Nº 101/2000) para instituir sistemas de monitoreo y evaluación de políticas públicas dentro de la Unión y de los entes subnacionales.
La inclusión de artículos que prevean la creación del Sistema Estatal de Monitoreo y Evaluación de Políticas Públicas, en el conjunto de propuestas de la Unión para el establecimiento de las leyes de responsabilidad fiscal de los Estados (LRFE). Propuestas hechas en el ámbito de las negociaciones con los estados.
Establecimiento de criterios (check list) para llevar a cabo una evaluación previa de los proyectos de ley que son presentados ante el Tesoro para que exprese su opinión. El foco hasta ahora estuvo en el impacto presupuestario y financiero.
11
Caso de estudio interno: Una evaluación del programa FIES
Meta de expandir el acceso a la educación superior (Plan Nacional de Educación – PNE)
12
Las tasas de matrícula bruta y neta - 2009-2024, Brasil.
• A pesar del aumento de las matriculas entre los años 2009 y 2013, con ese ritmo de crecimiento no es posible alcanzar las metas.
• Varios programas de acceso a la educación superior: Prouni (exención de impuestos), FIES (préstamos subvencionados) y Reuni (expansión de las universidades públicas).
Caso de estudio interno: Una evaluación del programa FIES
Existe una gran desigualdad en las tasas de matriculas entre las regiones del país.
La desigualdad regional se mantiene relativamente estable en ese período.
Entre el 2009-2013 se evidencia una importante contribución de la acción directa del gobierno en la expansión de la matrícula en las universidades privadas, la cual puede ser atribuida al FIES.
Señales de que el acceso a las políticas públicas de Educación Superior pueden intervenir más en la reducción de las desigualdades regionales en el país.
13
Tasa de matricula bruta (%) Tasa de matricula neta (%)
2009 2013 2009 2013
Red Privada
Total Red Privada
Total Red Privada
Total Red Privada
Total
Brasil 20,8 26,7 23 30,3 10,5 14,4 11,7 16,3
Norte 15,5 23,7 17,1 25,3 6,5 11,0 8,0 12,3
Nordeste 12,5 18,3 16,6 24,5 5,5 9,2 7,5 12,1
Sul 26,9 33,5 28,0 36,6 14,9 19,2 15,2 20,7
Sudeste 25,2 30,1 25,9 31,5 13,3 16,8 13,7 17,6
Centro-Oeste 25,1 32,6 30,7 40,4 13,0 17,8 15,9 22,3
Inventario de inscripción, pagos de gastos del FIES y renuncia fiscal del PROUNI.
FIES PROUNI
2009 Inscripciones 125.352 296.41
billones de R$ 0.73 0.2
2013 Inscripciones 829.163 335.712
billones de R$ 12.04 0.34
Las tasas de matrícula bruta y neta en universidades privadas y el total por región - 2009 y 2013
FUENTE: PNAD - IBGE. ELABORACIÓN: GEEFI - STN.
Caso de estudio interno: Una evaluación del programa FIES
El FIES fue establecido por la Ley N ° 10.260 / 2001 para facilitar el acceso a la educación a través de la financiación de inscripción de estudiantes en la red privada.
Los cambios implementados en el programa durante el 2010 fueron los siguientes:
1. la reducción de la tasa de interés del 6,5% al 3,4% (a.a.);
2. petición de financiamiento en cualquier etapa del curso, y no sólo en la entrada;
3. aumento del período de gracia de 6 a 18 meses;
4. el período de amortización del préstamo aumentó de 2 veces el curso para 3 veces más 12 meses;
5. en algunos casos, se suprimió el requisito obligatorio de fiador para la celebración del contrato, permitiendo que se cuente con el respaldo del Fondo de Garantía de Préstamos para la Educación (FGEDUC).
14
237.2350 435.8670
3,555
4,369
0
500
1,000
1,500
2,000
2,500
3,000
3,500
4,000
4,500
5,000
2012 2013 Demanda atendida (mil) Demanda Reprimida (mil)
Demanda atendida y reprimida do FIES - 2012 a 2013.
En 2012, más de 4 millones de suscriptores del ENEM dijeron que planeaban apelar al FIES, y el 99,5% tenían unos ingresos de hasta 20 salarios mínimos. ____________________________________
FUENTE: Enem e Censo do Ensino Superior, 2011-2013. ELABORAÇÃO: GEEFI - STN.
Caso de estudio interno: Una evaluación del programa FIES
Con una tasa de crecimiento de la matrícula en ES que está más allá de lo necesario para el logro de los objetivos del PNE, hay que asegurarse de que el FIES tiene un buen foco de su público objetivo.
A pesar del aumento de los beneficiarios FIES, su configuración geográfica, no ha cambiado. Hay poca cobertura en el noreste y alta concentración de beneficiarios en el sur y el sudeste.
15
Se observa un desplazamiento hacia la derecha de la distribución de las notas en el IGC (Índice General de Curso) de las IES privadas con FIES, lo que indica que la política de calificación mínima para acceder a los FIES pudo haber elevado la nota. Sin embargo, se resalta que las IES que continúan con nota por de debajo de 3, también fueron clasificadas para acceder a los FIES.
FUENTE: INEP, 2009/2013. ELABORACIÓN: GEEFI - STN.
FUENTE: INEP, 2009/2013. ELABORACIÓN: GEEFI - STN.
Distribución de nota continua no IGC de las IES’s con FIES - 2009 y 2013
Caso de estudio interno: Una evaluación del programa FIES
16
Distribución de la población de 17 años según los ingresos mensuales en bruto y en per cápita - R$ 2013
En el 2013 el 98% de las personas mayores de 17 años obtuvo un ingreso familiar mensual bruto de hasta 20
sm.
FUENTE: PNAD - IBGE. ELABORACIÓN: GEEFI - STN.
0
2
4
6
8
10
12
14
16
18
20
22
24
26
28
30
32
34
36
% fre
qu
en
tava E
S p
or
rend
a fam
ilia
r
2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
1° quartil de renda familiar 2° quartil de renda familiar
3° quartil de renda familiar 4° quartil de renda familiar
La evolución de la matrícula en la educación superior por cuartiles de ingresos familiares brutos de los jóvenes (A -18 a 24 años) y de la población total (B).
0
2
4
6
8
10
12
% fre
qu
en
tava E
S p
or
rend
a fam
ilia
r
2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
1° quartil de renda familiar 2° quartil de renda familiar
3° quartil de renda familiar 4° quartil de renda familiar
A B
0
5
10
15
20
25
30
Re
nd
a fa
mili
ar
me
nsal b
ruta
(S
M -
R$
201
3)
0 10 20 30 40 50 60 70 80 90 100
Percentil
02
.55
7.5
10
12
.51
51
7.5
20
Re
nd
a fa
mili
ar
per
capita
em
SM
- R
$ 2
013
0 10 20 30 40 50 60 70 80 90 100
Percentil
Caso de estudio interno: Una evaluación del programa FIES
Evidencias preliminares
La evaluación puede hacerse a partir de la identificación de la población que habría sido impactada por el programa, aumentando su inserción en la ES.
Se supone que el aumento significativo de la matrícula de acuerdo a un determinado nivel de ingresos es la evidencia del impacto del programa, suponiendo que el cambio en este período fue precisamente la expansión del acceso a programas de ES.
17
Faixa de renda domiciliar per capita (sm de 2015)
População (1.000) Taxa de matrícula nas IES privadas
2009 2013 18 ou mais 18 a 24
18 ou mais
18 a 24 18 ou mais
18 a 24 2009 2013 var. 2009 2013 var.
Até 0,25 sm 14.299 2.966 10.841 2.136 0,39 0,80 0,41 1,04 1,92 0,89
0,25 a 0,5 sm 25.489 5.158 21.356 4.121 0,94 1,10 0,15 2,04 3,01 0,97
0,5 a 0,75 sm 21.397 4.005 20.713 3.678 2,02 2,02 0,01 5,19 5,56 0,37
0,75 a 1 sm 19.691 2.982 21.278 3.011 2,68 2,74 0,06 9,03 9,81 0,78
1 a 1,25 sm 11.769 2.027 13.845 2.21 4,75 3,90 -0,85 14,85 13,25 -1,59
1,25 a 1,5 sm 7.717 1.22 11.232 1.757 5,41 4,89 -0,52 16,64 16,59 -0,05
Mais de 1,5 sm 29.398 3.755 38.042 4.421 7,62 6,16 -1,46 31,05 27,02 -4,03
Renda n.i. 4.752 750 8.267 1.241 5,14 4,55 -0,58 17,61 16,68 -0,93
Total 134.512 22.863 145.573 22.575 3,51 3,53 0,02 10,56 11,74 1,18
Faixa de renda domiciliar total (sm de 2015)
População (1.000) Taxa de matrícula nas IES privadas
2009 2013 18 ou mais 18 a 24
18 ou mais
18 a 24 18 ou mais
18 a 24 2009 2013 variação
2009 2013 variaç
ão
Até 1 sm 18.532 3.196 15.476 2.291 0,51 0,84 0,33 1,44 2,84 1,39
1 a 2 sm 31.037 5.161 28.409 4.316 1,15 1,25 0,09 3,12 4,07 0,95
2 a 3 sm 24.098 4.078 26.195 4.144 2,26 2,35 0,10 5,80 6,68 0,89
3 a 4 sm 16.742 3.023 18.055 2.945 3,62 3,51 -0,11 10,09 10,54 0,45
4 a 5 sm 10.306 1.903 13.225 2.194 5,25 4,78 -0,47 14,48 14,28 -0,20
5 a 7 sm 11.434 2.07 14.131 1.453 6,79 5,90 -0,89 19,28 17,42 -1,87
Mais de 7 sm 17.612 2.683 21.816 986 8,82 7,14 -1,68 32,04 29,20 -2,84
Renda n.i. 4.752 750 8.267 708 5,14 4,55 -0,58 17,61 16,68 -0,93
Total 134.512 22.863 145.573 22.575 3,51 3,53 0,02 10,56 11,74 1,18
La evidencia preliminar sugiere que el impacto de la política en los ingresos familiares alcance de hasta 4 sm, o hasta 1 sm por habitante.
Tasa de matrícula em la na red privada, , por nivel de renta domiciliar total y per cápita - 2009 y 2013
Caso de estudio interno: Una evaluación del programa FIES
sm - 2015
População (1.000) Taxa de matrícula nas IES públicas
2009 2013 18 ou mais 18 a 24
18 ou mais
18 a 24 18 ou mais
18 a 24 2009 2013 var. 2009 2013 var.
Até 1 sm 18.532 3.196 15.476 2.291 0,31 0,56 0,25 1,23 2,45 1,22
1 a 2 sm 31.037 5.161 28.409 4.316 0,50 0,60 0,10 1,82 2,44 0,62
2 a 3 sm 24.098 4.078 26.195 4.144 0,65 0,90 0,25 2,33 3,43 1,10
3 a 4 sm 16.742 3.023 18.055 2.945 1,04 0,95 -0,09 3,72 3,44 -0,27
4 a 5 sm 10.306 1.903 13.225 2.194 1,34 1,30 -0,04 4,58 4,99 0,41
5 a 7 sm 11.434 2.07 14.131 1.453 1,72 1,55 -0,17 6,28 5,54 -0,74
Mais de 7 sm
17.612 2.683 21.816 986 2,28 2,01 -0,26 10,86 9,78 -1,08
Renda n.i. 4.752 750 8.267 708 1,02 1,28 0,26 4,11 5,82 1,71
Total 134.512 22.86 145.57 22.575 0,99 1,10 0,11 3,85 4,50 0,65
18
Faixa de renda domiciliar per capita (sm de 2015)
População (1.000) Taxa de matrícula nas IES públicas
2009 2013 18 ou mais 18 a 24
18 ou mais
18 a 24 18 ou mais
18 a 24 2009 2013 var. 2009 2013 var.
Até 0,25 sm 14.299 2.966 10.841 2.136 0,25 0,56 0,31 0,91 1,98 1,07
0,25 a 0,5 sm 25.489 5.158 21.356 4.121 0,45 0,58 0,12 1,45 1,77 0,32
0,5 a 0,75 sm 21.397 4.005 20.713 3.678 0,64 0,81 0,17 2,30 3,00 0,70
0,75 a 1 sm 19.691 2.982 21.278 3.011 0,84 0,91 0,07 3,45 4,00 0,55
1 a 1,25 sm 11.769 2.027 13.845 2.21 1,27 1,09 -0,18 4,80 4,47 -0,33
1,25 a 1,5 sm 7.717 1.22 11.232 1.757 1,45 1,29 -0,16 6,02 5,28 -0,75
Mais de 1,5 sm 29.398 3.755 38.042 4.421 1,91 1,72 -0,20 10,16 9,18 -0,98
Renda n.i. 4.752 750 8.267 1.241 1,02 1,28 0,26 4,11 5,82 1,71
Total 134.512 22.86 145.57 22.575 0,99 1,10 0,11 3,85 4,50 0,65
Tasa de matrículas en red pública, por nivel de renta domiciliar total y per cápita - 2009 e 2013
En los mismos niveles de renta destacados anteriormente, también hubo un aumento de la inserción en la educación superior pública. El impacto del FIES y del ProUni probablemente habría sido mayor, si no se hubiera dado la expansión de las
universidades públicas y la adopción de la política de cuotas.
Caso de estudio interno: Una evaluación del programa FIES
Recomendaciones y cambios realizados
• Mejora del enfoque, con la reducción del público elegible;
El público elegible cambio para aquellos con ingresos de 2,5 salarios mínimos per cápita.
• La inclusión de criterios de valoración de méritos para acceder al programa;
El solicitante debe obtener una puntuación mínima de 450 puntos y no obtener cero en la prueba de escritura en el ENEM (Examen Nacional de la Escuela Secundaria).
• La distribución de las vacantes teniendo en cuenta los criterios regionales;
Nueva regla de relevancia social determinada por microrregión, teniendo en cuenta la demanda local de educación superior y de préstamo al estudiante, además del Índice de Desarrollo Humano Municipal de la región.
19
¡Muchas gracias!
Gerência de Estudos Econômico-Fiscais
Coordenação-Geral de Estudos Econômico-Fiscais – CESEF
Subsecretaria de Planejamento e Estatísticas Fiscais
