Embed Size (px)
Citation preview
TRANSFORMAURUGUAYSecretaría de TransformaciónProductiva y Competitividad
BUENAS PRÁCTICAS DE MONITOREO Y EVALUACIÓN DE POLÍTICAS
Índice
Introducción 3
Entendiendo el diseño del programa: la teoría del cambio 5El contexto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Definiendo el rango de acción y las prioridades . . . . . . . . . . . . . . . . . . . 7
Cadenas de resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Recursos, actividades y productos . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Factores críticos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Presentando la teoría del cambio . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Monitoreando el desempeño de un programa 13Fuentes de información . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Matriz de resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Evaluando los resultados del programa 16Tipos de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Evaluaciones Formativas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Evaluaciones Sumativas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
¿Cómo evaluar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Métodos Cualitativos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Métodos Cuantitativos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Uso de Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Evaluación en el STPC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Yo Estudio y Trabajo (MTSS-INEFOP) . . . . . . . . . . . . . . . . . . . . . . 23
Instrumentos de Promoción de la Innovación Empresarial (ANII) . . . . . 24
C-Emprendedor (MIEM/DINAPYME) . . . . . . . . . . . . . . . . . . . . . . . 25
Cluster de Turismo en Colonia . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Buenas Prácticas en Evaluación yMonitoreo 27
Referencias 29
2
Introducción
Las políticas de fomento de la competitividad y desarrollo productivo tienen como ob-
jetivo aumentar la productividad de las empresas, potenciar su inserción internacional
y mejorar los ingresos de los trabajadores y las empresas. Determinar si los recursos
invertidos en lograr estos objetivos tienen el impacto esperado es fundamental para
mejorar la transparencia y el diseño de estas políticas.
En este contexto, el monitoreo y evaluación (MyE) de instrumentos de política pública
cobra una importancia sustantiva a la hora de proveer información a los tomadores de
decisiones y generar evidencia objetiva sobre el impacto de estas políticas.
Elmonitoreo de una intervención de política es una actividad regularmediante la cual
se determina si su desempeño es aceptable usando un conjunto de indicadores defini-
dos de antemano.
La evaluación de una intervención se hace ocasionalmente y puede tener como obje-
tivo generar lecciones para su mejora, rendir cuentas a la ciudadanía sobre el destino
de los fondos que ejecuta y establecer relaciones causa-efecto entre su desempeño y
los resultados que busca obtener.
OCDE (2007) propone un esquemade 6 niveles para determinar la calidad de la eviden-
cia generada sobre los efectos de un programa. Los primeros tres niveles surgen de las
actividades demonitoreo de los programas, e implican analizar: 1) el nivel de cobertura
del programa, 2) el grado de satisfacción de los beneficiarios con los productos recibi-
dos y 3) su opinión sobre el impacto del programa en los resultados que obtuvieron.
Los siguientes tres niveles se consideran evidencia de evaluación, e implican 4) com-
parar a los beneficiarios con un grupo de no beneficiarios, 5) refinar esta comparación
buscando un grupo de no beneficiarios similar al de los beneficiarios y 6) corregir el
sesgo de selección de la comparación entre los participantes y los no participantes.
Uno de los objetivos de la Secretaría del Sistema Nacional de Transformación Producti-
va y Competitividad (en adelante STPC) es difundir un conjunto de estándares en MyE
entre las instituciones que lo integran.
3
Este documento está dirigido a los equipos técnicos de las instituciones de TU y busca
definir algunos fundamentos conceptuales y proponer una serie de buenas prácticas
para la evaluación y monitoreo de los instrumentos ejecutados por el Sistema.
En el primer capítulo, se presenta la Teoría del Cambio, una herramienta conceptual útil
para la planificación, gestión y evaluación de políticas.
En el segundo, se explican algunos aspectos a tener en cuenta a la hora de diseñar el
monitoreo de un programa, especialmente los criterios a tener en cuenta a la hora de
definir un conjunto de indicadores para actualizar y reportar habitualmente.
En el tercer capítulo se introducen los principales conceptos relativos a la evaluación
de programas y se reseñan algunas aplicaciones a programas de desarrollo productivo
en Uruguay.
En el último capítulo se presentan las buenas prácticas propuestas por la STPC para
el MyE de instrumentos de política. Estas sugerencias se articulan en una lista de pre-
guntas sobre la estrategia de Monitoreo y Evaluación prevista para cada uno de los
instrumentos ejecutados en el marco de Transforma Uruguay.
4
Entendiendo el diseño del programa: la teoríadel cambio
La Teoría del Cambio (TdC) de un programa permite identificar la naturaleza y mag-
nitud del problema que busca resolver, clarificar sus alcances, identificar factores que
pueden ser claves para su éxito o fracaso y explicitar losmecanismos causales que bus-
ca accionar para cambiar la realidad.
La TdC es a la vez una forma de describir una política y una herramienta para su planifi-
cación y gestión, y sirve como referencia para alinear el trabajo de los equipos encarga-
dos de su ejecución, explicitando aspectos claves que pueden no estar documentados.
Los principales componentes de la TdC son: el análisis de la situación a resolver, la defi-
nicióndel alcance y focalizaciónde la intervención, las cadenasde resultadosdeseados,
las actividades y recursos disponibles, y un análisis de los factores internos y externos
que pueden determinar el éxito o fracaso del programa.
El contexto
Para entender el contexto en el que se desarrolla un programa, la TdC debe incluir un
análisis del problema que busca resolver. Este análisis identifica la naturaleza y dimen-
sión del problema y describe sus principales características: a quiénes afecta, losmeca-
nismos causales que lo ocasionan y sus consecuencias.
A lo largo de este documento se presentan los conceptos aplicados a un caso concreto:
los Centros de Competitividad Empresarial.
5
Diagrama 1: El contexto del programa Centros de Competitividad Empresa-rial (CCE)
Las Mipymes tienen un papel determinante en el desarrollo económico y social
del Uruguay, concentrando el 70% del empleo del país (Encuesta Nacional de
Mipymes Industriales y de Servicios, 2017).
El diseño de los Centros de Competitividad Empresarial se basa en el diagnóstico
de dos problemas que afectan este grupo de empresas: el amplio margen
de mejora en sus capacidades competitivas y las limitaciones en las políticas
públicas que buscan mejorar estas capacidades.
Diversos estudios para los países de la región han identificado características de
las Mipymes que perjudican su competitividad, entre ellos su limitada capacidad
para adoptar tecnología, la escasa profesionalización de su gestión, las dificulta-
des de acceso al crédito y la alta informalidad (Molina-Ycaza y Sánchez-Riofrío,
2016).
Las políticas públicas dirigidas a estas empresas tienen importantes restricciones
de recursos, dificultades para llegar al público objetivo en el interior del país,
escasa coordinación inter-institucional público-privada y público-público e
insuficiente conocimiento de la demanda de instrumentos.
Las principal fuente de información sobre estos problemas en Uruguay es la en-
cuesta de Mipymes realizada por la Dirección Nacional de Artesanías, Pequeñas
y Medianas Empresas. Esta encuesta abarca una muestra de empresas en todo
el país, e incluye preguntas sobre demanda de servicios empresariales, acceso a
financiamiento, etc.
6
Definiendo el rango de acción y las prioridades
Para entender el diseño y funcionamiento de un programa, es necesario definir su al-
cance y sus prioridades. El alcance del programa define qué partes del problema se
espera que el programa afecte. El foco es un subconjunto del alcance en el que el pro-
gramava a hacer particular énfasis. Estos elementos permitendeterminar dónde está la
frontera del programa y cómo interactúa con su entorno, capitalizando oportunidades
para lograr sus objetivos de forma más eficiente.
Un programa de apoyo a emprendedores puede tener como alcance fomentar la crea-
ción de nuevas empresas de todo tipo, pero puede estar focalizado en beneficiarios
con vulnerabilidades sociales o emprendimientos de alto contenido tecnológico.
Diagrama 2: Ánálisis y focalización de CCE
La población objetivo del Programa son las micro, pequeñas y medianas em-
presas (Mipymes) y emprendedores que “demuestren interés, compromiso y
potencial de desarrollo en su territorio”. El Programa busca llegar a sus potencia-
les Clientes a través de una red de centros localizados en todo el país.
Si bien el acceso a financiamiento es identificado como una de las limitaciones
de la competitividad de los potenciales beneficiarios de los Centros de Com-
petitividad Empresarial, en la primera fase de aplicación del programa no está
previsto desarrollar acciones concretas para atacar este aspecto del problema.
Durante la fase inicial, se previó la instalación de dos Centros piloto en los de-
partamentos de Rivera y Tacuarembó. Estos primeros Centros concentraron sus
actividades en brindar capacitación a emprendedores y pequeñas empresas.
7
Cadenas de resultados
Las cadenas causales son el corazón de la TdC y vinculan los resultados esperados del
programa con sus objetivos de largo alcance, en relaciones de contingencia o causa-
efecto.
Una intervención destinada a capacitar empresarios en gestión de empresas puede te-
ner el siguiente resultados esperado:
“Los clientes son capaces de elaborar un flujo de fondos para su emprendimien-tos”.
Una vez que los clientes tienen un flujo de fondos, pueden tomar mejores decisiones
respecto a su planificación financiera, por lo que otro resultado esperado del programa
puede ser:
“Los clientes no tienen problemas de liquidez”.
Este resultado está en un nivel superior en la cadena de resultados porque es la conse-
cuencia de un resultado más bajo de la cadena.
Además de cadenas causales simples como la anterior, puede haber relaciones más
complejas como relaciones de contingencia o retroalimentaciones entre los distintos
niveles de la cadena. Estas relaciones se muestran mediante flechas que ilustran los
vínculos causales entre los resultados.
Una vez definidas las cadenas de resultados esperados del programa, es necesario es-
pecificar los atributos de cada resultado y definir criterios objetivos para determinar el
éxito de cada uno.
8
Diagrama 3: Cadena de resultados esperados
Los resultados demás bajo nivel son efecto directo de las actividades del programa y a
medida que sube el nivel aparecen resultados más indirectos, que se logran en base a
los de los niveles más bajos.
9
Recursos, actividades y productos
Estos tres elementos resumen losprincipales aspectosoperativosde la intervención: los
recursos necesarios para implementarla (humanos, financieros, infraestructura, etc.),
los procesos y actividades vinculados a su ejecución diaria y los bienes y/o servicios
que reciben sus beneficiarios.
Diagrama 4: Ejemplo de recursos
Actividades
En el primer año del programa, las principales tareas de los asesores estan vincu-
ladas al posicionamiento del Centro entre las instituciones y las empresas locales,
el asesoramiento a clientes y la coordinación de capacitaciones y asesorías técni-
cas que reciben los beneficiarios.
Productos
Con el fin de lograr sus objetivos, los CCE ofrecen cuatro servicios a la población
objetivo: Diagnóstico Empresarial, Capacitaciones, Asistencia Técnica y Deriva-
ción Inteligente.
Los Diagnósticos Empresariales son una herramienta para determinar el nivel
de profesionalización en la gestión de la empresa. Se realizan a partir de una
entrevista con el cliente, que recibe un Informe sobre la gestión de su empresa y
un Plan de Acción con una lista de actividades a desarrollar.
Estas actividades pueden ser Asistencias Técnicas en temas de gestión brinda-
das por asesores externos o los propios asesores del Centro, Capacitaciones o
Derivaciones a otros instrumentos de política pública.
10
Factores críticos
Hay numerosos factores internos y externos a los programas que pueden afectar el lo-
gro de sus resultados. Los ejecutores de las políticas realizan proyecciones y supuestos
-implícita o explícitamente- sobre el comportamiento de estos factores. La Teoría del
Cambio debe documentar estos supuestos, de forma de verificar su cumplimiento pe-
riódicamente.
Entre los factores internos al programa que pueden afectar su nivel de éxito pueden
encontrarse, entre otros, la disponibilidad de recursos, la estrategia de comunicación
de la intervención, la calidad, cantidad y oportunidad de los servicios que entrega a
sus beneficiarios y la capacitación de su equipo técnico.
Por otro lado, los cambios en la coyuntura económica, factores demográficos que afec-
tana lapoblaciónobjetivo, yotraspolíticaspúblicas son factoresexternosal programa
que pueden afectar sus probabilidades de éxito.
Tanto los factores internos como los externos pueden afectar el éxito de un proyecto
en forma positiva o negativa, por lo que es crucial definir los mecanismos necesarios
para que los implementadores estén al tanto de su evolución para aprovechar oportu-
nidades y minimizar amenazas.
Diagrama 5: Factores críticos para el éxito de los CCE
Uno de los factores internos clave identificados para el éxito de los CCE es la
capacitación de los asesores y su capacidad de relacionarse con los beneficiarios
del Programa. Para monitorear esto, se desarrolló un cuestionario sobre la
percepción de los clientes del desempeño de los asesores asignados.
También se identificaron como factores determinantes, la calidad de las capaci-
taciones y asistencias técnicas, como también el conocimiento de los posibles
beneficiarios sobre la existencia del programa.
11
Presentando la teoría del cambio
Una vez elaborada la Teoría del Cambio, es necesario presentarla de forma concisa para
que las partes interesadas puedan entenderla rápidamente. Una posible presentación
de la Teoría del Cambio de un programa es la que semuestra en el siguiente diagrama:
Diagrama 6: Plantilla para presentar la Teoría del Cambio
El diagrama tiene un espacio para cada uno de los componentes de la Teoría del Cam-
bio, que pueden ser completados con mayor o menor detalle según el uso que se es-
pera darle.
12
Monitoreando el desempeño de un programa
Elmonitoreo es un proceso continuomediante el cual se genera información actualiza-
da sobre el desempeño del programa a través de un conjunto de indicadores elegidos
de antemano.
Esta información tiene como objetivo guiar la implementación de las actividades coti-
dianas del programa, por lo que debe ser lo más actual posible. Además, para asegurar
su relevancia, el diseño de los indicadores reportados debe hacerse en colaboración
estrecha con los implementadores.
También es importante que existan metas que permitan determinar si el desempeño
de los indicadores es aceptable o no. Una vez determinados los indicadores y lasmetas
fijadas y los plazos, los implementadores pueden enfocarse en lograr los objetivos del
programa.
Fuentes de información
Las organizaciones encargadas de ejecutar políticas públicas deben contar con siste-
mas informatizados de gestión para organizar y registrar sus actividades diarias. Estos
sistemas son una importante fuente de información para los indicadores demonitoreo.
Sin embargo, también cumplen otros fines (planificación financiera, gestión, etc.) por
lo que no siempre se ajustan a los requerimientos de los equipos de MyE.
También es importante que los programas cuenten con un repositorio centralizado de
documentos (manuales de procedimientos, actas de reuniones, etc.). Esto facilita la eje-
cucióndel programa, pero tambiénpermite que los equiposde evaluación ymonitoreo
accedan fácilmente a esta información.
Si bien es habitual que este tipo de información esté registrada en algún soporte in-
formático, es usual que quede dispersa en sistemas secundarios (correos, planillas de
electrónicas, etc.) de difícil acceso para terceros.
13
Matriz de resultados
La Matriz de Resultados resume en una tabla los objetivos, formas de cálculo y fuentes
de información de cada indicador. Es deseable que incluya un indicador en cada nivel
de la TdC mostrado en la Tabla 1:
Tabla 1: Niveles de la Teoría del Cambio
Recursos Recursos (humanos, financieros, infraestructura) necesarios para
implementar la intervención.
Actividades Procesos vinculados a la ejecución de la intervención.
Productos Bienes y servicios producidos y entregados a los beneficiarios de la
intervención.
Resultados Cambios de corto plazo en el comportamiento o situación de los
beneficiarios derivados del uso de los productos entregados en el
marco de la intervención.
Si bien la información necesaria para generar indicadores de insumos, actividades y
resultados suele estar disponible en los registros y/o sistemas del programa, los indica-
dores de resultados e impacto suelen ser más difíciles de elaborar.
Es importante mantener la cantidad de indicadores acotada y priorizar aquellos que
reflejen situaciones críticas o mayor incertidumbre. Además los indicadores deben ser
acompañados de valores de referencia para establecer comparaciones. Los indicadores
elegidos se resumen en la matriz de resultados (MdR), una vista rápida de las medidas
utilizadas para monitorear el desempeño de un programa.
Los indicadores incluidos en laMdR deben cumplir una serie de atributos resumidos en
el acrónimo “SMART” por el significado de cada término en inglés. Estos atributos son:
S (Específico): Los indicadores deben ser precisos. Debe estar claramente defini-
do por su unidad de análisis (empresas, personas, etc.) y nivel de desagregación
(género, departamento, etc.).
M (Medible): Deben contar con una fuente identificada previamente y ser obte-
14
nidos mediante cálculos objetivos y replicables por terceros.
A (Realista): Debe ser factibleque la intervenciónafecte la evolucióndel indicador,
y los costos de construirlo deben ser adecuados a las restricciones presupuesta-
rias del proyecto.
R (Relevante): El indicador debe reflejar correctamente los objetivos del progra-
ma.
T (Temporalidad): Lasmediciones deben tener unhorizonte temporal compatible
con el desarrollo del proyecto. Esto implica tener en cuenta los plazos de la eje-
cución del proyecto, rezagos entre la entrega de los productos y los resultados, y
el tiempo requerido para hacer el relevamiento de los datos.
Una matriz de resultados tiene la siguiente forma:
Tabla 2: Ejemplo de Matriz de Resultados
Línea de Base Meta Fuente
Productos
Resultados
Impactos
15
Evaluando los resultados del programa
Evaluar un programa es determinar su relevancia, eficiencia y eficacia. (Papaconstanti-
nou y Polt, 1999). Una evaluación puede tener múltiples propósitos: mejorar la imple-
mentación de las políticas, determinar su contribución a resolver los problemas que
intenta abordar y rendir cuentas a la ciudadanía, entre otros.
Toda evaluación exitosa debe enfocarse a resolver las necesidades de información de
sus destinatarios, que pueden ser los implementadores del programa, los hacedores de
política o la ciudadanía en general.
Los evaluadores de un programa pueden ser parte de la institución encargada de su
implementación o evaluadores externos. Es importante asegurar que el equipo encar-
gado de desarrollar la evaluación cuente con las capacidades y experiencia necesarias
para planificar y ejecutar proyectos de evaluación.
Las preguntas de evaluación son uno de los primeros aspectos a determinar al iniciar
un proyecto. Estas preguntas surgen del propósito de la evaluación y del análisis de ne-
cesidades de su destinatario y son necesarias para diseñar los métodos de recolección,
procesamiento y análisis de los datos. Las evaluaciones pueden abordar tres tipos de
preguntas (Imas y Rist, 2009):
Preguntasdescriptivas, que apuntan a lo que está ocurriendoobjetivamente. Se
centran en los procesos, las condiciones y las opiniones de las partes interesadas.
Preguntas normativas, que compara la situación actual con un objetivo o punto
de referencia específico. Estas preguntas buscandeterminar el nivel de avancedel
proyecto y en qué medida se cumplieron las metas planificadas.
Preguntas de causa y efecto, determinan lo que ha cambiado debido a la inter-
vención y buscan determinar los efectos de un proyecto, programa o política. Se
las denomina preguntas de resultado, impacto o atribución.
16
Diagrama 7: Preguntas de evaluación para los CCE
Preguntas descriptivas¿Cuántas empresas participan del programa?
¿Qué proporción de beneficiarios recomendaría el programa?
¿Cuál es la cobertura geográfica del programa?
Preguntas normativas¿Cuántas empresas deberían participar del programa?
¿La tasa de informalidad en las zonas donde hay Centros es la esperada?
Preguntas de causa y efecto¿El programa reduce la informalidad en sus beneficiarios?
¿El programa aumenta las ventas de sus clientes?
¿El impacto del programa es mayor entre empresas de un sector u otro?
Tipos de evaluación
Las evaluaciones pueden clasificarse por losmétodos que utilizan, el tipo de preguntas
quebuscan responder, elmomentoenel ciclode vidadel programaenel que se inserta,
entre otros factores.
El siguiente diagrama muestra donde se inserta cada tipo de evaluación en el ciclo de
vida de un programa:
17
Evaluaciones Formativas
Una evaluación formativa suele aplicarsemientras el programa está en funcionamiento
y tiene como principal objetivo extraer lecciones aprendidas para contribuir a su me-
jora. Los destinatarios principales de estas evaluaciones son los encargados de imple-
mentar los programas. Las evaluaciones sumativasmás difundidas son las evaluaciones
de diseño y las evaluaciones de procesos.
Una evaluación de diseño tiene como objetivo evaluar la lógica interna de un progra-
ma. Para eso analiza su diseño y planificación para determinar si sus componentes son
coherentes entre sí y tienen vínculos causales sólidos con los problemas que el progra-
ma busca atacar.
Una evaluación de procesos tiene como objetivo determinar si hay discrepancias en-
tre la planificación ydiseñodeunprogramay las causasdeestas posibles discrepancias.
Los métodos empleados para esto pueden incluir el análisis de planes operativos, au-
ditoría de actas de reuniones y la realización de encuestas y entrevistas personales con
los ejecutores y los beneficiarios de los programas.
Evaluaciones Sumativas
Las evaluaciones sumativas buscandeterminar el éxito o fracasodeunprograma y con-
tribuir directamente a la tomade decisiones respecto a la asignación de recursos, como
el escalamiento o cancelación de un programa. Sus principales destinatarios son los to-
madores de decisión y el público general.
Una evaluación de impacto busca determinar el impacto causal de un programa so-
bre el problema que busca resolver. Esto implica que los cambios observados en las
variables de resultados deben ser atribuibles al programa, por lo que es necesario que
la estrategia de evaluación logre distinguir los efectos del programa en estas variables
del efecto de otros factores que las puedan afectar.
Elmodelo ideal para cuantificar este efecto proviene de las cienciasmédicas. Un experi-
mento clínico típico consiste en,medir las variables de interés en una población, aplicar
18
el tratamiento a un subgrupo elegido aleatoriamente (grupo de tratamiento), volver a
tomar lasmedidas de las variables de interés y comparar los resultados obtenidos entre
el grupo de tratamiento y los individuos no tratados (grupo de control).
Elegir aleatoriamente el grupo de tratamiento y el de control permite asegurar que no
hay diferencias sistemáticas entre ambos grupos, por lo que las diferencias en los efec-
tos en ambas poblaciones permite identificar correctamente el efecto del tratamiento.
Debido a su origen en los experimentos clínicos, los métodos basados en la selección
aleatoria de los participantes suelen denominarsemétodos experimentales.
Los contextos en los que se aplican las políticas públicas no siempre permiten asignar
recursos usando este mecanismo. Este problema dio origen a otra familia de métodos
llamados cuasi-experimentales, que buscan eliminar los sesgos en la comparación entre
individuos participantes y no participantes aún cuando la asignación a cada grupo no
es totalmente aleatoria.
El último tipode evaluaciónque consideramos es laevaluacióndeeficiencia. Este tipo
de evaluación busca, una vez conocido el impacto de un programa, analizar su relación
costo beneficio.
Para hacer estas evaluaciones, es necesario estimar el flujo de ingresos y gastos aso-
ciados al programa, incluyendo los factores sobre los que hay información, como los
recursos asignados al programa y el aumento en la recaudación de impuestos, y ha-
ciendo supuestos sobre los factores sobre los quenohay informacióndisponible, como
la valoración de ciertos impactos sociales y la tasa social de descuento de los fondos.
Esto permite determinar si un programa es rentable desde el punto de vista del go-
bierno o de la sociedad, o si hay destinos mejores para los recursos que implica.
¿Cómo evaluar?
La metodología de recolección y análisis de datos es otro aspecto importante a tener
en cuenta al planificar una evaluación. Estos métodos deben ajustarse a los objetivos
19
de la evaluación y a las preguntas que busca responder.
Métodos Cualitativos
Losmétodos cualitativos sebasanenel contactodirecto con las partes interesadas en la
evaluación y permiten relevar información detallada sobre el funcionamiento del pro-
grama.
La observación directa, implica que el evaluador observe las actividades de las perso-
nas implicadas en el programa. El observador puede asumir un rol pasivo y solo tomar
notas o un rol más activo de participante en las actividades que observa. Si bien estos
métodos permiten generar información detallada sobre los programas, la información
puede ser sesgada y poco objetiva.
Otrosmétodosmuydifundidos para relevar información cualitativa son las entrevistasa beneficiarios, miembros del staff y hacedores de política involucrados con el progra-
ma. Las entrevistas requieren la preparación de un cuestionario que puede ser más o
menos estructurado. Las entrevistas más estructuradas no permiten flexibilidad, pero
tienen la ventaja de que los resultados son más comparables porque todos los entre-
vistados contestan las mismas preguntas.
Finalmente, los focus groups son entrevistas grupales. Estas entrevistas son lideradas
por un moderador. Si bien incluyen pautas de preguntas, la dinámica de conversación
grupal hace que la discusión tome caminos imprevistos, lo que puede resultar en in-
formación útil o no. La principal desventaja de este tipo de método es que algunos
participantes acaparen la conversación y otros no participen significativamente.
20
Métodos Cuantitativos
Los métodos cuantitativos se aplican cuando el evaluador dispone de información nu-
mérica sobre ciertas variables de resultados de los beneficiarios de unprograma (ingre-
sos, exportaciones, etc.). Las técnicas estadísticas aplicadas a su análisis pueden tener
diversos grados de sofisticación, desde estadísticos descriptivos a métodos de inferen-
cia causal.
La diferencia en la variables de resultado antes y después de que los beneficiarios par-
ticipen del programa es un indicador que puede resultar útil para aproximar el impacto
de un programa en sus clientes.
Si bien este método tiene algunas deficiencias para determinar rigurosamente el im-
pacto causal de las políticas, es recomendable que el programa genere una línea de
base de las variables de resultados en sus beneficiarios y la mantenga actualizada para
calcularlo periódicamente.
En caso de contar con información sobre las variables de resultados en individuos que
no participan del programa, comparar estos resultados con los del grupo de tratamien-
to también puede informarnos sobre si el programa está logrando sus objetivos o no.
A la hora de obtener estimaciones rigurosas del impacto de un programa en las va-
riables de resultado de los beneficiarios, ambos métodos tienen limitaciones similares,
porque asumen un escenario contrafactual poco creíble.
El escenario contrafactual es una estimación de los resultados de los beneficiarios en
caso en que no hubieran participado del programa. Para evaluar rigurosamente el im-
pacto de un programa, hay que construir este escenario en forma creíble.
Recientemente se handesarrolladouna serie de técnicas de evaluaciónde impactoque
buscan explotar la información disponible al máximo para lograr estimar contrafactua-
les creíbles.
En la práctica, es habitual que las evaluaciones combinenmétodos cuantitativos y cua-
litativos para abordar las preguntas que se plantean resolver.
21
Cualquiera sea la metodología empleada, es importante que sea documentada en un
Plan de Evaluación. Este documentomejora la credibilidad de las conclusiones porque
formaliza los métodos empleados y asegura que los evaluadores no van a cambiarlos
si los resultados no son los esperados.
Uso de Resultados
Una vez recolectada y analizada la información, es necesario plasmar los resultados en
unoomás documentos que detallen losmétodos empleados, los principales hallazgos,
las conclusiones y las recomendaciones surgidas de la evaluación.
El propósito final de toda evaluación debe ser la mejora de la política evaluada. Para
maximizar este impacto, es necesario que la forma de presentación y nivel de elabora-
ción y detalle de cada uno de estos elementos se ajuste a la audiencia de cada uno de
estos documentos.
En el caso en que la audiencia esté compuesta por hacedores de política y tomadores
de decisión, el informe debe estar centrado en los hallazgos y recomendaciones del
trabajo, que a su vez deben estar estrechamente ligados a las preguntas de evaluación.
Los detalles de los métodos utilizados para el relevamiento y análsis de datos pueden
quedar relegados a un anexo del informe.
Si bien el rigor metodológico es una condición necesaria para que las evaluaciones lo-
gren sus objetivos, a veces enfocar mejor las preguntas de evaluación o generar las
respuestas más oportunas es más importante que refinar los métodos de análisis.
Otro aspecto importante a tener en cuenta es como comunicar hallazgos desfavora-
bles sobre el desempeño de un programa. En estos casos es fundamental mantener un
equilibrio entre la credibilidad del equipo de evaluación y la confianza que es necesario
mantener con todos los involucrados. Es importante que estos hallazgos sean presen-
tados como sugerencias de mejora, y que el lenguaje empleado sea lo más objetivo
posible.
22
Evaluación en el STPC
En este apartado repasamos los resultados de algunas evaluaciones exitosas de instru-
mentos de Transforma Uruguay.
Yo Estudio y Trabajo (MTSS-INEFOP)
El Programa “Yo Estudio y Trabajo” tiene comoobjetivo ofrecer unaprimera experiencia
laboral formal a jóvenes estudiantes de entre 16 y 20 años asegurando que puedan
continuar sus estudios. El programa asigna los puestos disponibles en las empresas que
participan del programa mediante un sorteo.
Estemétodo de selección de los beneficiarios elimina las diferencias sistemáticas entre
los beneficiarios y los no beneficiarios. La evaluación realizada por Araya y Rivero en
2016 explota esto para justificar la comparación directa entre estos dos grupos. Los
autores encuentran efectos diferenciales según el horizonte temporal considerado y
ciertas características de los individuos.
Enelmuycortoplazo (pocosmesesdespuésdeque losparticipantesfinalizaranel pasa-
je por el programa) el programa tiene un impacto negativo en la cotización a la seguri-
dad social de los beneficiarios. Estos efectos sonmayores en los jóvenes deMontevideo
y a los integrantes de hogares que no cobran Asignaciones Familiares.
En el corto plazo (15 meses después de finalizado el programa) esos efectos negati-
vos se diluyen. En el mediano plazo (27 meses después de finalizado el programa) se
observa un impacto positivo en la cotización para los jóvenes que residen en hogares
que cobran AFAM y un incremento en la probabilidad de que estos jóvenes tengan un
empleo formal entre 8 y 12 puntos porcentuales.
23
Instrumentos de Promoción de la Innovación Empresarial (ANII)
Emprendedores Innovadoresesun instrumentodeANII que tiene comoobjetivopro-
mover la creación y el desarrollo de empresas nuevas o jóvenes con productos innova-
dores.
El programa se organiza en tres componentes según la fase de desarrollo en que se
encuentre el emprendimiento apoyado.
El equipo de Evaluación y Monitoreo de ANII usó una combinación de métodos cuan-
titativos y cualitativos para evaluar el desempeño de los diferentes componentes del
instrumento.
La información cualitativa fue relevada mediante entrevistas estructuradas y semies-
tructuradas con algunos de los beneficiarios que participaron del programa. Estas téc-
nicas permiten obtener información detallada del perfil de los emprendedores y sus
ideas de negocio, sus motivaciones para tener un emprendimiento y para participar
del programa y su visión del funcionamiento del programa.
La información cuantitativa proviene de la Encuesta de Actividades de Innovación
2013-2015. Para analizar esta información, se usan métodos de emparejamiento para
obtener una medida del impacto causal del programa en las variables de resultado de
los participantes.
La evaluación encuentra que las empresas beneficiarias invierten cuatro veces más en
innovación que las no beneficiarias. Además, las estimaciones realizadasmuestran que
las empresas que resultan financiadas por el programa tienen 40% más de probabili-
dades de realizar I+D y actividades de innovación que las no financiadas y 47%más de
probabilidades de introducir en el mercado productos novedosos.
Finalmente, la evaluación usa esta medida de impacto para hacer una evaluar la rela-
ción costo beneficio del programadesde el punto de vista del Estado, concluyendoque
las empresas aportaron USD 18,9 por dólar invertido en el programa. Este resultado es-
tá fuertemente influido por la empresa más exitosa del programa. Excluyendo a esta
empresa de la muestra, esta relación es de USD 2,4 por dólar invertido.
24
C-Emprendedor (MIEM/DINAPYME)
El programa C-Emprendedor del Ministerio de Industria Energía y Minería de Uruguay
(MIEM) apoya financiando capacitación y asistencia técnica a emprendedores o empre-
sas jóvenes con ideas innovadoras.
El programa asigna un puntaje a los emprendedores basados en las ideas que presen-
tan al programa. Si el puntaje supera un umbral mínimo, el emprendedor puede con-
tinuar en el programa.
Este diseño permite aplicar técnicas conocidas como de regresión discontinua, usando
a los emprendedores justo debajo del umbral como grupo de control.
Bajo ciertas circunstancias, los emprendedores del grupode control permiten construir
un escenario contrafactual, y comparar sus resultados con los de los participantes per-
mite estimar el impacto del programa.
Aboal et. al (2017) usan una estrategia para evaluar el programa y encuentran que par-
ticipar del programa implica 40 puntos porcentuales más de probabilidad de tomar
acciones para la puesta en marcha del emprendimiento.
Además, los beneficiarios crean en promedio 3 puestos de trabajomás cada 4 empren-
dedores en comparación con los no beneficiarios. Sin embargo, no se encuentra evi-
dencia de impactos significativos sobre la probabilidad de realizar inversiones o sobre
la probabilidad de crear empresas.
Cluster de Turismo en Colonia
El objetivo del programa de Cluster de Turismo en Colonia es fortalecer las capacidades
de las empresas turísticas locales y apoyar el desarrollo de proyectos asociativos.
Este proyecto implicó una amplia gamade intervenciones, comoel diseñodel sitioweb
y desarrollo de una marca de la ciudad, la incorporación de nuevas tecnologías y la
capacitación del personal de las empresas del Cluster.
25
Cuando la unidad de tratamiento es un agregado como una región o un país, no siem-
pre es posible encontrar unidades no tratadas con características similares comogrupo
de control. Si hay una sola unidad tratada y el grupo de control es pequeño, es posible
usar el método de control sintético para responder preguntas contra factuales.
Este método consiste en construir un grupo de control con una combinación lineal de
las unidades de las observaciones del grupo de control. Si la trayectoria del grupo de
tratamiento antes de participar en el programa es similar a la del grupo de control sin-
tético, las diferencias observadas luego de que los tratados participan del programa se
puede atribuir al mismo.
La evaluación realizada por Aboal, Crespi y Perera (2017) utiliza este método para de-
terminar si el programa aumentó el flujo de turistas y el gasto por turista en el depar-
tamento.
Comonohay regiones turísticas con características similares a Colonia, se usa una com-
binación del resto de las regiones turísticas de Uruguay para crear un grupo de control.
Este control sintético es un promedio ponderado que incluye la Costa de Oro (0,81), el
Litoral (0,16) yMontevideo (0,03). La evolución de la cantidad de visitantes a este grupo
es similar.
Las estimaciones muestran un impacto positivo del programa de Cluster en la entrada
de turistas internacionales a Colonia. El impacto estimado fue de 14.000 turistas por tri-
mestre entre 2008 y 2015, un aumento del 24% en el número de turistas en el período.
Sin embargo, no se encuentra un impacto significativo en el gasto total de los turistas
en el departamento.
26
Buenas Prácticas en Evaluación yMonitoreo
Este apartado presenta las buenas prácticas en una serie de preguntas sobre la estra-
tegia de monitoreo y evaluación diseñada para un programa.
Contexto Institucional
¿El equipo de evaluación es independiente de los implementadores del programa?
¿Se especifica quiénes son los destinatarios de los informes? ¿Se analizaron cuáles
son sus necesidades de información?
¿Algún experto externo al equipo de evaluación validó la estrategia de MyE?
Estrategia deMonitoreo
¿Existe un plan de Reportes de Monitoreo con cronograma?
¿Los recursos, actividades, productos, resultados e impactos de la intervención están
claramente especificados?
¿En la MdR hay al menos un indicador SMART identificado para los recursos,
productos, resultados e impactos de la intervención?
¿En la MdR se incluyen datos de línea de base para los indicadores seleccionados
para monitorear y evaluar los productos de la intervención?
Estrategia de Evaluación: Diseño
¿Cuál es el propósito de la evaluación?
¿Las preguntas que busca responder están claramente definidas?
¿Los métodos de recolección y análisis de datos están especificados y se ajustan a las
preguntas de evaluación?
¿Existe un Plan de Evaluación o Términos de Referencia de la evaluación?
27
¿Cómo se compone el equipo de MyE? ¿Qué experiencia y calificaciones tienen sus
integrantes?
¿El equipo de MyE tiene acceso a la información del programa?
Documentación e Informes
¿La Teoría del Cambio de la intervención está documentada?
¿Se analiza el contexto en el que se desarrolló la intervención y sus posibles
impactos en los resultados obtenidos?
¿Se presentan hallazgos, conclusiones, lecciones aprendidas y recomendaciones en
forma clara?
¿El informe especifica las limitaciones de la metodología utilizada?
Uso de Resultados
¿La evaluación satisface las necesidades de información del destinatario de la
evaluación?
¿Los destinatarios de la evaluación tomaron acciones en base a los resultados de la
evaluación?
¿Qué nivel de difusión externa e interna tiene la evaluación?
28
Referencias
Aboal, D., Crespi, G. y Perera, M. (2017). Impact Evaluation of a Cluster Program: An
Application of Synthetic Control Methods. Tech. rep., Inter-American Development
Bank.
Alkin, M. (2011). Evaluation Essentials. Guilford Press.
Angrist, J. D. y Pischke, J.-S. (2014). Mastering’metrics: The path fromcause to effect. Prin-ceton University Press.
ANII (2017). Informe de evaluación de emprendedores innovadores. Informede Evalua-ción de Instrumentos (Documento de trabajo N◦ 13).
BID (2017). Toolkit for theApplication of theDEM. SovereignGuaranteeOperations. World
Bank Publications.
Campaign, M. S. (2012). State of the campaign report. Washington, DC: Results Educa-tional Fund .
Cárdenas, M., Cortés, F., Escobar, A., Nahmad, S., Scott, J. y Teruel, G. (2013). Manual para
el diseño y la construcción de indicadores. instrumentos principales para el monito-
reo de programas sociales deméxico. Consejo Nacional de Evaluación de la Política deDesarrollo Social, CONEVAL .
Diego Aboal, F. R. M. P. Q., Martín Pereyra (2017). Evaluación de Impacto del Programa
C-Emprendedor (Informe final).
Funnell, S. C. y Rogers, P. J. (2011). Purposeful program theory: Effective use of theories ofchange and logic models, vol. 31. John Wiley & Sons.
Gertler, P. J., Martínez, S., Premand, P. y Rawlings, L. B. (2017). La evaluación de impactoen la práctica. World Bank Publications.
Mayne, J. (2015). Useful Theory of Change Models. Canadian Journal of Program Eva-luation .
MIEM-DINAPYME (2017). Encuesta Nacional de MIPYMES industriales y de servicios.
29
Morra-Imas, L. G., Morra y Rist, R. C. (2009). The road to results: Designing and conductingeffective development evaluations. World Bank Publications.
MTSS (2016). Evaluación de impacto de la primera edición del programa Yo Estudio y
Trabajo con la incorporación de registros administrativos. .
OCDE (2010). Estándares de calidad para la evaluación del desarrollo. Serie Directrices yReferencias del CAD .
Papaconstantinou, W., G. y Polt (1999). Policy evaluation in innovation and technology
policy. an overview. OECD (ed.) Policy Evaluation in Innovation and Technology Policy:Towards Best Practice .
Ycaza, D. E. M. y Sánchez-Riofrío, A. M. (2016). Factores de competitividad orientados
a la pequeña y mediana empresa (pyme) en latinoamérica: revisión de la literatura.
Revista San Gregorio , 104–111.
30
hola
