Manual de Evaluación de Politicas Públicas

Dirección GeneralMauricio Santa María Salamanca

Subdirección Territorial y de Inversión PúblicaPaula Acosta Márquez

Subdirección SectorialMauricio Perfetti del Corral

Secretaría GeneralTatiana Mendoza Lara

Director de Seguimiento y Evaluación de Políticas PúblicasOrlando Gracia Fajardo

Dirección de Seguimiento y Evaluación de Políticas Públicas

Alejandro Torres PericoMaría Carolina Suárez Hernández

Juanita Ayala PatiñoJosé Luis González Ramírez

Angélica Cecilia Nieto RochaMaría Fernanda Cortés GarzónJuan David Casas Maldonado

Julián Daniel Muñoz CifuentesGustavo Alberto Quintero Ardila

Flavio Alejandro Reyes GómezNatalia Garbiras Díaz

Jorge Norberto Llano SalamancaJosé Alejandro Arango Dechner

Diana Mercedes Ramírez GuzmánMaría Margarita Borda Fonseca

Grupo de Comunicaciones y Relaciones Públicas

Giovanni Celis Sarmiento

Diseño, Diagramación e ImpresiónEditorial Kimpres Ltda.

Calle 19 Sur No. 69C - 17PBX: 4136884

Bogotá D.C., Colombia

©Departamento Nacional de Planeación, 2012Calle 26 No. 13-19

PBX: 3815000www.dnp.gov.co

Bogotá D.C., Colombia

Impreso y hecho en ColombiaPrinted in Colombia

Guía para la Evaluación de Políticas PúblicasSerie de Guías Metodológicas Sinergia

Capítulo 1Generalidades

1.1 ¿Qué es evaluar? .......................................................................................................................... 101.2 ¿A qué preguntas responde? ..................................................................................................... 101.3 Definicióndelalcancedelaevaluación ................................................................................ 11

1.3.1 Paso1:Identificarelprogramaaevaluar ......................................................................... 131.3.2 Paso 2: La cadena de resultados o cadena de valor ................................................... 131.3.3 Paso 3: La cadena de entrega ................................................................................................. 151.3.4 Paso 4: El mapeo de información ......................................................................................... 161.3.5 Paso 5: Construcción de la hipótesis de evaluación................................................... 161.3.6 Paso6:Definicióndeobjetivosyalcancedelaevaluación ................................... 16

1.4 Selección del tipo de evaluación ............................................................................................. 161.4.1 ¿Cómo seleccionar el tipo de evaluación? ...................................................................... 17

1.5 Estudio de caso: Plan Nacional de Consolidación Territorial ........................................... 181.5.1 Paso1:Identificarelprogramaopolíticaaevaluar .................................................... 181.5.2 Paso 2: La cadena de resultados ........................................................................................... 221.5.3 Paso 3: La cadena de entrega ................................................................................................. 221.5.4 Paso 4: El mapeo de información ........................................................................................ 231.5.5 Paso 5: Construcción de la hipótesis de evaluación................................................... 251.5.6 Paso6:Definicióndeobjetivosyalcancedelaevaluación ................................... 251.5.7 Selección del tipo de evaluación necesario para el análisis .................................. 25

Capítulo 2Evaluación de Procesos

2.1 Características y Usos ................................................................................................................. 292.2 Desarrollo de la evaluación ...................................................................................................... 30

2.2.1 Definirlosprocesosaevaluar ............................................................................................... 302.2.2 Recoger información de cada una de las áreas ............................................................. 322.2.3 Analizar y reportar la información ...................................................................................... 322.2.4 Uso de los resultados ................................................................................................................. 35

Índice

Guía para la Evaluación de Políticas Públicas

4

Capítulo 3Evaluación de productos

3.1 Características y Usos ................................................................................................................. 393.2 Desarrollo de la evaluación ...................................................................................................... 40

3.2.1 Definirlosproductosesperados ........................................................................................... 403.2.2 Establecer metas y asociar indicadores ............................................................................ 403.2.3 Recolección de información .................................................................................................... 413.2.4 Analizar y reportar el estado de los productos ............................................................ 423.2.5 Uso de los resultados ................................................................................................................. 43

Capítulo 4Evaluación ejecutiva E2+

4.1 Características y Usos ................................................................................................................. 514.2 Desarrollo de la Evaluación ...................................................................................................... 51

4.2.1 Visión general del programa .................................................................................................. 524.2.2 Análisisdeeficacia ....................................................................................................................... 534.2.3 Análisisdeeficiencia .................................................................................................................. 544.2.4 Calidad de los bienes y/o servicios ..................................................................................... 574.2.5 Recomendaciones ....................................................................................................................... 574.2.6 Uso de los resultados ................................................................................................................. 59

Capítulo 5Evaluación de resultados


5.2.1 Identificarlosresultadosesperados ................................................................................. 675.2.2 Priorizar los resultados a evaluar ......................................................................................... 675.2.3 Construir indicadores ................................................................................................................. 675.2.4 Fijar metas ........................................................................................................................................ 685.2.5 Recolección de información .................................................................................................... 685.2.6 Análisis mediante una metodología .................................................................................. 695.2.7 Uso de los resultados ................................................................................................................. 69

5.3 Metodologías de medición ........................................................................................................ 69

Capítulo 6Evaluación de impacto


6.2.1 Diseñar el modelo ........................................................................................................................ 816.2.2 Muestreo y Recolección de información .......................................................................... 856.2.3 Métodos cuantitativos para el análisis de la información ....................................... 856.2.4 Métodos cualitativos para el análisis de la información .......................................... 876.2.5 Integrando métodos cuantitativos y cualitativos ......................................................... 88

6.3 Estudio de caso: Familias en Acción ........................................................................................ 896.3.1 El programa ...................................................................................................................................... 896.3.2 Objetivos y alcance de la evaluación ................................................................................ 89

Sinergia - Sistema Nacional de Evaluación de Gestión y Resultados

5

6.4 Construcción de Líneas de Base ............................................................................................... 916.4.1 Características y usos ................................................................................................................. 926.4.2 Desarrollo de una línea base .................................................................................................. 94

Capítulo 7Evaluacióncosto-beneficio

7.1.Definiciones,usosyaplicación. ................................................................................................. 1057.1.1.Definiciones ........................................................................................................................................ 1057.1.2. Usos ........................................................................................................................................................ 1067.1.3. Aplicación ............................................................................................................................................ 106

7.2. DesarrollodelaEvaluaciónCosto-Beneficio ........................................................................ 1077.2.1 Identificarlosobjetivosdelprograma .............................................................................. 1077.2.2 Definirotrasalternativas ......................................................................................................... 1077.2.3 Establecer el marco de referencia conceptual .............................................................. 1087.2.4 Estimarelvaloreconómicodeloscostosybeneficiosmediante

una metodología preestablecida .......................................................................................... 1097.2.5 Estimar el valor presente neto ............................................................................................... 1107.2.6 Estimarlarelacióncosto-beneficio ..................................................................................... 1127.2.7 Estimar la rentabilidad ............................................................................................................... 1127.2.8 Uso de los resultados ................................................................................................................. 112

7.3 Metodologías utilizadas ........................................................................................................... 1147.3.1 Los enfoques ................................................................................................................................... 1147.3.2 Herramientas para construir alternativas susceptibles de comparación ........ 1157.3.3 Herramientasparavalorarcostosybeneficios ............................................................. 1167.3.4 Herramientasparacuantificarlaincertidumbrerelacionadaalriesgo ............. 117

7.4 Estudio de caso: Familias en Acción ........................................................................................ 1187.4.1 El programa ...................................................................................................................................... 1187.4.2 La evaluación .................................................................................................................................. 1187.4.3 AnálisisCosto-Beneficio ............................................................................................................ 119

Capítulo 8Evaluación institucional


8.2.1 Perspectiva de la evaluación ................................................................................................. 1258.2.2 Unidad de análisis ........................................................................................................................ 1268.2.3 Metodología de análisis ............................................................................................................ 1278.2.4 Levantamiento de información.............................................................................................. 1278.2.5 Análisis de la información ........................................................................................................ 1288.2.6 Uso de los resultados ................................................................................................................. 128

8.3 Metodologías utilizadas ............................................................................................................................ 128 8.3.1 La metodología SADCI ................................................................................................................ 1288.3.2 La metodología PROSE ............................................................................................................... 1318.3.3 La metodología OCAT .................................................................................................................. 1338.3.4 La Lista de chequeo Sí/No o Tarjeta de puntuación (Scorecard) .......................... 135

8.4 Estudio de caso: Política de Vivienda y Tierras para PD .................................................... 1368.4.1 La Política .......................................................................................................................................... 136


6

8.4.2 La evaluación ................................................................................................................................. 1378.4.3 Metodología ..................................................................................................................................... 138

Capítulo 9Glosario .................................................................................................................................................................................... 141

Capítulo 10Bibliografía de apoyo ........................................................................................................................................................ 145

Muestreo (Sampling) ............................................................................................................................. 152Encuesta (survey) ................................................................................................................................... 153Capacidad organizacional, construcción institucional, fortalecimiento institucional,

desarrollo organizacional ......................................................................................................... 153Herramientas de medición de capacidad institucional ................................................................ 154Desempeño en el gobierno ................................................................................................................. 154Aleatoriedad ............................................................................................................................................ 155Método de pareo o correspondencia (propensity score matching) ............................................ 155Doble diferencia ..................................................................................................................................... 156Variables instrumentales ..................................................................................................................... 156Regresión discontinua .......................................................................................................................... 157Técnicas cualitativas ............................................................................................................................. 157Evaluación participativa rápida - Participatory Rural Appraisal (PRA) .................................... 158

Capítulo 11Anexos ....................................................................................................................................................................................... 159

11.1 Métodos más utilizados de recolección de información .................................................... 16111.2 Perfilesparaevaluacionesdeprocesos ................................................................................. 16311.3 Perfilesparaevaluacionesdeproductos ............................................................................... 16411.4 PerfilesparalaE2+ ...................................................................................................................... 16511.5 Perfilesparaevaluacionesderesultados .............................................................................. 16611.6 Perfilesparaevaluacionesdeimpacto ................................................................................... 16711.7 PerfilesparaLíneasdeBase ...................................................................................................... 16811.8 Perfilesparaevaluacióninstitucional ................................................................................... 169

PRESENTACIÓN El seguimiento al Plan Nacional de Desarrollo y la evaluación de Políticas Estratégicas son elementos esenciales para la retroalimentación constante de las políticas públicas con las que el Estado busca construir un futuro próspero para los ciudadanos. Desde la década de los noventa del siglo pasado, se han realizado grandes esfuerzos por crear, articular, mantener, expandir, estandarizar y fortalecer un sistema que le permita al Gobierno Nacional velar por el cumplimiento de sus metas. El fruto de este arduo trabajo es el Sistema Nacional de Evaluación de Gestión y Resultados -Sinergia- del Departamento Nacional de Planeación. SINERGIA gerencia el manejo de la información relacionada con el seguimiento al Plan Nacional de Desarrollo (PND), la agenda de evaluación del Gobierno y la promoción de la cultura del seguimiento y la evaluación en las entidades territoriales colombianas. El componente de evaluaciones de Sinergia tiene como propósitos la consolidación y posicionamiento de un portafolio de servicios que pueda ser utilizado por los diferentes actores interesados en la realización de evaluaciones de política al interior del gobierno. La estrategia se desarrolla en el marco de un proceso de comunicación y socialización permanente con las direcciones técnicas, los sectores, la academia, los gremios y los organismos multilaterales. Este documento hace parte de las Guías Metodológicas de la DSEPP-DNP, cuyo objeto es orientar al lector en el proceso de implementación de sistemas de seguimiento y evaluación. En esta entrega, se presenta una guía técnica y conceptual, que incluye tanto las definiciones, como el diseño y ejemplos de los tipos de evaluaciones más utilizados en la DSEPP. Lo anterior comprende desde entender el funcionamiento del programa a evaluar, mediante una herramienta como la cadena de resultados, pasando por el proceso de definición del alcance e hipótesis de la evaluación, hasta la determinación del tipo de evaluación apropiado para responder a las preguntas formuladas. Para finalizar, quiero agradecer a todas las personas que apoyaron la elaboración de este documento, muchos de ellos ya no están en la Dirección, pero su trabajo fue vital para lograr esta publicación. Agradezco especialmente, a Ariane Ortiz y David Ibáñez quienes aportaron los insumos fundamentales para el desarrollo de este trabajo. De igual forma, agradezco a Armando Ardila, Diego Dorado e Iván Durán quienes con su trabajo y juiciosa revisión lograron darle un alto estándar de calidad a la publicación que hoy tengo el gusto de presentar.

ORLANDO GRACIA FAJARDO DIRECCIÓN DE SEGUIMIENTO Y EVALUACIÓN DE POLÍTICAS PÚBLICAS

DEPARTAMENTO NACIONAL DE PLANEACIÓN .

Generalidades

CAPÍTULO I C

ap

ítu

lo I

Oleksandr Shevchenko

La Dirección de Seguimiento y Evaluación de Polí-ticas Públicas (DSEPP) del Departamento Nacional de Planeación (DNP) está comprometida con el fortalecimiento de las capacidades del Estado en temas de monitoreo y evaluación de las políticas públicas. Por tal motivo, quiere promover un len-guaje común y presentar un documento que guíe y resuma los conceptos utilizados en este tipo de prácticas,tantoencuantoasudefinicióncomoa sus objetivos, dentro del marco del Sistema Nacional de Evaluación de Gestión y Resultados, SINERGIA. Es a través de la DSEPP que el Sistema focaliza los esfuerzos técnicos, conceptuales y de difusión de los resultados de la implementación de las políticas públicas.

SINERGIA gerencia el manejo de la información relacionada con el seguimiento al Plan Nacional de Desarrollo (PND), la agenda de evaluación delGobiernoyel afianzamientode la culturade gestión pública por resultados en el país y América Latina.

La administración de la agenda de evaluación se adelanta a través del Sistema Nacional de Evalua-ciones (Sinergia Evaluaciones), el cual tiene como propósitos la consolidación y posicionamiento de un portafolio de servicios que pueda ser utilizado por los diferentes actores interesados en la realización de evaluaciones de política al

interior del gobierno. La estrategia se desarrolla en el marco de un proceso de comunicación y socialización permanente con las direcciones técnicas, los sectores, la academia, los gremios y los organismos multilaterales.

Para el seguimiento al PND se cuenta con el Sistema de Seguimiento a Metas de Gobierno (Sinergia Seguimiento), plataforma tecnológica de SINERGIA que apoya las funciones de seguimiento a las metas de corto (PND-cuatrienio), mediano y largo plazo.

Finalmente,paraelafianzamientodelaculturadegestión pública por resultados se encuentra la Red de Monitoreo y Evaluación de Política Pública en Colombia, que permite intercambiar experiencias en evaluación y monitoreo a nivel local, nacional e internacional, al proveer espacios de discusión e intercambio de ideas con expertos, colegas y funcionariospúblicos.Estoconelfindepromoverla innovación y fortalecer la capacidad analítica y práctica en materia de monitoreo y evaluación.

Este documento hace parte de las Guías Metodo-lógicas de la DSEPP-DNP, cuyo objeto es orientar al lector en el proceso de implementación de sistemas de seguimiento y evaluación. En esta entrega, se presenta una guía técnica y concep-tual,queincluyedefiniciones,diseñoyejemplos

“Una evaluación se debe entender como una investigación sistemática y objetiva aplicada en alguno de los diferentes eslabones de la cadena de resultados o valor (insumos, procesos, productos, resultadoseimpactos)quetienecomofinalidadmejorareldiseño,laimplementación,laejecucióny

los efectos de un plan, política, programa o proyecto a través de la toma de decisiones” (DEPP, 2010).


10

de los tipos de evaluaciones más utilizados en la DSEPP: evaluación de impacto; de resultados; de productos de procesos; institucional; costo-beneficio;ejecutiva(E2) y métodos cualitativos en las evaluaciones.

Supropósitoesexponerladefinicióndeestostipos y los pasos a seguir en la selección de uno de ellos para la evaluación de un programa. Lo anterior comprende desde entender el funcio-namiento del programa a evaluar1, mediante una herramienta como la cadena de resultados, pasandoporelprocesodedefinicióndelalcanceehipótesis de la evaluación, hasta la determinación del tipo de evaluación apropiado para responder a las preguntas formuladas.

1.1 ¿Qué es evaluar?

Para seleccionar el tipo de evaluación que mejor se ajusta al análisis deseado, es importante tener claro el concepto de evaluación. La comprensión delsignificadodeestetipodeanálisis,permiteubicar las diferentes modalidades de evaluación enelciclodeunprograma.Algunasdefinicionesde evaluación:

• “Unaapreciaciónsistemáticayobjetivadeun proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica ysusresultados”…“serefierealprocesodedeterminarelvalorolasignificacióndeunaactividad, política o programa. Se trata de una apreciación, tan sistemática y objetiva como sea posible, de una intervención para el desarrollo planeada, en curso o concluida” (OECD, 2002).

• “… el proceso sistémico de observación, me-dida, análisis e interpretación encaminado al conocimiento de una intervención pública, sea esta una norma, programa, plan o política, para alcanzar un juicio valorativo basado en evidencias, respecto de su diseño, puesta

en práctica, efectos, resultados e impactos. Lafinalidaddelaevaluaciónesserútil a los tomadores de decisiones y gestores públicos y a la ciudadanía”2.

Con el objeto de tener un esquema claro en el cual se va a enmarcar la guía, se describen a continuación las diferentes perspectivas bajo lasqueseclasificanlostiposdeevaluación.Lacategorización depende del momento de tiem-po respecto al programa, el alcance, el tipo de preguntas que se van a resolver y los actores involucrados en el desarrollo de la evaluación3.

En primer lugar, las evaluaciones pueden dividirse de acuerdo a la fase en la que se encuentra el programa, dado que se realizan antes, durante otrasfinalizarsuimplementación.Laquesehavenido realizando con mayor frecuencia en la DSEPP es la evaluación ex-post, posterior a la ejecución del programa, cuyo objetivo es deter-minar los efectos logrados.

1.2 ¿A qué preguntas responde?

En temas de política pública y el manejo de re-cursos escasos, es importante poder responder a interrogantes como:

• ¿Hay otras alternativas para alcanzar este objetivo? ¿Estos recursos podrían usarse de mejor manera?

• ¿Está bien diseñado el programa? ¿Se en-cuentra bien implementado?

• ¿Cuáles fueron los efectos del programa?

• ¿El programa logra su objetivo?

La evaluación es una herramienta que permite responder de manera técnica y precisa a estas preguntas.

1 Ver mapas de procesos Evaluación de Políticas Estratégicas, DEPP, DNP (2010).2 Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios de España.3 En adelante se va a utilizar el término “programa” de manera genérica para referirse al Evaluado (intervención, programa, política,

proyecto, producto, servicio, organización, etc).


11

1.3 Definicióndelalcancedelaevaluación

Enelprocesodeidentificarlosobjetivos,metase información necesaria del programa a evaluar, se sugiere utilizar una herramienta de tipo marco lógico. A continuación, se ilustran y detallan los pasosaseguirparadefinirelalcancedelaeva-luación, de manera que se entienda la cadena lógica del programa (Análisis de actores).

Es recomendable que estos pasos se realicen con la participación de todos los actores involucrados en el programa (stakeholders) para legitimar el proceso (ver recuadro).

Fuente: BOT (2004), análisis del autor.

Tipos de evaluación y sus características

Análisis de actores

Fuente: DSEPP-DNP

Se construye la cadena de entrega del bien o servicio público.

Se realiza el mapeo de la información.

Se construye la Hipótesis.

Se construye la cadena de Resultados.

Sedefineelalcancedelaevaluación.

Seidentificaelprogramadelaevaluación.

Perspectiva Tipo Características

Tiempo

Ex ante Análisis antes de implementación de programa para determinar efectos que provocaría

Ex post

Se realiza una vez se ha dado la intervención• Dinámica: Es permanente, sirve de mecanismo de ajuste al programa con-

trolado su desarrollo; • Intermedia: Análisis después de cierto nivel de avance del programa;• Final:Análisisdespuésdelfindelaejecucióndelprograma

Alcance

Seguimiento Provee información sobre el progreso de un programa para comparar los avan-ceslogrados frente a las metas

Operaciones Gestión Evalúa la dinámica interna de los organismos de ejecución y los vinculos que existen entre sus componentes

Institucional Mide la capacidad institucional que tiene un programa para cumplir con sus objetivos

Ejecutiva Hace un análisis rápido de la articulación y consistencia entre insumos, procesos, productos y resultados esperados

Productos y Resultados Determina qué productos se entregaron y qué resultados se generaron frente a los insumos invertidos

Impacto Determinar el impacto asociado exclusivamente a la intervención de un programa

Costo-beneficio Comparatodosloscostosybeneficiosdeunprogramaasignadounvalormo-netario, permite comparaciones para gastar en diferentes sectores

Actores

Autoevaluación Los actores de un programa o proyecto evalúan su propio trabajo, herramienta de gestión

Externa Experto ajenos al proyecto examinan aspectos del programa, herramienta del control

Participativa Valoralapercepcióncomoinsumoparaidentificarelresultado


12

Una evaluación estará mejor formulada, de-sarrollada y sus recomendaciones serán debi-damente discutidas y utilizadas en el ciclo de la política pública, si se involucra en todo el proceso a los actores interesados. La evaluación debe responder a diferentes expectativas y este análisis permite catalogarlas, considerando los intereses de los diversos agentes. Para un acercamiento inicial, los actores relacionados con una evaluación4sepuedenclasificaren:

• El cliente principal de la evaluación: el actor clave o grupo de actores patroci-nadores que solicitan la evaluación y los principales destinatarios de sus productos.

• Los actores involucrados: personas y orga-nizaciones que no son el cliente principal, pero que se caracterizan por tener una participación y/o un interés en la inter-vención(beneficiariosdirectos/indirectos,organizaciones que proveen fondos, fun-cionarios gubernamentales, funcionarios electos y empleados del gobierno con intereses pertinentes en la intervención, directores del programa, gerentes y el personal contratado, hacedores de polí-tica, la comunidad, los grupos de interés y asociaciones).

Para profundizar en un análisis de roles e intereses de actores relacionados, existen diversas herramientas. Lo importante en esta etapa es tener en cuenta que el proceso de definicióndelalcancedelaevaluacióndebeser participativo.

¿Cuáles son los actores y el rol que juegan en una evaluación desarrollada por la DSEPP?

• El diseñador de política –Presidencia, Ministerios, DNP, Entidades u Organismos con interés en la intervención–: plantea

preguntas que se quieran resolver con la evaluación; usa los resultados.

• El gerente del programa: plantea preguntas que se quieran resolver con la evaluación; facilita la disponibilidad de información; apoya el trabajo de campo en regiones o municipios para encuestas; usa los resul-tados.

• Los técnicos del programa: participan en el diseño de la evaluación; acompañan su desarrollo; facilitan la disponibilidad de información.

• El proveedor de fondos para la evaluación: Banca multilateral, entidad del gobierno central o el mismo ente ejecutor del pro-grama.

• El diseñador de la evaluación-DNP-: pre-para y lidera procesos entre los diferen-tesactoresrelacionadosparadefinirlosobjetivos de la evaluación, determinar la información disponible, costear la eva-luación,desarrollarcronogramas,fijarelequipo necesario para la ejecución y sus responsabilidades, construir parámetros necesarios para la muestra, consolidar los términos de referencia; seleccionar el equipo de evaluación; hacer seguimiento al equipo de evaluación así como a la adopción de las recomendaciones y la difusión de resultados.

• Elequipodeevaluación-firmadecon-sultoría-: se compone básicamente de un director de la evaluación, un experto en evaluación, expertos sectoriales, analistas, un estadístico experto en muestreo, un diseñador de encuestas, un grupo de en-cuestadores y su responsable, y un equipo que organiza y procesa los datos.

4 Morra y Rist (2009).

Análisis de actores


13

• Universidades, centros de investiga-ción: utilizan las bases de datos y la información generada por la evaluación para corroborar los análisis desarrollados y resultados o hacer estudios de otros indicadores.

• El público: beneficiariosdirectosein-directos, la comunidad, los grupos de interés, las asociaciones que utilizan los resultados de la evaluación para rendición de cuentas.

ejecutarenelañoencurso.Unavezratificadaseasigna la evaluación a un responsable del área de evaluaciones de la DSEPP, quien tiene como tarea inicial elaborar la cadena de resultados del programa.

1.3.2 Paso 2: La cadena de resultados o cadena de valor

La cadena de resultados es uno de los instrumen-tos que se puede utilizar para entender la lógica con la que se creó e implementó un programa. Esta herramienta es utilizada por la teoría de cambio, que desarrolla el mapa de la construcción de las etapas o fases necesarias para alcanzar los objetivos de largo plazo de una intervención5.

“Elfinúltimodelateoríadecambioesdesa-rrollar el mapa general de las causas y efectos atravésdelaidentificacióndeloseventoso condiciones que pueden afectar a una intervención, de los medios como consigue los resultados deseados y especialmente de la interrelación y la complejidad de los procesos internos de la política pública”6.

Para mayor nivel de detalle acerca de la teoría de cambio, ver autores como Heyer (2001), Menon y Wignaraja (2007) y Morra y Rist (2009), que la uti-lizan para el diseño y la evaluación de programas, a través de cadenas lógicas de causa y efecto7.

Dentro de la teoría, la cadena de resultados está diseñada para ayudar a los evaluadores y formu-ladores de política a representar los procesos de la intervención y el alcance de la evaluación, de esta manera:

• Ayuda a gestar un entendimiento común del programa y de las expectativas entre las partes interesadas, en un lenguaje compartido.

• Provee una base de conocimiento para la evaluación.

A continuación se detallan los pasos a seguir paraladefinicióndelalcancedeunaevaluación.

1.3.1 Paso1:Identificarelprogramaaevaluar

Se toma la decisión de evaluar un programa cuando se quieren tomar medidas, entre otras, acerca de:

• Diseño de políticas

• Justificacióndelosgastos

• Efectividad del programa

• Mejoramiento de la entrega de los servicios que provee el programa

• Ampliación o replicación del programa en otras zonas u otros países

LaDSEPP,apartirdeestoscriterios,identificalosprogramas que se va a evaluar proponiendo una agenda de evaluaciones preliminar para discusión en el Comité Intersectorial de Evaluaciones (ver mapa de procesos de Evaluación de Políticas estratégicas, DEPP-DNP, 2010). El Comité es una instancia compuesta por la Presidencia, los ministerios y el DNP, que determina la agenda a

5 Kellogg Foundation (2004).6 Heyer (2001).7 Ver Guía de Teoría de Cambio, DEPP, DNP (2010).


14

• Identificalossupuestosqueseestánhaciendo,lo que puede convertirse en una plataforma para formular las preguntas de evaluación y los conectores lógicos de acción.

• Señala las variables de intervención, a las cuales se hará seguimiento con la evaluación.

La forma simple de relación de causalidad fue propuesta por Suchman (1967) como una alter-nativa para entender modelos de marco lógico:De esta forma se plantean las etapas de una cadena de razonamientos para mostrar cómo se interrelacionan las causas y se generan los efec-

tos(elimpactodeseadoometafinalsepresentaa menudo como la última etapa en el modelo).

La cadena de resultados de un programa muestra la secuencia causal de los procesos que componen la intervención8.Aunquenorevelaespecíficamentecómo son los vínculos de causalidad, sí expone cómo es el orden secuencial del programa a través de los insumos que necesita, de los procesos que genera para movilizar sus recursos, de los bienes y servicios que crea, de los efectos a corto y mediano plazo sobrelosnivelesdebienestardelosbeneficiariosdel programa y de los impactos reales que produce.

Algunos tips

¿Qué preguntas pueden contribuir a diferenciar cada uno de los pasos?

• Insumos:¿Cuántosrecursoshumanos,finan-cieros y físicos se invirtieron en el programa? ¿Cuánto personal trabajó?

8 Morra y Rist (2009) plantean la cadena de resultados como una forma de desarrollar la Teoría de Cambio.

Fuente: DSEPP–DNP.

La cadena de resultados

Fuente: Menon, S. Karl, J. & Wignaraja, K. (2009). Adaptación del Autor.

Insumos Productos Resultados

Son los resursos (financieros, hu-manos y materia-les) que se usan en la interven-ción.

Actividades que emprenden el pro-grama, los cuales movilizan los insu-mos para generar productosespecificos.

Comprende los cambios en las condiciones de los beneficiarios a corto y mediano plazo que ocacio-nan los productos creados por la in-tervención

Son los bienes y servicios que se obtienen a través de la intervención.

Cambios reales productos del pro-grama medios entérminos de bien-estar de los bene-ficiarios.

Los efectos del programa pueden concebirse como las trans-formacionesdescriptiblesycuantificables,enlapoblaciónque resultan de la relación entre una causa y un efecto.

EfectosRecursos

Insumos Procesos Productos Resultados Impactos


15

tos(elimpactodeseadoometafinalsepresentaa menudo como la última etapa en el modelo).

La cadena de resultados de un programa muestra la secuencia causal de los procesos que componen la intervención8.Aunquenorevelaespecíficamentecómo son los vínculos de causalidad, sí expone cómo es el orden secuencial del programa a través de los insumos que necesita, de los procesos que genera para movilizar sus recursos, de los bienes y servicios que crea, de los efectos a corto y mediano plazo sobrelosnivelesdebienestardelosbeneficiariosdel programa y de los impactos reales que produce.

Algunos tips

¿Qué preguntas pueden contribuir a diferenciar cada uno de los pasos?

• Insumos:¿Cuántosrecursoshumanos,finan-cieros y físicos se invirtieron en el programa? ¿Cuánto personal trabajó?

• Procesos: ¿Con qué rapidez se está haciendo? ¿Cuánto cuesta?

• Productos: ¿Cuántas unidades de productos y servicios se están generando?

• Resultados: ¿Cómo han cambiado las con-dicionesde losbeneficiariosen lasqueelprograma está interviniendo en el corto y mediano plazo?

• Impactos: ¿Cómo han cambiado las condicio-nesdelosbeneficiarios en las que el programa está interviniendo en el largo plazo?

¿Cómo diferenciar productos de efectos?

Los productos dependen en mayor medida del accionar directo del programa, mientras que los resultados e impactos capturan otros factores que puedeninfluirensucomportamiento.

Ejemplo: Salud pública

Campaña para virus AH1N1

• Insumos: recursos campaña (dinero, personas).

• Procesos (actividades): diseño y desarrollo de avisos para prensa escrita, mensajes radiales, propagandas de TV; difusión de avisos.

• Productos: avisos de prensa escrita publica-dos, mensajes radiales difundidos; propagan-das de TV al aire.

• Resultados de corto plazo: las personas leen, oyen y ven los avisos; su actitud cambia.

• Resultados de mediano plazo: las personas cambian su comportamiento (se lavan más frecuentemente las manos, se ponen tapa-bocas cuando tienen síntomas).

• Impactos: baja la frecuencia de casos de AH1N1.

1.3.3 Paso 3: La cadena de entrega

“Lacadenadeentregasepuededefinircomoelconjunto de actores (personas o instituciones), y las relaciones entre ellos, a través de las cuales una actividad o un proceso de un sistema dado será implementado.”9

La característica más relevante de la cadena de entrega es que se utiliza como representación gráficade la interacciónentreactores, institu-cionesyprocesos,conelpropósitodeidentifi-car los obstáculos que potencialmente podrían incidir en la entrega de los bienes y servicios de la intervención. Responde a la pregunta: ¿cómo, y a través de quién, ocurre una actividad o un proceso del sistema?

Ejemplo: Programa Familias en Acción

El objetivo del programa es suministrar a los hogares más pobres un subsidio en dinero, condicionado por un conjunto de requisitos en salud, nutrición y educación, dependiendo de la edad de los niños.

Cadena de Entrega del programa Familias en Acción

Fuente: Grupo de evaluación DSEPP, DNP.

Fuente: Menon, S. Karl, J. & Wignaraja, K. (2009). Adaptación del Autor.

9 Barber (2009).

Las familias envian los niños a los estableci-mientos educativos. Las madres asisten a los contoles de crecimiento y desarrollo

El programa comprueba los compromisos y paga el subsidio a las madres. El subsidio incrementa el ingreso disponiblede las familias

El mayor ingreso disponible de las familias permite un mayor consumo de alimentos y de gastos para educación. Los niños tienen mayor nutrición y permanencia en los centros educativos

Evaluación de las condiciones (oferta en salud,educación y para pago del subsidio). Inscripciones de familias elegibles

Recurso humano técnico, logístico y operativo


16

1.3.4 Paso 4: El mapeo de información

El mapeo de información10 de la evaluación en esta etapa no pretende ser exhaustivo, pues aúnnosehadefinidoeltipo.Aquíserefiereaentender un poco más el contexto en el cual se desarrolla el programa.

Las preguntas que se quieren responder son:

• ¿Qué nivel de detalle de información maneja el programa?

• ¿Cómo funciona el sector?

• ¿Cómo funcionan los programas con este tipo de objetivos en Colombia? ¿Cómo en el contexto internacional?

• ¿Cuáles son las fuentes de información del programa (registros administrativos, informa-ción, línea de base)?

En este ejercicio, es crucial entender tanto los supuestosyjustificaciónsobrelosquesefun-damenta la existencia del programa, como tener claro el conocimiento existente de este tipo de programas.

1.3.5 Paso 5: Construcción de la hipótesis de evaluación

Lospasosanterioresdebencontribuiradefinirla hipótesis principal de la evaluación. Ésta es esencial para orientar el proceso y permite llegar a las conclusiones concretas de la evaluación.

Una hipótesis bien formulada aclara las variables que se van a analizar, las relaciones entre ellas, y plantea los objetivos del estudio. A partir de allí, se podránidentificarlasnecesidadesdeinformación,diseñar los indicadores a medir y delinear una estrategia de evaluación sólida que proporcione respuestas a las preguntas propuestas.

Ejemplo: Programa Familias en Acción (2004)

Hipótesis a evaluar: Familias en Acción mejora los niveles de salud, nutrición y educación de la población más pobre (Sisbén 1) de municipios con menos de 100 mil habitantes.

1.3.6 Paso6:Definicióndeobjetivosyalcance de la evaluación

Al saber cuál es la hipótesis de la evaluación, determinar su alcance permite: establecer los objetivos, delimitar lo que se va y lo que no se va aincluirenelestudioyespecificarlasprincipalespreguntas a resolver por parte de la evaluación. En cuanto a estas últimas, es imperativo aclarar si:

• ¿Son preguntas de gestión del programa?

• ¿Son preguntas de política?

• ¿Son preguntas de operatividad?

• ¿Son preguntas del diseño del programa?

• ¿Son preguntas de implementación?

• ¿Son preguntas de capacidad institucional?

• ¿Sonpreguntasdecosto-beneficio?

• ¿Son preguntas de los resultados del programa?

• ¿Son preguntas del impacto del programa?

Aldefinirlaspreguntas,esnecesariohacerunapriorización para demarcar el objetivo general, los objetivosespecíficosyelalcancedelaevaluación.

1.4 Selección del tipo de evaluación

A continuación, se puede entrar a seleccionar el tipo de evaluación que más se ajusta al alcance.

10 Levantamiento de información secundaria del programa.


17

1.4.1 ¿Cómo seleccionar el tipo de evaluación?

Alfinaldeestasecciónsepresentauncuadroresumen con las razones técnicas, presupues-tales y políticas que pueden incidir en la esco-gencia de un tipo de evaluación. El cuadro es una compilación de los tipos más recurrentes en la literatura y los utilizados frecuentemente por la DSEPP. Para cada uno de éstos, se plan-tean algunas características para su desarrollo, su objetivo, los actores que intervienen en su diseño y ejecución, en qué momento es más recomendable hacerla con respecto a la fase en la cual se encuentra el programa, las preguntas

a las que debería responder y la información necesaria para realizarla. Se enuncian otras razones no técnicas por las cuales se toman decisiones de hacer o no hacer determinado tipo de evaluación como los recursos disponibles o el interés político por los resultados.

Los tiposdeevaluaciónseclasificansegúnsualcance y el tiempo de evolución de la interven-ción: etapas de planeación y diseño, de imple-mentación, y de entrega de productos o servicios. Es importante anotar que, dependiendo de las preguntas a resolver por el programa y los recur-sos disponibles, los diferentes tipos se pueden utilizar de manera conjunta y complementaria.

1.4.1.1 Etapa de planeación y diseño

En ésta el programa aún no ha comenzado, por lo que se pueden realizar evaluaciones ex-ante, que se encargan de determinar: si la interven-

ción es necesaria, qué opinan los actores de su implementación,cuálesseríansusbeneficiarios,costos, impactos esperados y, de acuerdo con experiencias similares en otros países o regiones, relevancia para el caso estudiado.

Fuente: Análisis del autor.

Tiempo de implementación vs. Tipo de evaluación

¿En qué van losindicadores respecto a la

meta?

¿El programa esnecesario?

¿Cuales son lasfortalezas y las debilidades de

la capacidad institucional del

programa

¿Como es la articulación y consistencia

entre insumos, procesos, productos

y resultados esperados?

¿Cuales son los resultados criticos

que el programa trata de lograr?

Qué efectos de corto y mediano plazo

generó el programa?

¿Comó se comparan los costos con losbeneficiosdel

programa?

¿Soneficienteslas operaciones del programa? El

programaes capaz de

producirlo deseado?

¿Cuál es el fin,propósito,

componentes y actividades

del programa?

¿Cómo van el diseño, cobertura y enfoque, para

la asignación de recursos al

programa?

¿Cuales fueron los productos generados?

Están de acuerdo con los objetivos y

las metas planeadas inicialmente?

¿Cuál fue el impacto del programaenlosbeneficiarlos?¿De qué magnitud fue? ¿Qué

tanto se puede atribuir al programa y qué tanto a otros

factores?

Evaluar necesidad del programa

Monitoreo Institucional Evaluación Ejecutiva

Resultados

Evaluación costo-beneficio

Tiempo de Implementación del programa

Marco Lógico Procesos Medio Térmico Productos Impactos

Planeación y Diseño Implementación Entrega de productos y servicios


18

1.4.1.2 Etapa de implementación

Ésta comienza cuando el programa empieza a funcionar. En algunos casos se adelanta un pro-grama piloto, con el objeto de detectar aspectos a mejorar en la operación del programa antes de que su corrección se vuelva muy costosa o se descubran impactos negativos.

Las evaluaciones realizadas durante la etapa de implementación tienen como objeto principal generar un entendimiento básico del programa, definirsusindicadoresclaveyconocermejorlamanera como opera para entregar los bienes o servicios.

1.4.1.3 Etapa de entrega de productos y servicios

Cierto tiempo después de que el programa esté entregando sus bienes o servicios, se pueden evaluar otros aspectos como los productos, los resultados de corto y mediano plazo o los impactos del programa en el largo plazo. Adicionalmente, es posible examinar la parte operativa del pro-gramaohacerunanálisiscosto-beneficiodesuimplementación. Estos tipos requieren que el programa lleve cierto tiempo de ejecución, sin embargo es necesario establecer desde el diseño del programa los indicadores a medir y levantar una línea base de éstos antes de su inicio.

A continuación se presentan tres tablas con ma-yor nivel de detalle para cada una de las etapas.

1.5 Estudio de caso: Plan Nacional de Consolidación Territorial11

1.5.1 Paso1:Identificarelprogramaopolítica a evaluar

El ejemplo que se expone a continuación es del Plan Nacional de Consolidación Territorial (PNCT). Se decidió evaluar este plan porque eranecesarioidentificarsiloqueseplaneóenla Directiva Presidencial 01 de 2009 se estaba

11 Grupo de evaluación, DEPP.

cumpliendo. Teniendo en cuenta lo anterior, se incluyó en la agenda de evaluaciones de la DEPP en el año 2010.

• Proceso de talleres: se adelantaron dos talle-res. El primero fue guiado y coordinado por el Director de Evaluación de Políticas Públicas del DNP para precisar los conceptos de mo-nitoreo, seguimiento y evaluación; presentar las diferentes metodologías de evaluación que se emplean en la Dirección, y solventar las inquietudes por parte de los múltiples involucrados en la implementación del Plan. El segundo se realizó con representantes de las diferentes entidades que hacen parte del PNCT,conelfindediscutirlosprocesosdelacadena de resultados del Plan de una forma participativa.

• Su origen: con el propósito de alcanzar los objetivos de la Política de Consolidación de la SeguridadDemocrática,mantenerlaconfianzainversionista y avanzar en la política social efectiva, el Gobierno Nacional se ha concen-trado en diseñar un mecanismo (denominado Salto Estratégico) que fortalezca la alineación de los esfuerzos militar, policial y antinarcóti-cos con aquellos en el área social, de justicia, desarrollo económico e institucional del Estado en zonas estratégicas del territorio nacional. Con esta propuesta, se pretende reafirmar lageneracióndecondicionesdeseguridad, con efectos permanentes, bus-cando potenciar las condiciones necesarias para lograr la consolidación sostenible del Estado de acuerdo con las particularidades territoriales (Directiva Presidencial 01 de marzo de 2009).

• El PNCT: es una estrategia coordinada, pro-gresiva e irreversible, por medio de la cual se buscaafianzarlaarticulacióndelosesfuerzosestatales para garantizar de manera sostenible un ambiente de seguridad y paz que permita el robustecimiento de las instituciones de-mocráticas,enbeneficiodellibreejerciciode


19

Fuen

tes:

Jud

y Ba

ker (

2000

), So

cial

Impa

ct (2

008)

, Kus

ek y

Ris

t (20

04),

B.O

.T. (

2004

). Ad

apta

ción

del

aut

or.

Tipo

s de

Eva

luac

ión

y ra

zone

s pa

ra s

u us

o

Raz

ones

técn

icas

Otr

as r

azon

es

Obj

etiv

osA

ctor

es

que

inte

rvie

nen

¿Cuá

ndo

se h

ace?

Preg

unta

sIn

form

ació

n di

spon

ible

Recu

rsos

di

spon

ible

sIn

teré

s po

líti

co

Etapa de planeación y diseño del programa

Eval

uaci

ón p

reim

ple-

men

tari

a

Eval

uar

la n

eces

idad

de

un p

rogr

ama

Com

para

r con

uso

s al

ter-

nati

vos

de re

curs

os p

ara

atac

ar u

n pr

oble

ma

Dis

eñad

or d

e po

lític

a A

ntes

de

imp

lem

enta

ción

: ev

alua

ción

ex

ante

El p

rogr

ama

es n

eces

ario

? Lo

s re

cur-

so se

pod

rían

usar

de

otra

form

a pa

ra

logr

ar e

se o

bjet

ivo?

El p

rogr

ama

tie-

nesupuestosyjustificaciónválidos?

cost

o m

edio

orie

ntar

rec

urso

s,

just

ific

ar i

nve

r-si

ones

Parabeneficiarios

Co

no

cer

exp

eri

en

cias

y

pri

orid

ades

de

ben

e-fi

ciar

ios

en p

rogr

amas

si

mila

reso

de

la p

osib

le-

pob

laci

ón o

bje

tivo

del

pr

ogra

ma

dise

ñado

r de

polít

ica,

tecnico,beneficiarios,

firmaconsultora

Ant

es d

e im

ple

men

taci

ón:

eval

uaci

ón e

x an

te

Cuál

es s

on l

as p

rior

idad

es d

e lo

s beneficiariosenprogram

assimi-

lare

s? C

uál e

s la

pos

ible

pob

laci

ón

obje

tivo?

Cuá

les

son

las

prio

ridad

es

de la

pob

laci

ón q

ue s

e es

pera

ate

n-de

r con

el p

rogr

ama?

info

rmac

ión

de p

rogr

a-m

as si

mila

res,

enc

uest

as

oposiblesbeneficiarios

bajo

cos

toJu

stif

icar

in

ver-

sion

es

Para

líne

a de

bas

eCo

noce

r los

val

ores

de

los

indi

cado

res

clav

e an

tes

de la

inte

rven

ción

dise

ñado

r de

polít

ica,

ge

rent

e, e

stad

isti

co,

firm

a p

ara

reco

lec-

ción

de

info

rmac

ión,

beneficiarios,control

Ant

es d

e im

ple

men

taci

ón:

con

leva

ntam

ient

os d

e in

-fo

rmac

ión

post

erio

res

para

ev

alu

ació

n d

e m

edia

no y

la

rgo

plaz

o de

l pro

gram

a. S

e pu

ede

hace

r en

la e

tapa

de

entr

ega

de p

rodu

ctos

, per

o no

es

lo id

eal

Cuá

l es

la

situ

ació

n in

icia

l an

tes

de u

na i

nter

venc

ión?

En

qué

as-

pect

os s

e es

pera

que

el

prog

ram

a te

nga

algú

n im

pact

o? Q

ué s

e de

be

med

ir p

ara

segu

ir o

eva

luar

una

in

terv

enci

ón?

Dis

eño

de

encu

esta

y

prim

er le

vant

amie

nto

de

info

rmac

ión

Co

sto

m

e-

dio

(e

ntr

e U

S5

0.0

00

y

100.

000)

Técnico,justificar

inve

rsio

nes

Mic

ro

sim

ula

ció

n,

eval

uac

ión

m

eta

-ni

vel

Est

imar

lo

s p

osi

ble

s im

pac

tos

del

pro

gram

a ba

sado

en

expe

rien

cias

de

otr

os p

aíse

s

dise

ñado

r de

pol

íti-

ca, g

eren

te p

rogr

ama,

té

cnic

o

Ant

es d

e im

ple

men

taci

ón:

eval

uaci

ón e

x an

te

Cuál

es s

eria

n lo

s im

pact

os p

oten

-ci

ales

del

pro

gram

a ba

sado

en

ex-

peri

enci

a de

otr

os p

aíse

s? C

uál e

s la

mag

nitu

d de

l ef

ecto

esp

erad

o de

l pro

gram

a? C

uál e

s el

tam

año

de

mue

stra

requ

erid

o pa

ra la

eva

luac

ión

de im

pact

o

Info

rmac

ión

de i

mpl

e-m

enta

ción

de

prog

ram

as

sim

ilare

s a

otro

s pa

íses

Bajo

cost

o (e

n-tr

e U

S5.0

00

y 10

.000

)

Ori

enta

r rec

urso

s,

justificarinversio-

nes

, d

eter

min

ar

prio

rida

d de

futu

-ra

s ev

als,

ayu

dar

en d

iseñ

o de

pro

-gr

amas

y p

olít

icas

Ana

lisis

cos

to-e

fec-

tivi

dad

Com

para

r lo

s co

stos

de

dif

eren

tes

alte

rnat

ivas

de

pro

duci

r el

mis

mo

o pr

oduc

tos

sim

ilare

s

dise

ñado

r de

polít

ica,

ge

rent

e de

pro

gram

a,

técn

ico

Tant

o en

la f

ase

de p

lane

a-ci

ón

del

pro

gram

a, c

om

o de

spué

s de

la im

plem

enta

-ci

ón p

ara

dete

rmin

ar s

i lo

s ob

jeti

vos

de

efic

ienc

ia s

e lo

grar

on

Cuálessueficiencia?Cuáleselcosto

de h

acer

un

cam

bio

de u

nida

d en

el

resu

ltad

o?

Rubr

os d

e ga

stos

, cos

-to

s in

itari

os, r

efer

enci

as

máx

imas

y m

ínim

as d

e m

erca

do

Bajo

cos

to

com

par

ar l

a ef

i-ci

enci

a re

lativ

a de

lo

s pro

gram

as p

ara

logr

ar e

l res

ulta

do

de in

teré

s

Aval

uaci

ón c

osto

-beneficio

Com

para

r to

dos

los

cos-

tos

y b

enef

icio

s d

e un

pr

ogra

ma

asig

nand

o un

va

lor m

onet

ario

, per

mit

e co

mpa

raci

ones

par

a ga

s-ta

r en

dife

rent

es se

ctor

es,

cont

ribu

ye a

la d

istr

ibu-

ción

de

recu

rsos

dise

ñado

r de

polít

ica,

ge

rent

e de

pro

gram

a,

firmadeconsultoría

Ante

s o

desp

ues

de i

mpl

e-m

enta

ció

n:

en l

a fa

se d

e planeaciónparajustificarel

prog

ram

a en

térm

inos

eco

nó-

micosyrepetirloalfinalpara

dete

rmin

ar s

i lo

s ob

jeti

vos

econ

ómic

os s

e lo

grar

on

¿Sonlosbeneficiarioseconómicos

may

ores

a lo

s co

stos

del

pro

gram

a?

?Cuá

les

son

los

cost

os d

e lo

s pr

ogra

-m

as (m

onew

tario

s o n

o m

onet

ario

s)?

Cuál

es

sure

laci

ón c

on r

espe

cto

a us

os a

lter

nati

vos

de

los

mis

mos

recursosyalosbeneficiariosque

prod

uce

el p

rogr

ama?

Estim

ació

n de

cos

tos d

el

prog

ram

a; e

stim

ació

n de

b

enef

icia

rios

(co

n su

-pu

esto

s o

info

rmac

ión

de im

pact

os)

cost

o m

edio

reor

ient

ar re

curs

os


20

Fuen

tes

Judy

Bak

er (2

000)

, Soc

ial I

mpa

ct (2

008)

, Kus

ek y

Ris

t (20

04),

B.O

.T. (

2004

). Ad

apta

ción

del

aut

or.

Raz

ones

técn

icas

Otr

as r

azon

es

Obj

etiv

o A

ctor

es q

ue

inte

rvie

nen

¿Cuá

ndo

se h

ace?

Preg

unta

sIn

form

ació

n di

spon

ible

Recu

rsos

di

spon

ible

sIn

teré

s po

líti

co

Etapa de implementación del programa

Teor

ía d

el

prog

ram

a-M

arco

lógi

co

Artic

ular

el c

onoc

imie

nto

bási

co e

n cu

al s

e ba

sa e

l pr

ogra

ma

Dis

eñad

or d

e po

líti-

ca, g

eren

te d

el p

ro-

gram

a, fu

ncio

nari

os

Ante

s o

dura

nte

impl

emen

-ta

ción

: se

pued

e cr

ear p

ara

el d

iseñ

o de

l pro

gram

a, lo

s pr

ogra

mas

lo p

uede

n co

ns-

trui

r de

man

era

retr

ospe

c-ti

va, s

e pu

ede

aplic

ar a

lo

larg

o de

l pro

yect

o

Cuál

es s

on lo

s ob

jetiv

os d

el p

rogr

ama?

La

lógi

ca d

el p

rogr

ama

es c

onsi

sten

te?

Cuál

es

son

las

hipó

tesi

s a

eval

uar?

Cuá

les

son

los

indi

cado

res

a se

guir

?

Levantam

ientodefin,

pro

pó

sito

s, c

om

po

-ne

ntes

y a

ctiv

idad

es

Ba

jo

cost

o-

tare

a in

tern

a

Ten

er i

nfo

rmac

ión

clav

e pa

ra g

eren

ciar

el

pro

gram

a

Supe

rvis

ión-

Re

port

es d

e m

onit

oreo

Alim

enta

r el M

arco

lógi

co

bási

co e

n el

cua

l se

basa

el

pro

gram

a

Dis

eñad

or d

e po

líti-

ca, g

eren

te, f

unci

ona-

rio,beneficiario

Perio

dici

dad

diar

ia-m

ensu

al:

si s

iste

ma

de m

onit

oreo

se

coor

dina

con

dis

eño

de e

va-

luac

ión

pued

e se

r m

uy ú

til

para

info

rmac

ión

de lí

nea

de

basa

de

eval

uaci

ón

En q

ué v

an lo

s in

dica

dore

s co

n re

spec

to

a la

met

a? E

n qu

é va

el c

umpl

imie

nto

de

activ

idad

es?

Retr

oalim

enta

ción

ace

rca

de

si e

l pro

gram

a se

est

á im

plem

enta

ndo

de

acuerdoconloplanificado?cuálessonlos

problemasespecíficosporloscualesesta

impl

emen

taci

ón e

stá

falla

ndo?

Info

rmac

ión

de in

dica

-do

res

adm

inis

trat

ivos

y

de m

onit

oreo

Bajo

cos

toRe

port

ar p

erió

dica

-m

ente

al

públ

ico

el

avan

ce d

el p

rogr

ama

Eval

uaci

ón

de p

roce

sos

(for

mat

ive

eval

uaci

ón) u

op

erac

ione

s

Hac

er u

n an

ális

is d

e la

s o

pe

raci

on

es

de

sarr

o-

llad

as e

n d

eter

min

ada

inte

rven

ción

, est

udia

r si

se

est

án ll

evan

do a

cab

o y

de q

ué m

aner

a af

ecta

n el

logr

o de

los

prod

ucto

s y

los

resu

ltad

os

Dis

eñad

or d

e p

olí-

tica

, ge

ren

te,

fun

-ci

onar

ios,

fir

ma

de

cons

ulto

ría (s

i es

con

impa

cto)

Dur

ante

im

ple

men

taci

ón:

se p

uede

inc

orpo

rar

en e

l si

stem

a d

e m

on

ito

reo

o

pued

e se

r un

com

pone

nte

impo

rtan

te d

e la

eva

luac

ión

de im

pact

o

¿El

pro

gram

a es

cap

az d

e p

rod

ucir

lo

dese

ado?

¿Cu

áles

son

las

raz

ones

par

a el

log

ro o

no

de

los

pro

duc

tos?

¿So

n eficienteslasoperacionesdelprogram

a?

Dón

de e

stán

las d

ifere

ncia

s ent

re e

l dis

eño

y ej

ecuc

ión

del p

rogr

ama?

¿Có

mo

está

n af

ecta

ndo

los

insu

mos

la e

ntre

ga d

e lo

s pr

oduc

tos?

Indi

cado

res

de i

nsu-

mos

, de

gest

ión,

pro

-ce

dim

ient

os,

tare

as,

acti

vida

des

Baj

o c

ost

o s

í se

in

corp

ora

en

sit

ema

de

mon

itor

eo

Mod

ific

ar p

roce

sos

del

prog

ram

a, i

den-

tifi

car

cue

llo

s d

e bo

tella

par

a el

logr

o de

los

pro

duct

os y

re

sult

ados

Eval

uaci

ón

Ejec

utiv

a (E

2 )

Hac

er u

n an

ális

is r

ápid

o de

la a

rtic

ulac

ión

y co

n-si

sten

cia

entr

e in

sum

os,

pro

ceso

s, p

rod

uct

os

y re

sult

ados

esp

erad

os

Dis

eñad

or d

e po

líti-

ca, g

eren

te, t

écni

co,

func

iona

rios,

con

sul-

torofirma,benefi

-ci

ario

s

Dur

ante

la e

tapa

de

impl

e-m

enta

ción

o d

e en

treg

a de

pr

oduc

tos

y se

rvic

ios

Cóm

o so

n el

dis

eño,

el m

anej

o op

erat

ivo,

la

est

ruct

ura

orga

niza

cion

al, e

l man

mej

o financiero,lasactividadesdeseguimientoy

eval

uaci

ón d

el p

rogr

ama?

Tie

ne co

here

ncia

la

impl

emen

taci

ón c

on e

l dis

eño?

Cóm

o es

la c

alid

ad d

e la

impl

emen

taci

ón?

Cuál

eslaeficaciayeficienciadelprogram

a?

Info

rmac

ión

secu

nda-

ria

adm

inis

trat

iva

y de

en

treg

a de

l se

rvic

io,

ejer

cici

o ti

po c

aden

a de

resu

ltad

os, c

aden

a de

ent

rega

, ent

revi

stas

y

grup

os fo

cale

s a

be-

neficiarios

US

35.0

00

Modificarprograma

en d

iseñ

o,

imp

le-

men

taci

ón o

con

ti-

nuarfinanciación

Revi

sión

de

med

io té

rmin

o

Rev

isar

el

pro

gres

o y

d

ar r

eco

me

nd

acio

ne

s en

cam

bio

s ne

cesa

rios

p

or e

l ti

emp

o re

stan

te

de la

impl

emen

taci

ón d

el

prog

ram

a

Dis

eñad

or d

e po

líti-

ca, g

eren

te, t

écni

co,

con

sult

or

o f

irm

a (o

pcio

nal)

Cie

rto

nive

l de

ava

nce

del

prog

ram

a: s

e pu

ede

real

izar

en

la m

itad

de

la e

jecu

ción

de

un

prog

ram

a

Cóm

o va

n el

dis

eño,

cob

ertu

ra, e

nfoq

ue,

asig

naci

ón d

e re

curs

os d

el p

rogr

ama?

Ava

nce

in

dic

ado

res

plan

tead

os e

n el

mar

-co

lógi

coBa

jo c

osto

Modificarprograma,

continuarfinanción

ped

ido

po

r b

anca

m

ulti

late

ral

Eval

uaci

ón

inst

ituc

iona

l

Med

ir la

s ca

paci

dade

s de

un

a in

stit

ució

n p

ara

el

logr

o de

los

res

ulta

dos

del p

rogr

ama

Dis

eñad

or d

e po

líti-

ca, g

eren

te, t

écni

co,

func

iona

rios

, fi

rma

de c

onsu

ltor

ía

Dur

ante

la e

tapa

de

impl

e-m

enta

ción

o d

e en

treg

a de

pr

oduc

tos

y se

rvic

ios

Qué

cap

acid

ad in

stit

ucio

nal t

iene

el p

ro-

gram

a pa

ra c

umpl

ir c

on s

us o

bjet

ivos

? Có

mo

está

func

iona

ndo?

Ent

rega

ser

vici

os

decalidadydemaneraeficiente?Qué

debi

lidad

es t

iene

? Es

via

ble

y so

sten

i-bl

e? L

os r

ecur

sos

está

n bi

en u

tiliz

ados

? En

tien

de y

ope

ra c

on e

l en

torn

o? Q

ué

cam

bios

se

requ

iere

n pa

ra l

as n

orm

as,

arre

gols

adm

inis

trat

ivos

y o

rgan

izac

iona

les

quepresentanundesem

peñodeficiente

mej

oren

?

Info

rmac

ión

in

tern

a d

el p

rogr

ama:

ad

mi-

nist

rati

va, d

e ge

stió

n,

org

aniz

acio

nal

, fi

-na

ncie

ra,

de r

ecur

so

hum

ano,

téc

nica

, d

e es

truc

tura

, de

cult

ura

Co

sto

ra

zo-

na

ble

sí

se

im

plem

enta

n m

ecan

ism

os

apro

piad

os

desd

e el

inic

io

Rela

cio

nes

in

tra

o in

teri

stit

ucio

nal;

revi

sió

n d

e le

yes,

re

glas

o

n

orm

as;

fort

alec

imie

nto

ins-

titu

cion

al y

ges

tión

, de

cisi

ones

est

raté

gi-

cas

orga

niza

cion

ales

odefinanciamiento


21

Fuen

tes

Judy

Bak

er (2

000)

, Soc

ial I

mpa

ct (2

008)

, Kus

ek y

Ris

t (20

04),

B.O

.T. (

2004

). Ad

apta

ción

del

aut

or.

Raz

ones

técn

icas

Otr

as r

azon

es

Obj

etiv

oA

ctor

es q

ue

inte

rvie

nen

¿Cuá

ndo

se h

ace?

Preg

unta

sIn

form

ació

n di

spon

ible

Recu

rsos

di

spon

ible

sIn

teré

s pú

blic

o

Etapa de entrega de Productos y Servicios

Eval

uaci

ón d

e pr

oduc

tos

Eval

uar

qué

prod

ucto

s se

ge

bera

ron

segú

n lo

s ob

je-

tivos

y p

ropu

esta

s in

icia

les

Dis

eñad

or d

e po

lí-ti

ca,

gere

nte,

fun

-cionarios,firmade

cons

ulto

ría

Co

rto

pla

zo:

se p

ued

e hacerenlafasedefina

-liz

ació

n de

l pro

gram

a

Cuál

es f

uero

n lo

s pr

oduc

-to

s ge

nera

dos

? Es

tán

de

acue

rdo

con

los

obje

tivo

s y

las

met

as p

lane

adas

ini-

cial

men

te?

Ind

icad

ore

s d

e p

rod

uct

os

gene

rado

s

Co

sto

raz

on

able

si

se

imp

lem

enta

n m

ecan

is-

mos

ap

rop

iado

s de

sde

el in

icio

Mo

dif

icar

pro

-gr

ama,

mo

stra

r pr

oduc

tos

Eval

uaci

ón d

e re

sult

ados

Eval

uar l

os c

ambi

os e

n la

s co

ndic

ione

s de

los

ben

e-ficiariosgraciasalospro

-du

ctos

de

la in

terv

enci

ón

Dis

eñad

or d

e po

líti-

ca, g

eren

te, t

écni

co,

firmadeconsulto-

ría,beneficiarios

Cort

o y

med

iano

pla

zo: s

e pu

ede

hace

r el a

nális

is d

e m

aner

a po

ster

ior a

l de

los

prod

ucto

s y

ante

s de

l de

impa

ctos

Cuá

les

son

los

resu

ltad

os

críti

cos

que

el p

rogr

ama

tra-

ta d

e lo

grar

? Q

ué e

fect

os

de c

orto

y m

edia

no p

lazo

ge

neró

el p

rogr

ama

Indi

cado

resd

e re

sult

ados

del

pr

ogra

ma

US

250.

000(

aunq

ue p

ue-

de te

ner c

osto

s m

enor

es

si s

e im

ple

men

tan

los

mec

anis

mos

ade

cuad

os

desd

e el

pri

ncip

io)

Mo

dif

icar

pro

-gr

ama,

mo

stra

r re

sult

ados

Eval

uaci

ón d

e in

pact

os

Det

erm

inar

si e

l pro

gram

a pr

oduj

o lo

s ef

ecto

s de

sea-

dos

en la

s pe

rson

as, h

oga-

res

e in

stitu

cion

es y

si e

sos

efec

tos

son

atri

buib

les

a la

in

terv

enci

ón d

el p

rogr

ama

Dis

eñad

or d

e po

líti-

ca, g

eren

te, t

écni

co,

firm

a de

en

cues

-ta

do

ra,

firm

a q

ue

anal

iza

dat

os,

be-

nefi

ciar

ios,

gru

po

de c

ontr

ol

Med

iano

y l

argo

pla

zo:

se re

com

iend

a te

ner u

na

línea

de

bas

e an

tes

de

inic

io d

e la

inte

rven

ción

: el

pro

gram

a de

be h

aber

co

mp

leta

do s

u fa

se d

e im

plem

enta

ción

y ll

evar

un

tie

mpo

fun

cion

ando

pa

ra p

oder

med

ir im

pac-

tos.

Sin

em

barg

o el

hab

er

leva

ntad

o un

a lín

ea d

e ba

se

con

los

indi

cado

-re

s d

e im

pac

to a

nte

s de

l in

icio

del

pro

gram

a pu

ede

redu

cir

cost

os e

n el

lev

anta

mie

nto

de

la

info

rmac

ión

y lo

grar

una

ev

alua

ción

más

rigu

rosa

¿Cóm

o af

ectó

el p

rogr

ama

alosbeneficiarios?¿Algún

mej

oram

ient

o fu

e el

resu

lta-

do d

irect

o de

l pro

gram

a o

se

habr

ía p

rodu

cido

de

toda

s formas?¿Sepodríamodifi

-ca

rel

dise

ño d

el p

rogr

ama

para

mej

orar

sus

rep

ercu

-si

on

es?

¿Se

just

ific

aban

lo

s co

stos

? Cu

áles

son

las

co

nsec

uenc

ias

no p

revi

stas

enlosbeneficiarios?

Encuestasabeneficiariosy

grup

o de

con

trol

pre

y p

ost

inte

rven

ción

Alt

o c

ost

o (

en

tre

US

30

0.0

00

y 1

.00

0.0

00

) de

pend

e de

l tam

año

de

la m

uest

ra

Répl

ica,

am

plia

-ci

ón, c

erra

r pr

o-gr

ama,

dis

eño

de

polít

ica,

mos

trar

im

pact

os


22

los derechos ciudadanos y de la generación de condiciones para su desarrollo humano (Directiva Presidencial 01 de marzo de 2009).

1.5.2 Paso 2: La cadena de resultados

Se construye la cadena de resultados del PNCT:

1.5.3 Paso 3: La cadena de entrega

Como se mencionó anteriormente, la cadena de entrega corresponde al conjunto de actores (per-sonas o instituciones) y las relaciones entre ellos, por medio de las que una actividad o proceso de un sistema será implementado. Responde a la pregunta: ¿cómo, y a través de quién, ocurre una actividad o un proceso del sistema?

El PNCT está estructurado en tres fases en las cuales se llevan a cabo los diferentes procesos planteados en la cadena de resultados. Al mismo tiempo, se detallan los responsables principales para que cada una logre los productos propuestos y de esta forma se pueda determinar la cadena de entrega del Plan:

• Fase de control: se implementa en zonas don-de persiste la presencia activa de los grupos armadosilegales,estructurasdenarcotráficoy bandas criminales, así como en zonas de desmovilización de las autodefensas ilegales. Por medio de un esfuerzo militar intensivo, el Estado deberá cumplir con el objetivo de desarmar y neutralizar estas organizaciones criminales y, simultáneamente, romper las redese infraestructuradelnarcotráficoenla zona.

• Fase de estabilización: el objetivo consiste en establecer unas condiciones mínimas de seguridadconelfindequepuedainiciarseel proceso de recuperación estatal, en el que las instituciones y agencias gubernamentales puedan continuar o, en algunos casos, iniciar el desarrollo de sus labores. Esta fase tendrá como prioridad la satisfacción de las necesi-

•Areasrecuperadasmilitarmente•Compromisospresupuestalesypolíticosestablecidos•Acuerdoscomunitariosconcertados•Acuerdosinstitucionaleslocales•Planesoperativosregionalesdeconsolidación•Mapasdemonitoreodeconsolidaciónterritorial•Proyectossocialesydeactivacióneconómica

•Coordinacióninreragencial(nivelnacionalylocal)•Operacionesderecuperaciónmilitar•Protecciónpolicial•Procesosparticipativoscomunitarios•Gestióndelpresupuesto•MonitoreodelosavancesdelPNCTyretroalimentación

de la política

•Planesyestrategiasdeconsolidación•Compromisopolíticoinstitucional•Ofertadeprogramassociales•Recursohumanotécnico,logísticoyoperativo•Piedefuerzamilitarypolicivo



• Atenciónhumanitaria• Coberturassocialesbásicasigualesosuperioresalpro-

medio nacional • SeguridadyControlterritorial(disminucióndelapresencia

y afectación de las estructuras de los GAI en el territorio intervenido, reducción de los cultivos ilicitos y activida-desasociadasalnárcotrafico,tendenciadecrecientedeindicadores de criminalidad y violencia)

• Operacióndemecanismodejusticiaformalyalternativa


• Protecciónallibreejerciciodederechos.• Mejoramientoenlascondicionesdevidadelapoblación.• Fortalecimientodelagobernabilidad.




23

dades básicas y más inmediatas de la pobla-ción. Se mantendrá un importante esfuerzo militar para neutralizar cualquier amenaza, pero el papel de la policía es fundamental para ir garantizando territorios seguros y de confianza.

• Fase de Consolidación: se aplicará en zonas preestablecidas y el objetivo consistirá en ejercer plena autoridad del Estado y aumen-tar el bienestar de la población a través del normal y adecuado funcionamiento de todas sus instituciones y agencias. En esta fase, se debe dar la transición de la satisfacción de las necesidades básicas de la población a la prestación efectiva de todos los servicios esenciales del Estado, como son: la educación, la salud, la justicia, las obras de infraestruc-tura, la recreación, etc. Aquí el papel de las instituciones del Estado, de las agencias internacionales, de la sociedad civil y de la comunidad será fundamental.

1.5.4 Paso 4: El mapeo de información

Responde a la pregunta: ¿cómo funciona el pro-grama, cuál es su diseño, cuáles son sus objetivos?

En el artículo 6 del Plan Nacional de Desarrollo 2006-2010 “Estado Comunitario: Desarrollo para Todos – Descripción de los principales programas de inversión”, se establece en su numeral 2 la Política de Defensa y Seguridad Democrática. Esta política tiene el propósito de avanzar en la consolidación de las condiciones de seguridad, para que a través de ellas se construya una Nación que haga de la seguridad democrática un verda-dero puente hacia la paz, la reconciliación y la prosperidad general. En este sentido, además de las metas en materia de preservación de la vida, la Política de Defensa y Seguridad Democrática debe tener un componente importante de polí-tica social. Alcanzar estos objetivos requerirá la concurrencia de esfuerzos del Gobierno Nacional, la comunidad internacional, las entidades terri-toriales y la sociedad colombiana.

El Plan Nacional de Consolidación Territorial surge como una estrategia para implementar lo

establecido en el Plan Nacional de Desarrollo 2006-2010enunaszonasespecificasdelpaís,por medio de un proceso coordinado y progre-sivo que logre la articulación de los esfuerzos estatales para asegurar de manera sostenible un ambiente de seguridad y paz que permita el fortalecimiento de las instituciones democráticas, enbeneficiodellibreejerciciodelosderechosciudadanos y de la generación de condiciones para su desarrollo humano.

Para avanzar en la consolidación de forma más eficiente,efectivaeintegral,seproponecontinuarcon la acción Inter-Agencial como herramienta de actuación rápida y dinámica para producir los resultadosesperados,incrementarlaconfianzay credibilidad de los ciudadanos en el Estado, a través de: planeación conjunta, acciones colecti-vas y, en paralelo, ejercicios de coordinación de las múltiples instituciones que participan en la implementación de la estrategia. Los principales elementos de ésta son:

a. Delimitacióngeográficadelazonadeinterés

• Áreas principales para iniciar la consolidación: ZonaMacarenayRíoCaguán,ZonaPacífico(Nariño, Cauca, Buenaventura, Sur de Chocó), Zona Bajo Cauca Antioqueño y Sur de Córdoba, Zona Sur de Tolima y Sur de Valle del Cauca.

• Áreas de transición hacia la consolidación: Zona Montes de María, Zona Sierra Nevada de Santa Marta y Zona Oriente Antioqueño.

• Áreas Complementarias: Zona Arauca, Zona Putumayo, Zona Catatumbo y Zona Bajo Atrato.

b. Direccionamiento y Gestión

ConelfindegarantizarlacapacidadderealizardemaneraeficientelasestrategiasdelPNCTyarmonizarlas con el esfuerzo militar, el Consejo Directivo del Centro de Coordinación y Acción Integral -CCAI- , adelanta el direccionamiento estratégico, emite instrucciones y mantiene lazos a nivel nacional y territorial para la implemen-tación de los planes regionales estratégicos de consolidación y su correspondiente operatividad.


24

c. Consejo Directivo y Comité Ejecutivo

En el marco de la estrategia, el Centro de Coordi-nación de Acción Integral -CCAI- será el espacio de encuentro de las entidades del nivel nacional que tengan responsabilidad en la ejecución de ésta. El Consejo Directivo del CCAI, de acuerdo con las necesidades del PNCT, ordenará el fun-cionamiento de la coordinación y adoptará las medidas requeridas para responder a las diná-micas de consolidación de las zonas estratégicas definidas.Paratalesefectos,elConsejoDirectivodel CCAI estará conformado por el Ministro de Defensa Nacional, el Comandante General de las Fuerzas Militares, el Director General de la Policía Nacional, el Alto Consejero de la Agencia Presidencial para la Acción Social y la Coopera-ción Internacional, el Director del DAS y el Fiscal General de la Nación.

A su vez, harán parte del Comité Ejecutivo del CCAI (cuyas sesiones serán mensuales) los ministros de las carteras de Agricultura, Protección Social, Interior y de Justicia, Educación Nacional, Minas y Energía, Transporte y Ambiente, Vivienda y Desarrollo Territorial. Asistirán también los direc-tores del Departamento Nacional de Planeación, el Instituto Colombiano de Bienestar Familiar, el Servicio Nacional de Aprendizaje –SENA–, eI IN-CODER, Coldeportes y la Registraduría Nacional del Estado Civil. Se busca un alto nivel de repre-sentación institucional en el Comité Ejecutivo del CCAI,conelfindeasegurarunaaltacapacidadpara asumir compromisos, razón por la cual una eventual delegación únicamente podría hacerse en los viceministros(as) o subdirectores(as), la secretaria técnica la realizará Acción Social.

d. Plan de acción regional para la consolidación

Es responsabilidad de cada entidad del orden nacional aportar la información y análisis territo-rial para la construcción, ejecución, monitoreo y seguimiento de los planes regionales de consoli-dación, orientados a la articulación de los esfuer-zos militares y civiles. Éstos serán elaborados y aprobados durante el primer cuatrimestre del año 2009 y tendrán en cuenta los componentes de Atención Humanitaria de Emergencias, Justicia, Se-

guridad, Desarrollo Social, Desarrollo Económico, Gobernabilidad y Ordenamiento de la Propiedad. Esfundamentaldefinirconlosgobiernoslocalesel ejercicio de priorización de cada uno de los vectores de intervención planteados.

e. Compromisos Institucionales

Los ministerios y entidades nacionales deben re-visar sus programaciones presupuestales y hacer un mayor esfuerzo de focalización de recursos en los municipios que serán objeto del PNCT, para esto es indispensable:

• Identificarenelprimer trimestrede2009los presupuestos, programas y proyectos previstos en los años 2009 y 2010 dirigidos a los municipios establecidos en el PNCT. Esta tarea se adelantará en coordinación con el Ministerio de Hacienda y Crédito Público y el Departamento Nacional de Planeación.

• Dar prelación a la ejecución de los programas y proyectos previstos para la vigencia 2007-2010enlosmunicipiosdefinidosenelPNCT.

• Especificarelmontoderecursossusceptiblede ser focalizado en los municipios de inter-vención del PNCT.

• Velar porque el cumplimiento de las metas 2008-2010 de cobertura en educación, régi-men subsidiado de salud, vacunación y agua potable, entre otras, se logre en un tiempo menor al previsto en el Plan Nacional de Desarrollo para el resto de los municipios del país.

• Encontrar nuevas fuentes potenciales de recursos y direccionar su asignación a los municipios priorizados, de acuerdo con las estrategias a desarrollar en las áreas de cada municipio y de manera articulada. Las fuentes derivadas de la Cooperación Internacional serán estudiadas por la Dirección de Coopera-ción Internacional de la Agencia Presidencial para la Acción Social y la Cooperación Interna-cional -ACCIÓN SOCIAL-, teniendo en cuenta los lineamientos de la Estrategia Nacional de


25

Cooperación 2007-2010 y el propósito de fortalecer la capacidad regional de gestión de cooperación internacional.

• Reforzar las estrategias de difusión y promo-ción de la oferta institucional en los municipios de intervención del PNCT, así como eliminar o subsanar las barreras de acceso para garantizar mayoroportunidadyeficienciadeofertadecada Ministerio.

• Acelerar el desarrollo de las estrategias y ejecución de los recursos determinados en los Conpes 102, 113 y del Chocó, Buenaventura ydel Pacíficoorientadosa losmunicipiospriorizados.

1.5.5 Paso 5: Construcción de la hipótesis de evaluación

Después de surtir los pasos mencionados, se llego a la siguiente hipótesis de evaluación a comprobar: “El esquema operativo y funcional del PNCT, se está cumpliendo de acuerdo con lo establecido en la Directiva Presidencial 01 de marzo de 2009”.

1.5.6 Paso6:Definicióndeobjetivosyalcance de la evaluación

• Evaluar el esquema operativo y funcional del PNCT en las zonas determinadas frente a lo establecido en la directiva presidencial 01 de marzo de 2009.

• LevantarlalíneadebasedebeneficiariosdelPNCT en las zonas determinadas de acuerdo a una selección muestral.

• Formular recomendaciones al modo de ope-ración del PNCT que mejoren su desempeño actual y garanticen su sostenibilidad.

1.5.7 Selección del tipo de evaluación necesario para el análisis

• Evaluación de Operaciones: Entrevistas Dirigi-das, Grupos Focales y Revisión de Información Administrativa.

• Evaluación de Impacto: Levantamiento de InformacióndeBeneficiarios,víaencuestaspresenciales.

Insumos Procesos Productos

Evaluación de operaciones

Resultados Impacto

Evaluación de impacto

Línea de base Junio 2010

Primer seguimiento Junio 2012

Evaluación de procesos

CAPÍTULO II C

ap

ítu

lo I

I

VV Voennyy

29

La evaluación de procesos es un tipo de eva-luación, concentrado en el segundo eslabón delacadenadevalor,enelcualseidentificanlas relaciones que cada una de las actividades requiere para producir un bien o servicio. Este ejercicio parte de las siguientes preguntas guía, que el evaluador espera responder:

• ¿Es el programa capaz de producir lo deseado?

• ¿Cuáles son las razones operacionales que influyenenqueselogrenonolosproductos?

• ¿Qué tan bien se desarrollan las operaciones planeadas para el logro del producto deseado?

• ¿Soneficienteslasoperacionesdelprograma?

• ¿Dónde están las disparidades entre el diseño e implementación del programa?

• ¿Cómo afecta la cultura organizacional el logro de los objetivos del programa?

2.1 Características y Usos

La evaluación de procesos se utiliza a lo largo del ciclo del programa para describir y analizar cómoseplanificae implementaelmismo.Sinembargo, es fundamental que se recojan de manera periódica, desde el inicio del programa,

los indicadores de gestión como insumo para el análisis de los procesos.

La principal característica de este tipo de eva-luación es examinar los procedimientos y tareas involucradas en la implementación de un progra-ma. Por lo tanto, ésta:

• Incluye el examen de los aspectos adminis-trativos y organizativos del programa.

• Cumple una función de supervisión de las operaciones, métodos y actividades de un programa.

• Permite determinar si el programa funciona y posibilita realizar intervenciones que mejoren su calidad.

Características de la evaluación de procesos

¿Cuándo usarla?

Tan pronto se inicia el programa.Durante el funcionamiento del programa.

¿Para qué sirve?

Sirve para saber qué tan bien funciona internamente el progra-ma. Provee información al eva-luador acerca de si el programa se implementa como se diseñó.

“La evaluación de procesos es la evaluación de la dinámica interna de los organismos de ejecución, sus instrumentos de política, sus mecanismos de prestación de servicios, sus procedimientos de

gestión y los vínculos que existen entre todos estos componentes”(OECD, 2002).


30

¿Por qué es útil?

Posibilita la detección temprana de cualquier problema de opera-ciones o procesos y la mejora del funcionamiento del programa.Permite a los evaluadores reali-zar un seguimiento de la forma en que los planes y actividades de un programa se están desa-rrollando.

Fuente: Kusek, J. y Gorgensen, M. (2010). Adaptación del autor.

Algunos tips

Proceso no es lo mismo que procedimiento: “procedimiento es el conjunto de reglas e intenciones que determinan la manera de proceder o de obrar para conseguir un resultado.Unprocesodefinequéesloquese hace y un procedimiento cómo hacerlo” (Sescam, 2002).

La evaluación de procesos se diferencia del seguimiento porque examina cada proceso y actividad de acuerdo con el producto generado, busca no sólo compa-rarlos con su diseño inicial para conocer cómo funciona el programa, sino también determinar si se cumplió con lo estable-cido en el momento de la formulación. El seguimiento se limita a constatar los procesos, mientras que la evaluación valora si éstos son los adecuados.

2.2 Desarrollo de la evaluación

Si las preguntas que guían al evaluador están dirigidas a entender el funcionamiento de un programa y cómo éste desarrolla sus actividades para poder entregar los productos esperados; nos encontramos frente a una evaluación de procesos.

El propósito primordial de estas evaluaciones es contrastar la situación actual de las actividades y procesos del programa con el esquema inicial de implementación y buscar las mejores prácticas. Así

mismo, detectan las áreas y procesos potenciales de desarrollo, dado su grado de desempeño ac-tual, y su importancia dentro de la intervención.

Para adelantar una evaluación de procesos, se recomienda efectuar los siguientes pasos:

• Definirlosprocesosaevaluar.

• Recoger información de cada una de las áreas.

• Analizar mediante la aplicación de un método y reportar la información.

• Uso de los resultados.

2.2.1 Definirlosprocesosaevaluar

Un objetivo está compuesto por dos partes, que establecen los marcos lógicos en los que se inscriben las operaciones y los procesos1. Laprimera,descritaporunverboeninfinitivo,hace referencia a lo que se espera lograr con la intervención (incrementar, crear, generar, etc.). La segunda, establece los medios que va a utilizar la intervención para cumplir lo propuesto en la primera parte. Un ejemplo podría ser:

• Objetivo - “Mejorar la salud y la calidad de vida de las personas con diabetes mediante la entrega de servicios asequibles para los diabéticos”.

Los medios se convertirán en las actividades y procesos de la intervención, por lo que es indis-pensable, para el evaluador, reconocerlos.

Las actividades que realiza un ente se pueden equiparar a un proceso cuando cumplen requi-sitos como3:

• Tener una misión o propósito claro.

• Tenerentradasysalidas(sepuedenidentificarlosclientes,proveedoresyproductofinal).

1 Malik (2002).


31

• Poder aplicar una metodología de gestión de procesos que incluya aspectos como tiempo, recursos y costos.

• Poder ser desagregada en operaciones o tareas.

• Poder asignar la responsabilidad de la acti-vidad a una persona.

Se pueden detallar los procesos y su relación con el producto con ayuda de preguntas como2:

• ¿Qué se necesita que hagan los empleados para que entreguen el producto?

• ¿Qué se requiere de un cliente o usuario del programa?

• ¿Cómo se seleccionan los empleados?

• ¿Qué productos van a ser provistos a los usuarios o clientes?

• ¿Cuál es el proceso general que los clientes o usuarios deben pasar para recibir el producto?

• ¿Cuáles son las fortalezas del programa según los usuarios?

• ¿Cuáles son las fortalezas del programa según los empleados?

• ¿Qué quejas se oyen con frecuencia por parte de los usuarios?

• ¿Qué consideran los empleados y usuarios se debe mejorar del producto o del programa?

• ¿Con base en qué deciden los empleados o usuarios que el producto ya no se necesita?

La información de los procesos del programa se organiza en un mapa de procesos donde se identificanlasactividades,accionesyactores3:

a. Identificarelflujo – ¿qué se hace? – Activi-dades

• El evaluador debe listar las principales actividades medibles que se tienen pre-vistas para alcanzar cada objetivo.

b. Identificarlosencargados– ¿quién y cómo lo hace? – Responsables

• El evaluador debe aclarar el método por el cual la información será recogida y analizada, incluye a la persona respon-sable.

c. Identificarlosinsumos – ¿qué se necesita para hacerlo? – Entradas

• El evaluador debe relacionar la(s) fuente(s) de información que indican que la acti-vidad se ha producido.

d. Identificarlosproductos – ¿qué se entrega? – Salidas

• El evaluador debe producir un documento que contenga pruebas tangibles (indica-dores) que muestren el progreso hacia el cumplimiento de la meta.

e. Identificar losbeneficiarios – ¿a quién se entrega? – Clientes

• El evaluador debe determinar quiénes son los clientes de la actividad.

f. Identificarelcronograma – ¿cuál es la duración y secuencia de las actividades? – Tiempos

• El evaluador registra las fechas previstas tantodeiniciocomodefinalizaciónparallevar a cabo la actividad. Es claro que algunas operaciones van a ocurrir antes que otras y/o se producirán de forma

2 McNamara (2006).3 Así mismo se encuentra el plan de acción que reporta los procesos de cada objetivo del programa: plan para el desarrollo de una

evaluación de operaciones (Kusek y Gorgensen, 2010).


32

simultánea. Lo importante es saber cuáles son las actividades, sus interrelaciones y sus tiempos.

En el caso en que se quiera estudiar una entidad o un programa es necesario, además, establecer las jerarquías y relaciones de cada área con los diferentes procesos y sus interconexiones. Así mismo, se pueden evaluar las áreas que sustentan las funciones administrativas básicas: planeación, organización, dirección y control4. Dependiendo de cual se va a analizar, el evaluador recopila información que permita examinar sus procesos y actividades.

2.2.2 Recoger información de cada una de las áreas

Laevaluacióndeprocesosidentificalasoportu-nidades de mejoramiento y desarrollo a través del análisis de los procesos y actividades. Si ésta busca indagar sobre los procesos en el área de planeación, el evaluador debe recoger información de aspectos como la misión, objetivos, factores crí-ticos de éxito, políticas y procedimientos. Por otro lado, en el eje de organización los componentes más relevantes son la estructura organizacional, organización de funciones y procedimientos, y administración y análisis de personal. Si el eva-luador quiere inspeccionar el área de dirección, es deseable que incluya información acerca de los procesos de comunicación, toma de decisiones y coordinación de actividades. Finalmente en el sector de control, seguimiento y evaluación, es importante investigar la manera como se están adelantando estas labores y su calidad5.

2.2.3 Analizar y reportar la información

Se han desarrollado herramientas de interpreta-ción y análisis que pueden servir de referentes para implementar la evaluación de procesos.

Los diagramas de GANTT, diagramas de PERT y métodos de ruta crítica pueden ser utilizados por losevaluadoresparaverificarquétareassehanrealizado, su porcentaje de avance y sus tiempos de ejecución6.

Adicionalmente, se puede recurrir a diferentes enfoques para evaluar los procesos. A continuación se presenta una descripción inicial de tres meto-dologías utilizadas en el análisis de operaciones:

• Lean Manufacturing.

• Gestión por Procesos.

• Six Sigma.

2.2.3.1 Enfoque Lean Manufacturing

Lean Manufacturing nació en Japón inspirada en los principios de William Edwards Deming y Taiichi Ohno, este sistema se conoce como “Toyota Production System”. Es un conjunto de principios, conceptos y técnicas que permiten construirunsistemaeficiente,capazderedu-cir el tiempo entre la creación y entrega del producto o servicio, a través de la depuración del desperdicio en el proceso de producción, loquepermiteelflujocontinuodeprocesosyactividades7.

Este enfoque se centra en la generación de actividades de valor agregado en los procesos deunprogramapormediodelaidentificación,eliminación sistemática del desperdicio y el perfeccionamiento continuo de estos procesos yoperacionesparaaumentar laeficiencia8. Un desperdicio es cualquier cosa que no haga parte de lo mínimo absolutamente necesario para la realización de una actividad o un proceso.

4 Pawson (2006).5 Pawson (2006).6 Patton (2009).7 BlissyEmshoff(2005).8 Estos siete desperdicios son: sobreproducción, esperas entre procesos, transporte, exceso de inventario, defectos en los bienes o

servicios producidos, exceso de procesos y sobreprocesamiento.


33

El Lean Manufacturing se puede resumir en cuatro tipos de indicadores:

• Calidad: busca que no haya defectos o errores.

• No repeticiones: busca que el proceso sólo tenga que hacerse una vez.

• Valoragregadoalclientefinal: busca que el procesoleañadavaloralbeneficiariofinaly no sea simplemente un trámite que sólo satisface a un cliente interno.

• Oportunidad: busca que los procesos se hagan a tiempo.

Herramientas del enfoque Lean Manufacturing

a. Mapadelflujodelvalor(Value Stream)

b. 5S: es un mecanismo que organiza los pro-cesos y actividades conel finde generarun estado ideal en el que únicamente sean utilizados los insumos necesarios, todo se encuentreordenadoeidentificado,sehayansuprimido las fuentes de desperdicio y exista un control mediante el cual se vigilen los procesos. Las 5S son:

• Seiri-Clasificar: separar lo que es indis-pensable de lo que no lo es para el de-sarrollo de las operaciones del programa.

• Seiton - Ordenar: poner lo que es necesario en un lugar inmediatamente accesible.

• Seiso - Limpiar: realizar una depuración paraquelosprocesosfluyancomoestándiseñados.

• Seiketsu - Estandarizar: homogeneizar procedimientos y actividades.

• Shitsuke - Disciplina y Entrenamiento: creación de reglas que guíen la imple-mentación de los procesos, además de la instauración de retroalimentaciones y capacitaciones para que los procesos seaneficientes.

c. Justo a tiempo (Just in Time): el objetivo de ésta es proveer la cantidad de productos prevista, de un modo muy riguroso. Consiste en pro-ducir lo planeado sólo cuando es requerido, en el tiempo establecido y elaborado por un procesoespecífico.

Representación de un desperdicio en una cadena de resultados

Fuente:BlissyEmshoff(2005).Adaptacióndelautor.

Procesos ProductosP1 P2 P3 P4 P5

Tiempo de operaciones de valor añadido. Ej: Creación de un subsidio, tratamiento de la muestra, etc.

Tratamiento en Operaciones de: No valor añadido. Ej: recibir, esperar, etc.


34

2.2.3.2 Enfoque gestión por procesos

Esta metodología le da mayor importancia a la visiónqueel cliente (obeneficiario) tieneso-bre el conjunto de actividades y procesos del programa9. De esta manera, las operaciones que adelanta el programa son gestionadas de manera mancomunada.

La ventaja de este enfoque es que ha creado un conjunto de herramientas para el rediseño de la conexiónentreprocesosyproductos,conelfindegeneraractividadeseficientesquerespondana las necesidades de los que usufructúan dichos productos.

La gestión por procesos tiene como objetivo:

• Mejorar continuamente las actividades y procesos desarrollados.

• Reducir la variabilidad innecesaria en los procesos de producción.

• Eliminar las ineficienciasasociadasalare-petición de las actividades.

• Optimizar el empleo de los insumos.

La gestión por procesos se basa en seis pasos clave10:

• Identificara losbeneficiariosysusnece-sidades: con el objeto de tener procesos y productos que satisfagan las necesidades y expectativasdelosbeneficiarios.

• Definirlosproductos:conoceralosbenefi-ciarios para determinar qué bienes o servicios se deben ofrecer.

• Trazar el mapa de procesos: a través del conocimiento de las necesidades de los be-

neficiarios,elevaluadordiseñayestablecelos procesos y actividades para crear los productos que suplan estos requerimientos.

• Describir los procesos: los procesos tienen comoejecentralalbeneficiario,sustentadosen el procedimiento know-how11, el cual se enfoca en siete puntos centrales para que el evaluador delinee las actividades y procesos12.

• Diagramar los procesos: facilita concebir y esquematizar el programa como un sistema. El evaluador puede valerse de diagramas de bloque,dedespliegue,deflujosdedatoso de red para discernir la estructura de los procesos, sus interconexiones y la efectividad de cada uno de ellos.

• Análisis de datos y mejora del proceso: aquí el evaluador puede recurrir a indicadores de calidad que le permitan determinar si los procesos se realizaron según los criterios del programaylosbeneficiarios.

2.2.3.3 Enfoque Six Sigma

La metodología Six Sigma se fundamenta en la curva de distribución normal (campana de Gauss) para conocer el nivel de variación de cualquier actividad y elaborar una serie de pasos que refuercen el control de calidad y garanticen la optimización de procesos13.

Este enfoque se divide en dos aspectos: ope-racional y gerencial. En el operacional se usan herramientas estadísticas para efectuar la medi-cióndelasvariablesdelosprocesos,conelfinde detectar los defectos que puedan presentarse en la producción de los bienes y servicios de un programa. En el gerencial se examinan los procesos utilizados por los responsables para aumentar la calidad de los procesos, actividades y productos del programa.

9 Charles, Steve y Lawrence (2006).10 Ibídem.11 La noción de know-how es saber cómo transferir y/o manejar equipos, programas y dispositivos, fórmulas, diseños y métodos de

manera conjunta y ordenada para mejorar los procesos y actividades de producción de un bien o un servicio.12 Para más detalle ver Charles, Steve y Lawrence (2006).13 Mikel y Schoeder (2004).


35

El enfoque Six Sigma se sustenta en seis pasos principales:

• Definirelproductoy/oserviciodelprograma.

• Identificarlosrequisitosdelosbeneficiariosdel programa.

• Comparar los requisitos con los productos.

• Describir el proceso a evaluar.

• Evaluar el proceso.

• Medir la calidad y producto.

En paralelo a estos pasos14, el enfoque emplea medidas de calidad para poder evaluar la per-tinencia de los procesos y actividades del pro-grama. Estas herramientas tienen como objetivo encontrar y diagnosticar posibles problemas, entre ellas tenemos:

• Flujo de procesos: el evaluador conoce las etapas del proceso por medio de una secuen-cia de pasos.

• Diagramas de causa-efecto: el evaluador detecta las relaciones lógicas que existen en los procesos hasta llegar a los produc-tos y de esta forma puede visualizar las causas y consecuencias de los problemas en estos.

• Diagramas de Pareto: el evaluador señala las causas principales de los problemas que surgen en los procesos, a través de una orga-nización de prioridades de mayor a menor en donde se indique cuáles procesos y subpro-cesos son responsables de los efectos en el programa.

• Gráficasdecontrol: el evaluador estudia los procesos, su dinámica y genera un esquema de control para anclar su comportamiento de acuerdo con un valor medio acotado por límites superior e inferior, de modo que se eviten anormalidades.

2.2.4 Uso de los resultados

Las conclusiones de la evaluación de procesos son útiles para:

• Identificarymodelarlosprocesosyactivida-des de un programa.

• Determinar si la cadena de producción del programa, compuesta por los procesos, se lleva a cabo según su diseño.

• Generar esquemas de gestión de calidad que localizan los problemas, defectos y errores en los procesos y actividades del programa.

• Crear herramientas de control y ajuste que garanticen que los procesos y actividades seaneficientesyeficaces.

14 Robertson y Smith (2005).

Evaluación de productos

CAPÍTULO III C

ap

ítu

lo I

II

Tito Wong

39

La evaluación de productos es un tipo de evalua-ción que se utiliza para analizar en qué medida se logró cumplir con las metas de productos entre-gados frente a los insumos invertidos. Responde a las siguientes preguntas orientadoras:

• ¿Fueron lasactividadesdesarrolladas sufi-cientes para realizar los productos acordados?

• ¿Se hicieron todas las actividades presupues-tadas?

• ¿Se entregaron los productos planeados?

• ¿Tuvieron los productos la calidad y oportu-nidad esperadas?


La evaluación de productos es una valoración ex-post, de corto plazo, que se adelanta a partir de la entrega de los productos y servicios pro-gramados. No es necesario observar los resulta-dos ni el impacto de los productos, puesto que estos elementos deben ser abordados mediante evaluaciones de mediano y largo plazo. Para un análisis más integral, es posible complementar la evaluación de productos con una evaluación deprocesos,de costo-beneficioode resulta-dos, para examinar por qué se entregan o no los productos planeados, si se hacen de manera costo-eficienteoquéefectosdemedianoplazo

tienen los productos en la población u objetos de intervención.

Este tipo de evaluación analiza los productos, bienes de capital o servicios que resultan de una intervención. Su propósito es comparar los indi-cadores de insumo con los de producto y puede, conunanálisiscosto-eficiencia,determinarsisemaximizaron los productos al menor costo o, con una evaluación de procesos, explicar en términos de la gestión del programa por qué se lograron o no los productos planeados. Así mismo, la evalua-ción de productos puede ser útil en momentos de restricciones de tiempo o dinero.

Es importante que1:

• Se relacione cada producto con un resultado esperado.

• Se incluyan los productos factibles de ser entregados por el programa, con los recursos disponibles.

• Se usen los productos para establecer rela-ciones entre el problema al cual va dirigida la intervención y su impacto.

• Noseusenverboseninfinitivoalprincipiode la enunciación de los productos (construir, asesorar, preparar, etc.), pues normalmente estos describen actividades y no bienes/servicios tangibles.

1 ADB (2007).


40

• Se tenga en cuenta que los componentes no son productos, sino un conjunto de pro-ductosagrupadosporrazonesfinancierasoadministrativas.

• Se incorporen indicadores de producto rela-cionados con la gestión y el desempeño para programas complejos.

3.2 Desarrollo de la evaluación

Una vez se aclaran los objetivos, el alcance de la evaluación y se concluye que lo requerido es una evaluación de productos, se pasa a las etapas de planeación, diseño, implementación y uso de los resultados de la evaluación.

En el desarrollo de una evaluación de productos el primer paso es tener claridad sobre cuáles son los productos en la cadena de resultados de la intervención:

• Definirlosproductosesperadosdelprogramaque se va a evaluar.

• Para cada producto, si no se encuentra es-tablecida, construir una meta y asociar un indicador.

• Recolectar información sobre los insumos y actividades relacionadas con los productos.

• Analizar y reportar el estado de los productos.

• Usar los resultados de la evaluación de pro-ductos.

3.2.1 Definirlosproductosesperados

Los productos son tangibles, se pueden contar, se expresan usualmente por medio de nombres, son resultado directo de las actividades o procesos de la intervención y dependen totalmente de estos,

y son relevantes para el logro de los efectos del programa2.

Para ladefiniciónde losproductoses crucialtener claro el problema por el cual se creó la intervención y, de esta forma, poder relacionar las actividades y productos generados3. Se de-ben evitar frases muy largas para enunciar los productos,puesdificultanlaidentificacióndelindicador de producto (ver ejemplo de formula-ción de productos). Si estos se encuentran correc-tamente formulados, el indicador será él mismo.

3.2.2 Establecer metas4 y asociar indicadores

Las metas son necesarias para tener un punto de referencia con el cual comparar el avance en determinado período de tiempo, de actividades y productos. En principio, las metas deben estar fijadasporelprograma.Paracadaproductoesimportante tener una medición observable y elaborarindicadoresquecontribuyanacuantificarel desempeño del programa.

Un indicador de producto “mide la cantidad (y a veces la calidad) de los bienes y servicios provistos gracias al uso de los insumos”5.

Un indicador de gestión “cuantifica los recursosfísicos,humanosyfinancierosuti-lizados en el desarrollo de las acciones; y mide la cantidad de acciones, procesos, procedimientos y operaciones realizadas durante la etapa de implementación”6.Un indicador de efecto “mide los cambios resultantes en el bienestar de la población objetivo de la intervención como consecuen-cia (directa o indirecta) de la entrega de los productos”7.

El tipo de indicador adecuado depende del objeti-vo y la meta a la cual se le va a hacer seguimiento.

2 Kusek y Rist (2004).3 UNFPA (2004).4 Para información más detallada sobre el establecimiento de metas ver: USAID TIPS, 1996.5 World Bank (1996).6 DNP (2009).7 Ibídem.


41

En el caso de una evaluación de productos se utilizan indicadores de gestión y de producto para efectuar el análisis.

Un buen indicador debe cumplir con ciertas características. Algunas organizaciones utilizan los criterios SMART8. Se encuentran también los criterios DOPA, según los cuales los indicadores se elaboran bajo cuatro estándares:

Criterios DOPA para construir indicadores

Directos Miden de cerca el cambio previsto

Objetivos

No son ambiguos respecto a lo que se mide o los datos que se requieren y tienen una medición operacional clara, independiente de la persona que la realiza

Prácticos

Razonables en términos del costo de la recolección de datos, fre-cuencia y pertinencia para efectos de toma de decisiones

Adecuados

El número mínimo de indicadores necesarios para asegurar que el progreso hacia el logro del produc-toestásuficientementeabarcado

Fuente: USAID TIPS, No.12, 1998.

Los indicadores empleados por el DNP tienen una estructura básica que permite una formu-lación más clara, ésta se compone de dos ele-mentos:i)elobjetoacuantificar;ii)lacondicióndeseada del objeto. También se puede adicionar un tercer elemento que incluya aspectos des-criptivos. A continuación se presentan algunos ejemplos de indicadores de producto con el formato sugerido por el DNP (sujeto + verbo en participio pasado)9.

Algunos ejemplos

• Jornadas de vacunación realizadas (programa de salud preventiva – indicador de gestión).

• Niños vacunados (programa de salud pre-ventiva – indicador de producto).

• Árboles adquiridos (programa de refores-tación – indicador de gestión)7.

• Hectáreas de bosque reforestadas (programa de reforestación – indicador de producto).

• Cartillas elaboradas (programa de capaci-tación – indicador de gestión).

• Personas capacitadas (programa de capa-citación – indicador de producto).

3.2.3 Recolección de información

En esta etapa se establece qué información es requerida para calcular cada uno de los indica-dores y de qué manera se va a recolectar.

Los indicadores asociados a la evaluación de pro-ductos se pueden recoger por medio de reportes sistemáticos o informes de seguimiento de los insumos, actividades y productos:

• Revisión de información existente para con-testar las preguntas de la evaluación (sistemas de seguimiento y evaluación, documentos e informes publicados, reportes de gestión).

• Revisión de información adicional necesaria para el análisis de la evaluación de productos (cuestionarios, entrevistas u observación de personas, procesos, objetos, condiciones y situaciones, etc.)10.

8 Explicada en DNP “Metodologías DEPP. Conceptos y técnicas. Evaluación de resultados”, 2010.9 DNP (2009). 10 Ver anexo 11.1: Métodos más utilizados de recolección de información.


42

3.2.4 Analizar y reportar el estado de los productos

En esta fase se construye un estado del arte de los insumos, las actividades y los productos planeados, con respecto a los que efectivamente se desarrollaron de acuerdo con la información recolectada. A partir de éste se mide la evolución de los productos mediante una tabulación, cóm-puto o registro de las actividades que puedan ser expresadas tanto de manera cuantitativa como cualitativa. Lo anterior se puede complementar conunanálisiscosto-eficienciaounaevaluaciónde procesos.

Análisiscosto-eficiencia

Es un análisis que permite sopesar el costo de múltiples alternativas para obtener productos iguales o similares11 y así encontrar el proceso máseficienteyadoptarlo.Mide losproductosgenerados en relación con los insumos utilizados y responde a preguntas como:

• ¿Justificanlosproductoselcostodelasac-tividades?

• ¿Qué medidas se han tomado durante la planeación e implementación para asegurar elusoeficientederecursos?

• ¿Podría haberse hecho una intervención mejor,menoscostosaomáseficienteeneltiempo?

• ¿Habría podido otra intervención diferen-te resolver el mismo problema a un costo menor?

El ejercicio se efectúa con los rubros de gasto, insumos y actividades; se comparan los costos unitarios con referencias máximas y mínimas de mercado, para establecer si los costos del proyecto son adecuados. Es fundamental que las fuentes de información queden claramente identificadas12. También se pueden considerar otros factores, no sólo los precios de mercado, para caracterizar variables que no se miden con ese rasero.

A continuación se muestra un ejemplo de un rubro de una actividad del programa de mejora nutricional de niños menores de 5 años. El costo de este ítem, comparado con diversas opciones, sepuedecalificarcomorazonable.Podríaclasi-ficarsecomoelevadodeencontrarseenunnivelmás alto que el valor que se establezca como el comparativo alto. La conclusión a la que se llegue también depende de su desfase frente al punto de referencia o del análisis que se haga para cada uno de los valores.

11 Green Book, HM Treasury.12 B.O.T. (2004).

Ejemplo: Programa de mejora de nutrición a la primera infancia (cifras en pesos).

Rubro Costo unitario

Valor comparativo

bajo

Descripción costo bajo

Valor comparativo

alto

Descripción costo alto

Costo razonable Desfase Conclusio-

nes

Suplemen-to nutricio-

nal3000 2000

Valor promedio

suplemento ICBF

5000

Valor promedio

internacional en programas nutricionales de Argentina,

México y Chile

3500 0 Costo razonable

Fuente: B.O.T. (2004). Adaptación del autor.


43

El análisis costo-eficiencia es diferente a la evaluación costo-beneficio. Estaúltimaesdemayor complejidad, pues es necesario tener un estimativo cuantitativo de los efectos positivos quegeneróelprogramaenlosbeneficiarios,paraproceder compararlos con los costos en los que incurrió(vercapítuloEvaluaciónCosto-beneficio).


El uso de los resultados es responsabilidad de los gerentes del programa quienes, con un acompa-ñamiento cercano de la DSEPP13, deben revisar a fondo el diagnóstico, las conclusiones y las recomendaciones de la evaluación.

En el caso de una evaluación de productos, se debe estudiar si hay mejoras para incorporar al programa en temas de gestión de insumos, activi-dadesoproductosparaincrementarlaeficienciayeficaciaenlaentregadeestos.Posteriormente,sedebe hacer un plan de implementación de estas mejoras con las respectivas responsabilidades y cronograma para llevarlas a cabo.

Para la diseminación de los resultados existen determinados canales que pueden ser explorados, dependiendo del público objetivo14:

• Documento escrito detallado.

• Resumen ejecutivo con lo más importante de la evaluación y las conclusiones.

• Folleto con las principales lecciones y reco-mendaciones de la evaluación.

• Reportes periódicos.

• Artículo en un boletín.

• Artículo en el periódico.

• Conferencia de prensa.

• Aparición en un programa de TV o radio.

• Debate público.

• Seminario o taller.

• Difusión de manera electrónica (correos, páginas web).

Aplicación de las herramientas: estudio de caso adaptado a una evaluación de productos15

Nombre programa: Estrategia Territorios Digita-les - Aprovechamiento de las Tecnologías de la Información y la Comunicación (TIC) en Colombia.

Año de inicio: 2007.

Ministerio responsable: Ministerio de Tecno-logías de la Información y las Comunicaciones (Ministerio de TIC).

Servicio responsable: Convenio entre MinTic, entidad territorial y entidad ejecutora.

Período de evaluación: 2007-2009.

Presupuesto programa año 2009: 15907 millo-nes de pesos aportados por el Ministerio de TIC y 14577 millones de pesos aportados por las entidades territoriales y ejecutoras.

Definirlosproductosesperadosdelprogramaque se va a evaluar

La estrategia Territorios Digitales (TD) inicia en 2007 y tiene por objetivo fomentar el uso ade-cuado y la apropiación de las TIC en el territorio nacional, tanto a nivel de comunidad como de sectores productivos de cada región. La estrategia realiza una entrega de productos y/o servicios a cadaunodelosterritoriosbeneficiadosentrescomponentes: infraestructura (hardware), infoes-tructura (software) e infocultura (cómo usar, cómo aprovechar).

13 La DSEPP además de acompañar todo el proceso de implementación de la evaluación, hace seguimiento a sus recomendaciones.14 UNFPA(2004).Tool n.o 5, part.V. 15 DEPP, DNP (2010). Evaluación Ejecutiva (E2) Programa “Estrategia Territorios Digitales: Aprovechamiento de las TIC en Colombia”.

Consultoría realizada por Julio Villarreal.


44

En este recuadro únicamente se van a presentar los indicadores del componente de infraestruc-tura.Laestrategiahadefinidocuatrofrentesdeinversión para los proyectos desarrollados en cada territorio: conectividad, acceso, telefonía móvil y televisión. Dicha infraestructura debe facilitar a los ciudadanos el acceso a las TIC y su uso adecuado.

Los subcomponentes (productos/servicios) espe-cíficosquesehanentregadoenlosterritoriosenmateria de Infraestructura son (no en todos los TD se entregan los mismos servicios, cada territorio hace énfasis en los que se requieran para cubrir sus propias necesidades):

• Cobertura de la red de conectividad ampliada.

• Nuevos puntos del TD conectados.

• Internet inalámbrico funcionando.

• Computadores entregados a la comunidad.

• Salas de informática instaladas y funcionando.

• Aulas digitales instaladas y funcionando.

• Telecentros instalados y funcionando.

• Herramientas de telemedicina instaladas y funcionando.

• Software y equipos audiovisuales especiali-zados funcionando (por ejemplo el software para el manejo de correspondencia).

Para cada producto establecer una meta y asociar un indicador de producto

En este caso se van a tener en cuenta sólo los indicadores relacionados con el primer producto: cobertura de la red de conectividad ampliada. Sin embargo, es importante anotar que en la matriz de marco lógico del programa se presentan los indicadores para la estrategia (total) de Territorios Digitales;cadaterritoriopuededefinirindicado-res y metas propias para cada año de ejecución. La evaluación y cumplimiento de las metas son periódicamenteverificadosyaprobadosporelrespectivo comité directivo.

Metas e indicadores asociados al componente de infraestructura

Nombre Fórmula Meta 2010 Meta 2011 Periodicidad Medios de verificación

Nuevas goberna-ciones vinculadas a la estrategia TD

Número de nuevas goberna-ciones vinculadas a la estra-tegia TD con respecto al año inmediatamente anterior

6 6 Anual MINTIC

Nuevos munici-pios vinculados a la estrategia TD

Número de nuevos municipios vinculados respecto al año inmediatamente anterior

20 20 Anual MINTIC

Fuente: DEPP, DNP (2010).

Recoger información sobre insumos, actividades y productos

EntrelosinsumosdefinidosporelMinisteriodeTICseencuentralafinanciacióndelosconvenios,que se adelanta de manera conjunta entre las partes involucradas, el Ministerio de TIC y los Gobiernos territoriales (alcaldías o gobernacio-nes). Si los territorios no comprometen recursos

en el proyecto, la propuesta no es apoyada por el ministerio.

A continuación se presenta un cuadro de resumen con el presupuesto destinado a la estrategia TD durante el periodo 2007-2009 para Antioquia, unodelosterritoriosconlosquesehafirmadoconvenio.En éste también se discrimina la fuen-te de los recursos aportados (Ministerio de TIC, Gobierno territorial).


45

En cuanto a las actividades, se enumeran las misionales que se han determinado y que se desarrollan cronológicamente durante la ejecu-ción de los proyectos en los territorios, por cada componente. A manera de ilustración se listan las actividades del componente de infraestructura, éstas son las que el consultor ha señalado como necesarias para la producción o generación de subcomponentes, pues no hay un registro, plan, guía o metodología en la estrategia TD donde esténpreviamentedefinidas:

1. Se diagnostica y evalúa el estado de la in-fraestructura de TIC en el TD.

2. Seidentificanypriorizanlasnecesidadesdeinfraestructura de TIC en el TD.

3. Sedefinen las intervenciones a realizar ylos criterios de selección y focalización de beneficiariosdeinfraestructuraTICenelTD.

4. Seseleccionanlosbeneficiarios:puntosaco-nectar, instituciones o entidades que recibirán infraestructura (computadores, telecentros, aulas digitales, telemedicina, etc.).

5. Se actualiza la infraestructura de TIC de acuerdo con las mejores prácticas actuales.

6. Se desarrolla, instala y prueba la infraestruc-tura de TIC seleccionada para el TD.

Se han encontrado dos factores de riesgo im-portantesquepueden tenerunefecto signifi-cativo en la entrega y calidad de los productos o servicios ofrecidos por los TD, pero que están

fuera del control y alcance de los ejecutores de los territorios.

Por una parte se evidencia que la calidad de los productos y servicios entregados bajo el componente infraestructura dependen en su gran mayoría del proveedor de los mismos; por ejemplo, la calidad de la conectividad, de los computadores, de los tableros digitales, etc., está completamente determinada por el servicio que prestan los proveedores de éstos. Es decir, en su gran mayoría no son aspectos que estén bajo el control de la entidad ejecutora.

Por otra parte se reconoce la posibilidad de en-frentarse a riesgos asociados con eventos propios de la naturaleza y el clima o con la calidad de los servicios públicos en la zona de intervención. En algunos casos, sobretodo en regiones apartadas y lejanas como en Magdalena Medio Digital, los servicios de conectividad y equipos se han vis-to afectados por tormentas eléctricas que han quemado equipos instalados en la zona y han ocasionado caídas de la señal inalámbrica de internet. En otros casos se tienen zonas en las cuales el servicio de energía eléctrica es muy deficiente,razónporlacualelfuncionamientode los equipos se ve perjudicado.

Analizar y reportar el estado de los productos

En el componente infraestructura, la calidad de los productos y servicios está determinada en gran medida por los proveedores y por el apoyo técnico y las garantías que ofrezcan. Así las co-sas, los procesos y las reglas de selección de los mismos son la clave para garantizar una buena

Inversión Territorios Digitales 2007-2009 (pesos corrientes)

Territorio digital

Convenio TD 2008(millones de pesos corrientes)

Convenio TD 2009(millones de pesos corrientes)

MinTIC Territorio Total MinTIC Territorio Total

Antioquia 840 250 1090 700 300 1000

Fuente: MinTic. Estrategia TD, Inversión TD 2007-2009.


46

calidad. A continuación se presenta un ejemplo delacuantificacióndedosdelosindicadoresdelcomponente de infraestructura.

El consultor concluyó que debe registrarse infor-maciónrelacionadaconlosbeneficiariosobjetivosy efectivos, los componentes en desarrollo, los servicios y productos entregados en infraestructu-ra, infoestructura e infocultura, el presupuesto, la ejecucióndeinsumosfinancierosynofinancieros(personal, instalaciones, equipos, activos), los resultados de ejercicios de monitoreo y evalua-ción (por ejemplo, registros de uso de las salas digitales y demás equipos, personas capacitadas, personas sensibilizadas, entre otros), los objetivos y metas planteadas, los informes de los procesos

de implementación y entrega de subcomponentes (ejecución de planes de acción) y las mediciones de indicadores. En otras palabras, la información solicitada en los formatos estándar debería hacer referencia a cada uno de los niveles de la MML diseñada para la estrategia TD, de manera que se facilite la medición de indicadores y, en con-secuencia, el logro de sus objetivos.

Uso de los resultados

Los resultados de esta evaluación permitieron proponer mejoras en temas de gestión de insu-mosyactividadesparaincrementarlaeficienciay eficacia del programaen la entregade susproductos.

Cuantificacióndeindicadoresasociadosalcomponentedeinfraestructura

Nombre Fórmula 2007 2008 2009

Nuevas gobernaciones vinculadas a la estrategia TD

Número de nuevas gober-naciones vinculadas a la estrategia TD con respec-to al año inmediatamente anterior.

4 8 7

Nuevos municipios vin-culados a la estrategia TD

Número de nuevos muni-cipios vinculados respec-to al año inmediatamente anterior.

No hay información

No hay información

No hay información

Fuente: DEPP, DNP (2010).

Evaluación ejecutiva E2+

CAPÍTULO IV C

ap

ítu

lo I

V

Darren Green

49

Los sistemas de evaluación contribuyen a generar información acerca del logro de los objetivos planeados por parte de los programas: qué tan efectivos han sido en el corto, mediano y largo plazo,sihanalcanzadosusmetasdemaneraefi-ciente y si hay mejores alternativas de conseguir estos resultados con menos recursos. Así mismo, institucionalizan los esfuerzos de monitoreo y evaluación que se hagan y sistematizan los ejer-ciciosdeidentificación,diseño,implementacióny uso de los diferentes tipos de evaluación en los niveles nacional, local y sectorial.

Con la evolución de la demanda por evaluar cada vez más programas, surgió la necesidad de tener una evaluación rápida que permitiera tener una visión general del programa en un período corto de tiempo. La Evaluación Ejecu-tiva (E2), se diseñó en la DSEPP y se aplicó a 17 programas entre 2007 y 2011. A partir de estas experiencias piloto y el análisis detallado de estas evaluaciones1, se obtuvieron lecciones tanto de forma como de fondo (gracias a la contribución de los diversos consultores que participaron en su desarrollo y del equipo de la DSEPP), lo que ha permitido replantear ciertos aspectos del tipo de evaluación que se presenta a continuación, transformando la E2 en la E2+.

Tener un tipo de evaluación rápido es esencial en el sistema de evaluación de cualquier país. En Chile, las Evaluaciones de Programas Guber-namentales (EPG) dependen de la Dirección de Presupuestos (DIPRES) y han sido adelantadas desde 1997. Las EPG tienen como objetivo “dis-poner de información que apoye la gestión de los programas públicos y el análisis de resultados en el proceso de asignación de recursos públicos”2. En Estados Unidos, se encuentra el Program As-sessment Rating Tool (PART) desarrollado por la OfficeofManagementandBudget(OMB).Éstaesuna herramienta de diagnóstico creada en 2002 para los programas federales que, mediante un cuestionario cerrado, evalúa el desempeño de los programas y propone ajustes3. En México, el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) es la entidad res-ponsable de las evaluaciones de los programas federales. En 2007 empezó a implementar la Evaluación de Consistencia y Resultados, cuyo objetivo es “tener un diagnóstico sobre la capa-cidad institucional, organizacional y de gestión de los programas hacia resultados”4.

La E2+ se creó con la intención de generar in-formación oportuna y pertinente para que las entidades, tanto las ejecutoras como las que

1 El autor analizó 8 informes de E2 realizadas en 2009, teniendo en cuenta aspectos como la calidad de los reportes, la pertinencia de los insumos utilizados, el acompañamiento y supervisión por parte de la DEPP y la calidad de las recomendaciones. En general se observó que son informes muy completos, sin embargo su estructura rígida no permite que se entienda de manera tan clara el concepto integral que da el consultor acerca del programa.

2 Ver página web Dipres, Chile: http://www.dipres.gob.cl/572/article-37369.html3 Ver página web: http://www.whitehouse.gov/omb/.4 Ver página web: http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/consistencia/index.es.do


50

asignan los recursos, tomen decisiones sobre ajustes a los programas en el corto plazo e in-crementenlaeficienciayeficaciadelaejecuciónde las políticas públicas. Se espera con este tipo de evaluación:

• Dar una visión general del programa.

• Identificarproblemasymejorareldesempeñodel programa.

• Encontrar los cuellos de botella del programa en la cadena de resultados y en la cadena de entrega de los productos y servicios.

• Generar unas recomendaciones acerca de cómo perfeccionar el diseño y los procesos del programa.

• Evaluarelgradodesatisfaccióndelbenefi-ciario o cliente del programa.

Así mismo, es importante conocer sus limitaciones. La evaluación ejecutiva no permite:

• Probar estadísticamente si el programa causó el resultado o atribuir resultados exclusiva-mente a la intervención.

• Analizar resultados de mediano y largo plazo (impactos).

Considerando lo anterior, esta evaluación res-ponde (entre otras) a las siguientes preguntas:

• ¿Cuál es el desempeño general del programa?

• ¿Se encuentra la implementación del programa acorde con su diseño?

• ¿Cuál es la relación de causalidad entre los diferentes componentes del programa? ¿Cuál es la cadena de resultados (o valor) del pro-grama?

• ¿Cuál es la cadena de entrega del programa? ¿Dónde están los cuellos de botella en la cadena de entrega de cada uno de los pro-ductos/servicios?

• ¿Los usuarios están satisfechos con los pro-ductos/servicios entregados?

• ¿Espertinenteseguirfinanciandoelprogramao algunos de sus componentes?

Algunos tips

a. Las E2+ se diferencian del monitoreo por:

• Serunprocesoanalíticomásglobaleintegrado.

• Permitirordenarlaestructuraoperativay establecer relaciones de causalidad entre los insumos, procesos, productos y resultados de corto plazo del pro-grama.

• Realizarunanálisisde laeficiencia,eficaciaycalidaddelprograma.

b. Las E2+ se diferencian de las evaluaciones de impacto por:

• Distinguirentreunerrordediseñoyun error de implementación al analizar un programa.

• Determinarloscuellosdebotellaentrelos insumos, procesos, productos y resultados.

• Serunaherramientamásflexiblequepermite tomar decisiones en el corto plazo.

• Nollegaraconclusionesmetodológi-camente robustas sobre los resultados y los impactos de los programas.

• Noestablecerrelacionesdecausalidadentre el desempeño de las intervencio-nes y los cambios en las condiciones y comportamientos observados en los beneficiariosyenlascomunidades.


51


En el ciclo de los programas, las E2+ son un ins-trumento de evaluación de medio término, de-bido a que la metodología permite inspeccionar los aspectos de ejecución y operación de los programas. Se puede desarrollar en la etapa de implementación o en la etapa ex-post del progra-ma, cuando ya se han empezado a entregar los productosyserviciosalosbeneficiarios.

Este tipo de evaluaciones rápidas se desenvuel-ven mucho mejor cuando están relacionadas o en coordinación con el sistema de seguimiento. Combinar la información del seguimiento5, proceso continuo durante la implementación del programa, con el ejercicio de evaluación, permite tener una retroalimentación sobre el desempeño del programa con un análisis de la relación de su gestión con la entrega de productos y resultados de corto plazo. La articulación de la información de monitoreo con la E2+ es esencial para su óptimo desarrollo.

Algunos tips

La E2+ se utiliza cuando se quiere:

• Tener una visión general del funciona-miento del programa en un corto plazo.

• Establecer la calidad del diseño del pro-grama.

• Identificarsielenfoquedelprogramaescorrecto.

• Comprobar la calidad de los procesos.

• Determinar la calidad en la entrega de los productos y descubrir cuellos de botella.

• Constatar la cobertura del programa.

• Examinar la percepción de un grupo de beneficiariosacercadelosresultadosdelprograma.

• Analizarsisedebeseguirfinanciandoelprograma.

5 Definidoporelglosariode laOECD (2002)comouna: “Función continua que utiliza una recopilación sistemática de datos sobre indicadoresespecificadosparaproporcionaralosadministradoresyalaspartesinteresadasprincipalesdeunaintervenciónparaeldesarrollo, indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos asignados”. El seguimiento hace un levantamiento permanente de información de indicadores, que pueden ser de gestión, producto o resultado.

Por lo tanto, la E2+ posee las siguientes caracte-rísticas:

• Presentaunaltogradodeflexibilidad.

• Realiza en tiempos cortos revisiones integra-les de intervenciones públicas en diferentes sectores.

• Desarrolla un análisis detallado de las cadenas de resultados y entrega.

• Usa información secundaria levantada por el programa.

• Estudialapercepcióndelosbeneficiariospormedio de una encuesta o grupos focales.

4.2 Desarrollo de la Evaluación

En su primera etapa, la E2 se caracterizaba por ser una herramienta estandarizada y relativamente rígida. Se componía de tres informes: i) el informe de descripción del programa, caracterizado por una metodología semi-analítica (basada en las EPG de Chile) con preguntas abiertas para reco-lectar y analizar la información; ii) el informe de evaluación mediante una metodología sintética con respuestas cerradas (basada en el PART de Estados Unidos) para analizar la información y hacer juicios de valor; y iii) las conclusiones con una metodología analítica con preguntas abiertas (basada en las EPG de Chile) para proponer un plan global de ajuste. Después de adelantar diecisiete


52

ejercicios E2 y conocer la opinión de consultores6, hacedores de política y evaluadores al respecto, se obtuvieron las siguientes conclusiones acerca de la metodología. Se observó que los informes resultaban muy completos en cuanto a la infor-mación recolectada, sin embargo, su estructura inflexibledabalugaralarepeticiónyaquelaspreguntas formuladas no posibilitaran entender de manera clara, entre otras7, el concepto integral y las propuestas concretas que daba el consultor acerca del programa. Por lo tanto, conservando el objetivo inicial de la herramienta y sus principios básicos, se cambió su estructura rígida por una enfocada en los requerimientos de información prioritarios.Deacuerdoconestamodificación,loscomponentes para el desarrollo de una E2+ son:

• Visión general.

• Eficaciayeficiencia.

• Percepción del programa.

• Recomendaciones.

• Uso de los resultados.

4.2.1 Visión general del programa

El consultor deberá hacer el análisis general del diseño e implementación del programa, con el apoyo de una herramienta como la cadena de resultados.

La información requerida para esta parte de la evaluación es:

• Cadena de resultados formulada por los evaluadores.

• Información secundaria (información interna y documentada del programa).

4.2.1.1 El proceso

El consultor debe construir un concepto general del programa. Se espera que el concepto incluya la siguiente información:

• Justificación: problema, necesidad o interés por el cual se creó el programa y cuál es su modelo teórico.

• Política sectorial y/o institucional a la que pertenece: relevancia y coordinación del programa en el marco de la política sectorial e institucional, sostenibilidad del programa.

• Descripción general:identificacióndelosbie-nes y/o servicios, instituciones involucradas en la ejecución, ámbito de acción territorial8, antecedentes y características, período de ejecución9 y/o cualquier otra información relevante del programa.

• Objetivos del programa a nivel de fin y propósitos: metas de corto, mediano y largo plazo, cronograma de cumplimiento y medios deverificación.

• Descripción de la población objetivo: iden-tificarydescribirlapoblaciónobjetivo,cómosedefineensuplaneaciónestratégicaylasmetas de cobertura correspondientes.

• Cadena de resultados (valor) detallada del programa en su implementación:

3 Descripción de los insumos:financierosynofinancieros(losfinancierosincluyenladescripción de los antecedentes presu-puestarios del programa, las fuentes de financiamientoylaestructuradecostos;losnofinancierossoneltalentohuma-

6 Las consultorías desarrolladas para llevar a cabo una E2 tenían como requisito además de los tres informes, entregar un concepto acerca de la herramienta utilizada.

7 Además de las recomendaciones de los consultores acerca de la herramienta, se hizo un estudio detallado de 8 E2 realizadas en 2009, en el cuál se observó la calidad de los reportes, la pertinencia de los insumos, así como el acompañamiento y supervisión a las recomendaciones.

8 Área territorial que cubre el programa. Aun cuando el programa tenga previsto tener una presencia nacional, actualmente puede estar ejecutándose únicamente en parte del territorio.

9 Tiempo total durante el cual el programa ha estado y estará siendo ejecutado. Dependiendo de sus objetivos y naturaleza, el programa puedehabersediseñadosinplazodetérmino,obientenerunhorizontedefinidodefuncionamiento.Ej.:1998-2006.


53

no, la tecnología, las comunicaciones y transporte, el sistema de información, entre otros).

3 Descripción de los procesos: identificary describir los procesos, lineamientos operacionales, cronograma de implemen-tación, metas de corto, mediano y largo plazo,mediosdeverificaciónysucesiónde eventos o actividades que, acorde con el diseño del programa, se deben dar para materializar un producto.

3 Descripción de los productos y su per-tinencia a la luz de los objetivos de la intervención: identificar ydescribir losbienes y/o servicios que entrega el pro-grama, su cronograma de entregas, metas de corto, mediano y largo plazo y medios deverificación.

3 Descripción de los resultados: resultados planeados, metas e indicadores.

4.2.1.2 El producto

Éste debe ser corto y conciso. Se requiere que el consultor haga explícita referencia a las fuentes de información (evidencia y soportes) que sustentan sus interpretaciones.

• Descripción general.

• Cadena de resultados del programa construida de manera detallada.

• Concepto integral del programa, de cada una de las etapas (insumos, procesos, productos y resultados) y su articulación.

4.2.2 Análisisdeeficacia

Laeficaciaesla“medida en que se lograron o se espera lograr los objetivos del programa, tomando en cuenta su importancia relativa”10. El análisis y

evaluacióndelaeficaciadelaofertadelprogramase desarrolla con el apoyo de una herramienta como la cadena de entrega:

“Lacadenadeentregasepuededefinircomoel conjunto de actores (personas o institucio-nes), y las relaciones entre ellos, a través de las cuales una actividad o un proceso de un sistema dado será implementado”.11

Responde a la pregunta: ¿Cómo, y a través de quién, ocurre una actividad o un proceso del sistema?

4.2.2.1 El proceso

Seutilizacomorepresentacióngráficadelain-teracción entre actores, instituciones y procesos, paraidentificarlosobstáculosquepotencialmenteinciden en la entrega de los bienes y servicios de la intervención.

Construir la cadena de entrega del programa implica12:

• Estimar el nivel efectivo de cumplimiento de las actividades de acuerdo con las metas fijadasalmomentodeldiseñodelprograma.

• Determinar el nivel de producción de cada bieny/oservicio,cuantificarlosbienesy/oservicios entregados.

• Establecer el nivel efectivo de cumplimiento de las metas establecidas para la producción de los bienes y/o servicios.

• Señalar los organismos responsables y las modalidades de producción o formas de proveer los bienes y/o servicios.

• Presentar mapas de flujo detallados con las actividades y eventos involucrados en el proceso de producción de cada bien y/o servicio.

10 OECD (2002).11 Barber (2009).12 Ibídem.


54

• Estimar los tiempos y recursos necesarios para llevar a cabo cada uno de los pasos a lo largo de la cadena de entrega de los bienes y/o servicios del programa.

• Evidenciar eventuales cuellos de botella en el proceso de producción de los bienes y/o servicios entregados.

• Constatar si el programa cuenta con activi-dades de evaluación y control.

4.2.2.2 El producto

Se debe adjuntar la cadena de entrega detallada de cada uno de los bienes y/o servicios de la in-tervención, los indicadores de cumplimiento de actividades y productos prioritarios, los mapas de flujodelprogramayloscuellosdebotellaquese encuentran en cada etapa para cada bien y/o servicio analizado.

4.2.3 Análisisdeeficiencia

Laeficienciasedefinecomola“medida en que los recursos/insumos (fondos, tiempo, etc.) se han convertido económicamente en resultados”13.

4.2.3.1 El proceso

ElanálisisdeeficienciaenunaE2+ debe responder a las siguientes inquietudes14:

• ¿Haincrementadoelprogramasignificativa-mentesusnivelesdeeficienciadecostos,tiempos u otros insumos?

• ¿Demuestraelprogramamejoraseneficienciao en efectividad de costos, tiempos u otros insumos en el logro de las metas?

• ¿Tiene el programa procedimientos que le permitanmedirloslogroseneficienciayefec-tividad de costos, tiempos u otros insumos?

• ¿Cómosecomparalaeficienciadeestepro-grama con otros de objetivos y propósitos similares (tanto públicos como privados y comunitarios)?

• ¿Se ejecutaron las actividades incurriendo en el menor costo posible para generar los componentes esperados?

• ¿Tiene el programa por lo menos un indica-dordeeficiencia,conlíneadebase,metasycronogramadefinidos?

• ¿Tiene el programa un conocimiento detalla-do de todos los costos directos e indirectos indispensables para el cumplimento de las metas planteadas?

• ¿Cómosecomparalaeficienciadeestepro-grama en la producción de los componentes específicosconotrosdeobjetivosypropósitossimilares (tanto públicos como privados y comunitarios)?

• ¿Demuestraelprogramamejoraseneficienciao efectividad de costos en la producción de los bienes y/o servicios?

• ¿Tiene el programa procedimientos que le permitanmedir los logroseneficienciadecostos para la producción de los bienes y/o servicios?

• ¿Ha registrado la productividad media de los factores, ej. recursos humanos, mejoras en el tiempo y cómo se compara con otros programas similares?

• ¿Cuál ha sido la evolución de los gastos de administración15 del programa en el período de evaluación y cómo se compara con otros programas similares del sector público y/o privado?

13 OECD (2002).14 DEPP, DNP (2006).15 Se deben incorporar los ítems considerados y los supuestos utilizados en las estimaciones.n incorporar los ítems considerados y los

supuestos utilizados en las estimaciones.


55

4.2.3.2 El producto

Elproductodebecontenerunanálisisdeeficienciadel programa. Es deseable que éste incluya todos los costos relevantes manejados por el programa.

Indicadores como el costo unitario son esenciales para examinar su viabilidad. Se adjunta una tabla de chequeo de información que se debe llenar de acuerdo con el nivel y calidad de información levantada en el E2+.

Tabla de información disponible

Tabla de chequeo de información disponible

Componente Criterios (marcar con X en caso de positivo

Fuentes usadas (relacionar las fuentes consultadas)

Tema Subtema

Dis

po

nib

le

Act

ua

liza

da

Co

mp

leta

Org

an

iza

da

Calidad

Fuente documental (documentooficiales

del programa, datos del sistema

de información documentos fuente

secundaria)

Fuente no documental (entrevistas,

talleres, levantamiento

directo)

Visión general

Diseño del programa 0%

Justificación

Política sectorial e intitucional

Descripción general

Objetivoaniveldefin

Objetivos a nivel de propósito

Población objetivo

Cadena de resultados

Descripción de los insumos (desagregar ppales. Insumos)

Insumosfinancieros

Insumo 1...

Insumo 2...

Insumosnofinancieros

Insumo 1...

Insumo 2...

Descripción de los procesos (desagregar ppales, procesos)

Actividad 1...

Descripción de los productos (desagragar ppales, productos)

Producto 1...

Descripción de los resultados (desagregar ppales, resultados)

Resultado 1...

EficaciayEficiencia

Eficacia

Cumplimiento de las actividades

Metas de producción de bienes y servicios

Nivel de producción de cada bien y/o servicio, disponibilidad de indicadores

Modalidades de producción y responsables

Informaciónparacontruccióndemapasdeflujo

Cronograma de entrega de bienes y servicios

Información para detención de cuellos de botella

Eficiencia

Indicadoresdeeficienciaderecursosfinancieros

Indicadoresdeeficienciadetiempo

Indicadoresdeeficienciadeotrosinsumos...

Calidad

Desde el punto de vista de la oferta

Metas e indicadores de cobertura efectiva

Uso de los bienes y/o servicios por parte de los beneficiarios

Indicadores de calidad y oportunidad de pro-ductos y resultados

Desde el punto de vista de la demanda

Metas e indicadores de cobertura efectiva

Uso de los bienes y/o servicios por parte de los beneficiarios

Indicadores de calidad y oportunidad de pro-ductos y resultados


56

Por ejemplo

Dependiendo del tipo de producto y su heterogeneidad se deberá evaluar el uso de indicadores de costo promedio, valores máximos y mínimos o la moda, etc.16

Tabla No. 1. Costo Promedio por Unidad de Producto (Miles de $ 2012)

… … … 2012

Componente 1

Componente 2

Componente 3

Fuente:

TablaNo.2.CostoPromedioComponenteporBeneficiario(Milesde$2012)

… … … …

Componente 1

Componente 2

Componente 3

Fuente:

TablaNo.3.CostoTotalComponentesporBeneficiarioyTotalPrograma porBeneficiarioEfectivo17 (Miles de $ 2006)

Año CostoTotalComponentesporBeneficiario18 CostoTotalProgramaporBeneficiario19

2002

2003

2004

2005

Fuente:

La evidencia y soportes que se presentan se deben sustentar en indicadores de productividad, eficienciayefectividaddecostosporbienesy/oservicios.Sepuedenincluirmedidasdeeficien-ciaglobal.Pararealizarelanálisisdeeficienciaseidentificanycuantificanloscostosrelevantes,que posteriormente se relacionan con los niveles de producción de los componentes. Para ello se utilizan indicadores que compaginen gastos con productos y/o resultados. Pueden anexarse los planesdemejoramientodiseñadosparalograravancesdeproductividady/oeficienciaestudiosdecasosquedescribancómoproyectossimilaresmejoranlosnivelesdeeficiencia,asícomodatosy evaluaciones comparativos de desempeño con programas similares.

16 DEPP, DNP (2006).17 Siesnecesario,diferenciarelcostoporbeneficiarioentrelosdistintoscomponentes.18 Elcostototaldecomponentesporbeneficiarioseobtienedividiendoeltotaldecostodeproduccióndeloscomponentesdelprograma

porelnúmerodebeneficiariosefectivo.19 ElcostototaldelProgramaporbeneficiarioseobtienedividiendoeltotaldegastoefectivodelprogramaporelnúmerodebenefi-

ciarios efectivo.


57

4.2.4 Calidad de los bienes y/o servicios

Además del análisis de la oferta del programa, es importante tener un análisis de percepción de la demanda. Éste permite completar la visión general del programa, de lo que pasa realmente en el terreno y de los potenciales resultados e impactos que el programa va a generar.

4.2.4.1 El proceso

El análisis debe ser representativo de los bene-ficiariosdelprograma,conelobjetodeextraerconclusiones generalizables. Se pueden utilizar medios que no resulten costosos como las entre-vistas por teléfono, correo electrónico o páginas web. Éstas deben ser cortas (máximo 10 pregun-tas) y se deben circunscribir al entendimiento del programa, de su objetivo, entre otros, lo que permite tener información de manera relativa-mente rápida.

Estas encuestas pueden suplementarse con mé-todos cualitativos de investigación como grupos focales.

“Un grupo focal es una metodología de eva-luación cualitativa que consiste en pequeños grupos de personas (generalmente 6-12 perso-nas)reunidasparadiscutirtemasespecíficoscon la ayuda de un moderador. Un grupo de personas documentan informalmente un tema específicorelacionadoconelprogramaquese esté evaluando”20.

Esta información directa se complementa con la información disponible que tenga el programa acerca de sus resultados, abarcando temas como: metas e indicadores de cobertura efectiva, cali-dad y oportunidad de los bienes y/o servicios, uso de los bienes y/o servicios por parte de los beneficiariosyresultados.

El análisis de calidad de los productos, tanto vis-to por el lado de la oferta como de la demanda, contrasta la información del programa con las experiencias y prioridades de los participantes (personal del programa y otros actores interesados) lo que posibilita ver el programa y su marco general a través de los ojos de los grupos afectados y de las personas involucradas su implementación21.

4.2.4.2 El producto

• Reporte desde el punto de vista de la oferta de productos y resultados generados por el programa: basado en información secunda-ria e indicadores de calidad de los bienes y servicios.

• Reporte desde el punto de vista de la deman-da de los productos y resultados generados por el programa:encuestasalosbeneficiariospara estudio de percepción del programa. El universo entrevistado debe ser representa-tivo. Análisis de satisfacción de los clientes de los bienes y/o servicios entregados por el programa.

• Análisis y comparación de indicadores de calidad del servicio: la oferta frente a la demanda.

Se anexa una tabla de chequeo de información que se diligencia de acuerdo con el nivel y calidad de la información levantada en el E2+.

4.2.5 Recomendaciones

Las recomendaciones deben dar un concepto integral acerca del programa y proponer una lí-nea de planeación estratégica en un período de tiempo entre corto y mediano plazo para tomar acciones correctivas. Con base en el análisis realizado, el consultor llena un formato de cali-ficacióndelosprincipalesaspectosencontradosen el análisis del programa. Posteriormente, se

20 Morra y Rist (2009).21 Social Impact (2008). Para más información ver Salmen, Lawrence F. (1987). Listen to the People: Participant Observation Evaluation

of Development Projects, 1987, New York: Oxford University Press.


58

preparanyrelacionanplanesespecíficosfuncio-nales para mostrar los detalles de cómo se debe implementar la estrategia para lograr objetivos, misiones y propósitos del programa en el térmi-no recomendado. Es importante que el consultor vincule los tres productos y sus temas en conjunto

con la tabla de información disponible: la visión general(diseñoycadenaderesultados),eficaciayeficiencia (cadenadeentrega), ycalidad (porparte de la oferta y de la demanda), para generar sus recomendaciones. Éstas deben ceñirse a los temas tratados en el documento.

Formatodecalificación

EVALUACIÓN EJECUTIVA (E2+) Sinergía

Nombre del mprograma:Fecha de evaluación:Ministerio responsable:Servicio responsable:Presupuesto programa año:Período de evaluación:

En esta sección se debe realizar un juicio valorativo fundado en cada uno de los temas que se analizan en los diferentes ámbitos de la evaluación. Para cada una delasáreasdeEvaluaciónsehadefinidounnúmerolimitadodepreguntas,lascualesseagreganensubtemasytemas.Cadapreguntadebebasarsupuntajeenlainformacióndesoporteincluídaenlosinformes,elconsultordeberállevaracabounanálisisdetalladodelasrazonesquejustificanlacalificaciónde1paraseriasdeficiencias,2problemas,3bieny4muybien,encadacaso.

Puntaje

1 2 3 4

Seri

as

def

icie

nci

as

Pro

ble

mas

Bie

n

Mu

y b

ien

Temas de evaluación

Subtemas de evaluación

Puntaje subtema Preguntas Puntaje preguntas

ÁREA 1: VISIÓN GENERAL

Diseño del programa

Diseño del programa

¿Tieneelprogramaobjetivosymetasclaras/específicas?

¿Seajustanlosbienesyserviciosdelprogramaasusobjetivos(finesypropósitos)?

Tieneelprogramabeneficiariosobjetivoclaramentedefinidosyafectadosporelproblema,necesidado interés?

¿Son las metas estratégicas alcanzables y ambiciosas?

Cadena de resultados

¿Reflejanloscriteriosdeuso,asignaciónydistribucióndeinsumoslosobjetivosestratégicosdelprograma?

¿Tieneelprogramalosrecursosfinancierosnecesariosparasuoperaciónysostenibilidadeneltiempo?

¿Cuentaelprogramaconinsumosnofinancierossuficientes,adecuadosydecalidadpararealizarlasactividades planeadas?¿Cuenta el programa con una buena planeación operativa?

¿Tiene el programa un sistema de información adecuado?

¿Cuentaelprogramaconcriteriosymecanismosoperativamenteeficientesparasuselección,priorizaciónyfocalizacióndelosbeneficiariosobjetivo?

¿Cuenta el programa con mecanismos y criterios para la mejora de los bienes y servicios?

ÁREA 2: EFICACIA Y EFICIENCIA

Eficacia y Efectividad

Eficacia

¿Ha cumplido el programa con los niveles necesarios/establecidos de cobertura?

¿Cuenta el programa con indicadores de cumplimiento de actividades?

¿Cuenta el programa con indicadores de cumplimiento de producto?

¿Cuenta el programa con indicadores de cumplimiento de resultados?

¿Atiende el programa realmente a la población objetivo?

¿Es adecuada la calidad, oportunidad y uso de los componentes?

¿Es efectivo el programa en el cumplimiento de las metas establecidas para la producción de los bienes y/o servicios?

¿Están integradas y articuladas las actividades entre si para el buen desarrollo de la operación y resolución de los cuellos botella en su gestión?

¿Son los tiempos y recurso los necesarios para llevar a cabo cada uno de los pasos a lo largo de la cadena de entrega de los bienes y/o servicios entregados?

Eficiencia

¿Sonlosprocesosdeentregadebienesyserviciosoperativamenteeficientes?

¿Está el programa orientado a mejorar su costo efectividad¿Demuestraelprogramamejorasenlacostoeficienciadesugestión?

¿Soneficientesotrasactividadesdeapoyocomoeltalentohumano,soportetécnico,transporte,comu-nicaciones, archivo, etc.?

¿Haalcanzadoelprogramaelnivelesperadodeejecucióndelosrecursosfinancieros?¿Demuestraelprogramamejorasenlaeficienciadecostos,tiemposuotrosinsumosenellogrodelasmetas?

ÁREA 3: CALIDAD

Calidad

Desde la oferta¿Se entregan los bienes y/o servicios con calidad y oportunidad?

¿Generaresultadoselusodelosbienesy/oserviciosporpartedelosbeneficiarios?

Desde la demanda

¿Se encuentran satisfechos los usuarios con la oportunidad de entrega de los bienes y servicios?

¿Los usuarios se encuentran satisfechos con la calidad de los bienes y servicios entregados?


59


El PENDES presenta una lista de chequeo en el tema de management response en lo que se refierealseguimientoalusodelosresultadosde las evaluaciones, ésta incluye las siguientes recomendaciones:

• Hacer un control de calidad de las evaluacio-nes realizadas.

• Tener una lista de las recomendaciones prio-rizadas.

• Manejar un proceso para discutir las reco-mendaciones realizadas por los consultores con los actores involucrados.

• Tener un procedimiento muy claro de acep-tación de las recomendaciones del evaluador conunajustificacióndeporquélosactoresinvolucrados las acogen o no.

• Mantener un control de calidad de las res-puestas.

• Incluir en el sistema de seguimiento indica-dores de las recomendaciones aceptadas.

• El evaluador debe incorporar en el plan de acción cada recomendación aceptada y las queno,justificarlas.

• Finalmente, se debe decidir si las recomen-daciones se hacen públicas o no para hacer su seguimiento.

Evaluación de resultados

CAPÍTULO V C

ap

ítu

lo V

Zadiraka Evgenii

63

La evaluación de resultados (outcome evalua-tion) es un tipo de evaluación que se utiliza para estudiar los cambios en las condiciones de los beneficiarioscomoconsecuencia(directaoindi-recta, atribuible o no) de los productos entregados por una intervención en un horizonte de corto y mediano plazo.

La palabra resultado, en su concepción básica se asemeja a un efecto o consecuencia. Cuando se habla de resultado en un programa se puede definirdelasiguientemanera:

“Beneficiosocambiosenlosindividuosopobla-ciones durante su participación o después de su participación en las actividades del programa. Losresultadosseencuentranbajolainfluenciade los productos de un programa y se pueden relacionar con el comportamiento, habilidades, conocimiento, actitudes, valores, condiciones u otros atributos.” (United Way of America, 1996).

Para medir los procesos de planeación de las entidades se utilizan herramientas como los indicadores de gestión, producto, resultado e impacto. En general, los primeros se utilizan cuando se hace un seguimiento operativo al proceso de implementación, mientras que los tres últimos se encargan de evaluar el avance en el nivel estratégico del programa. De acuerdo con la necesidad que se tenga de información del programa, se recurre a uno u otro tipo de indicador. A continuación se presentan sus de-

finicionesconelobjetodequeestostérminosqueden claros en el desarrollo de la guía1.

Tipos de Indicadores

• Indicador de gestión: mide procesos, accio-nes y operaciones adelantados dentro de la etapa de implementación de una política, programa o proyecto.

• Indicador de producto: refleja losbienesy servicios cuantificablesproducidosy/oaprovisionados directamente por una po-lítica, programa o proyecto.

• Indicador de efecto: muestra los efectos generados por los productos de una de-terminada política, programa o proyecto sobre la población directamente afectada. Teniendo en cuenta la temporalidad en la cual se presentan los efectos (corto, mediano o largo plazo) y los criterios de causalidad entre la intervención y éstos (directos o indirectos) se puede dividir esta categoría entre indicadores de resultado e impacto.


Los objetivos de una evaluación de resultados son:

1 DefinicionesdeDNP(2009).


64

• Evaluar los cambios que se dieron en las condicionesdelosbeneficiarioscomoconse-cuencia (directa o indirecta) de los productos de la intervención.

• Investigar si el programa o política causó efec-tos demostrables en resultados previamente definidos.

Es importante mantener las expectativas correc-tas. La evaluación a nivel de resultados no tiene como objetivo2:

• Probar estadísticamente si el programa causó el resultado.

• Explicar de manera causal por qué ese nivel de resultado se logró, pues con este tipo de evaluación no se pueden atribuir los resul-tados exclusivamente a la intervención.

• Concluir a partir de su análisis lo que se debe cambiar en la intervención para mejorar el resultado, puesto que pueden haber cuellos de botella en las otras etapas del programa (ej: desarrollo de procesos, entrega de pro-ductos) que no necesariamente se analizan con una evaluación de este tipo.

Por lo tanto, una evaluación de resultados res-ponde entre otras a las siguientes preguntas:

• ¿Cuáles son los resultados críticos que el programa o la política tratan de lograr?

• ¿Qué cambios se esperaban como resultado de la entrega de los productos?

• ¿Qué efectos de corto y mediano plazo generó el programa?

• ¿Qué tan efectivo fue el programa en lograr

sus objetivos de corto y mediano plazo?

• ¿Cuál es la dinámica de los indicadores aso-ciados a la medición de los resultados de la intervención?

Algunos tips

Paraidentificarresultadostengaencuentalas palabras: “mejoró”, “aumentó”, “más”, “nuevo”, “cambió”, etc.3

En algunos tipos de programa los resultados son difíciles de concretar, por lo que en estos casos es muy importante conocer con más detalle la manera cómo se planeó y diseñó el programa y la intención con la cual se creó.

Para diferenciar entre productos y resulta-dos es útil recordar que los productos son consecuencia directa de los servicios del programa y los resultados son los cambios en el comportamiento de los participantes después de recibir el producto.

Una evaluación de resultados puede llegar a utilizar tanto indicadores de producto como de resultado, especialmente si se quiere explicar cuál es el origen de estos.

Por ejemplo

a. En programas sociales4:

• En el corto plazo los resultados pueden responder a preguntas sobre el conoci-miento o habilidades adquiridas.

• En el mediano plazo los resultados pue-den responder a preguntas sobre un cambio en el comportamiento.

• En el largo plazo los impactos pueden responder a preguntas sobre cambios en valores, condiciones y estatus.

2 United Way of America en: http://www.liveunited.org/Outcomes/Resources/What/OM_What.cfm. 3 Mac Namara (2006).4 Idem.


65

b. En un programa que aconseja a las fa-milias para que mejoren la calidad de su alimentación, los productos, resultados e impactos esperados serían:

• Productos: número de reuniones realiza-das; número de familias aconsejadas.

• Resultados o efectos de corto plazo: ali-mentos más nutritivos incluidos en los productos de su canasta familiar básica, que antes no consumían.

• Resultados o efectos de mediano plazo: la familia tiene una mejor alimentación.

• Impactos o efectos de largo plazo: dis-minución del sobrepeso en las familias; disminución de la incidencia de enferme-dades relacionadas con una alimentación no balanceada.

c. En un programa de infraestructura vial

• Los productos generados por el programa pueden ser kilómetros de carretera pavi-mentados, obras de drenaje, contención y estabilización.

• En el corto plazo los resultados pueden estar relacionados con un mejor mante-nimiento vial.

• En el mediano plazo los resultados pue-den relacionarse con cambios en transi-tabilidad y velocidad de recorrido.

• En el largo plazo los impactos pueden ser mejoras en la percepción de satisfacción y seguridad.

La evaluación de resultados se hace en la etapa ex-post del programa, en la que el diseño de la

política pública a evaluar se ha completado, de tal forma que los bienes y servicios ya se han empe-zadoaentregaralosbeneficiarios.Sinembargo,para poder establecer el grado de avance de los efectos de la intervención, es importante tener medicionesdeindicadoresdelosbeneficiariosantes de su inicio.

Con una herramienta como el seguimiento5, se puede realizar el levantamiento continuo de información de indicadores de gestión, produc-tos, resultados e impactos. Tanto el seguimiento como la evaluación son elementos clave en la gestión, sin embargo, hacen sus contribuciones en diferentes formas y momentos del tiempo6:

• El seguimiento es un proceso continuo que genera información sobre el progreso de un programa, no analiza la causalidad entre las intervenciones y sus efectos, y se hace durante la implementación del programa. Es una actividad interna realizada (en general) por los funcionarios del programa, que da una retroalimentación constante sobre su desempeño.

• La evaluación analiza el desempeño del programa en un momento del tiempo, me-diante una valoración puntual de la inter-vención y sus efectos. Examina relaciones de causalidad entre éstos (busca responder a la pregunta “¿por qué?”) y se puede hacer de manera participativa, interna o externa al programa.

Estas dos herramientas se pueden articular y complementar, de tal forma que se tenga un le-vantamiento continuo de datos de avance y logro de los objetivos (seguimiento) que alimente las investigaciones de ciertos cambios en los indi-cadores de resultado a través de la evaluación de resultados. Si se quiere atribuir los resultados exclusivamente a la intervención, se recurre a la evaluación de impacto.

5 Definidoporelglosariode laOECD (2002)comouna: “Función continua que utiliza una recopilación sistemática de datos sobre indicadoresespecificadosparaproporcionaralosadministradoresyalaspartesinteresadasprincipalesdeunaintervenciónparaeldesarrollo, indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos asignados”.

6 Morra y Rist (2009).


66

Algunos tips

La evaluación de resultados se utiliza cuando:

• Se tienen mediciones continuas a indi-cadores y se quiere analizar más a fondo un cambio extraordinario de uno o varios de ellos.

• Existe la necesidad de examinar los resul-tados del programa para tomar decisiones políticas o presupuestales en el corto o mediano plazo.

• Se quieren tener indicios sobre los re-sultados del programa.

La evaluación de resultados tiene las siguientes características7:

• Realiza un análisis descriptivo de los cam-bios que ha generado la intervención, sin tener certeza sobre la magnitud del cambio ocasionado únicamente por programa.

• Secentraenlasmodificacionesdeloscom-portamientos y contextos relacionados con el enteopoblaciónbeneficiariadelosproductosentregados por la política pública.

• Especificalosesfuerzosdelasinstitucionesy de las partes interesadas en el proceso de intervención.

• No sólo expone el aumento o disminución de los indicadores, sino que incorpora en el análisis el comportamiento de las instituciones o agentes involucrados en la política pública. Para esto debe contar con información reco-lectada periódicamente.

• Su costo es moderado y su ejecución es re-lativamente veloz.

Es importante tener una línea de base para poder evaluar los efectos generados por el programa. Cuando se tiene una evaluación correctamen-te diseñada, se pueden estimar cambios más fácilmente dado que se obtienen valores de indicadoresde losentesobeneficiariosantesde la intervención.

La evaluación de resultados se sitúa en un nivel estratégico para el hacedor de política puesto que le ayuda a comprender por qué se están dando cambios en los indicadores y le permite determinar si se están entregando los productos de la intervención8.

En conclusión, el evaluador se debe guiar por las siguientes preguntas:

• ¿Cuáles son los resultados críticos que el programa o la política tratan de lograr?

• ¿Qué resultados o efectos de corto y mediano plazo produjo el programa?


Después de que se aclaran los objetivos y el alcance de la evaluación se pasa a la etapa de planeaciónydiseñodeésta,endondesedefinenlos resultados a medir, sus metas y se construyen indicadores apropiados para medir los cambios generadosporelprogramaenlosbeneficiarios.Los pasos que se recomienda seguir son9:

• Identificarlosresultadosesperadosdelpro-grama o política que se va a evaluar.

• Priorizar estos resultados para determinar cuáles se van a medir y analizar, con los re-cursos disponibles.

• Especificarmedidasobservablesoindicadoresde efecto para cada resultado – construcción de indicadores.

7 Menon, Karl y Wignaraja (2009) y Patton (2009).8 Kusek y Rist (2005).9 Mac Namara (2006).


67

• Fijar una meta para estos indicadores.

• Identificarlainformaciónnecesariaparamedirestosindicadoreseidentificarcómopuedeser recolectada.

• Analizar y reportar los resultados.

• Usar los resultados.

5.2.1 Identificarlosresultadosesperados

Losresultadossepuedenidentificarsegúnlosobjetivosquehayafijadoelprogramaaevaluar.El objetivo general debe indicar los efectos de largo plazo a los que se quiere llegar con la inter-venciónylosobjetivosespecíficos,losefectosde corto y mediano plazo.

También se puede deducir cuáles son los resul-tados esperados partiendo de las principales actividades planteadas.

En principio, el programa debe tener establecidos sus resultados esperados al empezar en su etapa de diseño. Si esto ocurre y el programa presenta metas, indicadores y un sistema de información periódica para alimentarlos, el evaluador tendría que analizar estos elementos y priorizar con los actores involucrados los resultados que se van a evaluar.

Sin embargo, es posible que algunos de estos pasos se hayan obviado en el diseño del pro-grama, por lo que el evaluador, en conjunto con los actores involucrados, deberá reconstruirlos.

5.2.2 Priorizar los resultados a evaluar

El programa puede tener numerosas activida-des pero no todas son relevantes para lograr el objetivogeneralylosobjetivosespecíficos.Esimportante elegir hitos observables y medibles que estén directamente relacionados con obtener un resultado. Pueden haber actividades asociadas con los procesos internos o la gestión del progra-ma que son importantes para su desarrollo, pero que no se encuentran directamente ligadas con los resultados que se quiere medir.

5.2.3 Construir indicadores Como se mencionó, este tipo de evaluación debe tener en cuenta la necesidad de medir los pro-gresos realizados en relación con los resultados (directoso indirectos) esperadosy verificar sise han alcanzado. Por esta razón, es importante que para cada resultado a evaluar se puedan construir indicadores que capturen dinámicas observables. Esta parte es decisiva en la evalua-ción de resultados, pues se pasa de una misión y unos objetivos a veces intangibles o difíciles de cuantificar,aunos indicadoresconactividadesasociadas monitoreables.

Una de las metodologías existentes que relacio-nan los objetivos y los indicadores es conocida como “SMART”; ésta plantea que los objetivos deben ser específicos,medibles, realizables,pertinentesyconplazosdefinidosparasucum-plimiento.

Objetivos “SMART”

SSpecific(Específico):elobjetivodebeserpreciso sobre cómo, dónde y cuándo va a cambiarlasituacióndelosbeneficiarios.

MMeasurable (Medible): el objetivo debe establecermetas ybeneficiosque sepuedan medir.

A Achievable (Realizable): El objetivo debe poderse cumplir.

R Relevant (Relevante): el objetivo debe ser pertinente y crucial.

TTime-bound (Limitado en el tiempo): el objetivo debe estar acotado en un pe-riodo de tiempo para su alcance.

Fuente: MENON, S. KARL, J. & WIGNARAJA, K. (2009). Adaptación del Autor.

Apartirdeesteejercicio,sedefinenlosindica-dores de la evaluación. Una de las metodologías


68

más utilizadas es la “CREMA”, construida por el Banco Mundial10,quepermiteverificaryescogerlos mejores indicadores que se puedan aplicar para medir los cambios en los objetivos11.

Indicador “CREMA”

C Claro: • Preciso e inequívoco.

R Relevante:• Apropiado al tema en cuestión.

E Económico:• Disponible a un costo razonable.

M Medible:• Abierto a la validación independiente.

AAdecuado:• Ofreceunabasesuficienteparaesti-

mar el desempeño (resultados).

Fuente: Kusek y Rist (2004). Adaptación del autor.

Los indicadores asociados a la evaluación de resultados se analizan y comparan en diferentes momentos del tiempo con la ayuda de métodos estadísticos y de recolección de información cuantitativa y cualitativa para lograr explicar el cambio en las variables. Sin embargo, evaluar el cambiodelascondicionesdelosbeneficiarioses un análisis descriptivo de indicadores, lo que diferencia la evaluación de resultados de la de impacto12.

Por ejemplo

Programa para Jóvenes Desempleados

• Misión: mejorar la calidad de vida de los jóvenes de estratos bajos.

• Objetivo: incrementar las posibilidades de inserción laboral y social de los jóvenes desempleados en el año siguiente a su implementación.

• Actividades: cursos de capacitación en oficiostécnicos;cursosparaganarcon-fianzaensímismos(proyectodevida).

• Indicadores: porcentaje de jóvenes em-pleados antes y después del programa; jóvenes que consideran que han desarro-llado habilidades de comunicación gracias al programa; jóvenes que consideran que mejoró su autoestima.

5.2.4 Fijar metas

Para cada uno de los indicadores es importante fijarunametaqueelprogramasecomprometeacumplir y levantar una línea de base de los indi-cadores seleccionados antes de la intervención.

Por ejemplo

Programa para mejorar la cobertura educativa a los más pobres a través

de subsidios condicionados

Si el resultado es mejorar la asistencia de los más pobres, la meta puede ser mejorar en 10% la asistencia escolar de jóvenes Sisbén 1 y 2.

5.2.5 Recolección de información

Posteriormente se pasa a establecer qué informa-ción se necesita para construir estos indicadores. Primero se observa si el programa efectivamente está realizando las actividades para lograr los resultados esperados y se obtienen cifras y carac-terísticasdelosbeneficiariosreales,entreotros.Tambien se debe inspeccionar la información que tenga el programa sobre indicadores de gestión, productos, resultados e impactos, caracterizacio-nes de los actores que participan en el programa o documentos acerca de su funcionamiento. Por

10 Kusek y Rist (2004).11 Para mayor desarrollo sobre el tema de indicadores ver “Guía metodológica para la formulación de indicadores”. Departamento Na-

cional de Planeación (2009).12 Morra y Rist (2009).


69

último,seidentificanlosvaciosdeinformacióny se plantea cómo llenarlos.

Existen diferentes métodos de recolección de información que dependen del tipo de datos requeridos y de los recursos disponibles. En el anexo 11.1 se presenta una tabla que resume los métodos más utilizados por el PNUD que, en gran medida, se han adoptado en las evaluaciones a programas del gobierno colombiano.

Al saber qué información se requiere para determi-nar la evolución de los indicadores, es importante buscar lamaneramáseficientederecoleccióndentro de las restricciones existentes. Determi-nar si la información secundaria o de archivos satisface las necesidades, o si se debe levantar información primaria por medio de encuestas, grupos focales, etc.

5.2.6 Análisis mediante una metodología

Después de recolectar la información de cada in-dicador, el evaluador debe hacer un balance de la información y realizar un análisis de las bases de datos para evaluar los cambios que se generaron enlosbeneficiariosdespuésdelaintervenciónycorroborar si ésta alcanzó sus objetivos de corto y mediano plazo.


El uso de los resultados de este tipo de evaluacio-nes puede, al interior del programa, contribuir con:

• Documentar el funcionamiento del programa, especialmente la forma en la que los produc-tos afectan a los resultados.

• Mejorar los programas.

• Apoyar la planeación anual o de largo plazo.

• Guiarpresupuestosyjustificarlaasignaciónde recursos.

• Sugerir metas de resultados.

• Enfocar la atención de hacedores de política en puntos críticos de los programas.

Al exterior del programa puede contribuir con:

• Promoverelprogramaabeneficiariospoten-ciales.

• Identificar alianzaspara trabajar conjunta-mente.

• Mejorar la imagen pública del programa.

• Mantenero incrementar elfinanciamientodel programa.

5.3 Metodologías de medición

Existen métodos estadísticos para interpretar y medir los cambios que se producen con la inter-vención a través de instrumentos de estadística inferencial y descriptiva que permiten analizar los datos e indicadores que resultan del desarrollo de la evaluación.

Un factor influyentepara la selecciónde losmétodos de análisis es la conformación de la información; es decir, si los indicadores son de naturaleza cualitativa o cuantitativa. Las variables cualitativassonaquellasqueserefierenacatego-rías o atributos de los elementos estudiados. Las variables cuantitativas son aquellas cuyos datos son de tipo numérico. Estas dos herramientas son complementarias, pues los métodos cualitativos proporcionan una perspectiva que posibilita construir una imagen más completa de la reali-dad y aumentan la credibilidad de los resultados encontrados con métodos cuantitativos.


70

Para hacer una evaluación de resultados se puede utilizar el método Antes – Después (Before-After study) que requiere tener datos antes y después de la intervención, pero sólo para el grupo de beneficiarios.Estemétodopermitehacercompara-ciones a lo largo del tiempo y análisis transversales con posterioridad al proyecto. Los resultados se obtienen hallando la diferencia entre el valor de las variables antes y después de la intervención. Su debilidad es que al eliminar la comparación al inicio del programa se debe suponer que no existióotrofactorquepudohabermodificadoelcomportamientodelosbeneficiariosalolargodel tiempo de intervención del programa.

Cuando no se tienen los datos del antes y después, se pueden utilizar modelos de corte transversal como: modelos de probabilidad o regresiones linealesquedancuentadelosindicadoresdefi-nidos pero solamente en el momento en el cual se levanta la información.

Aplicación de las herramientas: Estudio de caso

El programa13

El programa Jóvenes en Acción (JeA) fue uno de los componentes de la Red de Apoyo Social (RAS)

dirigido a jóvenes desempleados Sisbén 1 y 2 de siete áreas metropolitanas: Bogotá, Medellín, Cali, Barranquilla, Bucaramanga, Manizales y Cartagena. Este programa tenía como objetivo contribuir a mejorar los niveles y la calidad del empleo de los beneficiariosatravésdeaccionesdeformaciónpara el trabajo que incluyeron formación laboral paraunoficioyprácticaslaboralesenempresasformalmente constituidas. Estas acciones esta-ban dirigidas a incrementar la empleabilidad y, en consecuencia, las posibilidades de inserción laboralysocialdelosjóvenesbeneficiariosdelprograma.

La formación se llevaría a cabo por entidades de capacitación (ECAP)14 que desarrollarían la fase lectiva con duración de tres meses y harían los arreglos para una fase práctica, de otros tres meses de duración, en empresas seleccionadas. De esta manera, se esperaba que tanto los jóve-nesbeneficiarioscomolasECAPseacercaranalentorno empresarial.

Identificarlosresultadosdelprogramaopolíticaa evaluar

Estos son los principales resultados que se querían lograr con el programa Jóvenes en Acción:

Tipos de variables

Variables cualitativas Variables cuantitativas

Tipo Características Tipo Características

DicotómicaEs una variable que sólo tiene dos categorías que son excluyentes una de la otra (Ej: Género - Hombre o Mujer).

ContinuasEs una variable que está conformada pornúmerosinfinitosononumerablesde elementos (Ej: Peso de la persona).

Nominal

Es una variable que tiene más de dos categorías y no hay orden entre ellas (Ej: Grupos Sanguíneos). Discretas

Es una variable que está conformada pornúmerosfinitos o infinitos nu-merables de elementos (Ej: Número de hijos).

OrdinalEs una variable que tiene varias catego-rías y hay orden entre ellas (Ej: Estratos – Bajos, Medianos, Altos).

Fuente: Canavos (1999). Adaptación del autor.

13 “Informe análisis de resultados de las primeras convocatorias de programa Jóvenes en Acción”. Consultoría para la evaluación de impacto del Subprograma Jóvenes en Acción. Unión Temporal IFS – Econometría S.A. – SEI, junio de 2004.

14 LasECAPsonentidadespúblicasoprivadasquepreparan,presentanyejecutanloscursosdeformaciónlaboral,financiadosporelPrograma en los términos, condiciones y plazos establecidos en cada una de las convocatorias.


71

• Desarrollar en los jóvenes habilidades bási-casparaeltrabajoyespecíficasenunoficiodado, hasta alcanzar el nivel de trabajador semi-calificado.

• Promover el desarrollo de habilidades básicas, sociales y comunicativas del joven que me-joren su capacidad de vinculación al trabajo y su desempeño laboral.

• Fortalecer la oferta de formación laboral con base en la demanda de los sectores produc-tivos y las características y expectativas de losjóvenesbeneficiarios.

Paracadaresultadoespecificarmedidasobservables o indicadores de resultado

Las variables objeto de análisis tuvieron en cuenta las características de los jóvenes, así como el tipo de ECAPs y empresas donde hicieron la capa-citación. Para la caracterización de los jóvenes egresados se tuvieron en cuenta:

• Sexo, edad, nivel educativo, responsabilida-des, capacitaciones anteriores y experiencia laboral.

Posteriormente, para evaluar los cambios que se dieron en los jóvenes gracias al programa, en el resultado a) “Desarrollar habilidades básicas y cambiosologrosquereportanlosbeneficiarios”,se plantearon los siguientes indicadores:

• Jóvenes que consideran que han desarrolla-do habilidades de comunicación gracias al programa.

• Jóvenes que consideran que mejoró su au-toestima.

• Jóvenes que consideran que fortalecieron su capacidad para relacionarse.

• Jóvenes que tienen interés en continuar o profundizar la capacitación recibida.

• Jóvenes que consideran que su comporta-miento cambió (lo cual les permite superar los

obstáculos para acceder al mercado de trabajo y a un mundo donde el joven por su condición social se sentía totalmente excluido).

• Jóvenes que tienen expectativas de continuar con su educación formal o de tomar capaci-taciones adicionales.

Para el resultado b) “Mejorar su capacidad de vinculación al trabajo y desempeño laboral”, se utilizaron los siguientes indicadores: • Vinculación al mercado de trabajo: proporción

de jóvenes que han conseguido empleo antes y después del programa (empleabilidad).

• Tiempo que duró buscando empleo: tiempo de espera para conseguir un trabajo antes y después del programa.

• Condiciones laborales de enganche en empleos posteriores a la capacitación: tipo de empleo (formal o informal), asalariado o independien-te, etc.

• Nivel de ingresos: salario antes y después de la participación en el programa.

• Tiempo de enganche y duración de empleos posteriores a la capacitación.

Para el resultado c) “Fortalecer la oferta de ca-pacitación laboral”, se utilizaron los siguientes indicadores:

• Número de empresas con las que las ECAP hacen acuerdos de práctica laboral.

• Número de ECAPs que han actualizado los perfilesocupacionales tras laconcertacióncon las empresas.

• Número de ECAPs que han incorporado nue-vas metodologías pedagógicas y la práctica laboral como parte de la formación.

• Número de ECAPs que han dado un énfasis a la formación humana y a las competencias básicas del trabajador.


72

• Percepción de las ECAP respecto a si encuen-tran que han experimentado algún nivel de fortalecimiento a partir de su participación en el programa.

• Percepciones generales sobre el programa, motivaciones y expectativas de trabajo.

Fijar una meta para estos indicadores

En este aparte es necesario observar las metas que tenía el programa Jóvenes en Acción en los indicadores planteados para lograr los resultados a), b) y c) y si éstas eran numéricas concretas o si simplemente aluden a mejorar la situación de losbeneficiariosdelprogramaencadaunodeestos aspectos.

Identificar la informaciónnecesariaparamedirestos indicadorese identificar cómopuede serrecolectada

La información necesaria se obtuvo a través de encuestas estructuradas de tipo cuantitativo que se hicieron a jóvenes egresados, ECAPs y empre-sas. La información de tipo cualitativo por medio de entrevistas y grupos focales con los tres tipos de actores del programa. Además se recogieron resultados basados en la información existente en las bases de datos de JeA, así como en otros estudios y evaluaciones existentes.

Para la recolección de la información cuantitativa se diseñaron encuestas estructuradas para los tres agentes involucrados en el programa: Jóvenes, ECAPs y empresas, éstas fueron aplicadas durante el mes de diciembre del 2003. Para los jóvenes, la muestra estadística incluyó egresados de las primeras convocatorias que en el momento de la encuesta tenían entre 6 y 18 meses fuera del programa - según la convocatoria a la cual asistie-ron. Se encuestaron de manera presencial a 1.037 personas. En cuanto a las ECAP, se encuestó el uni-verso de instituciones que impartieron cursos en alguna convocatoria realizada. Para las empresas, inicialmente se había diseñado un esquema de encuesta para ser aplicado telefónicamente pero se optó por hacerlo con visitas presenciales. Se obtuvieron 686 encuestas efectivas provenientes

deundiseñomuestralestratificadoportipodeempresa (según sector económico y tamaño).

El análisis de la información cuantitativa siguió una metodología que permitió obtener resulta-dos basados en la muestra completa de todas las convocatorias consideradas, se utilizó un diseño estratificadodeelementos.Laestratificaciónparalos jóvenes consistió enuna clasificaciónporconvocatoria en la que participaron, por grupos de ECAPs según tipo, por clase de capacitación recibida, por tipo de empresa donde se hizo la práctica y por nivel de educación previa. Se buscó una representatividad proporcional según estas variables, con probabilidad igual de selección. En esta etapa del trabajo se enfatizó en los re-sultados y no en el impacto del programa, por lo que no se compara la situación de estos jóvenes con un grupo de control, aunque sí se trata de hacer comparaciones con algún referente y con la situación anterior a la exposición a JeA, de manera que se puedan intuir algunos posibles resultados. Sin embargo, como se menciona en los puntos anteriores, en una evaluación de re-sultados no se puede, en rigor, atribuir los efectos con certeza al programa mismo ya que también podrían deberse a causas diferentes que no están siendo controladas.

El componente cualitativo requirió de información primaria detallada para el análisis de los resulta-dos de las primeras convocatorias del programa, que se recolectó a partir de la conducción de 18 grupos focales con jóvenes, 11 con ECAPs y 9 con empresas; 12 entrevistas con ECAPs y 6 estudios de caso con empresas, todos ellos en las áreas metropolitanas de Bogotá, Medellín y Cartage-na. Se prepararon instrumentos especialmente diseñados tanto para la obtención, organización y presentación de la información. Ésta se obtuvo aplicando metodologías de investigación social dirigidas a explorar, describir y explicar aspec-tos seleccionados de carácter sociológico en el contexto de JeA. Se buscó comprender ciertos hechosyelsignificadoquelosprotagonistaslesatribuían a ellos. Con los resultados se espera facilitar la comprensión de los procesos e inte-racciones sociales, pero no se pretende hacer generalizaciones sobre un hallazgo sino más bien


73

profundizar en sus dinámicas e implicaciones. De esta manera, utilizando como insumo básico la percepción de los actores sociales sobre su experiencia y el sentido que le asignan a ésta, se espera encontrar hallazgos que contribuyan a una mejor toma de decisiones.

Analizar y reportar los resultados Tanto los jóvenes, como las ECAP y las empresas coincidieronenidentificarcomoprincipalresul-tado del programa el cambio que se dio en los jóvenes a raíz de su paso por éste. Los egresa-dos, además de adquirir conocimientos que les sirven para el trabajo, recibieron capacitación y formación en diferentes temas de desarrollo personal que JeA aglomeraba bajo el nombre de “proyecto de vida”.

• Cobertura de JeA: Losbeneficiariosde lasprimeras convocatorias de JeA representa-ron un 93% de los jóvenes Sisben 1 y 2. Los mayores índices de cobertura se presentaron en Manizales y los menores en Barranquilla. Entre las características de los jóvenes vale la pena destacar mayor presencia relativa de mujeres, y entre ellas de aquellas con hijos,entrelosbeneficiariosde18a25años.Cabe subrayar que el rasgo de cobertura más significativosedaporelniveleducativodelosbeneficiariosdelprograma,75%deloscuales tiene educación secundaria completa mientras que para la población objetivo de JeA, jóvenes Sisben 1 y 2, solamente el 10% cuenta con secundaria completa o más estu-dios. Esto apunta a que el proceso de alguna manera presentó autoselección de los más educados, bien sea por las preferencias por parte de los jóvenes, la selección de las ECAP o las condiciones del mercado de trabajo.

• Desarrollar habilidades básicas en los jóvenes: Los jóvenes comentaron que después de JeA conocieron nuevas posibilidades para continuar capacitándose o estudiando, lo cualseconfirmóalobservarelnúmerodebeneficiariosqueefectivamentehanhechonuevos cursos en el corto tiempo transcurrido después de haber completado JeA.

Todos los actores participantes del programa coincidieron en que un resultado del mismo es el cambio que opera en los jóvenes con su paso por JeA. La formación en diferentes temas de desarrollo personal (“proyecto de vida”) logró mejorías en sus habilidades de comunicación, autoestima y comportamientos, lo cual les permitió superar obstáculos para acceder al mercado de trabajo y a un mundo del cual el joven, por su condición social, se sentía totalmente excluido.

• Mejorar su capacidad de vinculación al tra-bajo: JeA se constituyó en parte del proceso formativodelosbeneficiariosquedeseabanseguir educandose. Por esta razon, se resalta el efecto de integración social que produjo el programa, llegando a sectores de la población que necesitaban del apoyo de la Sociedad para vencer los obstáculos que a este respecto confrontan. Por otro lado, para la gran mayoría, casiun90%delosbeneficiariosdeJeA,lapráctica laboral fue su primera experiencia con un trabajo formal. La labor de introducción al mercado formal de trabajo fue uno de los principales resultados de JeA.

Los principales aspectos analizados con res-pecto a la empleabilidad fueron la proba-bilidad de emplearse, los tipos de empleo, los salarios y la duración de empleo. Se encontraron tres aspectos en los cuales la empleabilidad mejoró, particularmente en el caso de los hombres.

Los resultados encontrados respecto a la probabilidad de emplearse mostraron que un40%delosbeneficiariosseencontrabanempleados al momento de la encuesta. Sin embargo, debe tenerse en cuenta que la co-yuntura del mercado laboral para personas similares que no asistieron a JeA tampoco fue estimulante. Frente a estos últimos, los egresados del programa presentan una situa-ción igual a la del total de jovenes de 18-25 años. Engeneral, laproporcióndebenefi-ciarios que consiguieron empleo fue mayor después de egresados (55,45%) que antes (51,78%), aunque esta relación se observó


74

tanto para hombres como para mujeres fue significativamentemayorparaloshombres.Adicionalmente,fuesignificativaenunadelas siete áreas metropolitanas y para los jóvenes que tienen secundaria completa. Un 42,6% de los jóvenes consiguió empleo durante los primeros seis meses después de salir del programa. Esta proporción fue mucho mayor para los hombres (58,9%) que para las mujeres (36,1%).

Al observar la empleabilidad de los jóvenes según el tipo de ECAP donde se capacitaron, seencuentraquefuesignificativamentemayorpara los egresados de las ECAPs medianas (200 a 500 alumnos) pero no se presentan otro tipo de diferencias. En cuanto a las prácticas, las probabilidades de enganche delosbeneficiariosdespuésderealizarlas,y su permanencia en la misma compañía unavezfinalizada,sonclaramentemayoresen empresas privadas con ánimo de lucro en los sectores de industria, comercio y ser-vicios, que en entidades sin ánimo de lucro que ofrecen servicios comunales o sociales (educación, salud, servicios públicos, etc) o en la administración pública, donde las ta-sas de enganche y retención son bajas. Las empresas pequeñas, y en menor grado las medianas, parecían más dispuestas que las grandes a emplear a sus practicantes. Algo similar ocurre en los sectores de fabricación de bienes y prestación de servicios a privados con respecto a los demás sectores.

La diferencia más importante que se observó entre la situación antes de JeA y después de haber asistido al programa fue el número re-lativamente grande de egresados que ahora tienen un empleo como asalariado formal y que antes no lo tenían. En términos salariales parece haberse mantenido un nivel muy cer-cano al salario mínimo legal para la mayoría de los empleos en todos los sectores. Sin embargo, para los hombres empleados el salario después de haber participado en JeA está 15% por erncima del mínimo. Dadas las condiciones del mercado laboral correspon-diente es difícil poder atribuir este efecto

salarial de corto plazo al programa, esto sólo se podrá corroborar con certidumbre en la evaluación de impacto.

Finalmente, en otros aspectos de la empleabi-lidad, resulta aparente que el tiempo de espera para conseguir un trabajo es razonablemente corto mientras que la permanencia media en sus trabajos, los cuales generalmente son temporales, es del orden de los seis meses.

• Fortalecimiento de la oferta de capacitación: JóvenesenAccióntuvoéxitoenidentificar,movilizar y seleccionar un conjunto de ECAPs que, salvo posibles casos excepcionales den-tro de su gran heterogeneidad, contaron con la infraestructura, experiencia y los recursos técnicos y humanos requeridos para pre-sentarunaofertacalificadadecapacitación,susceptible de participar en la ejecución de programas de capacitación laboral en el con-texto de un Sistema Nacional de Formación Profesional cuyo eje es el SENA.

La experiencia de participación en el progra-ma,consumecanismodeidentificacióndeoportunidades de práctica laboral como señal de pertinencia, estimuló en las ECAP procesos dediversificación,porinnovaciónyadapta-ción, en su oferta ocupacional y orientación sectorial.Estosereflejóenelaumentoquehubo en el número de empresas con las que las ECAP hacen acuerdos de práctica laboral tras la experiencia inicial adquirida en JeA. Tales cambios parecen tener un potencial de sostenibilidad dado que hay evidencias que indican que en general las ECAP operaron respondiendo a las señales del mercado de capacitación y que éste (en sus vertientes públicayprivada,y/ocomercialyfilantrópica)les permitió a la mayoría sostenerse como oferentes especializados de capacitación laboral.

En las ECAP participantes en JeA se tomó conciencia de la necesidad de una relación cercana e interactiva con el sector empresarial como factor clave para asegurar la pertinencia de su oferta, la experiencia en el programa


75

tuvo el efecto de ampliar su red de relaciones empresariales. El mecanismo de la práctica laboral obligatoria como requisito para la formulación de sus propuestas a JeA, fue el estímuloconcretoquelesllevóaintensificartales relaciones.

Parece entonces existir consenso de que tan-to las ECAP con nuevos programas como las ECAP existentes que adaptaron sus programas, además de contribuir a una ampliación de la oferta, se fortalecieron en aspectos que inci-den en la calidad como son la actualización delosperfilesocupacionalesporefectodela concertación con las empresas, la incorpo-ración de nuevas metodologías pedagógicas, la adopción de la práctica laboral como parte de la formación y el énfasis en la formación humana y en las competencias básicas del trabajador.

Uso de los resultados

Se esperaba que los resultados que se presen-taron en el informe fueran utilizados para el

diseño y la operación de las siguientes convo-catorias de JeA. También sirvieron de insumo paraafinarellevantamientodelainformacióninicial para la evaluación de impacto de la cuarta convocatoria.

En términos de la operacion regular del progra-ma se recomendó una mejora en los medios de comunicación utilizados hasta el momento, o la utilización de nuevos mecanismos para dar una mayor cobertura a la información sobre la oferta de cursos, para que los jóvenes pudieran elegir el curso que más se ajustara a sus preferencias y un incremento en la asistencia de orientación profesional a los jóvenes participantes, princi-palmente por parte de las ECAP.

Otra lección que se desprendío de este análisis fue la conveniencia de que el sistema de infor-mación de JeA se complementara con un sistema de autoevaluación continua. Las experiencias y enseñanzas que sugirieron los resultados del estudio indicaron la importancia de aprovechar-las correctamente para el perfeccionamiento del programa.

Evaluación de impacto

CAPÍTULO VI C

ap

ítu

lo V

I

Kavram

79

“La evaluación de impacto estudia si los cambios en el bienestar son efectivamente debidos a la intervención y no a otros factores” (Khandker, S. Koolwal, G & Samad, H., 2010).

La evaluación de impacto es una evaluación ex-post, es decir, posterior a la ejecución del programa, pues los impactos de un programa se observan determinado tiempo después de su implementación.

“La evaluación de impacto es un tipo de evaluación que se utiliza para medir el impacto o efecto de un programa en un grupo de individuos, hogares o instituciones y examinar si esos efectos son atribuibles específicamente a la intervención del programa”. (Baker, 2000).

Estetipodeevaluacionestienencomofin:

• Atribuir impactos a un programa y examinar si está generando los efectos deseados.

• Tener evidencia concluyente para la toma de decisiones de política, así como en la priorizaciónyjustificaciónenelusodelosrecursos.

• Estudiar aspectos de un programa para cam-biar su diseño y mejorar su efectividad.

• Comparar el impacto de un mismo programa para diferentes tipos de población o diferentes contextos.

• Identificarefectosnoprevistosenlosbene-ficiarios,yaseanpositivosonegativos.

Para lo cual responde, entre otras, a las siguientes preguntas:

• ¿Quélehabríapasadoalosbeneficiariosdela intervención si el programa no hubiese existido?

• ¿Quétantodelosefectossobrelosbenefi-ciarios se le pueden atribuir al programa y qué tanto a otros factores?

• ¿Qué tan efectivo fue el programa en lograr sus objetivos? ¿Hubo cambios, y de qué magnitud, en los problemas atacados por el programa?

• ¿Sejustificanloscostos?

• ¿Sepodríamodificareldiseñodelprogramapara mejorar sus efectos?

• ¿Hubo efectos inesperados?

Por ejemplo

a. En un programa de subsidios condicionados para mejorar nutrición y asistencia escolar enlosbeneficiariospodríapreguntarse:

• ¿En cuánto disminuyó la desnutrición cróni-cadelosniñosbeneficiariosdelprograma?


80

• ¿En cuánto aumentó la talla promedio de los niños gracias al programa?

• ¿En cuánto redujo el programa la pro-babilidad de padecer diarrea?

• ¿En qué proporción mejoró la asistencia a la escuela gracias al programa?

• ¿En cuánto contribuyó el programa a disminuir los años repetidos?

• ¿En cuánto se incrementó el consumo en alimentos gracias al programa?

b. En un programa de capacitación laboral de jóvenes desempleados podría pre-guntarse:

• ¿En cuánto mejoró el programa la proba-bilidad de conseguir empleo, el período de búsqueda de empleo y la duración del empleo?

• ¿En qué magnitud el programa incremen-tó la calidad del empleo y los ingresos delosbeneficiarios?

año para poder detectar impactos tempranos y es recomendable realizar otros levantamientos de información para las mismas variables en años posteriores para determinar impactos de mediano y largo plazo.


La evaluación de impacto tiene como objetivo poder determinar cuál es el efecto de la inter-venciónatravésdelaidentificacióndeloquelehabríapasadoalosbeneficiariossielprogramano hubiese existido.

Para tratar de responder a esta pregunta, se tiene que observar a la persona con y sin el programa. Sin embargo, es imposible observar a la misma persona en ambas circunstancias. Esto implica que se deben calcular los efectos de los participantes en el programa en ausencia de la intervención. Este escenario es lo que se conoce como contra-factual o grupo de control.

A través del contrafactual una evaluación de impactobuscadefiniradostiposdepoblacio-nes a observar, comparando el estado de los beneficiariosconysinintervencióngraciasaungrupo de control:

• GrupodeTratamiento(beneficiarios): grupo de personas, hogares o instituciones objeto de la intervención del programa o política, sobre los cuales se espera percibir un impacto producto de su exposición ante ésta.

• Grupo de control: grupo de personas, hogares o instituciones que no participan en el progra-ma y que tienen las mismas características del grupo de tratamiento (la única variable que losdiferenciaconelgrupodebeneficiarioses la intervención).

Amenudo,sesimplificalaevaluacióncomparandosus situaciones de manera directa. Sin embargo, la diferencia entre los estados de ambos grupos no sólo responde al programa sino a múltiples facto-res que pueden llegar a explicar las divergencias, por lo que las conclusiones que resultan de este tipo de comparación no son del todo precisas.

La evaluación de impacto se adelanta una vez ha terminado la fase de implementación del programa. Sin embargo, planear la evaluación y construir la línea de base (el primer levantamiento de información) desde la etapa de diseño del pro-grama proporciona más opciones metodológicas para desarrollar la evaluación, lo que contribuye ahacerunejerciciomás confiable, robusto yeconómico. Si la evaluación no se planeó desde el principio del programa, es necesario ver qué opciones metodológicas se ajustan a sus obje-tivos y alcance, y cuáles son las restricciones de tiempo y recursos disponibles.

Si se llega a la conclusión que para responder las preguntas planteadas lo más indicado es una evaluación de impacto, es necesario tener en cuenta el cronograma de ejecución del pro-grama. Por ejemplo, en el caso de programas de nutrición, educación o desarrollo cognitivo, es necesario que la intervención lleve al menos 1


81

EnlaGráficaseexplicademaneravisualelcon-trafactual. Se puede observar que antes de la intervención los grupos de control y de tratamiento comienzan en el mismo estado de bienestar: Ei Gc y Ei Gb. Luego de la intervención, el grupo de control llega a un estado de bienestar Ef C y el grupo de tratamiento a Ef Gb. El contrafactual muestra el estado que habría alcanzado el grupo de tratamiento en ausencia del programa, Ef C, proveyendo el punto de referencia necesario para determinar el éxito del programa. Con la medi-ción de Ef C frente a Ef Gb, el evaluador puede establecer el impacto debido exclusivamente al programa.

acumulación de capital humano rompe con la transmisión intergeneracional de la pobreza.

Los modelos se construyen para interpretar larealidaddemanerasimplificadamediantevariables y relaciones lógicas. Existen va-riables que no se pueden observar o medir directamente por lo que se usan variables Proxy (que son una aproximación al parámetro de interés).

• Muestreo y recolección de datos: es nece-sariodefinircómoyquétipodemuestraseva a recolectar. El muestreo y recolección de datos se pueden hacer con diversas técnicas.

• Análisis de datos: el análisis de los datos re-colectados para alimentar el modelo diseñado se puede efectuar con métodos cualitativos y cuantitativos.

6.2.1 Diseñar el modelo

Cada diseño de evaluación de impacto tiene que estar adaptado al contexto en el cual se desarrolla el programa, al tipo de intervención y a los actores involucrados. Por lo tanto, no hay una aproxima-ción estándar para delinear una evaluación de impacto. Sin embargo, las metodologías utilizadas en los diseños de evaluación recurren a métodos tanto cuantitativos como cualitativos.

Entre los métodos de origen cuantitativo se encuentran los diseños experimentales, consi-derados como la solución óptima, y los diseños cuasi-experimentales, que pueden dar resultados confiablessisehacendemaneraadecuada.Paralos métodos de origen cualitativo existen los diseños no experimentales.

Cada diseño de evaluación responde a factores como el tipo de programa, las preguntas de evalua-ción, la información disponible y las restricciones políticas, presupuestales y temporales. Según el caso en particular, las evaluaciones pueden com-binar métodos cuantitativos y cualitativos que, sumados a un óptimo diseño de evaluación y una información muy completa, arrojan resultados lo másconfiablesposibles.

Análisis del Contrafactual

Fuente: Khandker, S. Koolwal, G. & Samad, H. (2001). Adaptación del Autor.

Para realizar este proceso es fundamental con-tar con una serie de indicadores que puedan encapsularycuantificardeformaválidayfiablelos impactos del programa, al igual que una hi-pótesis lógicamente válida que postule, en forma convincente, por qué los cambios observados en los indicadores de resultados e impacto del proyecto son realmente consecuencia de éste y no de otros factores ajenos al mismo.


Para llevar a buen término una evaluación de impactosedebenseguirtrespasosespecíficos:

• Diseñar el modelo: el modelo es la represen-tación teórica de los procesos. Por ejemplo, la

Estado

Ef Gb

Ef C

Ei Gc Ei Gb Contrafactual

Programa

Ti Tf Tiempo

Impa

cto


82

Esta guía se enfocará en explicar cada una de estas aproximaciones, planteando sus fortalezas y debilidades1.

6.2.1.1 Diseño Experimental

Es un diseño de evaluación de impacto en el cual el grupo de tratamiento de la intervención de la política se selecciona de manera aleatoria entre un grupo de personas homogéneas de determinado tamaño. Es más factible realizar una evaluación de impacto de tipo experimental cuando ésta es concebida al mismo tiempo que se formula el programa, no se tienen limitaciones éticas o políticas, o hay un límite de cobertura del programa.

El diseño experimental:

• Crea un Contrafactual Perfecto, su ventaja principal, dado que el grupo de control y de tratamiento son estadísticamente equivalen-tes (si las muestras cumplen con el requisito de ser del tamaño adecuado).

• Tiene un grupo de tratamiento y control con la misma distribución de características observadas y no observadas al comienzo del programa.

• Evita el sesgo de selección; es decir, garantiza que las diferencias de puntuación del impacto después de la intervención no se deben a diferencias iniciales entre los grupos.

• Son viables con un solo levantamiento de información (no es necesario levantar un panel).

• Se pueden calcular los impactos con una diferencia de medias.

El diseño experimental2 puede presentar, entre otros, los siguientes problemas:

• Criterio Ético: la selección aleatoria deja a algunos individuos por fuera del programa aun cuando son elegibles para el mismo.

• Criterio Político: en algunos casos es políti-camentedifícilotorgarlosbeneficiosdelaintervención a un grupo de personas y no a otros.

• Criterio de Cobertura: si la intervención es masiva, y se quiere cubrir a toda la población elegible, no queda un grupo que pueda servir de control.

• Criterio de Cambio: por circunstancias ajenas al programa es posible que las personas del grupo de control cambien ciertas caracte-rísticasquelosidentificanconelgrupodetratamiento, lo que podría dañar o contaminar los resultados. El diseño del programa también debe permanecer sin alteraciones para que la evaluación del programa sea robusta.

• Aleatoriedad: aunque la aleatoriedad sea exitosa otras variables distintas al tratamien-to pueden estar determinando el resultado por los efectos heterogéneos. No siempre se logra hacer la aleatoriedad sobre grupos homogéneos. Incluso en diseños aleatorios ideales no todos los participantes recibirán el tratamiento planeado (no-adherencia/inconformidad) o no todos los participantes completarán el tratamiento (deserción).

Algunos de estos problemas se pueden con-trarrestar con un diseño de evaluación trans-parente. Hacer la distribución aleatoria de los grupos de tratamiento y control de manera pública y abierta puede ser de gran ayuda para los criterios ético y político mencionados an-teriormente. En algunos casos también se dan premios o se hacen rifas para compensar a los individuos que participan pero que no quedan en el grupo de tratamiento.

1 Esta guía explica las metodologías más utilizadas. Para mayor detalle sobre otras metodologías referirse a: Baker, Judy (2000). 2 Ibid.


83

Para el criterio de cobertura, si el programa es implementado en etapas es posible manejar al grupo de tratamiento y control de manera escalo nada, asignando a este último los futuros beneficiarios.Deestaformasepuedejustificardar el tratamiento a unos primero y a otros ha-cerlo de manera posterior. En este caso se debe planear exactamente cuándo recibe cada grupo el tratamiento y hacer una primera medición comparando a los grupos con y sin tratamiento. En mediciones subsecuentes se puede evaluar la diferencia en intensidad del tratamiento para cada grupo. Por ejemplo, comparar los que llevan 1 año de tratamiento versus los que llevan 2 años permitiría valorar los efectos de la intervención según el tiempo de exposición al programa.

Este tipo de diseño ha sido poco utilizado para las evaluaciones de impacto realizadas en Colombia por los problemas anteriormente mencionados.

6.2.1.2 Diseño Cuasi-Experimental

Es un diseño de evaluación de impacto en el cual la selección del grupo de control de la interven-ción se hace de manera no aleatoria.

Para la realización de la evaluación de impacto con un diseño cuasi-experimental se utilizan técnicas estadísticas que buscan generar un gru-po de comparación lo más parecido al grupo de tratamiento en sus características observadas. Los investigadores recurren a este diseño cuando no se puede aplicar uno experimental.

Por lo tanto, del diseño cuasi-experimental se puede decir que:

• Es menos robusto dado que la selección del grupo de tratamiento no se hace de manera aleatoria, sino que se utilizan técni-cas econométricas como el emparejamiento por probabilidad de similitud, las variables instrumentales y la doble diferencia, entre otras, para que el grupo de control sea lo más parecido posible al grupo de tratamiento.

• Tiene sesgos en la creación de los grupos de control y de tratamiento ya que estos podrían

diferir por factores, variables o características no observables omitidas.

• Es más flexible. Con un adecuado diseño de evaluación y un buen levantamiento de infor-maciónpuedetenerresultadosconfiables.

Por las características mencionadas, este tipo de diseño es el que se ha utilizado con más fre-cuencia para el desarrollo metodológico de las evaluaciones de impacto en Colombia.

Ventajas y desventajas del diseño cuasi-experimental

Fuente: Baker, J. (2000). Adaptación del Autor.

•

En el diseño de una evaluación de impacto es clave tener en cuenta los sesgos que se presen-tanyquepuedeninfluirenelcomportamientode las variables. A continuación, se exponen los diferentes tipos de sesgos con los que un eva-luador se podría encontrar.

• Sesgo de selección: existen características ob-servables y no observables de los individuos que explican tanto la decisión de participar en el programa como la variable resultado.

• ¿Cómo evitarlo? Si las variables del indivi-duo que explican tanto la participación en el programa como la relación con la variable resultado son observables y están contenidas

Ventajas• Puede basarse en datos se-

cundarios, por eso podrían ser menores sus costos y más rápida su realización.

• Puedellevarseacaboluegodeque el programa se ha imple-mentado.

Desventajas• Reducciónenlaconfiabilidadde

los resultados dado que la meto-dología es menos robusta.

• Losmétodospuedenserestadís-ticamente complejos.

• Conllevaunproblemade sesgode selección.


84

en la base de datos, se deben introducir en la regresión para eliminar el sesgo.

Por ejemplo

Suponga que para ingresar en el programa los individuos deben decidir si participan o no. Si los individuos más pobres son aquellos que deciden enrolarse en el programa, mientras que los menos pobres deciden no hacerlo, se incluye una variable como el ingreso de las familias en la regresión para eliminar el sesgo de selección.

• Sesgo por anticipación o expectativas: ocu-rren cambios en el comportamiento (deci-siones)de los futurosbeneficiarios (grupotratamiento) producto de saber que van a participar en el programa aunque éste no se haya puesto en marcha.

• ¿Cómo evitarlo? Levantar la línea de base antes de la inscripción al programa, utilizar información retrospectiva o utilizar informa-ción ya recogida en otras fuentes.

Por ejemplo

Suponga que la inscripción en un programa se lleva a cabo en octubre de 2010 pero que sólo se recibirá el subsidio 3 meses después. Pueden existir cambios en las decisiones dadas las expectativas de mayores ingresos de los beneficiarios.

• Sesgo por desgaste de la muestra (attrition bias): se presentan alteraciones en la compo-sicióndelamuestrasialgunosbeneficiariosdesertan (probablemente) porque no requie-ren el programa o porque no pueden cumplir las condiciones de éste.

• ¿Cómo evitarlo? Si la deserción no es muy alta, lo primero que se debe hacer es una comparación entre las características de los desertores y no desertores. Si no se eviden-cian diferencias muy grandes, una opción es recalcular los factores de expansión; si la

deserción es muy alta (alrededor del 90%) la muestra debe ser ampliada o se debe complementar con otras bases de datos.

Por ejemplo

Si los que se van del grupo de control son los de mejor (peor) desempeño, las mediciones de impacto estarán sobrestimadas (subesti-madas) ya que la comparación se hará con beneficiarios con cambios muy pequeños (grandes) en los resultados.

• Sesgo por la intervención de otros programas, transferenciasobeneficios(co-intervention bias): existen cambios en las variables del programa como resultado de la injerencia de otras políticas.

• ¿Cómo evitarlo? Recoger información su-ficientequepermitaidentificarelaccesoaotras intervenciones.

Por ejemplo

Losbeneficiariosdelprogramapuedenhacerparte de otros que les pueden ayudar a cumplir los objetivos mucho más rápido.

• Sesgo por efectos de desbordamiento (spi-llovers): los efectos del programa sobre los beneficiariospuedengenerarrepercusionesenlosnobeneficiarios.Sinoselastieneencuenta pueden invalidar el diseño de evalua-ción (incluyendo el experimental). Cuando su tamaño es grande, se deben estimar como parte de la evaluación.

• ¿Cómo evitarlo? Pensar sobre la presen-cia y la importancia del desbordamiento antes del programa; construir un diseño de evaluación que pueda considerarlo y estimarlo; recolectar datos sobre elegibles y no elegibles en grupos de Tratamiento y Control; recolectar información para estudiar específicamentelosmecanismosdetrásdeldesbordamiento.


85

Por ejemplo

Las madres que van a controles de crecimien-to con sus hijos pueden incentivar a madres quenosonbeneficiariasaadoptarbuenasprácticas.

6.2.1.3 Diseño No Experimental

Es un diseño de evaluación que permite anali-zar el impacto del programa centrándose en la percepción que tienen los individuos o grupos estudiados de los procesos, comportamientos y condiciones de la intervención (Valadez y Bam-berger, 1994). El diseño no experimental se basa en métodos diferentes al escenario contrafactual para realizar una inferencia causal (Mohr, 1995). En general, debido a que el diseño no experimental es subjetivo y no se pueden generalizar las con-clusiones de percepción del programa más allá de la población entrevistada, se complementa con otras técnicas de evaluación.

El diseño no experimental:

• Permite estudiar las percepciones de un pro-grama y cómo éste afecta a la comunidad.

• Funciona muy bien cuando se quiere hacer un análisis descriptivo de procesos o de cambios.

• Es el diseño más flexible y adaptable a las circunstancias para de la evaluación, la reco-pilación de datos y el análisis (Baker, 2000).

Entre los problemas del Diseño No Experimental, se encuentran que:

• Presenta un alto grado de subjetividad en la recopilación e interpretación de datos.

• Los resultados no se pueden generalizar, por la falta de un grupo de comparación y de solidez estadística.

• Los datos resultantes pueden ser difíciles de procesar y analizar.

La información que se compila por medio de estetipodediseñosepuedecuantificarperonogeneralizar, pues no es estadísticamente repre-sentativa. Es necesario complementar este tipo de diseño con otros métodos para determinar relaciones de impacto medibles y generalizables.

6.2.2 Muestreo y Recolección de información

A continuación se enuncian sólo algunas de las técnicas más comunes de recolección de infor-mación, para un mayor detalle ver el capítulo 11 (Anexos) y la sección 6.4 (Construcción de Líneas de Base). Estos métodos son aplicables a todo tipo de evaluación, no sólo a las de impacto. Se encuentran, entre otros:

• Encuestas directas alosbeneficiarios.

• Datos secundarios de encuestas nacionales de hogares, censos o estudios similares rea-lizados en la misma época en que comenzó elproyecto,quepuedenayudaraidentificara lapoblaciónbeneficiariayaportardatospertinentes sobre esa población o sobre grupos de comparación potenciales.

• Registros administrativos recopilados por el proyecto pueden proporcionar datos de referen-cia sobre los participantes en el proyecto, pero casi nunca sobre los grupos de comparación.

• Registros de instituciones locales en donde se implementó el programa pueden contener datos de referencia sobre el grupo de comparación.

• Información retrospectiva de la población beneficiadadesusituaciónantesdelaim-plementación.

6.2.3 Métodos Cuantitativos para el análisis de la información3

El análisis de la información de una evaluación de impacto dependerá del diseño que la evaluación

3 Para profundizar en cada uno de los métodos, ver referencias en capítulo de bibliografía. Entre otros ver Baker, Judy (2000); Bamberger, Michael (2006); Khander, S. Koolwal, G & Samad, H. (2009).


86

tome, de las características de la intervención y de las restricciones a las que se enfrente el evaluador.

En esta sección se presentan los métodos más utilizados para el análisis de datos en la evaluación de impacto. Estos pueden comple-mentarse entre sí y en algunos casos se reco-mienda el uso de métodos mixtos (cualitativos y cuantitativos) para dar mayor robustez a los resultados. Cuando se recurre a tres o más perspectivas estadísticas distintas, cualitativas o cuantitativas, se habla de una triangulación. A veces se recomienda este ejercicio pues se logran resultados más robustos utilizando dife-rentes técnicas. Es posible entonces combinar aproximaciones cuantitativas para el diseño del modelo y la construcción del contrafactual, con técnicas tanto cualitativas como cuantitativas para el levantamiento de información y análisis de las variables.

Los métodos cuantitativos expuestos a continua-ciónsonespecíficosalaevaluacióndeimpacto,dado que tienen el objeto de construir el con-trafactual para permitir la comparación de los grupos con y sin intervención.

6.2.3.1 Diseño Experimental o Aleatorio:

El método más usado es el de Comparación de Medias (Comparison of means), que:

• Utiliza los datos en un sólo momento del tiem-po para dos grupos muestrales (tratamiento y de control).

• Calcula el impacto del programa como la diferencia entre el valor medio de la variable resultado en ambos grupos.

• Suponequeel grupode control refleja lasituación que habría tenido el de tratamiento si no hubiese participado.

La principal debilidad de esta técnica es que se basa en el supuesto que las características de los grupos comparados son iguales o muy similares.

6.2.3.2 Diseño Cuasi-Experimental:

En el diseño cuasi–experimental, se presentan cuatro aproximaciones principalmente:

• Método de Pareo, Emparejamiento o Corres-pondencia (Matching):

Método en el que la selección no aleatoria de los participantes del programa implica una muestra con características que no son necesariamente homogéneas, lo cual hace que los miembros de los grupos no tengan la misma probabilidad de participar en el programa.

En consecuencia, el emparejamiento busca calcular una probabilidad de similitud de las características observables de los individuos en cada grupo y con base en ésta se seleccio-nan dos sub-grupos de tratamiento y control, que según dicha probabilidad resultan ser los más parecidos entre sí. Al conjunto total de observaciones aptas de ser comparadas, según su probabilidad de similitud, se le denomina el rango común y es con éste que se realiza el análisis.

La correspondencia puede hacerse en los diferentes niveles en los que se efectúa una evaluación de impacto.

• Método de Regresión Discontinua (Regression discontinuity):

Este método busca establecer los impactos del programa basándose en unos parámetros de elegibilidad que no sean determinados por lapoblaciónbeneficiaria;paralocualestimael efecto de una política por debajo de un puntajeespecíficodeunavariabledelain-tervención que se comporta como un umbral o pauta para la asignación del programa.

La idea básica es comparar a las personas, colectividades o unidades que se sitúan justo encima del umbral y que, por ende, no pueden incluirse en el proyecto (grupo de control) con las que se encuentran justo


87

abajo del umbral y sí pueden ser participes (grupo de tratamiento).

• Método de la Doble Diferencia (difference-in-differences):

Este método utiliza los datos en dos momentos del tiempo para los dos grupos muestrales (tratamiento y control). La primera diferencia es la comparación entre el grupo de tratamien-to y el de control antes de la intervención. La segunda diferencia es la comparación entre el grupo de tratamiento y de control después de la intervención.

El impacto es la diferencia entre la primera y la segunda diferencias. Esta técnica puede ser aplicada tanto a datos transversales como a datos panel.

• Método de Variables Instrumentales (Instrumental variables):

Se usa cuando la inclusión en el programa es endógena, es decir que los individuos se autoseleccionan y por tanto no se puede identificar alguna característicaparticularque los hace participar. Las “variables ins-trumentales” se usan primero para predecir la participación en el programa y luego para observar la variación del indicador de resul-tados con los valores proyectados.

6.2.4 Métodos Cualitativos para el análisis de la información

Los métodos cualitativos son otro medio por el cual el evaluador puede construir las relaciones causales de impacto del programa sobre la po-blación objetivo que recibió la intervención. Sin embargo, como se mencionó anteriormente, estas relacionesserefierenmásalapercepcióndelosbeneficiarosfrentealprograma.Estas técnicas

no son exclusivas a la evaluación de impacto, se pueden utilizar en todo tipo de evaluaciones.

Técnicas cualitativas4

• Evaluaciones Participativas Rápidas (EPR)5: son una serie de métodos con participacióndelosbeneficiariosquienesproporcionan información sobre su situa-ción, los problemas de la colectividad y los cambios que se producen con el tiempo.

• Grupos focales: son un conjunto de per-sonas que documentan informalmente un temaespecífico relacionado conelprograma que se esta evaluando. Cada grupo tiene un moderador quien lleva un guión de los temas a desarrollar, pero no existen preguntas de respuesta cerrada como en el caso de los cuestionarios. Los participantes expresan sus puntos de vista y el moderador puede explorar las razones y la intuición detrás de estos.

• Entrevistas en profundidad: permiten obtener información sobre el punto de vista y la experiencia de las personas, instituciones o grupos.

• Estudios de caso6: es un método de análi-sis de una situación compleja. Se basa en el entendimiento de ésta (tomada como un conjunto y dentro de su contexto7), el cual se obtiene a través de su descripción y análisis.

• Paneles de expertos: es una revisión por pares, o por un grupo de referencia, compuesto de expertos externos para proporcionar insumos en temas técnicos o de otra índole cubiertos por la evaluación8.

4 Ver en Gorgens y Kusek (2009) el capítulo acerca de “How to analyze qualitative data”. (pg. 437).5 Ver referencias adicionales en capítulo Bibliografía.6 Dependiendo del alcance, los estudios de caso pueden ser costosos.7 Morra y Friedlander (2001).8 PNUD (2009).


88

6.2.5 Integrando métodos cuantitativos y cualitativos

La integración de métodos cuantitativos y cuali-tativos de análisis de información y recolección de datos se ha venido empleando con mayor frecuencia puesto que permite tener una visión integral de lo que está pasando con el programa. Además, el uso de aproximaciones cuantitativas y cualitativas por separado tiene sus fortalezas pero también sus debilidades, tal y como lo muestran las tablas presentadas a continuación9:

De acuerdo con talleres de evaluación de pro-yectos10, la utilización de métodos mixtos puede traer ventajas como: la obtención de diferentes perspectivas para el análisis del programa; el chequeo en la consistencia de los resultados de las variables claves; la posibilidad de desarrollar el análisis en diferentes niveles por temas o tipo de actor; la oportunidad de tener retroalimenta-ción para ayudar a interpretar los resultados de las encuestas; el potencial de hacer chequeos de outliers (respuestas diferentes a las comunes); entre otras.

Fortalezas y debilidades frecuentemente citadas de los métodos cuantitativos de investigación

Fortalezas Debilidades

Conclusiones de los estudios se pueden generalizar a la población para la cual son requeridas.

Muchos tipos de informa-ción son difíciles de ob-tener (especialmente en loquese refierea temassensibles como ingreso).

Muestras de individuos, co-munidades u organizaciones pueden ser seleccionadas para asegurar que los resul-tados sean representativos de la población estudiada.

Muchos grupos son de di-fícil acceso (por ejemplo mujeres, minorías o niños).

Pueden ser analizados facto-res estructurales que deter-minan cómo las inequidades (por ejemplo la de género) se producen y reproducen.

La información puede ser inexacta o incompleta.

Pueden obtenerse estima-ciones cuantitativas de la magnitud y distribución de impactos.

No hay información de factores de contexto que ayuden a interpretar los resultados o las variaciones en el comportamiento entre hogares con características económicasydemográficassimilares.

Pueden obtenerse estima-ciones cuantitativas de los costos o beneficios de las intervenciones.

Los métodos de encuesta pueden predisponer a los encuestados.

Puede proveer documen-tación clara sobre el conte-nido y la aplicación de los instrumentos de la encuesta para que otros investigado-res analicen la validez de los resultados.

Los estudios son caros y demorados; los resultados no están disponibles a ve-ces sino después de largos períodos de tiempo.

Utilizan métodos estándar lo que permite que el estudio produzca resultados compa-rables y pueda ser replicado en diferentes áreas o a través del tiempo.

Los métodos de investiga-ciónsoninflexiblesporqueel instrumento no puede ser modificado una vez comienza el estudio

Es posible controlar por efec-tos de variables que puedan conducir hacia causalidades erróneas

Bamberger (1999).

Fortalezas y debilidades frecuentemente citadas de los métodos cualitativos de investigación

Fortalezas Debilidades

Flexibilidad en la aplicación de los métodos y facilidad en su adaptación a circuns-tancias cambiantes.

La implementación de mu-chos métodos no está bien documentada, haciéndolos difíciles de validar y replicar.

Considerados por muchos como más rápidos y más baratos de hacer.

Entrevistados son a menu-do escogidos sin el uso de muestreo (o de algún criterio clarodefinido),por loquelos resultados pueden ser difíciles de generalizar.

Más fácil de llegar a po-blaciones de difícil acceso como minorías, mujeres de ciertas culturas, etc.

Es difícil atribuir respuestas aindividuosespecíficosenuna entrevista de grupo.

9 Bamberger (1999).10 Idem.


89

Los métodos de investiga-ción pueden ser adaptados a la cultura de los entrevista-dos. Respuestas no escritas y no verbales son posibles.

Es difícil controlar si el en-trevistador está imponiendo las respuestas.

Las respuestas pueden si-tuarse en un contexto cul-tural y político.

Es difícil analizar e interpre-tar un número grande de casos de estudio.

La mayoría de los métodos de investigación no imponen respuestas.

Algunos métodos pueden no ser apropiados cultural-mente.

Se puede obtener informa-ción tanto de grupos como de individuos

Bamberger (1999).

6.3 Estudio de caso: Familias en Acción11

• Evaluación de impacto del programa Familias en Acción, primera etapa12

• Consultor: Unión Temporal Econometría-SEI-IFS

• Contratación en febrero de 2002• Finalización en diciembre de 2006• Costo: USD $2.000.000

6.3.1 El Programa

El Programa Familias en Acción fue concebido inicialmente como parte de una estrategia del Gobierno Nacional para incrementar el nivel de vida de la población más pobre del país. En particular, buscaba elevar los niveles de salud y nutrición de los niños de las familias más pobres (Sisbén 1).

El Programa tiene dos componentes de subsidios condicionados, uno nutricional y otro escolar:

Finalmente, todos los pagos son entregados a las madres titulares de los núcleos familiares inscritos en el Programa.

En un primer momento, el Programa se focalizó en los municipios de menos de 100.000 habi-tantes que: i) no fueran capital de Departamento; ii)tuvieransuficienteinfraestructuradesaludyeducación; y iii) tuvieran alguna entidad banca-ria. En cada municipio se consideraron elegibles todos los hogares del nivel 1 del Sisbén a 31 de diciembre de 1991 con niños de 0 a 17 años. A partir de 2006 el Programa se amplió a otras ciudades y en 2008 se presentaron esquemas diferenciales y ampliación del programa a la población desplazada.

6.3.2 Objetivos y alcance de la evaluación

El objetivo de la evaluación era captar los impactos enlapoblaciónbeneficiariadelProgramaFamiliasen Acción13, estableciendo:

• El grado de impacto de las intervenciones en la salud, nutrición y educación de los beneficiarios.

• Los factores asociados, condicionantes o explicativosmás relevantes, cuantificandosu importancia o efecto.

11 Para otros estudios de caso ver Baker, J. (2000). 12 Cartilla de Evaluaciones estratégicas. Resultado de evaluaciones 2002-2008. DNP, DEPP. 13 Informe metodológico. Evaluación del Impacto del Programa Familias en Acción – Subsidio Condicionados de la Red de Apoyo Social.

Unión Temporal IFS – Econometría S.A. – SEI. Mayo de 2002.

Tipo de subsidio

Monto de subsidio

Edad de atención

Beneficiariosa 2007 Condición

Nutricional $46.500 0 - 6 años1.680.005

niños menores de 7 años

Asistencia a controles de crecimiento y desarrollo

Escolar primaria $14.000 7 - 11 años

1.118.831 niños entre 7 y

11 años

Asistencia escolar

Escolar Se-cundaria $28.000 12 - 17

años

960.783 jóve-nes entre 12 y

17 años

Asistencia escolar

Esquema de Subsidios

Fuente: Programa Familias en Acción (2008).


90

• El impacto del programa en la comunidad y en la reducción de la pobreza.

Adicionalmente, se plantearon otros objetivos a resolver mediante otros tipos de evaluación:

• Realizar análisis sobre temas de interés com-plementario del programa y sobre aspectos operativos de su implementación, variables como: la focalización del programa en la población objetivo, el cumplimiento de las operaciones cruciales del programa, la trans-parenciaenlaidentificacióndelasfamiliaselegibles y los procesos de participación comunitaria.

• Garantizar los datos requeridos para el aná-lisis de costo beneficio, de costo efectividad y de visión estratégica del programa.

En este caso nos vamos a centrar en las preguntas de evaluación de impacto.

6.3.2.1 La metodología

Se utilizaron métodos cuantitativos y cualitativos para evaluar el impacto.

El diseño fue de carácter cuasi-experimental y se basó en la comparación de los hogares que recibieron el beneficio del programa (Grupo Tratamiento) y con hogares que no recibieron el programa (Grupo Control).

Los datos recolectados con entrevistas en 11.500 hogares permitieron comparar grupos de bene-ficiarios ynobeneficiariosen los años2002,2003 y 2006.

La primera etapa en la conformación de las mues-tras de tratamiento y controlfuelaidentificacióndel universo de municipios que pudieran ser incluidos. En un principio, se consideró la posibi-lidad de aleatorizar la entrada de los municipios al Programa para hacer una evaluación experi-mental. Lo anterior implicaba la distribución al azar de los municipios elegibles en 3 grupos: el

primero ingresaría inmediatamente al programa, el segundo un año después y el tercero transcurri-dos dos años. Este esquema hubiera garantizado municipios tratamiento y control estadísticamente idénticos; sin embargo, no pudo ser implemen-tado por diferentes motivos. En consecuencia se implementó una metodología cuasi-experimental con el método de Pareo.

La idea básica consistió en seleccionar los mu-nicipios tratamiento de acuerdo con criterios predeterminados y luego tratar de encontrar municipios con características similares para recolectar los datos de la muestra de control. En este caso, el posible desequilibrio que resultaría en las muestras, en términos de características observables, podría ser corregido utilizando métodos de pareo: “El método compara los resultados promedio de participantes y no-participantes, condicionados a las características individuales observadas de los participantes y las características del entorno en que estos están ubicados. Si la condicionalidad en las variables observables vuelve la selección dentro del programa condicionalmente independiente en las medias de los resultados potenciales, la diferencia en los promedios condicionales de los grupos de control y tratamiento mide el impacto promedio del programa”. (Heckman, Ichimura, Smith y Todd, 1997)14. En otras palabras, la muestra de control se debía ponderar de tal manera que la distribución de sus caracterís-ticas se emparejara con las de la muestra de tratamiento. En este caso, cualquier desviación ocasionada por los efectos de composición observables podía ser eliminada.

6.3.2.2 Los métodos de recolección de información

Los métodos de recolección de información fueron: i) Encuestas técnicamente diseñadas y validadas para la obtención estandarizada de información mediante preguntas realizadas por encuestadores profesionales, con alternativas derespuestaprestablecidasyprecodificadas;yii) Medición cualitativa para captar información

14 Ver también Cochran (1968), Rosenbaum y Rubin (1983), y Heckman, Ichimura, y Todd (1998).


91

complementaria y de percepción, mediante diálogos y discusiones colectivas e individuales con diversos tipos de actores del Programa.Técnicas de recolección de información:

• Encuesta de Hogares a las muestras de fami-liasclasificadasenelnivel1delSISBEN,conniños y/o jóvenes de 0 a 17 años, tanto en los municipios tratamiento como en los de control.

• Encuesta a los enlaces municipales de los municipios tratamiento.

• Encuesta a los directores de los establecimien-tos de salud muestreados en los municipios tratamiento y control.

• Encuesta a los directores de los estable-cimientos educativos muestreados en los municipios tratamiento y control.

• Encuesta a los alcaldes municipales y otros tres informantes clave de los municipios tratamiento.

• Encuesta a las madres comunitarias, niños menores de 5 años (peso y talla) y a algunos de los padres de estos niños en una muestra de Hogares Comunitarios del ICBF en los municipios tratamiento.

• Grupos focales a diversos tipos de madres beneficiarias del Programaenmunicipiostratamiento.

• Talleres para agentes municipales del pro-grama, agentes regionales (UCR) y agentes nacionales (UCN).

• Entrevistas colectivas a madres elegibles, no beneficiarias, y amadres conniñosen loshogares comunitarios del ICBF en municipios tratamiento.

• Entrevistas individuales a enlaces munici-pales e informantes clave de los municipios tratamiento.

6.4 Construcción de Líneas de Base

La línea de base es “el valor de un indicador de desempeño, antes de la implementación de pro-yectos o actividades” (USAID, 2010) que “describe la situación previa a una intervención para el desarrollo, en relación con la cual puede medirse el avance o pueden efectuarse comparaciones” (OECD, 2002). Esto permite contrastar el estado de los indicadores antes de la implementación del programa con los resultados planeados en determinado lapso de tiempo, convirtiendo a la línea de base en una poderosa herramienta para la gestión y evaluación de políticas públicas.

Por consiguiente, este instrumento de recolec-ción de información tiene como objetivo central determinar cuál es la situación inicial antes de una intervención, para:

• Ayudar a los gestores de política y a los geren-tes de los programas a establecer el avance en el logro de los productos y los resultados planeados.

• Identificar lamagnituddel cambioen losindicadores de gestión, producto, resultado e impacto.

• Apoyar la toma de decisiones informada en los procesos de seguimiento y evaluación.

En consecuencia, una Línea de Base responde fundamentalmente a tres preguntas:

• ¿Cuál es la situación inicial de la población o entidad que va a recibir la intervención?

• ¿Qué se debe medir para hacer seguimiento y evaluación de la intervención?

• ¿Cuál es realmente el esfuerzo en gestión que el Gobierno se propone realizar (planeación) o que ha logrado (seguimiento y evaluación) en la consecución de las metas de la inter-vención?

Aunque esta es una herramienta genérica que se emplea en múltiples instancias de los sistemas


92

de seguimiento y evaluación, su proceso de construcción es particularmente complejo y su utilización ampliamente acogida en las evaluacio-nes de impacto, por lo que resulta conveniente ilustrar sus características, usos y desarrollo con este tipo de evaluación.

6.4.1 Características y Usos

Idealmente, la información de la línea de base se debe recolectar antes del inicio del programa o, en su defecto, al poco tiempo de su implementación.

Cuando se hace antes de la intervención es ne-cesario recoger información similar a lo largo del proyecto para que se pueda comparar y determinar el grado de avance. Se deben usar las mismas fuentes, la misma metodología de recolección y los mismos indicadores en los siguientes levan-tamientos de información.

Por ejemplo

Construcción de una línea de base en una evaluación de impacto

Suponga que la variable de interés es el ingreso (Y) y se quiere observar cómo cambia, a lo largo del tiempo y con la ayuda del programa. El levantamiento de la información en t0 (línea de base) se hace tanto para el grupodetratamiento/beneficiarios(líneacontinua)comoparaelgrupodecontrol/no-beneficiarios(líneaen negrilla punteada) antes del inicio del programa. Una vez éste arranca, se hace seguimiento al ingreso en diferentes momentos del tiempo para evaluar el impactodelprogramasobrelosbeneficiarios(Y2 – Y1).

La línea de base dentro de una evaluación de impacto

Fuente: Khander, S. Koolwal, G & Samad, H. (2009).

• Cuando se recoge después de la intervención es importante tenerlo en cuenta en el aná-lisis de evaluación, por ejemplo incluyendo preguntas que permitan, hasta cierto punto, determinar cómo era la situación antes del programa o metodologías que permitan co-rregir los sesgos generados por su puesta en marcha. Este no es el escenario ideal, sin embargo puede ocurrir si en el diseño delprogramanosecontemplaoplanificalaevaluación del mismo.

• En ambos casos se debe considerar el sesgo por anticipación o expectativas que seña-la que se pueden presentar cambios en el comportamiento de los actores involucrados antes de que la intervención comience. Si por alguna razón la línea de base (LB) lo ignora, se pierden estos efectos y se crea una imagen distorsionada de la realidad por lo que es necesario recuperarlos usando el recuerdo o entrevistas a informantes clave.

Estrategias para reconstruir una Línea de Base cuando no se encuentra disponible15

• Usar datos secundarios: existen diferentes fuentes de datos secundarios que pueden ser útiles para recuperar la información de LB. Los censos, la Encuesta de Calidad de Vida, otras encuestas que lleven a cabo los Ministerios, instituciones, universidades o las ONG permiten en algunos casos tener grupos de control con métodos de Empa-rejamiento (Matching). Sin embargo, estas encuestas, en ocasiones, tienen muestras muy pequeñas o con un nivel de detalle quenoes suficientepara construir losgrupos. Por consiguiente, los datos deben ser examinados con gran detenimiento.

• Usar datos administrativos de la interven-ción: muchos programas recogen informa-ción administrativa o de seguimiento de la población objetivo.

15 Bamberger (2010).

Programa

t0

Impacto

Línea de baseIngr

eso

t1 Tiempo

Y2

Y1

Y0

Control

Beneficiarios


93

• Usar el recuerdo: esta técnica se usa es-pecialmente para tener información de personas o grupos acerca de sus condi-ciones sociales, como: acceso a servicios, pobreza, demografía, ingresos o cualquier otra situación de la comunidad en un mo-mentoespecíficodetiempo.

• Informantes clave: pueden proveer infor-mación sobre una determinada institución, grupo o población. Permite combinar in-formación factual con su punto de vista por lo que es importante entrevistar a personas con diferentes perspectivas.

• Grupos focales: se utilizan para recolectar información de características socioeco-nómicas, actitudes y comportamientos de grupos que comparten atributos.

Existe un consenso acerca de las características que debe cumplir una línea de base, independien-temente de la fuente de sus datos, para que sea de calidad y apoye los procesos de seguimiento y evaluación16:

Relevante: debe enfocarse en levantar y construir información clave para determinar si la interven-ción se desarrolla según lo esperado17.

Precisa: debe garantizar que los datos recolec-tados en efecto midan lo que se quiere medir18.

Fiable: debe ser robusta, estable y consistente paraqueelevaluadorpuedaconfiarenlosdatosrecogidos y utilizarlos para analizar, evaluar y difundir el desempeño de la intervención.

A Tiempo: la información debe ser recolectada en el momento indicado y con la frecuencia su-ficiente,paraserpertinenteyútilenelprocesode toma de decisiones19.

Representativa:debereflejardemaneraadecuadala población que se va a describir.

Pasos para levantar una Línea de Base

Sedebedefinireltiempo(horas,meses,días)que va a tomar cada paso, planeando desde el principio las etapas necesarias para cada uno. Algunos de los pasos más comunes son:

• Determinar objetivo del estudio.

• Diseñar el estudio.

• Seleccionar la muestra.

• Diseñar el cuestionario y cartas de pre-sentación.

• Desarrollar prueba piloto.

• Revisar cuestionario.

• Imprimir cuestionario.

• Encontrar la muestra.

• Salir a trabajo de campo, enviar cuestio-nario por correo o realizar llamadas.

• Intentar encontrar a los individuos que no respondieron.

• Editarlosdatosencontradosycodificarpreguntas con respuestas abiertas.

• Ingresarlosdatosyverificar.

• Analizar los datos.

• Preparar el reporte de LB.

• Entregar el reporte.

16 Morra y Rist (2009), Patton (2002), Jackson y Agrawal (2007), Ramírez (2009) y USAID (2010).17 Jackson y Agrawal (2007) han desarrollado una matriz de diseño para asegurarse de que los datos recogidos serán relevantes.18 Patton (2002).19 USAID (1998).


94

6.4.2 Desarrollo de una Línea Base

El desarrollo de una línea de base implica surtir ciertas etapas:

• Construir indicadores y metas.

• Diseñar los instrumentos de recolección de información.

• Diseñar la muestra necesaria para la repre-sentatividad requerida.

• Hacer una prueba piloto.

• Salir a trabajo de campo.

• Presentar Informe de trabajo de campo.

• Presentar Informe de Línea de Base.

Es importante tener en cuenta las etapas en un proceso de levantamiento de información, pues cada una depende de la anterior. A continuación se describen con mayor nivel de detalle.

6.4.2.1 Construir indicadores y metas

Esta fase abarca las siguientes tareas:

• Definir los indicadoresdelprograma:de-pendiendo de los objetivos del programa, sedefinenindicadoresdegestión,producto,resultado o impacto. Para cada indicador es necesaria una medición observable.

Como se menciona en las Guías metodoló-gicas de los diferentes Tipos de Evaluación (Resultados, Productos y Procesos) y de Se-guimiento al Plan Nacional de Desarrollo, existen varias metodologías de construcción de indicadores. Una de las que relaciona los indicadores con la construcción de objetivos se denomina “SMART”, que plantea que los objetivosdebenserespecíficos,medibles,

realizables,pertinentesyconplazosdefinidospara su cumplimiento.

Objetivos “SMART”

SSpecific (Específico): El objetivo debe ser preciso sobre cómo, dónde y cuándo va a cambiar la situa-cióndelosbeneficiarios.

M Measurable (Medible): El objetivo debe establecer metasybeneficiosquesepuedanmedir.

A Achievable (Realizable): El objetivo debe poderse cumplir.

R Relevant (Relevante): El objetivo debe ser perti-nente y crucial.

TTime-bound (Limitado en el tiempo): El objetivo debe estar acotado en un periodo de tiempo para su alcance.

Fuente: Menon, S. Karl, J. & Wignaraja, K. (2009).

Trasunejerciciodeestetipoparaladefiniciónde objetivos, se determinan los indicadores. Una de las metodologías más utilizadas es la “CREMA” construida por el Banco Mundial20 que, de acuerdo con ciertos criterios y una listadechequeo,permiteverificaryescogerlos mejores indicadores que se pueden aplicar para medir los cambios en los objetivos de un programa21.

Indicadores “CREMA”

C Claro: Preciso e inequívoco.

R Relevante:Apropiado al tema en cuestión.

E Económico:Disponible a un costo razonable.

M Medible:Abierto a validación independiente.

AAdecuado:Ofreceunabasesuficienteparaestimareldes-empeño (resultados).

Fuente: Kusek y Rist (2004), adaptación de la DSEPP-DNP.

Es necesario que los indicadores estén do-cumentados, se encuentren explícitas las

20 Kusek y Rist (2005).21 Para mayor desarrollo sobre el tema de indicadores ver “Guía metodológica para la formulación de indicadores”. Departamento Na-

cional de Planeación, 2009.


95

variables que los componen, el tipo de fuen-tes que los conforman, así como su fórmula, información necesaria y método de cálculo.

• Identificarlasmetas: Las metas se pueden identificarsegúnlosobjetivosquehayafijadolaintervención.Estassonelreflejoconcretode lo que se espera lograr con el programa22. Existenmetasfinales, que son los valoresesperados que se quieren alcanzar cuando la intervención se acabe y metas intermedias, que son las que el programa se propone lograr en determinados puntos en el tiempo. Se puedenfijarmetascuantitativasocualitativas.

Elprogramadebehaberidentificadosusme-tas en la etapa de diseño antes de iniciar su implementación. Sin embargo, es posible que no se tengan metas claras o priorizadas por lo que será necesario hacer el proceso junto con los actores involucrados (stakeholders) en la intervención.

• Priorizar las metas: El programa puede tener numerosas metas y de diferente tipo (interme-diasofinales)peronotodassonrelevantespara lograr sus objetivos estratégicos.

6.4.2.2 Diseñar los instrumentos de recolección de información

Posteriormente, se identificaqué informaciónes necesaria para construir estos indicadores que capturarán si el programa efectivamente está realizando las actividades para lograr los resultados esperados y se indaga si ya se tienen cifrasocaracterísticasdelosbeneficiariosreales.Este ejercicio se realiza con la entidad o grupo de entidades objeto del seguimiento o evalua-ción y con agentes externos relacionados con el tema o que sean proveedores/usuarios de la información23.

Los datos de la línea de base pueden recogerse de muchas formas incluidos los registros exis-

tentes, mediciones, observaciones, encuestas, grupos focales y opinión de expertos. No hay una alternativa privilegiada de recolección de la información, la decisión sobre qué método utilizar depende de:

• Lo que usted necesita saber.

• Dónde se encuentran los datos.

• Los recursos y el tiempo disponible para el levantamiento de la información.

• La complejidad de los datos que deben re-cogerse.

• La frecuencia de recolección de los datos.

• La forma como se prevé llevar a cabo el aná-lisis de la información.

MorrayRist(2009)definenunconjuntodereglasque los evaluadores deben aplicar para recoger los datos en una línea de base:

• Aplicar múltiples métodos de recopilación de datos cuando sea posible.

• Usar indicadores o datos disponibles en lugar de generar nuevos, dado que es más rápido, menos costoso y más fácil construir sobre lo construido.

• Para determinar si se pueden utilizar los da-tos disponibles, se debe conocer cómo los evaluadores van a definir las variables clave del estudio. Adicionalmente, esto permite saber si es necesario recolectar algún tipo de información en especial.

• El proceso de recolección de la información debe responder a procedimientos y protocolos de muestreo y construcción de bases de datos. Se deben mantener registros precisos de las definicionesycodificacionesdelosdatos.

22 Para mayor detalle sobre el diseño de metas ver USAID, “TIPS - Baselines and Targets” (2010).23 DANE (2004).


96

A continuación, se presenta un resumen de al-gunos elementos que usualmente se tienen en cuenta a la hora de escoger o diseñar la técnica de recolección de información de la línea de base.

• Periodicidad en el levantamiento de infor-mación: La periodicidad del levantamiento de información dependerá del tipo de indica-dores que se vayan a medir. Si son de gestión o de producto, se pueden recoger de manera semanal, mensual o trimestral, pero si son de resultado o de impacto es necesario prever más tiempo entre el levantamiento de la in-formación de la línea de base y los sucesivos levantamientos, por ejemplo periodicidades semestrales o anuales, dada la complejidad del ejercicio.

• Naturaleza de las encuestas: Entre las he-rramientas de recolección de información más utilizadas se encuentran las encuestas estructuradas y los cuestionarios, en ambas se pueden tener:

– Preguntas cerradas: el encuestador plan-tea todas las respuestas posibles, por ejemplo haciéndolas dicotómicas (sólo 2 alternativas, sí o no) o de selección múltiple.

– Preguntas abiertas: el encuestador deja en libertad al encuestado para que éste responda lo que quiera.

En general las encuestas se componen de tres partes:

– Seidentificaelcuestionario.

– Se hacen unas preguntas básicas de identificaciónycaracterizacióndelen-cuestado.

– Se diseña el cuestionario de preguntas relacionadas con el tema que se evalúa.

Tips sobre las Encuestas

• Elcuestionariodelaencuestaesmuyim-portante, su diseño debe estar en línea directa con los objetivos del estudio.

• Entremáscortoelcuestionariomayortasade respuesta habrá, por lo que con determi-nadas excepciones debe procurarse hacer un cuestionario conciso.

• Las preguntas deben tener un lenguajesencillo y directo.

• Laspreguntasnodebenguiaralencuestadoadarunainterpretaciónespecífica.

• Esimportantequeelencuestadorestépre-parado y capacitado antes de salir a trabajo de campo.

• Necesidades de información: Para que una Línea de Base pueda servir como un buen insumo para una evaluación, Morra y Rist (2009) recomiendan que su construcción no sólo incorpore datos cuantitativos sino que también contenga información cualitativa, que ayudeadefinirelescenariodecomparación.

Aproximación a la información según las características de los datos.

Tipo de datos en una línea de base Características

Datos cuantitativos

Se desea llevar a cabo un análisis estadístico.Se necesita conocer las formas de medición de la información.Se desea cubrir una pobla-ción objetivo muy grande.

Datos cualitativos

Se desean construir las narrativas de la política pública.Se busca profundizar en la información cuantitativa.

Fuente: Morra y Rist (2009)


97

Es importante entender que la aproximación a la información en una línea de base marca pautasquedefinensuutilidadyfinalidad.Lasventajas que ofrecen los datos cuantitativos se asocian a que fortalecen los análisis es-tadísticos y econométricos en la evaluación de política pública. Una LB que tenga como fortaleza un enfoque cuantitativo implica que a partir de ella se puede: construir indicadores que muestren el cambio y la evolución de la intervención, tener mecanismos de acu-mulación de los datos a través del tiempo y generar una plataforma para poder evaluar el programa. Por otro lado, las ventajas que ofrece el enfoque cualitativo se centran en ha-cermanifiestaslasnarrativasimplícitasenlaspoblacionesbeneficiarias.Estopermitequela evaluación no se haga desde lo abstracto, sino que se conozca en detalle el plan, pro-grama o proyecto, así como las preferencias y comportamientos de los agentes involucrados. De la misma manera, éste enfoque permite profundizar en la información cuantitativa.

La información de una línea de base puede combinar ambas perspectivas en diferentes niveles de composición de la información, se aconseja que en ésta prevalezca el enfoque que esté más acorde con el objetivo con el que se diseñó la LB.

• El Costeo: Las restricciones de recursos pue-den limitar las opciones de métodos de reco-lección de información. Los ítems a tener en cuenta para costear el levantamiento de una línea de base incluyen el costo del personal (director, consultores especializados, profe-sionales, encuestadores, etc.) el tamaño de la muestra (que abarca los grupos de tratamiento y control si aplica), el costo por encuesta y el número de levantamientos (ver ejemplo).

Por ejemplo:

Considere una evaluación de impacto en un programa de subsidios, en dónde hay:

901municipiosbeneficiados71.000familiasbeneficiarias

Con base en esto se puede calcular una muestra aproximada para los grupos de tratamiento y control:

Porcentaje Universo Total Tratamiento Control

1,0% 710 473 237

1,5% 1.065 710 355

2,0% 1.420 947 473

Planteando dos escenarios, el primero con 1% del universo encuestado y el segundo con un 1,5%, se obtiene un monto aproximado de lo que va a costar el levantamiento de información:

Escenario 1

Costo de la encuesta (US$)

50

Total encuestas (1% de pob)

1.420

Total 71.000

Escenario 2

Costo de la encuesta (US$)

50

Total encuestas (1,5% de pob)

2.130

Total 106.500

Teniendo en cuenta los recursos presupuesta-dos para el ejercicio se puede seleccionar el escenario más viable. Sin embargo, para tener el costeo completo habría que adicionar los rubros de: número de levantamientos adicio-nales necesarios, costo del personal, viáticos, pasajes e imprevistos.

En el anexo 11.1 se presenta una tabla que resume las tecnicas de recolección de información más utilizadas por el PNUD, que se adaptan en gran medida a los métodos utilizados en seguimiento y evaluación.


98

6.4.2.3 Diseño de la muestra

La muestra es un segmento representativo de la población objetivo del programa evaluado. Este instrumento se usa cuando el universo (totalidad de individuos, familias, entidades, etc.) es demasiado grande para ser encuestado o existen restricciones de tiempo/dinero para el levantamiento de información.

Losmétodosdemuestreoseclasificanenpro-babilísticos o no probabilísticos24.

En el muestreo probabilístico cada miembro del universo de población tiene alguna probabilidad de ser elegido. Esto tiene la ventaja de que per-mite calcular el error de muestra,definidocomoelgradoenquelamuestradifieredeluniversode donde fue tomada. Los métodos probabilís-ticos incluyen el muestreo aleatorio, sistemático yestratificado:

• El muestreo aleatorio: es el método más puro de muestreo probabilístico. Cada individuo de la población tiene la misma probabilidad de ser elegido para conformar la muestra. Cuando el universo es muy grande pueden existir sesgos.

• El muestreo sistemático: es utilizado frecuen-temente en vez del aleatorio. Después de que se calcula el tamaño de la muestra requerida, se divide el universo por ese valor obteniendo un numero X de grupos y al interior de estos se selecciona cada enésimo ítem, lo que arroja el numero total de observaciones de la muestra. Este puede funcionar si la lista de beneficiariosnotieneunordenconocido.

• Elmuestreoestratificado: es usado común-mente pues se considera superior al aleatorio debido a que reduce el error de muestra, dado que los estratos son subconjuntos de pobla-ción que comparten al menos una caracterís-tica común. Ejemplos de estratos pueden ser el género, los niveles de educación o niveles de ingreso. El investigador debe primero de-

terminar los estratos relevantes al estudio y su representación en el universo. Luego, se selecciona una muestra suficiente de manera aleatoriaencadaestrato.“Suficiente”quieredecirquelamuestraeslosuficientementegrande para representar el universo. Este método se utiliza cuando uno o más de los estratos en el universo tiene una baja inci-dencia relativa a los otros estratos.

De otra parte, el muestreo no probabilístico in-cluye los métodos por conveniencia, por juicio de valor, por cuota y por bola de nieve. En estos tipos de muestreo el error es desconocido:

• El muestreo por conveniencia: se usa cuando el investigador busca una aproximación no costosa. La muestra se selecciona porque es práctica o cómoda y es utilizada a menudo durante esfuerzos preliminares para tener una estimación inicial de los resultados en corto tiempo y con pocos recursos.

• El muestreo por juicio de valor: es una prác-tica común pues el investigador selecciona la muestra según su juicio de valor. Usualmente es una extensión del muestreo por conve-niencia. Por ejemplo, un investigador decide incluir en la muestra sólo una ciudad, así el universo contenga varias ciudades. Cuando el evaluador utiliza este método debe estar seguro que la muestra escogida es represen-tativa del universo.

• El muestreo por cuota: es el equivalente no probabilísticoalmuestreoestratificado. Elinvestigadorprimeroidentificalosestratosy sus proporciones en el universo. Después por conveniencia o juicio de valor escoge el número de observaciones requerido por cada estrato.

• El muestreo por bola de nieve: es un método especial, usado cuando las características de la muestra son raras, es muy difícil encontrar a las personas o los costos de hacerlo son

24 Los párrafos sobre muestreo probabilístico o no probabilístico son extraídos de Walonick (1997) y adaptados al caso.


99

muy altos. Se basa en referencias de sujetos iniciales para generar sujetos adicionales. Esta técnica puede tener muy bajo costo pero introduce sesgos porque reduce la probabili-dad de que la muestra represente una buena parte del universo.

Por ejemplo

– Bogotá: que tiene características que ameritan un análisis aislado de Cundi-namarca.

• Para cada una de las subdivisiones de análisis se calcularon alrededor de 30 tamaños de muestra, en función de los valores esperados para las variables centrales de la evaluación (antes y después del tratamiento).

• Los tamaños de muestra necesarios osci-laron entre un mínimo de 60 hogares y un máximo cercano a 2.500 hogares. Debido a las restricciones presupuestales de la consultoría, se seleccionó un tamaño de muestra intermedio (1.600 hogares), que permiteobtenerresultadosconfiables(95%deconfianzaestadística)paralamayoríadelas variables centrales de la evaluación.

Dada una tasa de no respuesta prevista del 20%, el tamaño de muestra total del grupo de tratamiento requerido para la evaluación se estimó en 2.000 hogares. Debido a la intención inicial de realizar un pareo uno a uno, el tamaño de la muestra de control se asumió equivalente al de la muestra de tratamiento.

6.4.2.4 Hacer una prueba piloto

Una prueba piloto permite hacer un estudio preliminar, en una escala menor, del diseño de muestra que se tenga. Sus objetivos son probar27:

• Si la estrategia de muestreo es la adecuada.

• Si los instrumentos de recolección de infor-mación son los idóneos.

• Si los procedimientos funcionan.

• Si el cronograma es viable.

25 DEPP, DNP (2006).26 PorlocalizacióngeográficaAmazonasestáincluidoenestaregión,peroestáporfueradeluniversodebeneficiariosdesubsidiosde

bolsa ordinaria y esfuerzo territorial.27 Carol Cutler Riddick y Ruth V Russell (2008).

Una muestra para una evaluación de impacto en un programa de Vivienda de Interés Social25:

• El universo de tratamiento está representa-do por los 17.913 hogares que recibieron asignación de subsidios para compra de vivienda nueva o construcción en sitio propio; esos hogares están distribuidos en 293 municipios.

• El universo de control, por su parte, co-rresponde a los hogares urbanos que cumplen las condiciones para acceder a los subsidios pero que no han participado en el Programa.

• La regionalización de la evaluación incluyó cinco categorías que agrupan a los depar-tamentossegúnsuproximidadgeográfica,de la siguiente manera:

– Atlántica: Atlántico, Bolívar, Cesar, Cór-doba, La Guajira, Magdalena y Sucre.

– Central: Antioquia, Caldas, Caquetá, Huila, Quindío, Risaralda y Tolima.

– Oriental: Arauca, Boyacá, Casanare, Cundinamarca, Guainía, Guaviare, Meta, Norte de Santander, Santander y Vichada26.

– Pacífica:Cauca,Chocó,Nariño,Putu-mayo y Valle.


100

• Si las técnicas de análisis de datos son las apropiadas.

• Si el análisis se hace de la forma correcta.

• Si los recursos previstos son los necesarios.

• Si el proceso es factible.

La prueba piloto hace un levantamiento de infor-mación de una muestra reducida, esto permite revisar y corregir los instrumentos antes de que se haga el levantamiento de la muestra completa.

6.4.2.5 Salir a trabajo de campo

La duración del trabajo de campo generalmente depende de la amplitud de la muestra, del número de municipios o regiones incluidos y del número de preguntas del cuestionario. Es importante prever una tasa de no respuesta de alrededor del 20%, especialmente, en los levantamientos de información en los que la población objetivo pueda ser difícil de encontrar.

Enestaetapaesimportanteverificarqueelle-vantamiento de información se haga conforme a lo estipulado por el diseño muestral y la prueba piloto, para garantizar que los datos sean útiles para el análisis.

6.4.2.6 Presentar informe de trabajo de campo

El informe de trabajo de campo debe incluir al menos una descripción detallada del proceso de recolección de información, con un balance del tipo de muestra y del número de encuestados por grupos. También se deben pormenorizar las dificultadesoperativasencontradasylamaneracómose resolvieron.Finalmente,seespecificala muestra efectiva que se levantó, las implica-ciones que esto tiene para el análisis y las reco-mendaciones para los futuros levantamientos de información.

6.4.2.7 Presentar informe de Línea de Base

Después del procesamiento y análisis de datos, se elabora el informe de línea de base. Sus resultados pueden servir para conocer la caracterización de lapoblaciónoinstitucionesbeneficiariasantesde la intervención.

Informe de Hogares Comunitarios de Bienestar

a. Evaluación de impacto28

El objetivo del informe de línea de base para este programa es presentar los resultados descriptivos de los datos recolectados durante el trabajo de campo realizado entre Febrero 27 y Julio 31 de 2007 por Profamilia para la evaluación de impacto del programa Hogares Comunitarios de Bienestar (HCB) del Instituto Colombiano de Bienestar Familiar (ICBF), con acompañamiento de la DEPP del DNP.

En particular, se presenta la descripción de la muestra total que se encuestó y las prin-cipales características por grupo. Se reporta además una caracterización general de los niñosbeneficiariosynobeneficiarios, susfamilias, los HCB y las madres comunitarias (MC).

Finalmente, se incluye una descripción de los principales indicadores de salud, vigilancia nutricional y alimentación, desarrollo psico-social, desarrollo cognitivo, conocimiento de las madres y MC sobre desarrollo infantil y disciplina que se utilizaron posteriormente en la evaluación de impacto.

b. Caracterización general de la muestra

La evaluación tuvo como objeto medir el efecto del programa sobre un conjunto de variables de resultado (en particular nutrición y alimentación, salud, desarrollo psicosocial y desarrollo cognitivo) en el grupo de niños participantes en el programa.

28 Unión Temporal Universidad de los Andes – Profamilia (2007).


101

Con este objetivo, se diseñó una evaluación de tipo cuasi-experimental que consiste en la comparación de las variables de resultado de dos grupos de niños: un grupo de niños participantes en el programa HCB (llamado grupo de tratamiento) y un grupo de niños no participantes en el programa (llamado grupo de control) con características socio-demográficas similares al grupodeniñosparticipantes.

La forma de construcción de la muestra se puede ver en detalle en el informe meto-dológico de la evaluación. Básicamente, el grupo de tratamiento provino de una muestra nacional de HCB escogida aleatoriamente. Por otra parte, el grupo de control provino de dos sub-muestras diferentes. La primera (que se denominó Control 1 o G1) consistió en un conjunto de niños no asistentes a HCB, seleccionados aleatoriamente de una muestra estratificadadehogaresconalmenosunniñoen la edad relevante residente alrededor de un HCB. La segunda (que se denominó Control 2 o G2) consistió en un conjunto de niños no asistentes, seleccionados aleatoriamen-tedeunamuestraestratificadadehogarescon al menos un niño en la edad relevante residente en sectores donde no existían HCB, perocomparablesentérminosgeográficosy socioeconómicos a aquellos donde había presencia de HCB.

El tamaño totalde lamuestrafinal fuede27.470 niños entre los 0 y los 6 años de edad. En particular, 12.925 niños en el grupo de tratamiento, es decir, el 47% de la muestra total, 13.329 niños en el grupo de control G1 (alrededordel48,5%)yfinalmente,1.216niños en el grupo de control G2 (alrededor del 4,4%).

El informe se organizó según los grupos a caracterizar y dentro de cada grupo se hizo el levantamiento de información de los in-dicadores necesarios:

• Caracterización de los niños de la muestra.

• Caracterización de las madres comunita-rias: Sobre la madre comunitaria; Carac-terización del ambiente de cuidado en el HCB.

• Indicadores de Salud.

Así mismo, se exponen los resultados del análisis descriptivo:

• Indicadores de Vigilancia Nutricional y Alimentación: Descripción de prácticas alimentarias y del estado nutricional; Cum-plimiento de los lineamientos del ICBF para los HCB.

• Indicadores de Desarrollo Cognitivo: Los indicadores de desarrollo cognitivo utili-zados; Resultados del análisis descriptivo.

• Indicadores de Desarrollo Psicosocial: Los indicadores de desarrollo psicosocial utili-zados; Resultados del análisis descriptivo.

• Conocimiento de las Madres sobre Desa-rrollo Infantil: Los indicadores utilizados; Resultados del análisis descriptivo.

• Conclusiones.

Evaluación costo-beneficio

CAPÍTULO VII C

ap

ítu

lo V

II

Chrisroll

105

Laevaluacióncosto-beneficio“esunanálisisquecompara todos los costos ybeneficiosdeunaintervención,enelcualaloscostosybeneficiosse les asigna un valor monetario. La ventaja del análisis costo-beneficio frenteaunanálisisdecosto-efectividad, es que puede manejar múltiples resultados, y permite comparaciones para gastar en diferentes sectores (por lo que contribuye a la eficientedistribuciónderecursos)”(3ie,2009).

Laevaluacióncosto-beneficioesunanálisiseco-nómico para la toma de decisiones, usado tanto en el gobierno como en la gestión de empresas, conelfindeestandarizarlosresultadosdeunprograma o proyecto en términos de su valor monetario1.

Enevaluación,el análisis costo-beneficioper-mitecuantificar–entérminosmonetarios-tantoloscostoscomo losbeneficiosposiblesdeunprograma, incluyendo ítems para los cuales el mercado no tiene medidas de valor económico. Adicionalmente, permite comparar los costos de medidas alternativas que produzcan resultados o que cumplan objetivos similares. Este análisis se hace antes y después de la implementación de la política, programa o proyecto2: tanto en la fasedeplaneaciónpara justificarelprogramaentérminoseconómicos,comoalfinaldeésta,

para determinar si los objetivos económicos y de eficienciaselograron.

En la DSEPP, este tipo de evaluación se ha utilizado en conjunto con las evaluaciones de impacto, pues los impactos resultantes de la evaluación son un insumo bastante preciso para dar un estimativo delosbeneficiosdelprograma.

7.1.Definiciones,usosyaplicación

7.1.1.Definiciones

Unadefiniciónqueabarca losconceptosprin-cipalesde laevaluacióncosto-beneficioes lade la Iniciativa Internacional para Evaluaciones de Impacto (International Initiative for Impact Evaluations-3ie)3 citada al comienzo de esta sección. Sin embargo, también existe el concepto de costo-efectividad que es distinto al primero. Acontinuaciónseplantealadefinicióndecosto-efectividad para tener claridad en la diferencia entre ambos conceptos:

Definición1-Análisiscosto-efectividad

El análisis costo-efectividad “es un análisis del costo de hacer un cambio de una unidad en el

1 Eneldocumentoseequiparaeltérminoevaluacióncosto-beneficioaanálisiscosto-beneficio.2 En adelante se va a utilizar el término “programa” de manera genérica para referirse al Evaluado (programa, política, proyecto, producto,

servicio, organización) (Davidson, 2005). 3 OtrasdefinicionesquevanenlamismalíneasonlasdeTheGreenBookdelTesorodeGranBretaña(HMTreasury):elanálisiscos-

to-beneficio“cuantificaentérminosmonetariostodosloscostosybeneficiosposiblesdeunapropuestafactible,incluyendoítemsparalos cuales el mercado no provee una medición satisfactoria de su valor económico”; el análisis costo-efectividad “compara los costos de diferentes alternativas de producir el mismo o productos similares”.


106

resultado. Su ventaja, comparado con el análisis costo-beneficio, es que a menudo los valores controversiales del resultado se evitan. Se puede utilizarparacompararlaeficienciarelativadelosprogramas para lograr el resultado de interés” (3ie, 2009).4

Ejemplo: Costosybeneficiosparaunsistemadeinformación

Enuna evaluación costo-beneficio deunsistema de información:

• Los costos incluirían ítems como: el precio del sistema de información, el costo de los servidores para alojar la información, el costo de la instalación y el costo de la capacitación a los funcionarios, entre otros.

• Losbeneficiosincluiríanlacuantificaciónde resultados como: la mayor disponibilidad de informaciónconfiable, ladisminuciónde tiempos de consulta, la disminución de costosdepersonal asociadosa verificar,validar y consolidar la información, entre otros.

7.1.2. Usos

Laevaluacióncosto-beneficiopermite:

• Estimarycuantificarloscostosdeunprograma.

• Estimar y cuantificar losbeneficiosdeunprograma.

• Proporcionar una medida de rentabilidad de un programa.

• Elegir la mejor alternativa entre programas similares.

Esto es posible respondiendo a las siguientes preguntas, entre otras5:

• ¿Sonlosbeneficioseconómicosmayoresalos costos del programa?

• ¿Cómo se comparan los costos actuales con los de otros programas similares?

• ¿Cuáleslaformamáseconómicayeficientede lograr los resultados esperados?

• ¿Cuálessonlasconsecuenciasfinancierasdeintegrarse?

• ¿Cuáles son los costos de replicar el programa evaluado en un ambiente diferente?

• ¿Vale la pena realizar el programa que se está evaluando?

• ¿Cómo afectan los costos la sostenibilidad y resultados del programa evaluado?

7.1.3. Aplicación

De acuerdo con el Treasury Board de Canadá (1998)elanálisiscosto-beneficiosepuedeaplicaren la evaluación de programas cuando:

• Sepuedenidentificardiferentesalternativas.

• Sepuedendefinirlasalternativasdeunama-nera que permita una comparación equitativa entre ellas.

• Sepuedenestimar los costosybeneficiosdel programa, identificando su tiempodeocurrencia para calcular el valor presente neto del proyecto.

A nivel de características, una evaluación cos-to-beneficiosedestacapor6:

• Determinar la productividad de un programa en términos económicos.

4 Se utiliza a menudo en el sector de la salud, donde puede ser inadecuado monetizar sus efectos. 5 UNICEF, IPEN (2006).6 UNICEF (2008).


107

• Comparar el valor presente y futuro de las alternativas.

• Informar de manera estructurada a los tomado-res de decisiones gracias a las comparaciones costo-beneficio.

Su fortaleza se encuentra en poder establecer el retorno de la inversión, y su debilidad es la dificultaddeasignarunvalormonetarioa losresultadosdealgunosbeneficios.

7.2. Desarrollo de la Evaluación Costo-Beneficio

Aunque no existe una fórmula única para reali-zarunanálisiscosto-beneficio,pues todos losprogramas son diferentes, se sugiere seguir una secuencia de pasos estándar para tener coherencia y poder comparar entre un análisis y otro7:

1. Identificarlosobjetivosdelprograma.

2. Definirotrasalternativas.

3. Establecer el marco de referencia conceptual.

4. Estimar el valor económico de los costos y beneficiosmedianteunametodología.

5. Estimar el valor presente neto.

6. Estimarlarelacióncosto-beneficio.

7. Estimar la rentabilidad.

8. Uso de los resultados.

A continuación se describen uno a uno estos pasos.

7.2.1 Identificarlosobjetivosdelprograma

Según Argirous (2009), el primer paso para la comprensión de cualquier problema analítico

es tener un claro entendimiento del resultado esperado del programa. Es necesario examinar las necesidades que se esperan suplir con el programa,definir las restriccionesexistentesyformular los objetivos con el propósito de esta-blecer el punto de vista desde el cual se van a medirloscostosylosbeneficios.

Ladefinicióndelosobjetivosdelprogramasehace con la ayuda de herramientas como el marco lógico o cadena de resultados.

Ejemplo: DefinicióndeobjetivosparaelcasodeFamilias en Acción.

Los principales objetivos que el programa de subsidios condicionados Familias en Acción, de acuerdo con su formulación inicial y su desarrollo posterior, ha buscado cumplir son8:

• Mejorar los niveles de salud y nutrición de los niños y niñas de hasta 17 años

• Aumentar la asistencia escolar de esta misma población

Por lo tanto, laevaluacióncosto-beneficiosevaadedicaraidentificarycuantificarex-clusivamente los costos asociados con estos dos objetivos, a pesar de que el programa hapodido identificarotrosadicionales,esnecesariodefinircuálessonlosprioritarios.

Aldefinirelobjetivodelprograma,esimportan-tedefinirloquevaarepresentaruncostoounbeneficioparadichaintervenciónpública.

7.2.2Definirotrasalternativas

Paradefinir losprogramas/alternativascon loscuales se va a comparar el programa a evaluar, es importante9 tener en cuenta lo siguiente:

7 Treasury Board of Canadá (1998).8 DAPR, FIP, DNP (2006).9 Ibídem.


108

• Escogerunavariedadsignificativadeprogra-mas similares para asegurar su comparación con las mejores alternativas.

• Definir las alternativasa comparardeunaforma transparente.

Cumplir con esos dos requerimientos garantiza quelacomparacióndelcosto-beneficioentreelprograma y las alternativas genere resultados válidos para la toma de mejores decisiones.

7.2.3 Establecer el marco de referencia conceptual

Este marco permite explicar los supuestos de la lite-ratura así como los de otros programas de referencia conlosquesevanacalcularlosbeneficiosyloscostos del programa de acuerdo con sus indicadores deresultadooimpactoesperadosdefinidos.

Conelfindedeterminartodosloscostosybene-ficiosinvolucradosenelproyectosegúnArgyrous

(2009), es importante distinguir y catalogar los recursos reales versus los pecuniarios, y los cos-tosybeneficiosdirectosdelosindirectos.Esto,conelfindenocontardosvecesalgúncostoobeneficio.

También se debe tener en cuenta que los costos ybeneficiossedistribuyaneneltiempoconunaunidad de medición válida equivalente. El Treasury Board de Canadá (1998) hace énfasis en que las personas tienen preferencias intertemporales que se deben considerar en el análisis. Por ejemplo, existen un costo de oportunidad asociado con el hecho de recibir los ingresos en el presente o si estos se posponen hasta una fecha futura; asimis-mo, no es lo mismo pagar los costos al comienzo oalfinal.Ademásdeesto,esimportanteteneren cuenta el valor de la unidad de medición que cambiadebidoalainflación,loqueconducealapérdidadelpoderadquisitivo.Lainflaciónylapreferencia temporal son ajustes que se hacen de manera independiente.

Ejemplo:DefinicióndelMarcodereferenciaconceptualparaelprogramaFamiliasenAcción

Marco de referencia conceptual Programa Familias en Acción, componente nutricional10:

En el marco de referencia se enuncian: i) en una primera columna, los impactos potenciales que tiene el subsidio del programa y los indicadores asociados a esos impactos, ii) en la siguiente columna, se discuten, de acuerdo con la literatura económica y su evidencia, los diferentes be-neficiosasociadosallogrodeestosimpactos,enunciandolosmásrelevantes,iii)enlaterceracolumna se hace referencia a los costos, tomando aquellos en los que incurren el Estado y los beneficiarios,comoelcasode loscostosdeoperacióndelprogramaenestecomponenteyloscostosprivadosdelosbeneficiariosparaaccederalossubsidios,finalmente,enunacuartacolumna se hacen observaciones importantes a tener en cuenta para el análisis. A continuación se muestra una tabla resumen de este ejercicio:

10 DAPR, FIP, DNP (2006).


109

ProgramaFamiliasenAcción.Marcodereferenciaconceptualparalaevaluacióncosto-beneficiodel componente de salud y nutrición

Indicadores de impacto medidos con relación

a la población de control (diferencias en

diferencias)

Beneficios Costos Observaciones para el cálculo costo-beneficio

Disminución de los índices de bajo peso al nacer (apli-ca a la población de niños recién nacidos)

• Reducción del cuidado neonatal.

• Reducción de costos de tratamiento de enferme-dades crónicas asociadas al bajo peso al nacer.

• Reducción de la morta-lidad infantil.

• Reducción de los cos-tos de enfermedades de niños.

• Aumento de productivi-dad por mayor estatura.

• Aumento de productivi-dad por mayor destreza.

• Beneficios para las si-guientes generaciones.

• Elindicadordebeneficiomedido en la evaluación (diferencias en diferen-cias) es el aumento en el peso en gramos al nacer en cada grupo de 1000 niños recién nacidos.

• Costos de operación del programa en el subcom-ponente de salud y nutri-ción para recién nacidos.

• Costos privados de los beneficiarios ode susfamilias para acceder a losbeneficios.

• Costofinancieroalterna-tivo de uso de los recur-sos de las transferencias o subsidios (incluye los intereses del crédito externo).

• No se contabiliza el va-lor de los subsidios o transferencias a los be-neficiarioscomocostosdel programa, dado que lo que es un costo para el gobierno es un be-neficioparalasfamiliasbeneficiarias.

• Losbeneficiosycostossonaditivosyse miden durante los primeros años de vida de los niños y durante su vida laboral (18 a 60 años).

• Se descuentan a una tasa constante del 10%.

• Losbeneficiossemidencomounamejora en los ingresos futuros es-perados.

• Los aumentos en ingresos se calculan suponiendo que las personas ganan un salario mínimo durante su vida laboral.

• Elbeneficiodel3erpuntoesdemuylargo plazo y se propone no medir.

• Es difícil separar los costos de ope-ración según cada componente y subcomponente, razón por la cual se efectuará un cálculo separado de beneficiosdecadacomponente,loscuales se sumarán y compararán con los costos totales.

• Para análisis C-B por componentes se presentarán escenarios de asignación de costos a cada componente.

Disminución de los indi-cadores de desnutrición y morbilidad (aplica a los niños de 1 a 6 años)

• Iguales a los anteriores excepto los dos primeros que no aplican.

• Los indicadores de im-pacto son los cambios en el Z score, especialmente en los más vulnerables, o el aumento en talla o peso en cada grupo de 1000 niños participantes en el Programa. También son indicadores la reduc-ción en EDA e IRA.

• Costos de operación del Programa en el subcom-ponente de salud y nutri-ción para niños y niñas hasta seis años.

• Costos de mejora en las IPSs que atienden niños.

• No se contabilizan las transferencias o subsi-dios como costos.

• Costos privados para accederalosbeneficios.

• Losbeneficiosnetospuntos3a6sonsimilares y aditivos a los anteriores.

• Parte de los subsidios son contabi-lizados como costos privados, como es el caso de los costos de transporte para atender las capacitaciones y controles de salud y nutricionales.

• Un aspecto importante para discutir en la evaluación es el supuesto de permanencia en el tiempo de las ga-nancias por mejor nutrición y menor morbilidad.

Fuente: DAPR, FIP, DNP (2006).

7.2.4 Estimar el valor económico de los costosybeneficiosmedianteunametodología preestablecida

De acuerdo con el marco de referencia conceptual presentado, y con la disponibilidad de información,

supuestosyparámetrosadoptadossecuantificanloscostosybeneficiosdeunprogramaentérmi-nos del valor económico que estos representan. En la sección 7.3 se describen con mayor detalle las metodologías más utilizadas para valorar los costosybeneficiosdeunprograma.


110

Ejemplo: Valoracióneconómicadelosbeneficiosasociados al programa Familias en Acción

Componente de nutrición - Programa Fami-lias en Acción11

Elprincipalbeneficiodeestecomponenteson las ganancias salariales futuras de los niñosbeneficiarios,porloqueesimportantedeterminar el impacto promedio del total demenoresbeneficiadosporelprogramaresultadosestadísticamente significativosde mejor nutrición y salud.

Programa Familias en Acción. Impactos y beneficiostenidosencuentaenlaevaluaciónCosto-beneficiodenutrición

Impacto Beneficio

Gramos ganados en mayor peso al nacer: 420 gr. (Para un total de 24,089 niños menores de 1 año)

Incremento del 5% en el in-greso laboral futuro por cada 0.4 Kg. de mayor peso al nacer

Indicador de talla para la edad: 0.25 z-score (Para un total de 251,533 niños entre 0 y 6 años)

Incremento del 2% en el in-greso laboral por un aumento de 0.25 z-score en el indicador


7.2.5 Estimar el valor presente neto

Para poder dar una recomendación es necesario tener uno o varios criterios de decisión. Estos criterios de decisión se encargan de determinar si un programa es rentable o cuál de los programas esmásrentable.Conestefin,secalculaelvalorpresenteneto(VPN)quesedefinecomo:

Definición2-Valorpresenteneto

“Elvalorpresentedetodoslosbeneficios,descon-tados a la tasa de descuento apropiada, menos el valor presente descontado de todos los costos a la misma tasa de descuento. Un VPN es siempre específicoaundeterminadopuntoeneltiempo,

enel iniciodelprograma(t0)oenel momentodel análisis (ta)” (TreasuryBoard, Benefit-CostAnalysis Guide, 1998).

Con el valor presente neto se pueden sumar y/o restartodoslosbeneficiosyloscostosreduci-dos a una misma unidad, para poder tomar una decisión y dar una recomendación. La fórmula para calcular el VNP se presenta a continuación:

VPN = Valor inicial de la inversión +sumadelosVPNdelosbeneficios

de todos los períodos del tiempo –∑VPNdeloscostosdetodoslos

períodos de tiempo.

Ejemplo: Cálculo del valor presente neto para un programa.

Si la inversión inicial de un programa fuera $100ylosbeneficiosfueran$75yloscostos$30 por 3 años a una tasa de descuento12 del 10% el VPN sería13:

VPN = -$100 + ($75 - $30)/(1 + 0,1)1 + ($75 - $30)/(1 + 0,1)2 + ($75 - $30)/(1 + 0,1)3

VPN = -$100 + $40,91 + $37,19 + $33,81

VPN = $11,91

a. Análisis de sensibilidad del valor presente neto

Enlosanálisisdecosto-beneficiolosresultadosestán sujetos a la incertidumbre, por lo cual es importante saber en qué medida puede llegar a influircadavariableenelresultadodelmodelo,yparaestefinseutilizaunanálisisdesensibilidad.Éstesedefinecomo:

Definición3-Análisisdesensibilidad

“Un análisis que determina qué tan sensible es elresultadodelaevaluacióncosto-beneficioalmodificarlosvaloresdeunavariablemantenien-

11 DAPR, FIP, DNP (2006).12 Tasadedescuento:medidafinancieraqueseaplicaparadeterminarelvaloractualdeunpagofuturo.13 TreasuryBoard,Benefit-CostAnalysisGuide,1998,Pág.40.


111

do las demás constantes, buscando dar un mejor entendimiento del programa” (Treasury Board of Canadá, 1998).

Según Medina & Correa (2008) este análisis se debe desarrollar teniendo en cuenta que el comportamiento del programa no es lineal, por lo que si se produce un cambio en alguna de sus variables, es de esperarse que el resto sufran alguna variación, según sea su relación.

b. La incertidumbre y el riesgo en el valor presente neto

SegúnArgyrous(2009),elanálisiscosto-beneficionormalmenterequierelaestimacióndebenefi-cios y costos futuros. Su estimación puede variar de acuerdo con la incertidumbre existente y la de la tasa a la cual se descuenta los valores en diferentes periodos de tiempo. En la sección 7.3 se describen con mayor detalle las herramientas para cuantificar la incertidumbre relacionadacon el riesgo. Se sugiere seguir estos pasos para desarrollar un análisis de riesgo14:

1. Elaborar un modelo para calcular el valor presente neto.

2. Vincular al modelo la información de variables con incertidumbre como sus valores máximos y mínimos y la probabilidad de encontrarse en estos.

3. Correr muchas repeticiones del modelo para obtener resultados del VPN para cada esti-mación.

4. Realizarunatabladefrecuenciaparaidentifi-car el VPN que más se repite y la probabilidad de cada uno.

5. Utilizar una regla o criterio de decisión para dar una recomendación de los resultados obtenidos.

Ejemplo: Cálculo del valor presente neto para el componente de nutrición del programa Familias en Acción15.

Teniendo en cuenta que los mayores ingresos laborales se proyectan en un horizonte de trabajo de los 18 a los 60 años, tomando como base de incremento de ingresos el salario mínimo legal vigente, se ajustan los valores con una tasa de desempleo de largo plazo ponderada según ubicación rural-urbana de losbeneficiariosdelprogramaen7,4%(pro-medio ponderado rural-urbano 2004-2006). Considerandoloanterior,losbeneficiosdelprograma en VP de los impactos de este com-ponente se presentan en la siguiente tabla. El cálculo se realiza en dólares constantes y con una tasa de descuento de 10%.

ValorpresentedelosbeneficiosatribuiblesalPrograma Familias en Acción en su componen-te de nutrición. Valores en millones de US$

Beneficio Valor presente

Distribución porcentual

Ganancias en ingre-sos laborales futuros por mayor peso al nacer

US$ 21,6 19,3%

Ganancias en ingre-sos laborales futu-ros por reducción en desnutrición

US$ 90,2 80,7%

Beneficiostotalesdenutrición US$ 111,8 100,0%


El cálculo de los costos incluye los gastos privados del hogar –como el mayor gasto promedio anual en alimentos- y el gasto adicional en la recepción del subsidio (trans-porte, alimentación, alojamiento, ingreso laboral dejado de recibir). También incluye los costos públicos de administración y de operación del programa teniendo en cuenta el pago de intereses del crédito externo que financióelprograma.

14 TreasuryBoard, Benefit-CostAnalysisGuide,1998,Pág.58.15 DAPR, FIP, DNP (2006).


112

A continuación se muestra el resultado del cálculo de los costos en valor presente.

Valor presente de los costos atribuibles al Programa en su componente de nutrición Valores en millones de US$

Costo Valor presente

Distribución porcentual

VP Costo asociado con la recepción del subsidio del Programa - Compo-nente nutrición

US$ 6,0 8,9%

VP Mayor gasto directo de los hogares en alimentos US$ 52,5 78,0%

VP Costo administrativo del Programa - Compo-nente nutrición

US$ 8,8 13,1%

Costos totales del com-ponente US$ 67,3 100,0%


7.2.6 Estimarlarelacióncosto-beneficio

Cuando se tienen los valores en valor presente neto, tantopara losbeneficios comopara loscostos del programa, se estima la relación costo-beneficio.Estarelaciónseobtienedividiendoelbeneficioobtenidoconelprogramaporelcosto.

Ejemplo: Estimación de la relación costo-bene-ficioparaelprogramaFamiliasenAcciónenelcomponente de nutrición16

Relaciónbeneficio-costo= US$111,8/US$67,3 = 1,66

Los valores de beneficio y costo para el componente de nutrición dan una relación de 1,66. Este valor es alto, aunque está sus-tentado en estimativos conservadores porque noconsideraotrosposiblesbeneficios.Estoquiere decir que por cada dólar invertido en el programa, se obtienen 1,66 dólares de retorno.

7.2.7 Estimar la rentabilidad

Un programa se considera rentable si la relación beneficio/costoespositiva. Además, es necesario compararla con otras estimaciones de rentabilidad de programas similares. En el cálculo de la rentabi-lidad del programa se incluye una explicación de loscostosybeneficiosquesedejaronporfueradel cálculo antes de los cálculos de rentabilidad en valor presente de cada uno de sus objetivos principales con una tasa de descuento.


Los objetivos principales de realizar un análisis costo-beneficiosonproporcionarunamedidaderentabilidad de un programa y permitir elegir la mejor alternativa entre programas similares. De esta forma, después de haber realizado el análisis costo-beneficio,sedebemirarelresultadodelmismo (VPN) y de los programas similares y reco-mendar según sea su criterio o regla de decisión.

Ejemplo: Uso de los resultados de una análisis costo-beneficio

Se tienen 3 programas con los siguientes VPNdelosbeneficiosycostos:programa#1VPNBeneficios=$20,yVPNcostos=$5programa#2VPNbeneficios=$8yVPNcostos=$8,yprograma#3VPNbeneficios=$12 y VPN costos = $1 y la regla de decisión eslarelaciónbeneficio/costo.

Relaciónbeneficio/costodelosprogramasysu VPN se presenta a continuación:

• Programa#1:VPN=$20-$5=$15yrelaciónbeneficio/costo=$20/$5=$4





113

Dadoelcriterioderelaciónbeneficio/costo,serecomiendaelprograma#3;esdecir,ésteesaquelqueproporcionamayoresbeneficiospor cada costo del programa. Es importante resaltar que el programa que genera mayor valorpresentenetoesel#1peroseestátomando la decisión de acuerdo a otro criterio previamentedefinido.

Ejemplo: Uso de los resultados de una análisis costo-beneficio para el programa Familias en Acción en su componente de nutrición17

El cálculo consolidado de rentabilidad del programaincluyelosbeneficiosycostoscalcu-lados en los componentes de nutrición, salud y educación. Se calcula el valor presente neto ylarelaciónbeneficio-costoconunatasadedescuentode10%(valorquereflejaelcostode oportunidad de los recursos invertidos en el programa). En la siguiente tabla se muestran losbeneficiosycostosconsolidados:

Valorpresentedelosbeneficiosycostostotalesdel Programa - Millones de US$

Beneficiosycostostotales Valor presente

Distri-bución porcen-

tual

VP Ganancias en ingresos labo-rales futuros por mayor peso al nacer

US$ 21,6 8,3%

VP Ganancias en ingresos labo-rales futuros por reducción en desnutrición

US$ 90,2 34,8%

VP Ganancias en ingresos la-borales futuros por los años netos ganados en educación secundaria

US$ 147,6 56,9%

VPdelosbeneficiostotalesdelPrograma

US$ 259,4 100,0%

VP Costo asociado con la recep-ción del subsidio del Programa - Componente de nutrición

US$ 6,0 3,7%

VP Mayor gasto directo de los hogares en alimentos US$ 52,5 32,2%

VP Costo administrativo y ope-rativo del Programa – Compo-nente de nutrición

US$ 8,8 5,4%

VP Gasto directo de los hogares en educación US$ 5,6 3,4%

VP Costo asociado con la recep-ción del subsidio del Programa – Componente de educación

US$ 10,6 6,6%

VPGastopúblicoenfinanciarlos costos de educación se-cundariadelosbeneficiarios

US$ 59,4 36,4%

VP Costo administrativo y ope-rativo del Programa - Compo-nente de educación

US$ 20,1 12,3%

VP de los costos totales del Programa US$ 163,0 100,0%


Laproporcióndebeneficiosgeneradosmásaltaeseneducaciónconun57%delosbeneficiosdel programa, mientras que en los costos, los mássignificativossonlosgeneradosporelgas-topúblicoenfinanciarloscostoseneducaciónsecundaria. Finalmente, en la siguiente tabla se resumen los indicadores de rentabilidad del programa por componentes y para el total.

Valor presente neto y relación C-B por compo-nentes y total del Programa - Millones de US$

Indicador Valor

Componente de educación

Valor presente neto US$ 51,9

RelaciónBeneficio-Costo 1,54

Componente de salud y nutrición



Resultados para el total de Programa






114

El análisis consolidado muestra una relación beneficio-costodelprogramade1,59.Estevalor es alto y muestra la rentabilidad del programa. Adicionalmente, presenta un va-lor presente neto de US$ 96,4 millones, los cualessonunbeneficioparalasociedadylasfamiliasbeneficiariasdelprograma.

7.3 Metodologías utilizadas

A continuación se presentan ciertas metodologías utilizadas comúnmente para desarrollar algunas delasetapasdelanálisiscosto-beneficio.

7.3.1 Los enfoques

De acuerdo con el manual de evaluación BOT (2004), existen 3 opciones principales para cons-truirlasrelacionesbeneficio/costo.Lostérminosde referencia del Equipo Evaluador deberán especificarlaopcióndeseada.

a. La primera opción es un análisis cualitativo. Por un lado, consiste en hacer un análisis cualitativode losbeneficios.Algunospro-yectos cuyos resultados sean difíciles de cuantificarpueden requerirunanálisisdeeste tipo. El Equipo Evaluador debe resumir los objetivos, resultados y/o efectos más sig-nificativoslogradosporcadaalternativa.Porel lado de los costos, este análisis consiste en cuantificarloscostosdirectos(presupuesto)del programa, plan o proyecto y hacer una valoración cualitativa de los costos indirectos. Finalmente, se aplica un juicio de valor sobre silosbeneficiostotalessuperanaloscostostotales del proyecto. Dicho juicio puede ser fortalecido con las apreciaciones del Comité Directivo. Las principales debilidades de esta opción es que es muy poco robusta y que se limita a establecer algunas percepciones para emitir sus conclusiones.

b. La segunda opción es el análisis de los bene-ficios y costos directos. Por un lado consiste

enresumirlacuantificacióndelosresultados,efectosy/oimpactoslogradoscomobeneficiode los usuarios directos del proyecto. Para ello se construye un vector con los distintos tiposdebeneficios(financieros,económicos,sociales, medioambientales, políticos). Para esteanálisis,seexcluyenbeneficiosindirec-tos, tales como los que obtendrán futuras generaciones. Por el lado de los costos, se cuantifican loscostosdirectos (presupues-to) del proyecto. Finalmente, se calculan lasrelacionesentrelosbeneficiosycostosy, con base en relaciones comparativas con proyectos similares, se sacan conclusiones acercadesiengenerallosbeneficiosdirectossuperan a los costos directos. Este análisis es más robusto que el anterior y puede realizarse para los proyectos cuyos resultados puedan ser cuantificados. Sin embargo,mantienealgún elemento de juicio de valor por parte del Equipo Evaluador. Al igual que con la opción anterior, puede ser fortalecido con las consideraciones del Comité Directivo.

c. La tercera opción es la evaluación econó-mica de proyectos, también conocida como evaluación social de proyectos. En ella, tanto losbeneficioscomoloscostosdecualquiertipo(financiero,económico,social,medioam-biental, político) son convertidos en variables pecuniarias con el uso de metodologías tales como la disponibilidad de pagar18, entre otras. Se pueden incluir en el análisis tanto los bene-ficiosycostosdirectoscomolosindirectos19. Son de crucial importancia para este tipo de análisis las correcciones de precio sombra para elementos como la tierra, la mano de obra y los bienes importados, los exportados y los no intercambiables. El resultado de este tipo de análisis es una tasa de retorno económico o social. Si la tasa supera ciertos rangos acep-tados comúnmente por diversos sectores o tipos de proyectos, se considera que tiene unarelaciónbeneficio/costoaceptable.Estaopción es la más robusta y, aunque incluye muchos supuestos, éstos se hacen de una maneraexplícitaconunajustificacióntécnica

18 En inglés el término es willingness to pay.19 Los costos indirectos también son referidos como costos de oportunidad.


115

que puede ser abiertamente discutida. Sus debilidades principales radican en que no todas las personas están dispuestas a aceptar que se apliquen valores monetarios a ele-mentos como un árbol, un bono alimenticio o aún una vida humana. Adicionalmente, se ha comprobado que el ser humano puede tomar decisiones con un vector de variables por lo cual no es necesaria la conversión del mismo en una única medición pecuniaria20.

Es posible que las tres opciones presentadas no sean mutuamente excluyentes –dadas las parti-cularidades de la disponibilidad de información y del diseño mismo del proyecto- y el Equipo Evaluador opte por hacer uso de las tres opciones.

7.3.2 Herramientas para construir alternativas susceptibles de comparación

De acuerdo con el Treasury Board de Canadá (1998), para estandarizar alternativas compara-bles, es importante tener en cuenta factores como el tiempo, la escala y los recursos ya poseídos. A continuación se explican cada uno de estos factores.

• Estandarizar por tiempo: cuando dos alter-nativas tienen duraciones o se dan en hori-zontes de tiempo diferentes, éstas deben ser estandarizadas para poder ser comparadas. Para ello, normalmente se utiliza el horizonte de tiempo más largo para ambas o se llevan a una escala de tiempo comparable que incluya loscostosybeneficiosentodalaventanadetiempodefinida.

Ejemplo: Estandarización por tiempo de dos alternativas.

Se tiene un programa de reforestación que dura 6 años y un programa de siembra de palma que dura 4 años. Para poder comparar la alternativas sería válido:

• Comparación#1:4reforestacionesvs.6siembras de palma (horizonte de tiempo de 24 años)

• Comparación#2:2reforestacionesvs.3siembras de palma (horizonte de tiempo de 12 años)

Con horizontes de tiempos iguales se pueden comparar las alternativas de forma justa.

• Estandarizar por escala: consiste en tener alternativas que necesitan diferentes niveles de inversión, por lo cual los resultados del VPN se deben ajustar según una escala que represente niveles de inversión equivalente para compararlas.

Ejemplo: Estandarización por escala de dos alternativas

Se tiene un programa de reforestación con una inversión de $100 y un programa de siembra de palma con una inversión de $50. Para poder comparar las alternativas sería válido:

Comparación: reforestaciones vs. 2 siembras de palma (Inversión de $100 para ambas alternativas)

Con escalas de inversión similares se pue-de comparar los VPN de las alternativas de forma justa.

• Estandarizar por componentes ya poseídos: en este caso, si la inversión por parte de la entidad incluye recursos que ya son de su propiedad, el análisis realizado debe incluir lo que pasaría con este recurso en cada una de las alternativas de inversión.

20 Por ejemplo al comprar un carro una persona tiene en cuenta variables como el color, el diseño y los caballos de fuerza además del precio. Para la toma de su decisión no otorga un valor monetario a cada una de estas variables.


116

Ejemplo: Estandarización por componentes ya poseídos de dos alternativas21

Si el gobierno posee un inmueble y una de las alternativas es renovarlo, el análisis de cada una de las alternativas debe incluir lo que pasa con el inmueble. Para poder comparar las alternativas es necesario tener en cuenta los siguientes aspectos de este tipo de bienes:

• No necesariamente tienen la tasa estándar de retorno.

• No son elementos que no tienen costo.

• Es necesario incluirlos en todos los esce-narios, no solamente en el que son más relevantes.

7.3.3 Herramientas para valorar costos y beneficios22

Loscostosybeneficiosdeunporgramasepue-den valorar por medio de varias herramientas, las cuales se pueden utilizar de forma simultánea o independiente. Entre éstas se encuentran:

a. Valorarcostosybeneficiospormediodelvalor de mercado: consiste en otorgarle el valorquecadacostoobeneficio tieneenel mercado, ignorando cualquier otro valor agregado que tenga para el consumidor o beneficiariodelprograma.

b. Superávit del consumidor y productor como componente adicional de valor: esta herra-mienta parte de la idea que el valor de mer-cadootorgadoaunbeneficioouncostoeselmínimobeneficiosocialproducidoporelresultado de un programa, dado que, de hecho, algunos consumidores estarían dispuestos a pagar más por el resultado del programa que su precio de mercado. De igual forma, el productor podría incurrir en este superávit al estar dispuesto a producir lo mismo por un

valor menor al precio de mercado, obteniendo una ganancia adicional a la esperada.

c. Valorarcostosybeneficiosconpreciosdemercado posiblemente distorsionados: cuan-do los precios de mercado existen pero están distorsionados por alguna razón, se debe realizar una estimación de cuál sería el precio demercadosinestadistorsión.Esto,conelfinde ajustar los precios de mercados actuales. Algunas situaciones en que los precios se encuentran distorsionados son:

• Cuando la moneda está valorada erró-neamente por efectos de los controles de cambio extranjeros.

• Cuando los salariosestán infladosporunionesartificialesolalegislación.

• Cuando existen condiciones anti-com-petencia como los monopolios.

• Cuando los impuestos o tarifas son aplica-dos directamente a los bienes o servicios.

• Cuando el gobierno subsidia o regula los precios.

d. Valorarcostosybeneficioscuandonoexistenprecios de mercado: los valores de los costos obeneficiospuedenserdifícilesdecalcularcuando no existen precios de mercado que reflejenelvalordelbienoservicio.Algunosejemplos de estos casos son:

• El valor de ahorrar tiempo de viaje.

• El valor de seguridad y salud.

• El valor del medio ambiente.

• El valor de la creación de trabajos.

Para cada uno de estos, se debe estimar un valor demercadoquerepresenteelcostoobeneficiodel mismo. Para lo anterior, se sugiere revisar

21 Ejemplo del documento del Treasury Board (1998).22 Treasury Board, Benefit-CostAnalysisGuide,1998.


117

bibliografíacomo:“Benefit-CostAnalysisGuide”(1998), Argyrous (2009), UNICEF (2008).

Algunas recomendaciones para valorar costos y beneficioscuandonoexisteunpreciodemercado:

• Cuando no existan precios de mercado o estos estén distorsionados, los métodos principales para estimarlos están basados en la disposi-ción de pago del consumidor o disposición de venta del productor.

• Los métodos de dar valor económico a los costosybeneficiospuedenseraprendidosencorto tiempo. Por otro lado calcular el costo obeneficioespecíficoesuntemainfinitoyse debe mirar con cuidado en cada caso.

• Los libros y la literatura pueden proveer aproximaciones y valoraciones de costos o beneficiosparaloscualesexistenvaloresdemercado o métodos de estimarlos de fácil cálculo.

7.3.4 Herramientasparacuantificarlaincertidumbre relacionada al riesgo23

Existen tresaproximacionesparacuantificar laincertidumbre y el riesgo en la evaluación costo-beneficio:

a. Valor esperado: Se calcula para costos y beneficio suvaloresperadooequivalentecertero teniendo en cuenta las probabilidades de que obtenga uno u otro valor.

Ejemplo: Valor Esperado

Se tiene un VPN de $100 con una probabilidad del 60% y un VPN de -$50 con una probabili-dad del 40%. De acuerdo a esta información, el valor esperado del programa sería:

E(VPN) = (0,6) ($100) + (0,4)(–$50)

E(VPN) = $60 + (–$20)

E(VPN) = $40

Según el valor esperado calculado, se reco-mendaría realizar el programa dado que el valor esperado del VPN es positivo.

Por medio de los valores esperados se plantean posibles escenarios para las diferentes alterna-tivasysebuscaidentificaraquellaconelmayorvalor esperado del VPN.

b. Tasa de descuento ajustada por el riesgo: es la tasa básica más un componente extra ajustado por el riesgo; para ajustar los dife-rentesbeneficiosocostosenloscualessepuede incurrir en el tiempo.

c. Análisis de riesgo a través de una simula-ción: esta es la única herramienta práctica para trabajar el riesgo y la incertidumbre. La simulación permite predecir los posibles resultados de un modelo de análisis de costo-beneficio,dadaslasvariablesqueafectanlosresultados. Este proceso permite una visión más completa para poder generar una reco-mendación del programa o sus alternativas. Para realizar esta simulación es necesario un software especializado que debe cumplir dos funcionesespecíficas:

– Seleccionar el set de valores para varia-bles inciertas, acorde con las probabili-dades obtenidas del análisis de los datos de estas mismas variables.

– Utilizar los sets de datos de las variables inciertas para correr el modelo y calcular y analizar los posibles resultados del análisiscosto-beneficio.

23 Treasury Board, Benefit-CostAnalysisGuide,1998


118

7.4 Estudio de caso: Familias en Acción24

Resumen Programa Familias en Acción

Nombre de la evaluación

Familias en Acción: Impactos en capital humanoyEvaluaciónBeneficio-Costodel Programa

Consultor Unión Temporal Econometría-SEI-IFS

Fecha de con-tratación Febrero de 2002

Fechadefinali-zación Diciembre de 2006

Costo USD $2.000.000

7.4.1 El Programa

A continuación se explica un poco más el programa ylasconclusionesdelanálisiscosto-beneficiodelejemplo mencionado a lo largo del documento.

El Programa Familias en Acción fue concebido inicialmente como parte de una estrategia del Gobierno Nacional, con acciones específicas sobre la población más pobre del país, con el findeincrementarsuniveldevida.Enparticular,busca elevar los niveles de salud y nutrición de los niños de las familias más pobres (Sisbén 1). El Programa tiene dos componentes de subsidios, uno nutricional y otro escolar: Finalmente, todos los pagos son entregados a las madres titulares de los núcleos familiares inscritos en el Programa.

En un primer paso, el Programa se focalizó en los municipios de menos de 100.000 habitantes. Las condicionesparaestacalificaciónincluyerontam-bién: a) que no fueran capital de Departamento; b)quetuvieransuficienteinfraestructuradesaludy educación; y c) que tuvieran alguna entidad ban-caria. En cada municipio, se consideraron elegibles paraelProgramatodosloshogaresclasificadosen

el nivel 1 del Sisbén a 31 de diciembre de 1991 y que tuvieran niños de 0 a 17 años. A partir de 2006 el Programa se amplió a otras ciudades y en 2008 se presentaron esquemas diferenciales y ampliación del programa a población desplazada.

Municipios atendidos

Año Municipios atendidos Esquema de atención

2002 691 Tradicional

2006 848 Tradicional

2008 1091 Esquemas25

Fuente: Programa Familias en Acción (2008)

7.4.2 La evaluación

El objetivo de la evaluación fue captar los impactos enlapoblaciónbeneficiariadelProgramaFamiliasen Acción en temas de educación, salud, nutrición, oferta laboral, pobreza, ingresos, focalización del programa, consumo y realizar un análisis riguroso deBeneficio-Costo(B-C)delprograma.

La metodología empleada fue de carácter cuasi experimental y se basa en la comparación de los hogaresquerecibieronelbeneficiodelprograma“beneficiarios”(Grupo Tratamiento) y con hogares que no recibieron el programa (Grupo Control).

Los datos recolectados de entrevistas con 11.500 hogarespermitieroncomparargruposdebenefi-ciariosynobeneficiariosendiferentesmomentosdel tiempo (2002, 2003 y 2006), mediante las técnicas más rigurosas y avanzadas de evaluación. Adicionalmente, se recolectó información de las condiciones de los municipios, sus escuelas y sus establecimientos de salud, y sobre otra variedad de instituciones.

24 Sistema Nacional de Evaluación de Resultados de la Gestión Pública (2007).25 La intervención con esquemas se implementó a partir de 2008 y busca dar un tratamiento diferencial de subsidios de acuerdo a los

tamaños de grandes centros urbanos en los cuales se realiza en estos momentos la ampliación del Programa Familias en Acción. La idea que está detrás de una intervención de este estilo es la de establecer cuál esquema es el más efectivo.


119

Esquema de subsidios

Tipo de subsidio Monto de sub-sidio

Edad de atención

Beneficiariosa2007 Condición

Nutricional $46.500 0-6 años 1.680.005 niños menores de 7 años

Asistencia a controles de crecimiento y desarrollo

Escolar primaria $14.000 7-11 años 1.118.831 entre 7 y 12 años Asistencia Escolar

Escolar secundaria $28.000 12-17 años 960.783 jóvenes entre 12 y 17 años Asistencia Escolar

Fuente: Programa Familias en Acción (2008).

7.4.3 AnálisisCosto-Beneficio

• Los resultados muestran una relación bene-ficio-costo(B-C)globalparaelProgramade1,59 y un valor presente neto de US$ 96,4 millones. Ambos valores son altos, a pesar de las previsiones realistas y conservadoras adoptadas para su cálculo. Esto demuestra la alta conveniencia y oportunidad que tuvo la destinaciónderecursospúblicosafinanciarFamilias en Acción.

• En nutrición, la evaluación muestra una rela-ción B-C de 1,66.

• Ennutrición,losbeneficiospormayornutri-ción de los niños de 1 a 6 años son más de cuatro veces mayores que los derivados de un mayor peso al nacer.

• Losbeneficiosdeeducación(56,9%deltotal),son ligeramente mayores a los de nutrición. La razón de la alta rentabilidad del componente deeducaciónseencuentraenlasignificativageneración de mayores años de escolaridad en secundaria rural y urbana que muestra como impacto neto el Programa, factor que se compara muy favorablemente con el costo de lograrlos.

Evaluación institucional

CAPÍTULO VIII C

ap

ítu

lo V

III

Kavram

123

Un programa necesita de una institucionalidad eficientequelepermitacumplirconsumisiónysus objetivos. No sólo es importante entender y documentar los resultados del programa frente asusbeneficiarios,sinotambiéndocumentarsuoferta, la cual depende del desempeño de los individuos y la institucionalidad1 responsables. Estudiar las razones por las cuales falla la capaci-dad institucional en los programas permite mejorar su gestión y proveer de manera más efectiva sus bienes o servicios.

Dentro de este marco, la evaluación institucional se ubica en la ejecución de corto y mediano plazo del programa, situándose más adelante en el ci-clo del programa que la evaluación de procesos u operaciones (ver capítulo de Generalidades). No se trata sólo de examinar los procedimientos de gestión de la institución, sino también deter-minar si estos llevan al logro de los objetivos planeados. Además, para su análisis, se sitúa el programa dentro de un sistema y contexto más amplios, no solamente el de una organización responsable.

Para el desarrollo de una evaluación institucional, al igual que para llevar a cabo cualquier tipo de evaluación, es necesario entender la lógica con la que se creó e implementó el programa, su misión, visión, objetivos y cada uno de sus componentes.

Pero además, es importante conocer las reglas legales, normas, relaciones interinstitucionales y arreglos que inciden en su implementación.

Las instituciones, como reglas de juego en una so-ciedad, son sistemas de ejecución de las políticas que estructuran los incentivos en la interacción entre los individuos, reduciendo la incertidumbre y enesamedidainfluyendoeneldesempeñodelaseconomías (atravésdeloscostosdetransacción).DouglasNorth(1996)definealasinstitucionescomo las reglas del juego y a las organizaciones como los jugadores.

La institucionalidad que soporta un programa puede tener uno o varios actores involucrados en su coordinación y ejecución:

• Entidades del gobierno (ministerios, progra-mas, hospitales, colegios, entidades nacio-nales, regionales y locales, etc.).

• Organizacionesdelsectorprivado(financie-ras, negocios, grandes, medianas y pequeñas empresas, etc.).

• Organizaciones no gubernamentales (ONG´s) locales, nacionales e internacionales y otras organizaciones civiles.

• Cooperativas comunitarias.

1 Enestedocumentoseutilizanlostérminos“institucionalidad”y“capacidadinstitucional”conelmismosignificado.


124

• Redes o asociaciones de organizaciones.

• Partidos políticos.

La evaluación institucional, entonces, es un tipo de evaluación que permite medir el grado de capacidad institucional que se tiene para llevar a cabo determinado programa.

La capacidad institucional o institucionalidad de un programa incluye las reglas legales (ej. regulación de empleo y adquisiciones), las normas entendidas (ej. de igualdad de oportunidades o competencia abierta), la gobernabilidad (ej. rendición de cuentas democrática y división de responsabilidades entre gobierno y sociedad civil) al igual que los arreglos administrativos y organizacionales (ej. estructura y recursos de organizaciones)2.

Los principales objetivos de una evaluación institucional son:

• Determinar el grado de capacidad institucio-nal actual del programa para llevar a cabo acciones futuras.

• Identificarlasfortalezasdelainstitucionali-dad así como los obstáculos y debilidades a remover o eliminar.

• Incrementar la efectividad del programa en la provisión de los productos y el logro de su misión.

• Establecer los efectos de las reformas es-tructurales en la capacidad institucional del programa para alcanzar sus objetivos y utilizar sus recursos.

• Fortalecer la capacidad institucional mediante la mejora del desempeño de las entidades en diversos aspectos como: funciones ad-ministrativas y de gestión, efectividad en la

provisión de los servicios, estructura, cultura organizacional y sostenibilidad3.

Algunos Tips

Existen similitudes y diferencias entre la evaluación de procesos y la evaluación ins-titucional:

• Las dos hacen un análisis del uso de los recursos del programa de acuerdo con los objetivos y resultados planeados.

• Sin embargo, la evaluación de procesos hace un análisis de los procesos de-sarrollados en determinado programa, estudia si se están llevando a cabo y de qué manera afectan el logro de los productos y los resultados (ver capítulo de Evaluación de Procesos).

• La evaluación institucional, por otro lado, hace un análisis de la capacidad institu-cional para cumplir con el objetivo de un programa, lo que incluye examinar las reglas del juego, factores exógenos y endógenos a la entidad, políticas de desarrollo institucional y organizacional, actores, procesos, actividades, objetivos yflujosderecursos,entreotros.

De esta forma, las principales preguntas a la que responde son:

• ¿Qué capacidad institucional tiene el programa para cumplir con sus objetivos?

• ¿Es la capacidad institucional del programa viable o sostenible?

• ¿Cómo está funcionando la capacidad insti-tucional? ¿Entrega servicios de calidad y de maneraeficiente?

• ¿Qué debilidades u obstáculos tiene la ins-titucionalidad para cumplir con la misión del programa?

2 Evalsed (n.d).3 USAID, Center for Development Information and Evaluation (2000).


125

• ¿Qué tarea o actividad de la institucionalidad no está funcionando como debería? ¿Por qué?

• ¿Entiende y opera la capacidad institucional con el entorno?

• ¿Qué cambios se requieren para que mejoren los aspectos de la capacidad institucional que presentanundesempeñodeficiente?


La evaluación institucional se hace en la etapa ex-post del programa, en la que el diseño del programa se ha completado. Permite evaluar si la institucionalidad es apta para la implementación y entrega de los bienes y servicios planeados. Los indicadores de desempeño para evaluar la capa-cidad institucional se pueden recoger de manera periódica a través de un sistema de seguimiento, que sirve como insumo para la evaluación.

La evaluación institucional se caracteriza por:

• Determinar dónde o por qué un área o acti-vidad no está funcionando y plantear correc-tivos.

• Analizar actores, procesos, actividades, obje-tivos,flujosderecursosyfactoresexógenosy endógenos a la entidad.

• Establecer una línea de base para proponer metas de mejoramiento de la capacidad institucional.

• Identificarsilaspolíticasdedesarrolloinsti-tucional y organizacional generan incentivos hacia la productividad y mejor uso de los recursos.

• Realizarse en el mediano plazo.

Por lo tanto, una evaluación institucional es per-tinente cuando, entre otras:

• Se tiene un programa que funciona con la intervención de varias organizaciones o de múltiples áreas en una misma entidad y se

quiere saber cómo están afectando las rela-ciones inter o intra institucionales el logro de sus resultados.

• Se quiere examinar el adecuado cumplimien-to de las reglas de juego establecidas que influyeneneldesarrollodelprogramaydesus resultados.

• Se quieren tomar decisiones estratégicas acerca del fortalecimiento institucional y de gestión de un programa.

• Se quieren tomar decisiones organizacionales en un programa.

• Sequierentomardecisionesfinancierasenun programa.


Escoger la metodología para el desarrollo de una evaluación institucional depende de lo que se desea evaluar dentro de la institucionalidad de un programa. Sin embargo, existen unos pasos comunes que deben estar claros antes de aplicar una técnica de análisis:

• Identificar laperspectivade laevaluacióninstitucional.

• Especificar la unidadde análisis: nivel depolítica, organización, programa, proyecto, actividad, tarea.

• Determinar la metodología a utilizar para el análisis.

• Plantear y desarrollar las herramientas de levantamiento de información necesarias.

8.2.1 Perspectiva de la evaluación

Enprimerlugar,esimportantedefinirdesdequéperspectiva se va a abordar la evaluación:

• ¿Es el objetivo evaluar la capacidad institu-cional de una organización o un grupo de organizaciones para lograr una misión común?


126

¿Se van a medir los productos y resultados que esta institucionalidad provee? En este caso, la capacidad institucional es el medio para lograr los resultados esperados, los cua-les se miden con indicadores cuantitativos y cualitativos. Se recomienda desarrollar una evaluación institucional complementada con una de productos o resultados.

• ¿Se va a examinar cómo funciona la estructura organizacional interna y cómo se encuentran distribuidas las funciones del programa? Esta evaluación se puede complemetar con la revisión de los procesos internos de cada componente(recursoshumanos,financieros,administrativos, etc.) de las organizaciones involucradas. Este enfoque de evaluación per-mite mejorar el funcionamiento organizacional y, de esta forma, la entrega de los productos. En este caso se recomienda desarrollar una evaluación institucional complementada con una evaluación de procesos.

• ¿Se va a hacer el análisis del uso de determi-nados recursos como leyes, reglas, normas o relaciones interinstitucionales?

• ¿Sevaaevaluar la capacidadfinanciera yfísica de las agencias ejecutoras, su viabilidad y sostenibilidad?

• ¿Se van a revisar las políticas de personal, sistema de recompensas o capacidad indi-vidual de los participantes en las agencias involucradas en el programa?

Para las tres últimas se recomienda desarrollar una evaluación institucional del programa en el aspecto enunciado.

8.2.2 Unidad de análisis

Para determinar la unidad de análisis se profun-diza un poco más en la perspectiva de la capa-cidad institucional a evaluar, de acuerdo con los siguientes elementos:

• Información sobre el programa a evaluar.

• Alcance de evaluacioón determinado por la perspectiva.

• Tiempo disponible para la evaluación.

• Recursos disponibles para la evaluación.

Conlaayudadeestosinsumosseidentificasiesposible analizar cada tarea implicada en el logro de los resultados o si, ante la falta de tiempo/recursos, se puede hacer el análisis a nivel de actividad, programa o de organización involucrada.

Según la perspectiva del análisis de la capacidad institucional se puede acotar la información que se necesita de la siguiente manera4:

a. Análisis de la capacidad institucional a nivel micro (individuo): la información necesaria para este nivel hace alusión al recurso hu-mano dentro de la organización, programa o política. Entre ésta se encuentra:

• Motivación de los individuos en la insti-tución.

• Misión y objetivos del trabajo realizado por los individuos en la institución.

• Incentivosfinancierosynofinancieros.

• Habilidadesyperfilesdelosindividuosde la organización.

b. Análisis de la capacidad institucional a nivel de la(s) organización(es): la información nece-saria se centra en la capacidad de gestión, y el desempeñodetareasyfuncionesespecíficas.Es importante tener información sobre:

• Misión de la(s) organización(es).

• Procesos y funciones que realiza(n), como los hace(n) y cuáles son sus resultados.

4 Rosas (2008). “Una ruta metodológica para evaluar la capacidad institucional”. Revista: Política y Cultura. Vol. 30. Págs. 119-134. México.


127

• Relaciones entre organizaciones y otros programas.

• Recursos (físicosyfinancieros)con losque cuenta(n) para cumplir con sus tareas y funciones.

c. Análisis de la capacidad institucional a nivel macro (contexto institucional): se requiere información de la(s) organización(es) y su rela-ción con el entorno en el que se desempeña(n):

• Régimen jurídico que rige el sector (nor-mas, leyes, cambios legales, reformas constitucionales, etc.).

• Régimen económico.

Deestamaneraseidentificalaunidaddeanalisisy se delimita el tipo de información que ésta re-quiere, para proceder a seleccionar la metodología de análisis y las herramientas de levantamiento de información.

8.2.3 Metodología de análisis

A partir de la información de insumos, actividades, productos, resultados e impactos del programa, es necesarioidentificarlametodologíaadecuadaparael análisis de los componentes de la capacidad institucional. El evaluador debe hacer un balance de los objetivos y el alcance de la evaluación, de la perspectiva y la unidad de análisis y escoger una metodología apropiada poder establecer de quémanerainfluyólacapacidadinstitucionaldelprograma en el logro de sus objetivos.

Por ejemplo

Este ejercicio se puede ver en la evaluación de la capacidad institucional del Programa de Apoyo al Fortalecimiento de la Procuraduría General de la Nación (PGN)5, que analizo los cambios en las habilidades de la Procuraduría para ejercer de una mejor manera sus funciones misionales. La evaluación encontró los factores que explicaban la obtención de los resultados del Programa en la PGN,

pero adicionalmente se requirió que la evaluación analizara cómo estos resultados fueron factores generadores de un mejor estado de desarrollo institucional. En consecuencia, se desarrolló una evaluación de resultados en conjunto con la insti-tucional. Para información más detallada acerca de la evaluación, se recomienda ver el documento de Evaluación Final del Programa.

Por otro lado, vale la pena recalcar que la informa-ción que es necesaria levantar también depende de la metodología escogida para realizar la eva-luación institucional, como se verá más adelante en la seccion 8.3 (Metodologías).

8.2.4 Levantamiento de información

Existen diferentes métodos de recolección de información que dependen del tipo de infor-mación requerida y de los recursos disponibles. En este tipo de evaluación se puede usar infor-mación tanto de la oferta como de la demanda del programa. En el anexo 11.1 se presenta una tabla que resume las tecnicas más utilizadas por el PNUD, que se adaptan en gran medida a los métodos utilizados en seguimiento y evaluación.

Entre ellos existen algunos métodos que son par-ticipativos e incluyen a gran parte de los actores involucrados en la organización durante su imple-mentación. Esto crea un sentido de pertenencia y promueve acciones conjuntas que pueden ser más sostenibles que acciones tomadas de manera individual. Sin embargo, estos métodos demandan mayor esfuerzo y dedicación de tiempo, así como un aplicado estudio de los actores involucrados para que todos se encuentren debidamente re-presentados. Por lo general, para complementar este análisis interno se incluye un enfoque de laspercepcionesque tienen losbeneficiariosynobeneficiariosdelprogramaencuantoasucapacidad institucional.

Una vez se conoce el tipo de información que se necesita para determinar la evolución de las tareas, actividades, programas u organizaciones, esimportanteplantearlamaneramáseficientede

5 PGN, BID, DNP (2008).


128

recolectarla dentro de las restricciones existen-tes, aspectos como: el tipo de organización, si la evaluación se va a hacer interna o externamente y la disponibilidad de información secundaria, archivos, información primaria como encuestas o grupos focales, etc.

8.2.5 Análisis de la información

Después de tener la información de cada unidad de análisis recolectada, se examina mediante la metodología si la capacidad institucional cumplió los objetivos planteados, haciendo explicitas cuá-les son sus debilidades y fortalezas. Es posible que sedesarrolleunatriangulación,loquesignificael uso de tres o más perspectivas estadísticas distintas, cualitativas o cuantitativas.


El uso de los resultados en este tipo de evalua-ciones al interior de la(s) institución(es) permite:

• Estudiar tanto los aspectos organizacionales como los estructurales que interviernen en el logro de los objetivos del programa.

• Identificarlacapacidadinstitucionalactualpara lograr ciertos objetivos o entregar de-terminados productos6.

• Encontrar puntos débiles e implementar cambios en la organización.

• Formular actividades, procedimientos o nuevas estructuras institucionales para optimizar la entrega de productos.

• Comparar las diferentes organizaciones que prestan el servicio.

• Proponer correctivos en las relaciones orga-nizacionales.

• Mejorar la entrega de bienes y servicios.

8.3 Metodologías utilizadas

La selección de la metodología depende de ciertos factores7:

• Tipo de organización u organizaciones dentro de la institucionalidad a evaluar.

• Facilidad de comparación entre organiza-ciones.

• Facilidad de comparación en el tiempo.

• Modo de recolección de información.

• Objetividad de los instrumentos de medición.

• Uso de medidas cuantitativas y/o cualitativas.

• Evaluación es interna o externa.

• Practicidad y simplicidad de las medidas.

A continuación, se presentan unas de las meto-dologías más conocidas para la evaluación de la capacidad institucional.

8.3.1 La metodología SADCI

El Sistema de Análisis de Capacidad Institucional (SADCI) fue creado por Alain Tobelem8 con el objetivo de:

“Identificarelgradodecapacidad institucionalactual para llevar a cabo determinadas acciones; evaluar los obstáculos y debilidades a remover o eliminar y establecer las acciones y planes reque-ridos para ello”9.

8.3.1.1 El proceso

La metodología propone examinar el programa con una estructura similar a la del marco lógico o cadena de resultados, lo que implica10:

6 CNC para DEPP, DNP (Mayo 2010).7 USAID, Center for Development Information and Evaluation (2000).8 Véase Alain Tobelem (1992). 9 Ozlak y Orellana (2000).10 Para mayor detalle y explicación acerca de la metodología, ver Ozlak y Orellana (2000).


129

• Determinar el objetivo general del programa u organización analizada: establecer lo que el programa contribuye a lograr en el mediano o largo plazo.

• Plantear los objetivos particulares de cada componente del programa u organización: comprobar si contribuyen al objetivo ge-neral y si se pueden medir con indicadores cuantitativos (ej: ¿cuánto se va a entregar?), cualitativos (ej: ¿para qué?) o cronológicos (ej: ¿cuándo?).

• Describir las actividades o subcomponentes de cada objetivo:estossondefinidoscomo“el conjunto de procesos que permiten la transformación de los insumos básicos del proyecto en productos concretos”11.

• Detallar las tareas de cada actividad o sub-componente:éstassondefinidascomo“ac-ciones, asignadas a una agencia o individuo responsable,confechadefinalizaciónprecisay un producto intermedio concreto”12.

La formulación de objetivos, actividades y tareas del programa es clave en la evaluación, pues va a permitiridentificarlosproblemasqueseencuen-tran en cada uno de los niveles. A partir de allí, la metodología señala las condiciones a resolver para que las tareas y actividades se puedan desarrollar exitosamente,pueslapresenciadedificultadesva a repercutir en el logro del objetivo. De esta forma,sedescubrenlosdéficityseproponeunaestrategia para superar la brecha de capacidad.

Paralocalizarlosdéficit,seaplicanentrevistasyen-cuestas a los actores clave de la(s) organización(es) involucrada(s), que posteriormente se transcriben en varios formularios o un softwareespecífico.Esto posibilita presentar la información de manera estructuradayclasificarlosdéficitencontradosen el programa.

A continuación, se muestra un ejemplo del tipo de formularios de acuerdo con los niveles a ana-lizar. En primer lugar, está el Formulario A donde sedescribenlosobjetivosespecíficos,cadaunode los indicadores cuantitativos que les hacen seguimiento,elimpactoesperadoylosbenefi-ciarios directos o indirectos.

FormularioA:Objetivosespecíficos13

Empresas pequeñas y medianas en áreas tradicionalmente dinámicas y exportadoras asistidas por el programa.

1800 empresas que pasaron a exportar como resultado de proyectos integrales de exportación y algún porcentaje adicional quedan vinculadas de alguna forma con elmercado trasnacional.

Aumentodelacantidaddeempresascertificadasinternacionalmente.Generación de una cultura exportadora (efecto imitación).Diversificacióndemercados/productos.

Beneficiarios• Empresariosyempleadosdelasexportadorasydelosserviciosdeconsultoria.• Fisconacionalyprovincial.• Cámaras

ObjetivoEspecífico Formulario A

Indicadores Cuantitativos

Impacto Esperado

Beneficiarios/víctimas

0104

Fuente: Ozlak y Orellana, 2000.

El Formulario B descompone los objetivos espe-cíficosenactividades.

Formulario B: Actividades porobjetivosespecíficos

Empresas pequeñas y medianas en áreas tradicionalmente dinámicas y exportadoras asistidas por el programa.

240.000 h/h y un número de h/h a determinar destinadas a estudios de prefactibilidad de proyectos de reconversión presentados por los PYMES y para la preparación de proyectos integrales.

DescripcióndelObjetivoEspecífico Formulario B01:00

01:0201:0301:0401:0501:0601:0701:0801:0904:0004:0104:0204:0304:0404:0504:0604:0704:08

Código de Actividad:Descripción de Actividad

01

01:01


El Formulario C desagrega las tareas de cada ac-tividad con un gran nivel de detalle: el producto esperado, la fecha de conclusión, las unidades responsables y un resumende los déficit decapacidad. Esta minuciosidad es la que permite

11 Ozlak y Orellana (2000).12 Íbidem.13 Elobjetivotambiénpuedeempezarconunverboeninfinitivo,sinembargo,paraserfielalejemplo,setomademaneraliteraldel

documento de Ozlak y Orellana (2000).


130

determinarlosdéficitquesemanifiestanenlosproblemas existentes en la ejecución de tareas, dado que “si éstas no se encuentran detalladas al máximo, es probable que escondan problemas u obstáculos de diferente gravedad”14.

Formulario C: Tareas por Actividad

240.000 h/h y un número de h/h a determinar destinadas a estudios de prefac-tibilidad de proyectos de reconversión.

Descripción de la actividad Formulario C

01.01.005Código de Tarea:Descripción de Tarea

En función de los proyectos presentados luego de la campaña publicitaria prevista, se derivan a esta actividad los

Producto Esperado

Inserción y establecimiento del vínculo entre la empresa y el Programa.

Unidades Responsables

Fecha de conclusión:

09 PYME X.X. 10 Ejecutivo de cuenta

SumariodeDéficitdeCapacidad:DCI 1: [ S ] DCI 2: [ S ] DCI 3: [ S ]DCI 4: [ S ] DCI 5: [ S ] DCI 6: [ S ]

01.01.

010.015.020.025.

02.005.010.015.020.

03.005.010.015.020.

04.005.

005.


Con una revisión meticulosa de los obstáculos que impiden la terminación de las tareas, se identificanlosprincipalesproblemasysuscausas.

Alfinal,seproponenlasestrategiasparalasupe-ración de las brechas existentes entre lo planeado y el actual cumplimiento de tareas, actividades y objetivos.

Este ejercicio se puede complementar con en-cuestasalapoblaciónbeneficiariadelprograma,con el propósito trazar la ruta crítica de imple-mentación del programa evaluando la coherencia entre el análisis de oferta y el de demanda. Esta metodología propone orientar el análisis a tres tipos de escenarios en la aplicación del programa:

• Casos exitosos.

• Casos promedio.

• Casos no exitosos.

Con base en los insumos mencionados se esta-blecen las fortalezas, debilidades y oportunidades para lograr el éxito de la aplicación del programa.

8.3.1.2 Los productos

Los productos resultantes de esta metodología son:

• Identificaciónde losdéficit de capacidadinstitucional en varias áreas, examinando susposiblescausas.Eldéficitequivalealasbrechas entre lo deseado (objetivos de la or-ganización a nivel de programas) y lo obtenido institucionalmente (lo que las instituciones efectivamente consiguen).

• Listado de las brechas que representan obs-táculos para la realización de las tareas y la consecución de los objetivos del programa.

• Clasificacióndelosdeficitendiferentestiposde acuerdo con sus posibles causas.

• Propuesta de Componentes de Desarrollo Institucional (CDI) para fortalecer la institución ysolucionarlosdéficit.

Clasificacióndetiposdedéficit

• Leyes, reglas, normas - “reglas de juego”: trabas normativas, factores culturales o pau-tas de interacción socialmente aceptadas que se convierten en restricciones para las tareas a desarrollar.

• Relaciones interinstitucionales: existencia de competencias superpuestas o duplica-ción de esfuerzos, acciones que dependen de otras organizaciones, requisitos para cumplimiento de las tareas.

• Estructura organizacional interna y distri-bución de funciones: responsabilidades no están claramente delimitadas, distribución de funciones no es la óptima, unidad res-ponsable no tiene recursos o estructura.

14 Ozlak y Orellana (2000).


131

• Capacidadfinancierayfísicadelasagenciasejecutoras: falta de recursos o insumos para lograr los objetivos.

• Políticas de personal y sistema de recom-pensas: políticas de personal y desempeño de las personas con tareas gerenciales o técnicas.

• Capacidad individual de los participantes en las agencias involucradas en el proyecto: capacidad individual de implementación de cada una de las tareas.

Losformulariosdecapturadelosdéficitsonsimi-laresparalostiposdedéficit1a5yseorganizande la siguiente forma:

FormularioD:DéficitsporTarea

Descripción de tarea

Para todas las tareas de la actividad, los exportadores argentinos no cuentan con una cultura cambio e innovación que

DCI relativos a relaciones interinstitucionales

El Ministerio de Economía y Obras y Servicios Públicos, especialmente en el ámbito de su Secretaría de Comercio e

05.005.010.015.020.

06.005.010.015.020.

Grado 3

Grado 5

Descripción de tarea

DCI relativos a org. interna/dist. de funciones Grado 2

DCIrelativosacapacidadfísicayfinanciera Grado 5

DCI relativos a políticas de personal Grado 5

015.020.

005.006.010.015.020.021.

07.


Dentrodel formulario, cadadéficitdebeestarcodificadoyrelacionadoconsurespectivatarea,actividadyobjetivoespecífico.

El seguimiento de los objetivos, actividades, tareas yevolucióndelosdéficitsepuedehacerconelmismo sistema computacional, incluyendo en él un módulo de monitoreo con las tareas a desa-rrollarparacorregirlosdéficitconelmismonivelde detalle que las otras tareas. De esta forma se mantiene al día la información de monitoreo en todas las áreas. Para mayor información respecto a este método ver Ozlak y Orellana (2000).

La metodología SADCI se puede utilizar tanto paraanalizar losdéficitdegestiónenunaor-ganización como su relación con los resultados del programa.

8.3.2 La metodología PROSE15

La metodología de Autoevaluación Participativa, Orientada a Resultados (PROSE – Participatory, Results-Oriented Self-Evaluation) fue desarro-llada por una ONG llamada Pact y el Centro del Desarrollo para la Educación (Education Development Center). Tiene como objetivo eva-luar y mejorar las capacidades institucionales y hacer comparaciones entre organizaciones relacionadas, a las cuales se les llama cohorte. También mide y caracteriza en el tiempo cómo las actividades de fortalecimiento institucional afectan la capacidad organizacional. Adicional-mente permite construir capacidades al interior de una organización así como seleccionar, im-plementar y seguir el cambio organizacional y las estrategias de desarrollo.

Uno de los instrumentos utilizados en este método es la DOSA (Discussion-Oriented Or-ganizational Self-Assessment, Autoevaluación Organizacional Orientada a la Discusión), un cuestionario con preguntas tanto de discusión como individuales y las instrucciones para res-ponderlas16.

8.3.2.1 El proceso

Esta herramienta permite evaluar una unidad deanálisisespecíficadentrodelprograma,unaorganización o un grupo de organizaciones. Los pasos a seguir para su desarrollo son:

• Definir la cohorte de organizaciones que participan en el cumplimiento de la misión del programa.

• Reunir a las organizaciones involucradas en un taller para diseñar la herramienta de evaluación.

15 Ibídem.16 Para ver un ejemplo e información detallada al respecto, ver página web de USAID.


132

• Determinar las tareas, actividades o capaci-dades críticas para cumplir con el objetivo y que se quieren medir o resaltar.

• Diseñar dos tipos de preguntas, para discusión e individuales. Las preguntas para discusión permitenqueelgruporeflexioneacercadeaspectos clave minimizando el sesgo; las preguntas individuales capturan la opinión de los miembros del grupo sobre estos temas en una escala ordinal.

• Una vez el instrumento está diseñado se aplica a cada una de las organizaciones de la cohorte.

• En caso de que se use la herramienta DOSA, el facilitador maneja un grupo de discusiones con respuestas individuales a cuestionarios de 100 ítems. Los participantes responden de manera anónima evaluando las prácticas en las siguientes áreas (1=fuerte desacuerdo; 2=en desacuerdo; 3=neutral; 4=de acuerdo; 5= fuertemente de acuerdo):

– Relaciones externas (comunicaciones, entre otras).

– Gestiónderecursosfinancieros(presu-puestación, manejo de recursos).

– Gestión de recursos humanos (capacita-ción, supervisión).

– Aprendizaje organizacional (trabajo en equipo, manejo de información).

– Manejo estratégico (planeación, gober-nabilidad, misión del programa, sosteni-bilidad).

– Entrega del servicio (procesos de entrega y sostenibilidad).

• Calificarestostemasdeacuerdoconlasres-puestas de los cuestionarios en una escala ordinal hasta que haya acuerdo en el grupo acerca de los puntajes.

• Analizar los resultados estadísticamente.

8.3.2.2 El producto

Sondostiposde informesdecalificación,unode capacidad institucional en el que se pueden ver reflejadas sus fortalezas ydebilidadesencada una de las tareas o actividades, y otro de consenso que muestra el grado de homogeneidad en las respuestasde calificación la capacidadinstitucional.

Por lo tanto, el DOSA es un instrumento que permite identificar las actividades o tareas críticas para el logro de los objetivos en las cuales hay consenso en torno a su funciona-miento (Tabla, todo el cuestionario en Levinger y Bloom, 1997).

Cuestionario DOSAPreguntas 3 y 4 - área de Recursos Humanos

Fuertemente en desacuerdo

Desacuerdo Neutral De acuerdoFuertemente

de acuerdo

Tenemos las competencias del personal apropiadas

para lograr nuestra misión1 2 3 4 5

Tenemos el adecuado número de personas para

lograr nuestra misión1 2 3 4 5

Fuente: Levinger y Bloom (1997).


133

Debido a que el proceso de construcción de lascalificacionesesparticipativo,puedetomarbastante tiempo llegar a los resultados de la evaluación.Estacalificaciónsehaceensesionesde trabajo para responder a los cuestionarios individuales y a los cuestionarios con preguntas para discusión. Se puede considerar como una autoevaluación, pues son los actores de la or-ganización los que evalúan su propio trabajo y las preguntas se pueden enfocar a evaluar cómo está funcionando la capacidad institucional en el logro de los resultados del programa.

8.3.3 La metodología OCAT17

La metodología OCAT (Organizational Capacity Assessment Tool – Herramienta de Análisis de Capacidad Organizacional) es una técnica de Monitoreo y Evaluación Participativa (PME) desa-rrollada por la ONG Pact, debido a la necesidad de evaluar su impacto en las actividades de construcción de capacidad organizacional. Esta herramienta se utiliza para diagnosticar las forta-lezas y debilidades de una organización y provee una línea de base para mejorar las intervenciones en sus resultados.

“El desarrollo organizacional es un proceso continuo que optimiza el desempeño de una organización en relación con sus objetivos, recursos y entorno”18.

8.3.3.1 El proceso

Puede hacerse de manera interna o externa a la organización utilizando formatos de análisis con siete áreas de capacidades, cada una de éstas con otros elementos adicionales. Los pasos a seguir son:

• El equipo evaluador emplea diversas técnicas de recolección de información como grupos focales o entrevistas para recoger la informa-ción necesaria para el análisis.

• Se asignauna calificacióna cada áreadecapacidad (ej: 1 = necesita atención urgente y mejora; 2 = necesita atención; 3 = necesita mejora; 4 = necesita mejorar en aspectos definidos;5=espacioparaalgunamejora;6 = no hay necesidad de mejora inmediata). Lasáreasdecapacidaddefinidasson:

– Gobernabilidad (junta, objetivo, liderazgo, arreglos institucionales).

– Prácticas de gestión (estructura organi-zacional, manejo de información, pro-cedimientos administrativos, personal, planeación, desarrollo de programas, reporte de programas).

– Recursos humanos (desarrollo, funciones, organización del trabajo, prácticas de supervisión,salarioybeneficios).

– Recursosfinancieros(contabilidad,pre-supuesto, inventario, reportes, control).

– Entrega de servicios (experiencia sectorial, análisis de impacto).

– Relaciones externas (relaciones públicas, colaboración entre organizaciones).

– Sostenibilidad (del programa, del be-neficio, organizacional, financiera, de recursos).

• El análisis se desarrolla con el apoyo de un equipo evaluador y otro equipo de personas externas a la organización que pueden dar una mirada objetiva e independiente. Resulta útil incluir tantos participantes como sea nece-sario dependiendo de su conocimiento o de la necesidad de que entiendan las fortalezas y debilidades de la capacidad institucional. También se pueden añadir personas al equipo de acuerdo al objetivo de la evaluación.

• Enunformatodeevaluaciónsecalificanenconjunto las diferentes áreas, con base en

17 Booth, W. y R. Morin (1996).18 Ibídem.


134

información recolectada. Los puntajes indican los aspectos a mejorar.

Monitoreo y Evaluación Participativa (Participatory Monitoring and Evaluation - PME)

“Es un proceso democrático para examinar los valores, progreso, restricciones y logros de pro-yectos por parte de los actores involucrados. Reconoce y valora las contribuciones sutiles de personas a nivel local y las empodera para involucrarse y contribuir al proceso de desa-rrollo”19. Sus principales características son:

• Origen y objetivo de las preguntas: las preguntas de evaluación emergen de los intereses y prioridades de los participantes.

• Utilidad y aplicación: los participantes desarrollan un entendimiento de los ob-jetivos e importancia de la evaluación y de la habilidad de conducir evaluaciones significativas.

• Desarrollo de habilidades: a través de la participación en la actividad de evaluación, se desarrolla la habilidad de levantamiento, análisis y utilización de la información.

• Lugar de control: participación en activida-des de monitoreo y evaluación empodera a los participantes para que se hagan responsables por analizar y articular el impacto que un proyecto está teniendo de acuerdo con sus prioridades.

8.3.3.2 El producto20

ElOCATproveeclasificacionesnuméricasparacada área de capacidad y además permite des-cribir estas últimas según estados progresivos de desarrollo organizacional. Adicionalmente, identificalasfortalezasylasdebilidadesqueseencuentran en la capacidad de la organización. Se puede emplear tanto para evaluar una organiza-

ción y su gestión, como para examinar la capacidad que tiene la organización u organizaciones para la entrega de bienes o servicios.

PACT – OCATEjemplo hoja de evaluación – parte B - Prácticas de Gestión

1. Estructura organizacionala. Tiene estructura organi-

zacional con líneas de-finidas de autoridad y responsabilidad

1 2 3 4 5 6

2. Sistemas de informa-ción

a. Existen los sistemas para levantar, analizar y difun-dir datos e información

1 2 3 4 5 6

3. Procedimientos admi-nistrativos

a. Existen procedimientos administrativos y manua-les y son adoptados

b. Son los manuales y pro-cesos actualizados de manera permanente

1 2 3 4 5 6

1 2 3 4 5 6

4. Personala. Las prácticas de empleo

de personal se encuen-tranclaramentedefinidasy son adoptadas

1 2 3 4 5 6

5. Planeacióna. Planes de operación son

desarrollados, revisados, actualizadosyreflejanunplan estratégico

b. Recursos son planeados y asignados de manera correcta

c. Insumos para los inte-grantes están incluidos en la planeación

d. Personal está involucrado en la planeación

1 2 3 4 5 6

1 2 3 4 5 6

1 2 3 4 5 6

1 2 3 4 5 6

19 Booth y Morin (1996).20 Para ver un formulario completo y mayor explicación: http://www.pactworld.org/ocat.html Pact.Washington.


135

6. Desarrollo del programaa. Actores y personal están

involucrados en el dise-ño, planeación y evalua-ción del programa

b. Existe un sistema de M&E queincorporalaidentifi-cación de indicadores y procesosparamodifica-ción de programas

1 2 3 4 5 6

1 2 3 4 5 6

7. Reporte del programaa. Reporta regularmente ac-

tividades y resultados de la evaluación

b. Publica y difunde repor-tes en lecciones apren-didas

1 2 3 4 5 6

1 2 3 4 5 6

Fuente: Booth y Morin, 1996.

La OCAT es una auto-evaluación organizacional participativa, aunque se puede adaptar para ser desarrollada de manera externa.

8.3.4 La Lista de chequeo Sí/No o Tarjeta de puntuación (Scorecard)21

Este tipo de herramienta se puede utilizar para analizar procesos, productos o características de una organización o un arreglo institucional. Por lo que para ser aplicada en la evaluación institu-cional de un programa, es necesario que la lista califiqueaspectosdelacapacidadinstitucionalexistente frente a sus productos resultantes. En la tarjeta de puntuación o Scorecard se enuncian una serie de características o actividades de la institucionalidad que se quiere evaluar, a las cualesselesaplicaunacalificacióndesíono,para después agregarlas a nivel de programa.

8.3.4.1 El proceso

• Determinar lo que se quiere medir, la capa-cidad institucional para el desarrollo de un

programa, y señalar los procesos/actividades/tareas que la componen para poder desagre-garla.

• Diseñarunaseriedeindicadoresquereflejenel desarrollo de estos procesos y darles una ponderación en el logro del objetivo o la misión.

• Calificarcadaindicadorusandométodosderecolección de información como entrevistas, información secundaria, grupos focales, entre otros.

• Alfinal,siaplica,tambiénsepuedenagregarparalograrunacalificacióndetodalacapa-cidad institucional.

8.3.4.2 El producto

Una tarjeta de puntuación o Scorecard que enu-mera y califica losprincipales indicadoresdeprocesos/actividades/tareas de la capacidad institucional.Siexisteunresultadoqueserefierea múltiples organizaciones puede ser útil hacer un indicador en términos del número o porcentaje de las organizaciones que llegan o superan un determinadonivel,ocalificarunmismoindicadorpara cada organización.

Estos procesos deben estar enunciados sin ambi-güedades, de manera transparente y concisa, y la calificacióndebetenermuyclaralarespuestadeSí o No. La tarjeta de puntuación puede ser una herramienta fácil y no costosa pues no requiere de intermediario para procesar los datos o de un experto en el tema, se puede hacer interna o externamente y se puede levantar información a través de entrevistas, observación o documen-tos. El resultado es una lista de características o indicadoresclavedeunaorganizacióncalifica-dos. Esta se utiliza para: hacer comparaciones entre entidades o seguimiento a indicadores a través del tiempo, medir áreas de capacidad bien definidas conbaseen criteriosdeterminados,

21 USAID, Center for Development Information and Evaluation (2000).


136

contrastar las percepciones con observaciones empíricas, tenercalificacionescuantitativasenáreas de capacidad institucional. Estos insumos permiten proponer correcciones a las áreas que mostraron indicadores con avance restringido y hacer seguimiento al progreso de estos.

8.4 Estudio de caso: Política de Vivienda y Tierras para PD

Evaluación de la Capacidad Institucional de los componentes de Vivienda y Tierras de la Polí-tica de Atención a la Población en Situación de Desplazamiento22 (2010).

8.4.1 La Política

El objetivo general de la política propuesta por el gobierno nacional era garantizar el derecho a la vivienda adecuada a la población desplazada de manera progresiva, en consideración con sus condiciones culturales y de vulnerabilidad, a través de instrumentos que permitan avanzar en la satisfacción del goce efectivo de los derechos. Para lograrlo, se establecieron los siguientes objetivosespecíficos:

• Mejorar la articulación de la Política de Vi-vienda para la Población Desplazada (PVPD) con los componentes de la política de aten-ción integral a la Población en Situación de Desplazamiento (PSD), a través del fortale-cimiento de los sistemas de información, la comunicación entre las entidades del Sistema Nacional de Atención Integral a la Población Desplazada (SNAIPD) y la continuidad de las intervenciones, de tal forma que se brinde una atención integral, sostenible y progresiva.

• Adecuar los instrumentos de la PVPD a las condicionesespecíficasdevulnerabilidaddedicha población y los grupos poblacionales que la componen, para asegurar el acceso de la PSD a una solución de vivienda adecuada,

de manera progresiva, integral y focalizada, reconociendo el papel de los agentes privados y la sociedad civil organizada en el mercado habitacional.

• Fortalecer las capacidades de las instituciones del nivel nacional para que ejerzan un rol más activo en la implementación de la PVPD y el papel de las entidades territoriales como sus ejecutores, a partir de la dinamización de las herramientas de gestión y la adopción de un sistema efectivo de incentivos.

• Minimizar los costos de transacción, tanto en las barreras de acceso para la PSD como en los trámites asociados en los que incurren los actores que intervienen en la materialización de una solución de vivienda.

En relación con la política de tierras, el gobierno nacional ha desarrollado lineamientos con base en un diagnóstico que aborda tres problemas principales23:

• La magnitud del despojo de tierras frente a un universo de hogares para restituir sus derechos, que es cercano al medio millón.

• La complejidad que supone la misma resti-tución, por cuanto se reconoce que existen distintos tipos de víctima y por ende distintos derechos o expectativas de derechos. Por cada predio normalmente hay reclamos de distintas víctimas y los procesos de cada víctima están interrelacionados pero no necesariamente ocurren al mismo tiempo.

• Una limitada capacidad institucional por lo que, en primer término, las víctimas no cuentan con asistencia permanente para la compilación de información y pruebas. Tampoco se ha logrado una adecuada coordi-nación de funciones, que actualmente están dispersas,yfinalmente,laentregamaterialenfrentadificultadesporfaltadeseguridadysuficientegestióninstitucional.

22 Informe metodológico e Informe Final de la Evaluación de la capacidad institucional de los componentes de vivienda y tierras de la política de atención a la población en situación de desplazamiento. Centro Nacional de Consultoría (C.N.C) para Dirección de Evaluación de Políticas Públicas, Departamento Nacional de Planeación. Mayo a diciembre de 2010.

23 Síntesis con base en los documentos publicados por el gobierno nacional de lineamientos de política pública en materia de tierras.


137

En este marco, la nueva política se ha planteado como objetivo general contribuir a restablecer el goce efectivo de los derechos de la población desplazada, en riesgo de desplazamiento y otras víctimas del despojo de la tierra y el territorio, me-diante un enfoque de acceso a la justicia integral y diferencial. La nueva política en materia de tierras hadefinidolossiguientesobjetivosespecíficos:

• Restituir los derechos y las expectativas de derechos sobre la propiedad de la tierra y los territorios a las víctimas del despojo, atendiendo a la magnitud y complejidad de este fenómeno, y contribuyendo al esclare-cimiento de la verdad de las modalidades y efectos del despojo.

• Desarrollar programas para la restitución de tierras y territorios de manera integral y con enfoque diferencial, incluyendo acciones de prevención, protección, formalización y garantías de no repetición.

• Diseñar y poner en marcha un sistema de atención a las víctimas, oportuno, ágil y de bajos costos, que facilite su acceso a la justi-cia, en articulación con la política de verdad, justicia y reparación.

• Adecuar y fortalecer la administración de jus-ticia relacionada con la política de restitución de tierras y territorios.

• Contribuir a reparar el menoscabo a la po-blación afectada por la pérdida del uso de la tierra objeto del despojo.

• Contribuir a mejorar las condiciones de vida de la población objetivo de esta política mediante su articulación con otras políticas, especialmente las de verdad, justicia y repa-ración, vivienda y generación de ingresos.

El enfoque dado a la política por parte del go-bierno nacional se concentra básicamente en tres puntos articuladores:

• El primero de ellos se relaciona con la concep-ción integral de la restitución (las modalidades de la restitución en sí misma, la prevención, la

protección, la reparación y la formalización). Contempla, a su vez, la tipología de las víctimas entendidas bajo las categorías de la vinculación con la tierra en calidad de propietarios, posee-dores, ocupantes, tenedores y la vinculación de las comunidades étnicas con sus territorios indígenas y afrocolombianos, así como el em-prendimiento de gestiones integrales para la restitución y el acceso a la justicia.

• El segundo corresponde a la adecuación y ajuste de un marco normativo para la resti-tución integral, que incorpore los criterios de las nuevas formas de justicia transicional y el fortalecimiento jurisdiccional para la restitución tierras.

• El tercero está relacionado con los ajustes institucionales necesarios para la gestión inte-gral de la restitución, a partir de la adecuación institucional de unidades especializadas para el cumplimiento de dicho propósito, el forta-lecimiento de las funciones de las entidades encargadas de la gestión de la restitución y la creación de la comisión intersectorial de la política de tierras para la población desplaza-da, la población en riesgo de desplazamiento y otras víctimas de del despojo.

8.4.2 La evaluación

El objetivo de la evaluación era: “Valorar si la ca-pacidaddegestióndelasinstitucionesessuficientepararesponderdemaneraeficienteyoportunaalarealización de los derechos de las víctimas, en otras palabras, si las entidades valoradas están dotadas de los correspondientes recursos y si en consecuen-cia pueden responder a la demanda creciente de servicios de una población altamente vulnerable que representa cerca del 10% de la población del país, para el caso concreto a efectos de garantizar el derecho a la reparación integral de las personas desplazadas a través de vivienda y tierras”.

8.4.3 Metodología

La metodología adoptada para el desarrollo de la evaluación institucional fue el Sistema de Análisis de Capacidad Institucional (SADCI)24.


138

Para el desarrollo del estudio, el Centro Nacional de Consultoría empezó haciendo un diagnóstico general de la política de atención a la PSD, con el propósito de tener un dimensionamiento del problema y un análisis de la institucionalidad vigente, debido a la complejidad del problema y de las entidades vinculadas a estas políticas. Posteriormente se realizaron unos mapas institu-cionalesyfichastécnicasdecadaorganización,para luego aplicar la metodología SADCI con el desarrollo de una evaluación desde la óptica de la oferta y la demanda.

Lasmedicionesdelosdéficitsinstitucionalesfue-ron el resultado de entrevistas adelantadas a las instituciones de acuerdo con un instrumento de capturadeinformaciónquecalificóunaseriedecriterios acordados de antemano con el Departa-mento Nacional de Planeación (DNP), los puntajes variaron entre 1 y 5, en donde 1 correspondió a la calificaciónmásbajay5alacalificaciónmásalta.Elanálisisdeestasentrevistaspermitióidentificarunaseriedelogrosycuellosdebotella(déficits)con respecto a la normatividad, las relaciones interinstitucionales, la organización interna de cadaprograma,sucapacidadfinancierayfísica,y su política de personal. El análisis se presentó por institución.

A continuación se exponen, a manera de ejemplo, los resultados de la metodología con respecto a la normatividad. En este caso, la mayoría de las institucionesmanifestótenerdeficienciaseneltema normativo, sólo el Ministerio Público pre-

sentó un porcentaje por encima del 85% en esos aspectos.SedestacaelcasodelasOficinasdeRegistro e Instrumentos Públicos (ORIP) donde se encontró un reducido 38%, explicado principal-mente por ausencia de normatividad concerniente a acciones concretas frente a personas que no son poseedores.

Después de analizar las problemáticas con tablas, se realizó un resumen del total de instituciones que participaron dentro de la implementación de la política de tierras. Se observó que la entidad que evidenció las mayores brechas en capacidad institucional para dar una respuesta adecuada a las necesidades fueron las ORIP, con un acumulado de cerca del 58%, seguidas por la Fiscalía General de la Nación con un 43,3%. A pesar de que las otras instituciones analizadas presentan menores brechas se destaca que ninguna de ellas alcanza una capacidad cercana al 100%, sólo Acción Social se ubicó por encima del 80%, el restante tiene en promedio un 40% de brecha en capacidad.

Posteriormenteseidentificaronunaseriedelo-grosycuellosdebotella(déficits)conrespectoa la normatividad, las relaciones interinstitucio-nales, la organización interna de cada programa, sucapacidadfinancierayfísica,ysupolíticadepersonal.

Finalmente, con base en la información de las entrevistasyelanálisisdelosdéficits,lafirmarealizó una propuesta institucional para la política de atención a la población desplazada.

24 Oszlak, O. y E. Orellana. La capacidad del Análisis Institucional: Aplicación de la Metodología SADCI. Documentos TOP sobre gestión Pública. Buenos Aires, Centro de Desarrollo y Asistencia Técnica en Tecnología para la Organización pública., 2000.


139

Problemática relacionada con la normatividad(datos en porcentajes, donde 1= 0% y 5=100%)

CriteriosSNR ORIP INCODER IGAC CNRR FISCALÍA MIN. PUB. ACCIÓN SOC.

1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5

Todaslasfuncionesestándefinidasenlanormatividad X X X X X X X X

Cuenta con instrumentos para materializar la norma X X X X X X X X

Los empleados conocen las normas X X X X X X X X

Los empleados implementan las normas X X X X X X X X

Lanormatividadactualessuficienteyfacilitalastareas X X X X X X X X

Las normas son de fácil aplicación X X X X X X X X

La normatividad recoge con claridad la competencia del programa X X X X X X X

La normatividad que cubre este programa tiene un en-foque diferencial X X X X X X X X

La normatividad que cubre este programa tiene un en-foque territorial X X X X X X X X

Conocimiento de la PTPD propuesta X X X X X X X X

Cambios de normatividad requeridos para ajustar sus actividades a la PTPD propuesta X X X X X X X X

Promedio 59.1 38.6 59.1 72.7 68.2 70.5 88.6 75.0

Fuente: C.N.C. para DEPP – DNP (2010).

Déficitsporaspectosevaluados(datos en porcentajes, donde 1= 0% y 5=100%)

Instituciones* Normativo Interinstitu-cional

Org. Interna

Cap. Finan. y Física

Polit. Personal Promedio

SNR 59,1 70,8 65,0 68,8 70.8 66.9

ORIP 38,6 37,5 65,0 18,8 50.0 42.0

INCODER 59,1 66,7 60,0 68,8 58.3 62.6

IGAC 72,7 62,5 65,0 50,0 54.2 60.9

CNRR 68,2 75,0 85,0 68,8 79.2 75.2

Fiscalía 70,5 62,5 75,0 25,0 50.0 56.6

Ministerio Público 88,6 70,8 90,0 56,3 70.8 75.3

Acción Social 75,0 87,5 90,0 75,0 83.3 82.2

Fuente: C.N.C. para DEPP – DNP (2010). Nota: SNR: Superintendencia Notariado y Registro; CNRR: Comisión Nacional de Reparación y Reconciliación.

Glosario

CAPÍTULO IX C

ap

ítu

lo I

X

Gkuna

143

Actividades: lo que el programa hace con sus insumos para lograr su misión. Las actividades del programa resultan en productos.

Actores implicados o involucrados: Instituciones o Entidades públicas o privadas, organizaciones no gubernamentales, universidades, asociacio-nes profesionales y empresariales o empresas privadas, entre otros, que participan, directa o indirectamente,en laplanificación, ejecución,seguimiento y evaluación de una política.

Benchmarks (punto de referencia): son datos de desempeño usados para hacer comparaciones. Un programa puede usar su información de línea de base para comparar con un segundo levantamiento de información o contra otro programa.

Beneficiarios: el grupoespecíficodepersonas(físicasojurídicas)quesebeneficiandirectaoindirectamente de una intervención, también llamadogrupobeneficiariootratamiento.

Beneficios: es el valor o la utilidad de los resultados de una intervención. Estos serán generalmente losobjetivosfinalesdelprograma,peropuedetambiénaludirseaaquellosbeneficiosquenosean imputables directamente al programa en sí.

Cadena de resultados: es la secuencia causal de una intervención de un programa que estipula la secuencia para lograr los objetivos deseados, comenzando con los insumos, pasando por las actividades y los productos, y culminando en el efecto directo, el impacto y la retroalimentación.

Ciclo de vida de la intervención: período temporal que abarca desde que se concibe y diseña la in-tervenciónhastaquesemanifiestansusimpactos.

Comité de seguimiento de la evaluación: estruc-tura formal de apoyo a la gestión del proceso evaluativo que facilita y propicia la participación de los actores clave.

Efecto: cambio, intencionado o no, debido directa o indirectamente a una intervención.

Enfoque estructurado: este enfoque tiene como objetivo hacer la recolección de todos los datos de manera homogénea y similar. Ver Ramirez (2009) y Menon Et Al (2009).

Enfoque semi-estructurado: este enfoque hace la recolección de los datos de manera heterogénea, con la utilización de instrumentos diferentes. Ver Trochim (2006).

Insumos: recursosfinancieros, humanosyma-teriales empleados en una intervención. En un programa, los insumos son el soporte de las actividades.

Intervención: cualquier programa, plan, política u otraformadeplanificacióndiseñadaparaproducircambios en la población objetivo.

Jerarquía de objetivos:clasificacióndeobjetivosadistintosniveles;porejemplo:objetivosfinales,objetivosespecíficosymedidasderesultadoyrealización.


144

Muestreo: selección de una proporción de indi-viduos o casos a partir de una gran población.

Objetivo del proyecto o programa:serefierealosresultadosfísicos,financieros,institucionales,so-ciales, ambientales o de otra índole que se espera que el proyecto o programa contribuya a lograr.

Objetivo específico: es la razón inmediata de un proyecto, el efecto que se espera que el proyecto vaya a lograr si se completa con éxito y a tiempo.

Objetivo final: declaraciones específicasme-diante las cuales se considera el cumplimiento deseado de los programas de intervención social. Las razones principales por las que un programa/política existe. Se encuentran en el primer nivel de la jerarquía de objetivos.

Productos: son el resultado de las actividades del programa. Los productos del programa de-ben generar los resultados deseados para sus participantes.

Programa: grupo de proyectos o servicios rela-cionados y dirigidos hacia el logro de objetivos específicos.

Propósitos de la evaluación (motivaciones para evaluar): razón o razones que motivan a los pro-

motores de la evaluación para impulsar su puesta en marcha. Pueden tener su origen en un mandato reglamentario o en otro tipo de motivaciones. A partirdeellossedefineelobjetivogeneraldela evaluación.

Proyecto: nivel más concreto de programación ounidadmínimadeplanificación.Intervenciónplanificadadestinadaalograrciertosobjetivosespecíficosconunpresupuestodadoydentrode cierto período de tiempo.

Rango de un conjunto de información: sedefi-ne como la diferencia entre la observación más grande y la más pequeña. No obstante, aunque es una medida muy fácil de calcular, el problema del rango es que desconoce toda la información que se encuentra entre las observaciones que acotan la muestra.

Resultado o efecto: efectos directos e inmediatos producidos por la ejecución de una intervención.

Seguimiento: proceso continuo y sistemático de recoleccióndedatosparaverificarlorealizadoy sus resultados, tanto en términos físicos como financieros.Ofrece informaciónnecesariaparamejorar la gestión y aplicación de la intervención así como para su evaluación.

Bibliografía de apoyo

CAPÍTULO X C

ap

ítu

lo X

Jean-Pierre Chretien

147

Banco Asiático de Desarrollo, Operations Evaluation De-partment(OED).“GuidelinestoAvoidConflictofInterestin Independent Evaluations”, Abril 2005. Disponible en: www.adb.org/documents/guidelines/evaluation/independent-evaluation.pdf

Banco Mundial (2006). “Consulting Service Manual 2006: A Comprehensive Guide to the Selection of Consultants”, Washington DC. Disponible en: si-teresources.worldbank.org/INTPROCUREMENT/Resources/2006ConsultantManual.pdf

Banco Mundial, “Sourcebook for Evaluating Global and Regional Partnership Programs: Indicative Principles and Standards”, Grupo de Evaluación Independiente y Red del CAD. Disponible en: siteresources.worldbank.org/EXTGLOREGPARPRO/Resources/sourcebook.pdf

Barber, Michael (2009). Instruction to Deliver: Tony Blair, the Public Services and the Challenge of Achieving Targets. UK. Politico’s Publishing Ltd; illustrated edition.

Beck T. (2006). “Evaluating Humanitarian Action Using OECD/DAC Criteria”.

Bent Flyvbjerg, Mette K. Skamris Holm & Søren L. Buhl (2002). “Underestimating Costs in Public Works Projects: Error or Lie?” Journal of the American Planning Association, vol. 68, no. 3, Summer 2002.

Bent Flyvbjerg, Mette K. Skamris Holm & Søren L. Buhl (2005). “How (In)accurate Are Demand Forecasts in Public Works Projects? The Case of Transportation.” Journal of the American Planning Association, vol. 71, no. 2, Spring 2005.

Bent Flyvbjerg, Nils Bruzelius & Werner Rothengatter (2003). Megaprojects and Risk: An Anatomy of Ambition. Cambridge University Press.

Best, Joel (2001). “Damned Lies and Statistics: Untangling Numbers from the Media, Politicians, and Activists”. University of California Press.

Bliss,M.&Emshoff, J. (2005).Workbook forDesigningaProcess Evaluation. Atlanta (Georgia), Department of Economy-Georgia State University.

Blundell, Richard & Monica Costa Dias (2000). Evaluation Methods for Non-experimental Data. Fiscal Studies, 21 (4): 427-468.

Boardman, A; Greenberg, D; Vining, A & Weimer, D (1996). Cost-BenefitAnalysis:ConceptsandPractice.UpperSaddle River, N.J. Prentice Hall.

Acción Social (2007, Octubre). Informe Final de Resultados, Evaluación del Programa Red de Seguridad Alimentaria RESA. Informe desarrollado por el Centro de Estudios Regionales Cafeteros y Empresariales (Crece) para Acción Social, Presidencia de la República. Bogotá.

Anderson, A. (2007). The Community Builder’s Approach to Theory of Change: A Practical Guide To Theory Development. USA. New York. The Aspen Institute Roundtable on Community Change.

Argyrous, George (2009). Evidence for Policy and Decision-Making: A Practical Guide. Sydney, NSW, AUS: UNSW Press.

Arrow, Kenneth, Maureen Cropper, George Eads, Robert Hahn, Lester Lave, Roger Noll, Paul Portney, Milton Russell, Richard Schmalensee, Kerry Smith & Robert Stavins (1996).“IsThereaRoleforBenefit-CostAnalysisinEn-vironmental, Health, and Safety Regulation?”. Science.

Ascott,Elizabeth(2006).BenefitCostAnalysisofWonderworldDrive Overpass in San Marcos, Texas. Applied Research Project. Texas State University.

Asian Development Bank (2007). Guidelines for Preparing a Design and Monitoring Framework. En: Project Perfor-mance Management System (Second edition).

B.O.T. (2004). “Manual de evaluación expost de proyectos: Versión 1, para Convenio Andrés Bello”. Bogotá.

Baker, Judy (2000). Evaluación del impacto de los proyectos de desarrollo en la pobreza: Manual para profesionales. Washington: Banco Mundial, IEG, Poverty Analysis, Monitoring and Impact Evaluation Thematic Group.

Bamberger, Michael (2006). Conducting Quality Impact Evaluations under Budget, Time and Data Constraints. Washington: Banco Mundial, IEG, Poverty Analysis, Monitoring and Impact Evaluation Thematic Group.

Bamberger, Michael (2010). “Reconstructing Baseline data for impact evaluation and results measurement”. The World Bank, Prem Notes. November 2010, Number 4. Special series on The Nuts and Bolts of M&E Systems.

Bamberger, Michael (Editor) (1999). Integrating quantitative and qualitative research in development projects. Washington: World Bank. Directions in development.

Bamberger, Rugh & Mabry (2006). Real World Evaluation: Working under Budget, Time, Data, and Political Cons-traints. Thousand Oaks (California), Sage Publications.


148

Booth, W. & R. Morin (1996). “Assessing Organizational Capa-city through Participatory Monitoring and Evaluation Handbook”. Preparado para Pact Ethiopian NGO Sector Enhancement Initiative. Washington, USAID.

Boyle, P.; Lyons, K. & Bamberger, M. (2007). Strengthening Results-based Evaluation in Colombia. DNP, Social Impact.

Campbell & Stanley (1963). “Experimental and Quasi-Experimental Designs for Research”.

Cavanos, G. (1999). “Applied probability and statistical methods”. McGraw Hill. Virginia Commonwealth Uni-versity.

Centro Nacional de Consultoría (2010, Diciembre). “Informe Final de la Evaluación de la capacidad institucional de los componentes de vivienda y tierras de la política de atención a la población en situación de desplaza-miento”. Dirección de Evaluación de Políticas Públicas, Departamento Nacional de Planeación.

Centro Nacional de Consultoría (2010, Mayo). “Informe metodológico de la Evaluación de la capacidad insti-tucional de los componentes de vivienda y tierras de la política de atención a la población en situación de desplazamiento”. Dirección de Evaluación de Políticas Públicas, Departamento Nacional de Planeación.

Chakravarty, Sukhamoy (1987). “Cost-benefit analysis”,The New Palgrave: A Dictionary of Economics, v. 1, pp. 687–90.

Charles, A.; Steve, J. & Lawrence, K. (2001). Quality Manage-ment for Industrial Process. En: Quality Management Review.

Comité Conjunto de Estándares para la Evaluación Educati-va, “Programme Evaluation Standards: How to Assess Evaluations of Educational Programmes”, 2ª ed., Sage Publications, Thousand Oaks, CA. “Managing for De-velopment Results (MfDR) Initiative”. Disponible en: www.mfdr.org

Cutler, Carol & Russel, Ruth (2008). “Using mixed methods in pilot testing”.

DANE (2001). “Metodología para la formulación de planes estadísticos”. Bogotá.

DANE (2002). “Consideraciones metodológicas para la cons-trucción de indicadores”. Mimeo. Bogotá.

DANE(2004).“AspectosMetodológicosdelaPlanificaciónEstadística”. Dirección de Regulación, Planeación, Normalización y Estandarización - DIRPEN, Bogotá.

DANE (2004). “Línea Base: aspectos metodológicos”. Bogotá. Danida (1998-1999). Guidelines for an Output and Outcome

Indicator System. Copenhagen, Danida.Danida (1999, Noviembre). “Output and Outcome Indicators

System Manual”. Copenhagen, Danida.DAPR,FIP,DNP(2006,Diciembre).InformefinalEvaluación

de impacto del programa Familias en Acción – Subsi-dios condicionados de la red de apoyo social. Unión temporal IFS, Econometría y SEI. Bogotá.

Davies, Rick (2003). “Network Perspective in the Evaluation of Development Interventions: More than a Metaphor.” Paper presented at the EDAIS Conference “New Direc-tions in Impact Assessment for Development: Methods and Practice,” November 24–25.

Dearden, E. & Jones, E. (2002). “Tools for Development: A Handbook for Those Engaged in Development Acti-

vity PerformanceandEffectiveness”.DepartmentforInternational Development.

DEPP (2010). Metodologías DEPP: Selección de la evaluación. Documento para discusión. DEPP, DNP. Bogotá.

DEPP (n.d). “Lineamientos metodológicos, la Evaluación Ejecutiva (E2)”. Dirección de Evaluación de Políticas Públicas. Secretaría Técnica de Sinergia, Departamento Nacional de Planeación. Colombia.

DEPP, DNP (2006). “Evaluación Ejecutiva: Informe Final”. Dirección de Evaluación de Políticas Públicas. Secre-taría Técnica de Sinergia, Departamento Nacional de Planeación. Colombia.

DEPP, DNP (2006, Marzo). “Informe de Línea de Base reali-zado para la Evaluación intermedia del programa de Vivienda de Interés Social Urbana”. Crece, Manizales.

DEPP, DNP (2010). Evaluación Ejecutiva (E2) Programa “Estra-tegia Territorios Digitales: Aprovechamiento de las TIC en Colombia”. Consultoría realizada por Julio Villarreal.

DEPP, DNP (2011). Diplomado en monitoreo y evaluación de políticas públicas. Módulo Evaluaciones.

Desrosieres, Alain (2004). “The Politics of Large Numbers: A History of Statistical Reasoning”. Harvard University Press.

DNP (2009). “Guía Metodológica para la formulación de indicadores”. Departamento Nacional de Planeación, Bogotá.

Duflo,Esther,RachelGlennerster&MichaelKremer(2008).Using Randomization in Development Economics Research: A Toolkit. En: Handbook of Development Economics, vol. 4, ed. T. Paul Schultz & John Strauss, 3895-3962. Amsterdam: North-Holland.

Dupuit, Jules (1969). “On the Measurement of the Utility of Public Works”. En: Readings in Welfare Economics, ed. Kenneth J. Arrow & Tibor Scitovsky.

Eckstein, Otto (1958). Water-resource Development: The Economics Of Project Evaluation. Harvard University Press, Cambridge.

ESCAP (2009). “Evaluation Guidelines”. ESCAP Monitoring and Evaluation System. United Nations, Economic and SocialCommissionforAsiaandthePacific(ESCAP).

Evalsed (n.d). “Los recursos para la evaluación del desarrollo socio-económico”. Comisión Europea. http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/index_en.htm

Feinstein O. & G. Ingram (2003). “Lessons Learned from World Bank Experiences in Joint Evaluation”, Documento de sala sometido a la Red de Evaluación, OCDE, París, Francia. Disponible en: http://www.oecd.org/dataoecd/secure/15/13/31736431.pdf

Fenton, Dave (2008). “Three key relationships in the service delivery chain”. Achieving Superior Delivery Chain Management: Information Management Magazine.

Ferrara,A.(2010).Cost-BenefitAnalysisofMulti-LevelGover-nment: The Case of EU Cohesion Policy and US Federal Investment Policies. London & New York, Routledge.

FIDA(FondoInternacionaldeDesarrolloAgrícola),“Conflictof Interest of Consultants and Widening the Pool of Evaluation Specialists”.

Folland, Sherman; Allen C. Goodman & Miron Stano (2007). The Economics of Heath and Health Care. Fifth ed. Pearson Prentice Hall, New Jersey.


149

Fondo del Medio Ambiente Mundial, “Monitoring and Eva-luation Policy”, Febrero de 2006, Disponible en: http://www.undp.org/gef/05/documents/me/GEF_ME_Poli-cies_and_Precedures_06.pdf

García, Sandra. (2009). Evaluaciones ejecutivas en el contexto de la evaluación. Bogotá, Universidad de los Andes-Escuela de Gobierno.

Gestión para Resultados de Desarrollo (GpRD), “Second International Roundtable Marrakech 2004; Annex 1: Promoting a Harmonized Approach to Managing for Development Results: Core Principles”. Disponible en: www.mfdr.org/documents/2CorePrinciples05Feb04.pdf

Girishankar, Navin (2001). “Evaluating the Public Sector Re-form. Guidelines for Assessing Country-Level impact of Structure Reform and Capacity Building”. Operations Evaluation Department. Washington, The World Bank.

GNUD (2007). “CCA and UNDAF Guidelines”. Disponible en: www.undg.org/?P=232

GNUD (2007). “CCA/UNDAF Monitoring and Evaluation Guidelines”. Disponible en: www.undg.org/index.cfm?P=259

GNUD, “Human Rights Based Approach to Development”. Disponible en: www.undg.org/index.cfm?P=74

Gómez, Ana (2007). Metodología de evaluaciones estratégicas (Documento de discusión). DNP-Sistema Nacional de Evaluación de Resultados de la Gestión Pública, Bogotá.

Görgens, Marelize & Kusek, Jody (2010). Making Monitoring and Evaluation Systems Work: A Capacity Development Toolkit. Washington, World Bank.

Gupta, Anju (2002). Review of Impact Evaluation Methodo-logies Used By the Operations Evaluation Department Over Past 25 Years. Banco Mundial-IEG, Poverty Analysis, Monitoring and Impact Evaluation Thematic Group, Washington.

Hacking, Ian (1990). The Taming of Chance. Cambridge University Press.

Heyer, Molly (2001). “A Bibliography for Program Logic Mo-dels/Logframe Analysis”. Evaluation Unit, International Development Research Centre.

Hirshleifer, Jack (1960). Water Supply: Economics, Techno-logy, and Policy. Chicago, University Of Chicago Press.

HM Treasury. The Green Book, Appraisal and Evaluation in CentralGovernment.London,TheStationeryOffice.

International Development Association (2002). “Measuring Outputs and Outcomes in IDA Countries”. Disponible en: siteresources.worldbank.org/IDA/Resources/Semi-nar%20PDFs/measuring%20outputs.pdf

Kellogg Foundation (1998). “Evaluation handbook”. Kellogg Foundation (2004). “Evaluation Logic Model Deve-

lopment Guide: Using Logic Models to Bring together Planning, Evaluation, and Action”.

Khandker, S.; Koolwal, G & Samad, H. (2009). Handbook on Quantitative Methods Of Program Evaluation. Banco Mundial-IEG, Poverty Analysis, Monitoring and Impact Evaluation Thematic Group, Washington.

Khandker, S.; Koolwal, G & Samad, H. (2010). Handbook on Impact Evaluation. Banco Mundial-IEG, Poverty Analysis, Monitoring and Impact Evaluation Thematic Group, Washington.

Kosub,Jeffry(2010). “Transitioning to a Greener Fleet: A Cost-BenefitAnalysisofaVehicleFleetProgramattheTexasGeneralLandOfficeinAustin,Texas”(2010).AppliedResearch Projects. Texas State University, Paper 329. Disponible en: ecommons.txstate.edu/arp/329http://ecommons.txstate.edu/arp/329

Kusek, J. & Rist, R. (2004). Ten Steps to a Results-Based Monitoring and Evaluation System. A Handbook for Development Practitioners. Washington, World Bank.

Kusek, Judy & Gorgensen, Marelize (2010). Making Monitoring and Evaluation Systems Work: A Capacity Development Toolkit. Washington, World Bank.

Kusek, Judy & Rist, Ray (2005). “Manual Para gestores del Desarrollo. Diez Pasos hacia un Sistema de Seguimiento y evaluación basado en resultados”. Banco Mundial, Washington.

Kusters, Cecile et al. (2011). Making Evaluations Matter: a practical guide for evaluators. Centre for Development Innovation, Wageningen University & Research centre.

Lettieri, J. & Nelson, E. (2004). Theory of Lean Production. Washington, National Academy of Business.

Levinger, B. & E. Bloom (1997). Introduction to DOSA: An Outline Presentation. Disponible en: www.edc.org/int/capdev/dosafile/dosintr.htm

Lindley, D. V. (1985). Making Decisions, 2.ª edición, John Wiley & Sons.

Little,I.M.D.&Mirrlees,J.A.(1994).TheCostsandBenefitsof Analysis: Project Appraisal and Planning Twenty YearsOn.En:R.Layard&S.Glaister(eds),CostBenefitAnalysis 2nd ed., Cambridge University Press.

Lusthaus Charles, Marie-Hélène Adrien, Gary Anderson & Fred Carden (1999). “Enhancing Organizational Per-formance: A toolbox for self assessment”. International Development Research Centre, Canadá.

Maass, Arthur (ed) (1962). Design Of Water-resource Systems: New Techniques For Relating Economic Objectives, Engineering Analysis, And Governmental Planning. Cambridge, Harvard University Press.

Mackay, Keith (2007). Cómo crear sistemas de SyE que contribuyan a un buen gobierno. Banco Mundial-IEG. Poverty Analysis, Monitoring and Impact Evaluation Thematic Group, Washington.

Malik, Khalid (2002). Manual de seguimiento y evaluación de resultados.NuevaYork,OficinadeEvaluacióndelPNUD.

Mark M.; Henry G. & Julnes G. (2000). “Evaluation: An Inte-grated Framework For Understanding, Guiding, And ImprovingPublicAndNonprofitPoliciesAndPrograms”.Jossey-bass.

McCawley, P. (2001). The Logic Model for Program Planning and Evaluation. Moscow, University of Idaho.

McKean,RolandN.(1958).EfficiencyInGovernmentThroughSystems Analysis: With Emphasis On Water Resources Development. New York, Wiley.

McNamara, Carter (2006). “Basic Guide to outcomes-based evaluationfornonprofitorganizationswithverylimitedresources”,adaptadode:“FieldGuidetoNonprofitPro-gram Design, Marketing and Evaluation”. Authenticity Consulting, LLC, Minneapolis, Minnesota.

McNamara, Carter (2006). “Basic Guide to Program Evalua-tion”. Disponible en: managementhelp.org/evaluation/program-evaluation-guide.htm


150

Medina, Eva. (2002). Modelos econométricos e información estadística. UNAM, Facultad de economía.

Menon, S.; Karl, J. & Wignaraja, K. (2009). “Handbook On Planning, Monitoring And Evaluating For Development Results”. United Nations Development Programme, New York.

Mikel, H. & Schroeder, R. (2004). Six Sigma: The Breakthrough Management Strategy. New York, McGraw Hill.

Mishan, E.J. (1982). Cost-BenefitAnalysis, Third Edition.George Allen & Unwin Ltd, London.

Mohr, Lawrence B. (1995). Impact Analysis for Program Eva-luation. Thousands Oaks (California), Sage Publications.

Morgan, Peter (1999). An Update on the Performance Moni-toring of Capacity Development Programs. What are we Learning?. Paper presented at the meeting of the DAC Informal Network on Institutional and Capacity Development held in Ottawa, May 3-5.

Morra, L. & Friedlander, A. (2001). Evaluaciones mediante estudios de caso. Departamento de Evaluación de Operaciones del Banco Mundial, Washington.

Morra, L. & Rist, R. (2009). The Road to Results: Designing andConductingEffectiveDevelopmentEvaluations.Washington, World Bank.

Morse, Janice M. & Lyn Richards (2002). “The Integrity of Qualitative Research”. En: Read Me First for a User’s Guide to Qualitative Methods, J. M. Morse & L. Richards (eds). Thousand Oaks (CA), Sage Publications.

NationalAuditOffice&Vose,D. (1996).Measuringcostsandbenefits:Aguideoncostbenefitandcosteffec-tiveness analysis.

North, Douglas (1996). “Institutions, institutional change and economic performance”. Cambridge University Press.

OCDE (1991). “DAC Principles for Evaluation of Develop-ment Assistance”, Comité de Asistencia al Desarrollo (CAD). París, Francia. Disponible en: www.oecd.org/dataoecd/21/32/41029845.pdf

OCDE(2000).“EffectivePracticesinConductingaMulti-donorEvaluation”. París, Francia. Disponible en: www.oecd.org/dataoecd/10/28/2667318.pdf

OCDE (2002). “Glossary of Key Terms in Evaluation and Results-Based Management”, Comité de Asistencia al Desarrollo (CAD). París, Francia. Disponible en: www.oecd.org/dataoecd/29/21/2754804.pdf

OCDE (2005). “DAC Workshop on Joint Evaluations: Cha-llenging the Conventional Wisdom the View from Developing Country Partners”. Comité de Asistencia al Desarrollo (CAD), Nairobi, Kenya. Disponible en: www.oecd.org/dataoecd/20/44/34981186.pdf

OCDE (2006). “DAC Guidance for Managing Joint Evalua-tions”, Comité de Asistencia al Desarrollo (CAD). París, Francia. Disponible en: www.oecd.org/da-taoecd/28/14/37484787.pdf

OCDE(2008).“GuidanceonConflictPreventionandPea-cebuilding Activities: Working Draft for Application Period”. Disponible en: www.oecd.org/secure/pdf-Document/0,2834 ,en_2157136130097720_39774574_1_1_1_1,00.pdf

OCDE. “Criteria from Evaluating Development Asístan-se”, Comité de Asistencia al Desarrollo (CAD). Dis-ponible en: www.oecd.org/document/22/0,2340,en_2649_34435_2086550_1_1_1_1,00.html

OCHA (2007). “Guidelines: Results-Oriented Planning & Monitoring”, pág. 11. Naciones Unidas, “‘Resolution Adopted by the General Assembly: Triennial Com-prehensive Policy Review of Operational Activities for Development of the United Nations System”, A/RES/59/250, Agenda del 59º Periodo de Sesiones, Punto 90 (b).

OECD (1999). “Improving Evaluation Practices: Best Practice Guidelines for Evaluation and Background Paper”.

OECD (2002). Glosario de los principales términos sobre evaluación y gestión basada en resultados. En: Eva-luationandaideffectiveness,No.6.Developmentassistance Committee.

Ozlak, O. & Orellana E. (2000). “El análisis de la capacidad institucional: aplicación de la metodología SADCI”, Documentos TOP sobre gestión Pública. Buenos Aires, Centro de Desarrollo y Asistencia Técnica en Tecnología para la Organización pública.

Patton, Michael Q. (1997). “Utilization- Focused Evaluation – The New Century Text”. 3th ed., Sage Publications.

Patton, Michael Q. (2002). Qualitative Evaluation and Re-search Methods, 3rd ed. Thousand Oaks (CA), Sage Publications.

Patton, Michael Q. (2008). Utilization-Focused Evaluation, 4th ed. Thousand Oaks (CA), Sage Publications.

Patton, Michael Q. (2009). Outcome Mapping: Building, LearningandReflectionintoDevelopmentPrograms.Ottawa, International Development Research Centre.

Pawson, Ray (2006). Evidence-Based Policy: A Realistic Pers-pective. New Brunswick (New Jersey), Sage Publications.

Pearce, David & Markandya, Anil (1989). “Contingent Va-luation”.En:EnvironmentalPolicyBenefits:MonetaryValuation, OECD.

PMA (2000). “WFP Principles and Methods of Monitoring and Evaluation”, período de sesiones anual de la Junta Ejecutiva. Roma, 22 a 26 de Mayo.

PNUD (1997). “Monitoreo y evaluación orientados a la obten-ción de resultados: Manual para los administradores deprogramas”.OficinadeEvaluaciónyPlanificaciónEstratégica.

PNUD (2006). “La política de Evaluación del PNUD”, Docu-mento de la Junta Ejecutiva DP/2005/28. Disponible en: www.undp.org/eo/documents/Evaluation-Policy.pdf

PNUD (2007). “Ensuring Quality Control and Policy Cohe-rence: BDP Quality Assurance and Clearance Process”. Dirección de Políticas de Desarrollo. Disponible en: intra.undp.org/bdp/clearance_process.htm

PNUD (2007). “Guidelines for an Assessment of Development Results (ADR)”,OficinadeEvaluación,NuevaYork.Disponible en: intra.undp.org/eo/documents/ADR/framework/ADR_Guide.pdf

PNUD (2007). “Standard Third-Party Cost-Sharing Agree-ment”. Dirección de Alianzas. Disponible en: content.undp.org/go/groups/brsp/Non-Core/Formats/?g11n.enc=ISO-8859-1

PNUD (2007). “The Evaluation of Results Based Management atUNDP”.OficinadeEvaluación,NuevaYork.

PNUD (2008). “Practice Note on Capacity Assessment”.PNUD (2008). “Programme and Operations Policies and

Procedures”. Disponible en: content.undp.org/go/userguide


151

PNUD (2008). “UNDP Strategic Plan, 2008-2011: Accelerating Global Progress on Human Development”. Documen-to de la Junta Ejecutiva DP/2007/43 (en virtud de DP/2007/32), reedición.

PNUD (2009). “Assessment of Development Results (ADR) Guidelines”.OficinadeEvaluación,NuevaYork.Dis-ponible en: intra.undp.org/eo/documents/ADR/ADR-Guide-2009.pdf

PNUD(2009).“Manualdeplanificación,seguimientoyeva-luación de los resultados de desarrollo”. Programa de las Naciones Unidas para el Desarrollo, Nueva York.

PNUD (n.d). “Knowing the What and the How, RBM in UNDP: Technical Note”. Disponible en: www.undp.org/eo/documents/methodology/rbm/RBM-technical-note.doc

PNUD. “RBM in UNDP: Technical Note”.PNUD. “Supporting Capacity Development: The UNDP

Approach”. Disponible en: www.capacity.undp.org/indexAction.cfm?module=Library&action=GetFile&-DocumentAttachmentID=2141

Portney,PaulR.(1950).Benefit-CostAnalysis.En:TheLibraryOf Economics and Liberty. Proposed Practices For Eco-nomic Analysis Of River Basin Projects. Washington, U.S.Govt.Print.Off.

Procuraduría General de la Nación (PGN), Banco Interame-ricano de Desarrollo (BID), Departamento Nacional de Planeación (DNP) (2008, Agosto). “Programa de apoyo al fortalecimiento de la Procuraduría General de la Nación, Contrato de Préstamo BID 1459 OC-CO”. Evaluación Final del programa. Bogotá.

Purdon, S.; Lessof,C.;Woodfield,K&Bryson,C. (2001).Research Methods For Policy Evaluation (National Centre for Social Research. Department for Work and Pensions Research Working Paper No. 2).

Ravallion, Martin (2008). Evaluating Anti-poverty Programs. En: Handbook of Development Economics, vol. 4, T. Paul Schultz & John Strauss (eds.), 3787-3846. Am-sterdam, North-Holland.

Robertson, D. & Smith, H. (2005). Six-Sigma Methodology Applied to Industrial Process. En: Quality Management Review.

Rosas, A. (2008). “Una ruta metodológica para evaluar la capacidad institucional”. Revista: Política y cultura. Vol. 30. Pág. 119-134. México.

Rossi P.; Lipsey M. & Freeman H. (2004). Evaluation: A Sys-tematic Approach. Sage publications.

Salmen, Lawrence F. (1987). Listen to the People: Participant Observation Evaluation of Development Projects. New York, Oxford University Press.

Scriven, Michael (1991). Evaluation Thesaurus, Fourth edition. Sage Publications.

Servicio de Calidad a la Atención Sanitaria-Sescam (2002). “La gestión por procesos”, disponible en: www.chospab.es/calidad/archivos/Documentos/Gestiondeprocesos.pdf

Shadish, Cook & Campbell (2002). Experimental & Quasi-Experimental Designs for Generalized Causal Inference. Boston,HoughtonMifflin.

Sigler, Stephen M. (1990). “The History of Statistics: The Measurement of Uncertainty before 1900”. Belknap Press/Harvard University Press.

Sistema Nacional de Evaluación de Resultados de la Gestión Pública (2007, Octubre). “Metodología de evaluaciones estratégicas”. Versión para discusión.

Social Impact (2008). “Strengthening Results-based Eva-luation in Colombia”. Prepared for the Departamento Nacional de Planeación by Social Impact, Inc. Dr. Philip Boyle, Karen Lyons & Dr. Michael Bamberger.

Squire, Lyn & Van der Tak, Herman G. (1995). Economic Analy-sis of Projects, A World Bank Research Publication, 8th Edition. The Johns Hopkins University Press, Baltimore.

Suchman, Edward A. (1967). Evaluative Research: Principles and Practice in Public Service Action Programs. New York, Russell Sage Foundation.

Talbot, Colin (2010). “Performance in Government: The Evolving System of Performance and Evaluation Mea-surement, Monitoring, and Management in the United Kingdom”. Independent Evaluation Group - ECD, Working Paper Series No. 24, November. The World Bank, Washington.

Taylor-Powell, E. & Henert, E. (2009). Developing a logic model: Teaching and training guide. University of Wisconsin-Extension.

Tevfik F.Nas (1996). Cost-BenefitAnalysis: Theory andApplication. Thousand Oaks (CA), Sage.

The International Initiative for Impact Evaluation (3ie) (2009). “Impact Evaluation Glossary”

Tijms, Henk (2004). “Understanding Probability: Chance Rules in Everyday life”. Cambridge University Press.

Tobelem, Alain (1992). “Institutional capacity analysis and development system (ICADS)”. LATPS Occasional Pa-per Series N°9. Public Sector Management Division, Technical Department Latin America and the Caribbean Region of the World Bank.

TreasuryBoardofCanadaSecretariat(1998).“Benefit-CostAnalysis Guide”. Ottawa.

Trochim, William & Donnelly, James (2006). “The Research Methods Knowledge Base”, 3rd Edition.

UNDP (1999). “Selecting Key Results Indicators, Suggestions and Practical Advice from EO and OSG”. Disponible en: stone.undp.org/undpweb/eo/evalnet/docstore3/yellowbook/documents/key_indicators.pdf

UNEG (2005). “Norms for Evaluation in the UN System”. Disponible en: www.unevaluation.org/unegnorms

UNEG (2005). “Standards for Evaluation in the UN System”. Disponible en: www.unevaluation.org/unegstandards.

UNEG (2007). “Ethical Guidelines for Evaluation”. Dis-ponible en: www.uneval.org/search/index.jsp?q=ethical+guidelines

UNEG (2007). “Role of Evaluation in RBM: Final Report”, Reunión General Anual. Disponible en: cfapp1-docs-public.undp.org/eo/evaldocs1/uneg_2006/eo_doc_722014901.pdf

UNEG (2007). “The Role of Evaluation in Results-Based Management”. Disponible en: www.unevaluation.org/papersandpubs/documentdetail.jsp?doc_id=87

UNEG(2008).“UNEGTraining—WhataUNEvaluatorNeedsto Know?”, Módulo 1.

UNEG, “Guidance on Integrating Human Rights and Gender Equality Perspectives in Evaluations in the UN System”.


152

UNFPA (2000). “Institutionalization of Results-based Ma-nagement at UNFPA”. Disponible en: www.unfpa.org/results/index.htm

UNFPA(2000).“RBMatUNFPA”.OficinadeGestiónBasadaen los Resultados. Disponible en: www.unfpa.org/results/index.htm

UNFPA (2004, Agosto). Programme Manager’s Planning Monitoring & Evaluation Toolkit. Tool Number 6: Pro-gramme Indicators. Part I: Identifying Output Indicators - The Basic Concepts. Division for Oversight Services. Disponible en: www.hfrp.org/publications-resources/browse-our-publications/indicators-definition-and-use-in-a-results-based-accountability-system

UNICEF (1991). “EVALUATION – A UNICEF Guide for Monito-ringandEvaluation–MakingaDifference?”.Oficinade Evaluación.

UNICEF (1998). “Democratic Evaluation: A proposal for strengthening the evaluation function in International Development Organizations”. Documento de trabajo #3,Mayo.

Unicef (2008). “Toolkit on evaluation”. United Nations Childrens´sFund/EgyptCountryOffice.

Unicef, International Program Evaluation Network-IPEN (2006). “New Trends in Development Evaluation”. Evaluation WorkingPapers,Issue#5.UNICEFregionalOfficeforCEE/ CIS and IPEN.

Unión Temporal IFS – Econometría S.A. – SEI (2004). “Informe análisis de resultados de las primeras convocatorias de programa Jóvenes en Acción”. Consultoría para la evaluación de impacto del Subprograma Jóvenes en Acción.

Unión Temporal Universidad de los Andes – Profamilia (2007). “Evaluación del impacto del programa Hogares Comunitarios de Bienestar del ICBF, Informe de Línea de Base”. DEPP, DNP.

United Way of America (1996). “Measuring Program Outcomes: A Practical Approach”. Alexandria, Virginia.

United Way of America. “Outcome measurement What and why? An overview”. Outcome measurement resource network. Disponible en: www.liveunited.org/Outcomes/Resources/What/OM_What.cfm

UNSSC, “Draft Technical Brief: Outcomes”.USAID (1996). “Selecting Performance Indicators”. En: Per-

formance Monitoring and Evaluation. TIPS, No. 6. Disponible en: www.dec.org/pdf_docs/pnaby214.pdf.

USAID (1996). Establishing Performance Targets. En: Per-formance Monitoring and Evaluation. TIPS, No. 8. Disponible en: www.dec.org/pdf_docs/pnaby226.pdf.

USAID (1997). Performance Monitoring and Evaluation, TIPS, No. 11.

USAID (1998). “Managing for Results at USAID”, ponencia preparada por Annette Binnendijk para el Curso práctico sobre gestión y evaluación de la actuación profesional. Nueva York, 5 a 7 de Octubre.

USAID (1998). Guidelines for Indicator and Data Quality. En: Performance Monitoring and Evaluation. TIPS, No. 12. Disponible en: www.dec.org/pdf_docs/pnaca927.pdf.

USAID (2000). “Measuring Institutional Capacity”, Recent Practices in Monitoring and Evaluation. TIPS, No. 15. Disponibleen:www.dec.org/usaid_eval/#004.

USAID (2010). “Performance Monitoring and evaluation TIPS, Baselines and Targets”. No. 8, second edition.

Valadez, J. & M. Bamberger (ed.) (1994). Monitoring and Evaluating Social Programs in Developing Countries. Washington, D.C.: Economic Development Institute of the World Bank Series, World Bank.

Volle, Michel (1984). “Le métier de statisticien” 2.ª ed., Económica.

World Bank (1996). Performance Monitoring Indicators. A Handbook for Task Managers. Washington, Operations Policy Department.

World Health Organization (2000). Outcome Evaluation. United Nations Development Programme, New York.

World Health Organization (2000). Process Evaluation. United Nations Development Programme, New York.

Zaltsman, Ariel (2006). Desarrollo de la capacidad de eva-luación: Experiencias con la institucionalización en cinco países latinoamericanos. Serie Documentos de Trabajo, no. 16. Washington, Banco Mundial.

Muestreo (Sampling)

Adèr, H. J., Mellenbergh, G. J., & Hand, D. J. (2008). Advising on research methods: A consultant’s companion. Huizen, The Netherlands: Johannes van Kessel Publishing.

ASTM E105 Standard Practice for Probability Sampling Of Materials

ASTM E122 Standard Practice for Calculating Sample Size to Estimate,WithaSpecifiedTolerableError,theAveragefor Characteristic of a Lot or Process

ASTM E1402 Standard Terminology Relating to SamplingASTM E141 Standard Practice for Acceptance of Evidence

Based on the Results of Probability SamplingASTM E1994 Standard Practice for Use of Process Oriented

AOQL and LTPD Sampling PlansASTM E2234 Standard Practice for Sampling a Stream of

Product by Attributes Indexedby AQLBartlett, J. E., II, Kotrlik, J. W., & Higgins, C. (2001). Organiza-

tional research: Determining appropriate sample size for survey research. Information Technology, Learning, and Performance Journal, 19(1) 43–50.

Chambers, R L, and Skinner, C J (editors) (2003), Analysis of Survey Data, Wiley, ISBN 0-471-89987-9

Cochran, William G. (1977). Sampling Techniques (Third ed.). Wiley.ISBN 0-471-16240-X.

Deming, W. Edwards (1966). Some Theory of Sampling. Dover Publications.ISBN 0-486-64684-X.OCLC 166526.

Deming, W. Edwards (1975) On probability as a basis for action, The American Statistician, 29(4), pp146–152.

Gy, P (1992) Sampling of Heterogeneous and Dynamic Ma-terial Systems: Theories of Heterogeneity, Sampling and Homogenizing

http://www.statpac.com/surveys/sampling.htm.Kish, Leslie (1995) Survey Sampling, Wiley, ISBN 0-471-

10949-5Korn, E L, and Graubard, B I (1999) Analysis of Health Surveys,

Wiley, ISBN 0-471-13773-1Lohr, Sharon L. (1999). Sampling: Design and Analysis. Dux-

bury.ISBN 0-534-35361-4.


153

Pedhazur, E., & Schmelkin, L. (1991). Measurement design and analysis: An integrated approach. New York: Psy-chology Press.

Särndal, Carl-Erik, and Swensson, Bengt, and Wretman, Jan (1992). Model Assisted Survey Sampling. Springer-Verlag.ISBN 0-387-40620-4.

Smith, T. M. F. (1984). “Present Position and Potential Develo-pments: Some Personal Views: Sample surveys”. Journal of the Royal Statistical Society. Series A (General) 147 (The 150th Anniversary of the Royal Statistical Society): 208–221. doi:10.2307/2981677. http://www.jstor.org/stable/2981677. JSTOR 2981677

Smith, T. M. F. (1993). “Populations and Selection: Limitations of Statistics (Presidential address)”. Journal of the Royal Statistical Society. Series A (Statistics in Society) 156 (2): 144–166. doi:10.2307/2982726. http://www.jstor.org/stable/2982726. JSTOR 2982726(PortraitofT.M. F. Smith on page 144)

Smith, T. M. F. (2001). “Biometrika centenary: Sample sur-veys”. Biometrika 88, (1): 167–243. doi:10.1093/biomet/88.1.167. http://biomet.oxfordjournals.org/cgi/content/abstract/88/1/167.

Smith, T. M. F. (2001). “Biometrika centenary: Sample surveys”. In D. M. Titterington and D. R. Cox. Biometrika: One HundredYears.OxfordUniversityPress.pp. 165–194.ISBN 0-19-850993-6.

Stuart,Alan(1962)BasicIdeasofScientificSampling,HafnerPublishing Company, New York

Walonick, David S. (1997). “A Selection from Survival Statis-tics”. ISBN 0-918733-11-1. Published by: StatPac, Inc., 8609LyndaleAve.S.#209A,Bloomington,MN55420

Whittle, P. (May 1954). “Optimum preventative sampling”. Journal of the Operations Research Society of America 2 (2): 197–203.http://www.jstor.org/stable/166605.

Encuesta (survey)

De Leeuw, E.D. (2001). I am not selling anything: Experiments in telephone introductions. Kwantitatieve Methoden, 22,41-48.

Dillman, D.A. (1978) Mail and telephone surveys: The total design method. New York: Wiley.

European Survey Research AssociationGroves, R.M. (1989) Survey Costs and Survey Errors. New

York: Wiley. http://whatisasurvey.info/ Joint Program in Survey Methodology (JPSM) - University of

Maryland-College Park and University of Michigan-Ann Arbor

Mellenbergh, G.J. (2008). Chapter 9: Surveys. In H.J. Adèr & G.J. Mellenbergh (Eds.) (with contributions by D.J. Hand), Advising on Research Methods: A consultant’s companion (pp. 183-209). Huizen, The Netherlands: Johannes van Kessel Publishing.

Methodology and Statistics for the Social and Behavioral Sciences - Utrecht University, the Netherlands

Survey Design and Measurement InitiativeSurvey Research Methods Section of the American Statistical

Association

The Social Science Research Laboratory (SSRL) - San Diego State University.

UK Longitudinal Studies Centre - University of Essex

Capacidad organizacional, construcción institucional, fortalecimiento institucional, desarrollo organizacional

Center for Democracy and Governance (1998). Handbook of Democracy and Governance Program Indicators. Washington, U.S. Agency for International Development.

Christian Reformed World Relief Committee (1997). Part-nering to Build and Measure Organizational Capacity. Grand Rapids, Mich.

Cooper, S.; and R. O.Connor (1993). Standards for Organi-zational Consultation: Assessment and Evaluation Instruments. Journal of Counseling and Development 71: 651-9.

Counterpart International (n.d). CAP Monitoring and Evalua-tion Questionnaire.

Counterpart International (n.d). Manual for the Workshop on Development of a Training and Technical Assistance Plan (TTAP).

Counterpart International (n.d). Institutional Assessment Indicators.

Drucker, P. & C. Roseum (1993). How to Assess Your Nonpro-fitOrganizationwithPeterDrucker’sFiveImportantQuestions:UserGuide forBoards,Staff,Volunteersand Facilitators. Jossey Bass.

Eade, D (1997). Capacity-Building: An Approach to People-Centred Development. Oxford, Oxfam.

Fowler, A.; L. Goold & R. James (1995). Participatory Self As-sessment of NGO Capacity, INTRAC Occasional Papers Series No. 10. Oxford.

Hatry, H.; L. Blair; D. Fisk; J. Grenier; J. Hall & P. Schaenman (1992).HowEffectiveAreYourCommunityServices?Procedures for Measuring Their Quality. Washington, The Urban Institute.

International Working Group on Capacity Building for NGOs (1998). Southern NGO Capacity Building: Issues and Priorities. New Delhi, Society for Participatory Re-search in Asia.

International Working Group on Capacity Building for NGOs (1998). Strengthening Southern NGOs: The Donor Perspective. Washington, USAID & The World Bank.

Kelleher, D. & K. McLaren with R. Bisson (1996). Grabbing the Tiger by the Tail: NGOs Learning for Organiza-tional Change. Canadian Council for International Cooperation.

Lent, D. October (1996). What is Institutional Capacity?. On Track: The Reengineering Digest, 2 (7): 3. Washington, U.S. Agency for International Development.

Lusthaus, C.; G. Anderson & E. Murphy (1995). Institutional Assessment: A Framework for Strengthening Organi-zational Capacity for IDRCs Research Partners. IDRC.

Mentz, J.C.N. (1997). Personal and Institutional Factors in Capacity Building and Institutional Development. European Centre for Development Policy Management Working Paper No. 14.


154

Morgan, P. & A. Qualman. (1996). Institutional and Capa-city Development, Results-Based Management and Organisational Performance. Canadian International Development Agency.

OECD (2002). “Glosario de los principales términos sobre evaluación y gestión basada en resultados”.

Development assistance Committee - Pact (n.d). What is Prose?.EvaluationandaideffectivenessNo.6.

PNUD(2009).Manualdeplanificación,seguimientoyeva-luación de los resultados de desarrollo. Programa de las Naciones Unidas para el Desarrollo, New York.

Renzi, M. (1996). An Integrated Tool Kit for Institutional De-velopment. Public Administration and Development 16: 469-83.

Renzi, M. (n.d). The Institutional Framework: Frequently Asked Questions. Unpublished paper. Management Systems International.

Sahley, C. (1995). Strengthening the Capacity of NGOs: Cases of Small Enterprise Development Agencies in Africa. INTRAC NGO Management and Policy Series. Oxford.

Save the Children (n.d). Institutional Strengthening Indicators: Self Assessment for NGOs.

UNDP (1997). Capacity Assessment and Development, Tech-nical Advisory Paper No. 3. Management Development and Governance Division, New York.

Bureau for Policy and Program Coordination (1995). USAID.U.S. PVO Partnership. Policy Guidance. Washington: U.S. Agency for International Development.

OfficeofPrivateandVoluntaryCooperation(1998).USAIDSupport for NGO Capacity-Building: Approaches, Examples, Mechanisms. Washington, U.S. Agency for International Development.

OfficeofPrivateandVoluntaryCooperation(1998).ResultsReview Fiscal Year 1997. Washington, U.S. Agency for International Development.

NPI Learning Team (1997). New Partnerships Initiative: A Strategic Approach to Development Partnering. Wash-ington, U.S. Agency for International Development.

NPI Learning Team (1997). Institutional Capacity Needs Assessment.

Whorton, J. & D. Morgan (1975). Measuring Community Perfor-mance: A Handbook of Indicators. University of Oklahoma.

World Bank (1996). Partnership for Capacity Building in Africa: Strategy and Program of Action. Washington.

World Learning (1998). Institutional Analysis Instrument: An NGO Development Tool.

Herramientas de medición de capacidad institucional

Discussion-Oriented Organizational Self-Assessment: www.edc.org/int/capdev/dosafile/dosintr.htm

Institutional Development Framework: Management Systems International. Washington.

Pact. Organizational Capacity Assessment Tool: www.pact-world.org/ocat.html

New TransCentury Foundation. Dynamic Participatory Insti-tutional Diagnostic. Arlington, Va.

Organizational Capacity Indicator: Christian Reformed World Relief Committee. Grand Rapids, Mich.

Smith, P.; L. Kendall & C. Hulin (1969). The Measurement of Satisfaction in Work and Retirement. Rand McNally.

Hackman, J.R.; and G.R. Oldham (1975). Job Diagnostic Survey: Development of the Job Diagnostic Survey. Journal of Applied Psychology 60: 159-70.

Goodstein,L.D.&J.W.Pfeiffer,eds(1985).AlexanderTeamEffectivenessCritique.The1995AnnualDevelopingHumanResources.Pfeiffer&Co.

Bourgeois, L.J.; D.W. McAllister & T.R. Mitchell (1978). Prefe-rredOrganizationalStructure:TheEffectsofDifferentOrganizational Environments Upon Decisions About Organizational Structure. Academy of Management Journal 21: 508-14.

Kraut, A. (1996). Customer and Employee Surveys and Orga-nizational Surveys: Tools for Assessment and Change. Jossey Bass Publishers.

UNDP Capacity Building and CapBuild Software: magnet.undp.org

Sustainable development measurement: iisd1.iisd.ca/measureUSAID’s New Partnerships Initiative Resource Guide: www.

info.usaid.gov/pubs/npiWorld Bank: www.worldbank.org/html/oed/instdtxt.htmInternational Union for the Conservation of Nature and

Capacity building: www.iucn.org/themes/ssp/Conservation monitoring: www.wcmc.org.uk/capacity_buil-

ding

Desempeño en el gobierno

Cave, M.; M. Kogan, et al., Eds. (1990). Output and Performance MeasurementinGovernment—TheStateoftheArt.London, Jessica Kingsley Publishers.

ComptrollerandAuditorGeneral(1998).BenefitsAgency:Performance Measurement. London, National Audit Office.

Comptroller and Auditor General (2000). Good Practice in Per-formance Reporting in Executive Agencies and Non-De-partmentalPublicBodies.London,NationalAuditOffice.

Comptroller and Auditor General (2001a). Measuring the Performance of Government Departments. London, NationalAuditOffice.

Gershon, P. (2004). Releasing Resources for the Frontline: IndependentReviewofPublicSectorEfficiency(Ger-shon Review). London, HM Treasury.

HM Treasury (2001). Choosing the Right FABRIC - A Framework for Performance Information. London, HM Treasury.

Jowett, P. & M. Rothwell (1988). Performance Indicators in the Public Sector. Macmillan.

NationalAuditOffice(2006).PSATargets:PerformanceInfor-mationSurveyReport.London,NationalAuditOffice.

Talbot,C.(1998).OutputandPerformanceAnalysis—Timeto Open Up the Debate. Public Money and Manage-ment 18(2).

Talbot,C.(2010).TheoriesofPerformance—Organizationaland service improvement in the public domain. Oxford, Oxford University Press.


155

Aleatoriedad

Abadie, Alberto; Joshua D. Angrist & Guido W. Imbens (2002).InstrumentalVariablesEstimatesoftheEffectofSub-sidized Training on the Quantiles of Trainee Earnings. Econometrica, 70 (1): 91–117.

Angrist, Joshua; Eric Bettinger; Erik Bloom; Elizabeth King & Michael Kremer (2002). Vouchers for Private Schooling in Colombia: Evidence from a Randomized Natural Expe-riment. American Economic Review, 92 (5): 1535-1558.

Banerjee,Abhijit;ShawnCole;EstherDuflo&LeighLinden(2007). Remedying Education: Evidence from Two Randomized Experiments in India. Quarterly Journal of Economics, 122 (3): 1235-1264.

Behrman, Jere & John Hoddinott (2005). Programme Eva-luation with Unobserved Heterogeneity and Selective Implementation: The Mexican ‘PROGRESA’ Impact on Child Nutrition. Oxford Bulletin of Economics and Statistics, 67 (4): 547-569.

Behrman, Jere; Susan Parker & Petra Todd (2009). Long-Term Impacts of the Oportunidades Condicional Cash-Transfer Program on Rural Youth in Mexico. En: Poverty, Inequality, and Policy in Latin America, Stephan Klasen & Felicitas Nowak-Lehmann (eds.), 219–70. Cambridge, MA: MIT Press.

Björklund,Anders&RobertMoffitt.(1987).TheEstimationof Wage Gains and Welfare Gains in Self-Selection Mo-dels. Review of Economics and Statistics, 69 (1): 42-49.

Dammert, Ana (2007). Heterogeneous Impacts of Conditional Cash Transfers: Evidence from Nicaragua. Working Paper, McMaster University, Hamilton, ON, Canada.

De Janvry, Alain; Frederico Finan; Elisabeth Sadoulet & Renos Vakis (2006). Can Conditional Cash Transfer Programs Serve as Safety Nets in Keeping Children at School and from Working When Exposed to Shocks? Journal of Development Economics, 79 (2): 349-373.

Djebbari,Habiba&JeffreySmith(2008).“HeterogeneousImpacts in PROGRESA.” IZA Discusión Paper 3362. Institute for the Study of Labor, Bonn, Germany.

Duflo,Esther;RachelGlennerster&MichaelKremer(2008).“Using Randomization in Development Economics Research: A Toolkit.” En: Handbook of Development Economics, vol. 4, T. Paul Schultz and John Strauss (eds.), 3895–962. Amsterdam: North-Holland.

Gertler, Paul (2004). Do Conditional Cash Transfers Improve Child Health? Evidence from PROGRESA’s Control Randomized Experiment. American Economic Review, Papers and Proceedings, 94 (2): 336-341.

Giné, Xavier; Dean Karlan & Jonathan Zinman (2008). The RiskofAsking:MeasurementEffectsfromaBaselineSurvey in an Insurance Takeup Experiment. Working Paper, Yale University, New Haven, CT.

Heckman, James J. & Edward J. Vytlacil (2000). Local Instru-mental Variables. NBER Technical Working Paper 252. National Bureau of Economic Research, Cambridge, MA.

Heckman, James J. & Edward J. Vytlacil (2005). “Structural Equations,TreatmentEffects,andEconometricPolicyEvaluation”. Econometrica 73 (3): 669-738.

Hoddinott,John&EmmanuelSkoufi(as.)(2004).TheImpactof PROGRESA on Food Consumption. Economic Deve-lopment and Cultural Change, 53 (1): 37-61.

Imbens,Guido&JoshuaAngrist(1994).IdentificationandEstimationofLocalAverageTreatmentEffects.Eco-nometrica, 62 (2): 467-476.

Kish, Leslie (1987). Statistical Design for Research. New York, Wiley.

Miguel, Edward & Michael Kremer (2004). Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities. Econometrica, 72 (1): 159-217.

Moffitt,Robert(2003).TheRoleofRandomizedFieldTrialsin Social Science Research: A Perspectiva from Eva-luations of Reforms from Social Welfare Programs. NBER Technical Working Paper 295. National Bureau of Economic Research, Cambridge, MA.

Quandt, Richard (1972). Methods for Estimating Switching Regressions. Journal of the American Statistical Asso-ciation, 67 (338): 306-310.

Ravallion, Martin (2008). Evaluating Anti-Poverty Programs. En: Handbook of Development Economics, vol. 4, T. Paul Schultz and John Strauss (eds.), 3787-3846. Amsterdam, North-Holland.

Roy, Andrew D. (1951). Some Thoughts on the Distribution of Earnings. Oxford Economic Papers, 3 (2): 135-146.

Schultz, T. Paul (2004). School Subsidies for the Poor: Evaluating the Mexican PROGRESA Poverty Program. Journal of Development Economics, 74 (1): 199-250.

Skoufias,Emmanuel&VincenzodiMaro(2007).ConditionalCash Transfers, Adult Work Incentives, and Poverty. Policy Research Working Paper 3973, World Bank, Washington.

Todd, Petra & Kenneth Wolpin (2006). Assessing the Impact of a School Subsidy Program in Mexico: Using a Social Experiment to Validate a Dynamic Behavioral Model of Child Schooling and Fertility. American Economic Review, 96 (5): 1384–417.

Método de pareo o correspondencia (propensity score matching)

Bryson, Alex; Richard Dorsett & Susan Purdon (2002). The Use of Propensity Score Matching in the Evaluation of Active Labour Market Policies. Working Paper 4. Department for Work and Pensions, London.

Caliendo, Marco & Sabine Kopeinig (2008). Some Practical Guidance for the Implementation of Propensity Score Matching. Journal of Economic Surveys, 22 (1): 31-72.

Chen, Shaohua; Ren Mu & Martin Ravallion (2008). Are There Lasting Impacts of Aid to Poor Areas? Evidence for Rural China. Policy Research Working Paper 4084. World Bank, Washington.

Dehejia, Rajeev (2005). Practical Propensity Score Matching: A Reply to Smith and Todd. Journal of Econometrics, 125 (1–2): 355-364.

Efron, Bradley & Robert J. Tibshirani (1993). An Introduction to the Bootstrap. Boca Raton (Florida), Chapman & Hall.


156

Fan, Jianqing (1992). Design-Adaptive Nonparametric Regres-sion. Journal of the American Statistical Association, 87 (420): 998-1004.

Fan, Jianqing (1993). Local Linear Regression Smoothers andTheirMinimaxEfficiencies.AnnalsofStatistics,21 (1): 196-216.

Godtland, Erin; Elisabeth Sadoulet; Alain de Janvry; Rinku Murgai & Óscar Ortiz (2004). The Impact of Farmer-Field-Schools on Knowledge and Productivity: A Study of Potato Farmers in the Peruvian Andes. Economic Development and Cultural Change, 52 (1): 129-158.

Hahn, Jinyong; Keisuke Hirano & Dean Karlan (2008). Adap-tive Experimental Design Using the Propensity Score. Working Paper 969. Economic Growth Center, Yale University, New Haven, CT.

Heckman, James J.; Hidehiko Ichimura & Petra Todd (1997). Matching as an Econometric Evaluation Estimator: Evidence from Evaluating a Job Training Programme. Review of Economic Studies, 64 (4): 605-654.

Heckman, James J.; Hidehiko Ichimura & Petra Todd (1998). Matching as an Econometric Evaluation Estimator. Review of Economic Studies, 65 (2): 261-294.

Heckman,JamesJ.;RobertLaLonde&JeffreySmith(1999).The Economics and Econometrics of Active Labor Mar-ket Programs. En: Handbook of Labor Economics, vol. 3,Orley Ashenfelter & David Card (eds.), 1865-2097. Amsterdam, North-Holland.

Hirano, Keisuke; Guido W. Imbens & Geert Ridder (2003). Efficient Estimation of Average Treatment Effects Using the Estimated Propensity Score. Econometrica, 71 (4): 1161-1189.

Horowitz, Joel (2003). The Bootstrap in Econometrics. Sta-tistical Science, 18 (2): 211-218.

Imbens, Guido (2000). The Role of the Propensity Score in Estimating Dose-Response Functions. Biometrika, 87 (3): 706-710.

Imbens, Guido (2004). Nonparametric Estimation of Average TreatmentEffectsunderExogeneity:AReview.Reviewof Economics and Statistics, 86 (1): 4-29.

Jalan, Jyotsna & Martin Ravallion (2003). Estimating the BenefitIncidenceofanAntipovertyProgrambyPro-pensity-Score Matching. Journal of Business and Economic Statistics, 21 (1): 19-30.

Lechner,Michael (2001). IdentificationandEstimationofCausalEffectsofMultipleTreatmentsAndertheCon-ditional Independence Assumption. En: Econometric Evaluation of Labor Market Policies.

Ravallion, Martin (2008). Evaluating Anti-Poverty Programs. En: Handbook of Development Economics, vol. 4, T. Paul Schultz & John Strauss (eds.), 3787-3846. Am-sterdam, North-Holland.

Rosenbaum, Paul R. (2002). Observational Studies. New York & Berlin, Springer-Verlag.

Rosenbaum, Paul R. & Donald B. Rubin (1983). The Central Role of the Propensity Score in Observational Studies forCausalEffects.Biometrika,70(1):41-55.

Smith,Jeffrey&PetraTodd(2005). Does Matching Overcome LaLonde’s Critique of Nonexperimental Estimators? Journal of Econometrics, 125 (1–2): 305-353.

Todd, Petra (2007). Evaluating Social Programs with Endoge-nous Program Placement and Selection of the Treated.

En: Handbook of Development Economics, vol. 4, T. Paul Schultz and John Strauss (eds.), 3847-3894. Amsterdam, North-Holland.

Doble diferencia

Bell, Brian; Richard Blundell & John van Reenen (1999). Ge-tting the Unemployed Back to Work: An Evaluation of the New Deal Proposals. International Tax and Public Finance, 6 (3): 339-360.

Bertrand,Marianne;EstherDuflo&SendhilMullainathan(2004).HowMuchShouldWeTrustDifferences-in-Di-fferencesEstimates?QuarterlyJournalofEconomics,119 (1): 249-275.

Chaudhury, Nazmul & Dilip Parajuli (2006). Conditional Cash Transfers and Female Schooling: The Impact of the Female School Stipend Program on Public School Enrollments in Punjab, Pakistan. Policy Research Wor-king Paper 4102. World Bank, Washington.

Gruber, Jonathan (1994). The Incidence of Mandated Maternity Benefits.AmericanEconomicReview,84(3):622–41.

Hirano, Keisuke; Guido W. Imbens & Geert Ridder (2003). Efficient Estimation of Average Treatment Effects Using the Estimated Propensity Score. Econometrica, 71 (4): 1161-1189.

Jalan, Jyotsna & Martin Ravallion (1998). Are There Dynamic Gains from a Poor-Area Development Program? Journal of Public Economics, 67 (1): 65-85.

Khandker, Shahidur R.; Zaid Bakht & Gayatri B. Koolwal (2009). The Poverty Impacts of Rural Roads: Evidence from Bangladesh. Economic Development and Cultural Change, 57 (4): 685-722.

Ravallion, Martin; Emanuela Galasso; Teodoro Lazo & Ernesto Philipp (2005). What Can Ex-Participants Reveal about a Program’s Impact? Journal of Human Resources, 40 (1): 208–30.

Thomas, Duncan; Elizabeth Frankenberg; Jed Friedman; Jean-Pierre Habicht; Mohammed Hakimi Jaswadi; Nathan Jones; Christopher McKelvey; Gretel Pelto; Bondan Sikoki; Teresa Seeman; James P. Smith; Cecep Sumantri; Wayan Suriastini & Siswanto Wilopo (2004). IronDeficiencyandtheWell-BeingofOlderAdults:Preliminary Results from a Randomized Nutrition Intervention. Los Ángeles, University of California.

Van de Walle, Dominique & Ren Mu (2008). Rural Roads and Poor Area Development in Vietnam. Policy Research Working Paper 4340. World Bank, Washington.

Variables instrumentales

Andrabi, Tahir; Jishnu Das & Asim Ijaz Khwaja (2006). Students Today, Teachers Tomorrow? Identifying Constraints on the Provision of Education. Cambridge (Massachussets), Harvard University.

Angrist, Joshua (1990). Lifetime Earnings and the Vietnam Era Draft Lottery: Evidence from Social Security Ad-ministration Records. American Economic Review, 80 (3): 313-335.


157

Blundell, Richard & Monica Costa Dias (2008). Alternative Approaches to Evaluation in Empirical Microeco-nomics. CeMMAP Working Paper 26/08. Centre for Microdata Methods and Practice, Institute for Fiscal Studies, London.

Glewwe, Paul & Hanan G. Jacoby (1995). An Economic Analysis of Delayed Primary School Enrollment in a Low Income Country: The Role of Early Childhood Nutrition. Review of Economic Statistics, 77 (1): 156-169.

Heckman, James J. (1997). Instrumental Variables: A Study of Implicit Behavioral Assumptions Used in Making Program Evaluations. Journal of Human Resources, 32 (3): 441-462.

Heckman, James J. & V. Joseph Hotz (1989). Choosing among Alternative Nonexperimental Methods for Estimating the Impact of Social Programs: The Case of Manpower Training. Journal of the American Statistical Association, 84 (408): 862-874.

Heckman, James J. & Richard Robb (1985). Alternative Me-thods for Estimating the Impact of Interventions. En: Longitudinal Analysis of Labor Market Data, James Heckman and Burton Singer (eds.), 156-245. New York, Cambridge University Press.

Heckman, James J. & Edward J. Vytlacil (2000). Causal Para-meters,StructuralEquations,TreatmentEffects,andRandomized Evaluations of Social Programs. Chicago, University of Chicago.

Heckman, James J. & Edward J. Vytlacil (2005). Structural Equations,TreatmentEffects,andEconometricPolicyEvaluation. Econometrica, 73 (3): 669-738.

Imbens,Guido&JoshuaAngrist(1994).IdentificationandEstimationofLocalAverageTreatmentEffects.Eco-nometrica, 62 (2): 467-476.

Khandker, ShahidurR. (2006).MicrofinanceandPoverty:Evidence Using Panel Data from Bangladesh. World Bank Economic Review, 19 (2): 263-286.

Moffitt,Robert(2008).EstimatingMarginalTreatmentEffectsin Heterogeneous Populations. Economic Working Pa-per Archive 539. Johns Hopkins University, Baltimore, MD.Disponibleen:www.econ.jhu.edu/people/moffitt/welfls0_v4b.pdf.

Morduch,Jonathan(1998).DoesMicrofinanceReallyHelpthe Poor? New Evidence on Flagship Programs in Ban-gladesh. Princeton (New Jersey), Princeton University.

Pitt, Mark & Shahidur Khandker (1998). The Impact of Group-Based Credit Programs on Poor Households in Bangladesh: Does the Gender of Participants Matter? Journal of Political Economy, 106 (5): 958-998.

Ravallion, Martin & Quentin Wodon (2000). Does Child Labour Displace Schooling? Evidence on Behavioural Responses to an Enrollment Subsidy. Economic Journal, 110 (462): 158-175.

Semykina,Anastasia&JeffreyM.Wooldridge(2005).Estima-ting Panel Data Models in the Presence of Endogeneity and Selection: Theory and Application. Working Paper. Michigan State University, East Lansing.

Todd, Petra (2007). Evaluating Social Programs with En-dogenous Program Placement and Selection of the Treated. En: Handbook of Development Economics, vol. 4, T. Paul Schultz and John Strauss (eds.), 3847–94. Amsterdam, North-Holland.

Wooldridge,Jeffrey(2001).EconometricAnalysisofCrossSection and Panel Data. Cambridge, MA, MIT Press.

Regresión discontinua

Buddelmeyer,Hielke&EmmanuelSkoufi (as.) (2004).AnEvaluation of the Performance of Regresión Disconti-nuity Design on PROGRESA. Policy Research Working Paper 3386. World Bank, Washington.

Duflo,Esther(2003).GrandmothersandGranddaughters:OldAge Pension and Intrahousehold Allocation in South Africa. World Bank Economic Review, 17 (1): 1-26.

Galasso, Emanuela & Martin Ravallion (2004). Social Protec-tion in a Crisis: Argentina’s Plan Jefes y Jefas. World Bank Economic Review, 18 (3): 367-400.

Hahn, Jinyong; Petra Todd & Wilbert van der Klaauw (2001). “Identificationof Treatment EffectsbyRegressionDiscontinuity Design.” Econometrica, 69 (1): 201-209.

Ravallion, Martin (2008). Evaluating Anti-poverty Programs. En: Handbook of Development Economics, vol. 4,T. Paul Schultz & John Strauss (eds.), 3787-3846. Amsterdam, North-Holland.

Técnicas cualitativas

Anfara, Vincent & Norma Mertz (2006). “Theoretical Fra-meworks in Qualitative Research”. Thousand Oaks (California), Sage Publications.

Barbour, Rosaline (2007). Doing Focus Groups. London, Sage.Chase, Susan (2005). Narrative Inquiry: Multiple Lenses,

Approaches, Voices. En: Denzin, Norman and Yvonne Lincoln (eds.), pp. 651-679. The Sage Handbook of Qualitative Research. Thousand Oaks, London, New Delhi: Sage.

Creswell, John W. (2007). Qualitative Inquiry & Research Design. London, Sage Publications.

Davies,R.&Dart,J.(2005,abril).MostSignificantChange(MSC) Technique A Guide to Its Use. Disponible en: www.mande.co.uk/docs/MSCGuide.pdf

Denzin, Norman & Yvonne Lincoln (eds.) (2005). The Sage Handbook of Qualitative Research. Thousand Oaks, London, New Delhi, Sage.

Denzin, Norman & Yvonne Lincoln (eds.) (2003). Strategies of Qualitative Inquiry. London, Sage Publications.

Flick, Uwe (1998). An Introduction to Qualitative Research. Thousand Oaks, London, New Delhi, Sage.

Flick, Uwe (2002). Qualitative Research – State of the Art. Social Science Information, 41 (1): 5-24.

Flick, Uwe (2007). Designing Qualitative Research. London, Sage.

Kornblit, Ana Lía (coord.) (2007). Metodologías cualitativas en ciencias sociales: Modelos y procedimientos de análisis. Buenos Aires, Biblos.

Kvale, Steinar (2007). Doing Interviews. London, Sage.Layder, Derek (1993). New Strategies in Social Research.

Cambridge, Polity Press.Levin, B. (1993) Collaborative research in and with organi-

zations. Qualitative Studies in Education, 6.


158

Lewis-Beck, Michael et al. (eds.) (2004). The SAGE Ency-clopedia of Social Science Research Methods, 3 vol. Thousand Oaks, Sage.

Marshall, Catherine & Gretchen B. Rossman (1995). Desig-ning Qualitative Research. Thousand Oaks, London, New Delhi, Sage.

Miles, M. B., & A. M. Huberman (1994). Qualitative Data Analysis: An Expanded Sourcebook. Thousand Oaks (California), Sage Publications.

Patton, Michael (1982). Practical Evaluation. Newbury Park (California), Sage Publications.

Patton, Michael (1987). How to Use Qualitative Methods in Evaluation. Newbury Park (California), Sage Publi-cations.

Patton, Michael (1990). Qualitative Evaluation and Research Methods. Newbury Park (California), Sage Publications.

Patton, Michael (2002). Qualitative Research and Evaluation Methods. Sage Publications.

Patton, Michael (2003). Qualitative Evaluation Checklist. Michigan, Western Michigan University.

Rapley, Tim (2007). Doing Conversation, Discourse and Document Analysis. London, Sage Publications.

Ruane, Janet M. (2005). Essentials of Research Methods: A Guide to Social Science Research. Malden, Blackwell.

Schwandt, Thomas (2007). The SAGE Dictionary of Qualitative Inquiry. Thousand Oaks, Sage Publications.

Valles, Miguel (2003). Técnicas cualitativas de investigación social. Madrid, Síntesis.

Evaluación participativa rápida - Participatory Rural Appraisal (PRA)

Chambers, Robert (1993). Challenging the Professions: Frontiers for Rural Development. London, Intermediate Technology Publications.

Chambers, Robert (1983). Rural Development: Putting the Last First. Essex, Longmans.

Chambers, Robert (1997). Whose Reality Counts? Putting the First Last. London, Intermediate Technology Pu-blications.

Thailand (1987). Proceedings of the 1985 International Conference on Rapid Rural Appraisal. Khon Kaen (Thailand): Khon Kaen University.

Singh, Kamal (2001). Handing over the Stick: The Global Spread of Participatory Approaches to Development. En: Edwards and Gaventa (eds.). Global Citizen Action, pp. 163-175. Boulder, Lynne Rienner Publishers.

Anexos

CAPÍTULO XI C

ap

ítu

lo X

I

Valentyna Chukhlyebova

161

11.1 Métodos más utilizados de recolección de información

Método Descripción Ventajas Retos

Sistema de Segui-miento y Evalua-ción

Usa indicadores de desempeño para medir avances, especialmente los resultados reales en relación con los resultados esperados.

Puede ser un método fiable y rentable para evaluar los avances de productos y efectos.

Depende de sistemas de seguimiento y evaluación que hayan establecido indicadores y objetivos de base y que recaben in-formaciónfiablerespectoa las metas a lo largo del tiempo, así como datos relacionados con los in-dicadores de efectos.

Documentose informesexistentes

La documentación existente, in-cluida la información cuantitativa y descriptiva de la intervención, sus productos y efectos, tales como documentos sobre las actividades de desarrollo de capacidad, los informes de donantes y otras evidencias que sirvan de prueba.

Son rentables.

La evidencia documental puede ser difícil de codi-ficarydeanalizarcomorespuesta a las preguntas deinterés.Dificultaddeverificar la fiabilidad y validez de los datos.

Cuestionarios

Proporcionan un enfoque estan-darizado para obtener información sobre un amplio abanico de temas de un número grande o diverso de partes interesadas. Normalmente se emplean técnicas de muestreo para obtener información sobre sus actitudes, creencias, opiniones, per-cepciones, nivel de satisfacción, etc. en relación con las operaciones, insumos, productos y factores de contexto.

Son útiles para reunir datos descriptivos en múltiples frentes de manera rápida y con un costo relativamente bajo. Fáciles de analizar. Ofrece el anonimato a los encuestados.

Informar sobre uno mis-mo puede llevar a sesgos. Los datos pueden ofrecer una imagen general pero carecen de profundidad. Pueden no proporcionar información adecuada para el contexto. Están sujetos a errores de mues-treo.

Entrevistas

Solicitar respuestas individuales a preguntas predeterminadas diseña-das para obtener información a fondo sobre las impresiones o experiencias de las personas, o para saber más sobre sus respuestas a cuestionarios o encuestas.

Facilitan una cobertura, variedad y profundidad mayor sobre un tema.

Pueden necesitar más tiempo. Pueden ser difí-ciles de analizar. Pueden ser costosas. Potencial-mente, el entrevistador puede hacer que las res-puestas sean sesgadas.

Observaciónin situ

Conlleva el empleo de una forma de observación detallada para obtener información precisa in situ sobre cómo funciona el programa (activi-dades en curso, procesos, debates, interacciones sociales y resultados observables tal y como se pueden ver directamente durante el desa-rrollo de una iniciativa)

Permite ver las operacio-nes de un programa en el momento en que tienen lugar. Se puede adaptar a los acontecimientos en el momento en que ocurren.

Puede ser difícil categori-zar o interpretar los com-portamientos observados. Puede resultar caro. Suje-to a posibles sesgos en la selección (de los sitios).


162

Método Descripción Ventajas Retos

Entrevistasde grupo

Se entrevista a un pequeño grupo (de 6 a 8 personas) para estudiar en profundidad las opiniones de las partes interesadas, los puntos de vista similares o divergentes, o sus consideraciones sobre una iniciativa o política de desarrollo, así como para obtener información sobre sus comportamientos, su comprensión y percepción de una iniciativa, o para recopilar información sobre los cambios tangibles e intangibles resultantes de una intervención.

Mediorápidoyfiabledeobtener las impresiones comunes de las diversas partes interesadas. Ma-neraeficientedeobtenerinformación variada y con alto grado de profundi-dad en un corto plazo.

Puede ser difícil analizar las respuestas. Requiere unfacilitadorcualificado.Puede ser difícil de pro-gramar.

Informadoresclave

Entrevistas cualitativas en profun-didad, a menudo individuales, con una amplia variedad de partes inte-resadas que tienen un conocimiento de primera mano de las operaciones y el contexto de la iniciativa. Estos expertos comunitarios pueden pro-porcionar un conocimiento especial y una comprensión de los problemas y las soluciones recomendadas.

Puede proporcionar un entendimiento de los problemas y ofrecer recomendaciones para solucionarlos. Puede proporcionar diferentes perspectivas sobre un tema único o sobre varios temas.

Sujeto a sesgos en la muestra. Requiere tener algunaformadeverificaro corroborar la informa-ción.

Paneles deexpertos

Una revisión por pares o por un grupo de referencia compuesto de expertos externos para proporcionar insumos en temas técnicos o de otro género cubiertos por la evaluación.

Añade credibilidad. Pue-de servir como una fuen-te más de información (experta) que ofrezca una mayor profundidad. Pue-deverificaroconfirmarlainformación y los resulta-dos en un área temática.

Costo de la consultoría y gastos conexos. Requiere asegurar la imparcialidad ylaausenciadeconflictosde interés.

Casos deestudio

Implica un examen exhaustivo me-diante la comparación cruzada de casos, para obtener información a fondo con el objetivo de comprender la dinámica operacional, las activi-dades, los productos, los efectos y las interacciones de un proyecto o programa de desarrollo.

Útil para estudiar en ma-yor detalle los factores que contribuyen a los productos y efectos.

Requiere un tiempo y re-cursos considerables, de los que generalmente no disponen las evaluacio-nes. Puede ser difícil de analizar.

Fuente: PNUD (2009).


163

11.2Perfilesparaevaluacionesdeprocesos

Personal

Requisitos Mínimos

Educación Experiencia profesional especifica

Director y personal de mayor rango

Director

Título profesional en economía, ingeniería o administración.

Título de postgrado en Ingeniería, administración, gerencia, procesos.

Seis (6) años de experiencia es-pecífica profesional en temas relacionados con la formulación e implementación de reformas institucionales, organizacionales, estudiosdeeficienciaencadenasde implementación o procesos de modernización en entidades públicas o privadas.

Profesionales con las si-guientes características:

Título profesional en administra-ción, ingeniería, economía.

Titulo de postgrado en temas rela-cionados con gerencia, administra-ción, procesos, ingenierías o áreas administrativas.

Tres (3) años de experiencia espe-cíficaprofesionalenprocesosdereingeniería institucional, modi-ficacionesaestructurasadminis-trativas, adecuación de plantas de personal ó gestión humana en cualquier organización pública o privada.

Fuente: DSEPP, DNP.

Algunas precisiones:

• En los casos que se realice una evaluación de procesos, es necesario solicitar un experto en el tema (po-siblemente ingeniero industrial)

• Se recomienda complementar los métodos cuantitativos con métodos cualitativos y, por lo tanto, contar con una persona experta en el diseño y análisis de este tipo de herramientas

• Nosiempreesnecesariotenerunaeducacióndepregradoacordeconelperfildelexperto.Puedesersuficienteconlamaestríaoeldoctorado.

• Las ciencias sociales mencionadas incluyen ciencias relacionadas con la interacción social como lo son la Antropología, la Historia, la Economía, la Sociología, la Demografía o las ciencias sociales aplicadas como la Administración, el Derecho, la Pedagogía y el Urbanismo. Se puede, para mayor claridad, no poner “ciencia social”ydefinirla,sinoincluirlasprofesionesdeacuerdoconlasnecesidadesdelaevaluación.

• La ingeniería incluye la ingeniería ambiental, civil, industrial y de sistemas. Se puede, para mayor claridad, noponer“ingeniería”ydefiniracuálescomprende,sinoincluirlasprofesionesdeacuerdoconlasnece-sidades de la evaluación.


164

11.3Perfilesparaevaluacionesdeproductos

Cargo Estudios Experiencia


Un (1) Director del Proyecto

Título universitario en Economía, Ad-ministración de Empresas, Ingeniería, Ciencias Sociales y Estudios de Maes-tría culminados en áreas relacionadas con el objeto del contrato.

Mínimo 6 años de experiencia en eva-luación y gestión de programas, en el diseño o ejecución de políticas públicas en áreas relacionadas con el tema de la evaluación.

Un profesional espe-cializado en temas de Planificación,desem-peño, gestión, análisis costo-eficiencia

Título universitario en Economía, Administración de Empresas, Inge-niería, área de las ciencias sociales conpostgradoenáreasafines

Mínimo 3 años de experiencia en des-empeño, gestión e indicadores y/o herramientasdediseñooplanificacióndeprogramas,análisiscosto-eficiencia.

1 o 2 profesionales es-pecializados en cada uno de los temas clave de la evaluación

Título Universitario en Economía, Ad-ministración de Empresas, Ingeniería, y estudios de postgrado en economía, administración pública, y/o otras áreas afinesalpresenteproyecto

Mínimo 5 años de experiencia en traba-jos de economía en el área de política pública sobre cada uno de los temas clave.

Personal de apoyo

Profesionales Título universitario

Nivel profesional, 2 años de experiencia en trabajo de campo y/o conocimiento en los sectores del programa a evaluar y/o en evaluación de programas (siste-mas – manejo de software aplicables a evaluación social y económica).

Fuente: DSEPP, DNP


• En los casos que se realice una evaluación de procesos, es necesario solicitar un experto en el tema (po-siblemente ingeniero industrial)



• Las ciencias sociales mencionadas incluyen ciencias relacionadas con la interacción social como lo son la Antropología, la Historia, la Economía, la Sociología, la Demografía o las ciencias sociales aplicadas como la Administración, el Derecho, la Pedagogía y el Urbanismo. Se puede, para mayor claridad, no poner “ciencia social”ydefinirla,sinoincluirlasprofesionesdeacuerdoconlasnecesidadesdelaevaluación.

• La ingeniería incluye la ingeniería ambiental, civil, industrial y de sistemas. Se puede, para mayor claridad, noponer“ingeniería”ydefiniracuálescomprende,sinoincluirlasprofesionesdeacuerdoconlasnece-sidades de la evaluación


165

11.4PerfilesparalaE2+

En general, las E2+ por ser evaluaciones de corto plazo requieren de un proceso rápido de contratación por lo que están dirigidas a consultores individuales con estudios y experiencia relevante en la gestión y evaluación de programas y políticas que cumplan con los requisitos enumerados a continuación:

• Perfilconpostgradoenadministraciónpública,economía,cienciassocialesopolíticas,derechooáreasafines,yqueacrediteexperienciaenlassiguientesáreas:– Área 1: Experiencia mínima de tres (3) años en Evaluación y Seguimiento de programas o políticas,

métodos cuantitativos y/o cualitativos, planeación estratégica– Área 2: Experiencia mínima de cuatro (4) años en diseño, gestión, planeación y/o evaluación de polí-

ticas en el área de la evaluación




• Las ciencias sociales mencionadas incluyen ciencias relacionadas con la interacción social como lo son la Antropología, la Historia, la Economía, la Sociología, la Demografía, o las ciencias sociales aplicadas como la Administración, el Derecho, la Pedagogía y el Urbanismo. Se puede, para mayor claridad, no poner “ciencia social”ydefinirla,sinoincluirlasprofesionesdeacuerdoconlasnecesidadesdelaevaluación.



166

11.5Perfilesparaevaluacionesderesultados



Un Director del Proyecto

Titulo universitario en Economía, Administración de Empresas, Inge-niería, Ciencias Sociales y Estudios de Maestría culminados en áreas re-lacionadas con el objeto del contrato.

Mínimo 6 años de experiencia en evalua-ción y gestión de programas, en el diseño o ejecución de políticas públicas en áreas relacionadas con el tema de la evaluación.

Un profesional especia-lizado en temas de Pla-nificación, desempeño, gestión

Título universitario en Economía, Administración de Empresas, Inge-niería, área de las ciencias sociales conpostgradoenáreasafines

Mínimo 3 años de experiencia en desempe-ño, gestión e indicadores y/o herramientas dediseñooplanificacióndeprogramas.

Un profesional especia-lizado en métodos cua-litativos40

Título universitario en antropología, sociología, ciencia política, psicología o ciencias sociales y postgrado en áreasafines

Mínimo 3 años de experiencia en uso de técnicas cualitativas para el análisis de información en el área de evaluación y/o coordinación o ejecución de diseño o aná-lisis cualitativo en grupos de poblaciones con características diferentes

Personal de apoyo


Nivel profesional, 2 años de experiencia y conocimiento en los sectores del programa o política a evaluar y/o en evaluación de programas (sistemas – manejo de software aplicables a evaluación social y económica).

Fuente: DSEPP, DNP.


• Se recomienda complementar los métodos cuantitativos con cualitativos y, por lo tanto, contar con una persona experta en el diseño y análisis de este tipo de herramientas


• Elperfildelmuestristadebeserenmuestreoynoenrecoleccióndeinformación.• Elperfildelcoordinadordetrabajodecampoensentidocontrarioalanterior.• Las ciencias sociales mencionadas incluyen ciencias relacionadas con la interacción social como lo son la

Antropología, la Historia, la Economía, la Sociología, la Demografía, o las ciencias sociales aplicadas como la Administración, el Derecho, la Pedagogía y el Urbanismo. Se puede, para mayor claridad, no poner “ciencia social”ydefinirla,sinoincluirlasprofesionesdeacuerdoconlasnecesidadesdelaevaluación.



167

11.6Perfilesparaevaluacionesdeimpacto




Titulo universitario Ingeniería y Cien-cias Sociales, y Estudios de Maestría culminados en áreas relacionadas con el objeto del contrato.

Mínimo 10 años de experiencia en eva-luación y gestión de programas, en el diseño o ejecución de políticas públicas en áreas relacionadas con el tema de la evaluación y/o trabajos en métodos estadísticos y econométricos.

Uno (1) o dos (2) profesio-nales especializados en el área de estadística y eco-nometría

Título universitario en Economía, Ma-temáticas o estadística y estudios de postgrado en estadística o econometría

Mínimo 3 años de experiencia en trabajos econométricos o estadísticos en el área de la evaluación.

1 profesional especializado en métodos cualitativos41

Título universitario en antropología, sociología, ciencia política, psicología o ciencias sociales y postgrado en áreasafines

Mínimo 3 años de experiencia en uso de técnicas cualitativas para el análisis de información en el área de evaluación y/o coordinación o ejecución de diseño o análisis cualitativo en grupos de po-blaciones con características diferentes

1 o 2 profesionales espe-cializados en cada uno de los temas clave de la eva-luación

Título Universitario en Economía, Ad-ministración de Empresas, Ingeniería, y estudios de postgrado en economía, administración pública, y/o otras áreas afinesalpresenteproyecto

Mínimo 5 años de experiencia en trabajos de economía en el área de política pública sobre cada uno de los temas clave.

Personal de apoyo


Nivel profesional, 2 años de experiencia en trabajo de campo y/o conocimiento en los sectores del programa o política a evaluar y/o en evaluación de programas (sistemas – manejo de software aplicables a evaluación social y económica).

Digitadores, encuestado-res, personal de campo Educación secundaria

Fuente: DSEPP, DNP.


• En caso de que la metodología de evaluación sea compleja es bueno requerir un Doctorado, lo cual, bajo criterio del interventor se puede suplir con años de experiencia.

• En los casos que se realice una evaluación de impacto, es esencial la participación de una persona experta en la utilización de métodos cuantitativos, y/o econometrista, y/o estadístico

• Para las evaluaciones de impacto se recomienda complementar los métodos cuantitativos con métodos cualitativos y, por lo tanto, contar con una persona experta en el diseño y análisis de este tipo de herra-mientas


• Elperfildelmuestristadebeserenmuestreoynoenrecoleccióndeinformación.• Elperfildelcoordinadordetrabajodecampoensentidocontrarioalanterior.• Las ciencias sociales mencionadas incluyen ciencias relacionadas con la interacción social como lo son la

Antropología, la Historia, la Economía, la Sociología, la Demografía, o las ciencias sociales aplicadas como la Administración, el Derecho, la Pedagogía y el Urbanismo.

• La ingeniería incluye la ingeniería ambiental, civil, industrial y de sistemas.


168

11.7PerfilesparaLíneasdeBase


Personal Directivo


Título Universitario en Economía, Ad-ministración de Empresas, Ingeniería, Ciencias Sociales y Estudios de post-grado culminados en áreas relaciona-das con el objeto del contrato.

8 años de experiencia en evaluación y gestión de programas, en el diseño o ejecución de políticas públicas en áreas sociales.

Un (1) profesional especiali-zado en el área de estadística y econometría

Título Universitario en Economía, Ma-temáticas o estadística y estudios de postgrado en estadística o econo-metría

3 años de experiencia en trabajos econo-métricos o estadísticos en el área social, financiera,microeconómicaolaboral.

Un (1) profesional especiali-zado en el diseño de política pública social

Título Universitario en Economía, Ad-ministración de Empresas, Ingeniería, Matemáticas o estadística y estudios de postgrado en economía, adminis-traciónpública,y/ootrasáreasafinesal presente proyecto

5 años de experiencia en trabajos de economía en el área de política pública social.

Un profesional especialista en trabajo social o comu-nitario

Título Universitario en ciencias sociales

3 años de experiencia en el desarrollo de evaluaciones cualitativas, manejo de trabajos comunitarios, dirección de grupos focales

Personal de apoyo

Profesionales Título Universitario

Nivel profesional, 2 años de experiencia en trabajo de campo y/o conocimiento en los sectores de gestión y/o evaluación de programas sociales

Fuente: DSEPP, DNP.


• En caso de que la metodología de evaluación sea compleja es bueno requerir un Doctorado, lo cual, bajo criterio del interventor se puede suplir con años de experiencia.

• En los casos que se realice una evaluación de impacto, es esencial la participación de una persona experta en la utilización de métodos cuantitativos, y/o econometrista, y/o estadístico.

• Para las evaluaciones de impacto se recomienda complementar los métodos cuantitativos con métodos cualitativos y, por lo tanto, contar con una persona experta en el diseño y análisis de este tipo de herra-mientas.


• Elperfildelmuestristadebeserenmuestreoynoenrecoleccióndeinformación.• Elperfildelcoordinadordetrabajodecampoensentidocontrarioalanterior.• Las ciencias sociales mencionadas incluyen ciencias relacionadas con la interacción social como lo son

la Antropología, la Historia, la Economía, la Sociología, la Demografía, la Ciencia Política o las ciencias so-ciales aplicadas como la Administración, el Derecho, la Pedagogía y el Urbanismo. Se puede, para mayor claridad,noponer“cienciasocial”ydefinirla,sinoincluirlasprofesionesdeacuerdoconlasnecesidadesde la evaluación.



169

11.8Perfilesparaevaluacióninstitucional

Cargo Estudios Experiencia Director y personal de mayor rango

Un Director del Proyecto

Título universitario en Eco-nomía, Administración de Empresas, Ingeniería, Cien-cias Sociales y con nivel mí-nimo de Estudios de Maes-tría culminados en áreas relacionadas con el objeto del contrato.

Mínimo 6 años de experiencia en evalua-ción y gestión de programas, en el diseño o ejecución de políticas públicas en áreas relacionadas con el tema de la evaluación.

Experto en instituciones

Título universitario en eco-nomía, ciencia política, de-recho, y postgrado con nivel mínimo de especialización enáreasafinesconelpro-yecto.

Mínimo cinco (5) años de experiencia en temas relacionados con la estructura y fun-cionamiento, manejo de procesos, tiempos y movimientos del Estado colombiano, y/o derecho administrativo.

Un profesional especializado en temas relacionados con la evaluación

Título universitario en Eco-nomía, Administración de Empresas, Ingeniería, áreas de las ciencias sociales y con postgradoenáreasafines

Mínimo 3 años de experiencia en temas relacionados con la evaluación.

Personal de apoyo


2 años de experiencia y conocimiento en los sectores del programa o política a evaluar y/o en evaluación de programas, levantamiento de información cuantitativa o cualitativa (sistemas – manejo de software aplicable a evaluación social y económica).

Fuente: DSEPP, DNP.


• Se recomienda complementar los métodos cuantitativos con métodos cualitativos y, por lo tanto, contar con una persona experta en el diseño y análisis de este tipo de herramientas.


• Las ciencias sociales mencionadas incluyen ciencias relacionadas con la interacción social como lo son la Antropología, la Historia, la Economía, la Sociología, la Demografía, o las ciencias sociales aplicadas como la Administración, el Derecho, la Pedagogía y el Urbanismo. Se puede, para mayor claridad, no poner “ciencia social”ydefinirla,sinoincluirlasprofesionesdeacuerdoconlasnecesidadesdelaevaluación.


Agradecemos a todos aquellos que colaboraron en la realización de esta cartilla y que por uno u otro motivo hoy no hacen parte de la Dirección.

Documents

Manual de Evaluación de Politicas Públicas