Taller de Apoyo para la Elaboración de Evaluaciones Internas ...data.evalua.cdmx.gob.mx/docs/gral/taller2015/S01.pdfEvaluación Interna 2014 8 - La Matriz FODA. Definición y aplicación

Taller de Apoyo para la Elaboración de Evaluaciones Internas 2015

BIENVENIDOS

evalua.df.gob.mx

El Proceso Incremental de los Lineamientos para la Evaluación Interna de los Programas Sociales

evalua.df.gob.mx

2010

Diagnóstica*

2011

Operación y Resultados

2012

Evaluación Global y de Satisfacción

2013

Diagnóstica y de sistematización de los ejercicios de evaluación anteriores

2014

Diseño, Operación y Monitoreo

2015

Integral

Introducción al Taller

Evaluaciones Internas Realizadas 2010-2014

evalua.df.gob.mx

37

46

12

80

120

54

38 24

56 56

91 84

36

136

176

0

20

40

60

80

100

120

140

160

180

200

2010 2011 2012 2013 2014

Delegaciones Área Central Total


Porcentaje de Cumplimiento de la Evaluación Interna 2013-2014

evalua.df.gob.mx

0.0%

20.0%

40.0%

60.0%

80.0%

100.0%

Delegaciones Área Central Total

60.2%

91.8%

70.1%

97.6% 100.0% 98.3%

2013 2014Nota. Total de Programas Sociales 2012: 194 2013:179


Calidad de las Evaluaciones Internas 2013-2014

evalua.df.gob.mx

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

Central Delegacional Total

7.1%

57.7%

36.6%

67.9%

32.1%

47.0%

25.0%

10.3% 16.4%

Insatisfactorio

ParcialmenteSatisfactorio

Satisfactorio

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

80.0%

Área Central Delegaciones General

0.0%

35.7%

18.5% 23.1%

50.0%

37.0%

76.9%

14.3%

44.4%

2013 Diagnóstica y de

sistematización de los ejercicios de

evaluación anteriores

2014 Diseño, Operación

y Monitoreo (preliminar)


Percepción de las Evaluaciones Internas 2014

evalua.df.gob.mx

¿Qué necesidades de capacitación o asesoría requiere el programa social por parte de Evalúa DF?

0.0%

20.0%

40.0%

60.0%

80.0%

100.0%

Diseño de Reglasde Operación

Metodología yCriterios deEvaluación

Interna

Utilidad de lamedición del

Índice deDesarrollo Socialy de la Pobreza

Seguimiento yMonitoreo de

programassociales (diseñode indicadores)

54.1%

73.4% 83.5% 83.5%

Al 94.5% le gustaría que para la Evaluación Interna 2015, además de cumplir con la normatividad y requisitos establecidos, el Evalúa DF reconociera el esfuerzo de las dependencias y delegaciones que hayan realizado con mayor calidad sus procesos de evaluación



evalua.df.gob.mx

Objetivo del Taller: Brindar a las personas encargadas de la elaboración de las evaluaciones internas 2015 las herramientas teóricas y prácticas que les permitan desarrollar este proceso de forma óptima y, por ende, tomar decisiones para el mejor desempeño de sus programas sociales.

Formato del Taller: 8 sesiones teórico-prácticas de 3 horas (una por semana) donde se desarrollarán los aspectos solicitados en los Lineamientos para la Evaluación Interna 2015 de los Programas Sociales Operados en 2014 en el Distrito Federal, publicados por Evalúa DF, en la GODF.

Ruta Crítica

evalua.df.gob.mx

Publicación de Lineamientos

(marzo)

Taller para Elaboración de Evaluaciones

Internas

(8 sesiones,

abril y mayo)

Revisión Interna de

Evaluaciones

(junio)

Publicación de Evaluaciones

Internas

(30 de junio)

Premio de Mejores Prácticas

(septiembre)


Evaluación Interna 2015

Evaluación integral del programa social, con énfasis en la construcción y seguimiento de un sistema de indicadores a través de la Metodología de Marco Lógico (ROP, 2015).

evalua.df.gob.mx

Análisis Cuantitativo

Análisis Cualitativo

FODA Conclusiones y Recomendaciones

RETROALIMENTACIÓN

COBERTURA Cobertura y localización Cobertura acumulada del programa durante

el período de operación de la presente administración

OPERACIÓN Evaluación de

procesos Cumplimiento de metas física,

financieras y de resultados Análisis de costos

RESULTADOS Beneficios económicos y sociales

PERCEPCIÓN Y SATISFACCIÓN Percepción de beneficiarios o derechohabientes y otros actores clave

DISEÑO Diagnóstico de la situación inicial Validez de los Indicadores


Contenidos Generales de las Sesiones del Taller

evalua.df.gob.mx


Sesión Temas Centrales Relación con el Contenido del Informe

1

- Introducción al Taller

- Qué es la evaluación. Propósitos y Limitaciones

- Tipos de evaluación

- Metodologías de análisis y fuentes de información

I. Introducción

II. Metodología de la Evaluación Interna

2015

V.2. Percepción de las Personas Beneficiarias o

Derechohabientes

2

- Identificación de problemas sociales a través del Árbol

del Problema

- Identificación de alternativas de acción a través del

Árbol de Objetivos

III. Evaluación del Diseño

III.2. Árbol del Problema

III.3. Árbol de Objetivos y de Acciones

3

- Consistencia normativa de los programas sociales

- Alineación de los programas sociales con la política

social del Distrito Federal

- Resumen Narrativo

III.1. Consistencia Normativa y Alineación con la

Política Social del Distrito Federal

III.4. Resumen Narrativo

4

- Construcción de la Matriz de Indicadores a través de la

Metodología de Marco Lógico

- Lógica Vertical y Lógica Horizontal

III.5. Matriz de Indicadores del Programa Social

III.6. Consistencia Interna del Programa Social

5

- Análisis de involucrados del programa social

- Complementariedad o coincidencia con otros

programas sociales

- Objetivos de corto, mediano y largo plazo

III.7. Análisis de Involucrados del Programa

III.8. Complementariedad o Coincidencia con

otros Programas Sociales

III.9. Objetivos de Corto, Mediano y Largo Plazo

Contenidos Generales de las Sesiones del Taller

evalua.df.gob.mx


Sesión Temas Centrales Relación con el Contenido del Informe

6

- Cobertura del programa social.

Identificación y cuantificación de la población

potencial, objetivo y beneficiaria

- Congruencia de la operación del programa

con su diseño

- Valoración de los procesos del programa

social

IV. Evaluación de Cobertura y Operación

IV.1. Cobertura del Programa Social

IV.2. Congruencia de la Operación del Programa

con su Diseño

IV.3. Valoración de los Procesos del Programa

Social

7

- Mecanismos de seguimiento del padrón de

beneficiarios o derechohabientes

- Mecanismos de seguimiento de indicadores

- Mecanismos de seguimiento de

recomendaciones

IV.4. Seguimiento del padrón de beneficiarios o

derechohabientes

IV.5. Mecanismos de seguimiento de indicadores

IV.6. Avances en las Recomendaciones de la


8

- La Matriz FODA. Definición y aplicación en la

evaluación de programas sociales

- Construcción de estrategias de mejora como

resultado de la evaluación interna

- Conclusiones del Taller

V. Evaluación de Resultados y Satisfacción

V.3. FODA del Programa Social

VI. Conclusiones y Recomendaciones

VI.2. Estrategias de Mejora

VI.3. Cronograma de Instrumentación

evalua.df.gob.mx


Sesión

1 • Introducción al Taller

• ¿Qué es la evaluación? Propósitos y Limitaciones

• Tipos de evaluación

• Metodologías de análisis y fuentes de información

¿Qué es la Evaluación?

evalua.df.gob.mx

Apartado Contenidos

I. Introducción

-Describir los propósitos y limitaciones de la evaluación interna realizada al programa social en cuestión.

-Informar si se han realizado las evaluaciones internas de años anteriores al programa social (de 2010 a 2014), incluyendo la referencia de publicación en la Gaceta Oficial del Distrito Federal (número y fecha de publicación)

El tema a desarrollar a continuación corresponde al primer apartado solicitado en la Evaluación Interna 2015:


evalua.df.gob.mx

Una evaluación de programas sociales es el conjunto ordenado y sistemático de procedimientos que permiten establecer un juicio u opinión sobre el mérito o valor de un programa para tomar decisiones sobre él que apunten a su mejoramiento.

(Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud. Fernández-Ballesteros 1996)


Juicios de valor

evalua.df.gob.mx

•La medida en la cual una política o programa, y su lógica de intervención responden a las necesidades de la población. Pertinencia

•Se refiere a la medida en que una política o programa llega a su población objetivo. Focalización

•Clarifica a cuántos de sus posibles beneficiarios un programa entrega sus beneficios. Cobertura

• Son valoraciones al respecto de las actividades y procedimientos que se realizan durante la implantación de la política o programa para determinar cómo éste está actuando. Proceso

•Determina si los resultados que se obtienen son adecuados a los medios utilizados. Eficiencia

•Se refiere a la medida en la cual existen pruebas de que los objetivos de la política o programa se han logrado. Eficacia

•Establecen en qué medida en que una política o programa ha alcanzado el conjunto de efectos sobre la población objetivo que se habían previsto. Efectividad

•Observan el sentimiento subjetivo por parte de los beneficiarios respecto de la política o programa.

De satisfacción

Ley de Desarrollo Social para el Distrito Federal

Artículo 42. Las evaluaciones constituyen procesos de aplicación de un método sistemático que permite conocer, explicar y valorar al menos, el diseño, la operación, los resultados y el impacto de la política y programas de Desarrollo Social. Las evaluaciones deberán detectar sus aciertos y fortalezas, identificar sus problemas y en su caso, formular las observaciones y recomendaciones para su reorientación y fortalecimiento.

[…] la evaluación interna es la que deben efectuar anualmente y conforme a los lineamientos que emita el Consejo de Evaluación, las Dependencias, Órganos Desconcentrados, Delegaciones y Entidades de la Administración Pública del Distrito Federal que ejecuten programas sociales.

[…]los resultados de las evaluaciones internas y externas serán publicados en la Gaceta Oficial del Distrito Federal, incluidos en el Sistema de Información del Desarrollo Social y entregados a la Comisión de Desarrollo Social de la Asamblea Legislativa del Distrito Federal. En el caso de las evaluaciones que realice el Consejo de Evaluación, sus resultados serán publicados y entregados una vez que tengan carácter definitivo, mientras que, los resultados de las evaluaciones internas serán publicados y entregados en un plazo no mayor a seis meses después de finalizado el ejercicio fiscal.

Artículo 42 C. El Consejo de Evaluación tiene las siguientes atribuciones:

[…] VI. Definir anualmente los lineamientos para la realización de las evaluaciones internas.

evalua.df.gob.mx

¿Qué es la Evaluación? Marco Normativo

Reglamento de la Ley de Desarrollo Social para el Distrito Federal

Artículo 64. La evaluación del Programa y los programas consistirá en una valoración cuantitativa y cualitativa, que dé cuenta, al menos, del logro de los objetivos y metas esperados, y del impacto alcanzado, en función de las prioridades y objetivos de corto, mediano y largo plazo que en cada caso correspondan.

Además, dicha valoración deberá incluir la aplicación de los criterios, lineamientos y mecanismos para controlar efectivamente que los recursos, apoyos, subsidios y beneficios de carácter material y económico que hubiere otorgado la Administración Pública del Distrito Federal, para la ejecución de los programas de desarrollo social, se ajusten a las previsiones legales correspondientes y no hayan sido utilizados con fines políticos, electorales, de lucro y otros distintos a los establecidos por la normatividad aplicable.

Artículo 65. Con base en los indicadores y metodología de evaluación, establecidos en los programas de desarrollo social, las entidades, dependencias y Órganos desconcentrados de la Administración Pública del Distrito Federal, responsables de su ejecución, deberán llevar a cabo a final de cada año una evaluación interna.

evalua.df.gob.mx


Reglamento de la Ley de Desarrollo Social para el Distrito Federal

Artículo 67. Las evaluaciones internas y externas estarán disponibles en el Sistema, y serán dadas a conocer al Consejo y a la Comisión para su opinión y sugerencias, las que servirán en la elaboración y modificación, en su caso, de los lineamientos y mecanismos de operación de los programas.

Artículo 69. En las evaluaciones internas y externas deberá recogerse ampliamente la opinión de los participantes o beneficiarios.

Estatuto Orgánico del Consejo de Evaluación del Desarrollo Social del Distrito Federal

Artículo 9:

“El Comité tendrá las siguientes atribuciones:

(…)

V. Definir los lineamientos para la realización de las evaluaciones internas.”

evalua.df.gob.mx


La evaluación como un proceso de mejora

Más allá de lo que la reglamentación señala y de las definiciones técnicas con que se cuente, se presentan interrogantes clave al momento de enfrentarse a un proceso de evaluación:

evalua.df.gob.mx

Propósitos de la Evaluación

La búsqueda del desarrollo ha sido un elemento importante en las aspiraciones y acciones que ha atendido la sociedad, debido a que se concibe a éste como el conjunto ideal de características que deben presentar los individuos de una sociedad; bajo las cuales tienen satisfechas sus necesidades. El desarrollo ha sido abordado desde diferentes perspectivas, donde la idea central que ha predominado en la mayoría de los conceptos, lo expresan como un proceso mediante (y durante) el cual mejora la calidad de vida de la sociedad.

En una sociedad que pugna por transparentar el uso de los recursos públicos y ejercer éstos de la manera más eficiente posible la evaluación es necesaria por:

La existencia de recursos limitados.

Se vuelve un mecanismo indispensable de apoyo a la democracia y la rendición de cuentas:

Las acciones de los servidores públicos son sujetas del escrutinio público

La ciudanía requiere conocer si el gasto público llega a la población objetivo

Permite conocer si los programas se instrumentan como se tiene dispuesto por ley

Efectivamente los programas alcanzan sus objetivos

La existencia de información confiable y oportuna proporciona apoyo a las políticas públicas

evalua.df.gob.mx


Percepción de las Evaluaciones Internas 2014

evalua.df.gob.mx

En la experiencia del Programa Social en cuestión, ¿cuál ha sido la utilidad de realizar las evaluaciones internas con base en los Lineamientos emitidos por Evalúa DF?

0.0% 20.0% 40.0% 60.0% 80.0% 100.0%

Como mecanismo de monitoreo y seguimiento deldesempeño del programa social

Para la corrección o mejoramiento de los diferentes procesosdel programa social

Como instrumento de planeación

Para sustentar los avances del programa en el cumplimientode sus objetivos

Para la mejor toma de decisiones

Para la sistematización y mejor utilización de la informacióndel programa social

Para solicitar presupuesto para el programa social

Sólo como un requisito más por estar obligados a realizarla(no ha tenido utilidad)

94.3%

93.3%

92.4%

91.4%

89.5%

86.7%

61.0%

9.5%


Ésta es una pregunta clave, pues es el objeto mismo del proceso de evaluación (y parte medular del taller). Además, representa un aspecto que la literatura no suele clarificar pues es diferente evaluar un programa que evaluar una política. Evaluar un programa, además de evaluar procedimientos, productos y resultados, es una forma de conocer si las hipótesis de base del programa, sus conceptos centrales y su particular teoría, funcionan para los problemas que este pretende resolver. (Fernández-Ballesteros, 1996) Además de ello se debe tener claro que en el caso de los programas, dependiendo de sus objetivos y alcances deben considerarse diferentes parámetros. Con ella se establece si el programa evaluado es el responsable de un cambio en el bienestar de la población y, si es así, de que magnitud ha sido y el costo de alcanzarlo. Dependiendo de la “madurez” del programa pueden plantearse diferentes opciones para evaluar un programa social. Además, cada entidad es capaz de definir necesidades específicas que requieren ser valoradas. Bajo tales argumentos existen diferentes tipos de evaluación: apartir del ciclo de vida del proyecto o bien en función de sus alcances.

evalua.df.gob.mx


Taller de Apoyo para la Elaboración de Evaluaciones Internas 2015

Receso de 10 minutos

evalua.df.gob.mx

La evaluación a lo largo del ciclo del proyecto

Preparación del proyecto

Se busca generar información sobre experiencia en proyectos similares y prácticas óptimas. En esta etapa, un proyecto debe incluir datos de referencia e indicadores de desempeño que son esenciales para el trabajo futuro de monitoreo y evaluación del desempeño de los proyectos (línea base) .

Ejecución del proyecto

En esta etapa el proceso de evaluación adopta la forma de monitoreo continuo. Su propósito es respaldar la mejora continua de la ejecución del proyecto.

Conclusión y/o resultados del proyecto

El proceso de evaluación después de la terminación del proyecto reexamina la identificación y diseño original e indaga sobre su ejecución y desempeño de desarrollo.

evalua.df.gob.mx

Tipos de Evaluación

Clasificación de las Evaluaciones de Acuerdo al Ciclo de Vida

El Banco Interamericano de Desarrollo (BID) considera dos tipos de evaluaciones como principales, la formativa en la etapa de preparación y ejecución del proyecto y la sumativa, que se realiza inmediatamente o un tiempo después de terminado el proyecto.

evalua.df.gob.mx

Ciclo de vida del proyecto

Tipo de evaluación Herramientas formales de

evaluación Productos

resultados del proceso

Preparación

Aprendizaje formativo: "Durante"

Evaluación ExAnte

Marco Lógico

Diseño de proyectos mejorados y "evaluables”

Instrumentos de análisis económico, financiero, ambiental e institucional

Diagnóstico de evaluabilidad

Listado de datos de referencia

Ejecución Evaluaciones

Intra y Pos

Matriz de Marco Lógico. Ejercicios de Proyectos Mejorado

Seguimiento o Monitoreo de la Ejecución Mejor desempeño de

los proyectos Evaluación intermedia de ejecución

Operación Aprendizaje sumativo "Después"

Evaluación Ex-post

Evaluación Post (resultados) Diseño de Proyectos;

(Post Proyecto) Evaluación Ex Post o de impacto Políticas y Estrategias.

Fuente: CEPAL 2005. “Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas”

Tipos de Evaluación Clasificación de las Evaluaciones de Acuerdo al Ciclo de Vida

La evaluación a partir de su alcance

evalua.df.gob.mx

Tipo de Evaluación Objetivo Interrogantes a Responder

Evaluación Diagnóstica

La valoración diagnóstica de una evaluación permite determinar la situación inicial de la problemática social, estableciendo para ello determinados indicadores a de modo de producir una línea de base contra la cual comparar posteriormente los resultados del proyecto. Adicional a la magnitud del problema social, muchas de las veces el diagnóstico inicial requiere establecer las características sociales económicas, políticas y/o culturales de la población en que se ejecutará el proyecto ya que pueden convertirse en elementos decisivos al momento de implantación un acción social.

¿Cuál es la naturaleza y magnitud del

problema?

¿Cuáles son las características de la población

con el problema?

¿Cuáles son las necesidades de la población

¿Qué servicios se necesitan?



evalua.df.gob.mx

Tipo de

Evaluación Objetivo

Interrogantes a Responder

Evaluación de

Diseño

Retoma el diagnóstico de la problemática social detectada, la población potencial y objetivo que la padece. Pero además, explora los mecanismos a través de los cuales el programa pretende contribuir a la solución del mismo. Es decir, la lógica y consistencia entre las acciones ejecutadas y los objetivos a alcanzar. Establece:

• La problemática social y su magnitud

• Población potencial y objetivo,

• Evidencia de acciones similares como mecanismo de respuesta a problemáticas equiparables

• Establecimiento de la lógica interna del programa

• Establecimiento de las bases para la construcción de una matriz de indicadores

• Alineación programática del proyecto con los ejes de la política social en el Estado

¿Qué tipo de beneficiarios se van a atender?

¿Cuáles son los mejores esquemas de

distribución de los beneficios?

¿Cómo se identificará, incorporará y

mantendrá a los beneficiarios?

¿Cómo deberá organizarse el programa?



evalua.df.gob.mx


Evaluación de

Operación/Resultados

Se analiza el buen desempeño de las

acciones operativas y de gestión del

Programa y la consecución de los objetivos

establecidos por el programa.

Busca establecer cómo los procesos del

programa conducen al logro de las metas.

Una vertiente de la evaluación de resultados

es la evaluación de satisfacción, la cual

analiza la percepción subjetiva (aunque no

por ello menos valiosa) de la población

atendida, beneficiaria de los bienes y

servicios que entrega el proyecto.

¿Se cumplen los objetivos administrativos y

de servicios?

¿Existe falta de cobertura?

¿Los beneficiarios están satisfechos con el

servicio o los beneficios?

Evaluación de Eficiencia

y Costos

Establecer la relación de los logros o

alcances a los que ha llegado el programa y

costos asociados para para ello.

¿Los recursos son utilizados eficientemente?

¿Es el costo razonable en comparación a los

beneficios?

¿Existen posibles alternativas para lograr

beneficios similares a uncosto menor?


evalua.df.gob.mx


Evaluación de Impacto

La mayor parte de las evaluaciones de impacto apuntan a establecer causalidades mediante métodos experimentales o cuasi-experimentales. Su lógica se basa en determinar qué hubiera ocurrido si el programa no se hubiera implementado. Por lo tato se requiere del establecimiento de “grupos de tratamiento y control” (contrafactulaes) Para este tipo de evaluaciones se requiere controlar rigurosamente los posibles efectos no atribuibles al programa.

¿Los servicios otorgados tienen efectos

positivos en los beneficiarios del programa?

¿Existen efectos adversos de los servicios

para los beneficiarios?

¿Existe efectos sobre el problema

diagnosticado?

Fuente: “Evaluación de Programas Sociales”. Pérez Yarahuán Gabriela (2010).



evalua.df.gob.mx



Aunque no necesariamente los diferentes tipos de evaluación se desarrollan en forma lineal, es importante considerar ésta como un proceso continuo y de mejora suponiendo ir avanzado en forma progresiva en cada una de las etapas de evaluación, siendo el análisis previo el insumo para el desarrollo de la siguiente.

evalua.df.gob.mx

Diagnóstico del problema o necesidad

Diseño

Operación-Procesos-Implementación

Eficiencia-Costos

Impacto


Percepción de las Evaluaciones Internas 2013-2014

evalua.df.gob.mx

0%

20%

40%

60%

80%

Área Central Delegaciones

34% 27%

64%

50%

2013 2014

Encuestas Contestadas 2013: 84 (47 del Área Central y 37 de Delegaciones) 2014: 109 (55 del Área Central y 54 de Delegaciones)

Nota. Total de Programas Sociales 2012: 194 2013:179

¿El área o alguna persona de sus integrantes se encarga exclusivamente de las tareas de monitoreo y evaluación

del Programa Social?

¿El área que se encargó de la evaluación interna, participa en la operación del programa social evaluado?

0.0%

20.0%

40.0%

60.0%

80.0%

Área Central Delegaciones

27.8%

69.6%

23.6%

79.6%

2013 2014

Limitaciones de la Evaluación

evalua.df.gob.mx


0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

La insuficienciade personal

La falta deinformación

suficiente pararealizar el

análisis

El corto tiempopara realizarla

La falta depersonal

calificado enmonitoreo yevaluación

La falta desistematización

de lainformación

La dificultad ofalta de claridadde lo solicitado

en losLineamientos

62.9%

54.3% 52.4% 51.4% 50.5%

42.9%

¿Cuáles son las principales dificultades que encontró al realizar la evaluación interna 2014? (puede seleccionar más de una opción)

1. Formación de equipos. 2. Selección de un Programa Social a evaluar. 3. Redacción de los Propósitos y las Limitaciones de la Evaluación Interna 2015 (10 minutos).

4. Lectura en voz alta y retroalimentación (10 minutos).

evalua.df.gob.mx

Actividad 1: Propósitos y Limitaciones de la


Evaluación Integral 2015

¿Qué se evaluará?

¿Para qué se Evaluará?


Diseño

Cobertura y Operación

Resultados y Satisfacción


Evaluación integral del programa social, con énfasis en la construcción y seguimiento de un sistema de indicadores a través de la Metodología de Marco Lógico (ROP, 2015).

evalua.df.gob.mx

Análisis Cuantitativo

Análisis Cualitativo

FODA Conclusiones y Recomendaciones

RETROALIMENTACIÓN

COBERTURA Cobertura y localización Cobertura acumulada del programa durante

el período de operación de la presente administración

OPERACIÓN Evaluación de

procesos Cumplimiento de metas física,

financieras y de resultados Análisis de costos

RESULTADOS Beneficios económicos y sociales

PERCEPCIÓN Y SATISFACCIÓN Percepción de beneficiarios o derechohabientes y otros actores clave

DISEÑO Diagnóstico de la situación inicial Validez de los Indicadores

Actividad 1: Propósitos y Limitaciones de la


Metodología de la Evaluación

Diseño de la Evaluación:

Para cualquier evaluación se consideran los Términos de Referencia como la base para el diseño de la evaluación. En este caso vamos a considerar de acuerdo a la Ley de Desarrollo Social y a las atribuciones del Evalúa DF, los Lineamientos para la Evaluación Interna 2015 de los Programas Sociales del Distrito Federal Operados en 2014. (Gaceta Oficial del Distrito Federal (2015). Décima Octava Época, Nº 48 publicada el 11 de marzo de 2015. Páginas 53 a 72).

Con esta base se debe realizar el diseño de la evaluación, el cual para el apartado de la Metodología de la Evaluación Interna 2015, contempla 4 subapartados:

evalua.df.gob.mx

II. Metodología de la Evaluación Interna 2015

II.1 Descripción de la evaluación.

II.2 Área Encargada de la Evaluación

II.3 Metodología de la Evaluación

II.4 Fuentes de Información


II.1 Descripción del Objeto de la Evaluación

• Breve descripción de la puesta en marcha del programa social (año de creación, modificaciones más relevantes que ha sufrido desde entonces)

• Indicar el objetivo general y los objetivos específicos del programa social. (De acuerdo a las Reglas de Operación 2014).

• Describir las caractaerísticas generales del Programa Social (Área encargada de la operación, los bienes y/o servicios que otorga, o componentes, con qué periodicidad y en qué cantidad, de acuerdo a lo contenido en las Reglas de Operación 2014).

II.2 Área Encargada de la Evaluación

• Indicar el Área que realiza la evaluación interna del Programa Social y las funciones.

• Presentar mediante un cuadro cada uno de los perfiles de los integrantes del área que realiza la evaluación y sus funciones.

evalua.df.gob.mx

Puesto Género Edad Formación

profesional Funciones

Experiencia en

M&E Exclusivo M&E


II.3. Metodología de la Evaluación

• Explicar la metodología utilizada para la evaluación (cuantitativa y/o cualitativa).

• En congruencia con el Presupuesto Basado en Resultados, metodología empleada a nivel

nacional y adoptada por el Gobierno del Distrito Federal, se debe indicar que para la construcción de indicadores se seguirá la Metodología del Marco Lógico, la cual como instrumento de evaluación puede utilizarse durante el desarrollo de la planificación del programa, para llevar a cabo una auto-evaluación e igualmente, sirve de punto de referencia durante toda la vida del programa, fundamentalmente para hacerle un monitoreo (método de control del progreso físico en la realización y costo de la obra) y evaluaciones (globales y puntuales) de ejecución y de finalización del programa. (Matos, Ruth, 2005. Una propuesta para la evaluación de programas sociales: Lineamientos Generales. Gaceta Laboral, Maracaibo, v. 11, n. 1,abr. 2005)

• Indicar la ruta crítica de los procesos de evaluación (indicar el tiempo empleado para realizar la evaluación interna en sus diferentes etapas).

evalua.df.gob.mx

Dada la amplitud de los elementos que se pueden analizar en torno a un proyecto de análisis evaluativo no existe una metodología o instrumentos únicos para llevar a cabo este proceso.

evalua.df.gob.mx

Modelos y técnicas de evaluación

Modelos Técnicas

• Análisis de contrafactuales • Revisión de resultados y efectos • Evaluación de procesos • Marco lógico • Análisis costo-beneficio • Satisfacción de beneficiarios • Modelos participativos e integrales • Análisis de involucrados • Grupos focales • Matriz de Fortalezas, Oportunidades,

Debilidades y Amenazas • Análisis de caso

• Técnicas cuantitativas: modelos econométricos, medidas de dispersión, indicadores e índices…

• Técnicas cualitativas: entrevistas, encuestas, grupos focales…

• Técnicas de triangulación: información por terceros (entrevistas semiestructuradas)



Diseño Metodológico:

Básicamente consiste en hacer la selección del procedimiento metodológico que se utilizará para evaluar el programa social.

Este diseño debe considerar desde el principio:

Las necesidades de información

Los criterios de evaluación

Indicadores

Con el propósito de conocer cómo ha de recopilarse y analizarse la información requerida. Parte de estos aspectos se abordarán más adelante, sin embargo no deben dejarse de lado.

Para realizar el diseño de la evaluación no se trata únicamente de seleccionar una serie de técnicas para recoger información y sus diferentes tipos de análisis, sino primordialmente definir el Enfoque Metodológico de la Evaluación.

evalua.df.gob.mx


Principales enfoques metodológicos:

Aunque existen diversas consideraciones para la clasificación de los enfoques metodológicos para la evaluación de los programas sociales, destacamos el Enfoque Cuantitativo, Enfoque Cualitativo y el Enfoque Participativo.

evalua.df.gob.mx

Enfoques

Cuantitativo

Cualitativo

Participativo


Características de los Principales Enfoques Metodológicos para la Evaluación de Programas Sociales :

evalua.df.gob.mx

Evaluación Cuantitativa Evaluación Cualitativa Enfoque Participativo

Perspectiva desde fuera: punto de vista del evaluador.

Perspectiva desde dentro: punto de vista de los actores.

Perspectiva construida por el equipo evaluador de forma conjunta con los(as)

principales implicados(as).

Lenguaje numérico. Lenguaje verbal.

Lenguaje verbal y numérico. No es tan importante el tipo de lenguaje sino cómo se construye éste. El lenguaje ha de ser fruto de una fuerte implicación de la población

involucrada.

Énfasis en los aspectos “objetivos”, observables y

cuantificables.

Énfasis en los aspectos subjetivos: captación y comprensión de

actitudes, conductas, valores, motivaciones internas.

Énfasis en los aspectos subjetivos, pero no sólo se captan, sino que se van configurando

entre todo el grupo.

Análisis estadístico. Análisis de contenido por parte del

equipo evaluador.

Análisis de contenido por parte tanto del equipo evaluador como de los(as)

implicados (as).

Resultados generalizables. Resultados limitados en su

generalización. Resultados concretos, aplicables a la

realidad donde se han construido.


Perspectiva actual:

Hay una evolución en los diseños metodológicos para la evaluación de programas sociales hacia un concepto más amplio, de tal forma que los aspectos cualitativos cobran cada vez mayor relevancia y las técnicas cuantitativas tienden a integrarse como un elemento más del proceso evaluador.

Se recomienda, combinar la utilización de métodos cuantitativos con los cualitativos, ya que estos últimos aportan dinamismo y variedad de perspectivas que los primeros no tienen.

Para el diseño metodológico no existe un procedimiento general, hay algunos aspectos a considerar para cada programa. Para tomar una decisión es necesario valorar entre otros aspectos los siguientes:

evalua.df.gob.mx

Aplicabilidad del instrumento a las características del programa social

Capacidad que se tiene para llevar a cabo las técnicas seleccionadas

Fiabilidad Validez

Calidad intrínseca

Disponibilidad Costos

Relevancia


Enfoques metodológicos y sus ventajas:

evalua.df.gob.mx

Una ventaja de la evaluación con enfoque cuantitativo es que

permite medir cuestiones en un grupo de variables y, además

posibilita la agregación y tratamiento estadístico.

La evaluación con enfoque cualitativo tiene la ventaja de producir una mayor riqueza de detalles sobre los grupos o

variables, aunque sea de difícil agregación y estandarización.


La Comisión de la Unión Europea para la Evaluación combina el enfoque de “Arriba abajo”, que permite evaluar el impacto total y efecto del programa, con estudios “de abajo a arriba”, mediante los que es posible analizar las relaciones de causalidad y determinar el impacto de cada acción específica a través de la información recogida de las personas participantes y las personas beneficiarias del programa.

Comparativo de las características de enfoques metodológicos en evaluación.

evalua.df.gob.mx


Enfoque Inductivo y Enfoque deductivo:

evalua.df.gob.mx

Enfoque Inductivo Enfoque hipotético-deductivo

Se basa principalmente, en métodos cualitativos de análisis orientados a explorar y descubrir la lógica de las relaciones causales, partiendo de lo concreto para derivar en comportamientos generales.

Se asocia normalmente con la evaluación libre de objetivos, puesto que no parte de hipótesis de causalidad preconcebidas.

Se identifica con la evaluación centrada en objetivos

Emplea técnicas cuantitativas (método experimental fundamentalmente) para la determinación de las principales variables

Establece hipótesis específicas de comportamiento antes de iniciar la recogida de datos.


Consideraciones :

• Al igual que con los modelos Cuantitativo y Cualitativo, en la actualidad se suele combinar ambas perspectivas. A través de la inducción se identifican las cuestiones y variables a estudiar, y luego se contrastan con los resultados de forma deductiva.

• Una consideración importante es que no hay una metodología de evaluación única ya que los programas no son iguales. El alcance de la evaluación de impactos de un programa social puede ir desde la descripción de los impactos, hasta la búsqueda empírica de una causalidad entre acciones e impactos.

• Otra consideración es que, la calidad de la evaluación no depende tanto del uso de un método determinado, como de la utilidad de la información generada para cada caso en particular.

evalua.df.gob.mx


Técnicas y Herramientas para la Evaluación:

Una vez desarrollados los criterios de evaluación y las diferentes preguntas o elementos de cada uno de ellos se procede a la selección de las técnicas de recopilación de información. En la tabla siguiente se presentan de manera resumida algunas de las más utilizadas.

evalua.df.gob.mx

Técnicas Cuantitativas Técnicas Cualitativas Técnicas Participativas

• Encuesta • Medición Directa • Censo • Análisis económico

financiero

• Observación estructurada • Entrevista en profundidad

o semi estructurada • Grupos de discusión • Análisis documental • Estudios de caso

• Análisis de acontecimientos críticos

• Ranking de riqueza o bienestar

• Matrices de clasificación y puntuación

• Diagramas de Venn


Triangulación metodológica:

La triangulación consiste en la utilización de distintos tipos de técnicas para dar cuenta de una realidad determinada. A través de la triangulación es posible contrastar la información, asegurando la fiabilidad de la misma. De la misma forma es importante triangular en la elección de las fuentes de información, buscando fuentes diversas, incluso contradictorias, para obtener una visión más objetiva de la realidad social analizada.

evalua.df.gob.mx


Ventajas de usar la triangulación de técnicas cuantitativas, cualitativas y participativas:

•Se pueden incorporar controles de coherencia con la ayuda de procedimientos de triangulación que permiten realizar dos o más estimaciones independientes de las variables clave (ingreso, opiniones sobre los programas, motivos para hacer uso de los beneficios del programa y efecto específico de un programa).

•Se pueden obtener diferentes perspectivas. Por ejemplo, aunque el equipo evaluador considere el ingreso o el consumo como indicadores clave del bienestar de un hogar, los estudios de caso podrían revelar que las mujeres están más preocupadas por la vulnerabilidad(definida como la falta de acceso a sistemas de apoyo sociales tiempos de crisis), impotencia o exposición a la violencia.

•Los análisis se pueden conducir en diferentes niveles. Las encuestas pueden proporcionar buenas estimaciones del bienestar individual, familiar y a nivel de la comunidad, pero son mucho menos eficaces para analizar los procesos sociales (conflicto social, motivos para usar o no usar los servicios, entre otras informaciones) o para el análisis institucional (el eficaz funcionamiento de los servicios de salud, educación, créditos y otros servicios, y cómo son percibidos por la comunidad).

•También se pueden proporcionar oportunidades de retroalimentación para interpretar de forma más ajustada los resultados. Los informes de encuestas a menudo incluyen referencias a aparentes incoherencias en los resultados o a las diferencias interesantes entre las comunidades o grupos que no se pueden explicar con los datos. La mayor flexibilidad de la investigación cualitativa permite regresar al terreno para reunir datos adicionales.

evalua.df.gob.mx

Actividad 2: Metodología de la Evaluación

1. Se entrega a cada participante una tarjeta que contiene los nombres de las

principales técnicas utilizadas en la evaluación de programas sociales; en otras

tarjetas se encuentra la descripción de las diversas técnicas; de la misma

forma están los principales enfoques a los cuales pertenecen las técnicas.

2. Se solicita que integren un mapa conceptual con la información de las diversas

tarjetas entregadas.

3. Se verifica y comenta entre todos los participantes la información contenida

en el mapa conceptual.

evalua.df.gob.mx

Documents

Taller de Apoyo para la Elaboración de Evaluaciones Internas ...data.evalua.cdmx.gob.mx/docs/gral/taller2015/S01.pdfEvaluación Interna 2014 8 - La Matriz FODA. Definición y aplicación