Eolece ió Bnódeo Pralmtleo ód Prósódltfid ió Vtflcódlte ... · 2015, cuando los homicidios comenzaron a incrementarse de nueva cuenta en distintas ciudades y regiones del país

1

Escala de Buenas Prácticas en Prevención de Violencia

Colección de Herramientas

3

La presente publicación es parte de la estrategia de generación de conocimiento del programa Juntos para la Prevención de la Violencia ( JPV) de la Agencia de los Estados Unidos para el Desarrollo Interna-cional (USAID) en México. USAID contribuye al fortalecimiento de los sistemas locales de prevención integrados por actores del sector público y privado, organizaciones de la sociedad civil y académicos, en su capacidad para diseñar, implementar y evaluar políticas y prácticas de prevención de la violencia.

USAID ha consolidado un conjunto de “Colecciones” consistentes en herramientas, manuales, sistema-tizaciones, evaluaciones y guías con el objetivo de fortalecer las capacidades de los sistemas locales para atender el problema de la violencia y delincuencia en el corto, mediano y largo plazo, asegurando que la gestión del conocimiento y la evidencia sean generadas continuamente y trasciendan el período de ejecución del programa de USAID.

Créditos

Diseño Gráfico: Jocelyn Castañeda

Noviembre, 2018

ÍNDICE

1. Introducción ............................................................................ 9

2. Antecedentes ........................................................................... 11

3. objetivos ................................................................................... 13

4. Estructura y resultados .......................................................... 15

5. Aplicación ................................................................................ 19

6. Procesamiento .......................................................................... 23

7. Guía preguntas escala .............................................................. 25Sección I. Diagnóstico ........................................................................................................25Sección II. Respaldo teórico. .............................................................................................31Sección III. Planeación ........................................................................................................38Sección IV. Implementación ...............................................................................................44Sección V. Resultados ........................................................................................................52

8. Anexos ..................................................................................... 60

9. Bibliografía ............................................................................. 61

9

Desde el año 2008, la violencia en México ha ido en aumento. En 2011 la tasa de ho-micidios por cada 100 mil habitantes a nivel nacional llegó a su punto más alto en diez años. Posteriormente, existió una tendencia a la baja relativamente estable hasta el año 2015, cuando los homicidios comenzaron a incrementarse de nueva cuenta en distintas ciudades y regiones del país. Este auge ocasionó que el año 2017 superara la cifra de homicidios que se llevaron a cabo en 2011 (SNSP, 2018).

Aunque la información es todavía insuficiente, hay indicios que permiten considerar que es posible focalizar mejor los esfuerzos para reducir la violencia y delito. De acuerdo con el reporte “La violencia juvenil en México” del Banco Mundial (Banco Mundial, 2012), entre 2000 y 2010 los jóvenes entre 10 y 29 años de edad representaron, en promedio, el 38 % de las víctimas de homicidios en el país. Solamente de 2008 a 2010, la tasa de homicidio juvenil se triplicó hasta llegar a 25.5 homicidios por cada 100,00 habitantes.

Asimismo, la concentración de asesinatos se ha aglomerado en territorios específicos. A mediados de 2016, la Secretaría de Gobernación presentó la lista de los 50 municipios más violentos en México. Según datos del Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública (SESNSP, 2018), el 40% de los homicidios totales entre el 2011 y 2016 se realizaron en estos 50 municipios.

Por lo tanto, no basta con focalizar todos los esfuerzos en las zonas más conflictivas o en las poblaciones más vulnerables, sino que también es necesario saber cuáles son los programas más efectivos para atender esta problemática. Sin embargo, en México existe una ausencia de evidencia sobre intervenciones efectivas para prevenir la violencia y el delito.

Para hacer frente a la falta de evidencia, el programa Juntos para la Prevención de la Violencia ( JPV) de USAID/México diseñó una herramienta que identifica la capacidad de organizaciones públicas, privadas o de la sociedad civil para generar evidencia de calidad en la materia. El objetivo principal de la Escala de Buenas Prácticas (en adelante La Escala) es determinar intervenciones que, en primer lugar, tengan un diseño basado en el diagnóstico y respaldo teórico profundo de una problemática y, en segundo lugar, que hayan demostrado su efectividad para que puedan ser replicados y/o escalado a otros lugares.

1. INTRODUCCIÓN

11

La Escala se suma a esfuerzos de numerosas organizaciones académicas y de desarro-llo internacional que promueven el uso y la generación de evidencia para la toma de decisiones públicas. Actualmente, existen organizaciones, como la Red por una Política Informada por Evidencia (EVIPNet por sus siglas en inglés), el Departamento para el Desarrollo del Reino Unido (DFID por sus siglas en inglés) y el Instituto Nacional de Justicia de Estados Unidos1, que trabajan para desarrollar evidencia en materia de prevención de violencia. En particular, la Escala de Métodos Científicos de Maryland2 es un destacado instrumento para medir la calidad de estudios de evaluación.

Así, desde el inicio del programa JPV, el equipo técnico y de monitoreo y evaluación han diseñado y piloteado la Escala para llegar a la que hoy día es la actual versión de la herramienta. De esta manera, el objetivo de la Escala es tener resultados útiles tanto para intervenciones en fase de diseño o de gabinete, como para intervenciones que están implementándose o buscan evaluar sus resultados.

2. ANTECEDENTES

1 Crime solutions”, National Institute of Justice, recuperado el 31 de marzo del 2017: https://www.crimesolutions.gov/2 La Escala de Maryland mide el rigor metodológico de las evaluaciones. Para ello toma valores desde uno hasta cinco; reservando los primeros cuatro para métodos cuasi experimentales y el quinto valor para los experimentales. Tanto las evaluaciones experimentales como las cuasi experimentales buscan probar el impacto de un programa contrastando un grupo de beneficiarios con un grupo con características similares que no haya participado en el programa. No obstante, la diferencia principal entre estos métodos es que las evaluaciones cuasi experimentales no asignan a los beneficiarios de forma aleatoria. Para más detalles consultar: https://www.unicef-irc.org/publications/pdf/brief_8_quasi-experimental%20design_eng.pdf

13

La Escala analiza el uso y calidad de la evidencia que utilizan intervenciones de preven-ción de violencia y delito en México para promover la réplica y escalabilidad de estas intervenciones. Los objetivos que busca cumplir la Escala son:

• Fomentar la toma de decisiones informadas por evidencia.

• Identificar programas de prevención de violencia y delito bien diseñados.

• Identificar programas de prevención de violencia y delito que han demostrado buenos resultados en la materia.

• Identificar programas que, gracias a su buena implementación, pueden ser replicados y/o escalados en otros lugares.

3. OBJETIVOS

15

La Escala de Buenas Prácticas elaborada por USAID/JPV se conforma por 5 secciones necesarias para la formulación de proyectos, desde la definición y el diagnóstico del problema hasta una evaluación rigurosa de resultados. Cada sección (Diagnóstico, Respaldo Teórico, Planeación, Implementación y Resultados) está compuesta por cinco elementos distribuidos en cinco o más preguntas, como se muestra en el Gráfico 1.

Gráfico 1. Trayectoria de la aplicación de la EBP.

Para que la organización obtenga el puntaje máximo en cada sección, debe poder responder a las preguntas que se describen a continuación:

1. Diagnóstico: Busca que la intervención responda a las preguntas: ¿Cuál es el problema que se busca atender? ¿Por qué este problema es importante? ¿Cuál es la población beneficiaria y porqué fue escogida? ¿Dónde se llevará a cabo la acción y porqué este territorio fue seleccionado? ¿Qué herramientas utilizan para focalizar a los beneficiarios?

2. Respaldo Teórico: La organización debe contar con información que responda a las preguntas de ¿Qué propuesta pudiera solucionar el problema identificado?

4. ESTRUCTURAY RESULTADOS

Diagnóstico Respaldoteórico

Planeación Implementación Resultados

1 2 3 4 5+ + + +

Práctica no informada en evidencia

Formulación mejorable

Mejor prácticaMejor formulación

16


¿Cuál es la referencia teórica de la solución propuesta? ¿En qué otros estudios se basa esta solución? ¿Existen intervenciones exitosas que respalden la selección de esta solución?

3. Planeación: Esta sección busca identificar si la organización cuenta con una es-trategia previa a la implementación, por lo que responde a las preguntas: ¿Cuenta la organización con un instrumento de planeación? ¿Cuáles son los objetivos prin-cipales de la intervención? ¿Cuentan con un sistema de monitoreo con indicadores de acuerdo con su instrumento de planeación? ¿Tiene la organización un esquema de seguimiento a beneficiarios?

4. Implementación: Esta sección busca evaluar las estrategias que tiene la organi-zación para monitorear el progreso de la intervención. Para ello, busca responder a las preguntas: ¿Existe un padrón de beneficiarios de la intervención? ¿La organización cuenta con estrategias para poder determinar la calidad de la intervención? ¿Co-noce la organización los componentes esenciales de su intervención? ¿Se entregan los servicios en tiempo y forma a los beneficiarios? ¿Cuentan con un análisis de costo-beneficio de los servicios?

5. Evaluación: Esta última sección busca identificar la estrategia de la organización para evaluar los resultados de la intervención. Para ello, responde a las preguntas: ¿Cuál es la metodología de evaluación? ¿Cómo se calculó el tamaño de la muestra? ¿Cuáles fueron los resultados de la evaluación?

La sumatoria máxima posible de las secciones es de 125 puntos. Para aprobar las primeras cuatro secciones, la organización deberá contar con un puntaje mínimo de 15 puntos en cada rubro, mientras que para aprobar la sección de “Resultados” la organización deberá tener un puntaje mínimo de 20 puntos.

La calidad de la intervención dependerá del número de puntos que la intervención obtenga. En el Gráfico 2, se presentan las categorías de calificación de acuerdo con el puntaje obtenido por la intervención evaluada.

Gráfico 2. Niveles de calificación del EBP.

Mejor práctica (120 pts.)

Práctica promisoria (90 pts.)

Práctica informada por evidencia (45 pts.)

BuenasPrácticas

No informada por evidencia

17


No informada por evidencia (<45 puntos)

Existe poca evidencia sobre la efectividad de la intervención para prevenir la violencia, el crimen y/o sus factores de riesgo. La intervención analizada no cuenta con un sistema de monitoreo o con evaluaciones, estudios, o documentación que refleje un entendimiento claro de la problemática a abordar, así como de los mecanismos a través de los cuales la intervención es efectiva.

Práctica informada por evidencia (45-89 puntos)

Existe cierta evidencia de que la intervención podría ser efectiva en alcanzar los resultados esperados, dado que cuenta con un marco conceptual sólido e incorpora un diseño con base en una teoría de cambio conceptualmente sólida. Sin embargo, la intervención no cuenta con un sistema de monitoreo que reporte información sobre la implementación de la intervención y/o no cuenta con metodología de evaluación que permita cuantificar su impacto de forma rigurosa.

Práctica promisoria (90-119 puntos)

Existe cierta evidencia de que la intervención podría ser efectiva en alcanzar los resultados esperados, dado que cuenta con un marco conceptual sólido e incor-pora un diseño con base en una teoría de cambio fortalecida. Simultáneamente, la intervención cuenta con información suficiente sobre el diseño y/o monitoreo de su implementación que permite (o potencialmente permitiría) conocer la adherencia de la misma. Sin embargo, la intervención no cuenta con un estudio o evaluación que cuantifique su impacto de forma rigurosa, o los resultados de la evaluación de impacto no son estadísticamente significativos.

Mejor Práctica (120-125 puntos)

La intervención cuenta con evidencia cuantitativa de tipo experimental o cuasiexperi-mental que respalde su impacto. Incluye intervenciones que cuentan con evaluaciones o estudios que demuestran un impacto positivo, además de que cuentan con una teoría de cambio sólida que sustenta la lógica y diseño de la intervención. Simultá-neamente, la intervención cuenta con información completa sobre su implementa-ción, a la vez que se verifica la adherencia en la implementación a su diseño original. Estas características hacen que la intervención tenga el potencial de ser replicada en otros contextos, y se posicione dentro de la lista de intervenciones de prevención a considerar por los hacedores de políticas públicas en la materia.

19

¿Cómo se aplica la Escala?

La Escala se levanta a través de una ficha de llenado que deberá ser proporcionada al aplicador en conjunto con esta guía. La ficha de llenado contiene una sus propias ins-trucciones de uso, el cuestionario de preguntas -con los correspondientes medios de verificación-, un procesamiento inmediato -que tiene que ser sometido a un posterior escrutinio- y una breve descripción de los resultados.

El ejemplo de formato de ficha de llenado se presenta en la Tabla 1.

Tabla 1. Ejemplo de formato de ficha de llenado.

Criterio. Elemen-to a evaluar de la intervención.

Pregunta(s). Pre-gunta(s) a formular al entrevistado.

Descripción de puntaje. Describe los puntajes para calificar al criterio.

Explicación. Describe los elementos que debe tener cada puntaje.

a. La intervención identifica el pro-blema a atender.

¿Cuál es el problema o necesidad que la intervención preten-de atender? ¿Cuáles son las causas y con-secuencias de este problema o necesi-dad que ustedes han identificado?

2 = El problema está claramente identificado y documentado, con las causas y conse-cuencias definidas.

La intervención está diseñada con base en una problemática específica. Se cuenta con un documento com-probatorio que explica el problema, sus causas y sus consecuencias.

5. APLICACIÓN

20


Criterio. Ele-mento a evaluar de la intervención.

Pregunta(s). Pre-gunta(s) a formular al entrevistado.

Descripción de puntaje. Describe los puntajes para calificar al criterio.

Explicación. Describe los elementos que debe tener cada puntaje.

a. La intervención identifica el pro-blema a atender.

¿Cuál es el proble-ma o necesidad que la intervención pretende atender? ¿Cuáles son las causas y conse-cuencias de este problema o nece-sidad que ustedes han identificado?

1 = Establece y docu-menta un problema sin reconocer sus cau-sas ni consecuencias.

La intervención está di-señada con base en un problema general que se describe de manera ambigua. No hay un ejercicio de identifica-ción de causas y conse-cuencias relacionadas con el problema, por lo cual no es preciso que se busca cambiar o resolver.

0 = No establece un problema específico.

No existe información /el entrevistado no sabe identificar el pro-blema a atender.

Documenta-ción de respal-do a solicitar. Los medios de verificación para validar el puntaje otorgado.

Pondera-dor por pregunta. El valor que se le otorga al criterio.

Máximo puntaje posible por pregunta. Este elemen-to varía por pregunta.

Puntaje otorgado.

Puntaje pon-derado. Es el valor del pun-taje otorgado en relación con el ponderador por pregunta.

Comentarios del entrevis-tador (obliga-torio). Todos aquellos detalles que son importan-tes para otorgar un puntaje o validar un medio de verificación.

Documento que incluya el diagnóstico del problema.

5 2 El entrevis-tador escri-birá en este recuadro el puntaje otorgado.

0 El entrevistador escribirá aquí sus comentarios de las respuestas del entrevistado(s).

¿A quién se le puede aplicar?

A cualquier intervención de prevención de violencia y delito, sea de ámbito privado, público o de sociedad civil.

21


¿Cuándo es recomendable aplicarla?

No hay un momento específico. Sin embargo, es recomendable aplicarla antes de cual-quier proceso de asistencia técnica o fortalecimiento para poder registrar el progreso del diseño, implementación y resultados del modelo.

¿Quién puede levantar la información?

Cualquier persona. Sea integrante de JPV o aliada, siempre que haya recibido una inducción por parte del equipo técnico o de M&E del Programa de USAID y tenga acceso a la consulta de la presente guía.

¿Cómo es el proceso de la aplicación?

1. Capacitar a los integrantes del equipo de JPV o sus aliados sobre su importancia y cómo utilizarla.

2. Los integrantes del equipo identifican a la sociedad civil, actores públicos y privados como entes que están dispuestos a revisar sus intervenciones.

3. Aplicar la Escala durante una entrevista.

4. Pedir los documentos de verificación establecidos en la ficha de aplicación a una persona representante de la intervención.

5. El técnico en evaluación del programa, o el equipo de M&E correspondiente, valida las respuestas con los documentos de verificación.

a) En caso de ser necesario, la persona que valide podrá convocar una segunda entrevista para verificar información.

6. El técnico en evaluación, o el equipo de M&E correspondiente, enviará recomen-daciones a través de la ficha de resultados.

¿Quién puede validar y procesar la información?

Es necesario contar con un especialista en evaluación o un área de M&E que esté a cargo de la revisión de los medios de verificación de cada pregunta.

¿Cada cuánto tiempo se levanta?

No existe un tiempo predefinido. En realidad, se sugiere levantarla al inicio y al cierre de la intervención, por lo menos, para identificar progresos generales y logros en términos de implementación y/o resultados. Adicionalmente, también podría resultar valioso hacer levantamientos intermedios para registrar avances, sobre todo cuando la intervención ha recibido procesos de fortalecimiento o asistencia técnica.

23

6. PROCESAMIENTO

El procesamiento consiste en validar el puntaje otorgado durante el levantamiento de la Escala a través de los documentos comprobatorios otorgados por la organización. Después de certificar la información, los resultados deben sintetizarse en una ficha de resultados. Dependiendo de la complejidad de la intervención, normalmente la verificación de los puntajes y el procesamiento de los resultados llevaría alrededor de 4-6 horas de trabajo para una persona.

La ficha de resultados es el informe final que se le entrega al implementador. Este informe deberá contemplar al menos cinco apartados:

1. Datos generales de la intervención: Nombre de la intervención, persona entrevis-tada, ciudad o territorio de cobertura y fecha de aplicación.

2. Descripción de la Escala de Buenas Prácticas.

3. Descripción del resultado obtenido: Debe establecer con claridad qué categoría se obtuvo (Práctica No Informada por Evidencia; Práctica Informada por Evidencia; Práctica Promisoria; o Mejor Práctica) y un desglose del resultado.

4. Hallazgos: El responsable del procesamiento deberá extender un análisis y justi-ficación de los resultados obtenidos. Deberá hacer un análisis diferenciado entre cada una de las cinco secciones para evidenciar mejoras puntuales.

5. Recomendaciones: En línea con cada punto de los hallazgos, el responsable del pro-cesamiento deberá emitir una recomendación clara y precisa sobre cómo mejorar la intervención y el puntaje de la Escala para potenciales levantamientos posteriores.

6. Visualización: También deberá incorporar una representación gráfica para facilitar el análisis y la interpretación de los resultados.

25

7. GUÍAPREGUNTAS ESCALA

Sección 1. Diagnóstico

Criterio1.1 La intervención identifica el problema a atender.

Objetivo

Conocer si el entrevistado es capaz de hacer una descripción puntual del problema, incluyendo sus causas y efectos.

Formulación de la pregunta

• ¿Cuál es el problema o necesidad que la intervención pretende atender?

• ¿Cuáles son las causas y consecuencias de este problema o necesidad que ustedes han identificado?

Términos

Problema - En el ámbito de prevención de violencia, el problema o necesidad se for-mula como un hecho negativo o como una situación que puede ser revertida y que se considera está relacionada con la presencia, exposición o perpetuación del delito. La identificación del problema debe incluir las causas, efectos y características del problema.

Causas - Motivos, razones, situaciones que dan lugar al problema a atender.

Consecuencias - Hechos, situaciones, efectos o acontecimientos que derivan del problema a atender.

26


Calificaciones

Puntaje = 2

Para obtener este puntaje se deben cumplir las siguientes características:

a) El documento diagnóstico está por escrito.

b) Se identifica puntualmente la problemática o necesidad a atender.

c) Se identifican las causas y consecuencias del problema identificado.

Ejemplo:

“El problema a atender es la alta tasa de reincidencia de los jóvenes que pasan por el sistema penitenciario en el territorio X. Las causas identificadas del problema son la falta de oportunidades laborales al salir de prisión, la estigmatización a los jóvenes que salen de prisión y un alto índice de adicciones. Por otra parte, las consecuencias de la alta reincidencia juvenil son un aumento en la percepción de inseguridad en la comunidad e incrementos en los índices de delito.”

Puntaje = 1

La intervención está diseñada con base en un problema general que se describe de manera ambigua. No hay un ejercicio de identificación de causas y consecuencias rela-cionadas con el problema de tal suerte que no se muestran especificidades o detalles del problema objeto.

Puntaje = 0

No se identifica un problema en específico a atender.

Criterio

1.2. La intervención cuantifica el problema a atender.

Objetivo

Conocer si la intervención cuenta con un diagnóstico del problema respaldado por datos estadísticos.


• ¿Cuentan con información estadística que respalde su diagnóstico del problema a atender?

27


Términos

Información estadística - Se refiere a números que pueden ser comparados, analizados o interpretados acerca del problema. Estos datos deben provenir de fuentes confia-bles y verificables (ensayos académicos, bases de datos gubernamentales, organismos internacionales, etc.). Si se cuenta con referencias de periódicos se deben verificar las fuentes del periódico para asegurarse que los datos provienen de fuentes confiables.

Calificación

Puntaje = 2

Para obtener este puntaje, se deben contar con las siguientes características:

a) El documento de diagnóstico está documentado.

b) El documento de diagnóstico cuenta con información estadística sobre el problema, sus causas y consecuencias.

c) Estas estadísticas provienen de fuentes públicas o académicas que pueden ser verificadas.

Ejemplo:

“De acuerdo a la Encuesta sobre Reincidencia Juvenil (INEGI, 2018), la tasa de reinci-dencia en los jóvenes entre 12 y 26 años es de X% en el territorio X. Según estimados de esta encuesta, la mayoría de los jóvenes que reincidieron reportaron haber vuelto a cometer crímenes debido a la falta de oportunidades laborales (47%), estigmatización por parte de empleadores (20%) y a causa de su adicción a distintos estupefacientes (18%), entre otros.

Puntaje = 1

Para obtener este puntaje, se debe contar con al menos la característica del inciso a). Se otorga si el documento diagnóstico incluye datos generales del problema, pero estos datos no están respaldados por información estadística. Es necesario contar con un documento comprobatorio para obtener este puntaje. Ejemplo:

“Existe una alta reincidencia juvenil en el territorio X. Muchos de estos jóvenes no encuentran trabajo puesto que son estigmatizados por empleadores, además de que la adicción al alcohol y a drogas los expone nuevamente a cometer delitos.” Puntaje = 0

No se cuenta con un documento comprobatorio que respalde estadísticamente el problema a atender.

28


Criterio

1.3 La intervención identifica a la población beneficiaria.

Objetivo

Conocer si la intervención cuenta con un perfil de los beneficiarios y una justificación de porqué fueron seleccionados.


• ¿Cuál es el perfil de la población beneficiaria?

• ¿Por qué fueron seleccionados?

• ¿Cuentan con un documento que incluya este perfil?

Términos

Perfil - Conjunto de características o aspectos particulares que se presentan en los beneficiarios que los hacen pertenecientes a la población que recibirá los servicios o actividades de la intervención.

Beneficiario - La persona que recibe o recibirá los servicios o actividades de la inter-vención estudiada.

Calificación

Puntaje = 2


a) El perfil de los beneficiarios se encuentra documentado por escrito.

b) El perfil de los beneficiarios es identificado de manera clara (e.g edad, datos so-cioeconómicos, localidad, etc.).

c) Se identifican los motivos por los que los beneficiarios fueron seleccionados para la intervención.

Ejemplo:

“Los beneficiarios de la intervención son jóvenes entre 12 y 18 años que hayan pasado por el sistema penitenciario por al menos una ocasión y que habiten en el territorio X. El motivo por el que fueron seleccionados es porque, de acuerdo con la SESNSP (2017), los jóvenes salidos de prisión son los que se encuentran en mayor riesgo de volver a cometer un delito. Además, se identificó en la Encuesta de Delito del Terri-torio X (FUENTE, AÑO), que son los jóvenes en este rango de edad los que mayor tasa de reincidencia tienen (X%).”

29


Puntaje = 1

Para obtener este puntaje, se deben contar con una de las siguientes características:

a) En un documento por escrito, el perfil del beneficiario es identificado de manera general pero no se justifican los motivos por los que fueron seleccionados.

b) El entrevistado es capaz de expresar el perfil de los beneficiarios y los motivos de selección, pero no cuenta con un documento comprobatorio.

“Los beneficiarios de esta intervención son jóvenes que han cometido delitos anteriormente” Puntaje = 0

Se otorga este puntaje cuando:

a) La intervención no caracteriza a la población participante en su documento diagnóstico.

b) El entrevistado no identifica a la población beneficiaria.

Criterio1.4 La intervención identifica el territorio o ámbito de acción.

Objetivo

Conocer si la intervención tiene un ámbito de acción territorial delimitado y los motivos por el que este territorio fue seleccionado.


• ¿Cuál es el territorio en donde opera esta intervención?

• ¿Cuáles fueron los criterios para seleccionar este territorio?

• ¿Cuentan con un documento que defina el territorio de acción?

Términos

Territorio - Área geográfica donde se llevará a cabo la intervención. Puede ser desde una colonia, municipio, estado o localidad específica de acuerdo con la intervención (centro comunitario, centro penitenciario, etc.)

Calificación

Puntaje = 2


a) El territorio o ámbito de acción se encuentra documentado por escrito.

30


b) El territorio o ámbito de acción es identificado de manera clara (ciudad, municipio, polígonos, colonias, etc.).

c) Se identifican los motivos por los que se seleccionó al territorio de acción y las implicaciones metodológicas y de formulación de proyectos que implica.

Ejemplo:

“De acuerdo con el INEGI (2018), el estado X es el cuarto más violento de México. Particularmente en la ciudad X, existen cuatro colonias (Colonia 1, Colonia II, Colonia III y Colonia IV) en la que se cometen el 65% de los delitos de dicha ciudad (FUENTE, AÑO). Por este motivo, se decidió concentrase en estas cuatro colonias, donde existe la incidencia más alta de delito”.

Puntaje = 1

Para obtener este puntaje, se deben contar con una de las siguientes características:

a) En un documento por escrito, el territorio o ámbito de acción es identificado de manera general, pero no se identifican las razones o criterios de selección.

b) El entrevistado es capaz de describir el territorio de acción y los motivos de se-lección, pero no cuenta con un documento comprobatorio.

“La intervención se lleva a cabo en el estado X, ciudad X”

Puntaje = 0


a) La intervención no caracteriza al territorio de acción.

b) El entrevistado no identifica a un territorio o ámbito de acción.

Criterio

1.5 La intervención incorpora herramientas o recursos sistemáticos de focalización.

Objetivo

Conocer si la intervención utiliza instrumentos estandarizados u avalados por institu-ciones públicas o académicas para focalizar a los beneficiarios.


• ¿Utilizaron alguna herramienta para seleccionar a la población beneficiaria? Ejemplo: Encuestas, YTT, etc.

31


Términos

Focalización - Conjunto de reglas e instrumentos que permiten identificar a personas o grupos poblacionales como potenciales beneficiarios de intervenciones de preven-ción de violencia.

Calificación

Puntaje = 1


a) La organización cuenta con un instrumento ya sea avalado por instituciones o que sea utilizado en otra intervención similar que le permite identificar a los posibles beneficiarios.

b) Se cuenta con un documento comprobatorio en el que se explique la meto-dología de focalización o, en su defecto, que tenga los resultados de los ejercicios de focalización.

Ejemplo:

• Instrumentos que permiten saber el nivel de riesgo de los participantes.

• Encuestas que permiten identificar a la población con la que se busca trabajar.

Puntaje = 0


a) La organización no utiliza ningún instrumento para focalizar a la población o;

b) La organización no cuenta con documentos comprobatorios sobre los ejercicios de focalización.

Sección II. Respaldo Teórico

Criterio

2.1 La intervención cuenta con un marco conceptual documentado que respalda teóricamente la solución propuesta.

Objetivo

Verificar que el marco conceptual de la intervención esté relacionado con la solución propuesta y justificado en referencias bibliográficas puntuales de estudios anteriores, bases teóricas y la relación de la solución propuesta con el problema identificado.

32



• ¿Cuenta la intervención con un marco conceptual?

• ¿Cuenta este marco conceptual con referencias bibliográficas que justifiquen los cambios que esperan ver con su intervención?

Términos

Marco Conceptual - “Las ideas (teorías e hipótesis) con las cuales supuestamente el problema adquiere un sentido. El marco conceptual consiste en asumir una teoría que sirva de marco de referencia a todo el proceso de investigación, enlazando el problema con la metodología propuesta y empleada para buscarle una solución (Daros, 2002)”.

Referencias bibliográficas - Información que permite al lector identificar las fuentes de información citadas en el texto.

Calificación

Puntaje = 2

Para otorgar este puntaje, la intervención deberá contar con cada una de las siguien-tes características:

a) El marco conceptual está documentado por escrito.

b) El marco conceptual justifica teóricamente porque la solución propuesta es sufi-ciente para producir el cambio esperado. Por ejemplo, deberá incluir:

- Relación de la teoría con el problema identificado y la solución propuesta (justificación teórica de la hipótesis de cambio). Por ejemplo, si la intervención utiliza terapias cognitivo-conductuales, se deberá tener un respaldo teórico de cómo las terapias llevarán a la reducción de conductas violentas de los beneficiarios. Asimismo, se deberá dejar claro que conceptos y componentes son utilizados de la teoría en la intervención.

c) El marco conceptual cuenta con referencias puntuales a bibliografía, que incluyen:

- Antecedentes de investigaciones previas, los cuáles consisten en estudios realizados en el pasado acerca del problema planteado. Esto no se refiere a un listado de autores o bibliografía, sino de plantear los enfoques, métodos e interpretaciones teóricas de estos estudios.

- Bases teóricas (definiciones y conceptos en los cuáles se basa la investigación).

Puntaje = 1

Para contar con este puntaje, la intervención deberá llenar necesariamente el parámetro del inciso a), pero no necesariamente los requerimientos de los incisos b)

33


o c), ya sea porque no justifica la elección de la solución propuesta o no cuenta con referencias bibliográficas puntuales.

Puntaje = 0

La intervención no cumple con ninguna de las características a), b) o c).

Criterio

2.2 La intervención cuenta con una hipótesis de cambio con base en una solución específica.

Objetivo

Conocer si la intervención identifica la cadena causal en su intervención, es decir, el cómo las actividades propuestas llevarán a los cambios esperados.


• ¿Cuál es la hipótesis de cambio de la intervención?

• ¿Cómo es que sus actividades llevaran a los resultados deseados?

• ¿Cuentan con un documento de su marco conceptual?

Términos

Hipótesis de cambio - Proposición que establece relaciones entre los hechos para una posible solución del problema identificado. Es decir, cómo las actividades propuestas llevarán al cambio esperado.

Formulación de la hipótesis causal:“Si [actividades] producen [productos] esto debería conducir a [resultados interme-diarios] que al final mejorará [resultados finales], contribuyendo al [propósito].”

Calificación

Puntaje = 2

Para obtener este puntaje, se deben contar con cada una de las siguientes características:

a) La hipótesis de cambio se encuentra documentada.

b) La hipótesis de cambio explica la solución propuesta y los mecanismos por los cuáles se resolverá el problema identificado (por ejemplo, de como a través de mentorías, terapias cognitivo-conductuales, capacitaciones se llegará a los resultados finales esperados).

c) La hipótesis de cambio se relaciona con el marco conceptual de la intervención.

34


Ejemplo:

Si los talleres de habilidades para la vida, terapias individuales y talleres de salud pro-ducen que los jóvenes se capaciten en estos temas, esto llevará al incremento de habilidades para la vida y de salud, al mismo tiempo incrementando la confianza del joven. Estos factores ayudarán a que el joven se reinserte en la escuela, o en un trabajo contribuyendo a la disminución del riesgo de reincidencia de los jóvenes.

Puntaje = 1

Se otorga este puntaje cuando la intervención lleno el parámetro del inciso a) (se encuentra documentado), pero no cumplió con los requerimientos de los incisos b) o c), ya sea porque ofrece una solución genérica para el problema identificado o no es congruente con el marco conceptual planteado.

Asimismo, se otorga cuando el entrevistado es capaz de frasear de manera puntual la hipótesis de cambio, pero no cuenta con un documento comprobatorio.

Ejemplo de una hipótesis de cambio con puntaje 1:

“Los talleres de habilidades para la vida llevarán a la reducción de la agresión por parte de los jóvenes.”

Puntaje = 0

Se otorga este puntaje cuando la intervención no cuenta con ninguna de las caracte-rísticas de los incisos a), b) o c) o cuando el entrevistado no es capaz de formular la solución de la intervención para el problema propuesto.

Criterio

2.3 La intervención está fundamentada en otros estudios o evaluaciones que apoyan una intervención similar.

Objetivo

Conocer si la intervención está basada en estudios o evaluaciones similares, donde se identifique el mismo mecanismo causal que pueda ser generalizable a otros contextos.


• ¿La intervención está fundamentada en un estudio o evaluación similar? Estos pueden ser en México u otros países.

• ¿Cuentan con un documento donde se describan estas intervenciones o estudios similares?

35


Términos

Mecanismo Causal - Explican cómo se produce un determinado fenómeno, es decir, explican cómo los resultados finales son causados por las actividades y los resultados intermedios que éstas producen.

Calificación

Puntaje = 2

Para otorgar este puntaje se debe contar con cada una de las siguientes características:

a) Los estudios o evaluaciones a las que se hacen referencia se encuentran documentados.

b) Los estudios o evaluaciones a las que se refiere la intervención utilizaron mecanismos causales similares para solucionar el problema identificado. Es decir, si utilizaron actividades o procesos similares para producir los resultados intermedios y finales que se pretenden como objetivo de la intervención.

c) Los estudios o evaluaciones a las que se refiere la intervención utilizaron métodos rigurosos para llegar a sus resultados (como mínimo que utilizaron una evaluación de resultados intermedios y/o finales). Pueden referirse a México u otro país. Se debe contar con documento comprobatorio.

Ejemplo:

Intervención: Terapias cognitivo-conductuales para jóvenes en conflicto con la ley

“Las terapias cognitivo-conductuales han sido utilizadas en distintas partes del mundo con objetivos de prevención de violencia. Heller et. al (2016) llevaron a cabo tres evaluaciones de impacto en Chicago, Estados Unidos, en donde encontraron evidencia que las terapias cognitivo-conductuales funcionan para que los jóvenes en conflicto con la ley adquieran habilidades de reflexión y de control de impulsos. Estos cambios contribuyeron en la reducción de arrestos e incrementos en tasas de graduación de estos jóvenes que se observaron al final de la intervención.”

Puntaje = 1

Para contar con este puntaje se debe llenar necesariamente el parámetro del inciso a), pero no tiene que cumplir con los incisos b) o c), ya sea porque los estudios o eva-luaciones a los que se refiere la intervención no utilizaron mecanismos similares para solucionar el problema (e.g. las terapias cognitivo conductuales no fueron utilizadas para prevención de la violencia) o no hicieron uso de métodos rigurosos para evaluar sus resultados (utilizan testimonios o anécdotas como muestra de sus resultados).

Puntaje = 0

Se obtiene este puntaje cuando no se cuenta con ninguno de los incisos a), b) o c).

36


Criterio

2.4 Las referencias empíricas demuestran hallazgos sólidos en favor de la resolución del problema identificado.

Objetivo

Verificar si los estudios o evaluaciones identificadas muestran hallazgos sólidos y po-sitivos de la solución propuesta.


• ¿Son positivos los resultados de estas intervenciones?

• ¿Tienen un documento en el que tengan los resultados de estas intervenciones?

Calificación

Puntaje = 2


a) Los estudios o evaluaciones a las que se hacen referencia se encuentran documentados.

b) Los estudios o evaluaciones a las que se refiere la intervención utilizaron mecanis-mos causales similares para solucionar el problema identificado.

c) Los estudios o evaluaciones utilizaron métodos rigurosos (e.g. evaluaciones con contrafactual) y encontraron resultados positivos y de preferencia de largo plazo sobre la población beneficiaria. Idealmente, estas intervenciones serán:

-Evaluaciones de impacto publicadas en revistas académicas donde se utilizó la solución propuesta por la intervención para resolver el problema identificado.

-Evaluaciones de impacto donde se encontraron efectos positivos y, preferi-blemente, a largo plazo de la solución propuesta.

Puntaje = 1

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero no necesariamente debe de cumplir con los de los incisos b) o c), ya sea porque estos estudios no utilizaron métodos rigurosos para obtener sus resultados (carecían de evaluaciones de impacto) o no muestran evidencia contundente de que han logrado resultados positivos.

Puntaje = 0

Se obtiene este puntaje cuando no se cuenta con ninguno de los incisos a), b) o c).

37


Criterio

2.5 La intervención tiene un enfoque de prevención terciaria y/o secundaria.

Objetivo

Definir el enfoque de prevención de la intervención.


• ¿Qué enfoque de prevención tiene su intervención? (Primaria, secundaria o terciaria)

Términos

Prevención Primaria - Las acciones se dirigen a la población en general, es decir que no se encuentran en riesgo necesariamente. Por ejemplo, una campaña en medios de comunicación que busca crear conciencia sobre el problema de la violencia familiar.

Prevención Secundaria - Las acciones se dirigen a personas identificadas en situación de riesgo, ya que presentan características de alta propensión de tendencias de violencia y/o delincuencia.

Prevención Terciaria - Las acciones se dirigen a personas que han cometido un delito o personas que ya han sido víctimas de violencia.

Calificación

Puntaje = 1

La intervención especifica que tiene un enfoque de prevención terciaria o secundaria, es decir, se dirige a personas que han cometido un delito o que han sido víctimas de violencia (prevención terciaria), o bien, a personas identificadas en situación de riesgo, ya que presentan características pueden aumentar su probabilidad de caer en situaciones de violencia y/o delincuencia (prevención secundaria).

Puntaje = 0

La intervención tiene un enfoque de prevención primaria, es decir, las acciones se dirigen a la población en general, que no se encuentra necesariamente en riesgo. Por ejemplo, una campaña en medios de comunicación que busca crear conciencia sobre el problema de la violencia familiar.

La intervención no especifica su enfoque de prevención.

NOTA: Por motivos del propio programa JPV, la Escala de Buenas Prácticas buscó identificar a aquellas intervenciones con enfoque de prevención secundario o terciario. Sin embargo, quedará en el criterio de la organización que apliqué esta escala si la prevención primaria será también considerada como deseable para sus propios objetivos.

38


Sección III. Planeación

Criterio3.1 La intervención cuenta con un instrumento de planeación conceptualmente sólido

(teoría de cambio, matriz de marco lógico)


• ¿Cuentan con una Teoría de Cambio o Marco Lógico que describa su intervención?

• Si no cuenta con ella, ¿Podrían describir algunos de estos elementos de su interven-ción? (Problema, propósito, resultados intermedios)

• ¿Cuentan con un documento en el que se describa esta Teoría de Cambio/Marco Lógico?

Términos

Teoría de Cambio - Un conjunto de supuestos y proyecciones que explicitan la manera en que se producirá el cambio o un mapa de cambio semi-estructurado y flexible que vincula las acciones estratégicas con una cadena de resultados. En el Gráfico 3, se pueden observar los elementos de una teoría de cambio.

Gráfico 3. Elementos de la Teoría de Cambio

Calificación

Puntaje = 3

Para obtener este puntaje se debe contar con cada uno de los siguientes requerimientos:

a) La teoría de cambio o marco lógico se encuentran documentados por escrito.

b) La teoría de cambio o marco lógico están vinculado al tema de prevención de violencia.

c) La teoría de cambio o marco lógico tienen una estructura lógica y detallan la cadena causal, es decir, la manera en la que se interrelacionan los elementos.

d) La teoría de cambio o marco lógico contienen todos los elementos. Para la teoría de cambio se refiere a la identificación de un problema, insumos, actividades, productos, resultados intermedios, resultados finales y propósito.

39


Puntaje = 2

Para obtener este puntaje se debe llenar necesariamente los parámetros de los incisos a) y b), pero no con los parámetros de los incisos c) y d), ya sea porque carece de una estructura lógica, no detalla una cadena causal o porque contiene tan sólo 4 de 6 elementos de la teoría de cambio.

Puntaje = 1

Se otorga este puntaje cuando no se llena ninguno de los parámetros de los incisos a), b), c) o d), pero el entrevistado es capaz de explicar verbalmente al menos dos elementos de la teoría de cambio o marco lógico (e.g. problema y actividades).

Puntaje = 0

Se otorga este puntaje cuando no se llena ninguno de los parámetros de los incisos a), b), c) o d) o cuando el entrevistado no es capaz de describir ningún elemento de la teoría de cambio o marco lógico.

Criterio3.2 La intervención presenta: objetivos, componentes, población objetivo, el tamaño

de la población objetivo y la frecuencia y duración de las actividades y/o servicios que se proveerán.

Objetivo

Conocer si la intervención cuenta con una descripción puntual de todas las actividades que planean llevar a cabo o que llevaron a cabo. El objetivo de tener fichas técnicas de cada actividad es para su futura replicabilidad.


• ¿Tienen fichas técnicas de cada actividad que contengan el objetivo, sus componentes, población objetivo, número de participantes, frecuencia y duración de actividades?

• ¿Cuentan con un documento que describa estos detalles mencionados de la intervención?

Términos

Objetivos - Fin último al que se dirige la actividad de una intervención.

Componentes - Los elementos que conforman a cada actividad.

Población objetivo - Beneficiarios a los que está dirigida la actividad.

Tamaño de población - Número de beneficiarios que participarán en cada actividad.

40


Frecuencia - Número de veces que se llevará a cabo la actividad o cada cuándo se realizará.

Duración - Tiempo que transcurre entre el inicio y el fin de cada actividad.

Calificación

Puntaje = 2


a) La intervención cuenta con fichas técnicas de cada actividad documentadas por escrito.

b) Las fichas técnicas de cada actividad cuentan con todos los siguientes elementos: objetivo, componentes, población objetivo, número de participantes, frecuencia y duración de actividades.

Puntaje = 1

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero no con el del inciso b) ya que solamente se cuenta con 4 de los 6 elementos en las fichas técnicas.

Puntaje = 0

Se otorga este puntaje cuando no se llenan los parámetros de los incisos a) y b) o cuando se cumplen solamente 3 o menos de los elementos del inciso b).

Criterio3.3 La intervención presenta indicadores de acuerdo con su instrumento de planeación

Objetivo

Verificar que la intervención haya planificado desde un inicio el uso de indicadores para monitorear el progreso de todos los elementos de su intervención. Asimismo, se busca comprobar que los indicadores sean coherentes con el diseño de la intervención (Teoría de Cambio/Marco Lógico).


• ¿Tiene su intervención indicadores que se hayan diseñado de acuerdo con su Teoría de Cambio o Marco Lógico?

• ¿Cuentan con un documento que describa a cada uno de estos indicadores?

41


Términos

Indicador - Son puntos de referencia, que brindan información cualitativa o cuan-titativa, conformada por uno o varios datos3 que permiten seguir el desarrollo de un proceso y llevar a cabo un análisis del proceso.

Calificación

Puntaje = 3


a) Se cuenta con un documento (llámese matriz de indicadores) en donde se encuen-tren descritos los indicadores.

b) Los indicadores están relacionados con el tema de prevención de violencia.

c) Los indicadores se vinculan con cada elemento de la teoría de cambio. Es decir, se cuentan con indicadores de insumos, actividades, productos, resultados interme-dios, resultados finales y propósito.

d) La matriz de indicadores o el documento descriptivo de los indicadores contiene los siguientes elementos por cada indicador: nombre de indicador, descripción, unidad de medida, método de cálculo, medio de verificación, frecuencia de medi-ción, línea base y meta.

Ejemplo de una matriz de indicadores:

Elemento de la Teoría de

Cambio

Indicador Medio deverificación

Frecuencia de

medición

Línea base

Meta Fecha de la meta

Responsable datos

Resultado final 1: Menor percepción de

inseguridad

Porcentaje de perso-nas que

consideran que su

comunidad es “muy

segura” o “segura”

Encuesta Semestral 30% 45% Dic 2019

Fundación “Todos Uni-dos contra la

Violencia”

Puntaje = 2

Para obtener este puntaje se debe llenar necesariamente los parámetros de los incisos a) y b), pero no es indispensable que se cumplan los incisos c) y d), ya sea por-que sólo existen indicadores para al menos 3 elementos de la Teoría de Cambio/

3 Constituidos por percepciones, números, hechos, opiniones o medidas.

42


Marco Lógico o la matriz de indicadores/documento de indicadores no cuenta con todos los elementos descritos en el inciso d).

Puntaje = 1

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero solamente se cuenta con indicadores de actividades o productos (e.g. sólo se cuentan el número de actividades realizadas).

Puntaje = 0

Se otorga este puntaje cuando no se cuenta con ninguno de los elementos de los incisos a), b), c) o d).

Criterio3.4 La intervención cuenta con un sistema de monitoreo de los indicadores de la

teoría de cambio.

Objetivo

Conocer si la organización cuenta con un sistema interno para realizar el monitoreo de la intervención a través de indicadores.


• ¿Tienen un sistema de monitoreo en el cual se analizan los indicadores?

• ¿Cada cuando se revisan estos indicadores?

• ¿Cuentan con reportes sobre el progreso de la intervención basados en la medición de los indicadores?

Términos

Monitoreo - El monitoreo es el proceso sistemático de recolectar, analizar y utilizar información para hacer seguimiento al progreso de un programa con la finalidad de conseguir los objetivos propuestos y guiar las decisiones de gestión.

Calificación

Puntaje = 3

Para obtener este puntaje se debe llenar cada uno de los siguientes requerimientos:

a) Se cuenta con un documento (llámese matriz de indicadores) en donde se encuen-tren descritos los indicadores.

43


b) La organización cuenta con un sistema para analizar la implementación y áreas de oportunidad de todos los indicadores relacionados con la teoría de cambio. Por ejemplo: cuenta con un sistema de “semáforo” en el que reportan el progreso de las actividades, productos o resultados.

c) Se realizan reportes del progreso de los indicadores por lo menos una vez al mes.

Ejemplo de un sistema de monitoreo:

Elemento de la Teoría de

Cambio

Indicador Línea base

Meta Fecha de la meta

#Talleres realizados

Progreso a agosto

2018

Actividad II. Talle-res de habilidades

para la vida

Número de talleres de habili-dades para la vida

impartidos

0 10 Dic 2018 6 60%

Puntaje = 2

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero no cumple con los incisos b) y c), ya sea porque la organización solamente analiza la implementación y áreas de oportunidad de algunos de los indicadores o porque no se realizan reportes del progreso de los indicadores de manera recurrente.

Puntaje = 1

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero no cumple con los incisos b) y c), debido a que la organización solamente analiza los indicadores de los productos/actividades o porque no se elaboran reportes sobre el progreso de los indicadores.

Puntaje = 0

Se otorga este puntaje cuando no se cuenta con ninguno de los elementos de los incisos a), b) o c).

Criterio3.5 La intervención presenta una estrategia clara de seguimiento a beneficiarios una

vez terminada la implementación.

Objetivo

Conocer si la intervención planeó desde un inicio una estrategia para darle seguimiento a los beneficiarios y si éste se encuentra documentado.

44



• ¿Tiene su organización una estrategia definida para dar seguimiento a los beneficiarios una vez que termina la intervención?

• ¿Se encuentra documentado este plan de seguimiento?

Términos

Seguimiento - Acción de seguir a algo o a alguien. La observación minuciosa de la evo-lución y desarrollo de un proceso, en este caso, de los resultados de la intervención.

Calificación

Puntaje = 1


a) La intervención plantea un seguimiento a beneficiarios una vez terminada la entrega de productos, servicios o la implementación general de la solución propuesta.

b) El proceso o metodología de seguimiento se encuentra documentado.

Puntaje = 0

Se otorga este puntaje cuando no se cumplen los parámetros de los incisos a) o b), ya sea porque no se planteó una estrategia de seguimiento o porque esta estrategia no se encuentra documentada.

Sección IV. Implementación

Criterio4.1 La intervención cuenta con un registro de beneficiarios.

Objetivo

Verificar que la organización lleve un registro puntal de todos sus beneficiarios y sus datos de contacto.


• ¿Cuenta la intervención con un padrón de beneficiarios que incluya a todos los beneficiarios de la intervención?

Términos

Padrón - Lista o registro de todos los beneficiarios de una intervención.

45


Calificación

Puntaje = 2

Para obtener este puntaje se debe llenar cada uno de los siguientes parámetros:

a) El padrón de beneficiarios se encuentra documentado por escrito.

b) El padrón de beneficiarios contiene los nombres de todos los beneficiarios.

c) El padrón de beneficiarios cuenta con los datos de contacto de los beneficiarios.

Puntaje = 1

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero no cumple con los incisos b) y c), ya sea porque el padrón de beneficiarios no contiene el nombre de todos los beneficiarios o porque no existen los datos de con-tacto de los beneficiarios.

Puntaje = 0

Se otorga este puntaje cuando no se cuenta con ninguno de los elementos de los incisos a), b) o c).

Criterio4.2 Porcentaje de beneficiarios atendidos.

Objetivo

Conocer si la intervención sigue su diseño inicial o si ha podido atender a todos los beneficiarios que se tenían contemplados.


• ¿A cuántas personas tenían contemplados como beneficiarios?

• De estas personas, ¿cuántas finalmente recibieron todos los servicios o actividades contempladas en la intervención?

Cálculo

Dividir el número de beneficiarios reales entre el número de beneficiarios estimados esperados y multiplicar por 100 para sacar dicho porcentaje.

46


Calificación

Puntaje = 3


a) Se cuenta con un documento que permita dar seguimiento al número de benefi-ciarios contemplados vs. el número de beneficiarios atendidos. Por ejemplo:

#Beneficiarios contemplados al inicio de la intervención

#Beneficiarios atendidos al final de la intervención

% de Beneficiarios atendidos

100 87 87%

b) El documento de seguimiento muestra que se atendió a más del 85% de los bene-ficiarios contemplados.

Puntaje = 2

Para obtener este puntaje se debe llenar necesariamente con el parámetro del inciso a), pero se atendió entre el 50% al 85% de los beneficiarios contemplados.

Puntaje = 1

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero la organización logró atender solamente a menos del 50% de los beneficiarios contemplados.

Puntaje = 0

Se otorga este puntaje cuando no se cuenta con el inciso a) o cuando no es posible corroborar la información proporcionada por la organización.

Criterio4.3 El grado en que la entrega de los productos y/o servicios de la intervención coin-

cide con lo establecido en su diseño.

Objetivo

Conocer si la intervención ha seguido su planeación en cuanto a la entrega de pro-ductos y servicios.


• De las actividades y servicios contemplados en el diseño de la intervención, ¿qué porcentaje fue realizado?

• ¿Cuentan con un documento en donde se monitoreó el cumplimiento de las actividades?

47


Cálculo

Dividir el número total de actividades planeadas entre el número de actividades rea-lizadas y multiplicar por 100 para sacar el porcentaje.

Calificación

Puntaje = 3


a) Se cuenta con un documento que permita dar seguimiento a la entrega de servicios o la realización de actividades de la intervención. Por ejemplo:

#Actividades realizadas #Actividades planeadas % de Actividades 23 25 92%

b) El documento de seguimiento muestra que se realizaron más del 85% de las acti-vidades o se entregaron más del 85% de los servicios contemplados.

Puntaje = 2

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero no cumple con el inciso b), ya que se entregaron más del 50% pero menos del 85% de las actividades o servicios contemplados.

Puntaje = 1

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero no el inciso b), ya que se cumplió entre 50% y el 85% de las actividades o servicios contemplados.

Puntaje = 0


Criterio4.4 El grado en que el tiempo de entrega de los productos y/o servicios de la inter-

vención coincide con lo establecido en su diseño.

Objetivo

Conocer si la intervención ha seguido su planeación en cuanto a los tiempos de entrega de los servicios o actividades.

48


Calificación

Puntaje = 3


a) Se cuenta con un documento que permita dar seguimiento a si se respetaron los tiempos descritos en el cronograma del diseño de la intervención. Por ejemplo:

Indicador Meta Fecha de Meta Progreso de meta a agosto 2018

Número de terapias individuales

10 Junio 2018 70%

b) El documento de seguimiento muestra que se realizaron más del 85% de las activi-dades o se entregaron más del 85% de los servicios contemplados en los tiempos establecidos en el diseño de la intervención.

Puntaje = 2

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero no cumple con el inciso b), ya que se cumplieron entre el 50% al 85% de las activida-des o servicios contemplados en los tiempos establecidos en el diseño de la intervención

Puntaje = 1

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero no cumple con el inciso b), ya que se entregaron menos del 50% de las actividades o servicios contemplados en los tiempos establecidos en el diseño de la intervención

Puntaje = 0


Criterio4.5 Se contemplan o se llevaron a cabo estrategias de calidad de implementación.

Objetivo

El objetivo de monitorear la calidad de la implementación (también llamado evaluación de procesos) es responder a la pregunta de si el programa o la intervención se está implementando bien, es decir, si las actividades previstas se están llevando a cabo de forma correcta, y así aprender acerca de cómo podrían mejorarse.

49



• ¿Se llevaron a cabo o se contempla llevar a cabo estrategias para monitorear la calidad de la intervención? Por ejemplo: bitácoras en donde se escriban las observaciones de las actividades.

• ¿Cuentan con algún documento que permita verificar los resultados de esta estrategia?

Calificación

Puntaje = 2

Para obtener este puntaje se debe cumplir con el siguiente requerimiento:

a) La intervención cuenta con evidencia documentada de los ejercicios realizados para monitorear la calidad de la información, ya sea porque los describen en un manual de implementación, porque existe un documento en donde se describa la metodología o porque la intervención cuenta con evidencia de los ejercicios realizados (muestra bitácoras de observación, minutas, etc.)

Puntaje = 1

Para obtener este puntaje el entrevistado debe describir de manera puntual los ejer-cicios que la organización lleva a cabo para conocer la calidad de la implementación, aunque los procesos o los resultados no estén documentados.

Puntaje = 0

Se otorga este puntaje cuando la organización no contempla o no llevó a cabo ningún ejercicio para conocer la calidad de la implementación.

Criterio4.6 Se generó información sobre la recepción de los beneficiarios.

Objetivo

El objetivo este criterio es conocer si la organización contempla o realiza ejercicios frecuentes para conocer el nivel de aceptación de los beneficiarios, es decir llevar a cabo procesos de retroalimentación.


• ¿Se llevaron a cabo o se contempla llevar a cabo estrategias para conocer el nivel de aceptación o la retroalimentación de los participantes?

• ¿Cuentan con algún documento donde se registren los resultados de estos ejercicios o los procesos que se llevarán a cabo?

50


Términos

Retroalimentación - La expresión de opiniones y juicios por parte de los beneficiarios que permite saber las fortalezas y debilidades de la intervención.

Calificación

Puntaje = 2

Para obtener este puntaje se debe cumplir con el siguiente requerimiento:

a) La intervención cuenta con evidencia documentada de los ejercicios realizados para conocer la opinión o retroalimentación de los beneficiarios, ya sea porque los describen en un manual de implementación, porque existe un documento en donde se describa la metodología o porque la intervención cuenta con evidencia de los ejercicios realizados (encuestas a los beneficiarios, testimonios documentados, etc.)

Puntaje = 1

Para obtener este puntaje el entrevistado debe describir de manera puntual los ejer-cicios que la organización lleva a cabo para conocer la opinión o retroalimentación de los beneficiarios, aunque los procesos o los resultados no estén documentados.

Puntaje = 0

Se otorga este puntaje cuando la organización no contempla o no llevó a cabo ningún ejercicio para conocer la opinión o retroalimentación de los beneficiarios.

Criterio4.7 Es posible identificar los elementos esenciales de la intervención, sin los cuales la

intervención no alcanzaría su efecto esperado.

Objetivo

El objetivo este criterio es conocer si la organización distingue cuáles son los com-ponentes, actividades y/o requisitos que son indispensables para que la intervención sea efectiva.


• En su opinión, ¿cuáles son los elementos esenciales de la intervención? Es decir, aquellos sin los cuales la intervención no tendría los resultados esperados.

Calificación

Puntaje = 1

51



a) Se cuenta con un documento en el que se describan los efectos diferenciados de las actividades planteadas.

b) Se distinguen los componentes, actividades o requisitos para que la intervención sea efectiva.

Puntaje = 0

No se cuenta con un documento en los que se describa alguna de las características de los incisos a) o b).

Criterio4.8 La intervención cuenta con información sobre el costo por beneficiario.

Objetivo

El objetivo este criterio es conocer si la organización contempla o ha calculado los costos por beneficiario de la intervención.


• ¿Tienen estimado el costo de la intervención por beneficiario? ¿Cuál es?

• ¿Cuentan con un documento en el que se detallen los costos por beneficiario?

Método de Cálculo

Gastos Totales/Población Atendida

Entre los costos se puede incluir: gastos de operación, mantenimiento y en calidad.

Calificación

Puntaje = 2


a) Se cuenta con una estimación de los costos por beneficiario.

b) Se cuenta con un documento comprobatorio.

Puntaje = 1

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a), pero no se cumple el inciso b), ya que no hay un documento comprobatorio.

52


Puntaje = 0

No se cuenta con ninguno de los incisos a) o b).

Sección V. Resultados

Criterio5.1 La intervención cuenta una metodología para evaluar los resultados de la intervención.

Objetivo

El objetivo este criterio es conocer si la organización contempla, o contempló, una metodología para evaluar sus resultados.


• ¿Cuentan con una metodología documentada para evaluar sus resultados?

Términos

Evaluación - La valoración de conocimientos, actitud y rendimiento de una persona o de un servicio. Asimismo, es el proceso para responder preguntas de evaluación las cuales pueden ser descriptivas, normativas o de causa-efecto.

Calificación

Puntaje = 1


a) Se cuenta una metodología para evaluar los resultados. Una organización puede documentar sus resultados a través de:

- Indicadores de resultados intermedios y finales.

- Con hallazgos de estudios o evaluaciones que no son evaluaciones de impacto.

- Con hallazgos de evaluaciones de impacto.

b) Esta metodología se encuentra documentada por escrito.

Puntaje = 0

Se otorga este puntaje cuando la intervención no tiene los requerimientos de los incisos a) o b), ya sea porque no cuentan con una metodología para evaluar sus resultados o porque ésta no se encuentra documentada.

53


Criterio5.2 Tipo de evaluación de la intervención.

Objetivo

El objetivo este criterio es conocer con qué clase de metodología se contempla eva-luar los resultados de la evaluación. Entre las posibles metodologías se encuentran los métodos experimentales, cuasi-experimentales y pre-post.


• ¿Qué tipo de evaluación utilizan para su intervención?

• ¿Cuentan con un reporte en donde se especifiqué el diseño de la evaluación y la metodología?

Términos

Evaluación de Impacto - Metodología experimental que cuenta con un grupo de tra-tamiento y uno de control que fueron seleccionados de manera aleatoria.

Diseño de regresión discontinua/variables instrumentales - Metodología cuasi-ex-perimental que cuenta con un grupo de tratamiento y una de control en donde se establece un umbral por encima o por debajo de los cuales la intervención es asignada.

Diferencias en Diferencias (DeD)/Pareamiento - Metodología cuasi-experimental que cuenta con un grupo de tratamiento y uno de control. En DeD se comparan los resultados pre y post de ambos grupos. En Pareamiento se comparan los resultados promedio de una unidad del grupo de tratamiento con una unidad del grupo de control que cuentan con características similares.

Comparación antes y después - Puede ser mediante:

a) Se compara la situación de los beneficiarios en al menos dos puntos en el tiempo: antes y después de otorgado el proyecto.

b) Se utilizan indicadores que se refieren a los resultados finales o al propósito de la teoría de cambio.

Calificación

Puntaje = 4

La intervención cuenta con una evaluación que involucra la utilización de la técnica de aleatorización explícita para la definición de los grupos de tratamiento y control, con el caso de los Randomized Control Trials (RCT por sus siglas en inglés) como ejemplo definitivo.

54


Puntaje = 3

La intervención cuenta con una evaluación que involucra el uso de variables instru-mentales o la técnica de regresión discontinua (RDD por sus siglas en inglés).

Puntaje = 2

La intervención cuenta con una evaluación que involucra la técnica de diferencias en diferencias con técnicas de regresión o de diferencias en diferencias de pareamiento por puntaje de propensión.

Puntaje = 1

La intervención cuenta con una evaluación de antes y después. Es decir, se realizó un levantamiento de información previo al inicio de la intervención al grupo beneficiario y posteriormente se realizó un levantamiento de información al final de la intervención. Con esta técnica, la intervención no puede atribuir ningún cambio en la población beneficiara ya que no contó con grupo de control.

Puntaje = 0

No existe una estrategia o metodología de evaluación de resultados.

Criterio5.3 El estudio o evaluación cuenta con un cálculo de tamaño de muestra

Objetivo

El objetivo este criterio es conocer si la organización utilizó métodos estadísticos para calcular el tamaño de la muestra o el número de beneficiarios de la intervención.


• ¿Cómo se decidió el número de beneficiarios en su intervención?

• ¿Utilizaron métodos estadísticos para calcular este número de beneficiarios?

Términos

Tamaño de la muestra - Para poder detectar un efecto significativo en la población, se debe tomar en cuenta: el poder estadístico, el tamaño de efecto mínimo detectable, la varianza de la variable de resultado, las proporciones de asignación experimental, el nivel de aleatorización y la correlación intra-clúster.

55


Calificación

Puntaje = 2

Para obtener este puntaje se debe contar con las siguientes características:

a) Se realizó un cálculo estadístico para determinar el tamaño de la muestra.

b) El tamaño de la muestra fue igual o menor al número calculado.

Puntaje = 1

Para obtener este puntaje se llenar necesariamente el parámetro del inciso a), pero no se cumplió el b), ya que la muestra fue menor a aquella que era necesaria para detectar el efecto de la intervención.

Puntaje = 0

Se otorga cuando no se cuenta con ninguno de los incisos a) o b).

Criterio5.4 La intervención cuenta con una estrategia clara de levantamiento de información.

Objetivo

El objetivo este criterio es conocer la metodología que planea utilizar (o que utilizó) la organización para recabar la información relevante a los resultados intermedios y finales de la intervención, así como conocer si los instrumentos utilizados fueron avalados por expertos académicos.


• ¿Cuenta su intervención con una estrategia de implementación en donde se detalle quién, cuándo y cómo se recolectará la información de los indicadores de resultados?

• ¿Tienen un documento que detalle esta estrategia de implementación?

• ¿Qué instrumentos utilizarán/utilizaron para recabar la información?

Términos

Métodos de recolección de datos - El enfoque sistemático para recolectar y analizar información de una variedad de fuentes para responder preguntas de investigación o de evaluación.

56


Calificación

Puntaje = 2


a) Se cuenta con una metodología de evaluación documentada.

b) La metodología de evaluación especifica qué instrumentos se usarán (o se usaron) para evaluar los resultados, además especifica quién, cómo y cuándo se recolectará esta información.

c) Los instrumentos utilizados para recabar información son congruentes con las preguntas de evaluación y los indicadores de resultados.

d) Los instrumentos utilizados han sido avalados por expertos.

NOTA: En ausencia del documento de metodología, se deberán entregar como documentos compro-batorios los instrumentos de recolección mismos.

Puntaje = 1

Para obtener este puntaje se debe tener necesariamente el parámetro del inciso a), pero no se cumplió el b), c) o d), ya sea porque no se especifican todos los detalles sobre el levantamiento de información, los instrumentos no son congruentes con las preguntas de evaluación/indicadores de resultados o los instrumentos utilizados no han sido avalados o validados por expertos (e.g. fueron creados por la organización sin usar como referencia instrumentos similares o sin validarlos con expertos).

Puntaje = 0

Se otorga cuando no se cuenta con ninguno de los incisos a), b), c) o d).

Criterio5.5 Efecto reportado en los indicadores de resultados.

Objetivo

El objetivo este criterio es conocer cuáles fueron los resultados de la intervención, si éstos fueron positivos o negativos y si fueron estadísticamente significativos.


• ¿Utilizaron algún método estadístico para evaluar los resultados de su intervención?

• Si contestaron "SI": ¿cuál es el efecto reportado de su intervención?

57


Términos

Estadísticamente significativo - En estadística, un resultado o efecto es estadísticamente significativo cuando es improbable que haya sido debido al azar. En estadística, se define como la probabilidad de tomar la decisión de rechazar la hipótesis nula cuando ésta es verdadera (decisión conocida como error de tipo I, o "falso positivo").

Calificación

Puntaje = 2


a) La organización utilizó métodos estadísticos para calcular los efectos de la intervención.

b) Los resultados son estadísticamente significativos, es decir, diferentes a cero.

c) El tamaño del efecto es grande (léase que el efecto es el esperado desde el diseño de la intervención o es grande comparado con los obtenidos en intervenciones similares). Pueden ser negativos o positivos dependiendo del objetivo de la intervención.

Puntaje = 1

Para obtener este puntaje se tiene que llenar necesariamente el parámetro del inciso a) y b), pero no se cumplió el c), ya que los efectos obtenidos son menores a los esperados en el diseño de la intervención.

Puntaje = 0

Para obtener este puntaje se tiene que llenar necesariamente el parámetro del inciso a), pero no se cumplió el b) o c), ya que no se obtuvieron resultados estadísticamen-te significativos por lo que no se puede saber si el resultado fue grande o pequeño. Asimismo, se otorga cuando no se detectó ningún efecto o no se utilizaron métodos estadísticos para calcular los resultados.

Criterio5.6 Efecto reportado en los indicadores de resultados es parecido a los encontrados

en intervenciones similares.

Objetivo

El objetivo este criterio es conocer cómo se comparan los resultados de la intervención con aquellos de intervenciones similares.


• Si evaluaron con un método estadístico sus resultados: ¿cómo se comparan los resultados encontrados con aquellos de otras intervenciones similares?

58


Calificación

Puntaje = 1


a) La organización utilizó métodos estadísticos para calcular los efectos de la intervención.

b) Los resultados son estadísticamente significativos, es decir, diferentes a cero.

c) El tamaño del efecto es similar a los encontrados en otras intervenciones.

Puntaje = 0

Se otorga este puntaje cuando no se cumple alguno de los incisos a), b) o c), ya sea porque no se calculó un efecto de la intervención, no se encontraron efectos estadís-ticamente significativos o no se comparó el efecto con otras intervenciones.

Criterio5.7 Se hizo un seguimiento una vez terminada la intervención para detectar sosteni-

bilidad en el tiempo del efecto detectado.

Objetivo

El objetivo este criterio es conocer cómo y cuánto tiempo se dio seguimiento a los beneficiarios, con el fin de medir su progresión.


• Después de terminada la intervención, ¿se dio seguimiento a los beneficiarios?

• ¿Cómo se realizó este seguimiento?

• ¿Cuánto tiempo pasó desde el final de la intervención hasta este seguimiento?

Calificación

Puntaje = 3


a) La organización realizó un seguimiento a los beneficiarios.

b) La organización cuenta con evidencia de tal seguimiento en un documento por escrito.

c) Entre el momento en el que finaliza la implementación de la intervención y la última actividad de seguimiento de resultados transcurrió más de un año.

59


Puntaje = 2

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a) y b), pero no se cumple con el c), ya que entre el momento en el que finaliza la implementación de la intervención y la última actividad de seguimiento de resultados transcurrieron entre 6 meses y un año.

Puntaje = 1

Para obtener este puntaje se debe llenar necesariamente el parámetro del inciso a) y b), pero no se cumple con el c), ya que entre el momento en el que finaliza la implementación de la intervención y la última actividad de seguimiento de resultados transcurrieron menos de 6 meses.

Puntaje = 0

Se otorga este puntaje cuando no se cumplen los incisos a), b) y c), ya sea porque no se realizó un seguimiento a beneficiarios, no se cuenta con evidencia del seguimiento o no se especifica el tiempo transcurrido entre el final de la intervención y el seguimiento.

60

8. ANEXOS

Como parte de este documento, se encuentra anexo el siguiente formato que deberá ser usado para la implementación de la presente guía:

Escala de Buenas Prácticas

https://bit.ly/2zFcvci

61

Banco Mundial. (2012). La violencia juvenil en México. Banco Mundial, Washington DC. Disponible en: http://documents.worldbank.org/curated/en/277681468155375869/pdf/NonAsciiFileName0.pdf

Daros, W. R. (2017). ¿Qué es un marco teórico?. Enfoques, 14(1 y 2), 73-112.

Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública (2018). Datos Abiertos de Incidencia Delictiva. Secretaría de Gobernación, México. Disponible en: http://secreta-riadoejecutivo.gob.mx/incidencia-delictiva/incidencia-delictiva-datos-abiertos.php

9. BIBLIOGRAFÍA

NOTAS

64


Noviembre, 2018

Documents

Eolece ió Bnódeo Pralmtleo ód Prósódltfid ió Vtflcódlte ... · 2015, cuando los homicidios comenzaron a incrementarse de nueva cuenta en distintas ciudades y regiones del país