MODELOSMODELOS Y TÉCNICAS DE Y TÉCNICAS DE

CURSO DE DIRECTORES/AS DE ACTIVIDADES JUVENILES

MODELOSMODELOS Y TÉCNICAS DE Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTOEVALUACIÓN Y SEGUIMIENTO

Mayte Jiménez

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Hay que reconocer la importancia de un seguimiento yevaluación de buena calidad.

Poder demostrar que un proyecto o actividad ha alcanzado losobjetivos previstos, ayuda a asegurar que los recursos seutilizan de la manera más eficaz, eficiente y apropiadaposible.

¿Por qué son necesarios el seguimiento y la evaluación?

Los contenidos de esta materia, tienen el propósito de brindara quienes tienen poca experiencia, la confianza y lascapacidades necesarias para abordar el ciclo completo delproyecto o actividad, tanto en términos de planificación delmismo, como de las correspondientes actividades deseguimiento y evaluación.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

En primer lugar, veamos una definición de los términosseguimiento y evaluación.

El seguimiento se refiere al examen y acopio de datos, lo queayudará a determinar si se están alcanzando los objetivosfijados. El seguimiento es una parte fundamental de laevaluación y los datos recopilados se integran en el procesogeneral de evaluación.

¿Por qué son necesarios el seguimiento y la evaluación?

general de evaluación.

La evaluación se refiere por lo tanto al acopio sistemático deinformación realizado durante la ejecución, o después, de unproyecto o actividad, a fin de emitir un juicio acerca de laeficacia de los resultados y ofrecer bases para las decisionesrelativas a actividades futuras.

Las actividades de seguimiento y evaluación ayudan adeterminar si un programa ha logrado los resultadosesperados.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

¿Por qué son necesarios el seguimiento y la evaluación?

El seguimiento debe realizarse de manera continua para quese alcancen las metas y los objetivos del proyecto, y parareajustar la programación sobre la base de las leccionesaprendidas hasta el momento.

Las evaluaciones internas son importantes para medir laeficacia, la eficiencia y los avances del proyecto, así como paraestimular entre el personal y los grupos beneficiarios delestimular entre el personal y los grupos beneficiarios delproyecto el sentido de apropiación de éste, (que lo hagansuyo).

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

En la evaluación de la mayor parte de las intervencioneseducativas convendrá utilizar diversas técnicas deinvestigación para evaluar el proyecto en las distintas etapas.Esas etapas son las siguientes:

• la determinación de las metas, objetivos y procedimientosdel programa, comprendida la evaluación inicial de lasnecesidades (evaluación formativa).

Etapas de la evaluación.

necesidades (evaluación formativa).• el proceso de ejecución del programa (evaluación deproceso)• la medición de los resultados y los impactos (evaluación deresultados)

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

¿A qué debe aspirar la evaluación?.

• Diseñar el proceso para obtener la informaciónnecesaria mediante diversos métodos.• Estimular la elaboración de indicadores, puntos dereferencia e iniciativas claros.• Acopiar y analizar datos durante todo el ciclo delproyecto en relación con los objetivos y resultadosdeseados.deseados.• Determinar los fallos, en caso de no habersealcanzado algunos objetivos (o ninguno).• Hacer los ajustes necesarios sobre la base de laexperiencia y de las lecciones aprendidas.• Retroalimentar con información a todos losparticipantes en el programa.• Utilizar los resultados finales para contribuir a laplanificación y ejecución de iniciativas futuras.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Nos dividimos por grupos de 3 o 4 personas yresponderemos a las siguientes preguntas.

�¿Cuál es la finalidad de la evaluación?�¿A quién le sirve?

DINÁMICA DE REFLEXIÓN

¿De qué hay que preocuparse?

�¿A quién le sirve?�¿El diseño de la evaluación respalda la iniciativaque se realiza en el terreno?�¿La investigación genera nuevos conocimientos?�¿Se usa la evaluación como instrumento paraconceder autonomía y capacidad de decisión a laspersonas que sirve?

Después exponemos las conclusiones al gran grupo.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

¿Qué se debe evaluar?.

Los participantes y los receptores

¿Quién evalúa?.

• La ejecución del programa, cómo se desarrolla.

• Las pautas y métodos del personal.

• Los recursos disponibles.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Métodos de evaluación.

Como establecer un modelo de evaluación:

➀➀➀➀ Objetivo: determinar lo que se ha de evaluar.➁➁➁➁ Preguntas: formular preguntas apropiadas parala evaluación.➂➂➂➂ Indicadores: saber qué información acopiar➂➂➂➂ Indicadores: saber qué información acopiarpara responder a esas preguntas➃➃➃➃ Calendario: saber cuándo acopiar los datos➄➄➄➄ Acopio de datos: organizar el acopio de datos –fuentes, métodos, muestra, instrumentos

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Indicadores. ¿Cómo sabrá si se han alcanzado las metas y losobjetivos?

Un indicador es la prueba del fenómeno sobre el que estáhaciendo preguntas, o información que lo representa. Porejemplo:

•Los indicadores le ayudan a evaluar los progresos en cursodel proyecto (indicadores de proceso) y a determinar si sehan logrado o no resultados previstos (indicadores deresultados).resultados).

•Los indicadores definen los datos que se acopiarán y debenestar directamente relacionados con las metas y losobjetivos esenciales del proyecto.

•Pueden ser vistos (observados), oídos (respuestas departicipantes), leídos (archivos de una organización), sentidos(clima de la reunión), tocados u olidos.

Es la prueba que responde a las preguntas.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Los indicadores de proceso se refieren a unaactividad en curso del proyecto y puedenincluir:

• El aumento del número de personas que asisten.• La realización de las actividades del proyecto.

Indicadores de proceso.

• La realización de las actividades del proyecto.• El grado de satisfacción de los participantes.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Entre los ejemplos de indicadores deresultados.

• un mayor conocimiento del desarrollo yfuncionamiento del proyecto, por parte del equipode monitores, de manera grupal e individual.

• una mayor implicación de los monitores en el

Indicadores de resultados.

• una mayor implicación de los monitores en eldesarrollo del proyecto, en todos sus aspectos(planificación, ejecución y evaluación).

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Los indicadores deberán tener las siguientescaracterísticas:

• ser directos• ser específicos• ser útiles• ser prácticos

Indicadores. Características

• ser prácticos• ser adecuados• ser apropiados• ¡no ser demasiado numerosos!

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Calendario, programación y recolección de datos

El acopio de datos puede efectuarse en variosmomentos:

• los datos se examinan durante el ciclo dereflexión.• al comienzo del programa, o actividad específicos.• durante la ejecución.• durante la ejecución.• a mediados de la ejecución del programa.• al final del programa, el evento o la actividad• según un periodo determinado (cada mes, cadatrimestre o anualmente)• después del programa, para determinar losresultados a un plazo más largo.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

DINÁMICA DE DISTENSIÓN

“Arca de Noé”

Cada uno/a de los participantes tieneun trozo de papel en el que está escritoel nombre de un animal.

Deben encontrar animales semejantespara formar un grupo, pero sin hablarni hacer sonidos, solo haciendo mimo.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Investigación cuantitativa

Formularios de acopio de datos. Investigación cuantitativa ycualitativa.

La investigación cuantitativa supone el acopio sistemáticode elementos o datos que se pueden contar y codificarnuméricamente.

¿Qué es la investigación cuantitativa y cuándo debeutilizarse?utilizarse?Los datos cuantitativos son útiles para obtener un panoramageneral de una situación y para efectuar un muestreo de unnúmero relativamente importante de personas.

En una investigación cuantitativa se formulan preguntascomo: “¿cuánto?” o “¿cuántos?”.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Formularios de acopio de datos. Investigación cuantitativa ycualitativa.

Investigación cualitativa

Comprende el análisis de datos no numéricos como el texto de lastranscripciones de entrevistas, u observaciones del investigador, yformula preguntas como “¿qué?”, “¿cómo?” y “¿por qué?”.

Estos métodos se suelen utilizar cuando el investigador deseaahondar en el tema y estudiar respuestas a preguntas que no sonahondar en el tema y estudiar respuestas a preguntas que no sonfáciles de categorizar o que no son previsibles.

Los métodos cualitativos permiten, buscar diferencias entre losindividuos y los grupos. Al reconocer que los seres humanosinteractúan de un modo en que no lo hacen los objetos de lasciencias naturales, los métodos cualitativos suelen estar concebidospara tomar plenamente en cuenta la contribución que aportan a losdatos tanto el participante como el investigador, en su calidad deseres sociales.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Formularios de acopio de datos

Características de la investigación cuantitativa y cualitativa.

Investigación cualitativa Investigación cuantitativa

Preguntas formuladas ¿Quién, qué, cómo, por qué? ¿Cuánto, cuántos?

Tipo de pregunta De respuesta abierta De respuesta cerrada

Interacción Diálogo u observación a través de:película, vídeo, teatro, cartografía,etc.

Preguntas-respuestas

Formulario Semiestructurado o no ControladoFormulario Semiestructurado o noestructurado

Controlado

¿A quién? Muestreo con fines específicos.Se escoge una muestra pequeñapero representativa.

Muestreo formal.Se escogen aleatoriamentecantidades más grandes.Se pueden evaluar lasprobabilidades estadísticas

Nivel En profundidad En superficie y extensivo

Análisis Interpretación Formalización y análisis estadístico

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Investigación cualitativa Investigación cuantitativa

Métodos comunes(deberían utilizarsetécnicasparticipativas enambas categorías)

Entrevistas:• entrevistas individuales enprofundidad• narrativas• incidente crítico : esto es, enrelación con un hechoespecífico en que se explora larespuesta individual o colectiva

Encuesta:• cuestionarios• transversal (situación enun determinado momento)• cohorte (seguir a ungrupo a lo largo deltiempo).Ensayos controlados:

Características de la investigación cuantitativa y cualitativa.

respuesta individual o colectivaal mismo.• grupo de discusiónTexto escrito:• método del diario• de archivoObservación:• observación participante• observación no participanteTécnicas del proyecto:• respuestas a estímulospresentados.• asociación de palabras.• escenificación.

Ensayos controlados:• aleatorios• experimentalesDatos de archivo: (datossecundarios)• análisis más avanzado deestadísticas existentesObservación:• Conteo, por ejemplo, delos que han participadoactivamente en unaactividad.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Técnicas de investigación cualitativa

Entrevistas detalladas.

Pueden realizarse con informadores clave, por ejemplo,personas que han estado estrechamente asociadas al proyectoy tienen una comprensión particular al respecto.

Pueden efectuarse con personal del proyecto, organizacionescopartícipes o participantes en el proyecto.

Grupos de discusión y mesas redondas.

Un grupo de discusión suele reunir de cuatro a ocho personas,generalmente relacionadas por un factor común (por ejemplo,pueden ser todos usuarios o monitores, en función del temacentral del proyecto).

El grupo se utiliza para debatir sobre cuestiones clave que sonesenciales para la evaluación. Puede ser útil recurrir a técnicasque susciten el debate, como fotografías, grabaciones,pinturas, etc.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Técnicas de investigación cualitativa

Observación.Observe, por ejemplo, la dinámica de los grupos. ¿Quién acudea las reuniones? ¿Qué preguntas se plantean? ¿Quiénparticipa? ¿Está bien representada la comunidad?

Examen de expedientes.Examine ejemplos de trabajos que han sido producidos.

Formularios de retroinformación.Formularios de retroinformación.Puede descubrir lo que piensa la gente de los servicios quepresta el proyecto pidiéndoles que rellenen un breveformulario de retroinformación. ¿Qué es lo que les pareció másútil? ¿Cómo mejorarían la actividad?

Talleres de evaluación y reuniones de examen.Son reuniones especiales destinadas a obtener reacciones delos participantes en el proyecto. Pueden utilizarse técnicassimilares a las que se emplean con los grupos de discusión.

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Síntesis: un plan completo de evaluación

IDefinir la evaluación

IIAcopiar información

IIIAnalizar la

información

IVCómo utilizar la

información

Preguntas:• ¿Qué desea saber?Indicadores:•¿Cómo lo obtendrá?

Piense en losiguiente:•FuentesMétodos (cualitativa,cuantitativa,

AnálisisInterpretación

Difundir y compartirlas enseñanzasextraídas (¡tanto las buenas como las malas!)obtendrá?

•¿Quién dirigirá laevaluación? ¡Hágala participativa!

¡Que sea simple!

cuantitativa,participativa)•Calendario•Muestras•Instrumentos

las malas!)¿A quién? ¿Cuándo?¿Cómo?

Mayte Jiménez MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO

Síntesis: un plan completo de evaluación

Asegúrese de que la evaluación sea explícita y sencilla. Concéntrese en“¿qué es lo que necesita saber?”, “¿quién utilizará lainformación?” y “¿para qué?”• Esta es una presentación muy resumida de la evaluación. El propósitoera de qué modo la facilita la elaboración del modelo lógico. Muchosotros recursos disponibles pueden ayudar en cuanto a los aspectostécnicos de la evaluación.• Un modelo lógico es una herramienta que puede proporcionar unmarco coherente para guiar el proceso de evaluación.marco coherente para guiar el proceso de evaluación.

El modelo lógico facilita una evaluación eficaz ya que nos ayudará a:• Determinar qué es lo que se debe evaluar• Definir preguntas apropiadas para su evaluación sobre la base delprograma.• Saber qué información acopiar para responder a las preguntas de suevaluación, los indicadores.• Determinar cuándo recolectar los datos.• Determinar las fuentes de datos, y los métodos e instrumentos deacopio.• Examinar posibilidades de examen y difusión de datos.