Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
Tesis de grado para recibir el título de Pregrado en Ingeniería Industrial
Diseño del instrumento para evaluar los resultados del programa de octavo grado (8º) de la Asociación
Somos CaPAZes Makie Fuse Restrepo [email protected] Asesor: Camilo Enrique Olaya Nieto
2013
2
Tabla de contenido
Introducción ........................................................................................................................ 4
Formulación del problema ............................................................................................. 5 Objetivos ............................................................................................................................... 5 Objetivo general ......................................................................................................................... 5 Objetivos específicos ................................................................................................................. 5
Marco Conceptual .............................................................................................................. 6 Problemáticas sociales ............................................................................................................. 6 Definición de problemas y problemáticas sociales .................................................................. 6 Problemáticas sociales en Colombia ............................................................................................... 6
Desarrollo de competencias ................................................................................................... 7 Definición de Desarrollo de competencias ................................................................................... 7 Evaluación del desarrollo de competencias ................................................................................ 8
Los programas de intervención ............................................................................................ 9 La evaluación de programas sociales .................................................................................. 9 Definición de evaluación ...................................................................................................................... 9 Tipos de evaluación .............................................................................................................................. 10 La evaluación de impacto .................................................................................................................. 12 La evaluación de resultados ............................................................................................................. 12
Diseño de la evaluación .......................................................................................................... 13 Análisis de los datos e instrumentos ................................................................................. 14 Análisis de los datos ............................................................................................................................. 14 Validez del instrumento ..................................................................................................................... 15 Confiabilidad del instrumento ......................................................................................................... 15
Marco Contextual ............................................................................................................ 16 La Asociación Somos CaPAZes ............................................................................................. 16 El programa de octavo ............................................................................................................ 16 Estructura del programa .................................................................................................................... 17
Metodología para el diseño de evaluación ............................................................. 20 Planeación .................................................................................................................................. 20 ¿Cuál es el objetivo de la evaluación y qué aspectos se van a evaluar? ......................... 20 ¿Para quién es la evaluación? ........................................................................................................... 21 ¿Cómo y con qué se va a medir? ...................................................................................................... 21 ¿Quiénes se van a evaluar? ................................................................................................................ 21 ¿Cuándo se va a evaluar? ................................................................................................................... 22 ¿Qué recursos vamos a usar? ........................................................................................................... 22 Síntesis de la etapa de planeación ................................................................................................. 23
Metodología ............................................................................................................................... 23 Herramientas de medición ................................................................................................... 26 Cuestionarios .......................................................................................................................................... 26 Evaluación de los proyectos finales .............................................................................................. 27
Propuesta final de la herramienta de evaluación ............................................... 29 Conclusiones y recomendaciones ............................................................................. 30
Resultados ......................................................................................................................... 31 Glosario .............................................................................................................................. 32
Anexos ................................................................................................................................ 33 Anexo 1. Fases de una evaluación ....................................................................................... 33
3
Anexo 2. Instructivo de la herramienta ............................................................................ 34 Anexo 3. Cuestionario de los estudiantes ........................................................................ 44 Anexo 4. Cuestionario de los CaPAZitadores .................................................................. 49 Anexo 5. Cuestionario de los profesores .......................................................................... 52 Anexo 6. Formato de evaluación de proyectos ............................................................... 54
Bibliografía ....................................................................................................................... 58
4
Introducción La Asociación Somos CaPAZes es una entidad sin ánimo de lucro que desde el 2007 “tiene como objetivo la construcción y el diseño de herramientas y mecanismos que permitan ayudar a construir la paz en Colombia y el resto de países de Latinoamérica” (Somos CaPAZes, 2011). Dentro de su programa para colegios manejan currículos para preescolar, quinto y octavo grado. El presente proyecto se centrará en el programa de octavo grado el cual busca desarrollar técnicas de ayuda de solución de conflictos para que los estudiantes puedan abordar las problemáticas sociales para entenderlas y encontrar posibles soluciones (Somos CaPAZes, 2011). Vale la pena mencionar que desde que se implementó el programa en 2009 se han hecho mediciones en cuanto a diversos temas mas no se ha realizado ninguna medición formal de los resultados de éste en los jóvenes participantes. Ésta es fundamental para la Asociación Somos CaPAZes pues tener resultados de sus programas aporta al mejoramiento continuo de sus prácticas y a su vez contribuye a la consecución de posibles donantes. Teniendo en cuenta lo anterior, el propósito de este proyecto es diseñar el instrumento para evaluar los resultados del programa de octavo grado en los jóvenes. Éstos serán medidos en términos del desarrollo de competencias de los estudiantes para formular proyectos sociales. Dentro del marco de las competencias se consideran los siguientes puntos (Morales, García, Campos, & Astroza, 2013) (De la Orden, 2011):
• Conocimientos: Entender el concepto de problemática social • Actitudes: Reflexión sobre su contexto y problemáticas que los rodean • Procedimientos: Generación de posibles soluciones que sean ejecutables
5
Formulación del problema El programa de octavo grado de la Asociación Somos CaPAZes nace en el 2009 con el propósito de “proveer herramientas a los jóvenes para que puedan contar con diferentes alternativas a escoger para la solución de sus problemáticas sociales” (Somos CaPAZes, 2011). Desde entonces, el programa se ha implementado en varios colegios públicos pero ha habido una falta de iniciativas estructuradas que permitan medir los conocimientos adquiridos y la aplicación de éstos con este tipo de intervención. La importancia de la evaluación radica en que ésta es una herramienta útil para estimar la conveniencia y eficacia de los programas (Baker, 2000). Asimismo, determina si los programas o algunos aspectos de éstos son apropiados, adecuados y efectivos y, si no, cómo hacerlos así (Tirado, s.f). Además de eso, la evaluación es un instrumento que, con base en unos criterios y a través de unas técnicas, permite tomar decisiones para la mejora de gestión y el cumplimiento de objetivos (Análisis y desarrollo social consultores, s.f). En ese orden de ideas, el presente proyecto busca diseñar el instrumento de evaluación para determinar los resultados del programa de octavo grado de la Asociación Somos CaPAZes en los estudiantes para así poder tomar decisiones acerca de posibles modificaciones y crear estrategias de mejora. Por otro lado, los resultados de la evaluación serán útiles para incrementar la conciencia de los colegios acerca de la importancia de los programas de la Asociación como parte del proceso educativo y de desarrollo de los alumnos.
Objetivos
Objetivo general
• Diseñar el instrumento adecuado para evaluar los resultados del programa de formación para la solución de problemáticas sociales en los estudiantes de octavo grado de la Asociación Somos CaPAZes.
Objetivos específicos
• Determinar, con ayuda del correcto método de evaluación, si los estudiantes desarrollan las competencias necesarias para enfrentar una problemática social luego de ser parte del programa de Somos CaPAZes.
• Diseñar un esquema de evaluación consistente del programa de octavo grado para que se pueda implementar en cada intervención.
6
Marco Conceptual
Problemáticas sociales
Definición de problemas y problemáticas sociales A lo largo de la historia definir el término “problema social” ha sido de gran interés de numerosos sociólogos y psicólogos. Sin embargo, y debido a la complejidad del término, no se ha encontrado una definición concreta del concepto (Sánchez, 2002; López E. , 2005). Para el caso del presente trabajo se considera que la definición más adecuada es la de Sullivan y otros (1980) la cual explica que existe un problema social cuando un grupo de influencia es consciente de una condición social que afecta sus valores, y que puede ser remediada mediante una acción colectiva. En este caso el término “problema” no necesariamente implica algo negativo sino una ruptura o desajuste entre lo que se esperaría que sucediera y los que se considera que está sucediendo que puede cambiar para lograr un mejor funcionamiento (Aldana & Reyes, 2004). En cuanto a una “problemática social”, Aldana y Reyes (2004) la definen como una situación emergente dada por las relaciones entre múltiples actores sociales en donde existe un desajuste o ruptura de expectativas. “Esta ruptura puede provenir de consideraciones éticas, estéticas o de eficiencia social o económica” (Aldana & Reyes, 2004). También es importante resaltar la definición propuesta en el currículo de octavo grado de la Asociación Somos CaPAZes (2011) en donde una problemática social es aquella que afecta negativamente a muchas personas, aunque, en muchos casos a otras no, inclusive las beneficia. Para encontrar soluciones a esta clase de problemas se requiere de la participación de varios actores, incluyéndonos a nosotros como ciudadanos y estudiantes. Así pues, se puede afirmar que no hay objetividad al referirse a una problemática social pues lo que para unos puede ser desfavorable para otros es beneficioso (Fuente, 2011). Sin embargo lo que sí queda claro es que para solucionarlas es necesario tener la cooperación de varios actores. Ahora bien, para el presente proyecto se partirá de que las problemáticas sociales presentan las siguientes características (Salas, 2009):
1. No tienen una única respuesta 2. Involucran a varias personas con distintos puntos de vista 3. Requieren de varias soluciones porque constan de muchos sub-‐problemas
Problemáticas sociales en Colombia Teniendo en cuenta la definición de problemáticas sociales anteriormente expuesta, se puede afirmar que existe una gran cantidad de éstas en Colombia. A
7
pesar de que nombrarlas todos sería imposible, a continuación se hará una breve descripción de algunos de ellos con el fin de poner al lector en contexto.
Deserción escolar La deserción escolar la define Colombia Estadística como la situación de los alumnos que dejan de asistir a los cursos regulares de un modo definitivo. Según La Coalición Colombiana por el Derecho a la Educación en un artículo de Colprensa (2013), en Colombia cerca del 50% de los jóvenes dejan la educación secundaria. Esto posiciona al país como uno de los más altos en cuanto al índice de deserción escolar.
Desplazados por la violencia Los desplazados son aquellas personas que tienen que huir de sus hogares debido a la violencia. Este fenómeno mundial se viene dando desde hace algunas décadas en Colombia (Zafra, s.f) y, según un artículo del periódico El Espectador (2013), actualmente Colombia es el país con más desplazados internos en el mundo con una cifra de 5,5 millones.
Desempleo El término desempleo se refiere a las personas que son económicamente activas pero se encuentran buscando trabajo (Arango & Posada, s.f). Hoy en día, a pesar de que el desempleo se encuentra en caída, hay 2’136.000 desempleados en el país (Portafolio.co, 2013).
Contaminación del ambiente La Real Academia Española (RAE) define el verbo contaminar como alterar nocivamente la pureza o las condiciones normales de una cosa o un medio por agentes químicos o físicos. Para el caso de Colombia, la contaminación ambiental se viene dando desde finales del siglo XX y hoy en día afecta los recursos naturales renovables como el agua, la atmósfera, los suelos, los bosques, entre otros (López & Toro, 2011). Vale la pena mencionar que, según un reporte de Caracol, en el 2009 morían seis mil (6000) personas al año por contaminación del aire en el territorio Nacional. Hay que destacar que, de acuerdo al contexto del programa de octavo de Somos CaPAZes, los estudiantes no observan tanto estos tipos de problemáticas sino también: pandillismo, armas blancas, drogadicción y embarazo adolescente pues son las que más afectan el entorno en el que conviven.
Desarrollo de competencias
Definición de Desarrollo de competencias Una competencia se define según Spencer y Spencer (1999) citados por Medina, Domínguez y Sánchez (2013) como “una característica del individuo causalmente relacionada con un estándar de efectividad o un comportamiento superior al realizar un trabajo o enfrentarse a una situación determinada”. Por
8
otro lado, la cita de Monereo (2007) realizada por Morales, García, Campos, & Astroza (2013) “considera que ser competente no es sólo ser hábil en la ejecución de tareas y actividades concretas, escolares o no, tal como han sido enseñadas, sino más allá de ello, ser capaz de afrontar, a partir de habilidades adquiridas, nuevas tareas o retos que supongan ir más allá de lo ya aprendido”. Así pues, el término desarrollo de competencias en el ámbito de la educación supone la combinación y uso integrado de conjuntos de conocimientos y conceptos reflejados en el saber, procedimientos y procesos expresados en el saber hacer y actitudes y reflexiones representadas por el saber ser para lograr un desempeño esperado (De la Orden, 2011) (Morales, García, Campos, & Astroza, 2013).
Figura 1. Estructura de una competencia. Fuente: Jornet et. al (2011) y Morales et. al (2013)
Evaluación del desarrollo de competencias
“La evaluación de las competencias implica generar información relevante y emplear un instrumento privilegiado para gestionar la adquisición integrada del conocimiento y la acción” (Mateo (2007) citado por (Medina, Domínguez, & Sánchez, 2013).
Debido a que el desarrollo de competencias abarca diversos objetos de evaluación, se puede afirmar que la evaluación del desarrollo de competencias en estudiantes es una tarea compleja (De la Orden, 2011) (Jornet, Gonzalez, Suárez, & Peraless, 2011). Para el diseño de ésta se debe tener en cuenta que “requiere de una aproximación conceptual multidimensional, podrá y/o deberá estar basada en múltiples instrumentos (sean cuantitativos o cualitativos)” (Jornet, Gonzalez, Suárez, & Peraless, 2011). Para el caso de las herramientas cuantitativas Medina et al. (2013) sugiere como opción cuestionarios pretest y postest. En cuanto a las cualitativas existen varias opciones. En primer lugar están los grupos de discusión y las narrativas o expresiones escritas (Medina, Domínguez, & Sánchez, 2013). Otra opción son las evaluaciones de desempeño en donde el estudiante debe demostrar prácticamente el procedimiento de la competencia (De la Orden, 2011). La escogencia de las herramientas de medición dependerá de la competencia que se quiera evaluar y de los recursos que se tienen, sin embargo no se debe olvidar que “la meta de una evaluación es obtener inferencias válidas relacionadas con los resultados esperados de los alumnos”(Linn et al. ,2002 citado por De la Orden, 2011).
Conocimientos
• Se reuiere a la comprensión de los antecedentes, evolución y fundamentos teóricos • Datos y conceptos
Actitudes
• Implica la capacidad de combinar la teoría y las habilidades técnicas en una práctica ética y responsable. • Comprensión del contexto político, social, económico y cultural. • Reulexiones
Procedimientos
• Se reuiere al conjunto de habilidades necesarias para realizar de manera apropiada las tareas y actividades implicadas en un ámbito especíuico • Procesos
9
Los programas de intervención Los programas de intervención son proyectos sociales que buscan, a través de procesos y actividades, transformar a los beneficiados disminuyendo o eliminando un déficit o bien sea solucionando un problema (Cohen & Martínez, s.f). Actualmente existe un gran número de éstos con distintos enfoques a nivel mundial, sin embargo no se puede determinar cuál es mejor que otro pues esto depende de factores como los recursos, el contexto y los actores involucrados (Jaramillo, 2009).
La evaluación de programas sociales
Definición de evaluación “Evaluar es emitir juicios de valor, adjudicar valor o mérito a un programa/intervención, basándose en información empírica recogida sistemática y rigurosamente” (Alvira, 2002) La evaluación es un proceso que está implícito en las personas a lo largo de sus vidas. Esto se debe a que constantemente emitimos juicios acerca de acciones con base en creencias, supuestos o referencias propias de nuestro ser con el fin de juzgar la importancia de estas acciones en nuestro diario vivir (Briones, Evaluación de programas sociales, 2002). Formalmente el término evaluación se define como el proceso que compara lo observado con lo esperado (Amezcua & Jiménez, 1996). Así pues, se puede afirmar que la evaluación es una herramienta que permite tomar decisiones acerca de cambios y políticas para cumplir con ciertos objetivos (Análisis y desarrollo social consultores, s.f). Es importante mencionar que una evaluación se compone de elementos básicos como lo son el objeto de evaluación, la estrategia (métodos específicos) y un referente contra el que se compara lo evaluado con los resultados esperados (Virgilio & Solano, 2012). Además también es fundamental saber los momentos de ejecución de la evaluación. (Análisis y desarrollo social consultores, s.f). Con respecto a los propósitos de una evaluación, se puede generalizar que los principales son: 1. Mejorar la efectividad cuantitativa del programa, es decir, el logro de sus objetivos, 2. Mejorar la calidad de los resultados, o sea la efectividad cualitativa del programa, 3. Aumentar la eficiencia 1 interna y externa del programa, 4. Someter a verificación la teoría o hipótesis que relaciona los componentes del programa con los resultados buscados, 5. Modificar la estructura, el funcionamiento y la metodología del programa, 6. Controlar la aparición de posibles prácticas o resultados no deseados (Briones, Evaluación de programas sociales, 2002). Vale la pena señalar que, como bien lo explica Marcela Jaramillo (2009), la evaluación es algo complejo que requiere del uso de métodos rigurosos, discusión y planeación de la metodología así como de un perfecto entendimiento 1 Para el caso del presente proyecto se trata de aumentar la efectividad más que la eficiencia. Mayor detalle de los términos en el Glosario.
10
acerca de los recursos y los intereses. Asimismo, los resultados se deben obtener en el momento preciso, lo cual “obliga a utilizar el procedimiento de recogida de información y análisis más adecuado al tiempo y recursos disponibles, aunque no sea el mejor desde el punto de vista estrictamente cientificista” (Alvira, 2002). A propósito de una evaluación de un programa de intervención social, se debe aclarar que, por su carácter dinámico y abierto, no siempre será posible obtener los resultados esperados (Jaramillo, 2009). Esto se debe a que para éstos es necesario considerar que existen factores externos como lo son la familia, la cultura, la educación, entre otros que no son controlables y afectan el desarrollo y resultados de una intervención social. Finalmente, es importante resaltar que el proceso de evaluación es diferente para cada programa, en otras palabras que no hay una única manera correcta de realizarlo (Kellog 1999 citado en (Tirado, s.f)). Es decir que no se trata de “modelos en sentido estricto sino de diferentes aproximaciones a la metodología de la evaluación, aproximaciones que no son excluyentes sino complementarias o alternativas en la mayor parte de los casos” (Alvira, 2002).
Tipos de evaluación Actualmente existen distintos tipos de evaluación que se adaptan a las características y necesidades de cada programa. Vale la pena decir que, a la hora de implementar una evaluación, generalmente se combinan distintos tipos dependiendo de la finalidad y las características del programa a evaluar. A continuación se mencionarán los tipos más comunes de evaluación según su clasificación.
• Por temporalidad
o Previa o ex –ante: Como su nombre lo indica, este tipo de evaluación se realiza antes de iniciar el programa o proyecto. El propósito de ésta es examinar la lógica y estructura del proyecto o programa de tal forma que se pueda determinar si se debe ejecutar o no o si deben hacerse cambios (Briones, Evaluación de programas sociales, 2002).
o Durante: Se realiza en uno o más momentos mientras se ejecuta el programa o proyecto. Busca principalmente encontrar fallas o problemas que se puedan presentar durante el proyecto que impidan el cumplimiento de los objetivos para así corregirlos o tomar decisiones sobre la continuación o no del programa (Briones, Evaluación de programas sociales, 2002) (Análisis y desarrollo social consultores, s.f).
o Final o ex – post: Se ejecuta al finalizar el programa o proyecto y su objetivo principal es determinar el funcionamiento y desempeño global de éste con respecto a lo esperado. Busca las relaciones entre las variables para dar explicaciones a los resultados (Briones, Evaluación de programas sociales, 2002).
11
o Posterior: Se realiza después de un tiempo de haber concluido el programa o proyecto. Permite estimar la verdadera dimensión de las intervenciones en cuanto a su impacto y su sostenibilidad en el tiempo (Análisis y desarrollo social consultores, s.f).
• Por tipo de evaluadores
o Interna: Este tipo de evaluación la realizan las personas que
administran el programa. La ventaja de este tipo de evaluación es que quienes la realizan conocen y comprenden a fondo el programa (Briones, Evaluación de programas sociales, 2002).
o Externa: Contrario a la evaluación interna, en este caso los evaluadores son personas externas al programa lo cual brinda objetividad. Asimismo, generalmente las personas externas tienen conocimientos experiencia en el campo de la evaluación. Sin embargo implica costos adicionales (Análisis y desarrollo social consultores, s.f).
o Mixta: Consiste en combinar los beneficios de los tipos de evaluación interna y externa (Briones, Evaluación de programas sociales, 2002).
o Participativa: Se puede considerar como parte de la evaluación interna pero en este caso no solo participan los gestores del programa sino también las personas intervenidas. La principal ventaja de este tipo de evaluación es que reduce la brecha entre las personas que evalúan y las que son intervenidas (Análisis y desarrollo social consultores, s.f).
• Por el tipo de instrumentos
o Cualitativos: Este tipo de evaluación considera una recolección de datos derivados de actitudes y percepciones de las personas evaluadas. Generalmente se hace uso de entrevistas y observación (Análisis y desarrollo social consultores, s.f).
o Cuantitativos: Contrario a la toma de datos cualitativa, este tipo de evaluación se enfoca en recolectar datos medibles a partir de encuestas. Su principal ventaja es que los resultados son objetivos y confiables (Análisis y desarrollo social consultores, s.f).
• Por la finalidad o Sumativa: Este tipo de evaluación consiste en juzgar un programa
con la intención de mantenerlo o hacerlo desaparecer (Alvira, 2002).
o Formativa: En este caso se busca “ayudar en la puesta en marcha de un programa, en su buen funcionamiento, en su modificación en caso de ser necesario”. (Alvira, 2002)
A continuación se muestra un breve resumen de los tipos de evaluación.
12
Figura 2. Tipos de evaluación. Fuente: El autor
La evaluación de impacto Una evaluación de impacto es aquella que se encarga de medir cualquier cambio que produzca el programa de intervención en el conocimiento, actitudes, creencias o conductas de la población evaluada (Tirado, s.f) y de determinar si esos cambios son atribuibles a dicho programa (Baker, 2000). Asimismo, permite encontrar resultados positivos o negativos no previstos (Baker, 2000). Ahora bien, como lo aclaran Cohen y Martínez (s.f), el éxito de un proyecto es la medida de su impacto en función de los objetivos formulados. Es decir que el impacto de un programa de intervención es la justificación a su implementación (Cohen & Martínez, s.f). A propósito de las motivaciones para realizar una evaluación de impacto, Jaramillo (2009) menciona algunas como lo son la necesidad de darle un carácter formal al programa, hacer ajustes a los currículos, diseñar planes específicos de capacitación, apoyar la búsqueda de recursos y justificar el ajuste del presupuesto, entre otras. Hay que tener en cuenta que, como lo señala Baker (2000), cada evaluación de impacto que se realice será distinta pues ésta depende de factores no controlables como lo son el tipo de datos disponibles, el presupuesto, la secuencia cronológica, entre otros. Por otro lado, la autora señala que para que una evaluación de impacto sea exitosa es necesario tener los siguientes elementos:
ü El apoyo financiero necesario ü Los recursos disponibles a la mano ü Una planificación rigurosa ü La participación de los interesados en el diseño de la evaluación ü Los datos adecuados ü Una metodología pertinente (cualitativa y cuantitativa) y su correcta
aplicación ü Buena comunicación entre el equipo evaluador durante el proceso
La evaluación de resultados La evaluación de resultados es sinónimo de evaluación de efectividad y busca analizar el grado en el que el programa consigue los resultados buscados sobre los usuarios/beneficiarios del programa de intervención (Alvira, 2002). “Lo
Por temporalidad
• Previa (Ex-‐ante) • Durante • Final (Ex-‐post) • Posterior
Por el tipo de evaluadores
• Interna • Externa • Mixta • Participativa
Por el tipo de instrumentos
• Cualitativos • Cuantitativos
Por la uinalidad
• Sumativa • Formativa
13
normal es que los resultados -‐si se producen-‐ estén previstos en los objetivos. Sin embargo, hay resultados no previstos (positivos y negativos) cuya determinación debe ser una tarea de especial importancia en la evaluación” (Briones, Evaluación de programas sociales, 2002). En general, una evaluación de resultados se refiere a (Briones, Evaluación de programas sociales, 2002):
a) Si el programa produjo o no los cambios buscados b) El nivel o magnitud de los cambios producidos en la población c) La calidad de los cambios producidos d) La aparición de resultados no previstos e) Los efectos derivados del logro de los objetivos del programa
En este punto es importante resaltar que la diferencia entre una evaluación de impacto y una evaluación de resultados es el tipo de población sobre el que se realiza el análisis. En el caso de una evaluación de impacto se consideran los efectos de un programa sobre una población amplia como una comunidad o un pueblo mientras que en una evaluación de resultados se examina únicamente a la población objeto del programa. Sin embargo, la metodología de ambos tipos de evaluación es muy similar (Alvira, 2002).
Diseño de la evaluación Luego de una revisión de la bibliografía existente sobre la evaluación de programas sociales se pudo llegar a la conclusión que no existe una sola manera de diseñarla ni de implementarla (Briones, Evaluación de programas sociales, 2002) (Baker, 2000) (Análisis y desarrollo social consultores, s.f) (Amezcua & Jiménez, 1996) (Cohen & Martínez, s.f) (Virgilio & Solano, 2012) (Jaramillo, 2009) (Navarro, King, Ortegón, & Pacheco, 2006). Sin embargo, sí existen bases sobre las cuales se puede trabajar para lograr la evaluación deseada. En primer lugar, según Navarro y otros (2006), para estimar el impacto o los resultados de un programa se debe poder saber cuál sería la situación de los intervenidos en caso de que no hubieran participado en el programa. Para esto se debe comparar la situación actual de los del grupo de intervención con la de un grupo similar que no hizo parte del programa, es decir construir un escenario contrafactual. Al grupo que no es intervenido se le llama grupo de control. Éste debe ser semejante al grupo de tratamiento en todo aspecto (Baker, 2000). Ahora bien, actualmente existen dos tipos de diseño de evaluación: experimental y cuasi experimental. Éstos se diferencian principalmente en la manera como se asignan los participantes a los grupos evaluados y de control (Navarro, King, Ortegón, & Pacheco, 2006). Los diseños de tipo experimental se caracterizan porque los grupos de control y de intervención son seleccionados aleatoriamente. Esto hace que el proceso de evaluación sea más fácil pues se supone que los grupos son estadísticamente equivalentes (Baker, 2000). Sin embargo, este diseño conlleva muchas dificultades pues la aleatorización de los grupos no siempre es sencilla por cuestiones de ética principalmente (Baker,
14
2000). En cuanto a los diseños de tipo cuasi experimental, se puede decir que son lo contrario a los diseños experimentales, es decir que los grupos se conforman de manera no aleatoria. Lo anterior conlleva a que haya sesgo de selección y menos confiabilidad en los datos (Navarro, King, Ortegón, & Pacheco, 2006) (Baker, 2000). Con respecto a la recolección de datos se puede decir que hay una gran variedad de formas. La escogencia de éstas dependerá básicamente de las necesidades del programa, los recursos disponibles, y de las motivaciones, preocupaciones y competencias de los participantes (Jaramillo, 2009). No obstante, como se mencionó anteriormente, existen técnicas para basarse que pueden ser cualitativas que responden a las preguntas “qué”, “cómo” y “por qué” y/o cuantitativas que responden al “cuánto” (Amezcua & Jiménez, 1996). Un ejemplo de técnicas cuantitativas son las encuestas y de cualitativas son las observaciones. En cuanto a las fases de la evaluación se tomará como base el esquema presentado por Francisco Alvira (2002). Éste representa el esquema participativo de una evaluación en donde se busca “integrar en el propio estudio evaluativo a las partes interesadas en la evaluación de modo que sea más probable la posterior utilización de sus resultados” (Alvira, 2002). El esquema se muestra en el Anexo 1.
Análisis de los datos e instrumentos Los datos e instrumentos en una evaluación deben ser objetivos2, es decir confiables y válidos (Jornet, Gonzalez, Suárez, & Peraless, 2011). Además, como expone Jaramillo (2009):
La evaluación de los programas sociales demanda la recolección y análisis de información válida y fiable relacionada con los sujetos participantes y las actividades que se llevan a cabo. Emitir juicios consistentes depende, en gran medida, de las características de los instrumentos diseñados para la recolección de datos y de las herramientas de análisis utilizadas.
Análisis de los datos El análisis de los datos recolectados en la evaluación es una tarea fundamental que dependerá de los instrumentos utilizados así como del tipo de datos obtenidos. Para la realización de éste se deben tener en cuenta la precisión deseada, el tiempo y los recursos disponibles. Actualmente existen numerosos métodos de análisis de datos que van desde lo más sencillo usando gráficas y diagramas hasta lo más complejo que se ayuda de programas especializados de computador. Jaramillo (2009) propone en sus tesis que:
2 Como lo menciona Jornet et. al (2011), la objetividad en este contexto está representada por la fiabilidad y validez que pueda otorgar el instrumento o técnica de evaluación.
15
En el caso de las variables cualitativas, se puede recurrir al uso de diagramas de frecuencia (absoluta, relativa o porcentaje). En el caso de las variables cuantitativas, se puede hacer uso de distribuciones de frecuencia y parámetros estadísticos como media, mediana, moda o desviación estándar, entre otras.
Validez del instrumento
“La validez es un juicio evaluativo integrado que indica el grado en que la evidencia empírica y la racionalidad teórica confirman la adecuación y propiedad de inferencias y acciones basadas en las puntuaciones de una prueba o de cualquier otro modo de evaluación” (De la Orden, 2011).
De acuerdo con lo anterior, el término validez se usa para referirse a la precisión según la cual lo que se dice en una investigación acerca de las características del objeto estudiado se den, realmente, en ese objeto (Briones, La investigación social y educativa, 1992). Para establecer la validez de un instrumento de evaluación se pueden realizar varios procedimientos. El propuesto por Sierra (2001) afirma que el único procedimiento seguro es comprobar que los resultados obtenidos se ajustan a la realidad. Por otro lado, Hernández et al. (1998) citados por Jaramillo (2009) expone que “se puede hacer uso de investigaciones anteriores relacionadas con el tema, realizar comparaciones con criterios externos previamente establecidos y recurrir a la ayuda de expertos que determinen si los ítems construidos logran medir las dimensiones”.
Confiabilidad del instrumento El término confiabilidad se refiere al grado de confianza o seguridad con el que se pueden aceptar los resultados obtenidos una vez se repite la aplicación del instrumento (Briones, La investigación social y educativa, 1992) (Jaramillo, 2009). Un procedimiento para comprobar la seguridad del instrumento consiste en aplicarlo repetidas veces a las mismas personas, dentro de un breve espacio de tiempo (Sierra, 2001).
16
Marco Contextual
La Asociación Somos CaPAZes Somos CaPAZes es una entidad sin ánimo de lucro que nace en el 2007 con el propósito de construir y diseñar herramientas y mecanismos que permitan ayudar a construir la paz en Colombia y el resto de países que integran la región Latinoamericana (Somos CaPAZes, 2011). Sus programas se enfocan principalmente en niños y jóvenes y actualmente realiza intervenciones con los grados de preescolar, quinto y octavo de diversos colegios tanto públicos como privados. Asimismo, maneja programas para padres de familia, profesores y conductores. Como lo explica uno de sus fundadores, la Asociación brinda a los estudiantes las herramientas necesarias para ser CaPAZes de manejar conflictos y retos en su vida (Salas, 2009). La implementación de los programas se hace a través de jóvenes universitarios y recién egresados llamados “CaPAZitadores” los cuales están formados para dictar talleres en prevención, manejo y resolución constructiva de conflictos (Asociación Somos CaPAZes). La implementación de los talleres se realiza de forma lúdica a través de juegos, canciones, entre otros. Los CaPAZitadores realizan sus acercamientos teniendo en cuenta los siguientes aspectos:
• El contexto político, cultural, económico, social y educativo es distinto en cada país, región o municipio (Somos CaPAZes, 2011).
• Las principales fuentes en la formación de principios y valores del ser humano son la familia y las instituciones educativas (Somos CaPAZes, 2011).
• Se deben tener en cuenta todas las experiencias tanto de los voluntarios como de los estudiantes participantes (Somos CaPAZes, 2011).
El programa de octavo El programa de octavo grado de la Asociación Somos CaPAZes fue creado en el año 2009 por David Salas y está inspirado en las necesidades del contexto. Con respecto a los objetivos del programa, éstos se muestran a continuación:
• Proveer herramientas a los jóvenes para que puedan contar con diferentes alternativas a escoger para la solución de sus problemáticas sociales (Somos CaPAZes, 2011).
• Impulsar la reflexión en los estudiantes acerca de su contexto y sus problemáticas.
• Incentivar a los jóvenes para que sean capaces de reconocer y actuar frente a problemáticas sociales.
17
A propósito del currículo de octavo, hay que hacer notar que es el más reciente de los programas de colegios que realiza Somos CaPAZes. Éste se basa en la Educación Seleccionista la cual consiste en generar condiciones para que los estudiantes puedan realizar el constreñimiento de hipótesis exaptativas de manera reflexiva 3 (Salas, 2009). Es fundamental que para la correcta implementación de esta metodología se den los siguientes aspectos (Salas, 2009):
1. Entorno libre para la expresión de los estudiantes. 2. Conversaciones de cuestionamiento y auto-‐cuestionamiento en pequeños
grupos y con todos los estudiantes sin imponer puntos de vista. 3. Tiempo y oportunidades para la reflexión individual 4. Conocimiento más allá de los estudiantes
Estructura del programa El programa de octavo grado de la Asociación Somos CaPAZes está diseñado para adolescentes entre los trece (13) y los quince (15) años. La implementación de éste se da en cuatro (4) etapas las cuales están divididas en unidades. Hay un total de once (11) unidades y cada una de éstas se entiende como una sesión de “clase” de aproximadamente una hora y media. En cada unidad hay una serie de preguntas de enfoque que se deben responder a lo largo de la sesión (ver Tabla). Etapa Unidad Nombre
Preguntas para resolver asociadas a la unidad Plan de actividades
uno
1 Somos CaPAZes en Breve
¿Qué es Somos CaPAZes? ¿Qué es la Caja CaPAZ? ¿Que son los Acuerdos Comunitarios? ¿Por qué son importantes?
1. Presentación inicial. 2. Rompehielo: nombres 3. Presentación del programa. 4. Caja CaPAZ. 5. Acuerdos comunitarios. 6. Cierre.
2 Las problemáticas sociales
¿Cuáles son las características de las problemáticas sociales? ¿Cuáles son las problemáticas sociales a nuestro alrededor?
1. Rompehielo: nombres 2. Presentación y recapitulación. 3. Problemáticas sociales en nuestro entorno. 4. Algunos ejemplos de problemáticas. 5. Cierre.
3 A manera de explicación , esto significa que se quieren generar condiciones para que los estudiantes generen competencias a partir de actividades reflexivas.
18
3
Mi problemática social
Planteamiento de proyecto ¿Cuáles problemáticas sociales nos interesa afrontar? ¿Cuáles son nuestros objetivos? ¿Cómo puedo manejar mi problemática social?
1. Rompehielo: Mi gran orgullo. 2. Recapitulación y presentación. 3. Planteamiento del proyecto. 4. Inicio del proyecto. 5. Cierre.
dos
4 Toma de Perspectivas
¿Una problemática puede ser abordada de diferentes maneras? ¿Qué otros puntos de vista hay para resolver o describir mi problemática?
1. Recapitulación y presentación. 2. Retos en las problemáticas sociales. 3. Necesitamos salirnos de la costumbre. 4. Nueva escuela: juego de roles. 5. Cierre.
5 Creatividad
¿Cómo puedo salirme de la costumbre para resolver mi problemática social? ¿Qué beneficios podrían traer mis nuevas ideas? ¿Qué obstáculos se presentan para aplicar mis nuevas ideas?
1. Rompehielo. 2. Recapitulación y presentación. 3. “Ideas Nuevas”. 4. Cierre.
6 Liderazgo ¿Qué es ser un líder? ¿Qué cualidades identifican a un líder? ¿Qué obstáculos hay para un líder? ¿Qué ventajas tienen los lideres? ¿Cómo se relacionan la confianza y la responsabilidad?
1. Rompehielo: semejanzas sorprendentes. 2. Recapitulación y presentación. 3. Confiando en el líder. 4. Cierre.
7 Retroalimentación del Proyecto
¿Qué avances hay sobre mi proyecto? ¿Qué inquietudes hay sobre mi problemática? ¿Cómo puedo mejorar mi proyecto?
1. Rompehielo: Levantémonos. 2. Recapitulación y presentación. 2. Retroalimentación del proyecto. 4. Cierre.
19
8 Toma de decisiones
Nuestras decisiones tienen consecuencias: ¿Qué tipo de consecuencias han tenido las decisiones de otras personas? ¿Qué decisiones debo tomar para enfrentar mi problemática social?
1. Rompehielo: ideas al tablero. 2. Recapitulación y presentación. 3. Decisiones y consecuencias. 4. Cierre.
tres
9 Socialización y Debate I
Presentación de proyectos ¿Son viables las propuestas para resolver las problemáticas? ¿Qué otras propuestas tengo para las problemáticas trabajadas?
1. Presentación de la unidad. 2. Presentación de los proyectos y debate. 3. Cierre.
10 Socialización y Debate II
Presentación de proyectos ¿Son viables las propuestas para resolver las problemáticas? ¿Que otras propuestas tengo para las problemáticas trabajadas?
1. Presentación de la unidad. 2. Presentación de los proyectos y debate. 3. Cierre.
11 Evaluación y cierre del programa
¿Qué enseñanza nos dejó el programa? ¿Cómo aplico lo aprendido a mi vida cotidiana? ¿Qué aprendimos de los capazitadores? ¿Qué aprendimos de nuestros compañeros? ¿Qué papel debo tomar frente a una problemática social?
1. Recapitulación general del programa. 2. ¿Qué tengo en la cabeza? 3. Cuestionario CaPAZ. 4. Cierre.
Tabla 1. Guía de actividades del programa de octavo grado. Fuente: Somos CaPAZes
20
Metodología para el diseño de evaluación Para el diseño de la evaluación del programa de octavo de Somos CaPAZes se tomaron como base las fases presentadas en el esquema del Anexo 1. Por otro lado, se tuvo en cuenta la estructura del currículo de octavo grado del programa de Somos CaPAZes con el fin de aprovechar al máximo los espacios ya existentes para realizar la evaluación.
Planeación El primer paso de toda evaluación es la planificación pues es en ésta donde se seleccionan los objetivos así como los procedimientos y programas para lograrlos (Amezcua & Jiménez, 1996). En este caso, para la planeación de la evaluación del programa de octavo se realizaron una serie de reuniones con miembros de la Asociación Somos CaPAZes con el fin de tener alineados los objetivos, metodologías y recursos. Asimismo hubo reuniones con Felipe Correa, Director Pedagógico de Off Bound Adventures (OBA) y experto en el tema de evaluación de programas. Con respecto a la metodología de evaluación se tuvo en cuenta que ésta debía ser, además de adecuada para el objetivo, sencilla y práctica pues la idea es poder aplicarla después de cada intervención. Así pues, se tomó como base los modelos de E. Schuman y Stufflebeam junto con la evaluación de aprendizaje de la American Camp Association Youth Outcomes Battery y del ACA/ICC International Camp Outcomes Project. Ésta última fue realizada por Philiber Research Associates (PRA) con apoyo de Lilly Endowment Inc. con el fin de desarrollar una herramienta de evaluación capaz de medir el Desarrollo Juvenil Positivo, la Conciencia Ambiental, la Conciencia Social y Cultural y el Aprendizaje Enriquecido de los jóvenes durante experiencias al aire libre como excursiones y campos de verano (American Camp Association, 2005). Continuando con las fases de una evaluación, se propuso responder las preguntas a continuación. Estas preguntas fueron diseñadas con la colaboración de David Salas, presidente de Somos CaPAZes.
¿Cuál es el objetivo de la evaluación y qué aspectos se van a evaluar? El objetivo principal de la evaluación es medir los resultados en el desarrollo de competencias para formular proyectos sociales en los estudiantes de octavo intervenidos por el programa de Somos CaPAZes. Dentro del marco de las competencias se consideran los siguientes puntos (De la Orden, 2011) (Morales, García, Campos, & Astroza, 2013):
• Conocimientos: Entender el concepto de problemática social • Actitudes: Reflexión sobre su contexto y problemáticas que los rodean • Procedimientos: Generación de posibles soluciones que sean ejecutables
21
Aspectos a evaluar :
• Conocimientos: Los estudiantes entienden y reconocen qué es una problemática social.
• Actitudes: Los estudiantes reflexionan sobre su entorno y las problemáticas que los rodean.
• Procedimientos: Los estudiantes son CaPAZes de generar soluciones tecnológicamente posibles y operacionalmente viables a las problemáticas sociales.
¿Para quién es la evaluación? Los resultados de la evaluación serán útiles para diversos actores. En primer lugar está el Comité de Educación de la Asociación Somos CaPAZes pues ellos son los que se encargan de realizar el proceso de diseño, evaluación e implementación de currículos. Asimismo están los colegios intervenidos debido a que son los que se encuentran beneficiados por el programa. Por otro lado, los resultados obtenidos también sirven como estrategia para futuras presentaciones del programa a entidades educativas, gubernamentales así como posibles donantes.
¿Cómo y con qué se va a medir? Una característica fundamental de la evaluación es que debe ser sencilla, clara y de fácil implementación. Debido a esto se llegó al acuerdo que se hará una medición del desarrollo de competencias a partir de:
• Un cuestionario a estudiantes y grupo de control antes y después del programa
• Un cuestionario a CaPAZitadores durante4 y después del programa • Un cuestionario a profesores (opcional) antes y después del programa • Un cuestionario a los estudiantes y grupo de control tres (3) meses
después del programa. • Una evaluación realizada por un experto invitado del número de
soluciones propuestas y la calidad5 de éstas en los proyectos finales hecha por unos evaluadores invitados
Es decir que se hará uso tanto de evaluadores internos como externos. Asimismo se usarán métodos cualitativos (evaluación de los invitados) y cuantitativos (cuestionarios).
¿Quiénes se van a evaluar?
4 El cuestionario de los CaPAZitadores en la fase intermedia del programa no hace parte de este proyecto. 5 La palabra calidad hace referencia a que las soluciones sean tecnológicamente posibles y operacionalmente viables.
22
La evaluación está diseñada para evaluar a todos los estudiantes de octavo grado de los colegios intervenidos por Somos CaPAZes. Vale la pena mencionar que habrá un grupo de control en cada caso. Este grupo estará conformado por alumnos de octavo grado del mismo colegio que no son intervenidos. Los grupos se hacen de forma no aleatoria. La idea del grupo de control es que permita hacer un comparación con el grupo de estudiantes que hicieron parte del programa para determinar si éste logra desarrollar la competencia para formular proyectos sociales en ellos. Se compararán los conocimientos, procedimientos y actitudes respectivas al desarrollo de la competencia “formulación de proyectos sociales”.
¿Cuándo se va a evaluar? Como se mencionó anteriormente, las evaluaciones se implementarán antes de iniciar el programa, al final y después de tres meses. Es decir que se tratará de una evaluación ex – ante, ex – post y posterior.
¿Qué recursos vamos a usar? Luego de discutir acerca de los recursos disponibles para la evaluación, se llegó a la conclusión que se hará uso de los estudiantes, profesores (en algunos casos), CaPAZitadores y de evaluadores invitados. Los CaPAZitadores se encargarán de las evaluaciones de tipo cuantitativo (cuestionarios) mientras que los evaluadores invitados harán la parte cualitativa (evaluación de proyectos finales). En la siguiente figura se mostrará gráficamente un esquema del resultado de la etapa de planeación en cuanto a los momentos de evaluación y las herramientas. Es importante destacar que las encuestas intermedias de gestión de los CaPAZitadores no hacen parte de este proyecto, sin embargo queda pendiente para Somos CaPAZes. Asimismo se tuvo en cuenta que hay un presupuesto económico para implementar la evaluación.
Figura 3. Esquema de evaluaciones. Fuente: El autor
Evaluación Ex -‐ante Cuestionario
estudiantes y grupo de control Cuestionario (opcional) a profesores
Evaluación intermedia
Cuestionario a CaPAZitadores
Evaluación Ex -‐ post Cuestionario
estudiantes y grupo de control Cuestionario CaPAZitadores Presentación proyectos a evauadores invitados Cuestionario (opcional) a profesores
Posterior (+ 3 meses) Cuestionario
estudiantes
23
Síntesis de la etapa de planeación
Figura 4. Síntesis de la evaluación. Fuente: El autor
Metodología Para la escogencia de la metodología de evaluación se tuvieron en cuenta distintas aproximaciones ya existentes que no son excluyentes sino complementarias en la mayoría de los casos (Alvira, 2002). En primer lugar está la de Tyler. Ésta se centra en la evaluación mediante objetivos, sin embargo presenta problemas pues requiere de objetivos delimitados y medibles y no dice nada sobre cómo se logran (Alvira, 2002). Por otro lado, R. Stake busca acomodarse a las necesidades del cliente, es decir los interesados en la evaluación. Esto lo hace con procedimientos descriptivos previos a la emisión de juicios (evaluación como tal) (Alvira, 2002). En cuanto a E. Schuman y Stufflebeam, ambos plantean ampliar los objetivos de evaluación de modo que ésta sea global6. Asimismo consideran distintos tipos de evaluación entre los cuales se encuentra la evaluación de resultados/producto. No obstante Schuman sigue un modelo cientificista mientras que Stufflebeam se orienta a la toma de decisiones y se considera como una alternativa complementaria (Alvira, 2002). Por último, Scriven se basa en las necesidades de los usuarios centrándose en las consecuencias que produce la intervención (Alvira, 2002).
Figura 5. Principales características de las aproximaciones a la metodología de evaluación. Fuente: Alvira 2002
6 El término global, en este caso, se refiere a sistemática y totalizadora
Tipo de evaluación
• De resultados • Mixta: Cualitativa y cuantitativa
• Ex-‐ante, ex-‐post y posterior
• Interna, externa y participativa
• Formativa
Herramientas de evaluación • Cuestionarios • Evaluación de los proyectos uinales
Recursos
• CaPAZitadores • Evalauadores invitados
• Estudiantes evaluados
• Profesores (extra)
• Grupo de control
Tyler
• Centrado en evaluación mediante objetivos • Problema: no dice nada sobre cómo se logran
R. Stake
• Se acomoda a las necesidades de los "clientes" • Procedimientos descriptivos y de juicios de valor
E. Shuman
• Amplía objetivos de evaluación • Evaluación de resultados
Stufulebeam
• Amplía objetivos de evaluación • Orientado a toma de decisiones
Scriven
• Centrado en consecuancias • Evaluación de necesidades de los usuarios
24
Ahora bien, al analizar cada una de las aproximaciones se llegó a la conclusión que las más adecuadas para el presente proyecto eran las de E. Schuman y Stufflebeam. Esto se debe a que se ajustan a lo que se quiere para el presente proyecto en cuanto al desarrollo, objetivos y tipo de evaluación. Como bien lo explica Alvira (2002):
De hecho, lo que hacen tanto SCHUMAN como STUFFLEBEAM es ampliar los objetivos de la evaluación de modo que sea mucho más sistemática y global. No solo hay que conocer si los objetivos se consiguen (evaluación de resultados o de producto), sino también: • Cuáles son las necesidades; • Si éstas están plenamente recogidas en los programas/servicios; • Cómo funcionan estos programas/servicios, etc.
También se complementará con la metodología mencionada anteriormente basada en la de la American Camp Association (ACA). Ésta nace en el 2005 con el fin de medir los resultados en los jóvenes luego de un campo de verano. Las razones por las cuales se decidió usar esta metodología para el proyecto son varias. En primer lugar se tuvo en cuenta que en los dos casos (campo de verano y programa de octavo) se trataba de intervenciones con jóvenes de hasta 16 años. Además los campos de verano buscan, al igual que el programa de octavo, promover un desarrollo positivo en los jóvenes para que sean líderes del cambio en su entorno. Más específicamente, los campos de verano buscan fomentar el desarrollo de competencias de liderazgo y sociales y el programa de octavo quiere lograr el desarrollo de competencias para formular proyectos sociales. Por otro lado, las evaluaciones de resultados de los campos de verano se realizan luego de cada ejecución de éste. Lo mismo se quiere para el programa de Somos CaPAZes. Otro punto importante es que los dos programas implican que los estudiantes/campers trabajen en grupo y reflexionen individualmente. Es por esto que se concluyó que la metodología era adecuada para basarse en la construcción de la herramienta del programa de octavo de Somos CaPAZes.
25
Figura 6. Comparación entre el programa y un campo de verano. Fuente: El autor
En relación con la ejecución de la metodología, ésta consiste en realizar tres (3) cuestionarios en momentos distintos de la intervención: antes, después y seis (6) meses después. Vale la pena aclarar que a esta metodología se le harán unas modificaciones para adecuarlo al programa de octavo grado. La primera modificación será implementar un grupo de control en la evaluación con el fin de saber cuál sería la situación de los jóvenes evaluados en caso de no haber recibido el programa. Además, se le modificará el componente cualitativo puesto que en vez de ser los instructores los que observan, serán los evaluadores invitados a los proyectos finales. También se le hará una modificación al último cuestionario pues este será tres (3) y no seis (6) meses después debido a que se considera7 que tres (3) meses es un tiempo suficiente para realizar el monitoreo. A continuación se muestra un cuadro comparativo de la metodología de la ACA y la propuesta en el presente proyecto.
Figura 7. Cuadro comparativo de metodologías. Fuente: El autor
7 Se llegó a esa conclusión luego de una reunión con miembros de la Asociación Somos CaPAZes.
Programa de octavo de Somos CaPAZes • Involucra jóvenes de 13 a 16 años • Busca que los jóvenes se vuelvan líderes como agentes del cambio en su entorno • Evaluación de resultados después de cada implementación • Hay trabajo en grupo y reulexión individual
Campos de verano • Involucra niños y jóvenes hasta los 16 años • Busca un desarrollo positivo en los campers para que sean líderes • Evaluación de resultados después de cada ejecución del campo • Hay trabajo en equipo y reulexión individual
ACA
Encuestas las realizan los jóvenes intervenidos, sus padres y sus
instructores
No hay grupo de control
Las encuestas se realizan antes, después y luego de 6 meses
Somos CaPAZes (8°)
Encuestas las realizan los jóvenes intervenidos, el grupo de control, sus profesores (extra) y los CaPAZitadores
Hay un grupo de control
Las encuestas se realizan antes, después y luego de 3 meses
26
Herramientas de medición Las herramientas de evaluación fueron pensadas de forma que “cualquier estándar de calidad de una competencia se obligará a estar informado por la diversidad de instrumentos y evidencias que satisfagan las necesidades de su evaluación” (Jornet, Gonzalez, Suárez, & Peraless, 2011). Además, teniendo en cuenta la teoría previamente expuesta sobre la evaluación del desarrollo de competencias y los espacios disponibles en el currículo de octavo, se decidió usar como instrumento cuantitativo los cuestionarios y como cualitativo la evaluación de desempeño. Asimismo se buscó evaluar a los estudiantes de forma individual y grupal. Para la validación de los instrumentos se revisaron diversas fuentes bibliográficas (De la Orden, 2011) (Jornet, Gonzalez, Suárez, & Peraless, 2011) (Medina, Domínguez, & Sánchez, 2013) (Jaramillo, 2009) y se tuvieron reuniones con Felipe Correa, experto en el tema de evaluación, Ana María Castaño, coordinadora de educación de Somos CaPAZes, Marcela Jaramillo, docente de la Universidad de Los Andes y con el presidente de Somos CaPAZes David Salas.
Cuestionarios Para la construcción de los cuestionarios se realizaron múltiples preguntas acordes a los aspectos a evaluar para que sean valoradas por expertos8 con el fin de tener múltiples opiniones y así llegar a un consenso (Astigarraga, s.f). Seguido a esto se escogieron las mejores preguntas para los cuestionarios. Las opciones de respuesta para cada pregunta de los cuestionarios están divididas en afirmación (sí), punto medio (más o menos) y negación (no) o simplemente en afirmación y negación. A cada una de las opciones se le asignó un valor numérico con el fin de hacer un análisis estadístico de los datos.
Escala Valor asignado No 1
Más o menos 3 Sí 5
Tabla 2. Escala de los cuestionarios y valores numéricos. Fuente: El autor
Con respecto a la formulación de preguntas, ésta se construyeron teniendo en cuenta las reglas propuestas por Bowley (Sierra, 2001). Principalmente las siguientes:
• Las preguntas han de ser relativamente pocas. • Las preguntas han de ser sencillas y redactadas de tal forma que puedan
comprenderse con facilidad por las personas a las que van destinadas.
8 Los expertos escogidos para la valoración fueron: David Salas (Presidente de Somos CaPAZes), Felipe Correa (director pedagógico de OBA), Marcela Jaramillo (docente de la Universidad de Los Andes) y Ana María Castaño (coordinadora de educación de Somos CaPAZes).
27
• Las preguntas habrán de estar hechas en forma que contesten, directa o inequívocamente al punto de información deseado.
Con los cuestionarios se buscó medir los aspectos de conocimientos y actitudes dentro del desarrollo de competencias.
Cuestionarios de los estudiantes Los cuestionarios de los estudiantes son anónimos y confidenciales (es opcional poner el nombre). El cuestionario pre y el post son iguales tanto para el grupo que participa en el programa como para el grupo de control de manera que se puedan ver los cambios más precisamente. Esto se concluyó después de varias reuniones con el presidente de Somos CaPAZes. Los cuestionarios constan de dos partes. La primera indaga sobre el concepto de problemáticas sociales y la motivación para el cambio y la segunda busca evidenciar la reflexión del entorno de los estudiantes.
Cuestionarios de los CaPAZitadores Para el cuestionario de los CaPAZitadores se buscó que no solo dieran su opinión sobre el progreso de los estudiantes sino también del programa de Somos CaPAZes en general. Se supuso que los CaPAZitadores son los mismos durante toda la implementación del programa.
Cuestionarios de los profesores (extra) El cuestionario de los profesores es una herramienta extra9 que se diseñó teniendo en cuenta que los profesores conocen a los estudiantes desde antes de iniciar el programa y están presentes durante éste para observar cambios. Las preguntas a los profesores indagan acerca de la situación de los estudiantes con respecto al tema problemáticas sociales en cuanto a conceptos y motivación para el cambio.
Evaluación de los proyectos finales Para la evaluación cualitativa del programa se propone hacer uso de los proyectos que presentan los jóvenes intervenidos al final del programa. El propósito de estos proyectos es que los estudiantes entiendan y trabajen sobre una problemática social y al final del programa presenten las posibles soluciones que proponen para ésta. En ese orden de ideas, los evaluadores invitados van a juzgar los proyectos teniendo en cuenta que los estudiantes entiendan la situación problemática, reflexionen acerca de ésta y, seguido a esto, según el número de soluciones propuestas y la calidad de éstas. De esta manera se estará evaluando completamente el desarrollo de competencias para la formulación de proyectos
9 Su implementación es opcional pues depende de la participación de los profesores durante el programa y de sus conocimientos acerca de los estudiantes.
28
sociales pues se incluyen los conocimientos, actitudes y procedimientos. Esta evaluación se basa en el “diseño idealizado” descrito por Aldana y Reyes (2004). A continuación se presentan los puntos clave para la evaluación de proyectos sociales que los autores proponen.
Comprensión de la situación problemática escogida Antes de determinar la calidad de las soluciones es necesario cerciorarse que existe un completo entendimiento y reflexión de la problemática tratada por parte de los estudiantes. Para esto se tendrán en cuenta los siguientes puntos que están basados en el texto de Aldana y Reyes (2004):
• Hay una definición precisa del problema central que se desea resolver • Se describen los actores sociales relevantes y sus posiciones • Hay una descripción de las personas que serían afectadas por las
soluciones • Se entienden los nudos críticos del problema : causas y sub-‐causas • Hay puntos prácticos de acción
Número y calidad de soluciones Para este criterio se tendrán en cuenta la cantidad de soluciones encontradas y también que éstas sean ejecutables, susceptibles a mejorar, tecnológicamente posibles y operacionalmente viables. A este tipo de soluciones se les llama proactivas y su principal característica es que se enfocan en la construcción de un futuro deseado (Aldana & Reyes, 2004). Lo principal a evaluar en cada solución según Aldana y Reyes (2004) debe ser:
• Se define el destino final al que se quiere llegar (situación ideal) • La solución induce a un cambio cultural • La solución tiene una visión a largo plazo • Se exhiben las propiedades deseables de la situación y NO se eliminan
las no deseables • La solución es tecnológicamente posible. Esto significa que la
tecnología necesaria esté disponible en el corto plazo y que se pueda realizar.
• La solución es operacionalmente viable. O sea que la solución pueda sobrevivir una vez se ponga en práctica y que sirva.
• La solución es susceptible a mejorar. Es decir que se pueda adaptar a posibles cambios en el entorno o que se pueda modificar el entorno para mejorar el diseño.
29
Propuesta final de la herramienta de evaluación El resultado del presente proyecto es la herramienta de evaluación para el programa de octavo de la Asociación Somos CaPAZes. Sus componentes son:
• El instructivo de la herramienta con la reestructuración de la guía de actividades del currículo de octavo teniendo en cuenta las sesiones en donde se realizarán los cuestionarios y evaluaciones (Anexo 2)
• Los cuestionarios a realizar en cada momento de la evaluación (Anexos 3,4 y 5)
• El formato de evaluación de proyectos para los evaluadores invitados (Anexo 6)
• Un archivo de Excel con el modelo de análisis de los cuestionarios en donde se pondrán los resultados y se obtendrán las estadísticas.
• El modelo de informe de resultados Como se mencionó anteriormente, la idea de este instrumento es que se pueda implementar antes, durante y después de cada intervención. De esta manera Somos CaPAZes tendrá la oportunidad de hacerle un seguimiento riguroso y continuo al programa de octavo para poder medir los efectos pedagógicos que el programa tiene en los estudiantes y así crear estrategias que conlleven a mejorar los efectos deseados.
30
Conclusiones y recomendaciones El instrumento de evaluación de resultados diseñado en este proyecto sirve como punto de partida a Somos CaPAZes “para fortalecer sus sistemas de evaluación de tal forma que les brinde, por un lado, información necesaria para la toma de decisiones a nivel interno, y por otro lado, la credibilidad y la validez externa necesaria para su desarrollo y expansión futura” (Jaramillo, 2009). Ahora bien, debido a que la herramienta no fue puesta en práctica se puede decir que la efectividad de ésta es muy relativa pues depende de factores dinámicos y externos como lo son el comportamiento y el interés de los estudiantes para responder los cuestionarios a consciencia y la dedicación por parte de los CaPAZitadores a la hora de implementar el programa. Asimismo, se debe destacar que los resultados de esta evaluación son del desarrollo de competencias bajo un contexto específico y controlado. Esto quiere decir que en una situación de la vida real en ambientes de presión no se sabe cómo reaccionarían los estudiantes. Sin embargo, bajo las condiciones ideales, se espera que el instrumento sea apropiado, válido y confiable para medir los resultados esperados del programa. Para el caso de los resultados no previstos sería necesario diseñar otro instrumento. El presente proyecto difiere de las herramientas de evaluación previamente realizadas para Somos CaPAZes, principalmente la de Marcela Jaramillo (2009), en la sencillez y practicidad de aplicación y en su carácter dinámico10. Debido a esto se recomienda implementarla luego de cada intervención. Además, gracias a las características anteriormente mencionadas, también se podría pensar en adaptar esta evaluación para los demás programas de la Asociación. Por otro lado, se pretende que esta evaluación de resultados sea útil para la organización en el largo plazo de forma tal que haya un informe de resultados por cada institución en la que se realice el programa. A manera de propuesta se sugiere que el programa sea implementado en el grado décimo y no octavo pues se considera que tanto el programa en general como el instrumento de evaluación requieren de unos grados más de conocimiento y de capacidad de análisis. Además, se recomienda incentivar a los estudiantes con programas motivadores como por ejemplo el de la Red Colombiana de jóvenes-‐RECOJO, en alianza con The Walt Disney Company (Latin America) y YSA (Youth Service America) en donde se otorgarán becas de U$1.000 a niños(as) o jóvenes cuyos proyectos de
10 En este caso, dinámico se refiere a que se debe ir cambiando conforme se va a aplicando de acuerdo a las necesidades del contexto.
31
servicio voluntario demuestren compromiso de crear un impacto positivo en su comunidad (Youth Service America).
Resultados Luego de presentar este proyecto al presidente de Somos CaPAZes, se tuvo como resultado que efectivamente el programa será implementado en el grado décimo y no en octavo. Además, la evaluación será la base para las evaluaciones de los demás programas de colegios que maneja la Asociación.
32
Glosario
• Constreñimiento: Presión de selección (Salas, 2009).
• Eficacia: Capaciadad de lograr la consecución de metas y objetivos no necesarimenta haciendo el mejor uso de los recursos.
• Eficiencia: Uso correcto de los recursos para lograr un obejtivo. Se busca
usar los mínimos recursos para el logro de las metas.
• Educación Seleccionista: “conjetura educativa que propone apoyar a los estudiantes para que ellos mismos aumenten su capacidad para generar mayor grado de afinidad para resolver problemas, constriñiendo crítica y autónomamente hipótesis con mayor poder exaptativo” (Salas, 2009).
• Escenario contrafactual: método o enfoque en donde se estima lo que
habría sucedido de no haber realizada una intervención (EuropeAid Co-‐operation office, 2006).
• Hipótesis Exaptativas: “Unidades objeto de selección que son adaptadas
para resolver más de un problema” (Salas, 2009).
• Proyecto social: Es la unidad mínima de asignación de recursos, que a través de un conjunto integrado de procesos y actividades pretende transformar una parcela de la realidad, disminuyendo o eliminando un déficit, o solucionando un problema (Cohen & Martínez, s.f).
33
Anexos
Anexo 1. Fases de una evaluación
Anexo 1. Fases de una evaluación
34
Anexo 2. Instructivo de la herramienta
Instructivo para la implementación de la evaluación de resultados
de Participación y Cambio Social para jóvenes de 8º grado de bachillerato
Bogotá D.C. 2013
35
Actividades lúdicas para la paz
Instructivo para la implementación de la evaluación de resultados
Para jóvenes de 13-16 años, Bogotá D.C. 2013 Investigación y diseño de la herramienta por Makie Fuse Restrepo. Coordinado por: David Fernando Salas Presidente y Fundador Asociación Somos CaPAZes [email protected] Con la colaboración de: Ana María Castaño Coordinadora Comité de Educación. [email protected]
36
Introducción Este es el instructivo para realizar la evaluación de resultados del programa de octavo grado de Somos CaPAZes. Esta herramienta se diseñó con el fin de poder medir el desarrollo de competencias de los estudiantes para formular proyectos sociales. Dentro del marco de las competencias se consideran los siguientes puntos:
• Conocimientos: Entender el concepto de problemática social • Actitudes: Reflexión sobre su contexto y problemáticas que los
rodean • Procedimientos: Generación de posibles soluciones que sean
ejecutables La idea es que al determinar los resultados del programa de octavo grado de la Asociación Somos CaPAZes en los estudiantes se puedan tomar decisiones acerca de posibles modificaciones y crear estrategias de mejora. Por otro lado, los resultados de la evaluación serán útiles para incrementar la conciencia de los colegios acerca de la importancia de los programas de la Asociación como parte del proceso educativo y de desarrollo de los alumnos. Una característica fundamental de la evaluación es que es sencilla, clara y de fácil implementación. Debido a esto, se recomienda aplicarla antes, durante y después de cada intervención realizada. Los aspectos a evaluar son:
• Conocimientos: Los estudiantes entienden y reconocen qué es una problemática social.
• Actitudes: Los estudiantes comprenden y reflexionan sobre su entorno y las problemáticas que los rodean.
• Procedimientos: Los estudiantes son CaPAZes de generar soluciones tecnológicamente posibles y operacionalmente viables a las problemáticas sociales.
Ahora bien, al momento de usar esta herramienta lo primero que se sugiere hacer es un cronograma en donde se especifiquen los instrumentos a usar en cada momento. Estas herramientas se encuentran adjuntas al instructivo. Éstas son:
• Los cuestionarios a realizar en cada momento de la evaluación
o Un cuestionario a estudiantes y grupo de control antes y después del programa
o Un cuestionario a CaPAZitadores después del programa
37
o Un cuestionario a profesores (opcional) antes y después del programa
o Un cuestionario a los estudiantes tres (3) meses después del programa.
• El formato de evaluación de proyectos para los evaluadores invitados
• Un archivo de Excel con el modelo de análisis de los cuestionarios en donde se pondrán los resultados y se obtendrán las estadísticas.
• El modelo de informe de resultados • La reestructuración de la guía de actividades del currículo del
programa de octavo teniendo en cuenta las sesiones en donde se realizarán los cuestionarios y evaluaciones
A continuación se muestra un diagrama con el orden de implementación:
Figura 8. Orden de implementación de las herramientas
Monitoreo
Informe de resultados
Análisis de datos
Cuestionarios Post- programa
Evaluación de proyectos
Cuestionarios Pre-programa
38
La guía de actividades del currículo de octavo El nuevo currículo de octavo será de trece (13) unidades en donde la primera y la última sesión estarán destinadas a la realización de los cuestionarios. A continuación se muestra la guía de actividades del currículo con esta modificación. Etapa Unidad Nombre
Preguntas para resolver asociadas a la unidad Plan de actividades
uno
1
Realización del primer cuestionario para la evaluación de resultados
1. Presentación inicial. 2. Introducción a los cuestionarios. 3. Realización de los cuestionarios. 4. Cierre
2 Somos CaPAZes en Breve
¿Qué es Somos CaPAZes? ¿Qué es la Caja CaPAZ? ¿Que son los Acuerdos Comunitarios? ¿Por qué son importantes?
1. Rompehielo: nombres 3. Presentación del programa. 4. Caja CaPAZ. 5. Acuerdos comunitarios. 6. Cierre.
3 Las problemáticas sociales
¿Cuáles son las características de las problemáticas sociales? ¿Cuáles son las problemáticas sociales a nuestro alrededor?
1. Rompehielo: nombres 2. Presentación y recapitulación. 3. Problemáticas sociales en nuestro entorno. 4. Algunos ejemplos de problemáticas. 5. Cierre.
4
Mi problemática social
Planteamiento de proyecto ¿Cuáles problemáticas sociales nos interesa afrontar? ¿Cuáles son nuestros objetivos? ¿Cómo puedo manejar mi problemática social?
2. Rompehielo: Mi gran orgullo. 2. Recapitulación y presentación. 3. Planteamiento del proyecto. 4. Inicio del proyecto. 5. Cierre.
5 Toma de Perspectivas
¿Una problemática puede ser abordada de diferentes maneras? ¿Qué otros puntos de vista hay para resolver o describir mi problemática?
1. Recapitulación y presentación. 2. Retos en las problemáticas sociales. 3. Necesitamos
39
dos
salirnos de la costumbre. 4. Nueva escuela: juego de roles. 5. Cierre.
6 Creatividad
¿Cómo puedo salirme de la costumbre para resolver mi problemática social? ¿Qué beneficios podrían traer mis nuevas ideas? ¿Qué obstáculos se presentan para aplicar mis nuevas ideas?
2. Rompehielo. 2. Recapitulación y presentación. 3. “Ideas Nuevas”. 4. Cierre.
7 Liderazgo ¿Qué es ser un líder? ¿Qué cualidades identifican a un líder? ¿Qué obstáculos hay para un líder? ¿Qué ventajas tienen los lideres? ¿Cómo se relacionan la confianza y la responsabilidad?
2. Rompehielo: semejanzas sorprendentes. 2. Recapitulación y presentación. 3. Confiando en el líder. 4. Cierre.
8 Retroalimentación del Proyecto
¿Qué avances hay sobre mi proyecto? ¿Qué inquietudes hay sobre mi problemática? ¿Cómo puedo mejorar mi proyecto?
1. Rompehielo: Levantémonos. 2. Recapitulación y presentación. 2. Retroalimentación del proyecto. 4. Cierre.
9 Toma de decisiones
Nuestras decisiones tienen consecuencias: ¿Qué tipo de consecuencias han tenido las decisiones de otras personas? ¿Qué decisiones debo tomar para enfrentar mi problemática social?
1. Rompehielo: ideas al tablero. 2. Recapitulación y presentación. 3. Decisiones y consecuencias. 4. Cierre.
tres
10 Socialización y Debate I
Presentación de proyectos ¿Son viables las propuestas para resolver las problemáticas? ¿Qué otras propuestas tengo para las problemáticas trabajadas?
1. Presentación de la unidad. 2. Presentación de los proyectos y debate. 3. Cierre.
40
11 Socialización y Debate II
Presentación de proyectos ¿Son viables las propuestas para resolver las problemáticas? ¿Que otras propuestas tengo para las problemáticas trabajadas?
1. Presentación de la unidad. 2. Presentación de los proyectos y debate. 3. Cierre.
12 Evaluación y cierre del programa
¿Qué enseñanza nos dejó el programa? ¿Cómo aplico lo aprendido a mi vida cotidiana? ¿Qué aprendimos de los capazitadores? ¿Qué aprendimos de nuestros compañeros? ¿Qué papel debo tomar frente a una problemática social?
1. Recapitulación general del programa. 2. ¿Qué tengo en la cabeza? 3. Cuestionario CaPAZ. 4. Cierre.
13
Realización de los cuestionarios para la evaluación de resultados.
1. Recapitulación general del programa. 2. Realización de los cuestionarios 3. Cierre.
41
Cuestionarios y evaluación de proyectos Las herramientas de evaluación fueron pensadas de forma que haya suficientes instrumentos y evidencias que brinden resultados coherentes y acordes con el propósito de la evaluación. Asimismo, teniendo en cuenta la teoría sobre la evaluación del desarrollo de competencias y los espacios disponibles en el currículo de octavo, se decidió usar como instrumento cuantitativo los cuestionarios y como cualitativo la evaluación de desempeño. Además se buscó evaluar a los estudiantes de forma individual y grupal. Cuestionarios Todos los cuestionarios son anónimos y confidenciales (es opcional poner el nombre). Lo ideal es que los CaPAZitadores se encarguen de explicarlos y de realizarlos en la primera y en la última sesión del programa. Cuestionarios de los estudiantes Para el caso de los estudiantes se van a evaluar los cursos de los estudiantes que hacen parte del programa y un grupo de control que son alumnos del mismo grado de la misma institución pero que no reciben el programa en el mismo momento. El cuestionario para antes, el de después y el de monitoreo del programa son iguales tanto para el grupo que participa en el programa como para el grupo de control de manera que se puedan ver los cambios más precisamente. Los cuestionarios constan de dos partes. La primera indaga sobre el concepto de problemáticas sociales y la motivación para el cambio y la segunda busca evidenciar la reflexión del entorno de los estudiantes. El proceso de implementación de los cuestionarios a estudiantes tiene cuatro (4) fases: preparación, introducción, realización de los cuestionarios y recolección de la información. A continuación hay una descripción de cada fase. Fase 1. Preparación Todos los cuestionarios deben ser administrados por un CaPAZitador que esté al tanto de la evaluación de resultados. Los estudiantes deben estar sentados ordenada y cómodamente con mesas y un espacio suficiente para marcar las respuestas. A cada estudiante se le reparte la parte I del cuestionario.
42
Fase 2. Introducción El CaPAZitador explica las instrucciones para llenar los cuestionarios y se asegura que no haya dudas. Vale la pena resaltar que los cuestionarios son individuales, no se van a calificar y que es necesario que respondan con sinceridad. Una vez un estudiante finalice la parte 1 se le entrega la parte 2 del cuestionario. Fase 3. Realización de los cuestionarios Los estudiantes pueden empezar a llenar el cuestionarios y si hay preguntas deben levantar la mano y un CaPAZitador lo ayudará. Fase 4. Recolección de la información El CaPAZitador encargado recoge y se encarga de todos los cuestionarios. Si hay tiempo, es importante invitar a los estudiantes a que hagan preguntas y comentarios acerca del cuestionario. También se les agradece por llenar los cuestionarios y contribuir a que Somos CaPAZes sea cada día mejor. Las respuestas de los cuestionarios deben ser introducidas en el archivo de Excel destinado para tal fin. Cuestionarios de los CaPAZitadores Para el cuestionario de los CaPAZitadores se buscó que no solo dieran su opinión sobre el progreso de los estudiantes sino también del programa de Somos CaPAZes en general. Se supuso que los CaPAZitadores son los mismos durante toda la implementación del programa. En la última sesión del programa ellos deben diligenciar el respectivo cuestionario. Cuestionarios de los profesores (opcional) El cuestionario de los profesores es una herramienta extra que se diseñó teniendo en cuenta que los profesores conocen a los estudiantes desde antes de iniciar el programa y están presentes durante éste para observar cambios. Las preguntas a los profesores indagan acerca de la situación de los estudiantes con respecto al tema problemáticas sociales en cuanto a conceptos y motivación para el cambio. Estos cuestionarios deben ser realizados por los CaPAZitadores junto con los de los estudiantes (en las mismas sesiones). Evaluación de proyectos Para la evaluación cualitativa del programa se hace uso de los proyectos que presentan los jóvenes intervenidos al final del programa.
43
El propósito de estos proyectos es que los estudiantes entiendan y trabajen sobre una problemática social y al final del programa presenten las posibles soluciones que proponen para ésta. En ese orden de ideas, se deben invitar unos evaluadores externos que van a juzgar los proyectos teniendo en cuenta que los estudiantes entiendan la situación problemática, reflexionen acerca de ésta y, seguido a esto, según el número de soluciones propuestas y la calidad de éstas. De esta manera se estará evaluando completamente el desarrollo de competencias para la formulación de proyectos sociales pues se incluyen los conocimientos, actitudes y procedimientos. Al momento de juzgar los proyectos, los evaluadores invitados van a tener un formato con los puntos claves a tener en cuenta en las presentaciones de los proyectos. Estos documentos deben ser llenados para cada proyecto y se deben entregar al CaPAZitador encargado. En cuanto al perfil de los evaluadores, no existe uno particular. En general, el experto invitado debe ser alguien capaz de juzgar un proyecto con base en unos criterios dados.
El archivo de Excel
El archivo de Excel es una herramienta que está diseñada para que solamente toque insertar los resultados de los cuestionarios en las casillas asignadas para tal fin. Se recomienda guardar un archivo nuevo cada vez que se vaya a realizar una evaluación y mantener la plantilla base “limpia”. Es necesario ser muy cuidadoso al ingresar los datos teniendo en cuenta que se está llenando la casilla que es. Una vez finalizado este proceso el archivo mostrará los respectivos análisis y diagramas con los resultados obtenidos.
Modelo de informe de resultados El modelo de informe de resultados es una sugerencia de plantilla para usar al momento de presentar los resultados obtenidos en la implementación de un programa en una institución determinada. Lo ideal es que se muestren los resultados de forma ordenada, clara y concisa. Como se trata de un modelo, es necesario que la información faltante sea completada con los datos obtenidos.
44
Anexo 3. Cuestionario de los estudiantes
CUESTIONARIO PARA ESTUDIANTES PARTE UNO
FECHA: SEXO: Femenino / Masculino GRUPO: EDAD: INSTITUCIÓN: NOMBRE (OPCIONAL): Por favor lea las siguientes instrucciones con atención antes de empezar a llenar el cuestionario. Instrucciones En seguida encontrará una lista de afirmaciones relacionadas con el tema problemáticas sociales. Lea todas las afirmaciones con atención y marque con una equis (X) la respuesta que más le parezca. Por favor responda lo más preciso que pueda. Recuerde que este cuestionario debe realizarse individualmente y no se va a calificar ni hay una respuesta mejor que otra, lo importante es que responda con sinceridad. Además la encuesta es confidencial y anónima, es decir que nadie se va a enterar de lo que puso y que no es necesario poner su nombre. Ejemplo:
45
46
CUESTIONARIO PARA ESTUDIANTES PARTE DOS
FECHA: SEXO: Femenino / Masculino GRUPO: EDAD: INSTITUCIÓN: NOMBRE (OPCIONAL): Por favor lea las siguientes instrucciones con atención antes de empezar a llenar el cuestionario. Instrucciones En seguida encontrará una lista de enunciados relacionadas con el tema problemáticas sociales. Lea todas las afirmaciones con atención y marque con una equis (X) la respuesta que más le parezca. Por favor responda lo más preciso que pueda. Recuerde que este cuestionario debe realizarse individualmente y no se va a calificar ni hay una respuesta mejor que otra, lo importante es que responda con sinceridad. Además la encuesta es confidencial y anónima, es decir que nadie se va a enterar de lo que puso y que no es necesario poner su nombre.
47
1. De los siguientes, ¿cuáles considera usted que son problemáticas sociales?
48
2. De los siguientes, ¿cuáles cree que afectan su comunidad?
3. ¿Considera que está involucrado en una problemática social?
3.1 3.2 Si su respuesta fue SÍ, ¿cuál? ___________________________________________________
49
Anexo 4. Cuestionario de los CaPAZitadores
CUESTIONARIO CaPAZitadores
FECHA: GRUPO: Por favor lee las siguientes instrucciones con atención antes de empezar a llenar el cuestionario. Instrucciones Para la Asociación Somos CaPAZes es muy importante tu opinión acerca del desempeño del programa. Lee todas las afirmaciones con atención y marca con una equis (X) la respuesta que más te parezca. Por favor responde todas las preguntas de manera honesta.
50
51
Preguntas abiertas
1. ¿Cómo sientes que fue tu impacto en los estudiantes?
2. ¿Qué crees que podría mejorar en el currículo de Somos CaPAZes?
3. ¿Qué fue lo más difícil de implementar el programa?
4. ¿Qué fue lo más fácil de implementar el programa?
COMENTARIOS ADICIONALES:
52
Anexo 5. Cuestionario de los profesores
CUESTIONARIO PROFESORES FECHA: GRUPO: INSTITUCIÓN: Por favor lea las siguientes instrucciones con atención antes de empezar a llenar el cuestionario. Instrucciones Lea todas las afirmaciones con atención y marque con una equis (X) la respuesta que le parezca más adecuada. Por favor responda todas las preguntas de manera honesta. Si tiene algún comentario por favor anótelo.
53
COMENTARIOS ADICIONALES:
54
Anexo 6. Formato de evaluación de proyectos
Formato de evaluación de proyectos finales Los proyectos finales que se van a presentar son trabajos que los estudiantes han venido realizando durante algunas semanas en grupo. Éstos están basados en una problemática social que fue elegida por los mismos alumnos. El propósito de estos proyectos es que los jóvenes entiendan y trabajen sobre una problemática social y al final del programa presenten las posibles soluciones que proponen para ésta. La idea de esta evaluación es poder medir el desempeño de los alumnos en la competencia “Formulación de proyectos sociales”. La competencia se compone de:
• Conocimientos: Entender el concepto de problemática social • Actitudes: Reflexión sobre su contexto y problemáticas que los rodean • Procedimientos: Generación de posibles soluciones que sean ejecutables
Esta evaluación se basa en el “diseño idealizado” descrito por Aldana y Reyes en su libro Disolver Problemas: criterio para formular proyectos sociales (2004). Instrucciones Para cada grupo que se presente usted debe llenar el formulario que se presenta a continuación.
55
Grupo: Problemática:
1. Comprensión de la situación problemática Marque con una equis (X) la casilla que corresponda a la afirmación. En caso de tener algún comentario adicional por favor anótelo.
Afirmación Si No Comentarios Hay una definición precisa del problema central que se desea resolver
Se describen los actores sociales relevantes y sus posiciones
Hay una descripción de las personas que serían afectadas por las soluciones
Se entienden los nudos críticos del problema: causas y sub-‐causas
Hay puntos prácticos de acción
Comentarios adicionales:
56
2. Número y calidad de soluciones Señale con una equis (X) la palabra que corresponda a la afirmación. En caso de tener algún comentario adicional por favor anótelo.
Solución número / Afirmación
1 2 3 4 5
Se define el destino final al que se quiere llegar (situación ideal)
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
La solución induce a un cambio cultural
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
La solución tiene una visión a largo plazo
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Se exhiben las propiedades deseables de la situación
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
La solución es tecnológicamente posible. Esto significa que la tecnología necesaria esté disponible en el corto plazo y que se pueda realizar.
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
57
La solución es operacionalmente viable. O sea que la solución pueda sobrevivir una vez se ponga en práctica y que sirva.
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
La solución es susceptible a mejorar. Es decir que se pueda adaptar a posibles cambios en el entorno o que se pueda modificar el entorno para mejorar el diseño.
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Sí / No
Comentarios:
Comentarios adicionales:
58
Bibliografía Aldana, E., & Reyes, A. (2004). Disolver problemas. Bogotá: Ediciones Uniandes. Alvira, F. (2002). Metodología de la evaluación de programas. Madrid: Centro de investigaciones sociológicas. American Camp Association. (2005). DIRECTIONS. Youth Development Outcomes of the Camp Experience. Amezcua, C., & Jiménez, A. (1996). Evaluación de programas sociales. Madrid: Ediciones Díaz de Santos S.A. Análisis y desarrollo social consultores. (s.f). Guía de evaluación de programas y proyectos sociales. Madrid, España. Arango, L. E., & Posada, C. E. (s.f). El desempleo en Colombia. Asociación Somos CaPAZes. (n.d.). Sé voluntario. Retrieved 21 de August de 2013 from Somos CaPAZes: http://www.somoscapazes.org/sé-‐voluntario.php Astigarraga, E. (s.f). Método Delphi. Baker, J. L. (2000). Evaluación del impacto de los proyectos de desarrollo en la pobreza. Washington D.C, USA. Briones, G. (2002). Evaluación de programas sociales. México D.F: Trillas S.A. Briones, G. (1992). La investigación social y educativa. Bogotá: Litoformas R.V. Caracol. (17 de July de 2009). Caracol. Retrieved 23 de August de 2013 from Medio ambiente. En Colombia mueren seis mil personas al año por contaminación del aire, revela Ministerio de Ambiente: http://www.caracol.com.co/noticias/ecologia/en-‐colombia-‐mueren-‐seis-‐mil-‐personas-‐al-‐ano-‐por-‐contaminacion-‐del-‐aire-‐revela-‐ministerio-‐de-‐ambiente/20090717/nota/846956.aspx Cohen, E., & Martínez, R. (s.f). Formulación, evaluación y monitoreo de proyectos sociales. Colombia Estadística. (s.f). Glosario Niñez. Retrieved 22 de August de 2013 from Colombia Estadística: http://www.colombiestad.gov.co/index.php?option=com_glossary&func=view&Itemid=25&catid=115&term=DESERCI%D3N+ESCOLAR Colprensa.com. (03 de June de 2013). Colombia con deserción escolar. Retrieved 22 de August de 2013 from MSN Noticias: http://noticias.co.msn.com/colombia/colombia-‐con-‐deserción-‐escolar-‐1 De la Orden, A. (2011). Reflexiones en torno a las competencias como objeto de evaluación en el ámbito educativo. Revista Electrónica de Investigación Educativa , 13 (2), 22. EFE. (29 de April de 2013). Noticias. Colombia, el país con más desplazados internos en el mundo . Retrieved 22 de August de 2013 from EL ESPECTADOR: http://www.elespectador.com/noticias/nacional/articulo-‐419036-‐colombia-‐el-‐pais-‐mas-‐desplazados-‐internos-‐elmundo EuropeAid Co-‐operation office. (11 de 08 de 2006). Contrafactual. Retrieved 30 de 10 de 2013 from EuropeAid Co-‐operation office: http://ec.europa.eu/europeaid/evaluation/methodology/methods/mth_cft_es.htm
59
Fuente, J. d. (2011). ¿Cómo definir un problema social y elaborar objetivos en proceso de planificación? Santo Domingo, R.D, República Dominicana: Editora Alfa y Omega. Jaramillo, M. (2009). Diseño de un esquema de evaluación de imacto para un programa de formación en competencias ciudadanas-‐convivencia. Bogotá. Jornet, J. M., Gonzalez, J., Suárez, J. M., & Peraless, M. J. (2011). Diseño de procesos de evaluación de competencias: Consideraciones acerca de los estándares en el dominio de las competencias. Bordón , 63 (1). López, C., & Toro, M. (2011). Informe del estado del medio ambiente y los recursos renovables. Bogotá, Colombia. López, E. (2005). Problemas Sociales. Desigualdad, Probreza, Exclusión Social. Madrid: Biblioteca Nueva. Medina, A., Domínguez, M. C., & Sánchez, C. (2013). Evaluación de las competencias de los estudiantes: Modelos y técnicas para la valoración. Revista de Investigación Educativa , 31 (1). Morales, E., García, F., Campos, R., & Astroza, C. (2013). Desarrollo de competencias a través de objetos de aprendizaje. RED. Revista de Educación a Distancia. (36), 19. Navarro, H., King, K., Ortegón, E., & Pacheco, j. F. (2006). Pauta metodológica de evaluación de impacto ex-‐ante y expost de programas sociales de lucha contra la pobreza. Santiago de Chile: CEPAL. Naciones Unidas. Peace by PEACE. (21 de August de 2013). About Us. From Peace by PEACE: http://peacebypeace.ca/who-‐we-‐are/ Portafolio.co. (31 de July de 2013). Economía. Hay menos desempleo pero baja el número de ocupados. Retrieved 22 de August de 2013 from Portafolio.co : http://www.portafolio.co/economia/desempleo-‐colombia-‐junio-‐2013 Real Academia Española. (n.d.). Diccionario de la luengua española. Retrieved 23 de August de 2013 from Real Academia Española: http://lema.rae.es/drae/?val=contaminacion%20ambiental Sánchez, A. (2002). Psicología social aplicada: teoría, método y práctica. Madrid: PEARSON EDUCACIÓN S.A. Salas, D. F. (2009). Aprendizaje? Propuesta para una Educación Seleccionista en el Aula. Bogotá. Sierra, R. (2001). Técnicas de Investigación Social. Teoría y ejercicios. Madrid: Thomson Editores. Somos CaPAZes. (2011). Guía de currículo para jóvenes de 13 a 16 años. Bogotá. Sullivan, T. T. (1980). Social problems: Divergent perspectives. New York: John Wiley and Sons. Tirado, S. (s.f). Metodología para la evaluación de programas de intervención social. Virgilio, M. D., & Solano, R. (November de 2012). Monitoreo y evaluación de políticas, programas y proyectos sociales. Buenos Aires, Argentina. Youth Service America. (n.d.). YSA Grants. Amigos por el Mundo ofrece becas a jóvenes agentes de cambio. Retrieved 12 de Noviembre de 2013 from YSA: http://www.ysa.org/LatAm Zafra, G. (s.f). Los desplazados internos por la violencia: Un problema fundamental en Colombia. Retrieved 22 de August de 2013 from Departamento de derecho internacional: http://www.oas.org/juridico/spanish/zafra.html
60