Embed Size (px)
Citation preview
Evaluac ión del proyecto
Diseño de proyectos de innovación educativa
TEMAS Y SUBTEMAS
OBJETIVOS
Explicar en qué consiste la evaluación de un proyecto y los
respuesta, efectividad, impacto, contexto organizacional y
CONCEPTOS CLAVE
Evaluación del proyecto
ActividadesAudiencias
Datos cualitativosDatos cuantitativosDatos longitudinales
Diseño de la evaluaciónEvaluaciónEvaluación de programasPreguntas evaluativasProductosPrograma
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
ORGANIZADOR AVANZADO
educativo requiere de diversas fases, desde el diseño, planeación,
perspectivas que, en algunos casos, se presentan como
de la evaluación, pueden ser radicalmente distintos, aunque se esté
empleada y las conclusiones a las que se llega pueden no ser las
cuatro grandes segmentos de todo programa o proyecto, integrados cada uno de ellos por varias
agentes
una perspectiva pedagógica, como una actividad integral e integrada en los procesos educativos y, en consonancia con ella, se presenta
principalmente, durante los últimos treinta años, que tiende a
su interés por este campo y aseguran su potencial crecimiento en
estimar qué tanto los resultados
o no, son causados por las
efectos son asociados con la causa mediante el diseño y
el análisis que comparan los
estimaciones de lo que podría
Es la recolección sistemática de información para responder
actividades, características y
Designing evaluations of educational and
social programs,
How to design a program evaluation, Sage,
relación con un producto deseado, y en otras, aun teniendo puesta
primer caso es consecuencia del predominio en la administración de
que los realizadores etiquetan como programa o proyecto, pero no
corresponden a la parte del programa más desarrollada, que suele el programa
realizados por una institución, es un proceso que en general está
primera fase, cuyo producto es la redacción de un documento,
proyectos-documentos o proyectos-realización que, técnicamente,
Designing evaluations of educational and social programs,
How to design a program evaluation, Sage,
Programa
organizaciones tienen sólo un programa, en tanto que otras pueden tener programas
¿A qué considera que puede
ocasiones no se tenga un programa formal o proyecto
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
segmento se divide en partes que suponen unidades delimitadas y
entre los evaluadores tienen su origen en que se toman como referencia partes diferentes y se evalúan factores internos de cada
guía y delimita sus pasos, por lo que el tratamiento individualizado de
contenido
un momentouna audiencia
A partir de aquí pueden construirse los entramados de la evaluación
¿Quién
¿Cómo
¿Con qué tecnología
El modelo de evaluación de proyectos es siempre consecuencia de los
10.1 EVALUACIÓN DEL DISEÑO Y LA PLANEACIÓN DEL PROYECTO
punto, aunque necesitaría recurrir de nuevo a él para contrastar los
Básicamente, la evaluación de este segmento se centra en la definición de las necesidades que el proyecto pretende cubrir, y
la existencia de más alumnos que plazas y más enfermos que camas,
contexto, es decir, en todo lo que se interrelaciona con las personas, condiciona sus
AudienciasSon los consumidores de
las personas que tomarán decisiones guiadas por la
¿Viabilidaddel
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
El principal escollo que se encuentra en la evaluación de esta
partir de estos supuestos la evaluación del proyecto es casi una
De las tres partes que componen este segmento (necesidades de las personas, problemas del contexto y viabilidad del proyecto
suele encontrarse en que, dada la imprecisión de las primeras
10.1.1 Evaluación de necesidades
pueden ir mal y a menudo van mal en la evaluación de las necesidades
los estudios, y sacar a la luz tanto sus puntos fuertes como los
entendida en el sentido de evaluación de la evaluación de necesidades
de diagnóstico para la
la evaluación de necesidades (need evaluation) como la valoración
diferencia no es sólo desde una perspectiva temporal, como señalan
El evaluador tiene que contar, como punto de partida, con una
el proyecto, se funden las estrategias de la política educativa y los
del evaluador volver a repetir la evaluación inicial para contrastar
La recolección y tratamiento de la información es un proyecto sencillo,
importante para el evaluador es la comparación simultánea del modelo la realidad analizada y los
Needs assessment: concept and application, Educational
step”,
Conducting educational needs assessment
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
El diseño del sistema utilizadomuestras seleccionadas de las fuentes, instrumentos y
La recolección real de información
El registro de la información obtenida
la interpretación de la información obtenida
audiencias, que representan diversos puntos de vista, es decir,
el proceso, cómo surgieron las distintas opciones y cómo fueron
que las personas no reconozcan sus propios puntos de partida,
consecuencia de factores adicionales, como son los conocimientos
equipos, cuando se enfrentan con la creación de un proyecto de
El análisis preliminar de la información recogida
El análisis de propuestas ofrecidas por los interesadoslas
En el proyecto de innovación
está a punto de concluir, ¿se encuentra documentada la
forma como se recogieron los datos para la evaluación de
implícitas, o explícitas recogidas, las prioridades de las propuestas
La valoración y selección de necesidades es un proceso convergente que termina con la integración y síntesis de todos
la convergencia de fuentes de información, de estrategias de evaluación, de fuerzas de distintas áreas y escenarios, y de niveles
el análisis de necesidades
la acción sesgada de los intereses de los técnicos y la presión de los administradores, que son los que controlan políticamente la
Un criterio de seguridad exige que el evaluador considere cómo se
orden de prioridades de éstas para cada grupo de fuentes, sistema
y sistema de selección de las necesidades que serán incluidas en
repetir el diagnóstico, y por ello es necesario contrastarlos con datos
resultados de esta selección de necesidades se realizara desde una
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
10.1.2 Evaluación del contexto
comunitario, lo que implica que van más allá de la satisfacción de las necesidades individuales, e interactúan con la vida familiar, económica
para su realización y que sus repercusiones van más allá de sus
contexto en función de sus múltiples interacciones, por lo que es
Program evaluation: methods and case studies, Prentice Hall,
presupone que el contexto pertenece a varios sistemas o factores
principio, lo importante es precisar los componentes de los sistemas
El sistema físico
El sistema social constituye la parte del contexto más activa y,
que exista relación entre ellas y afecten, a través de una cadena
sistema de relaciones interpersonales agrupa a las transacciones
sistema más difícil de delimitar, por ser esencialmente dinámico, en
10.1.3
crítico en el examen de los objetivos y la viabilidad del proyecto
es una evaluación en sí misma, que adopta dos modalidades
Pensamiento de sistemas, práctica de sistemas,
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
en cuenta los requisitos técnicos, sociales y políticos, económicos y
proyecto y el carácter asistencial de la acción educativa y social, el
salvo en proyectos de índole esencialmente tecnológica, los técnicos que programan no siempre están en condiciones de superar estas
Aunque cada proyecto exige tratamientos distintos en función de su
La viabilidad técnica
positivas o información para generar soluciones durante el diseño
La viabilidad social y política
no cuente con el apoyo de quienes tienen el poder de decisión o la
y políticos positivos derivados de los productos y resultados que
supone que se dispone del
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
La viabilidad de gestión
coordinación permanente, toma de decisiones en situaciones no
que programe su actividad y actúe con mecanismos paralelos pero
¿Tiene capacidad de organización interna, de relaciones externas
EJERCICIO
de dar respuesta a las preguntas que aquí se presentan para cada
10.2 EVALUACIÓN DEL DESARROLLO DEL PROYECTO
El segundo segmento lo constituye el desarrollo del proyecto que
en la realidad, no equivale a realizar una investigación, ni a utilizar
sociales, tampoco es necesario usar los soportes lingüísticos de sus
sociales aplicadas a los estudios de evaluación se inician con el
El evaluador se encuentra ante el desarrollo de un programa con tres
primera alternativa representa la visión del investigador y la segunda la del evaluador, eminentemente práctica y orientada a la acción
porque está orientada a algún tipo de decisión y con un propósito
de otros modelos ideales que se entrecruzan para alcanzar una
el evaluador tiene necesidad de reconstruirlas y plantearse otras
atendida o acciones del programa puede sesgar la interpretación
el proceso seguido por los programadores y las relaciones causales
del diseño, ya que reproduciría sus pautas de pensamiento, que
The story of the Eigth-Year Study, Harper and
Experimental and cuasiexperimental design for research,
Handbook in research and evaluation, San Diego,
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
10.2.1 Evaluación de la estrategia
estrategia del proyecto constituye la principal preocupación del programador cuando comienza el diseño, porque es el curso de acción organizado que el proyecto va a utilizar para alcanzar sus objetivos
El proceso de creación y selección de la estrategia, con un gran componente de creatividad necesaria para imaginar distintas soluciones, incluir en ellas elementos nuevos y soluciones no conocidas, pero, al mismo tiempo, utilizar procesos racionales que
componentes independientes, algunas veces enlazados y, a veces, El primero es la institución que desarrolla el proyecto,
pues la realidad demuestra que sus resultados, su tasa de innovación, su inversión en nueva tecnología y formación, su capacidad de
El segundo condicionante es el entorno en el que se va a
El tercer condicionante es el costo a través del uso de las técnicas de costo-
El enfoque de la estrategia, que supone para el evaluador
satisfaciente
asociados con deseos, recuerdos, impresiones o actitudes, como
ser tan altos que no se puedan conseguir y los mecanismos de la estrategia son los más sencillos, conocidos y seguros, procurando
Un concepto de planeación de empresas,
Planeación estratégica,
Este enfoque centra su preocupación en los recursos económicos,
proyectos satisfactorios no se plantean estrategias alternativas para
directo de la situación y, por tanto, suponen menos ayuda técnica y
Un segundo tipo de estrategias pertenece a un enfoque optimizador
El tercer enfoque lo constituyen las estrategias adaptativas o innovadoras
El modelo de estrategia depende del conocimiento del futuro
y, en consecuencia, de la capacidad de reacción ante los
El enfoque adaptativo
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
10.2.2 Evaluación de la estructura de las actividades
representan las actividades
que aplicarlo en función de su nivel profesional, de las normas de
en el diseño de las tareas implica más satisfacción y menos ayuda, aunque siempre existe la referencia permanente del producto que se
Los productos que deben ser logrados son la esencia del diseño
Actividades
lo que va a pasar o lo que
que proporcionan servicios, las actividades constituyen
El tiempo para la realización de las actividades es uno de los factores que presenta mayores discrepancias durante el proceso de
de actividades a menos que sea una exigencia explícita del cliente y
o la carencia de medios adecuados son elementos que condicionan
un fracaso como consecuencia de los retrasos en la llegada de los participantes, las faltas de asistencia, la atención a casos urgentes o
La aceptabilidad del diseño implica contar con todos los grupos,
proyectos el equipo técnico no suele preocuparse por las tareas
pueden aceptar de forma muy distinta un programa para toxicómanos
avanza si, paralelamente a las acciones internas de preparación de los niños, no se logra persuadir a las familias de que acepten realizar
institución y es casi seguro que aparecerán una gran cantidad de
y, en algunos casos, con su control, intentado con frecuencia
De los cuestionamientos previos, ¿a cuáles puede responder positivamente en
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
considerar que una parte de los componentes del proyecto va a
largos casi siempre aparece una excesiva rotación de personal,
acepta el encargo, a reformular el proyecto permanentemente de
10.2.3 Evaluación de los medios de apoyo
en el sentido de que no se convierten en productos o resultados, sino
La coherencia y compatibilidad de los medios es la característica
medios puede ser un apoyo a la innovación institucional y, por tanto,
La adecuación de los medios a los objetivos exige el análisis de
Evaluación de los medios de
La disponibilidad de los medios en el momento preciso es uno
mantenimiento y renovación de todos los medios y el análisis de
relación con la actividad de la que forman parte pero, con frecuencia,
Medios físicos, formados por los equipos e instalaciones necesarios
Medios organizativos, formados por la estructura organizativa
Medios tecnológicos, formados por los métodos, técnicas e know-
how
Medios humanos
Medios culturales y normativos, formados por los valores, creencias y principios que sirven de guía al proyecto, así corno las medidas legales o normas internas que permiten regular las relaciones, los
demuestra que los proyectos sociales son los que menos se preocupan
son mal empleados, los que se utilizan son inadecuados o no están
previsto o no alcanzan los resultados deseados, las actividades se improvisan y los métodos se deciden de forma irracional, los costos
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
10.2.4
evaluabilidad se entiende la cualidad de ser valorado, es decir, el hecho de que el programa mismo contenga o no, y en el grado y calidad adecuados, la información básica para poder ser evaluado según la concepción que se posea por parte del evaluador. Por lo tanto un programa
ciertas exigencias en su diseño, en su contenido, metodología y
evaluabilidad
algunos casos, pero formativa en la mayoría, ya que las aportaciones
sumativo, porque se realiza en función del proceso de seguimiento
a posteriori
a ser utilizados para una acción correctiva, los propios evaluadores
Existe una cierta variedad en los elementos que se utilizan para
La teoría del proyecto representa los principios y axiomas que constituyen el fundamento del proyecto y es necesario tomarla como
en sí misma, ya que no todas las teorías aceptan la evaluación con
Evaluation: a systematic approach, Sage,
,
Indicadores
proporcionan información, o indican, que los esfuerzos
emprendidos en el programa
recolectarse para responder a
Los componentes del proyecto, es decir, los pasos distintos y
componentes está condicionada por los criterios, procedimientos
Los efectos del proyecto
proporcionar la información necesaria para conectar la evaluación
10.3 EVALUACIÓN DE LA EJECUCIÓN
Son las diferencias positivas que el programa logra en las
actitudes, conocimiento y en las acciones que el programa
Productos
Pueden incluir cualquier cosa que pueda ser contada como pueden ser las personas, actividades, materiales, tiempo,
Su proyecto, ¿se puede
Es decir, ¿se sustenta en alguna teoría, incluye los componentes mínimos de un
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
orden del día entregado
forma predeterminada, otras interrumpirán con frecuencia y otras no
de tareas del equipo pueden añadirse las institucionales, si existen,
Estructura Proceso
La estructura de las relaciones es paralela a la de las tareas.
orden del día de una reunión que se entrega a los asistentes indica las tareas, y las intervenciones del que preside
La estructura de las relaciones tiene un soporte básico en la cultura institucional o del equipo
y las expone al exterior, su grado de madurez aumenta, la estructura
manuales de procedimientos, organigramas, glosarios para el uso del
La estructura de las relaciones se valora en función de:
10.3.1 Evaluación del proceso
quéel proceso explica cómo
permitiese, a través de la estructura de las tareas y las relaciones,
sentirse involucrado, la evaluación será más completa y se podrán
los aspectos humanos, tanto de las tareas como de las relaciones.
Program evaluation: methods and case studies, Prentice Hall,
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
En unos casos, el análisis se centrará en el proceso de las tareas,
o no alcanza los resultados, no por efecto de las tareas, que están
consecuencia tanto de la forma como se realizan las tareas como de
propone, evitar que alguien tome el protagonismo en una situación,
EJERCICIO
10.3.2 Evaluación de la gestión
equipo técnico y, en consecuencia, su misión está conectada con
variante, la gestión está predominantemente preocupada por aportar su tecnología de gestión general, lo que supone una separación más
de soportes de la estrategia, dirección de personal, información y
equipo de gestión sólo consistirían en activar los dispositivos en los
coincide con lo deseado y el equipo de gestión tiene en sus manos
a disposición de los especialistas por los mecanismos instaurados, o
que se favorezcan los procesos en la estructura de las tareas y
10.4 E
El último segmento del proyecto es el más importante, por reunir
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
Es una evaluación sumativa en el sentido de que permite la visión del
anterior, queda realizar un gran número de operaciones aisladas,
el evaluador la actividad se prolonga más allá de la conclusión del
independiente este segmento se agrupa en tres partes de contenido
10.4.1
en una forma correcta es esencial, ya que si se trata de manuales
Puesto que gran parte de los proyectos sociales tienen una
pérdida de resultados se incrementa con el tiempo y el evaluador
inadecuado de los recursos institucionales cedidos al proyecto puede
10.4.2 Evaluación de los efectos del proyecto
El equipo de gestión tiene que lograr la aceptación por parte del cliente del proyecto terminado y, por tanto, tiene que demostrar que
de acuerdo con los controles realizados durante el seguimiento, además de presentar los datos que muestran la correspondencia
y el producto alcanzado, porque los efectos del proyecto van más allá de los límites del mismo y aunque exista una controlada o una
pero relacionada con el proyecto, que permitirá ampliar la evaluación
Productos.
Resultadosque representan la aplicación social de los productos logrados,
Impactos
estructura de la institución por efecto de la nueva tecnología
Efectos colaterales. Efectos variados en las personas o en las instituciones consecuencia del proyecto pero no incluidos ni
10.4.3 perspectiva de la evaluación, los productos, resultados,
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
diferenciar los efectos del programa de los de la actividad social
el tiempo y los costos como las dos variaciones más importantes que
Efectividad, considerada como el grado en que los efectos logrados
proyecto, las demandas real y potencial de la acción del proyecto,
, como la relación entre los efectos y el costo de los
acuerdo con el análisis deseado se utilizarán y valorarán productos,
los criterios económicos utilizados, el análisis, además de ofrecer una
, en la que los
exige la existencia de otros proyectos equivalentes para decidir, por
lectura, comparando los efectos de las computadoras, la tutoría, la
Productividad
de la estrategia en relación con otros proyectos o con los estándares
productos intermedios, medidos en unidades físicas, mientras que la
Una variante de la productividad es el rendimiento que controla el
las instalaciones, la organización o los valores culturales que sirven
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
Adecuación como la relación entre los productos logrados por el
pretende interconectar distintas partes del proyecto, esencialmente
10.5 EL PLAN DE EVALUACIÓN
El plan de evaluación puede existir como una sección de un proyecto
aspectos a ser evaluados, por otro, si aplicamos un enfoque clínico, existen aspectos nodales en los programas que nos proporcionan la
apropiadas sin la necesidad de excedernos en la recopilación de
El diseño de un plan de evaluación es un recurso valioso no sólo
componentes de la evaluación
10.5.1 Propósitos de la evaluación
¿Para qué audiencias será la información proveniente de
¿De qué recursos se dispone para recolectar la
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
10.5.2 Preguntas evaluativas
Para caracterizar el propósito de la evaluación es útil revisar el tipo de
comparación entre las violaciones a la seguridad en las líneas aéreas y
planteamientos de un programa de estimulación temprana, ¿qué parte
manera en que se formulen tiene que tomar en cuenta las necesidades
10.5.3 Diseños de evaluación
que se presenta incluye la encuesta a muestras, estudio de casos,
Preguntas evaluativasArticulan las preguntas
responder a través de la
análisis de datos se realizan para responder a las preguntas
Es el proceso de estipular los procedimientos investigativos a ser seguidos al realizar una
Estrategia Diseño
Análisis secundario de datos
encuesta es efectuada a la muestra en un punto en el tiempo, en la repetida se aplica en dos o más puntos en el tiempo a la misma
responder a preguntas normativas, consiste en realizar la encuesta
la descripción analítica de un evento, un proceso, una institución o et al
preguntas normativas y descriptivas, y no es necesario generalizar los
la pregunta evaluativa requiere generar inferencias a un grupo más
El principal uso de los experimentos de campo se da cuando se
et al Data for decisions,
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
las unidades de estudio se asignan aleatoriamente, tanto al grupo
no es aleatoria, por lo general se toman los grupos intactos tal y como
del diseño, antes y después, es que compara los resultados de las unidades de estudio antes de que sean expuestas a la intervención
no hay
Son sugerencias generales más que reglas que se aplican sin
de programas en las cuales la media grupal es más importante
re atos para los cuales no tenga planeado un uso
se
especialmente importante en estudios con un número pequeño
o compare el desempeño de un programa en desarrollo con el
o use estadí
10.5.4
formativa a los evaluadores acerca de la instrumentación de un proyecto, y segundo, facilita información sumativa acerca del valor
la incorporación de innovaciones tecnológicas en instituciones
la incorporación de otros tipos de innovaciones, puesto que cada
preguntas clave necesarias para una instrumentación tecnológica o
Componente 1. Respuesta
con frecuencia, realizadas para determinar la capacidad de respuesta
Program evaluation for Buchanan County Even Start,
,
Final evaluation report: Iowa distance education alliance,Studies in Education, Ames,
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
Métodos utilizados
Componente 2. Efectividad
Este componente del proceso de evaluación pretende dar algún valor
Métodos utilizados: focus grouppuede proporcionar información valiosa acerca del desarrollo del
diarios de los participantes, que algunas veces son llevados si se les solicita, pueden ser analizados para determinar la efectividad día a
Componente 3. Impacto
Durante esta etapa de la evaluación las preguntas se enfocan a la
plan del proyecto y son ligados con los resultados esperados que se
de un proyecto es normalmente determinado por el seguimiento
Datos cualitativosSon la información expresada
Datos cuantitativos
de
¿Ha aumentado el uso de los recursos y metodologías en el lugar
Métodos usados: las mediciones cualitativas conforman la mayor
datos registrados, encuestas, entrevistas, grupos de enfoque y
A este componente de la evaluación tradicionalmente no se le
Métodos usados: la evaluación del contexto organizacional usa entrevistas a personas clave, a grupos de usuarios o personas que
Componente 5. Consecuencias inesperadas
resultado no esperado de la instrumentación del proyecto de
Datos longitudinalesAlgunas veces llamados “datos
o no ser la misma cada vez,
DISEÑO DE PROYECTOS DE INNOVACIÓN EDUCATIVA
información anecdótica relacionada con la actividad que están
Métodos usados: entrevistas, grupos de enfoque, encuestas
RESUMEN
conceptos de la evaluación de proyectos que toma en consideración las preguntas que guían al estudio, las limitaciones a las que el evaluador se puede enfrentar y las necesidades de información de
evaluación, entre otros,
ejecución, cuya evaluación se centra en los factores que
El desempeño, cuya evaluación va más allá de los factores de
causalidad, que somete a escrutinio los factores o
