Embed Size (px)
DESCRIPTION
se describen modelos de evaluacion
Citation preview
Métodos alternativos
de evaluación
Mtra. Patricia Trujillo Villafañe
Tres grupos de métodos
1. Pseudoevaluación
2. Cuasievaluación
3. Verdadera evaluación
1. Pseudoevaluación
Se dice que los mentirosos imaginan cosas y que las imaginaciones mienten. Del mismo modo los charlatanes y los manipuladores utilizan a menudo la evaluación de una manera inadecuada para lograr sus objetivos.
Puede que recopilen información rigurosamente, pero no revelan las verdaderas conclusiones, o lo hacen de un modo selectivo, o incluso las falsifican, engañando tanto a la gente como a sí mismos.
Dos tipos de
pseudoevaluación
Investigaciones encubiertas.
Estudios basados en las relaciones
públicas.
Investigaciones
Encubiertas
Investigaciones encubiertas o también llamada
“evaluación políticamente controlada”.
La intención del cliente al encargar una
investigación encubierta es conseguir asistencia
para obtener, mantener o incrementar una
esfera de influencia , poder o dinero.
Los problemas que plantea son los que
interesan al cliente y a ciertos grupos que
comparten sus intereses.
Métodos típicos
Análisis de documentos
Vigilancia de los implicados
Estudios simulados
Investigaciones privadas
Expedientes secretos
La información
El cliente quiere que la información sea tan
sólida técnicamente como sea posible pero
también que se le garantice la posibilidad de
controlar la revelación de la información.
La información puede ser revelada
selectivamente para crear una falsa imagen
del valor de un objeto, o incluso no revelada,
para ocultar una situación.
Estudios basados en las
relaciones públicas
Se trata de un estudio planificado, realizado y utilizado para satisfacer propósitos que tengan que ver con las relaciones públicas.
Las necesidades informativas del propagandísta y la intención del estudio es ayudar al cliente a crear una imagen positiva de una institución, un programa, un sistema y similares.
Buscan información que pueda ser de ayuda para asegurar el apoyo del público.
Métodos típicos
Inspecciones.
Pruebas.
Utilización de asesores “expertos”.
Utilización de métodos dudosos por
parte de este tipo de evaluadores en su
propensión a crear una buena imagen
del objeto de la evaluación.
2. Cuasievaluación
Aparecen especificados porque existe la evidencia de que a veces pueden ser utilizados para enjuiciar el valor o el mérito de un objeto, mientras que en otros casos su alcance es demasiado estrecho o solo tangencial a las cuestiones del mérito y el valor.
Estos estudios empiezan con un problema concreto y luego buscan la metodología apropiada para solucionar ese problema.
Usos de la información
obtenida
Que la información obtenida sea suficiente
para apoyar un juicio sobre el valor de algo
es, definitivamente , una cuestión secundaria.
Los estudios cuasievaluativos poseen otros
usos muy legítimos, aparte de su relación
con la evaluación.
La principal cautela que hay que adoptar ante
este tipo de estudios es NO considerarlos
equivalentes a la evaluación.
Dos modelos de estudio
cuasievaluativo
Estudios basados en objetivos. (Tyler)
Estudios basados en la experimentación. (Suchman)
Existen otros métodos cuasievaluativos, descritos por Stufflebeam y Webster y son los estudios de responsabilidad, los programas de pruebas y los sistemas de información administrativa.
Estudios basados en
objetivos
Estos han sido la principal fuerza que ha impulsado el movimiento para sistematizar el trabajo evaluativo.
El estudio suele basarse en algún informe sobre los objetivos, estos pueden ser determinados por los clientes, establecidos por las personas cuyo trabajo se está valorando, formulados por el evaluador o fijados conjuntamente por todos aquellos que participan en la evaluación.
Propósito
El propósito de los estudios basados en
objetivos es determinar si estos han sido
alcanzados y, de acuerdo con esto, concluir
si se ha tenido éxito en el trabajo que se ha
valorado.
Las audiencias más frecuentes son los
creadores de programas, los patrocinadores,
los administrativos y los proveedores de
servicios.
Métodos utilizados
La recopilación y análisis de datos sobre el trabajo en cuestión, relativas a objetivos específicos.
Ralph Tyler es el pionero de este tipo de estudios.
Muchos han ido más allá que Tyler al desarrollar variaciones sobre su modelo evaluativo basado en los objetivos (Bloom, Hammond, Metfessel y Michael, Popham y Provus).
Sigue siendo el que más frecuentemente se utiliza con el nombre de evaluación.
Estudios basados en la
experimentación
Es muy importante en evaluación, se
incluye como cuasievaluación porque
incluye cuestiones y metodologías a
veces relacionadas, pero a veces no,
con el juicio de valores.
Se basa en la exposición de problemas,
las hipótesis y el estudio de las
cuestiones.
Propósito
Determinar o demostrar vínculos
casuales entre ciertas variables
dependientes e independientes , como
por ejemplo un método de enseñanza y
una ejecución profesional y
documentada, o un test con
calificaciones.
¿De dónde proceden los
problemas?
De los investigadores
De quienes desarrollan los programas
de educación
De los editores de publicaciones
¿De dónde NO
proceden?
De los implicados
De los participantes
De los promotores financieros
Métodos utilizados
Planes experimentales
Planes cuasiexperimentales
Algunos pioneros son: Linquist (1953),
Campbell y Stanley (1963), Suchman
(1967) y Cronbach y Snow (1969).
La principal ventaja
Proporcionan métodos sólidos para la
determinación de relaciones causales
entre el programa y los resultados.
Los problemas
Consisten en que el método, a menudo, no resulta factible a la hora de señalar los límites de la especialidad y proporciona una información mucho más restringida de la que es necesaria para evaluar programas de educación, salud y bienestar. Además los estudios experimentales tienden a proporcionar una información final que no resulta útil como guía para el proceso de desarrollo.
3. Verdadera evaluación
Se oponen a las pseudoevaluaciones y
subrayan la necesidad de evitar los
estudios tendenciosos, y , en contraste
con las cuasievaluaciones,
recomiendan la realización de
investigaciones de conjunto basadas en
cuestiones de valor y mérito.
Cuatro modelos de
verdaderas evaluaciones
Estudios de orientación de la decisión.
Estudios centrados en el cliente.
Estudios políticos.
Estudios basados en el consumidor.
Estudios de orientación
de la decisión
Esta evaluación se utiliza para el
perfeccionamiento de un programa y
para enjuiciar su valor.
Está concebido casi siempre para los
niveles administrativos, ya que existe
más autoridad decisoria en los niveles
más altos.
Las decisiones a tomar
Ya sea por un administrador,
Un consejo político,
Un personal de programación o
Un electorado
Proporcionan organizadores previos para los estudios de orientación de la decisión, básicamente la intención de estos estudios es proporcionar conocimientos y bases valorativas para tomar y justificar decisiones.
La procedencia de los
problemas
planteados en este tipo de
estudios
Incluye a todos aquellos que toman decisiones:
Administadores, ciudadanos, estudiantes,
profesores, médicos, juntas políticas,
votantes y cualquiera que decida cómo
planificar, dirigir y utilizar servicios
Cuestiones que plantea
¿qué es lo que hay que conseguir?
¿cuál debe ser la planificación de una
empresa determinada?
¿cómo debe llevarse a cabo el plan?
¿cuándo y cómo debe ser modificada la
empresa?
Métodos utilizados
Inspecciones
Valoración de las necesidades
Estudios de casos
Series de recomendaciones
Observaciones estructurales
Planificaciones cuasiexperimentales y
experimentales
Cronbach
(1963) introdujo la idea de que la
evaluación debía ser reorientada y que,
de basarse en objetivos, debía pasar a
ser una ayuda para que los educadores
tomaran decisiones más acertadas
acerca de cómo educar.
Stufflebeam
(1966, 1967) introdujo una
conceptualización de la evaluación que
se basaba en la idea de que ésta debía
ayudar a los educadores a tomar y
justificar decisiones que pudieran
satisfacer mejor las necesidades de los
estudiantes.
Otros autores son:
Alkin (1969)
Reinhard (1972)
Taylor (1974)
Guba (1978)
Webster (1975)
La principal ventaja
Anima a los grupos de profesionales, así
como a las organizaciones gubernamentales,
a utilizar la evaluación contínua y
sistemáticamente para planificar y llevar a
cabo los servicios que satisfacen las
necesidades de los clientes.
Proporciona una base lógica que ayuda a los
profesionales a responder de las decisiones
tomadas en el curso de un servicio.
Su principal limitación
Es que la colaboración imprescindible
entre el evaluador y el que toma las
decisiones puede conducir a una
distorsión de los resultados.
La metaevaluación externa (la
evaluación de la evaluación) se emplea
para contrarrestar esas posibles
desviaciones.
Estudios centrados en el
cliente
Está concebido más en el personal de una organización, se preocupa más de “dónde está la acción”.
Los estudios relacionados con este enfoque se centran principalmente en ayudar a aquellos que realizan un servicio cotidiano a valorar y perfeccionar sus contribuciones.
Los organizadores previos son las preocupaciones y problemas del programa del servicio.
Propósito
Ayudar a la gente que forma parte de
un servicio local a comprender cómo
funcionan las actividades de su servicio
y el grado en que estos servicios son
respetados por los expertos y valorados
por los clientes.
Los problemas
Proceden de la comunidad
De grupos locales
De expertos ajenos al caso
Métodos utilizados
Estudio de casos
Informes contrapuestos
Sociodramas
Evaluación respondente (Stake)
Stake
(1967) es el pionero de este tipo de
estudios y su método ha sido
desarrollado por MacDonald (1975) en
Inglaterra, Rippey (1973) , y más
recientemente Guba (1978).
La principal virtud
Es que se trata de una investigación
activa en la que se ayuda a la gente
que realiza programas a dirigir sus
propias evaluaciones.
Su principal defecto
Su ausencia de credibilidad externa y la
posibilidad de ser manipulado por
ciertos elementos locales que, en
efecto, ejercen un gran control sobre la
evaluación.
Estudios Políticos
Sirve para identificar y valorar los méritos de
varias políticas que compiten en una
sociedad o segmento social.
El organizador previo de un estudio político
es una determinada cuestión política, como
por ejemplo, ¿cuál es el mejor o, al menos, el
método más efectivo de satisfacer las
directrices federales en lo que a igualdad de
oportunidades educativas se refiere?
Propósito
Describir y valorar los costos y
beneficios potenciales de diversas
políticas aplicables a una institución
determinada o a la sociedad.
Plantean las cuestiones
Los legisladores
Las asociaciones políticas
Los grupos especialmente interesados
Pregunta principal
¿Cuál de entre dos o más políticas
distintas logrará con mayor éxito
resultados válidos a un costo
razonable?
Métodos utilizados
Estudios políticos
La planificación experimental y
cuasiexperimental,
Los guiones,
Los pronósticos y
Los procedimientos judiciales.
Joseph Rice
Puede ser considerado el pionero en
esta área, otros fueron Coleman,
Campbell, Hobson, McPartland, Moor,
Weinfeld y York (1966). Jenks, Smith,
Adand, Bane, Cohen, Gintis, Heynes y
Mikelson (1972). Clark (1965), Owens,
Wolf y Weiss (1972).
La principal ventaja
Resultan esenciales como guía de las
instituciones y de la sociedad.
Principal inconveniente
Pueden corromperse por el ambiente
político en el que se desarrollan.
Estudios basados en el
consumidor
En este tipo de estudios el evaluador es
el “inteligente sustituto” del consumidor.
Los organizadores previos son los
valores y necesidades de la sociedad.
Propósito
Un estudio basado en el consumidor
tiene como propósito juzgar los valores
relativos de los bienes y servicios
alternativos y, como consecuencia,
ayudar a los contribuyentes y clientes a
saber elegir en sus adquisiciones de
esos bienes y servicios.
Lo problemas
Están relacionados con la sociedad,
con los que forman parte de los
servicios institucionales y
especialmente con las premisas del
evaluador.
Pregunta Principal
¿Cuál de los muchos objetos de
consumo alternativos es mejor comprar
dado su costo, las necesidades del
grupo consumidor y los valores de la
sociedad en general?
Métodos utilizados
Listas de control
La valoración de las necesidades
Evaluación de los objetivos
La planificación experimental y
cuasiexperimental
El análisis de modus operandi
El análisis de los costos
Scriven
(1967) fue el primero en aplicar este
tipo de estudio a la educación.
Glass ha desarrollado enérgicamente el
trabajo de Scriven.
Principales ventajas
Se trata de una valoración sólida e
independiente concebida para proteger
a los consumidores de productos y
servicios de muy baja calidad.
El método goza de gran credibilidad
entre los grupos de consumidores.
Desventajas
Puede llegar a independizarse tanto de
quienes lo practican que quizá no pueda
ayudarles a la hora de servir mejor a los
consumidores.
Este tipo de estudio requiere de un experto
que sea competente y en el que se pueda
confiar, además de los recursos suficientes
que le permitan realizar un estudio
minucioso.
Desventajas
Este método, es demasiado costoso
como para ser llevado a cabo.
A menudo, da como resultado datos
imperfectos y poco fiables.
Conclusiones
Los evaluadores tienen que tomar en cuenta que quizá se encuentren con dificultades considerables si su concepción del estudio que están llevando a cabo difiere de la de sus clientes o audiencias.
Con frecuencia los clientes desean un estudio políticamente ventajoso (pseudoevaluación), mientras que los evaluadores prefieren realizar estudios basados en cuestiones concretas (cuasievaluación), puesto que ello les permite aplicar la metodología para la que se han preparado.
Conclusiones
Los consumidores de los servicios que
se están valorando desean, por lo
general, estudios basados en los
valores (verdadera evaluación), que les
ayuden a determinar el valor de los
bienes y servicios o juzgar el mérito y el
valor de un programa.
