View
802
Download
2
Embed Size (px)
DESCRIPTION
Material de apoyo sobre Sistemas de Evaluación en Linea
Citation preview
Sistemas de evaluación
en líneaELVIRA NAVAS P
EVALUACIÓN Y RECURSOS DIGITALESCEPR08
EL DESARROLLO DE LAS EVALUACIONES “EN-LÍNEA” RESPONDE FUNDAMENTALMENTE A
Facilidad de desarrolloEn el mundo tecnológico es
relativamente sencillo el desarrollo de herramientas que faciliten la producción
de pruebas de evaluación. De hecho existe una variada oferta, colocando
estas herramientas al alcance de cualquier docente interesado.
Amplitud de usoEl uso de las evaluaciones se ha expandido
más allá de evaluar conocimientos. Se están usando para exponer a las personas a
experiencias de aprendizaje, reducir curvas de aprendizaje, afianzar habilidades,
conocimientos y destrezas adquiridas, y para motivar proporcionando un sentido de logro.
¿QUIÉNES SON LOS ACTORES?
El diseñadorEncargado de elaborar las preguntas de evaluación.
El instructor/docenteEncargado de diseñar y
realizar las pruebas.Puede ser el mismo
diseñador.
El usuarioLa persona que toma las pruebas de evaluaciones.
BENEFICIOS
Diversidad de pruebas
Reutilización de elementos
Evaluaciones adaptativas
Retroalimentación oportuna
Facilita el desarrollo
DESVENTAJAS
Dudas sobre la identidad del usuario
Corrección de respuestas abiertas
Corrección de preguntas con respuestas cortas.
Dificultades de tipo técnico
CARACTERÍSTICAS DE LAS EVALUACIONES
“EN-LÍNEA” Registro automático de resultados
Uso de banco de preguntas
Orden aleatorio de las preguntas
Retroalimentación
Puntaje
Almacenar resultados
Tiempo
Esquemas de navegación por las pruebas
RECOMENDACIONES AL DISEÑAR PRUEBAS
Incorpore instrucciones claras
Cuando coloque al usuario frente a una pregunta de completación o selección
múltiple, asegúrese de incluir instrucciones claras y completas.
Por ejemplo, aclare si errores de tipeo bajarán puntos o si hay más de una
respuesta correcta.
Al utilizar un puntaje variable, asegúrese de proveer instrucciones
precisas al usuario sobre cómo serán corregidas sus respuestas.
Tome previsiones de diseño tales
como…
Número de preguntas
Tiempo estimado de la prueba
Tipo de preguntasPuntuación
estimada para cada pregunta.
Criterios de corrección de cada
pregunta.
RECOMENDACIONES AL DISEÑAR PRUEBAS
PELIGROS DE LOS PROGRAMAS PARA GENERAR EVALUACIONES
Las preguntas NO están relacionadas a los
objetivos del curso.(debe estar de acuerdo además
al nivel del objetivo)
Número inadecuado de preguntas. No debe ser ni
muy bajo que resulte insuficiente ni muy alto
que resulte en cansancio que desmejore el
resultado real.
Evaluación desproporcionada de la
memorización
DISEÑO DE ÍTEMS
DE EVALUACIÓN
COMPONENTES DEL ÍTEM DE EVALUACIÓN
Enunciado de la pregunta que presenta un problema.
Opciones de respuesta
Navegación
Evaluación de la respuesta
No ofrece información alguna.
Ofrece la respuesta correcta e información complementaria.
Ante un error, explica porque no es correcta la respuesta.
Ante un error, ofrece asistencia (“coaching”).
Ofrece una pista para facilitar un nuevo intento.
Ofrece oportunidad de desplazarse a otro lugar (hipervínculo).
Ofrece mensajes de motivación.
Según la estrategia
Muestra un texto.
Muestra clip de sonido o
animado.Mezcla de
los anteriores.
Según medios
utilizados
Genérica
Para buenas y para malas
Específica a cada opción
Según el alcance
Inmediata
Al finalizar la prueba
Bajo solicitud del usuario
Según el Momento
COMPONENTES DEL ÍTEM DE EVALUACIÓN
RETROALIMENTACIÓN.
TIPOS DE ÍTEMS DE EVALUACIÓN
ARRASTRAR Y SOLTARDRAG AND DROP
En este tipo de ítem se evalúa que el usuario sea capaz de
seleccionar y arrastrar un objeto para dejarlo caer (soltarlo) en la
posición correcta. Exige que el usuario tenga la habilidad para arrastrar y soltar
objetos en la pantalla.
Por su contenido visual y por exigir cierta interactividad, es un ítem de
evaluación atractivo para los usuarios.
RESPUESTA LARGA O ENSAYO
En este tipo de ítem el usuario debe responder a preguntas abiertas.
Para la evaluación de este tipo de
ítems, existen al menos dos opciones:
Evaluación automática- Se localizan palabras claves (su presencia o ausencia) predefinidas por el diseñador.- Es previsible cierto margen de error en esta identificación automática.
Con la ayuda de un experto en contenidos
- Las respuestas son enviadas electrónicamente a un especialista para que verifique su correctitud y las comente.- Obviamente habrá retardo para conocer los resultados.
ÁREA ACTIVA HOT SPOT
En este tipo de ítem se le exige al usuario que
seleccione una posición sobre una imagen.
Requiere utilizar un ratón o una pantalla sensible al
toque.
Se presentan dos categorías de elementos para que el usuario relacione un elemento de una categoría con uno de la otra categoría.
La representación visual del pareo puede diferir desde una línea de conexión hasta un conjunto de cajas de selección.
Las preguntas de pareo evalúan a nivel de memorización y son consideradas una variación de preguntas de selección.
PAREO (ENTRE DOS LISTAS)
Para desarrollar este tipo de preguntas:- Verifique el diseño de interface para que los elementos ocupen la pantalla sin la necesidad de desplazarse (scroolling).- Considere el efecto de distintas resoluciones de pantalla sobre su diseño.- Evite utilizar herramientas que dibujan una línea entre los elementos conectados.- Provea algunos distractores y evite que las columnas contengan la misma cantidad de elementos, ya que esto facilita la respuesta a medida que quedan eliminados los elementos.
SELECCIÓNVERDADERO Y FALSO
Las preguntas de verdadero y falso son apropiadas para evaluar memorización de
información factual.
Son preguntas generalmente sencillas de escribir. Si memorizar no es acorde al objetivo, re-evalúe
su uso.
Para desarrollar preguntas de verdadero y falso:- Escriba una pregunta de verdadero y falso para cada hecho que deba memorizarse.- Evalúe hechos significativos, en lugar de trivialidades.- Escriba enunciados que inequívocamente sean verdadero o falso.- Escriba oraciones cortas.- Elimine detalle innecesario que pueda confundir al usuario.- Evite oraciones negativas y doble negaciones que pueden añadir una sobrecarga cognitiva innecesaria.
SELECCIÓN SIMPLE
Se le presenta al usuario un conjunto de opciones para que seleccione aquella que es
correcta.
Dentro de esta categoría también se encuentran los ítems de “verdadero y falso”.
Para que tengan una buena efectividad es necesario un buen diseño del ítem (redacción
de la pregunta y de las opciones).
Existe el peligro de redactar opciones muy sencillas de responder.
SELECCIÓN MÚLTIPLESimilar a la de selección simple, se le presenta un conjunto de opciones al usuario para que seleccione todas aquellas que son ciertas o verdaderas.
Este tipo de ítem exige al usuario reflexionar sobre cada una de las opciones, por tanto ofrece una buena oportunidad de aprendizaje.
Las preguntas de selección múltiple evalúan hechos y la aplicación de conocimientos. Son preguntas más difíciles de escribir pero son la base para bifurcaciones, análisis de ítems, aprendizaje adaptativo y personalización.
• Para desarrollar preguntas de selección múltiple:– Evalúe una sola pieza de información por pregunta.– Utilice sólo distractores creíbles.– Utilice 4 ó 5 distractores.– Evite utilizar respuestas que sean fácilmente descartadas.– Revise la pregunta para identificar pistas que haya colocado
inadvertidamente.– Chequee que la herramienta permita dar crédito a respuestas
parcialmente correctas.– Evite utilizar “ninguna de las anteriores” o “todas las anteriores”
como distractores.– En caso de utilizarlas, verifique que pueden pasar como respuestas
posibles.– Coloque las respuestas en un orden lógico. Por ejemplo cuando
aparecen fechas o números, colóquelos en orden.
SELECCIÓN MÚLTIPLE
COMPLETACIÓNEn los ítems de evaluación de “completación” el usuario debe colocar las palabras faltantes a un texto dado.
El diseñador debe tener en cuenta (prever) cómo debe reaccionar la prueba ante errores tipográficos del usuario y asegurarse de incorporar múltiples opciones correctas.
Las preguntas de completación (fill in the blanks) evalúan hechos o aplicación de conocimientos. Son preguntas retadoras al escribirlas debido a limitaciones existentes en algunas herramientas para aceptar sólo palabras o frases exactas.
• Para escribir preguntas de completación:– Escriba preguntas que tengan una respuesta sencilla.– Mantenga presente las limitaciones de la herramienta.– Utilice un solo espacio vacío por pregunta.– Utilice este tipo de pregunta cuando desee que el usuario
recuerde información en lugar de seleccionar o identificar información.
– Considere el riesgo de errores de tipeo y de respuestas debatibles.
– Si la herramienta no puede aceptar un conjunto de respuestas posibles, prepárese para una revisión manual para ser justo.
COMPLETACIÓN
RECOMENDACIONES AL DISEÑAR ITEMS DE EVALUACIÓN
Minimice el “adivinar” y evite preguntar información trivial.
Evite que se necesite scrolling.
En cuanto al diseño de las opciones redáctelas de manera que….
RECOMENDACIONES AL DISEÑAR ITEMS DE EVALUACIÓN
Sean comparables en contenidos, longitud y lógica.• Facilita la validez de los distractores.• Además, estadísticas demuestran que el 65% de las veces la opción
correcta es la más extensa. Se debe a que suele ser la más detallada y completa. Asegúrese que la correcta no sea la opción más larga.
No se repitan.• Evite que aparezcan palabras repetidas en cada opción. Hace más
difícil su entendimiento. Las palabras repetidas deben formar parte del enunciado.
Sean semejantes en su lenguaje .• Evite que por la sintaxis pueda inferirse cual es la opción correcta.
RECOMENDACIONES AL DISEÑAR ITEMS DE EVALUACIÓN
Ordenadas lógicamente.
• Si son números, colóquelos ordenadamente.
Distractores reales (creíbles).
• Esto puede ser lo más difícil. Un distractor luce razonable, pero no es técnicamente correcto.
• Deben utilizarse para separar a los usuarios en dos grupos: aquellos que entienden el material y aquellos que no tienen el suficiente conocimiento.
• Errores que comúnmente cometen los usuarios, son excelentes distractores.
No incluyan “ninguna de las anteriores” o “todas las anteriores”.
BIBLIOGRAFÍA CONSULTADA
• QuestionMark. Learning about assesment. • Creating Effective Assessments- (Question Mark
Presentación en Power Point)
• How to Write Good Test Questions – (Question Mark Presentación en Power Point)
• Evaluación durante el proceso de aprendizaje. (Question Mark Documento PDF)