10 métodos de asignación de la puntuación

Métodos para la asignación de puntajeID7756 Evaluación del Aprendizaje de Idiomas

Enero-Marzo 2014Prof. Yris Casart ycasart@usb.ve

Proceso de medición

1) Definición teórica del constructo2) Definición operacional del constructo3) Establecimiento del método para la

asignación de puntajeCuantificación de las respuestas, cómo derivar la puntuación a partir de las respuestas de los evaluandos.Se obtiene una medida.

(Bachman & Palmer, 1996)

Establecimiento del método para la asignación de puntaje

Forma parte de la operacionalización. Se debe evaluar en función de su utilidad. Las decisiones que se adoptan en la etapa

de operacionalización son tentativas. Es recomendable administrar la prueba

para corregir las respuestas y analizar los resultados.

(Bachman & Palmer, 1996)

Establecimiento del método para la asignación de puntaje

Depende de, y a su vez influye sobre, otros aspectos de la prueba tales como el tipo de tareas incluidas o las respuestas esperadas.

Definición de constructo

Áreas de habilidad lingüística a las cuáles se debe asignar puntuación.

Tipo de puntuación que se debe reportar.

(pormenorizada o compuesta)(Bachman & Palmer, 1996)

Métodos de asignación de puntaje

Primer enfoque: “La puntuación se define como el número de tareas de la prueba realizadas de manera exitosa.” (p. 194)Segundo enfoque:“Definir diversos niveles de la habilidad lingüística en una o más escalas de valoración y calificar las respuestas en función de dichas escalas.” (p. 195)

(Bachman & Palmer, 1996)

Número de respuestas correctasSe suma el número de respuestas correctas.Se utiliza con ítems de selección o respuestas con producción limitada.Comúnmente utilizado para evaluar áreas específicas de conocimiento lingüístico o en tareas de uso receptivo de la lengua. (Bachman & Palmer, 1996)

Número de respuestas correctas

Este método requiere: Definición de criterio(s) de

corrección. Determinar si las respuestas serán

consideradas correctas, incorrectas o con diferentes grados de corrección.

(Bachman & Palmer, 1996)

Uso de escalas de valoración

Se juzga la calidad de la respuesta por niveles de habilidad.Usadas en tareas con estímulo/reactivo (prompt) que requieren respuestas extensas.Se emplean para evaluar el desempeño en tareas de uso productivo de la lengua. (Bachman & Palmer, 1996)

Uso de escalas de valoración

Este método requiere: Definición las escalas de valoración

en función de las áreas de habilidad lingüística.

Determinar los niveles de habilidad para cada escala.

(Bachman & Palmer, 1996)

Métodos de asignación de puntaje

Para ambos métodos es preciso: Especificar el(los) criterio(s) para

establecer la corrección de las respuestas.

Establecer los procedimientos para asignar el puntaje.

(Bachman & Palmer, 1996)

Consideraciones para la corrección de preguntas

de selección

Criterio de corrección único

My neighbor asked me _____ away the tall weeds in my yard.

a) clear

b) to clear

c) cleared

d) clearing

Mide: conocimiento gramatical.Criterio: precisión gramatical.

*

(Bachman & Palmer, 1996)

Procedimientos para la asignación de puntuación

She turned the wheel quickly to _______ a tractor and her car went off the road.

a) hitted

b) avoided

c) preserve

d) avoid

(Bachman & Palmer, 1996)

*

Procedimientos para la asignación de puntuación: correcto/incorrecto

She turned the wheel quickly to _______ a tractor and her car went off the road.

a) hitted 0

b) avoided 0

c) preserve 0

d) avoid 1

(Bachman & Palmer, 1996)

Procedimientos para la asignación de puntuación: otros enfoques

She turned the wheel quickly to _______ a tractor and her car went off the road.

Grammar Meaning

a) hitted

b) avoided

c) preserve

d) avoid

(Bachman & Palmer, 1996)

She turned the wheel quickly to _______ a tractor and her car went off the road.

Grammar Meaning

a) hitted b) avoided c) preserve d) avoid

(Bachman & Palmer, 1996)

Procedimientos para la asignación de puntuación: otros enfoques

She turned the wheel quickly to _______ a tractor and her car went off the road.

Grammar Meaning

a) hitted 0 0

b) avoided 0 1

c) preserve 1 0

d) avoid 1 1

(Bachman & Palmer, 1996)

Procedimientos para la asignación de puntaje: correcto/incorrecto múltiple

She turned the wheel quickly to _______ a tractor and her car went off the road.

Grammar Meaning Both

a) hitted 0 0 0

b) avoided 0 1 1

c) preserve 1 0 1

d) avoid 1 1 2

(Bachman & Palmer, 1996)

Procedimientos para la asignación de puntuación: crédito parcial

Ventajas de estos enfoques

Proporcionan más información acerca de las respuestas (áreas fuertes y débiles de los evaluandos). Por lo tanto, …

Es posible reportar puntuaciones diferentes para las distintas áreas de habilidad lingüística evaluadas.

(Bachman & Palmer, 1996)

Ventajas de estos enfoques

Su implementación requiere una descripción detallada de los componentes de la habilidad lingüística a evaluar (constructo) y de los criterios de corrección.

Esto fortalece la relación entre las puntuaciones asignadas y el constructo que se desea medir.

(Bachman & Palmer, 1996)

Desventaja de estos enfoques

Su implementación (tanto la corrección como el análisis de los resultados) resulta más complicada que dar una sola puntuación por respuestas correctas o incorrectas.

(Bachman & Palmer, 1996)

Respuesta correcta vs. Mejor respuesta

El evaluando debe escoger la mejor respuesta entre las opciones proporcionadas. Por ejemplo, escoger la palabra cuyo significado se acerca más al de una palabra subrayada o escoger el mejor título para un texto.

(Bachman & Palmer, 1996)

Parte de la premisa de que hay una sola respuesta correcta y que dicha respuesta se encuentra entre las alternativas. En las pruebas de gramática en formato de selección simple por lo general se utilizan preguntas de este tipo.

A este respecto, Bachman y Palmer (1996, p. 203) apuntan lo siguiente:

“En el uso de la lengua prácticamente no hay ninguna situación en la cual exista una sola respuesta apropiada”.

Factor de corrección

El factor de corrección se utiliza para eliminar posibles ventajas de los evaluandos que contestan correctamente al azar, sobre los que no tratan de adivinar las respuestas.Sin embargo, no es posible distinguir entre ítems contestados al azar y los contestados correctamente a partir de conocimiento parcial (adivinanza “informada”).

(Bachman & Palmer, 1996)

Medidas a adoptar

Proporcionar suficiente tiempo para que los evaluandos contesten la prueba.

Adecuar la prueba al nivel de los evaluandos.

Alentar a los evaluandos para que descarten tantas opciones como puedan antes de tratar de adivinar la respuesta.

(Bachman & Palmer, 1996)

Consideraciones para la corrección de preguntas de producción limitada

Criterio de corrección único

Ítem de producción limitada que mide conocimiento gramatical y cuyo criterio único de corrección es precisión gramatical.

She turned the wheel quickly to _______ a tractor and her car went off the road.

preserve

(Bachman & Palmer, 1996)

Criterio de corrección único

Ítem de producción limitada que mide conocimiento léxico y cuyo criterio único de corrección es precisión de significado.

We mailed out several hundred ________ of the advertisement to our costumers this morning.

copy

(Bachman & Palmer, 1996)

Los ejemplos ilustran que… …los criterios de corrección deben reflejar

la definición del constructo que se desea medir.

…es problemático intentar medir un área de conocimiento lingüístico aisladamente a través de ítems de producción limitada.

…se aceptarían como correctas, respuestas que resultarían incorrectas o inapropiadas en el ámbito de uso de la lengua.

(Bachman & Palmer, 1996)

Dado que “el uso de la lengua es un proceso interactivo que involucra múltiples áreas de conocimiento lingüístico,

(Bachman & Palmer, 1996, p. 197)

Dado que “el uso de la lengua es un proceso interactivo que involucra múltiples áreas de conocimiento lingüístico, y nuestra creencia en la importancia de la autenticidad e interactividad en las tareas de las pruebas,

(Bachman & Palmer, 1996, p. 197)

Dado que “el uso de la lengua es un proceso interactivo que involucra múltiples áreas de conocimiento lingüístico, y nuestra creencia en la importancia de la autenticidad e interactividad en las tareas de las pruebas, (…) para poder hacer inferencias sobre la habilidad lingüística de los evaluandos sobre la base de sus respuestas a las tareas de la prueba,

(Bachman & Palmer, 1996, p. 197)

Dado que “el uso de la lengua es un proceso interactivo que involucra múltiples áreas de conocimiento lingüístico, y nuestra creencia en la importancia de la autenticidad e interactividad en las tareas de las pruebas, (…) para poder hacer inferencias sobre la habilidad lingüística de los evaluandos sobre la base de sus respuestas a las tareas de la prueba, será necesario emplear criterios de corrección múltiples al asignar el puntaje a esas respuestas.”

(Bachman & Palmer, 1996, p. 197)

She turned the wheel quickly to _______ a tractor and her car went off the road.

preserve avoid dodge

We mailed out several hundred _______ of the advertisement to our costumers this morning.

copy copies duplicates

Precisión gramatical + léxica + etc.

(Bachman & Palmer, 1996)

Consideraciones

All professors at the university _______ their teaching because of the large pay raises given to top administrators while faculty salaries were frozen.

El rango de posibles respuestas a las preguntas de producción limitada es muy amplio. Especialmente si es posible producir más de una palabra o frase.

(Bachman & Palmer, 1996)

Implicaciones para la corrección

1) Resulta más complicado asegurarse de que el criterio de corrección se corresponde con la definición de constructo, ya que puede haber respuestas aceptables que no cumplen con el criterio de corrección.

2) La clave debe incluir una lista de posibles respuestas correctas. También las respuestas aceptables y ponderación en caso de adoptar método de crédito parcial.

(Bachman & Palmer, 1996)

Implicaciones para la corrección

3) Dado que los evaluandos construyen su propia respuesta, se consideran preguntas del tipo “mejor respuesta”.

4) Por la amplia gama de respuestas, se recomienda utilizar el método de crédito parcial.

5) Es poco probable adivinar la respuesta al azar, por lo que no aplica utilizar factor de corrección.

(Bachman & Palmer, 1996)

Conocimiento temático

According to the passage, the most effective way to avoid procrastination is to ________ .

Ítem de comprensión del contenido de un texto. Constructo: habilidad para realizar tareas de lectura.Criterio de corrección: contenido temático incluido en el input a interpretar.

(Bachman & Palmer, 1996)

Uso de escalas de valoración para identificar

niveles de habilidad lingüística

Escalas globales

Parten de la premisa de que la habilidad lingüística es una habilidad unitaria, sin embargo estas escalas contienen múltiples componentes.Resulta difícil saber lo que refleja la puntuación.Resulta difícil asignar un nivel, si no todos los componentes cumplen los criterios al mismo tiempo.Puede haber discrepancias en la ponderación asignada a los diferentes componentes.

(Bachman & Palmer, 1996)

Escalas analíticas

Las definiciones operacionales de las escalas se elaboran a partir de las definiciones teóricas del constructo.Los niveles de las escalas se refieren a los niveles de las diferentes áreas de la habilidad lingüística.El nivel más bajo “no hay evidencia de”El nivel más alto “se evidencia el dominio de”

(Bachman & Palmer, 1996)

Ventajas de las escalas analíticas

Permiten elaborar un perfil de las áreas de habilidad lingüística.

Reflejan los aspectos que los correctores consideran a la hora de asignar la puntuación.

(Bachman & Palmer, 1996)

Definición de las escalas

Indicar las características específicas de la muestra que se deben evaluar empleando la escala.

Definir los niveles de la escala en función del grado de dominio de dichas características.

(Bachman & Palmer, 1996)

Consideraciones

Las muestras evaluables dan un rango de oportunidades para que los componentes de la habilidad lingüística estén presentes.

Pueden ser eficientes y confiables si: Se toma en cuenta los recursos necesarios. Prever las fuentes de inconsistencia:

diferentes interpretaciones, diferentes estándares (severidad), consideración de elementos no relevantes dentro de la escala.

Recomendaciones

Seleccionar y entrenar a los correctores Nivel de habilidad lingüística requerido. Cómo entrenar y seleccionar a los

evaluadores (p. 222). Obtener suficientes evaluaciones de cada

muestra. Calcular la confiabilidad (consistencia del

evaluador y entre los evaluadores)

Reporte de las puntuaciones

Puntuaciones por áreas de habilidad lingüística o por secciones de la prueba (subtests). Proporcionan un perfil.

Puntuación unificada: Compensatoria: se suman o promedian las

notas de las diferentes secciones. No compensatoria: se toma la nota más

baja obtenida en una o varias partes.

Proceso de asignación de puntaje

El desarrollo del método de asignación de puntaje es un proceso cíclico e iterativo que involucra. Elaboración inicial Ensayo Análisis de resultados Revisión

Referencias

Bachman, L. and Palmer, A. (1996). Language Testing in Practice: Designing and Developing Useful Language Tests. Oxford, UK: Oxford University Press.

13 de mayo de 2014 (Sesión 11)• Capítulo 12: Administración de las pruebas.• Evaluación de la comprensión auditiva

20 de mayo de 2014 (Sesión 12)• Métodos alternativos de evaluación.• Entrega del proyecto final

27 de mayo de 2014Entrega del portafolio