TÉCNICAS E INSTRUMENTOS - Tema 2: Características Técnicas de los Instrumentos de Medida (Parte...

TÉCNICAS E INSTRUMENTOS PARA LA

RECOGIDA DE INFORMACIÓNTema 2: Características técnicas de los instrumentos de medida

(Parte II)

Asignatura Obligatoria (OB) de 2º curso

Grado en Pedagogía

Comprender la utilidad de la medición en educación

Saber calcular la dificultad, discriminación/homogeneidad y análisis de los distractores de un ítem; y fiabilidad y validez de un test

Saber calcular la unidimensionalidad de un test

Diferenciar la TCT de la TRI

Calcular los parámetros de un ítem desde la TRI

Interpretar la información de los parámetros y características de un ítem desde la TRI

Objetivos

Tema 2 – Características técnicas de los instrumentos de medida

Características técnicas de los instrumentos de medida

Tema 2 – Características técnicas de los instrumentos de medida

Hablaremos de las características técnicas de los instrumentos de medida, sobre todo en lo referente a

los ítems que los componen

Teoría Clásica de los Test (TCT)

Los resultados dependen de la muestra elegida

Los resultados se expresan en

relación al grupo normativo

Teoría de Respuesta al Ítem (TRI)

Los resultados son invariantes a

la muestra elegida

Pero exige un importante tamaño de

muestra (n>300)

Teoría de Respuesta al Ítem (TRI)

Tema 2 – Características técnicas de los instrumentos de medida

“La Teoría de Respuesta al Ítem (TRI) intenta brindar

una fundamentación probabilística al problema de medir

constructos latentes (no observables) y considera al ítem

como unidad básica de medición (…)

(…) La puntuación de una prueba en el modelo clásico

(TCT) estima el nivel de un atributo (aptitud, rasgo de

personalidad, interés, etc…) como la sumatoria de

respuestas a ítems individuales, mientras que la TRI se

centra exclusivamente en el ítem”

Teoría Clásica de los Test (TCT) vs. Teoría de Respuesta al Ítem (TRI)

Tanto la TCT como la TRI abordan el mismo problema:

tratar de calcular el error cometido al medir variables de

naturaleza psicopedagógica, pero…

TCT

• Puntaje Verdadero (V)

• Lineal X= V+e

• Las características métricas (fiabilidad y validez) son del test en su conjunto, y están referidas al grupo normativo.

• A posteriori.

TRI

• Aptitud (θ)

• Exponencial

• Las características métricas son de cada ítem, y son invariantes a la muestra elegida. Basta comprobar el ajuste al modelo con una muestra grande (n>300).

• A priori.

Supuestos y Postulados de la TRI

Tema 2 – Características técnicas de los instrumentos de medida

• La respuesta al ítem está determinada exclusivamente por una variable, denominada rasgo latente (modelos unidimensionales)

Unidimensionalidad

• La probabilidad de responder correctamente a un ítem es independiente de la probabilidad de responder a otro cualquiera.

Independencia Local

Supuestos y Postulados de la TRI

Tema 2 – Características técnicas de los instrumentos de medida

Postulados básicos de la TRI

El resultado de un individuo en un ítem es explicado por un rasgo latente o aptitud (θ).

A medida que la aptitud (θ) aumenta, también aumenta la probabilidad (P) de responder correctamente el ítem.

La función que relaciona ambas cosas P(θ) se llama función característica del ítem o curva característica del ítem (CCI).

P(θ) es una función monótona creciente.

Modelos desde la TRI

Tema 2 – Características técnicas de los instrumentos de medida

Nos centraremos en los modelos donde la CCI obedece a una función logística

En concreto veremos el modelo de Rasch de 1, 2 y 3 parámetros

Modelo de Rasch de 1 parámetro

Tema 2 – Características técnicas de los instrumentos de medida

El parámetro θ se expresa estandarizado (media 0, desviación 1), y su recorrido

fundamental va desde -3 a +3.

El parámetro b viene expresado en la misma escala que θ, y en este modelo el

valor de b se corresponde al valor de θ para el cual P(θ) = 0,5.

Modelo de Rasch de 1 parámetro

Tema 2 – Características técnicas de los instrumentos de medida

b=0

Ejercicio 1. Supuesto un modelo TRI de Rasch de un solo parámetro, y dado un

ítem con b=0. ¿Cuál es la probabilidad de acertar dicho ítem para un sujeto con

una aptitud θ = -1? ¿Y con θ = 0? ¿Y con θ = 2? [Tomamos D=1,7]

Modelo de Rasch de 1 parámetro

Tema 2 – Características técnicas de los instrumentos de medida

Ejercicio 2. Supuesto un modelo TRI de Rasch de un solo parámetro. La CCI de

la izquierda corresponde al “ítem 1”, y la CCI de la derecha corresponde al “ítem

2”. ¿Cuál de los dos ítems tiene un mayor índice de dificultad?

Modelo de Rasch de 2 parámetros

Tema 2 – Características técnicas de los instrumentos de medida

a = índice de discriminación del ítem

b=0,75 a=0,4 b=0,75 a=2,4

Modelo de Rasch de 2 parámetros

Tema 2 – Características técnicas de los instrumentos de medida

b=0,75 a=0,4 b=0,75 a=2,4

Ejercicio 3. Supuesto un modelo TRI de Rasch de dos

parámetros. Para un sujeto con un nivel de aptitud θ = 1 ¿Cuál

es la probabilidad de acertar el ítem de la izquierda? ¿Y el ítem

de la derecha? [Tomamos D=1,7]

Modelo de Rasch de 3 parámetros

Tema 2 – Características técnicas de los instrumentos de medida

En este modelo se añade el parámetro “c”, que

representa la probabilidad de acertar el ítem por azar, es

decir la probabilidad que tienen de acertar el ítem sujetos

con θ−∞

Modelo de Rasch de 3 parámetros

Tema 2 – Características técnicas de los instrumentos de medida

Ejercicio 4. ¿Cuál de los tres ítems cuyas CCI se

representan tiene una mayor probabilidad de ser

acertado por azar?

Ítem A

Ítem B

Ítem C

Modelo de Rasch de 3 parámetros

Tema 2 – Características técnicas de los instrumentos de medida

Ejercicio 5. Supuesto un modelo TRI de tres

parámetros. Dado un sujeto con un nivel de aptitud θ=0,

¿cuál es su probabilidad de acertar un ítem si a=1,5;

b=0,5; y c=0,1? ¿y si “c” se eleva hasta c=0,3?

[Tomamos D=1,7]

Calibración y Ajuste al Modelo TRI

Tema 2 – Características técnicas de los instrumentos de medida

Al proceso de estimación de los parámetros de los modelos TRI se

le denomina calibración, y necesita de muestras muy grandes

(n>300).

Para realizar el proceso de calibración:

1. Se debe optar por un modelo determinado (p.e., Rasch de 1, 2 ó

3 parámetros).

2. Se deben estimar los parámetros correspondientes a cada ítem

(se hace por procedimientos informático-matemáticos complejos,

que quedan fuera de la asignatura).

3. Calcular-confirmar la precisión de dichas estimaciones mediante,

por ejemplo, la bondad de ajuste de las curvas CCI construidas a

los datos.

Calibración y Ajuste al Modelo TRI

Tema 2 – Características técnicas de los instrumentos de medida

RE = Residuos estandarizados

Conforme RE aumente peor será el ajuste de las curvas a los datos.

Normalmente se fija un valor máximo de RE = 1,96 a partir del

cual se rechazaría el ajuste y, por tanto, la CCI construida

Calibración y Ajuste al Modelo TRI

Tema 2 – Características técnicas de los instrumentos de medida

Ejercicio 6 (p. 79-80 del libro)

En la tabla adjunta se muestran los resultados de 60

escolares en un ítem de comprensión lectora.

Los resultados se han agrupado en 6 intervalos según

su puntuación en la variable latente θ.

Los parámetros estimados para un modelo logístico

de tres parámetros fueron: a=0,5; b=0,6; c=0,1

[Se considera D=1,7].

Se toma criterio de ajuste que ningún residuo

estandarizado supere en valor absoluto a 1,96.

¿Se ajusta el modelo construido del ítem a los datos

recogidos?

Aplicaciones de la TRI

Tema 2 – Características técnicas de los instrumentos de medida

• Construcción de conjuntos de ítems de propiedades métricas conocidas.

• Luego escoges los ítems en función de tu objetivo de medición (p.e., evaluación de aprendizajes, selección de personal, detección de altas capacidades…)

Bancos de ítems

• Se adaptan al nivel de aptitud del sujeto.

• Maximizan la precisión de la información que da el test sobre el sujeto (minimizan el error).

• Dicho de otra manera, pueden conseguir la misma precisión que otros test no adaptativos, pero a través de un menor número de ítems.

Test adaptativos