View
221
Download
5
Category
Preview:
Citation preview
Informes de Investigación de eCAT
Propiedades psicométricas de un Test Adaptativo de Listening
Francisco J. Abad ¹
Julio Olea ¹
Juan R. Barrada ²
Universidad Autónoma de Madrid ¹
Universidad Autónoma de Barcelona ²
Informe de investigación eCAT 10-01
mayo de 2010
Cátedra UAM – IIC “Modelos y
Aplicaciones Psicométricas”
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
2
Índice de contenidos
Resumen…………………………………………………………………….. 3
Abstract …………………………………………………………………….. 4
CONSTRUCCIÓN DEL BANCO DE ÍTEMS Y ANÁLISIS DE SUS
PROPIEDADES PSICOMÉTRICAS……………………………………. 5
Elaboración del banco y diseño de anclaje……………………………….. 5
Participantes, instrumentos y tiempo invertido………………………….. 6
Análisis psicométrico y estudio de unidimensionalidad…………………. 8
Ajuste, equiparación y estimación de parámetros………………………. 11
Error típico de medida basado en la función de información………….. 15
ALGORITMO ADAPTATIVO………………………………………….. 17
ESTUDIO DE LAS PROPIEDADES PSICOMÉTRICAS DEL TAI…. 19
ESTUDIOS DE VALIDEZ DE LAS PUNTUACIONES……………….. 23
PROPUESTA DE CONSIDERACIÓN DE LA PRECISIÓN
DE LOS NIVELES ESTIMADOS EN listening………………………….. 33
REFERENCIAS……………………………………………………………. 36
APÉNDICES……………………………………………………………….. 37
INTERPRETACIÓN NORMATIVA Y CRITERIAL………………….. 47
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
3
Resumen
En el presente informe de investigación se describen los principales estudios realizados
para la creación de un Test Adaptativo Informatizado de listening.
En primer lugar, se describe el procedimiento seguido para la generación y calibración
del banco de ítems. Se utilizó un diseño de anclaje en el que se aplicaron 102 ítems
repartidos en tres subtests (12 ítems comunes y 30 ítems específicos a cada forma)
aplicadas a distintas muestras (n1 = 592; n2 = 605; n3 = 379). Se estudió la dimensionalidad
de los ítems del banco mediante la técnica del análisis paralelo y se contrastó la
unidimensionalidad mediante análisis factorial confirmatorio. Finalmente, se calibraron
los ítems mediante el método bayesiano MML y se estudio el ajuste de los ítems al
modelo logístico de 3 parámetros. A partir de los análisis se descartaron 7 de los 102
ítems; por lo tanto el banco final se compone de 95 ítems.
En segundo lugar, se describe el funcionamiento del algoritmo adaptativo
implementado ya en un TAI previo, eCAT-grammar, y que básicamente consiste en
aplicar un procedimiento de estimación de máxima verosimilitud y un método de
selección de ítems basado en la máxima información con algunas restricciones. Con
objeto de establecer las condiciones más adecuadas para finalizar el test, se realizó un
estudio de simulación con una muestra de 50.000 sujetos. Los resultados muestran que
se puede obtener un balance adecuado de precisión y seguridad con un criterio de
parada de 20 ítems y una tasa máxima de exposición del 40%.
En tercer lugar, se describen varios estudios de validación de las puntuaciones en
listening, poniéndolas en relación con los niveles de gramática de los evaluados (eCAT-
grammar) y varias preguntas sobre formación en el idioma inglés (cuestionario de
formación). Se realizan regresiones lineales y probit sobre distintas variables criterio
(años de estancia, presencia del inglés en el hogar, años de formación en academias,
nivel autopercibido de inglés,…). En todos los casos, la puntuación estimada en
listening manifiesta una alta capacidad predictiva, aunque menor que la prueba eCAT-
grammar. La validez incremental de listening en comparación a eCAT-grammar es
mayor en relación a las variables criterio más directamente relacionadas con el nivel de
comprensión oral (p.e., nivel autopercibido de capacidad conversacional).
En cuarto lugar, se realiza una propuesta en relación a cómo tener en cuenta la
precisión de las estimaciones en la clasificación final en deciles que se realiza para la
interpretación individual del nivel alcanzado.
Finalmente, se incluye la información fundamental a transmitir a los evaluados
sobre su rendimiento, incluyendo información normativa y criterial referida al decil
donde se ubica.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
4
Abstract
In this research report the main studies for the development of a computerized adaptive
testing of English listening are described.
Firstly, we describe the procedure employed for the generation and calibration of
the item bank. An anchor design was used, where 102 items were applied divided in
three subtests (12 common items and 30 specific items for each form) administered to
different samples (n1 = 592; n2 = 605; n3 = 379). The dimensionality of the bank was
studied by means of the parallel analysis and the unidimensionality was checked with a
confirmatory factor analysis. Finally, items were calibrated with the MML method and
the fit of the item to the three parameter logistic model was studied. Attending to the
results of these analysis, 7 out of 102 items were discarded, so the final bank is
comprises 95 items.
Secondly, the adaptive algorithm implemented in the CAT is described. This
algorithm is the same employed in a previous test, eCAT-grammar and basically
consists in a trait level estimation with maximum-likelihood and selection of items by
means of maximum information with some restrictions.
With the objective to establish the test length, a simulation study was carried out with a
sample of 50,000 subjects. The results show that it is possible to obtain a suitable trade-
off between accuracy and security with a stop criterion of 20 items and a maximum
exposure rate of 40%.
In a third place, several validation studies of the scores in listening are described,
relating this scores with the examinees’ level in grammar (eCAT-grammar) and various
questions about knowledge and education in English language. Linear and probit
regressions over several criteria variables were executed (time spent in an English
speaking country, presence of English at home, years studying English, self-description
of English level…). In all the cases, the estimated trait level shows a high predictive
capacity, although lower than eCAT-grammar. The incremental validity of the listening
test in comparison with eCAT-grammar is greater for criteria variables more directly
related with the level of oral understanding (i. e., self-perception of conversational
ability).
In a fourth place, a proposal is presented about how to take into account the
estimation accuracy in the final classification in deciles. This classification is done for
the individual interpretation of the level achieved.
Finally, basic information to offer to the examinees about their performance is
included, with normative information and criterial information related to the decile
where their score is located.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
5
1. CONSTRUCCIÓN DEL BANCO DE ÍTEMS Y ANÁLISIS DE
SUS PROPIEDADES PSICOMÉTRICAS
1.1. Elaboración del banco y diseño de anclaje
Dos especialistas en filología inglesa, con la colaboración de tres profesores de psicometría,
elaboraron un banco inicial de 227 ítems de listening. Las expertas siguieron un marco teórico
funcional, desde el que propusieron contenidos verbales sobre situaciones cotidianas,
redactando ítems para 6 niveles de dificultad, siguiendo los criterios establecidos por el
Common European Framework of Reference for Languages –CEFR- (Council of Europe,
1999). En la elaboración de los ítems se tuvo en cuenta que fueran variados en relación al nivel
de destreza que implicaban (captar información específica, captar la idea global o realizar una
inferencia sobre las intenciones de los hablantes). Las filólogas redactaron los ítems, asignando
a cada uno un nivel de dificultad previsible, y realizaron recomendaciones concretas sobre el
proceso de grabación (ritmo de los diálogos, tipos de voz, género de los personajes, etc.).
Cada ítem consta de una entradilla de contextualización (p.e., “Listen to this short dialogue”),
seguida de un audio con el contenido del ítem (un dialogo interaccional, un dialogo
transaccional o un monólogo). Tras el audio, por escrito, se realiza una pregunta sobre lo
escuchado con tres opciones de respuesta, una de las cuales es la correcta. El evaluado dispone
de dos ítems de prueba, con objeto de habituarse al procedimiento de respuesta y de regular bien
el volumen de los altavoces de su ordenador, y de un máximo de 40 segundos para emitir su
respuesta con el ratón; si el sujeto no marca en ese tiempo ninguna opción, su respuesta se
codifica como una omisión al ítem.
El contenido de los ítems fue revisado por dos nativos del idioma que asignaron (de modo
independiente a las filólogas) los niveles de dificultad a los ítems; la correlación entre el nivel
de dificultad inicial previsto por las filólogas y la dificultad media estimada por los nativos fue
0.663.
El proceso de grabación de los ítems se llevó a cabo en un estudio profesional, por actores
nativos británicos y norteamericanos. Los ítems de los dos niveles iniciales de dificultad se leían
más despacio, mientras que los ítems de dificultad media o superior se leían con la velocidad
usual de los hablantes.
Pensando en la aplicación empírica del banco para su posterior calibración, se estableció un
diseño de anclaje donde se tuviera en consideración la dificultad previsible de los ítems que
establecieron las especialistas. Se decidió elaborar 3 subtests con parte del banco, cada uno
formado por 42 ítems, 12 de los cuales forman el test de anclaje (común para todos los subtests)
y 30 específicos de cada subtest. Tanto los ítems del test de anclaje como los propios de cada
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
6
subtest se eligieron de forma que representaran adecuadamente los 6 niveles de dificultad (2
ítems de cada nivel en el test de anclaje y 5 ítems de cada nivel en los ítems propios del subtest).
Se seleccionaron los ítems en que había más acuerdo entre los jueces en la asignación de la
dificultad. En este subconjunto de 102 ítems, la correlación entre el nivel de dificultad teórico
establecido por las filólogas y la dificultad media estimada por los nativos fue 0.864.
1.2. Participantes, instrumentos y tiempo invertido1
Se aplicaron los tres subtests vía web a una muestra total de 1576 personas (n1 = 592; n2 = 605;
n3 = 379), principalmente participantes en procesos de selección en los que se requería la
evaluación del inglés; una parte importante de la muestra estuvo compuesta por estudiantes
matriculados en Escuelas Oficiales de Idiomas (n1 = 190; n2 = 267; n3 = 187). El tiempo medio
para responder a cada ítem (sin incluir el tiempo del monólogo o la conversación) fue de 13
segundos (DT = 4.76). La distribución del tiempo medio de respuesta por ítem se muestra en la
Figura 1a. Se obtuvo una correlación negativa (r = -0,38) entre el tiempo medio para realizar el
test y el número de aciertos (ver Figura 1b).
1 Se llevo a cabo cierta depuración de los datos. La muestra original se compone de 1597 sujetos. Se eliminan sujetos:
1. Por respuestas a ítems teóricamente no aplicados 2 sujetos a los que se ha aplicado el ítem d181 en vez del d154 (el ítem d181 no pertenece a ningún subtest).
2. Por no tener aplicados algunos ítems de su subtest: 6 sujetos.
3. Sujetos atípicos: 12 sujetos con 15 o más omisiones (5 desviaciones típicas por encima de la media en la variable número de omisiones).
4. Por patrón casi constante de aciertos (39 de 42): 1 sujeto. De los restantes sujetos el que mayor frecuencia de respuestas
acumula en una categoría tiene 27 respuestas (pero no resulta atípico)
También se tuvo en cuenta la eliminación parcial de los datos de algunos sujetos:
1. Eliminación de datos en la variable eCAT para aquellos sujetos con un percentil mayor que 100 en esa variable. Parece
que pudo haber un error en la fusión por presencia de más de un sujeto con el mismo código pero, eso sólo afectaría a esa variable. Son 24 sujetos. Para estos sujetos, los datos en los ítems de listening y en el cuestionario se asumen correctos.
2. Reemplazo de los tiempos mayores de 40 segundos, por 40 segundos. Se asume que eso fue un error que el programa
cometía con los sujetos que respondían justo antes del tiempo máximo. Son 75 sujetos. Se asume que la sustitución es correcta y que el resto de los tiempos son correctos.
3. En el análisis de validez, se eliminaron los datos 6 sujetos ya que sus datos son imposibles (p.e., fuera del rango de la
variable) o muy atípicos (p.e., un sujeto bilingüe que habla y entiende tan bien el inglés como el español, pero es incapaz de escribir textos en inglés y no responde a la pregunta de lectura). En total 1368 personas responden al cuestionario. De
la muestra total, una submuestra de 640 personas son estudiantes de la EOI para las que se tiene información adicional
sobre su nivel educativo y su nivel en la EOI. 4. En el análisis de validez, los valores perdidos eran claramente reemplazables por ceros en algunos casos (p.e., años de
estancia).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
7
Figura 1
Distribución del tiempo medio de respuesta por ítem (figura 1a, izquierda) y gráfico de dispersión entre
número de aciertos (Sumadr) y tiempo medio por ítem (figura 1b, derecha).
Figura 1a Figura 1b
Junto al correspondiente subtest, y con objeto de obtener datos sobre la validez de las
puntuaciones, se aplicó también eCAT-grammar y un cuestionario sobre formación en el
idioma. En dicho cuestionario informaban sobre a) el tipo de colegio donde estudiaron la
enseñanza media (bilingüe-inglés u otros), b) su nivel autopercibido en el idioma (en lectura,
escritura y conversación) y c) su formación en inglés (educación primaria y secundaria,
academias, familia, estancias en países anglosajones y otros). Adicionalmente, los estudiantes
de las EOI informaban del nivel actual en que estaban asignados (básico 1 ó 2, intermedio 1 ó 2,
avanzado 1 ó 2) y de su nivel educativo (sin estudios o estudios primarios, bachillerato, estudios
universitarios).
En la Tabla 1 se muestran los estadísticos descriptivos para el tiempo medio de respuesta en
función del decil obtenido en eCAT-grammar. Puede observarse que el tiempo medio se reduce
considerablemente a medida que aumenta el nivel de conocimiento gramatical del idioma.
Tabla 1 Estadísticos descriptivos para el tiempo medio de respuesta en función del decil en eCAT-grammar (para deciles con N > 50)
Decil N Mínimo Máximo Media Desv. típ.
4 90 5.48 33.67 15.62 5.79
5 236 5.95 36.02 15.82 5.31
6 307 4.67 28.17 13.78 4.16
7 264 5.00 33.86 13.10 4.58
8 274 1.001 30.00 11.52 4.00
9 144 3.14 29.17 10.49 3.75
10 98 4.02 23.83 10.34 3.51
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
8
1El valor de 1 resulta un valor atípico, aunque hemos optado por no eliminarlo de los análisis porque pertenece a un evaluado con alto nivel en eCAT listening.
El 78% de los evaluados respondió a todos los ítems antes de que se alcanzara el tiempo
máximo de respuesta (el 92.5% alcanzaron el tiempo máximo en 2 ítems o menos).
La Figura 2a muestra la distribución del número de ítems en el que se alcanza el máximo
tiempo de respuesta. Por otro lado, el 89 % de los participantes no omitió ningún ítem y la
proporción de ítems omitidos fue menor del 5% en el 97% de los casos (la Figura 2b muestra
la distribución del número de respuestas omitidas).
Figura 2
Distribución del número de ítems en los que se alcanza el máximo tiempo de aplicación (figura 2a) y del número de
respuestas omitidas (figura 2b).
Figura 2ª Figura 2b
1.3. Análisis psicométrico y estudio de unidimensionalidad
Se realizaron varios estudios sobre las propiedades psicométricas del test de anclaje y de los
diferentes subtests. En los tres subtests, cada uno con 42 ítems, el número medio de aciertos está
comprendido entre 27.37 y 28.89, y la desviación típica lo está entre 7.16 y 7.68. Las
diferencias entre las medias en los diferentes subtests fueron estadísticamente significativas
(p<0.01), lo que indica la necesidad de proceder a la equiparación de la métrica de los
parámetros de los ítems y de los sujetos, que por otra parte estaba ya prevista en el diseño de
anclaje establecido. Los coeficientes alfa de Cronbach para los tres subtests y para el test de
anclaje fueron respectivamente 0.889, 0.869, 0.862 y 0.638. Siguiendo los criterios clásicos se
deberían eliminar 3 ítems con correlación biserial puntual baja con el total de la prueba, rb < .10
(ítems codificados como d56, d142 y d210). Al eliminar estos ítems, los coeficientes alfa para
los tres subtests fueron 0.893, 0.873 y 0.865, lo que indica un elevado nivel de covariación
positiva entre los ítems de cada subtest. La proporción de aciertos varía entre 0.26 y 0.98 (media
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
9
= 0.69; DT = 0.17) y rb entre 0.14 y 0.8 (media = .51; DT = 0.14). Los resultados del análisis
clásico se muestran en las Tablas TCT.1, TCT.2, TCT.3 y TCT.4 (ver apéndice 1)2.
Respecto al estudio del supuesto de la unidimensionalidad, se realizaron diversos análisis
factoriales exploratorios sobre las correspondientes matrices de correlaciones entre ítems. Con
el programa FACTOR (Lorenzo y Ferrando, 2006) se aplicó el método de componentes
principales sobre la matriz de correlaciones de Pearson3. En los 3 subtests, el procedimiento de
Análisis Paralelo para la retención de factores revela la existencia de dos factores (ver Figura
3).
Aunque la solución del análisis exploratorio parece ser la de 2 factores, se contrastó el ajuste
para las soluciones de uno y dos factores. Para ello se utilizó el programa Mplus (Muthen y
Muthen, 2006), realizando un análisis factorial confirmatorio (AFC) sobre la matriz de
correlaciones tetracóricas con el método RWLS (recomendado para variables categóricas). En
cada caso se obtuvieron los índices de ajuste CFI, TLI, RMSEA y SRMR. Los resultados se
muestran en la Tabla 2. Puede observarse que la solución unidimensional muestra un buen
ajuste (CFI, TLI > 0.95; RMSEA < 0.05).
2 Con respecto al análisis clásico: en algunos ítems, un distractor es apreciablemente más elegido que la correcta (Anclaje: 1 (d14),
subtest 1: 40 (d204), subtest 2: 41 (d225)). Sin embargo, puesto que el funcionamiento es adecuado en otros aspectos se mantienen en el banco. 3 Se repetió el AP con las correlaciones tetracóricas con el programa Mplus. Los resultados fueron similares salvo para el primer
subtest, que se mostró unidimensional.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
10
Figura 3 Resultados del análisis paralelo en cada subtest. Se representan los autovalores obtenidos para la muestra empírica y la media de los autovalores obtenidos en las muestras simuladas (arriba: subtest 1; centro: subtest 2; abajo: subtest 3).
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42
Factor
Autovalor
Media en muestras aleatoriasau
tova
lor
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42
Factor
Autovalor
Media en muestras aleatorias
auto
valo
r
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42
Factor
Autovalor
Media en muestras aleatorias
auto
valo
r
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
11
Tabla 2 Índices de ajuste (CFI, TLI, RMSEA y SRMR) y porcentaje de varianza total explicado por los factores comunes para los modelos de 1 y 2 factores.
CFI TLI RMSEA SRMR % varianza total
explicado
Subtest 1 1 factor .982 .988 .021 .071 32.7 2 factores .991 .994 .015 .062 36.3
Subtest 2 1 factor .962 .972 .028 .086 28.7 2 factores .985 .989 .017 .073 33.4
Subtest 3 1 factor .947 .960 .031 .090 25.7 2 factores .973 .980 .022 .079 30.2
En los tres casos, es clara la presencia de un primer factor predominante (apenas se
incrementa el porcentaje de varianza explicado tras extraer un segundo factor); además si se
extraen dos factores, ambos están estrechamente correlacionados (subtest 1: 0.653; subtest 2:
0.524; subtest 3: 0.608). Por otro lado, la solución de 2 factores no era admisible para el
segundo subtest (un peso factorial del ítem 16 era mayor que 1 y su varianza residual era
negativa; ver Tabla AF.1 en el apéndice 2). Finalmente, al contrastar el modelo unidimensional
mediante un AFC todos los ítems (exceptuando los 3 peores ítems ya identificados a partir del
análisis clásico) pesaban de forma estadísticamente significativa en su factor (p < 0.05; los
pesos variaban entre 0.15 y 0.84, ver Tabla AF.1 en el apéndice 2) y no hubo ningún índice de
modificación alto (mayor de 3.84) en ninguno de los subtests. Los índices de ajuste para la
solución unidimensional en el test definitivo, después de eliminar los 3 ítems, eran
prácticamente idénticos a los mostrados en la Tabla 2.4
1.4. Ajuste, equiparación y estimación de parámetros
Para la aplicación del modelo de TRI se eliminaron los 3 ítems con relaciones bajas con los
demás (ítems con correlaciones biseriales bajas, que pesaban bajo en la solución de un factor).
Se calibraron los ítems según el modelo logístico de 3 parámetros (métrica normal). Para
calibrar en la misma métrica los ítems de todos los subtests se utilizó el diseño de calibración
4 Con respecto al análisis de la unidimensionalidad: en la tabla del apéndice AD.3 se muestran también los pesos para la solución de
dos factores en los 3 subtests. Se requeriría un análisis de contenido para deducir el significado de los dos factores. Los índices de
ajuste para la solución unidimensional en el test definitivo son:
CFI TLI RMSEA SRMR
Subtest 1 .981 .987 .022 .071 Subtest 2 .964 .973 .028 .087 Subtest 3 .945 .959 .032 .090
También puede mencionarse que entre los ítems 28 y 42 (subtest 2) y entre los ítems 8 y 16 (subtest 3) se encuentran residuales
estandarizados muy altos, lo que podría indicar problemas de dependencia local entre esos ítems.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
12
concurrente, en el que las respuestas a ítems no aplicados a los sujetos se consideran como datos
perdidos (Hanson y Béguin, 2002). Los parámetros fueron estimados por el procedimiento
máximo-verosímil marginal bayesiano implementado en el programa MULTILOG 7.0 (Thissen,
Chen y Bock, 2003). Para la distribución del nivel de habilidad se asumió una distribución
normal (media= 0; desviación típica= 1). La distribución a priori inicial para los parámetros a
era normal (media= 1.00; desviación típica= 0.588; esta desviación típica equivale a asumir una
desviación típica de 1 para el parámetro a en métrica logística), para los parámetros b, normal
(media= 0; desviación típica= 2) y para el logit de c, una distribución normal (media = -0.69;
desviación típica = 0.5; la media -0.69 equivale aproximadamente a asumir una media de 0.33
para el parámetro c).
Para contrastar el ajuste de los ítems se utilizaron varias aproximaciones. En primer lugar, se
utilizó el programa MODFIT (Stark, 2001) para calcular los ratios x2/gl, que se toman como
heurísticos para tomar decisiones sobre el tamaño de las discrepancias entre las frecuencias
esperadas y observadas para los patrones de respuestas posibles a un ítem, a pares de ítems o a
tripletas de ítems. Valores para las ratio menores de 3 suelen tomarse como indicadores de buen
ajuste (Drasgow, Levine, Tsien, Williams y Mead, 1995). Esta aproximación es especialmente
sensible a la detección de problemas de dependencia local entre pares o tripletas de ítems. En
segundo lugar, se obtuvieron las CCI empíricas y teóricas obtenidas con el programa MODFIT.
Finalmente, se utilizó el programa Goodfit (Orlando y Thissen, 2003) mediante el que se
contrasta la significación de las discrepancias entre las probabilidades de acierto observadas y
esperadas condicionadas a la puntuación en el test. Esta aproximación es sensible al hecho de
que la forma de la CCI teórica, que en nuestro caso sigue el ML3P, sea suficientemente flexible
para modelar la CCI empírica.
Los resultados obtenidos con el programa MODFIT para los tres subtests se muestran en la
Tabla 3. Puede observarse que en todos los ítems y en todas las parejas y tripletas de ítems
contrastadas, las ratio son inferiores a 3.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
13
Tabla 3 Distribución de frecuencias para la ratio x2/gl según el contraste (ítems, parejas de ítems, tripletas de ítems) y el subtest (anclaje, subtest 1, subtest 2, subtest 3)
Distribución de frecuencias para el x2/gl
<1 1<2 2<3 3<4 4<5 5<7 >7 Media DT
Test de anclaje (12 ítems)
Ítems 12 0 0 0 0 0 0 .204 .252
Parejas 11 1 0 0 0 0 0 .520 .303
Tripletas 4 0 0 0 0 0 0 .673 .231
Ítems específicos del Subtest 3 (29 ítems)
Ítems 29 0 0 0 0 0 0 .273 .235
Parejas 30 3 0 0 0 0 0 .503 .422
Tripletas 12 3 0 0 0 0 0 .709 .395
Ítems específicos del Subtest 3 (29 ítems)
Ítems 24 5 0 0 0 0 0 .522 .447
Parejas 29 4 0 0 0 0 0 .597 .300
Tripletas 13 2 0 0 0 0 0 .639 .329
Ítems específicos del Subtest 3 (29 ítems)
Ítems 23 5 1 0 0 0 0 .727 .439
Parejas 32 1 0 0 0 0 0 .580 .240
Tripletas 14 1 0 0 0 0 0 .606 .154
Los resultados para los índices de ajuste se muestran en la Tabla TRI.1 del apéndice 3. Un ítem
mostró un 2 estadísticamente significativo (p < 0.001; 4 con p < 0.01; 12 con p < 0.05). Para el
87% de los ítems se puede mantener que el modelo se ajusta a los datos (p > 0.05). Las CCI
empíricas y teóricas de los ítems desajustados (p < 0.01) se muestran en la Figura 4. Puede
observarse que incluso en el ítem con mayor desajuste estadístico, el desajuste es poco relevante
desde el punto de vista práctico. Las CCI empíricas y teóricas de todos los ítems se muestran en
el apéndice gráfico TRI.ap.1.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
14
Figura 4 Ítems con desajuste: 48 (d51:subtest 2-7Modfit), 49 (d55: subtest 2-8Modfit), 55 (d111: subtest 2-14Modfit) y 82 (d84: subtest 3-12Modfit)
Aunque todos los ítems mostraban un buen ajuste al modelo, algunos ítems tenían parámetros
muy extremos (3 ítems excesivamente fáciles con b < -4 y un ítem con un parámetro c
excepcionalmente alto, c >.59), por lo que se decidió eliminar estos ítems del test (son los ítems
4 (d92), 50 (d61), 70 (d227) y 86 (d125). Por lo tanto, el banco final se compone de 95 ítems
(ver tabla TRI.2, en el apéndice 3). Los valores para los parámetros de discriminación a se
encontraron entre.36 y 2.09 (media= 1.09; desviación típica=.38; el 90% entre 0.47 y 1.75). Para
el parámetro de dificultad b, los valores son medio-bajos y se encuentran entre -2.75 y 1.16
(media= -0.31; desviación típica=.95; el 90% entre -2.17 y 0.95). Para el parámetro de pseudo-
azar c, la distribución se hallaba centrada en torno al valor.28 (media=.28; desviación
típica=.07) con la mayor parte de los valores entre.14 y.39; este valor refleja la calidad de las
opciones incorrectas, puesto que es inferior a 1/3 (recordemos que los ítems tienen 2 opciones
incorrectas). Se obtuvieron correlaciones significativas (p < .01) entre el parámetro b y los
parámetros c (-.379) y a (.294), lo que implica que los ítems más difíciles son los más
discriminativos5. Las distribuciones de los parámetros se muestran en la Figura 5 y los gráficos
de dispersión en la Figura 66.
5 La correlación negativa entre b y c, se produce porque para los ítems fáciles no hay información para estimar el parámetro c, por lo
que los valores estimados son próximos a la media fijada para la distribución previa, que es 0.33. 6 Debe tenerse en cuenta que dado el tamaño de la muestra no se ha podido realizar la validación cruzada por lo que puede haberse
producido cierto “sobreajuste”.
0.0
0.2
0.4
0.6
0.8
1.0
-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0
Pro
b. o
f P
osi
tive
Re
spo
nse
Theta
Fit Plot for Item 7
IRF7
EMP7
0.0
0.2
0.4
0.6
0.8
1.0
-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0
Pro
b. o
f P
osi
tive
Re
spo
nse
Theta
Fit Plot for Item 8
IRF8
EMP8
0.0
0.2
0.4
0.6
0.8
1.0
-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0
Pro
b. o
f P
osi
tive
Re
spo
nse
Theta
Fit Plot for Item 14
IRF14
EMP14
0.0
0.2
0.4
0.6
0.8
1.0
-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0
Pro
b. o
f P
osi
tive
Re
spo
nse
Theta
Fit Plot for Item 12
IRF12
EMP12
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
15
Figura 5 Distribución de frecuencias para los parámetros a, b y c.
Figura 6 Gráfico de dispersión de los parámetros a, b y c.
1.5. Error típico de medida basado en la función de información
El error típico de medida se obtiene desde la teoría de la respuesta al ítem como el inverso de la
raíz de la función de información y nos informa de la precisión de la estimación del nivel de
rasgo. El error típico de medida obtenido con el TAI no puede ser menor que el que se obtenga
con todo el banco de ítems. En la Figura 7 se muestra el error típico de medida para el banco
completo como función del nivel de rasgo
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
16
Figura 7 Error de medida como función del nivel de rasgo para el banco completo de 95 ítems
Para el rango de habilidad entre -1.3 y 1.7 el error típico de medida alcanzable si se aplicaran
los 95 ítems del banco es igual o inferior a 0.3, lo que equivale aproximadamente a un
coeficiente de fiabilidad de 0.91. El banco de ítems es más preciso para niveles de habilidad
medio-altos. Claramente, los niveles de habilidad por debajo de -2.2 o por encima de 2.4 no
pueden ser estimados con precisión (errores típicos mayores que 0.5). La distribución del nivel
de rasgo (utilizando la estimación de Modal a Posteriori) se muestra en la Figura 8.
Figura 8
Distribución del nivel de rasgo (MAP)
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
-3.0
-2.8
-2.6
-2.4
-2.2
-2.0
-1.8
-1.6
-1.4
-1.2
-1.0
-0.8
-0.6
-0.4
-0.2
0.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
1.6
1.8
2.0
2.2
2.4
2.6
2.8
3.0
Err
or
típ
ico
de
med
ida
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
17
2. ALGORITMO ADAPTATIVO
El banco final está por tanto formado por 95 ítems y sus correspondientes parámetros estimados
(a, b y c). El algoritmo adaptativo se encuentra descrito en Olea, Abad, Ponsoda y Ximénez
(2004) y tiene las siguientes características:
Procedimiento de arranque. Para comenzar la prueba, se elige un nivel de rasgo de una
distribución normal truncada entre -1 y +1, aplicando como primer ítem el que resulta más
informativo para dicho nivel. Es, por tanto, un procedimiento de arranque aleatorio entre niveles
medios de rasgo, algo usual cuando se piensa aplicar el test en contextos en los que no se tiene
información previa sobre el nivel de rasgo de los evaluados.
Estimación de los niveles de rasgo. En el algoritmo se incluye un procedimiento de estimación
de máxima verosimilitud, empleando el método de aproximación numérica de Newton-
Raphson. Como es conocido, mientras se produce un patrón constante de respuestas (todo
aciertos o todo errores) no es posible realizar esta estimación. Además al principio del test se
pueden producir importantes oscilaciones en la θ estimada. Por ello, al principio del test si la θ
estimada es demasiado extrema (mayor que 2 o menor que -2) o el patrón es constante, el
programa asigna una θ provisional obteniendo el punto medio entre el último nivel de rasgo
estimado y 2 (si se ha dado un acierto) o -2 (si se ha fallado el ítem). Este procedimiento es una
variante del propuesto por Dodd (1990). En el momento en que aparece variabilidad en las
respuestas comienza a aplicarse el método máximo-verosímil7. Para cada nivel de rasgo
estimado se obtiene el error típico asociado; es decir, el valor inverso de la raíz cuadrada de la
información que aportan para el último nivel de rasgo estimado los ítems presentados hasta ese
momento.
Selección de ítems. Tras la estimación (o asignación) de un valor θ provisional, el algoritmo
elige como siguiente ítem, entre los que no se han presentado todavía al sujeto, el que resulta
más informativo para dicho nivel de rasgo. En el algoritmo se aplica, por tanto, el método de
selección de ítems de máxima información. Para el control de la exposición de los ítems, se
establecen tres restricciones: a) en los 5 primeros ítems que se presentan no son aplicables ítems
con parámetros a mayores que 1 (44 ítems cumplen está condición), en línea con lo propuesto
por Chang y Ying (1999); b) también en los 5 primeros ítems que se presentan, se aplica el
método de McBride y Martin (1983), que consiste en seleccionar como primer ítem uno al azar
7 Después de 5 ítems, si el patrón sigue siendo constante se aplica el método de Herrando (1989).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
18
entre los 5 más informativos; como segundo, otro al azar entre los 4 más informativos;., y así
hasta el 5º, a partir del cual se selecciona siempre el más informativo para el último nivel θ
estimado; c) para todos los ítems se establece una tasa máxima de exposición del 40%, de modo
que un ítem deja temporalmente de presentarse cuando ha sido aplicado a más del 40% de los
sujetos. Con las restricciones a) y b) vistas se intenta controlar la tasa de exposición de ítems
muy discriminativos en las fases iniciales del test, cuando los valores estimados de θ pueden
alejarse bastante del nivel verdadero del evaluado; sin esta primera restricción, podríamos
aplicar ineficazmente ítems muy informativos para niveles de rasgo alejados del que tiene
realmente el evaluado. Con la tercera restricción (establecida a partir de los resultados de un
estudio de simulación que mostraremos posteriormente) pretendemos limitar la tasa máxima de
exposición al 40% e incrementar, de paso, las tasas de los ítems no demasiado utilizados. En
algún TAI hasta el 80 % de los ítems del banco no se aplican nunca o casi nunca (Hornke,
2000), lo que puede afectar a la seguridad del banco.
Procedimiento de parada: se establece como criterio de parada un número prefijado de 20
ítems para todos los sujetos, con lo cual las diferentes estimaciones tendrán distinta precisión.
En el siguiente apartado del presente informe se justifica mediante simulación el
establecimiento de este criterio de parada.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
19
3. ESTUDIO DE LAS PROPIEDADES PSICOMÉTRICAS DEL
TAI
Para estudiar las propiedades psicométricas del test, fundamentalmente para decidir con qué
criterio de parada aplicarlo, se realizó un estudio de simulación. Se simularon 50.000 sujetos de
una distribución normal N(0,1). Se estudiaron como variables independientes la longitud del test
(15, 20, 25 y 30 ítems) y la tasa máxima de exposición permitida para un ítem (25% y 40%)8.
En todos los casos se mantuvieron las restricciones a y b comentadas anteriormente, así como
todas las características del algoritmo adaptativo de selección de ítems y estimación de los
niveles de competencia. Como variables dependientes se tomaron9 el RMSE (), el sesgo (), la
proporción de examinados que finalizan el test con un error típico menor a 0.3 (p_error_0.3), la
proporción de examinados que finalizan el test con un error típico menor a 0.4 (p_error_0.4), la
correlación entre y estimada, la tasa de solapamiento (proporción media de ítems
compartidos entre dos evaluados) y la proporción de ítems infraexpuestos (que se presenten
menos del 1% de las veces).
Tabla 4
Valores de RMSE, sesgo, proporción de evaluados con error típico menor que 0.3 (o 0.4), correlación entre y estimada (rzz’), tasa de solapamiento (T) y porcentaje de ítems infraexpuestos (Texp < 0.01)
longitud Rmax sesgo RMSE p_error_0.3 p_error_0.4 rzz' T Texp < 0.01
15 0.25 0.05 0.49 0.11 0.64 0.91 0.22 11%
20 0.25 0.04 0.45 0.29 0.70 0.92 0.23 0%
15 0.40 0.05 0.46 0.20 0.74 0.92 0.31 24%
20 0.40 0.03 0.40 0.51 0.85 0.94 0.32 11%
25 0.40 0.03 0.37 0.61 0.89 0.94 0.34 0% 30 0.40 0.02 0.35 0.61 0.90 0.95 0.36 0%
En la Tabla 4 se puede observar que cuando el test es corto (15 ítems) o la tasa máxima de
exposición es baja (25%) aunque la correlación entre y estimada es bastante alta (r > 0.9),
se obtienen valores altos para el RMSE (iguales o superiores a 0.45) y para el sesgo (medias
iguales o superiores a 0.04). También puede observarse que si se fija la tasa máxima al 40% los
mayores incrementos en precisión se obtienen al pasar de 15 a 20 ítems con pocas perdidas en
relación a la tasa de solapamiento. Por tanto, parece que lo óptimo es plantear un TAI de 20
ítems combinado con una tasa máxima del 40%. Con ello minimizaremos el tiempo de
8 Las longitudes de 25 y 30 ítems no se combinaron con la tasa máxima del 25% puesto que 25 y 30 ítems suponen,
respectivamente, un 26% y un 42% del banco completo. 9 El RMSE indica la raíz del promedio de las diferencias al cuadrado entre y estimada. El sesgo indica el promedio de las
diferencias entre y estimada. La tasa de solapamiento es una estimación del promedio de la proporción de ítems que comparten
dos evaluados.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
20
aplicación sin perder demasiada precisión (en relación con lo que sería un criterio de parada de
30 ítems, que es el que se establece en las aplicaciones de eCAT-grammar). Para el 85% de los
evaluados se obtendría un error típico menor de 0.410
. En promedio los evaluados compartirán
aproximadamente 6 ítems de los 20 (el 32%).
En las Figuras 9, 10 y 11 se muestran los resultados condicionados al nivel de rasgo y
permiten extraer la misma conclusión. En la figura 9 se observa un sesgo muy alto para los
evaluados en el decil más alto, lo que no resulta muy preocupante desde un punto de vista
aplicado porque, al ser el sesgo positivo, estos sujetos seguirían perteneciendo al mismo decil.
Figura 9
Sesgo condicionado al decil de en cada función, el primer número indica el criterio de parada y el segundo la tasa máxima de exposición permitida)
10 Si todos los evaluados tuvieran un error típico de 0.4, el coeficiente de fiabilidad equivalente sería 0.86 (=1 – 0.42/(1+0.42)).
-0.05
0.00
0.05
0.10
0.15
0.20
0.25
0.30
1 2 3 4 5 6 7 8 9 10
deciles de zeta
sesg
o
15_025 20_025 15_040 20_040 25_040 30_040
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
21
En las Figuras 10 y 11 se observa que los evaluados cuyos niveles de habilidad verdaderos se
encuentran entre los deciles 4 y 8 son clasificados con elevada precisión.
Figura 10
RMSE condicionado al decil de
Figura 11.
Proporción de casos con un SE inferior a 0.3 condicionado al decil de
En la Tabla 5 se muestran las tasas de exposición de los ítems para la condición de 20 ítems y
rmax de 0.40. Si la aplicación de los ítems fuera aleatoria, la tasa de exposición esperada sería del
21%. Puede observarse que aproximadamente el 32% de los ítems se aplican entre el 35 y el
40% de las veces.
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1 2 3 4 5 6 7 8 9 10
deciles de zeta
RM
SE
15_025 20_025 15_040 20_040 25_040 30_040
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
1 2 3 4 5 6 7 8 9 10
deciles de zeta
RM
SE
15_025 20_025 15_040 20_040 25_040 30_040
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
22
Tabla 5 Distribución de las Tasas de exposición para la condición de 20 ítems y Tasa máxima de 0.40
Tasa Número de ítems %
0.00-0.05 26 27.4 0.05-0.10 7 7.4 0.10-0.15 5 5.3 0.15-0.20 6 6.3 0.20-0.25 9 9.5 0.25-0.30 8 8.4 0.30-0.35 4 4.2
0.35-0.40 30 31.6
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
23
4. ESTUDIOS DE VALIDEZ DE LAS PUNTUACIONES
Las pruebas de validez se obtuvieron poniendo en relación las estimaciones en listenig con el
rendimiento en el cuestionario de formación y en eCAT-grammar. Los estadísticos descriptivos
de las preguntas del cuestionario se muestran en la Tabla 6. Puede observarse que en varios
casos los niveles de asimetría y curtosis son bastante elevados (años de formación en academias,
posesión de un título, años en la EOI, presencia de inglés en el hogar y años de estancia en
países angloparlantes). En el caso de la variable “hogar”, esto se debe a que la gran mayoría de
la muestra no se ha criado en un entorno en el que el inglés sea el idioma familiar. En las
variables “años de estancia”, ocurre que la gran mayoría tiene poca formación o poco tiempo de
estancia, lo que no impide que en la muestra haya unos pocos casos con valores altos en esas
variables.
Tabla 6
Estadísticos descriptivos de las variables del cuestionario
N Mínimo Máximo Media Desv. típ. Asimetría Curtosis
Lectura 1366 1 5 3.49 .78 .20 .05
Escritura 1364 1 5 3.26 .84 -.04 -.28
Conversación 1367 1 5 3.15 .91 .07 -.45
Años en academia 1368 0 20 1.50 2.76 2.34 5.95
Titulo1 1368 0 1 .01 .09 10.55 109.41
Años en EOI2 642 0 10 1.65 1.71 .99 1.09
Inglés en el Hogar 1368 0 1 .02 .16 6.11 35.39
Años de estancia 1368 0 50 .70 2.70 9.10 119.02
Nivel en la EOI 640 1 6 3.50 1.35 .45 -.98
Nivel educativo 642 1 5 3.33 .72 -.54 -.30
1Título (sí o no). 2Esta pregunta se hizo a toda la muestra pero análisis posteriores muestran que la relación entre y está variable sólo se da en la muestra de la EOI, por lo que se muestran los resultados únicamente para ese subgrupo.
Se realizaronn distintos análisis estadísticos para establecer la relación entre estas variables y el
nivel de inglés estimado en listening (ANOVAS, pruebas t de Student y correlaciones), tomando
como variable dependiente el valor θ estimado para cada evaluado a partir de sus respuestas al
subtest correspondiente y como VI cada una de las variables anteriores. Los resultados se
muestran en la Tabla 7 y los estadísticos descriptivos en la Tabla 8.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
24
Tabla 7 Pruebas de significación estadística para contrastar la relación entre el valor θ estimado en Listening y cada una de las variables criterio
ANOVAS, correlaciones o Pruebas t
Colegio F3,1362 = 1,211 (p = ,304)
Lectura r = .586 (p < .001)
Escritura r = .586 (p < .001)
Conversación r = .663 (p < .001) Años en Academia r = .182 (p < .001)
Título t1366 =-.450 (p=.653) Años en EOI r = .143 (p < .001)
Presencia de inglés en el hogar t1366= -6.108 (p < ,001) Años de estancia F3,1364 = 80,070 (p < ,001); r = .239 (p < .001) Nivel en la EOI F4,635 = 89.584 (p < .001); r = 0.588 (p < .001) Nivel Educativo F2,639 = 24,097 (p < ,001); r =0.261 (p < .001) eCATgrammar r = .822 (p < .001)
Tabla 8 Estadísticos descriptivos en el nivel de θ según variables relacionadas con el nivel de formación en el inglés
Media Desviación
típica % N
Colegio Público ,05 ,94 55,9 763 Privado no bilingüe ,15 ,80 31,5 430 Privado-bilingüe español-inglés ,17 1,06 6,5 89 Privado-bilingüe español-otro ,06 ,86 6,1 84
Presencia de inglés en el hogar
No .06 .90 97,5 1334
Sí 1.01 .69 2,5 34
Posesión de un título
No .09 .91 99,1 1356
Sí .20 .52 0.9 12
Nivel en la EOIa
Básico 1 y 2 -.84 .65 28,7 183
Intermedio 1 -.30 .66 29,7 190
Intermedio 2 -.18 .64 14,4 92
Avanzado 1 .35 .58 17,0 109
Avanzado 2 .52 .55 10,3 66
Nivel educativob
Sin estudios o estudios primarios -.66 .72 12,9 83
Bachillerato -.32 .76 41,7 268
Licenciatura o doctorado -.04 .77 45,3 291 aSólo 5 personas en el Básico 1. Comparaciones múltiples (Bonferroni) Todas estadísticamente significativas exceptuando las comparaciones 2-3 y 4-5 (p > 0,05); bSólo 3 personas sin ningún estudio y sólo 6 personas con doctorado.
El nivel de θ estimado en listening difiere según: 1) Años de formación (los años de academia,
años de estancia y años en la EOI en la muestra de Escuelas Oficiales de Idiomas correlacionan
.182, .239 y .143, respectivamente con p < .001); 2) Presencia de inglés en el hogar (t1366= -
6.108; p <.001), los niveles de rasgo medios fueron 1.01 (DT =.69 ) y .06 (DT = .90), según
estuviera presente o no respectivamente; 3) Nivel alcanzado en la EOI (F4,635 = 89.584;
p <.001), siendo los niveles medios -.84 (Básico), -.30 (Intermedio 1), -.18 (Intermedio 2), .35
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
25
(Avanzado 1) y .52 (Avanzado 2); 4) Nivel educativo alcanzado (F2,639 = 24,097; p < .001),
siendo los niveles medios -0,66 (ningún estudio o estudios primarios), -.32 (bachillerato) y -.04
(Licenciatura y doctorado). El nivel de θ no difiere según el colegio en el que se ha estudiado
(F3,1362 = 1,211; p = .304) o la posesión de un título obtenido en una EOI (t1366 =-.450; p=.653).
Cabe resaltar los resultados obtenidos en relación al nivel alcanzado en la EOI, ya que en estos
centros de formación establecen los niveles de asignación de los estudiantes siguiendo criterios
de dominio en el idioma establecidos por el Consejo de Europa (recomendaciones CEFR).
Se estudió la posibilidad de que la relación entre las variables “años” (estancias, EOI o
academias) y fuera no lineal u otro tipo de relación (parece lógico esperar que el nivel de
inglés no se incrementa linealmente en función del número de años). En la figura AV.1 (ver
apéndice 4) puede observarse que la relación no es lineal, especialmente para la variable años de
estancia. Además, 2 de estas variables tenían un alto nivel de asimetría y curtosis (ver Tabla 6)
lo que las hace inadecuadas para los análisis multivariados. Por ello, se crearon unas nuevas
variables ordinales que reflejaran mejor el nivel de formación en el inglés según los años
dedicados a la formación. Las variables se crearon considerando que: a.) Hubiera un suficiente
número de evaluados en cada nivel (al menos el 5%); b) Las categorías se diferenciaran por su
nivel de . Dos de las nuevas variables, “años de estancias” y “años de academia particular”,
tienen una distribución menos asimétrica (ver Tabla 9).
La relación con las variables recodificadas se incrementaron en todos los casos, pero
especialmente en el caso de años de estancia, lo que refleja la presencia de una relación no lineal
en este caso. Las correlaciones fueron .163 (con años de EOI), .194 (años de academia) y .377
(con años de estancia).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
26
Tabla 9
Estadísticos descriptivos de las variables del cuestionario recodificadas11
Media Desviación
típica Asimetria Curtosis
Años en Academia particular .41 .86 2.03 2.81 Años en EOI .49 .87 1.74 1.96
Años de estancia .36 .83 2.25 3.82
A partir de los resultados iniciales univariados se decidió incluir en un modelo las variables
criterio (preguntas del cuestionario) que se relacionaban con el nivel de : Niveles de
comprensión autopercibido (Lectora, Escrito y conversacional), años de academia, años de
estancia y años en la EOI, nivel en la escuela oficial de idiomas, presencia de inglés en el hogar
y nivel educativo. Años y nivel en la EOI correlacionaban bastante alto (r = 0.505; p < 0.001).
Puesto que el nivel en la EOI es una variable que refleja directamente el rendimiento evaluado a
través de una EOI, se prescinde de años EOI en lo sucesivo.
Se realizó un análisis factorial exploratorio (AFE) de las variables criterio. Los resultados
del análisis paralelo y el gráfico de sedimentación (correlaciones de Pearson, Componentes
Principales) sugerían la presencia de un único factor (ver Figura 12). Posteriormente se realizó
un análisis confirmatorio (AFC) sobre la matriz de correlaciones policóricas para contrastar el
modelo unidimensional. Puesto que las variables años de academia y nivel educativo mostraban
pesos demasiado bajos en el factor (ver Tabla 10) se procedió a extraer una solución de un
factor sin considerar esas variables (modelo de un factor reducido). Los índices de ajuste para
ambos modelos se muestran en la Tabla 11. Se observó un residual alto para las variables
formación en el hogar y años de estancia, por lo que se modificó el modelo añadiendo una
correlación entre las partes específicas de esas variables. Los índices de ajuste del nuevo modelo
eran satisfactorios (CFI, TLI >.95; RMSEA <.08; SRMR <.08).
11 A continuación se muestran las tabla de frecuencias para las variables años de estancia, años de academia y años en la EOI recoficadas. En el caso de años en EOI y años de estancia parece que, en la muestra analizada, no hay diferencias en z en los niveles
más bajos de formación (entre 0 y 2 años). Para años de estancia, las diferencias mayores en el nivel de z ocurren entre no tener ninguna estancia y tener alguna, pero el efecto de los años de estancia en el nivel se atenúa o desaparece a partir de los 3 años.
Años de estancia (recodificada) % Años de escuela oficial (recodificada) % Años de asistencia a academias %
Nada (0) 80.7% Cero a dos años (0)2 70.7% Cero a dos años (0)2 78.6%
Hasta 1 año (1) 19.3% Hasta 3 años (1) 15.9% Tres a cuatro (1) 3 8.3%
Hasta 3 años (2)1 5.2% Hasta 4 años (2) 7.5% Cinco a siete (2) 4 7.2%
4 años o más (3) 6.0% Cinco o más (3) 5.9% Ocho o más (3) 6.0%
1Se comprobó que las diferencias en z eran pequeñas (menores de .05) y no significativas entre 2 y 3 años (p >.05). 2Diferencias pequeñas (menores de.05) y no significativas entre 0, 1 y 2 años (p >.05). 3Diferencias pequeñas (menores de.05) y no significativas entre 3 y 4 años (p >.05). 4 Diferencias pequeñas (menores de 0.05) y no significativas entre 6 y 7 años (p >.05).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
27
Figura 12
Análisis paralelo para el AFE de las variables criterio
Tabla 10 Pesos para el modelo de un factor con todas las variables (modelo completo) y para el modelo reducido (con todas las variables excluyendo años de academia y nivel educativo)
Pesos en el Factor (modelo completo)
Pesos en el Factor (modelo reducido)
Lectura .78 .78
Escritura .80 .80
Conversación .84 .84
Años de estancia .57 .55
Años de academia .22
Formación en el hogar .51 .44
Nivel en la EOI .58 .56
Nivel educativo .18
Tabla 11 Índices de ajuste (CFI, TLI, RMSEA y SRMR) para el modelo de AFE exploratorio de 1 factor con todas las variables, un modelo reducido (con todas las variables excluyendo años de academia y nivel educativo) y un modelo reducido modificado (se añade una correlación entre los residuales de años de estancia y presencia de inglés en el hogar)
Chi (gl); p CFI TLI RMSEA SRMR
Modelo de 1 factor completo 58.049(11);.0000 .966 .963 .082 .082 Modelo de 1 factor reducido 30.116(6);.0000 .981 .981 .079 .089 Modelo de 1 factor reducido y modificado 27.759(6);.0000 .982 .982 .076 .061
0
1
2
3
4
5
6
7
8
1 2 3 4 5 6 7 8
Factor
Autovalor
Media en muestras aleatoriasau
tova
lor
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
28
Se puso a prueba mediante Mplus un modelo estructural para obtener la capacidad predictiva
de las estimaciones de rasgo en listening y en eCAT-grammar con relación a una variable
latente de nivel informado de inglés, donde tuvieran saturaciones positivas las 6 variables
evaluadas en el cuestionario que pesaban en ese factor (lectura, escritura, conversación, años de
estancia, formación en el hogar y nivel en la EOI). Se contrastaron dos modelos: uno tratando
las variables criterio como variables continuas y otro tratando las variables criterio como
variables de categorías ordenadas a las que subyace una variable continua (i.e., se establece un
modelo en el que el factor predice la probabilidad de pertenecer a una determinada categoría
ordenada). En ambos aproximaciones hubo que ajustar el modelo predictivo añadiendo una
covarianza entre la parte específica de nivel en la EOI y las variables predictoras incluidas en el
modelo. Tras esta modificación los índices de ajuste eran aceptables (RMSEA < .08; TLI, CFI
> 0.95). La proporción de varianza explicada utilizando -listening como predictor es el 37%
(40% si se tratan como categóricas; ver Tabla 12).
Al añadir el nivel en eCAT-grammar como predictor los porcentajes se incrementan a un
45% (76% si se tratan como categóricas). Por tanto, la prueba con mayor potencia predictiva es
el nivel en eCAT-grammar. Esa alta capacidad predictiva es consistente con la obtenida en un
estudio previo (Olea et al., 2004) en el que el nivel de en eCAT-grammar correlacionaba 0.81
con un factor latente de nivel de inglés. Por ello, puesto que existe una muy alta correlación
entre listening y eCAT-grammar, el incremento en R2 al añadir el listening al eCAT-grammar es
pequeño, 0.012 (o 0.121 si se tratan como variables categóricas).
Tabla 12 Proporción de varianza explicada del factor latente de nivel de inglés (N = 635)
Tratamiento de las variables criterio
Como categóricas Como continuas
Predictores listening .405 .365 eCAT-grammar .644 .438 Ambos .765 .450
La capacidad predictiva de listening frente a eCAT-grammar se contrastó también para cada
variable criterio por separado. Se aplicaron dos modelos estadísticos: el modelo de regresión
lineal, en el que se tratan las variables criterio como continuas, y un modelo de regresión probit
en el que se tiene en cuenta la naturaleza categórica de las variables criterio (las variables
predictoras predicen la probabilidad de pertenecer a cada categoría ordenada de respuesta en la
variable criterio).12
En la Tabla 13 se muestra la proporción de varianza del criterio que es
12 En el modelo de regresión probit, se establece el siguiente modelo de relación lineal entre x (la variable predictora) e y* (el nivel
latente en la variable criterio):
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
29
explicada por las puntuaciones estimadas en listening o en eCAT-grammar, aislada y
conjuntamente.
Tabla 13
R2 según los modelos de regresión probit y regresión líneal (N =1291; Media grammar = .42; DT grammar =.64)
Regresión Probit Regresión Lineal
Lectura Escritura Conversación Lectura Escritura Conversación
listening .405 .386 .482 .336 .342 .434 eCAT-grammar .468 .488 .499 .400 .432 .453 Ambos .479 .492 .538 .412 .439 .489
Puede observarse que con listening se llega a explicar casi el 45% (50% en la regresión probit)
del nivel autopercibido de comprensión oral y aproximadamente el 34% (40% en la regresión
probit) del nivel autopercibido de comprensión lectora y de escritura. Comparativamente, la
prueba de eCAT-grammar tiene mayor poder predictivo en todos los casos. Sin embargo, existe
un incremento en la proporción de varianza explicada del nivel de comprensión oral (un
incremento de 4%) al añadir las estimaciones en listening.
En relación al resto de variables criterio, el nivel predictivo de las pruebas es muy similar. El
patrón exacto de resultados depende de la aproximación tomada. Si se toma la regresión lineal,
eCAT-grammar resulta siempre la prueba más predictiva, aunque las diferencias en relación a la
proporción de varianza explicada son pequeñas (menores del 4%). Las puntuaciones en listening
predicen un 35% de la varianza del nivel en la EOI, un 14% de la variabilidad en los años de
estancia y un 2.7% de la variabilidad en la presencia del inglés en el hogar. Las proporciones de
varianza explicada al añadir eCAT-grammar pasan a ser, respectivamente, 42%, 18% y 3.2%.
Si se toma la regresión probit, las puntuaciones en listening resultan más predictivas de la
experiencia con el inglés (años de estancia, formación de inglés en el hogar), aunque las
diferencias en relación a la proporción de varianza explicada son pequeñas (menores del 5%).
La variable listening predice un 39% de la varianza del nivel en la EOI, un 35% de la
variabilidad en los años de estancia y un 27% de la variabilidad en la presencia del inglés en el
xy*
y* es la variable latente continua que subyace a la variable criterio y, que puede tomar valores discretos (k: 1, …, K). Se asume que
los valores de y*|x se distribuyen normalmente N(x, V()), donde V() = 1. Las probabilidades de elegir cada categoría de
respuesta se establecen como:
)(1)|(
)()()|(
)()|1(
1
1
xxKyP
xxxkyP
xxyP
K
kk
Donde )( es la función de distribución normal acumulada. En la Tabla 13 se muestra la proporción de varianza de y* que es
explicada por las puntuaciones estimada en eCAT listening o en eCAT grammar, aislada y conjuntamente.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
30
hogar. Las proporciones de varianza explicada al añadir eCAT-grammar pasan a ser,
respectivamente, 46%, 38% y 28%.
Tabla 14
R2 según los modelos de regresión probit y regresión líneal (N =1291; Media grammar =.42; DT grammar =.64; N =
635; Media grammar =.24; DT grammar =.57).
Regresión Probit Regresión Lineal
Años de Estancia
(N = 1291)
F. Hogar
(N = 1291)
Nivel EOI
(N = 635)
Años de Estancia
(N = 1291)
F. Hogar
(N = 1291)
Nivel EOI
(N = 635)
eCAT listening .353 .273 .391 .141 .027 .347 eCAT grammar .339 .230 .416 .175 .031 .387 Ambos .380 .277 .462 .179 .032 .420
Una de las ventajas de la regresión probit es que permite obtener una figura con la probabilidad
esperada de acertar en función de la variable predictora, en este caso, las estimaciones en
listening. Los resultados se muestran en las Figuras 13, 14 y 15 (estos datos se muestran de
forma numérica en el Apéndice 4, Tablas AP.4.1). En todos los casos puede observarse
que las probabilidades empíricas y teóricas siguen un patrón bastante similar. Puede
observarse que para niveles autopercibidos altos de nivel de comprensión oral se requieren
niveles más alto de nivel de rasgo que para niveles autopercibidos altos de nivel de comprensión
escrita o lectora (Figura 13).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
31
Figura 13 Nivel de comprensión lectora, escritora y conversacional (percibido) en función del decil (teórico, superior; observado, inferior).
Lectura Escritura Oral
1 Incapaz de entender textos en ingles Incapaz de escribir textos en ingles Incapaz de hablar en ingles
2 Entiende textos sencillos Escribe textos sencillos, con faltas y
errores
Puede comprender una conversación
sencilla (cosas básicas)
3 Entiende ideas generales de textos
diversos
Escribe textos sin errores pero con
mucho esfuerzo
Puede comprender y hacerse
entender en diversos contextos
sociales, con dificultades
4 Lee textos de distinto contenido Escribe textos de distinto contenido Habla y entiende bien el ingles
5 Bilingüe Bilingüe Bilingüe
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9
10decil
1
2
3
4
5
Pro
b. d
e el
egir
ken
lect
ura
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9
10
decil
1
2
3
4
5
Pro
b. d
e el
egir
ken
esc
ritu
ra
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9
10
decil
1
2
3
4
5
Pro
b. d
e el
egir
ken
ora
l
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9 10
decil
Pro
b. d
e el
egir
ken
lect
ura
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9 10
decil
Pro
b. d
e el
egir
ken
esc
ritu
ra
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9 10
decil
Pro
b. d
e el
egir
ken
ora
l
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
32
Figura 14 Nivel de la Escuela Oficial de Idiomas, presencia de inglés en el entorno familia y años de estancia en función del decil (teórico, superior; observado, inferior).
Figura 15 Probabilidad promedio (teórica) de encontrarse en un decil de eCAT grammar en función del decil en eCAT listening.
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9
10decil
Básico
Intermedio 1
Intermedio 2
Avanzado 1
Avanzado 2
Pro
b. d
e te
ner
un
niv
el e
n la
EO
I
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9
10
decil
Pro
b. d
e p
rese
nci
a d
el in
glé
s en
ho
gar
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9
10
decil
0
Hasta 1 año
Hasta 3 años
4 o más
Pro
b. d
e ca
teg
ori
a "A
ño
s d
e es
tan
cia"
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9 10
decil
Pro
b. d
e te
ner
un
niv
el e
n la
EO
I
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9 10
decil
Pro
b. d
e p
rese
nci
a d
el in
glé
s en
ho
gar
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
decil
Pro
b. d
e ca
teg
ori
a "A
ño
s d
e es
tan
cia"
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1 2 3 4 5 6 7 8 9
10
decil
1 2 3
4 5 6
7 8 9
Pro
b. d
e te
ner
el d
ecil
k en
el e
CA
T-G
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
33
5. PROPUESTA DE CONSIDERACIÓN DE LA PRECISIÓN
DE LOS NIVELES ESTIMADOS EN listening
En cualquier evaluación hay que tener en cuenta la precisión con la que se mide. En nuestro
caso, con un nivel estimado clasificamos a una persona en un decil específico, aunque debido
a la imprecisión de la estimación podría estar en otro decil adyacente. Una forma de considerar
la precisión de las estimaciones de listening en la clasificación por deciles es construir una tabla
en la que se muestre el intervalo de confianza en el decil -asumiendo una distribución normal
N(0,1) – según los distintos niveles de precisión. Los intervalos se calculan a partir del error
típico de . Por ejemplo, para la precisión.20-.25, con un nivel de confianza del 95%:
min= – (1.96)(.225)
max = – (1.96)(.225)
Li y Ls son los deciles asociados a min y max, según la distribución normal acumulada, FN(z).
Los resultados se muestran en la Tabla 15. Como es esperable los mayores errores de
clasificación se dan en los niveles intermedios (los deciles son más inestables en esos niveles).
Por ejemplo, incluso cuando el test es muy preciso, una persona de nivel medio (por ejemplo,
con = -0.1) puede ser clasificada con un nivel de confianza del 95% entre los deciles 3 y 7. En
la Tabla 15 se señala con un rectángulo dónde es más probable que se sitúe la precisión según
el decil. En la Tabla 16 se muestran los mismos resultados si se considera un nivel de confianza
del 68%.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
34
Tabla 15:Límite inferior y superior para el decil en función del nivel de precisión del test (0.20-0.25,
0.25-0.30,…). Nivel de confianza del 95%
Muy Alto 0.20-0.25
Alto 0.25-0.30
Medio 0.30-0.35
Medio-bajo 0.35-0.40
Bajo 0.40-0.45
Muy bajo 0.45-0.50
z FN(z) Decil Li Ls Li Ls Li Ls Li Ls Li Ls Li Ls
<-2.3 .01 1 1 1 1 1 1 1 1 1 1 1 1 1
-2.2 .01 1 1 1 1 1 1 1 1 1 1 1 1 2
-2.1 .02 1 1 1 1 1 1 1 1 1 1 2 1 2
-2 .02 1 1 1 1 1 1 1 1 2 1 2 1 2
-1.9 .03 1 1 1 1 1 1 2 1 2 1 2 1 2
-1.8 .04 1 1 1 1 2 1 2 1 2 1 2 1 2
-1.7 .04 1 1 2 1 2 1 2 1 2 1 2 1 3
-1.6 .05 1 1 2 1 2 1 2 1 2 1 3 1 3
-1.5 .07 1 1 2 1 2 1 2 1 3 1 3 1 3
-1.4 .08 1 1 2 1 2 1 3 1 3 1 3 1 4
-1.3 .10 1 1 2 1 3 1 3 1 3 1 4 1 4
-1.2 .12 2 1 3 1 3 1 3 1 4 1 4 1 4
-1.1 .14 2 1 3 1 3 1 4 1 4 1 4 1 5
-1 .16 2 1 3 1 4 1 4 1 4 1 5 1 5
-0.9 .18 2 1 4 1 4 1 4 1 5 1 5 1 6
-0.8 .21 3 2 4 1 4 1 5 1 5 1 6 1 6
-0.7 .24 3 2 4 2 5 1 5 1 6 1 6 1 6
-0.6 .27 3 2 5 2 5 2 6 1 6 1 6 1 7
-0.5 .31 4 2 5 2 6 2 6 2 6 1 7 1 7
-0.4 .34 4 3 6 2 6 2 6 2 7 2 7 1 8
-0.3 .38 4 3 6 3 6 2 7 2 7 2 8 2 8
-0.2 .42 5 3 6 3 7 3 7 2 8 2 8 2 8
-0.1 .46 5 3 7 3 7 3 8 3 8 2 8 2 8
0 .50 6 4 7 3 8 3 8 3 8 3 8 2 9
0.1 .54 6 4 8 4 8 3 8 3 8 3 9 3 9
0.2 .58 6 5 8 4 8 4 8 3 9 3 9 3 9
0.3 .62 7 5 8 5 8 4 9 4 9 3 9 3 9
0.4 .66 7 5 8 5 9 5 9 4 9 4 9 3 10
0.5 .69 7 6 9 5 9 5 9 5 9 4 10 4 10
0.6 .73 8 6 9 6 9 5 9 5 10 5 10 4 10
0.7 .76 8 7 9 6 9 6 10 5 10 5 10 5 10
0.8 .79 8 7 9 7 10 6 10 6 10 5 10 5 10
0.9 .82 9 7 10 7 10 7 10 6 10 6 10 5 10
1 .84 9 8 10 7 10 7 10 7 10 6 10 6 10
1.1 .86 9 8 10 8 10 7 10 7 10 7 10 6 10
1.2 .88 9 8 10 8 10 8 10 7 10 7 10 7 10
1.3 .90 10 9 10 8 10 8 10 8 10 7 10 7 10
1.4 .92 10 9 10 9 10 8 10 8 10 8 10 7 10
1.5 .93 10 9 10 9 10 9 10 8 10 8 10 8 10
1.6 .95 10 9 10 9 10 9 10 9 10 8 10 8 10
1.7 .96 10 9 10 9 10 9 10 9 10 9 10 8 10
1.8 .96 10 10 10 9 10 9 10 9 10 9 10 9 10
1.9 .97 10 10 10 10 10 9 10 9 10 9 10 9 10
2 .98 10 10 10 10 10 10 10 9 10 9 10 9 10
2.1 .98 10 10 10 10 10 10 10 10 10 9 10 9 10
2.2 .99 10 10 10 10 10 10 10 10 10 10 10 9 10
>2.3 .99 10 10 10 10 10 10 10 10 10 10 10 10 10
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
35
Tabla 16: Límite inferior y superior para el decil en función del nivel de precisión del test (0.20-0.25,
0.25-0.30,…). Nivel de confianza del 68%.
Muy Alto .20-.25
Alto .25-.30
Medio .30-.35
Medio-bajo .35-.40
Bajo .40-.45
Muy bajo .45-.50
z FN(z) Decil Li Ls Li Ls Li Ls Li Ls Li Ls Li Ls
<-1.8 ..04 1 1 1 1 1 1 1 1 1 1 1 1 1
-1.7 ..04 1 1 1 1 1 1 1 1 1 1 2 1 2
-1.6 ..05 1 1 1 1 1 1 2 1 2 1 2 1 2
-1.5 ..07 1 1 2 1 2 1 2 1 2 1 2 1 2
-1.4 ..08 1 1 2 1 2 1 2 1 2 1 2 1 2
-1.3 ..10 1 1 2 1 2 1 2 1 2 1 2 1 3
-1.2 ..12 2 1 2 1 2 1 2 1 3 1 3 1 3
-1.1 ..14 2 1 2 1 3 1 3 1 3 1 3 1 3
-1 ..16 2 2 3 2 3 1 3 1 3 1 3 1 3
-.9 ..18 2 2 3 2 3 2 3 2 3 1 4 1 4
-.8 ..21 3 2 3 2 3 2 4 2 4 2 4 2 4
-.7 ..24 3 2 4 2 4 2 4 2 4 2 4 2 5
-.6 ..27 3 3 4 2 4 2 4 2 5 2 5 2 5
-.5 ..31 4 3 4 3 5 3 5 2 5 2 5 2 5
-.4 ..34 4 3 5 3 5 3 5 3 5 3 6 2 6
-.3 ..38 4 3 5 3 5 3 6 3 6 3 6 3 6
-.2 ..42 5 4 6 4 6 3 6 3 6 3 6 3 7
-.1 ..46 5 4 6 4 6 4 6 4 7 3 7 3 7
0 ..50 6 5 6 4 7 4 7 4 7 4 7 4 7
.1 ..54 6 5 7 5 7 5 7 4 7 4 8 4 8
.2 ..58 6 5 7 5 7 5 8 5 8 5 8 4 8
.3 ..62 7 6 8 6 8 5 8 5 8 5 8 5 8
.4 ..66 7 6 8 6 8 6 8 6 8 5 8 5 9
.5 ..69 7 7 8 6 8 6 8 6 9 6 9 6 9
.6 ..73 8 7 8 7 9 7 9 6 9 6 9 6 9
.7 ..76 8 7 9 7 9 7 9 7 9 7 9 6 9
.8 ..79 8 8 9 8 9 7 9 7 9 7 9 7 9
.9 ..82 9 8 9 8 9 8 9 8 9 7 10 7 10
1 ..84 9 8 9 8 9 8 10 8 10 8 10 8 10
1.1 ..86 9 9 10 8 10 8 10 8 10 8 10 8 10
1.2 ..88 9 9 10 9 10 9 10 8 10 8 10 8 10
1.3 ..90 10 9 10 9 10 9 10 9 10 9 10 8 10
1.4 ..92 10 9 10 9 10 9 10 9 10 9 10 9 10
1.5 ..93 10 9 10 9 10 9 10 9 10 9 10 9 10
1.6 ..95 10 10 10 10 10 9 10 9 10 9 10 9 10
1.7 ..96 10 10 10 10 10 10 10 10 10 9 10 9 10
>1.8 ..96 10 10 10 10 10 10 10 10 10 10 10 10 10
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
36
6. REFERENCIAS Council of Europe (1999). Relating Language Examinations to the Common European
Framework of Reference for Languages: Learning, Teaching, Assessment (CEFR).
Language Policy Division, Strasbourg.
Chang, H.H. y Ying, Z. (1999). a-stratified multistage computerized adaptive testing. Applied
Psychological Measurement, 20, 213-229.
Dodd, B.G. (1990). The effect of item selection procedures and stepsize on computerized
adaptive attitude measurement using the rating scale model. Applied Psychological
Measurement, 14, 355-366.
Drasgow F, Levine MV, Tsien S y Williams B (1995). Fitting polytomous item response theory
models to multiple-choice tests. Applied Psychological Measurement, 19, 143-165.
Hanson, B.A. y Beguin, A.A. (2002). Obtaining a common scale for IRT item parameters using
separate versus oncurrent estimation in the common-item equating design. Applied
Psychological Measurement, 26(1), 3-24.
Hornke, L.F. (2000). Item response times in computerized adaptive testing. Psicológica, 21 (1-
2), 175-189.
Lorenzo, U. y Ferrando, P.J. (2006). FACTOR: A computer program to fit the exploratory
factor analysis model. Behavior Research Methods, 38, 88-91.
McBride, J.R. y Martin, J.T. (1983). Reliability and validity of adaptive ability tests in a
military setting. En D. J. Weiss (Ed.). New Horizons in testing: Latent trait test theory
and computerized adaptive testing (pp 223-236). New York: Academic Press.
Muthen, B. y Muthen, L.K. (2006). Mplus. Los Angeles: Muthén and Muthén. .
Olea, J., Abad, F.J., Ponsoda, V. y Ximénez, M.C. (2004): Un test adaptativo informatizado
para evaluar el conocimiento del inglés escrito: Diseño y comprobaciones
psicométricas. Psicothema, 16, 519-525.
Orlando, M. y Thissen, D. (2003). Further invesigation of the performance of S-X2: An item fit
index for use with dichotomous item response theory models. Applied Psychological
Measurement, 27, 289-298
Stark, S. (2001). MODFIT: A computer program for model-data fit. Urbana-Champaign:
University of Illinois at Urbana-Champaign. Descargado de
http://work.psych.uiuc.edu/irt.
Thissen, D., Chen, W-H, y Bock, R.D. (2003). Multilog (version 7) [Computer sotware].
Lincolnwood, IL: Scientific Software International.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
37
APÉNDICES
Apéndice 1
Análisis desde la Teoría Clásica de Tests
Tabla TCT.1. Proporción de aciertos y Correlación biserial corregida ítem-test (anclaje)
Subtest ÍtemTCT Ítem99 ID p rb p1 rb1 p2 rb2 p3 rb3 p4 rb4
Anclaje 1 1 d14 .38 .35 .10 -.44 .38 .35 .52 -.64 .01 -.39
Anclaje 2 2 d62 .64 .49 .64 .49 .33 -.81 .03 -.50 .01 -.56
Anclaje 3 3 d66 .52 .48 .32 -.71 .16 -.57 .52 .48 .00 -.34
Anclaje 4 4 d92 .79 .34 .79 .34 .13 -.65 .07 -.61 .00 -.33
Anclaje 5 5 d110 .92 .50 .92 .50 .01 -.79 .07 -.82 .00 -.11
Anclaje 6 6 d113 .74 .47 .13 -.74 .12 -.64 .74 .47 .01 -.59
Anclaje 7 7 d116 .75 .30 .75 .30 .21 -.60 .04 -.78 .00 -.58
Anclaje 8 8 d117 .54 .35 .31 -.66 .14 -.48 .54 .35 .00 -.67
Anclaje 9 9 d135 .81 .39 .81 .39 .02 -.70 .16 -.71 .00 -.63
Anclaje 10 10 d154 .55 .29 .55 .29 .07 -.58 .38 -.61 .00 -.50
Anclaje 11 11 d165 .69 .26 .07 -.51 .23 -.61 .69 .26 .01 -.45
Anclaje 12 12 d175 .49 .38 .31 -.62 .18 -.53 .49 .38 .01 -.47
Nota: En rojo, ítems con biserial corregida menor que 0,1; En cursiva-negrita, distractores con biseriales
positivas y elegidas más del 5% de las veces. En subrayado-negrita, distractores más elegidos que la
opción correcta.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
38
Tabla TCT.2. Proporción de aciertos y correlación biserial corregida ítem-test (subtest 1)
Subtest ÍtemTCT Ítem99 ID p rb p1 rb1 p2 rb2 p3 rb3 p4 rb4
1 1 1 d14 .39 .47 .10 -.27 .39 .47 .51 -.50 .01 -.10 1 2 2 d62 .65 .65 .65 .65 .32 -.71 .02 -.45 .00 -.58 1 3 3 d66 .54 .63 .31 -.59 .15 -.41 .54 .63 .00 -.60 1 4 4 d92 .80 .36 .80 .36 .13 -.40 .08 -.40 .00 -.28 1 5 5 d110 .92 .60 .92 .60 .01 -.63 .07 -.67 .00 -9.00 1 6 6 d113 .74 .62 .13 -.67 .13 -.47 .74 .62 .01 -.43 1 7 7 d116 .77 .42 .77 .42 .19 -.43 .04 -.68 .00 -.44 1 8 8 d117 .55 .36 .31 -.42 .13 -.23 .55 .36 .01 -.73 1 9 9 d135 .81 .55 .81 .55 .03 -.74 .16 -.55 .00 -.32 1 10 10 d154 .50 .33 .50 .33 .07 -.39 .43 -.37 .00 -9.00 1 11 11 d165 .70 .35 .07 -.36 .22 -.38 .70 .35 .01 -.72 1 12 12 d175 .51 .42 .31 -.41 .17 -.32 .51 .42 .01 -.63 1 13 13 d7 .51 .41 .29 -.32 .19 -.43 .51 .41 .01 -.44 1 14 14 d20 .83 .52 .08 -.59 .83 .52 .08 -.44 .01 -.61 1 15 15 d21 .40 .52 .24 -.50 .36 -.29 .40 .52 .01 -.64 1 16 16 d31 .89 .38 .04 -.67 .89 .38 .07 -.27 .00 -.60 1 17 17 d32 .75 .66 .13 -.59 .75 .66 .11 -.58 .01 -.63 1 18 18 d37 .77 .72 .10 -.70 .12 -.61 .77 .72 .01 -.59 1 19 19 d46 .93 .76 .93 .76 .04 -.73 .03 -.72 .01 -.85 1 20 20 d48 .94 .77 .04 -.77 .02 -.75 .94 .77 .00 -.85 1 21 21 d53 .92 .69 .01 -.57 .92 .69 .07 -.77 .00 -9.00 1 22 d56 .34 .01 .34 .01 .30 -.27 .35 .05 .01 -.49 1 23 22 d71 .62 .71 .12 -.47 .26 -.68 .62 .71 .01 -.46 1 24 23 d82 .81 .52 .07 -.63 .81 .52 .12 -.47 .00 -9.00 1 25 24 d96 .89 .60 .04 -.51 .89 .60 .07 -.66 .00 -.89 1 26 25 d119 .58 .52 .29 -.59 .12 -.29 .58 .52 .00 -.36 1 27 26 d131 .55 .80 .33 -.84 .11 -.27 .55 .80 .01 -.51 1 28 27 d132 .62 .50 .08 -.19 .62 .50 .30 -.62 .00 -.60 1 29 28 d143 .56 .55 .16 -.29 .56 .55 .27 -.61 .01 -.39 1 30 29 d145 .68 .57 .15 -.40 .17 -.64 .68 .57 .01 -.18 1 31 30 d146 .69 .58 .16 -.44 .15 -.63 .69 .58 .01 -.33 1 32 31 d148 .67 .45 .14 -.53 .18 -.32 .67 .45 .02 -.52 1 33 32 d160 .90 .45 .02 -.70 .08 -.46 .90 .45 .00 -.60 1 34 33 d169 .57 .56 .34 -.51 .07 -.45 .57 .56 .02 -.68 1 35 34 d170 .56 .57 .28 -.44 .56 .57 .16 -.55 .01 -.52 1 36 35 d180 .96 .45 .03 -.64 .01 -.24 .96 .45 .00 .17 1 37 36 d198 .86 .64 .86 .64 .06 -.57 .07 -.61 .01 -.82 1 38 37 d200 .79 .69 .11 -.67 .79 .69 .09 -.60 .01 -.56 1 39 38 d201 .45 .42 .20 -.31 .45 .42 .33 -.38 .02 -.44 1 40 39 d204 .42 .46 .05 -.39 .53 -.48 .42 .46 .01 -.75 1 41 40 d205 .76 .53 .14 -.47 .10 -.57 .76 .53 .01 -.50 1 42 41 d207 .81 .74 .11 -.78 .07 -.53 .81 .74 .00 -.92
Nota: En rojo, ítems con biserial corregida menor que .1; En cursiva y negrita, distractores con biseriales
positivas y elegidas más del 5% de las veces. En subrayado y negrita, distractores más elegidos que la
opción correcta.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
39
Tabla TCT.3. Proporción de aciertos y correlación biserial corregida ítem-test (subtest 2)
Subtest ÍtemTCT Ítem99 ID p rb p1 rb1 p2 rb2 p3 rb3 p4 rb4
2 1 .42 .49 .08 -.39 .42 .49 .50 -.49 .00 -.64 2 2 .67 .52 .67 .52 .31 -.64 .02 -.20 .01 -.45 2 3 .56 .62 .30 -.62 .13 -.42 .56 .62 .00 -.34 2 4 .78 .46 .78 .46 .15 -.45 .07 -.57 .01 -.31 2 5 .93 .49 .93 .49 .01 -.60 .07 -.58 .00 -.29 2 6 .78 .52 .12 -.62 .09 -.39 .78 .52 .01 -.58 2 7 .74 .30 .74 .30 .23 -.30 .04 -.74 .00 -.57 2 8 .52 .46 .33 -.47 .15 -.36 .52 .46 .00 -.64 2 9 .81 .44 .81 .44 .02 -.54 .17 -.53 .00 -9.00 2 10 .56 .29 .56 .29 .08 -.45 .36 -.31 .00 -.59 2 11 .70 .31 .07 -.40 .22 -.36 .70 .31 .01 -.23 2 12 .51 .45 .30 -.37 .18 -.43 .51 .45 .01 -.51 2 13 42 d5 .59 .51 .26 -.62 .14 -.26 .59 .51 .00 -.51 2 14 43 d17 .73 .54 .73 .54 .11 -.58 .15 -.46 .01 -.59 2 15 44 d29 .82 .70 .15 -.71 .82 .70 .03 -.75 .00 -.47 2 16 45 d33 .98 .65 .01 -.65 .01 -.73 .98 .65 .00 -.51 2 17 46 d41 .67 .65 .67 .65 .11 -.52 .22 -.63 .01 -.45 2 18 47 d42 .69 .55 .11 -.69 .69 .55 .21 -.42 .00 -.51 2 19 48 d51 .76 .64 .76 .64 .12 -.74 .12 -.47 .00 -.25 2 20 49 d55 .75 .64 .06 -.67 .18 -.60 .75 .64 .01 -.50 2 21 50 d61 .91 .15 .03 -.03 .91 .15 .06 -.37 .00 -.25 2 22 51 d80 .48 .58 .34 -.59 .18 -.29 .48 .58 .01 -.57 2 23 52 d87 .46 .46 .46 .46 .19 -.68 .35 -.17 .01 -.70 2 24 53 d100 .73 .69 .17 -.57 .73 .69 .10 -.71 .01 -.48 2 25 54 d104 .88 .60 .88 .60 .06 -.72 .06 -.52 .00 -.31 2 26 55 d111 .58 .61 .21 -.52 .58 .61 .20 -.54 .01 -.15 2 27 56 d114 .26 .56 .67 -.51 .06 -.39 .26 .56 .01 -.41 2 28 57 d120 .94 .68 .03 -.70 .03 -.71 .94 .68 .01 -.45 2 29 58 d128 .76 .60 .76 .60 .12 -.53 .12 -.62 .00 -.45 2 30 d142 .66 .04 .66 .04 .16 -.25 .17 -.09 .01 -.20 2 31 59 d151 .74 .69 .11 -.50 .74 .69 .14 -.74 .01 -.70 2 32 60 d179 .41 .38 .41 .38 .22 -.40 .36 -.27 .02 -.38 2 33 61 d190 .91 .57 .06 -.64 .03 -.54 .91 .57 .00 -.51 2 34 62 d191 .71 .37 .71 .37 .05 -.56 .25 -.41 .00 -9.00 2 35 63 d195 .67 .52 .14 -.31 .19 -.66 .67 .52 .00 -9.00 2 36 64 d211 .52 .45 .52 .45 .10 -.56 .36 -.36 .01 -.60 2 37 65 d215 .93 .35 .02 -.27 .05 -.50 .93 .35 .00 -.22 2 38 66 d217 .85 .26 .03 -.50 .85 .26 .12 -.32 .01 -.22 2 39 67 d220 .51 .25 .51 .25 .06 -.30 .40 -.31 .02 -.34 2 40 68 d221 .73 .38 .08 -.55 .16 -.27 .73 .38 .03 -.51 2 41 69 d225 .26 .52 .34 -.54 .39 -.13 .26 .52 .01 -.44 2 42 70 d227 .91 .44 .91 .44 .02 -.77 .08 -.45 .00 -9.00
Nota: En rojo, ítems con biserial corregida menor que .1; En cursiva y negrita, distractores con biseriales
positivas y elegidas más del 5% de las veces. En subrayado y negrita, distractores más elegidos que la
opción correcta.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
40
Tabla TCT.4. Proporción de aciertos y Correlación biserial corregida ítem-test (subtest 3)
Subtest ÍtemTCT Ítem99 ID p rb p1 rb1 p2 rb2 p3 rb3 p4 rb4
3 1 .33 .27 .12 -.18 .33 .27 .54 -.34 .01 -.12 3 2 .59 .55 .59 .55 .36 -.62 .04 -.43 .01 -.17 3 3 .43 .56 .34 -.47 .22 -.43 .43 .56 .01 .13 3 4 .82 .38 .82 .38 .11 -.46 .07 -.39 .00 -9.00 3 5 .91 .76 .91 .76 .01 -.88 .08 -.82 .00 -.24 3 6 .70 .53 .16 -.58 .14 -.44 .70 .53 .00 -9.00 3 7 .74 .37 .74 .37 .23 -.40 .04 -.61 .00 -9.00 3 8 .54 .43 .30 -.47 .16 -.33 .54 .43 .00 -9.00 3 9 .81 .29 .81 .29 .02 -.40 .16 -.37 .01 -.51 3 10 .60 .32 .60 .32 .08 -.39 .32 -.37 .00 -.24 3 11 .67 .26 .07 -.12 .26 -.43 .67 .26 .00 -9.00 3 12 .44 .34 .33 -.35 .20 -.26 .44 .34 .02 -.30 3 13 71 d1 .91 .14 .09 -.27 .00 -.24 .91 .14 .00 -9.00 3 14 72 d10 .79 .61 .79 .61 .10 -.57 .11 -.62 .01 -.23 3 15 73 d19 .65 .52 .26 -.56 .65 .52 .09 -.40 .01 -.35 3 16 74 d24 .46 .41 .32 -.29 .21 -.47 .46 .41 .01 .02 3 17 75 d34 .61 .58 .61 .58 .19 -.39 .19 -.64 .01 -.30 3 18 76 d45 .57 .44 .28 -.34 .14 -.58 .57 .44 .01 .03 3 19 77 d58 .63 .42 .06 -.38 .31 -.48 .63 .42 .00 -.72 3 20 78 d59 .86 .57 .86 .57 .07 -.80 .07 -.34 .00 -.68 3 21 79 d69 .83 .49 .83 .49 .03 -.74 .14 -.50 .00 -.33 3 22 80 d78 .86 .59 .09 -.78 .86 .59 .05 -.33 .00 -9.00 3 23 81 d79 .39 .37 .39 .37 .37 -.32 .23 -.31 .02 -.23 3 24 82 d84 .77 .60 .16 -.51 .77 .60 .07 -.73 .00 -.77 3 25 83 d106 .76 .76 .14 -.66 .10 -.73 .76 .76 .01 -.23 3 26 84 d107 .85 .54 .85 .54 .07 -.67 .08 -.47 .00 -9.00 3 27 85 d121 .63 .54 .08 -.30 .27 -.61 .63 .54 .02 -.34 3 28 86 d125 .95 .16 .02 -.47 .03 -.14 .95 .16 .00 -9.00 3 29 87 d126 .65 .48 .05 -.59 .65 .48 .30 -.50 .00 -9.00 3 30 88 d129 .58 .52 .20 -.32 .21 -.58 .58 .52 .01 -.43 3 31 89 d139 .60 .46 .60 .46 .29 -.52 .10 -.34 .01 -.22 3 32 90 d141 .68 .44 .09 -.38 .68 .44 .22 -.51 .01 -.09 3 33 91 d167 .44 .54 .11 -.13 .43 -.61 .44 .54 .02 -.38 3 34 92 d172 .44 .29 .25 -.49 .44 .29 .27 -.03 .04 -.39 3 35 93 d188 .81 .67 .81 .67 .17 -.77 .02 -.44 .00 -.15 3 36 94 d189 .65 .44 .15 -.53 .18 -.32 .65 .44 .02 -.44 3 37 95 d199 .68 .41 .21 -.50 .10 -.31 .68 .41 .00 -.24 3 38 96 d203 .68 .56 .15 -.47 .68 .56 .16 -.55 .01 -.45 3 39 97 d209 .57 .26 .12 -.36 .29 -.24 .57 .26 .02 -.50 3 40 d210 .52 .09 .34 -.04 .13 -.43 .52 .09 .01 -.38 3 41 98 d218 .46 .47 .46 .47 .50 -.54 .05 -.37 .00 -9.00 3 42 99 d223 .52 .58 .14 -.39 .52 .58 .32 -.55 .02 -.35
Nota: En rojo, ítems con biserial corregida menor que .1; En cursiva y negrita, distractores con biseriales
positivas y elegidas más del 5% de las veces. En subrayado y negrita, distractores más elegidos que la
opción correcta.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
41
Apéndice 2
Análisis desde el Análisis factorial de ítems
Tabla AF.1.
Pesos de los ítems en su factor (solución unidimensional y solución bifactorial) para cada subtest (los 12
primeros ítems son los ítems de anclaje)
Subtest 1 Subtest 2 Subtest 3
Un factor
Dos factores1 Un factor
Dos factores1 Un factor
Dos factores1
Ítem99 Factor 1 Factor 2 Ítem99 Factor 1 Factor 2 Ítem99 Factor 1 Factor 2
1 .52 .265 .318 .53 .441 .29 .299
2 .68 .252 .490 .54 .255 .368 .59 .530
3 .67 .794 .66 .575 .60 .641
4 .37 .456 .47 .412 .39 .264
5 .58 .720 .49 .619 .79 .897
6 .64 .639 .56 .500 .56 .394
7 .44 .510 .33 .40 .389
8 .39 .310 .52 .393 .48 .435
9 .56 .459 .47 .464 .32 .514
10 .36 .32 .267 .36 .652
11 .37 .34 .380 .27 .511
12 .44 .378 .49 .505 .37 .389
13 .44 .415 42 .54 .309 .315 71 .15 .472 -.276
14 .53 .279 .314 43 .56 .589 72 .64 .320 .388
15 .57 .398 44 .71 .314 .496 73 .55 .393
16 .39 .476 45 .71 1.166 -.313 74 .44 .613
17 .68 .588 46 .68 .345 .440 75 .63 .325 .379
18 .73 .269 .526 47 .58 .254 .406 76 .47 .353
19 .74 .715 48 .65 .505 .269 77 .44 .381
20 .76 .636 49 .66 .293 .461 78 .60 .627
21 .67 .620 50 .17 .266 79 .51 .481
.01 51 .62 .659 80 .62 .569
22 .73 .676 52 .51 .311 .280 81 .40 .401
23 .55 .354 .263 53 .72 .274 .536 82 .63 .570
24 .61 .581 54 .61 .537 83 .79 .390 .490
25 .54 .385 55 .65 .704 84 .58 .647
26 .84 .886 56 .63 -.295 .912 85 .58 .677
27 .54 .582 57 .68 .537 .263 86 .16 .500 -.298
28 .59 .509 58 .62 .539 87 .53 .392
29 .58 .464 .06 88 .56 .541
30 .60 .495 59 .72 .414 .421 89 .49 .564
31 .47 .557 60 .41 .357 90 .46 .339
32 .45 .601 61 .58 .658 91 .61 .643
33 .60 .818 62 .40 .316 92 .30 .377
34 .61 .628 63 .55 .485 93 .68 .608
35 .46 .634 64 .49 .557 94 .45 .318
36 .63 .262 .428 65 .35 .415 95 .44 .274
37 .69 .309 .452 66 .28 .264 96 .60 .307 .361
38 .45 .447 67 .27 -.301 .541 97 .28 .504
39 .50 .414 68 .40 .363 .11
40 .55 .481 69 .58 .701 98 .50 .330
41 .73 .405 .409 70 .46 .290 99 .63 .611
1Suprimidos pesos menores de.25
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
42
Apéndice 3
Análisis desde el Análisis de Teoría de la Respuesta al Ítem Tabla TRI.1. Índices de ajuste de Orlando y Thissen
Ítem99
Código Apéndice
Gráficas
MODFIT
a b c chi gl p
1 1 .76 .95 .14 2.85 6 .8274 2 2 1.01 -.13 .22 15 7 .0360 3 3 1.29 .29 .17 6.94 7 .4352 4 4 1.06 .04 .59 9.77 8 .2815 5 5 .88 -1.91 .26 5.15 7 .6417 6 6 1.55 -.10 .43 1.6 7 .1570 7 7 .47 -.94 .26 17.7 8 .0236 8 8 .51 .21 .14 1.9 7 .1430 9 9 .61 -1.20 .28 2.09 8 .9781 10 10 .41 .40 .20 6.38 7 .4961 11 11 .43 -.34 .30 1.6 7 .1570 12 12 1.05 .75 .28 5.53 7 .5956 13 1 1.24 .77 .31 31 18 .0288 14 2 .90 -.83 .39 17.7 18 .4756 15 3 .98 .86 .16 16.8 17 .4680 16 4 .49 -2.16 .33 26.9 18 .0809 17 5 1.95 -.18 .39 17.4 17 .4276 18 6 1.45 -.57 .27 7.66 16 .9583 19 7 1.36 -1.65 .30 9.75 11 .5530 20 8 1.50 -1.66 .33 15.6 10 .1117 21 9 1.05 -1.70 .31 8.55 13 .8060 22 10 1.59 .01 .21 27.8 16 .0334 23 11 .77 -.98 .29 14.7 18 .6825 24 12 .91 -1.49 .29 3.6 16 .0151 25 13 .93 .28 .26 17.2 18 .5094 26 14 2.09 .11 .13 19.9 16 .2248 27 15 1.05 .19 .30 12.6 18 .8148 28 16 .92 .23 .20 15.6 18 .6204 29 17 1.22 .03 .33 28.2 18 .0591 30 18 .96 -.22 .26 16.4 18 .5647 31 19 1.05 .30 .41 14.9 19 .7289 32 20 .59 -2.07 .33 23.4 18 .1757 33 21 1.69 .40 .29 15.2 17 .5811 34 22 1.25 .34 .24 19.8 18 .3442 35 23 .67 -2.74 .35 8.32 13 .8221 36 24 1.43 -.70 .47 2.7 15 .1467 37 25 1.43 -.56 .34 12.2 17 .7879 38 26 .92 .89 .24 25.8 18 .1044 39 27 .92 .88 .18 19.5 17 .3006 40 28 .99 -.37 .36 13.6 18 .7548 41 29 1.35 -.76 .29 22.1 16 .1400 42 1 .80 .18 .23 17.3 17 .4342 43 2 1.63 .05 .44 1.1 16 .8614 44 3 1.63 -.60 .35 12.3 14 .5822 45 4 1.09 -2.72 .34 2.46 4 .6518 46 5 1.15 -0.20 .20 13.9 15 .5331 47 6 0.98 -0.17 .28 15.3 17 .5739 48 7 1.01 -0.58 .25 38.6 16 .0012 49 8 1.28 -0.38 .30 32.3 16 .0091
50 9 0.22 -4.90 .34 22.2 19 .2744 51 10 1.75 0.58 .22 12.7 16 0.6946 52 11 .73 .73 .17 9.94 16 .8697 53 12 1.52 -.30 .27 7.94 14 .8924 54 13 .90 -1.33 .32 17.9 14 .2114 55 14 1.68 .28 .25 32.5 15 .0055 56 15 1.52 1.12 .10 16.4 15 .3560 57 16 1.32 -1.62 .38 8.56 10 .5743 58 17 1.25 -.29 .36 21.9 16 .1464 59 18 1.35 -.47 .23 2.6 14 .1123 60 19 .71 1.15 .21 12.1 17 .7940 61 20 .85 -1.76 .29 19.9 14 .1333 62 21 .55 -.33 .30 22 18 .2320 63 22 .72 -.32 .21 27.7 18 .0668 64 23 1.18 .71 .30 25.8 18 .1044 65 24 .48 -2.74 .34 15.8 16 .4670 66 25 .36 -1.98 .35 17.8 19 .5358 67 26 1.26 1.12 .38 21.7 18 .2456 68 27 .78 .07 .46 15.8 18 .6065 69 28 1.76 1.16 .12 19.6 16 .2388 70 29 .65 -1.84 .37 12.2 16 .7301 71 1 .21 -5.32 .34 2.9 18 .2845 72 2 1.29 -.61 .37 23.2 14 .0571 73 3 1.04 -.12 .29 14.1 16 .5913 74 4 1.42 .71 .28 16.6 17 .4818 75 5 1.05 -.16 .21 25.3 16 .0647 76 6 1.10 .37 .33 22.9 17 .1525 77 7 .86 .13 .34 15.5 17 .5595 78 8 .91 -1.35 .28 11.1 14 .6782 79 9 .85 -1.00 .39 24.7 15 .0541 80 10 .89 -1.41 .29 15.7 14 .3320 81 11 1.39 .92 .24 14.9 18 .6688 82 12 .93 -.90 .23 43.7 16 .0002 83 13 1.82 -.63 .23 17.9 13 .1614 84 14 .79 -1.44 .28 2.2 15 .1644 85 15 1.60 .04 .31 26.5 16 .0474 86 16 .25 -6.01 .35 8.82 11 .6385 87 17 .95 -.16 .28 15 16 .5246 88 18 1.29 .16 .27 30 16 .0180 89 19 1.39 .23 .35 18.6 16 .2900 90 20 .67 -.38 .28 22.7 18 .2024 91 21 1.67 .45 .19 25.9 15 .0391 92 22 .81 1.12 .29 21.9 18 .2365 93 23 1.11 -.97 .26 14.1 14 .4423 94 24 .82 -.04 .33 2.5 18 .3054 95 25 .66 -.32 .30 14.9 18 .6688 96 26 1.13 -.24 .29 18.2 16 .3123 97 27 .78 .76 .39 19.6 19 .4190 98 28 1.15 .60 .24 26.3 17 .0692 99 29 1.40 .23 .21 13.6 16 .6285
En rojo: p < .01
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
43
Tabla TRI.2. Parámetros de ítems para el banco
definitivo
Ítem99
Código Apéndice
Gráficas
MODFIT
Ítem95 a b c
1 1 1 .76 .95 .14
2 2 2 1.02 -.13 .22
3 3 3 1.29 .29 .17 4 4
5 5 4 .87 -1.92 .26
6 6 5 1.55 -.10 .43 7 7 6 .47 -.95 .26
8 8 7 .52 .22 .15
9 9 8 .60 -1.21 .28 10 10 9 .40 .41 .20
11 11 10 .43 -.33 .30
12 12 11 1.05 .75 .28 13 1 12 1.22 .77 .31
14 2 13 .89 -.84 .39
15 3 14 1.00 .86 .16 16 4 15 .49 -2.17 .33
17 5 16 1.91 -.19 .38
18 6 17 1.45 -.56 .27 19 7 18 1.37 -1.65 .30
20 8 19 1.50 -1.66 .33
21 9 20 1.05 -1.70 .31 22 10 21 1.55 .00 .21
23 11 22 .77 -.98 .29
24 12 23 .92 -1.49 .28 25 13 24 .95 .29 .26
26 14 25 2.09 .11 .13
27 15 26 1.06 .19 .30 28 16 27 .93 .23 .20
29 17 28 1.22 .03 .33
30 18 29 .96 -.21 .27 31 19 30 1.05 .31 .41
32 20 31 .60 -2.06 .33
33 21 32 1.67 .40 .29 34 22 33 1.27 .34 .24
35 23 34 .67 -2.75 .35
36 24 35 1.43 -.70 .47 37 25 36 1.43 -.55 .34
38 26 37 .91 .90 .23
39 27 38 .92 .88 .18 40 28 39 1.00 -.36 .36
41 29 40 1.34 -.75 .29
42 1 41 .80 .19 .23 43 2 42 1.59 .05 .44
44 3 43 1.60 -.60 .35
45 4 44 1.10 -2.70 .34 46 5 45 1.16 -.20 .20
47 6 46 .98 -.17 .27 48 7 47 1.02 -.57 .25
49 8 48 1.28 -.38 .30
50 9
51 10 49 1.75 .58 .22
52 11 50 .74 .73 .17
53 12 51 1.51 -.31 .26 54 13 52 .90 -1.32 .32
55 14 53 1.72 .29 .26
56 15 54 1.54 1.12 .10 57 16 55 1.32 -1.61 .38
58 17 56 1.25 -.29 .36
59 18 57 1.35 -.46 .23 60 19 58 .72 1.15 .21
61 20 59 .84 -1.76 .29
62 21 60 .56 -.33 .30 63 22 61 .73 -.31 .21
64 23 62 1.20 .72 .30
65 24 63 .48 -2.72 .34 66 25 64 .37 -1.93 .35
67 26 65 1.25 1.13 .38
68 27 66 .79 .09 .46 69 28 67 1.77 1.16 .12
70 29 68 .66 -1.82 .37
71 1
72 2 69 1.34 -.60 .37
73 3 70 1.03 -.13 .28 74 4 71 1.40 .71 .28
75 5 72 1.04 -.17 .21
76 6 73 1.08 .36 .33 77 7 74 .88 .12 .33
78 8 75 .90 -1.37 .28
79 9 76 .86 -1.01 .39 80 10 77 .88 -1.43 .29
81 11 78 1.37 .91 .24
82 12 79 .94 -.90 .24 83 13 80 1.80 -.64 .23
84 14 81 .79 -1.45 .28
85 15 82 1.60 .02 .31 86 16
87 17 83 .95 -.16 .29
88 18 84 1.30 .14 .27 89 19 85 1.40 .23 .35
90 20 86 .68 -.39 .28
91 21 87 1.65 .44 .19 92 22 88 .77 1.12 .29
93 23 89 1.09 -1.00 .25
94 24 90 .82 -.04 .33 95 25 91 .66 -.32 .30
96 26 92 1.13 -.26 .28
97 27 93 .78 .75 .39 98 28 94 1.17 .60 .24
99 29 95 1.39 .22 .21
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
44
Apéndice 4
Análisis relacionados con la validez Figura A.V.1
Gráficos de dispersión que muestran la relación suavizada entre años de formación y estimada
(izquierda). Gráficos que muestran la media y el intervalo de confianza (95%) según años de formación
(derecha).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
45
Tabla AP4.1 (datos figura 13) Lectura Escritura Oral
Decil p1 p2 p3 p4 p5 p1 p2 p3 p4 p5 p1 p2 p3 p4 p5
1 .07 .25 .63 .04 .00 .10 .51 .35 .03 .00 .17 .62 .20 .01 .00
2 .02 .12 .74 .12 .01 .03 .35 .52 .10 .00 .04 .51 .40 .05 .00
3 .01 .07 .72 .20 .01 .01 .25 .57 .16 .00 .02 .38 .51 .10 .00
4 .00 .04 .67 .27 .02 .01 .19 .57 .23 .01 .01 .28 .56 .15 .01
5 .00 .02 .60 .34 .04 .00 .13 .55 .30 .02 .00 .19 .57 .22 .01
6 .00 .01 .52 .40 .06 .00 .09 .51 .36 .03 .00 .13 .54 .30 .03
7 .00 .01 .43 .46 .10 .00 .06 .46 .43 .05 .00 .08 .49 .38 .05
8 .00 .00 .35 .50 .14 .00 .04 .40 .49 .07 .00 .05 .42 .45 .07
9 .00 .00 .26 .52 .22 .00 .02 .32 .55 .11 .00 .03 .32 .52 .13
10 .00 .00 .13 .48 .38 .00 .01 .19 .58 .23 .00 .01 .17 .53 .29
Tabla AP4.1 (datos figura 14) Nivel en la EOI
Decil p1 p2 p3 p4 p5 Nivel en que suele clasificarse la persona según la EOI
1 .74 .20 .04 .02 .00 Básico 2 .50 .34 .10 .06 .01 Básico o Intermedio 1 3 .35 .38 .14 .11 .02 Básico o Intermedio 1 4 .25 .37 .17 .16 .05 Básico o Intermedio 5 .18 .35 .19 .21 .08 Intermedio o Avanzado 1 6 .12 .30 .20 .25 .12 Intermedio o Avanzado 1 7 .08 .25 .20 .29 .18 Intermedio o Avanzado 1 8 .05 .20 .19 .32 .25 Intermedio 2 o Avanzado 9 .02 .14 .16 .33 .35 Intermedio 2 o Avanzado 10 .01 .06 .09 .28 .56 Avanzado
Tabla AP4.1 (datos figura 15)
Decil Nivel en eCAT grammar
Nivel más probable en eCAT grammar 2 3 4 5 6 7 8 9 10
1 .03 .07 .43 .36 .09 .01 .00 .00 .00 < 5
2 .00 .00 .16 .47 .29 .07 .01 .00 .00 5-6
3 .00 .00 .05 .34 .40 .16 .04 .00 .00 5-6
4 .00 .00 .02 .22 .41 .24 .09 .01 .00 5-7
5 .00 .00 .01 .12 .36 .31 .17 .03 .00 6-8
6 .00 .00 .00 .06 .27 .33 .26 .06 .01 6-8
7 .00 .00 .00 .03 .17 .31 .35 .11 .03 6-8
8 .00 .00 .00 .01 .10 .25 .39 .18 .06 7-10
9 .00 .00 .00 .00 .04 .16 .38 .27 .15 7-10
10 .00 .00 .00 .00 .01 .05 .22 .30 .43 9-10
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
46
Tabla AP4.1 Nivel de estudios más probable como función del decil Decil Ningún estudio o
Primarios
Bachillerato Licenciado o
Universitario
Nivel probable
1 .27 .48 .25 no universitario
2 .18 .47 .34 no universitario 3 .15 .46 .40 no universitario 4 .12 .44 .44 no universitario 5 .10 .42 .48 no universitario
6 .09 .39 .52 universitario 7 .07 .37 .56 universitario 8 .06 .34 .59 universitario
9 .05 .31 .64 universitario 10 .03 .26 .71 universitario
Tabla AP4.1 Fuente de origen más probable como función del decil Decil Inglés en el hogar Con estancias
1 0 .01 2 0 .03
3 0 .05 4 .01 .08 5 .01 .12
6 .01 .16 7 .02 .22
8 .03 .28
9 .05 .37 10 .10 .53
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
47
INTERPRETACIÓN NORMATIVA Y CRITERIAL
DECIL 1 En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del
idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel muy
bajo de conocimiento del idioma. En concreto, respecto a un grupo de personas que
tuvieran muy diferente nivel de inglés (desde los que tienen escaso conocimiento hasta
los que son nativos) podríamos decir con ciertas garantías que usted superaría
únicamente al ___ del grupo, mientras que un ___ manifestarían un nivel superior al
suyo.
Se sabe que prácticamente todas las personas que evaluamos en este nivel se
han formado en el idioma únicamente en las asignaturas obligatorias de inglés que han
cursado en sus estudios de primaria y secundaria. Lo más normal es que no hayan
asistido a academias para mejorar su nivel en el idioma, ni a Escuelas Oficiales de
Idiomas. Como es lógico, las personas ubicadas en este nivel no han practicado el
idioma en contextos reales de comunicación; por ejemplo, resulta extremadamente
infrecuente que hayan realizado estancias en países anglosajones, seguramente porque
su nivel en el idioma no le capacita para una comunicación oral fluida.
A un número importante de personas con el mismo nivel que usted les
pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura,
escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5,
que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con
un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5
posibles en cada una de las 3 competencias con el idioma:
Niveles de dominio
LECTURA (%)
ESCRITURA (%)
COMPRENSIÓN ORAL (%)
Nivel 1 7 10 17
Nivel 2 25 51 62
Nivel 3 63 35 20
Nivel 4 4 3 1
Nivel 5 0 0 0
Vemos, por tanto, que la mayoría de las personas de su nivel de inglés
consideran que tienen un nivel medio-bajo en lectura y escritura, así como un nivel bajo
en comprensión oral del idioma.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
48
Las personas con su mismo nivel de inglés que asisten a Escuelas Oficiales de
Idiomas suelen estar aprendiendo en grupos de estudiantes del nivel básico (el nivel más
bajo de los 5 que se establecen en este tipo de centros).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
49
DECIL 2
En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del
idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel bajo
de conocimiento del idioma. En concreto, respecto a un grupo de personas que tuvieran
muy diferente nivel de inglés (desde los que tienen escaso conocimiento hasta los que
son nativos) podríamos decir con ciertas garantías que usted superaría únicamente al
___ del grupo, mientras que un ___ manifestarían un nivel superior al suyo.
Se sabe que prácticamente todas las personas que evaluamos en este nivel se
han formado en el idioma únicamente en las asignaturas obligatorias de inglés que han
cursado en sus estudios de primaria y secundaria. Lo más normal es que no hayan
asistido a academias para mejorar su nivel en el idioma, ni a Escuelas Oficiales de
Idiomas. Como es lógico, las personas ubicadas en este nivel no han practicado el
idioma en contextos reales de comunicación; por ejemplo, resulta extremadamente
infrecuente que hayan realizado estancias en países anglosajones, seguramente porque
su nivel en el idioma no le capacita para una comunicación oral fluida. Solamente un 3
% de las personas con su nivel admiten haber estado en alguna estancia en países de
habla inglesa.
A un número importante de personas con el mismo nivel que usted les
pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura,
escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5,
que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con
un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5
posibles en cada una de las 3 competencias con el idioma:
Niveles de dominio
LECTURA (%)
ESCRITURA (%)
COMPRENSIÓN ORAL (%)
Nivel 1 2 3 4
Nivel 2 12 35 51
Nivel 3 74 52 40
Nivel 4 12 10 5
Nivel 5 1 0 0
Vemos, por tanto, que la mayoría de las personas de su nivel de inglés
consideran que tienen un nivel medio en lectura, así como un nivel medio-bajo en
escritura y comprensión oral del idioma.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
50
Las personas con su mismo nivel de inglés que asisten a Escuelas Oficiales de
Idiomas suelen estar aprendiendo en grupos de estudiantes del nivel básico o
intermedio1 (los dos niveles más bajos de los 5 que se establecen en este tipo de
centros).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
51
DECIL 3
En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del
idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel
medio- bajo de conocimiento del idioma. En concreto, respecto a un grupo de personas
que tuvieran muy diferente nivel de inglés (desde los que tienen escaso conocimiento
hasta los que son nativos) podríamos decir con ciertas garantías que usted superaría
únicamente al ___ del grupo, mientras que un ___ manifestarían un nivel superior al
suyo.
Se sabe que la mayoría de las personas que evaluamos en este nivel se han
formado en el idioma únicamente en las asignaturas obligatorias de inglés que han
cursado en sus estudios de primaria y secundaria. Lo más normal es que no hayan ido a
Escuelas Oficiales de Idiomas, aunque algunas personas han asistido a academias para
mejorar su nivel en el idioma. Como es lógico, las personas ubicadas en este nivel no
han practicado el idioma en contextos reales de comunicación; por ejemplo, resulta
infrecuente que hayan realizado estancias en países anglosajones, seguramente porque
su nivel en el idioma no les capacita para una comunicación oral fluida. Solamente un 5
% de las personas con su nivel admiten haber estado en alguna estancia en países de
habla inglesa.
A un número importante de personas con el mismo nivel que usted les
pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura,
escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5,
que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con
un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5
posibles en cada una de las 3 competencias con el idioma:
Niveles de dominio
LECTURA (%)
ESCRITURA (%)
COMPRENSIÓN ORAL (%)
Nivel 1 1 1 2
Nivel 2 7 25 38
Nivel 3 72 57 51
Nivel 4 20 16 10
Nivel 5 1 0 0
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
52
Vemos, por tanto, que la mayoría de las personas de su nivel de inglés
consideran que tienen un nivel medio en lectura y escritura, así como un nivel medio-
bajo en comprensión oral del idioma.
Las personas con su mismo nivel de inglés que asisten a Escuelas Oficiales de
Idiomas suelen estar aprendiendo en grupos de estudiantes del nivel básico o
intermedio1 (los dos niveles más bajos de los 5 que se establecen en este tipo de
centros).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
53
DECIL 4
En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del
idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel
medio de conocimiento del idioma. En concreto, respecto a un grupo de personas que
tuvieran muy diferente nivel de inglés (desde los que tienen escaso conocimiento hasta
los que son nativos) podríamos decir con ciertas garantías que usted superaría
únicamente al ___ del grupo, mientras que un ___ manifestarían un nivel superior al
suyo.
Se sabe que la mayoría de las personas que evaluamos en este nivel han
terminado al menos estudios de bachillerato. Se han formado en el idioma en las
asignaturas obligatorias de inglés que han cursado en sus estudios de primaria y
secundaria. Lo más normal es que no hayan ido a Escuelas Oficiales de Idiomas, aunque
algunas personas han asistido a academias para mejorar su nivel de inglés. Las personas
ubicadas en este nivel no han practicado demasiado el idioma en contextos reales de
comunicación; por ejemplo, resulta infrecuente que hayan realizado estancias en países
anglosajones, seguramente porque su nivel en el idioma no les capacita todavía para una
comunicación oral fluida. Solamente un 8 % de las personas con su nivel admiten haber
estado en alguna estancia en países de habla inglesa.
A un número importante de personas con el mismo nivel que usted les
pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura,
escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5,
que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con
un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5
posibles en cada una de las 3 competencias con el idioma:
Niveles de dominio
LECTURA (%)
ESCRITURA (%)
COMPRENSIÓN ORAL (%)
Nivel 1 0 1 1
Nivel 2 4 19 28
Nivel 3 67 57 56
Nivel 4 27 23 15
Nivel 5 2 1 1
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
54
Vemos, por tanto, que la mayoría de las personas de su nivel de inglés
consideran que tienen un nivel medio-alto en lectura y escritura, así como un nivel
medio-bajo en comprensión oral del idioma.
Las personas con su mismo nivel de inglés que asisten a Escuelas Oficiales de
Idiomas suelen estar aprendiendo en grupos de estudiantes del nivel básico o
intermedio1 (los dos niveles más bajos de los 5 que se establecen en este tipo de
centros), si bien un 38 están ubicadas en alguno de los 3 niveles superiores.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
55
DECIL 5
En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del
idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel
medio de conocimiento del idioma. En concreto, respecto a un grupo de personas que
tuvieran muy diferente nivel de inglés (desde los que tienen escaso conocimiento hasta
los que son nativos) podríamos decir con ciertas garantías que usted superaría
únicamente al ___ del grupo, mientras que un ___ manifestarían un nivel superior al
suyo.
Se sabe que la mayoría de las personas que evaluamos en este nivel han
terminado al menos estudios de bachillerato, y la mitad han terminado también algunos
estudios universitarios. Se han formado en el idioma en las asignaturas obligatorias de
inglés que han cursado en sus estudios de primaria y secundaria. Un grupo importante
de las personas con un nivel parecido al suyo han ido a Escuelas Oficiales de Idiomas o
a academias no oficiales para mejorar su nivel de inglés. Las personas ubicadas en este
nivel no han practicado demasiado el idioma en contextos reales de comunicación; por
ejemplo, resulta infrecuente que hayan realizado estancias en países anglosajones,
seguramente porque su nivel en el idioma no les capacita todavía para una
comunicación oral fluida. Solamente un 12 % de las personas con su nivel admiten
haber estado en alguna estancia en países de habla inglesa.
A un número importante de personas con el mismo nivel que usted les
pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura,
escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5,
que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con
un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5
posibles en cada una de las 3 competencias con el idioma:
Niveles de dominio
LECTURA (%)
ESCRITURA (%)
COMPRENSIÓN ORAL (%)
Nivel 1 0 0 0
Nivel 2 2 13 19
Nivel 3 60 55 57
Nivel 4 34 30 22
Nivel 5 4 2 1
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
56
Vemos, por tanto, que la mayoría de las personas de su nivel de inglés
consideran que tienen un nivel medio-alto en lectura y escritura, así como un nivel
medio en comprensión oral del idioma.
Las personas con su mismo nivel de inglés que asisten a Escuelas Oficiales de
Idiomas suelen estar aprendiendo en grupos de estudiantes del nivel intermedio1 (el
segundo nivel de los 5 que se establecen en este tipo de centros), si bien un 48 están
ubicadas en alguno de los 3 niveles superiores.
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
57
DECIL 6
En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del
idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel
medio de conocimiento del idioma. En concreto, respecto a un grupo de personas que
tuvieran muy diferente nivel de inglés (desde los que tienen escaso conocimiento hasta
los que son nativos) podríamos decir con ciertas garantías que usted superaría
únicamente al ___ del grupo, mientras que un ___ manifestarían un nivel superior al
suyo.
Se sabe que la mayoría de las personas que evaluamos en este nivel han
terminado algunos estudios universitarios. Se han formado en el idioma en las
asignaturas obligatorias de inglés que han cursado en sus estudios de primaria y
secundaria. Un grupo importante de las personas con un nivel parecido al suyo han ido a
Escuelas Oficiales de Idiomas o a academias no oficiales para mejorar su nivel de
inglés. Las personas ubicadas en este nivel no han practicado demasiado el idioma en
contextos reales de comunicación, aunque pueden tener un nivel alto en gramática; por
ejemplo, resulta infrecuente que hayan realizado estancias en países anglosajones,
seguramente porque su nivel en el idioma no es suficiente para una comunicación oral
fluida. Un 16 % de las personas con su nivel admiten haber estado en alguna estancia
en países de habla inglesa.
A un número importante de personas con el mismo nivel que usted les
pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura,
escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5,
que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con
un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5
posibles en cada una de las 3 competencias con el idioma:
Niveles de dominio
LECTURA (%)
ESCRITURA (%)
COMPRENSIÓN ORAL (%)
Nivel 1 0 0 0
Nivel 2 1 9 13
Nivel 3 54 51 54
Nivel 4 40 36 30
Nivel 5 6 3 3
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
58
Vemos por tanto que las personas con su nivel tienden a valorar entre 3 y 4 sus
destrezas con el idioma (lectura, escritura y comprensión oral), lo que pueden
considerarse niveles medios-altos.
Las personas con su mismo nivel de inglés que asisten a Escuelas Oficiales de
Idiomas suelen estar aprendiendo en grupos de estudiantes de nivel medio o avanzado
(entre los 3 niveles intermedios de los 5 que se establecen en este tipo de centros).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
59
DECIL 7
En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del
idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel
medio-alto de conocimiento del idioma. En concreto, respecto a un grupo de personas
que tuvieran muy diferente nivel de inglés (desde los que tienen escaso conocimiento
hasta los que son nativos) podríamos decir con ciertas garantías que usted superaría
únicamente al ___ del grupo, mientras que un ___ manifestarían un nivel superior al
suyo.
Se sabe que la mayoría de las personas que evaluamos en este nivel han
terminado algunos estudios universitarios. Se han formado en el idioma en las
asignaturas obligatorias de inglés que han cursado en sus estudios de primaria y
secundaria. Un grupo importante de las personas con un nivel parecido al suyo han ido a
Escuelas Oficiales de Idiomas o a academias no oficiales para mejorar su nivel de
inglés. Las personas ubicadas en este nivel no han practicado demasiado el idioma en
contextos reales de comunicación, aunque pueden tener un nivel alto en gramática. Un
22 % de las personas con su nivel admiten haber estado en alguna estancia en países de
habla inglesa, lo que no es un porcentaje pequeño para lo que suele ser usual.
A un número importante de personas con el mismo nivel que usted les pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura, escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5, que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5 posibles en cada una de las 3 competencias con el idioma:
Niveles de dominio
LECTURA (%)
ESCRITURA (%)
COMPRENSIÓN ORAL (%)
Nivel 1 0 0 0
Nivel 2 1 6 8
Nivel 3 43 46 49
Nivel 4 46 43 38
Nivel 5 10 5 5
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
60
Vemos por tanto que las personas con su nivel tienden a valorar entre 3 y 4 sus
destrezas con el idioma (lectura, escritura y comprensión oral), lo que pueden
considerarse niveles medios-altos.
Las personas con su mismo nivel de inglés que asisten a Escuelas Oficiales de
Idiomas suelen estar aprendiendo en grupos de estudiantes de nivel medio o avanzado
(entre los 4 niveles superiores de los 5 que se establecen en este tipo de centros).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
61
DECIL 8
En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del
idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel alto
de conocimiento del idioma. En concreto, respecto a un grupo de personas que tuvieran
muy diferente nivel de inglés (desde los que tienen escaso conocimiento hasta los que
son nativos) podríamos decir con ciertas garantías que usted superaría únicamente al
___ del grupo, mientras que un ___ manifestarían un nivel superior al suyo.
Se sabe que la mayoría de las personas que evaluamos en este nivel han
terminado algunos estudios universitarios. Se han formado en el idioma en las
asignaturas obligatorias de inglés que han cursado en sus estudios de primaria y
secundaria. Un grupo importante de las personas con un nivel parecido al suyo han ido a
Escuelas Oficiales de Idiomas o a academias no oficiales para mejorar su nivel de
inglés. Una parte importante de estas personas han practicado el idioma en contextos
reales de comunicación, y pueden tener un nivel alto en gramática. En concreto, un 28
% de las personas con su nivel admiten haber estado en alguna estancia en países de
habla inglesa, lo que no es un porcentaje pequeño para lo que suele ser usual.
A un número importante de personas con el mismo nivel que usted les pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura, escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5, que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5 posibles en cada una de las 3 competencias con el idioma:
Niveles de dominio
LECTURA (%)
ESCRITURA (%)
COMPRENSIÓN ORAL (%)
Nivel 1 0 0 0
Nivel 2 0 4 5
Nivel 3 35 40 42
Nivel 4 50 49 45
Nivel 5 14 7 7
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
62
Vemos por tanto que las personas con su nivel tienden a valorar entre 4 y 3 sus
destrezas con el idioma (lectura, escritura y comprensión oral), lo que pueden
considerarse niveles altos o medios.
Las personas con su mismo nivel de inglés que asisten a Escuelas Oficiales de
Idiomas suelen estar aprendiendo en grupos de estudiantes de nivel medio o avanzado
(entre los 4 niveles superiores de los 5 que se establecen en este tipo de centros).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
63
DECIL 9
En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del
idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel alto
de conocimiento del idioma. En concreto, respecto a un grupo de personas que tuvieran
muy diferente nivel de inglés (desde los que tienen escaso conocimiento hasta los que
son nativos) podríamos decir con ciertas garantías que usted superaría únicamente al
___ del grupo, mientras que un ___ manifestarían un nivel superior al suyo.
Se sabe que la mayoría de las personas que evaluamos en este nivel han
terminado algunos estudios universitarios. Se han formado en el idioma en las
asignaturas obligatorias de inglés que han cursado en sus estudios de primaria y
secundaria. Un grupo importante de las personas con un nivel parecido al suyo han ido a
Escuelas Oficiales de Idiomas o a academias no oficiales para mejorar su nivel de
inglés. Una parte importante de estas personas han practicado el idioma en contextos
reales de comunicación, y pueden tener un nivel alto en gramática. En concreto, un 37
% de las personas con su nivel admiten haber estado en alguna estancia en países de
habla inglesa, lo que representa un porcentaje considerable para lo que suele ser usual.
A un número importante de personas con el mismo nivel que usted les pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura, escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5, que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5 posibles en cada una de las 3 competencias con el idioma:
Niveles de dominio
LECTURA (%)
ESCRITURA (%)
COMPRENSIÓN ORAL (%)
Nivel 1 0 0 0
Nivel 2 0 2 3
Nivel 3 26 32 32
Nivel 4 52 55 52
Nivel 5 22 11 13
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
64
Vemos por tanto que las personas con su nivel tienden a valorar entre 4 y 3 sus
destrezas con el idioma (lectura, escritura y comprensión oral), lo que pueden
considerarse niveles altos o medios.
Las personas con su mismo nivel de inglés que asisten a Escuelas Oficiales de
Idiomas suelen estar aprendiendo en grupos de estudiantes de nivel avanzado (entre los
2 niveles superiores de los 5 que se establecen en este tipo de centros).
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
65
DECIL 10
En una escala de 1 a 10 su nivel de dominio de COMPRENSIÓN ORAL del
idioma inglés ha resultado ser ___ , que está dentro de lo que se considera un nivel muy
alto de conocimiento del idioma. En concreto, respecto a un grupo de personas que
tuvieran muy diferente nivel de inglés (desde los que tienen escaso conocimiento hasta
los que son nativos) podríamos decir con ciertas garantías que usted superaría
únicamente al ___ del grupo, mientras que un ___ manifestarían un nivel superior al
suyo.
Se sabe que la inmensa mayoría de las personas que evaluamos en este nivel
han terminado algunos estudios universitarios. Un grupo importante de las personas con
un nivel parecido al suyo han ido a Escuelas Oficiales de Idiomas o a academias no
oficiales para mejorar su nivel de inglés. Un 10 % admite haber aprendido el idioma en
el contexto familiar. Una parte importante de estas personas con elevado nivel de inglés
han practicado el idioma en contextos reales de comunicación y tienen un nivel alto en
gramática. En concreto, más de un 50 % de las personas con su nivel admiten haber
estado en alguna estancia en países de habla inglesa, lo que representa un porcentaje
muy elevado para lo que suele ser usual.
A un número importante de personas con el mismo nivel que usted les pedimos en un breve cuestionario su opinión personal respecto a sus niveles de lectura, escritura y comprensión oral del inglés (desde el nivel 1, que es el más bajo, hasta el 5, que es el más alto). En la siguiente tabla se muestra el porcentaje de estas personas (con un dominio del idioma similar al de usted) que consideran que su nivel es uno de los 5 posibles en cada una de las 3 competencias con el idioma:
Informe de investigación 10-01. Propiedades psicométricas de un TAI de Listening _____________________________________________________________________________________
66
Niveles de dominio
LECTURA (%)
ESCRITURA (%)
COMPRENSIÓN ORAL (%)
Nivel 1 0 0 0
Nivel 2 0 1 1
Nivel 3 13 19 17
Nivel 4 48 58 53
Nivel 5 38 23 29
Vemos por tanto que las personas con su nivel tienden a valorar entre 4 y 5 sus
destrezas con el idioma (lectura, escritura y comprensión oral), lo que pueden
considerarse niveles altos o muy altos.
Las personas con su mismo nivel de inglés que asisten a Escuelas Oficiales de
Idiomas suelen estar aprendiendo en grupos de estudiantes del nivel más avanzado
(entre los 2 niveles superiores de los 5 que se establecen en este tipo de centros).
Recommended