Factores Asociados Al Aprendizaje de Estudiantes de 3er Grado en Mexico

Informes Institucionales

Resultados de Aprendizaje

[email protected] INEE est

comprometido con la transparencia y el

combate a la corrupcin, por lo cual

ha establecido un programa operativo para hacer frente a

estas tareas.

Jos Mara Velasco 101, Col. San Jos Insurgentes, C.P. 03900, Mxico, D.F. Tels. 5482 0900, Exts. 1034 y 1050

El volumen que ahora difunde el Instituto Nacional para la Evaluacin de la Educacin (INEE) presenta los anlisis que ha hecho la Direccin de Pruebas y Medicin de los resultados de las pruebas Excale 03, de 3 de primaria. Como los lectores podrn apreciar, el estudio utiliza una combinacin de tcnicas avanzadas que, en conjunto, permiten extraer de los datos conclusiones muy valiosas: los ya mencionados modelos lineales jerrquicos, la Teora de Respuesta al tem (TRI, en particular el modelo de Rasch), as como la tcnica de Valores Plausibles para el tratamiento de las respuestas de los alumnos a las pruebas de rendimiento; estas tcnicas se usan tambin para el tratamiento de la informacin derivada de los cuestionarios de contexto, para la construccin de escalas ms robustas, que luego se analizan en relacin con los niveles de aprendizaje, con modelos multinivel (HLM). Antes de aplicar los modelos multi-nivel, las escalas de los cuestionarios de contexto fueron revisadas con Mode-los de Ecuaciones Estructurales (SEM, por las siglas de Structural Equations Models), en su modalidad de anlisis factorial confirmatorio para determinar sus propiedades mtricas.

El informe confirma la calidad tcnica del trabajo del INEE y, en particular, del que lleva a cabo la Direccin de Pruebas y Medicin. Conviene aadir que el uso de las herramientas metodolgicas ms avanzadas disponibles no debe verse como un capricho o un prurito acadmico. El INEE mantiene firme que la evaluacin es un tipo de investigacin educativa la cual debe hacerse con el mayor rigor posible, para que las decisiones que se tomen con base en sus resultados cuenten con una base de gran solidez. El valor de las evaluaciones no depende de su posible repercusin meditica, sino de la calidad real de las evaluaciones y la consiguiente veracidad de los resultados. En el caso de mediciones y evaluaciones, calidad quiere decir confiabilidad y validez, as como otras caractersticas tcnicas, que el INEE se ha esforzado por cuidar al mximo. Sin duda tambin es necesario hacer esfuerzos para traducir los informes a trminos accesibles para el gran pblico, pero lo prime-ro es contar con resultados de la mayor solidez posible, para luego pasar a la etapa de difusin, que tiene sus exigencias propias.

Factores asociados al aprendizaje de estudiantes

de 3 de primaria en Mxico

Fact

ores

aso

ciad

os a

l apr

endi

zaje

de

estu

dian

tes

de 3

de

prim

aria

en

Mx

ico

FACTORES ASOCIADOS AL APRENDIZAJE DE ESTUDIANTES DE 30 DE PRIMARIA EN MXICO

2

FACTORES ASOCIADOS AL APRENDIZAJE DE ESTUDIANTES DE 3O DE PRIMARIA EN MXICO

Coordinacin editorial:Miguel . Aguilar R.

Correccin de estilo:Antonio Lojero RuaroDiana L. Flores Vzquez

Diseo y formacin:Irma Tapia CovarrubiasFrancisco Lpez Lpez

Tablas y grficas :Pablo Josu Pulido Ramrez

Instituto Nacional para la Evaluacin del EducacinJos Ma. Velasco 101, Col. San Jos Insurgentes, Delegacin Benito Jurez, C.P. 03900, Mxico D.F.

Primera Edicin 2008

El contenido, la presentacin y disposicin en conjunto y de cada pgina de esta obra son propiedad del INEE. Se autoriza su reproduccin parcial o total por cualquier sistema mecnico, electrnico y otro, citando la fuente.

Impreso en Mxico

ISBN en trmite

3FACTORES ASOCIADOS AL APRENDIZAJE DE ESTUDIANTES DE 30 DE PRIMARIA

EN MXICO

Eduardo Backhoff Escudero

Arturo Bouzas Riao

Manuel Gonzlez Montesinos

Edgar Andrade Muoz

Eduardo Hernndez Padilla

Carolina Contreras Bravo

Mxico, noviembre 2008


4

5Queremos agradecer la participacin y apo-yo desinteresado de los siguientes aca-dmicos, quienes nos ayudaron con su aliento y motivacin para realizar este trabajo: a Arturo de la Orden Hoz, de la Universidad Com-plutense de Madrid; a Jess Jornet Meli, de la Universidad de Valencia, a Eduardo de la Garza, de la Universidad Autnoma Metropolitana, a Fe-lipe Tirado Segura, de la Universidad Nacional Autnoma de Mxico y a Eugenio Gonzlez, del Educational Testing Service.

Este estudio se realiz en parte, gracias a la colaboracin concertada en un convenio de in-tercambio acadmico entre el INEE y la Univer-sidad de Sonora, establecido por Felipe Martnez y Pedro Ortega, quienes dirigen dichas institu-ciones, respectivamente. Se agradece tambin la participacin de Enrique Fernando Velzquez Contreras y de Mara Magdalena Gonzlez Agra-mn, funcionarios de esta Universidad.

Por otra parte, queremos hacer patente nuestro reconocimiento a quienes nos ayudaron a redactar el escrito, as como a mejorar la re-daccin y edicin de este documento. A Norma

Larrazolo por su ayuda en la revisin del escri-to; a Norma Vzquez, por la coordinacin de los trabajos de edicin, ilustracin y correccin; a Pablo Pulido, por la ilustracin de tablas y gr-ficas.

Finalmente, es nuestro inters destacar que este trabajo representa el esfuerzo coordinado de quienes disearon y elaboraron los Exme-nes de la Calidad y el Logro Educativos de ter-cero de primaria (Excale-03): Andrs Snchez Moguel, Margarita Peon Zapata, Miguel ngel Len Hernndez, Laura Tayde Prieto, Ignacia Ma-ra Cristina Aguilar Ibarra y Patricia Montero. A quienes editaron e ilustraron los Excale-03 y los cuestionarios de contexto: Sandra Fabiola Me-dina Santoyo y Karla Sandra Ramrez Quintero. Igualmente, nuestro agradecimiento a quienes prepararon las bases de datos y nos ayudaron a realizar los anlisis estadsticos correspondien-tes: Marisela Garca Pacheco, Jos Gustavo Ro-drguez Jimnez, Enrique Estrada Cruz, Glenda Patricia Guevara Hernndez. Finalmente, agra-decemos su apoyo logstico invaluable a Diana Ramrez y a Patricia Paz.

Agradecimientos


6

7ndice de tablas 9ndice de figuras 11Presentacin 13Introduccin 15Captulo 1. Marco de referencia sobre el estudio de factores asociados al aprendizaje 211.1 Aproximacin de la funcin de la produccin 231.2 Escalamiento de variables utilizando el Modelo de Rasch 241.3 Validacin de escalas utilizando el modelo SEM 261.4 Asociacin de factores de contexto con el aprendizaje utilizando los modelos HLM 28Capitulo 2. Seleccin de variables y construccin de escalas de alumnos 312.1 Metodologa general para seleccionar variables y construir escalas de contexto 332.2 Caractersticas de las variables y escalas del estudiante 362.3 Evidencias de validez del modelo de medicin del alumno 50Capitulo 3. Seleccin de variables y construccin de escalas de escuelas 553.1 Caractersticas de las variables y escalas de la escuela 573.2 Evidencias de validez de los modelos de medicin de la escuela 81Captulo 4. Factores asociados al aprendizaje 934.1 Muestra de estudiantes evaluados 954.2 Modelos jerrquicos lineales utilizados 964.3 Factores asociados al aprendizaje del Espaol 1004.4 Factores asociados al aprendizaje de las Matemticas 1034.5 Factores asociados al aprendizaje de las Ciencias Naturales 1064.6 Factores asociados al aprendizaje de la Educacin Cvica 1084.7 Factores asociados al aprendizaje de la Historia 1104.8. Factores asociados al aprendizaje de la Geografa 112Sntesis y conclusiones 115Bibliografa 133Anexos 139

ndice de contenidos


8

9Tabla I. Etapas del proceso de diseo, construccin y validacin de variables y escalas 34Tabla II. Variables individuales y escalas pertenecientes a alumnos 36Tabla III. Porcentaje de respuestas por categora en las variables individuales del alumno 38Tabla IV. Porcentaje de respuestas a las variables que conforman la escala AL: capital cultural escolar 40Tabla V. Correlacin entre las variables de la escala AL: capital cultural escolar 41Tabla VI. Indicadores Rasch de la escala AL: capital cultural escolar 41Tabla VII. Propiedades psicomtricas de la escala AL: estatus socioeconmico 44Tabla VIII. Propiedades psicomtricas de la escala AL: conflictos familiares 45Tabla IX. Propiedades psicomtricas de la escala AL: supervisin padres 46Tabla X. Propiedades psicomtricas de la escala AL: tareas 47Tabla XI. Propiedades psicomtricas de la escala AL: lengua indgena 48Tabla XII. Propiedades psicomtricas de la escala AL: conductas violentas 49Tabla XIII. Modelo conceptual de las dimensiones y variables de alumnos 51Tabla XIV. Variables individuales y escalas pertenecientes al nivel escuelas 58Tabla XV. Porcentaje de respuestas por categora en las variables individuales de los docentes 61Tabla XVI. Porcentaje de respuestas por categora en las variables individuales de los directores 63Tabla XVII. Porcentaje de respuestas por categora en las variables individuales del grupo 64Tabla XVIII. Porcentaje de respuestas por categora en las variables individuales del plantel 65Tabla XIX. Propiedades psicomtricas de la escala DOC: lengua indgena 66Tabla XX. Propiedades psicomtricas de la escala DOC: estatus econmico 67Tabla XXI. Propiedades psicomtricas de la escala DOC: satisfaccin laboral 68Tabla XXII. Propiedades psicomtricas de la escala DOC: actualizacin docente 69Tabla XXIII. Propiedades psicomtricas de la escala DOC: cobertura curricular 69Tabla XXIV. Propiedades psicomtricas de la escala DOC: uso de equipo 70Tabla XXV. Propiedades psicomtricas de la escala DOC: uso de material didctico 71Tabla XXVI. Propiedades psicomtricas de la escala DOC: prcticas de enseanza 72Tabla XXVII. Propiedades psicomtricas de la escala DOC: calidad de la enseanza 73Tabla XXVIII. Propiedades psicomtricas de la escala DOC: tiempo de enseanza 73Tabla XXIX. Propiedades psicomtricas de la escala DIR: lengua indgena 74Tabla XXX. Propiedades psicomtricas de la escala DIR: estatus econmico 74Tabla XXXI. Propiedades psicomtricas de la escala DIR: satisfaccin laboral 75Tabla XXXII. Propiedades psicomtricas de la escala DIR: actualizacin directiva 76

ndice de tablas


10

Tabla XXXIII. Propiedades psicomtricas de la escala GPO: dificultades de aprendizaje 77Tabla XXXIV. Propiedades psicomtricas de la escala ESC: violencia en el plantel 77Tabla XXXV. Propiedades psicomtricas de la escala ESC: problemas con alumnos 78Tabla XXXVI. Propiedades psicomtricas de la escala ESC: problemas con docentes 79Tabla XXXVII. Propiedades psicomtricas de la escala ESC: instalaciones 80Tabla XXXVIII. Propiedades psicomtricas de la escala ESC: participacin padres 80Tabla XXXIX. Propiedades psicomtricas de la escala ESC: trabajo colegiado 82Tabla XL. Modelo conceptual de las dimensiones y variables de docentes 83Tabla XLI. Modelo conceptual del cuestionario de contexto de directores 86Tabla XLII. Modelo conceptual del cuestionario de contexto de planteles 88Tabla XLIII. Modelo conceptual de dimensiones y variables de grupos 91Tabla XLIV. Nmero de escuelas y estudiantes que participaron en el estudio 96Tabla XLV. Varianza de las escuelas por asignatura, CCI e intervalos de puntuaciones promedio 97Tabla XLVI. Secuencia y estructura de los modelos jerrquicos lineales 99Tabla XLVII. Modelos jerrquicos lineales que describen la relacin de las variables de la escuela y del estudiante en el aprendizaje del Espaol 101Tabla XLVIII. Modelos jerrquicos lineales que describen la relacin de las variables de la escuela y del estudiante en el aprendizaje de las Matemticas 104Tabla XLIX. Modelos jerrquicos lineales que describen la relacin de las variables de la escuela y del estudiante en el aprendizaje de las Ciencias Naturales 107Tabla L. Modelos jerrquicos lineales que describen la relacin de las variables de la escuela y del estudiante en el aprendizaje de la Educacin Cvica 109Tabla LI. Modelos jerrquicos lineales que describen la relacin de las variables de la escuela y del estudiante en el aprendizaje de Historia 111Tabla LII. Modelos jerrquicos lineales que describen la relacin de las variables de la escuela y del estudiante en el aprendizaje de Geografa 113Tabla LIII. Proporcin de la varianza explicada por las escuelas antes y despus de haber considerado las variables de contexto 118Tabla LIV. Variables con efectos significativos en el aprendizaje de seis asignaturas de 3 de primaria 121Tabla LV. Relacin de variables de contexto que no mostraron tener una relacin significativa con el aprendizaje de los estudiantes de 3 de primaria 126Tabla LVI. Variables que se relacionan con el aprendizaje en Espaol y Matemticas de estudiantes de 3 y 6 de primaria, y 3 de secundaria 127

11

Figura 1. Mapa de variables de la escala AL: capital cultural escolar 43Figura 2. Diagrama del modelo de medicin de alumnos 52Figura 3. Diagrama del modelo de medicin de docentes 85Figura 4. Diagrama del modelo de medicin de directores 87Figura 5. Diagrama del modelo de medicin de planteles 90Figura 6. Diagrama del modelo de medicin de grupos 92Figura 7. Ordenamiento de las variables del estudiante de acuerdo con la intensidad promedio de su relacin y sentido con el aprendizaje 125

ndice de figuras


12

13

En 2008 la Direccin de Pruebas y Medicin (DPM) del Instituto Nacional para la Eva-luacin de la Educacin termin el primer ciclo cuatrienal de aplicacin de las pruebas Ex-cale, el cual haba comenzado a desarrollar en febrero de 2004.

El ciclo contempla la aplicacin de pruebas de rendimiento en reas clave del currculo a mues-tras representativas de alumnos de algunos gra-dos de la educacin bsica, con base en un dise-o parsimonioso que establece la aplicacin de pruebas a alumnos de un solo grado cada ao; con ello se minimiza el peso sobre las escuelas y, al mismo tiempo, dada la forma escalonada de las aplicaciones, se puede seguir el desempeo de cohortes de alumnos en una aproximacin a estudios de tendencias.

Conforme a lo planeado en 2004, a partir de 2005 se aplicaron las pruebas Excale a mues-tras de alumnos de 3 de secundaria, 6 y 3 de primaria, y 3 de preescolar. Por tratarse de pruebas de diseo matricial, que se aplican a muestras complejas y comprenden preguntas de respuesta abierta, el procesamiento de sus re-sultados exige del uso de tcnicas estadsticas muy complejas e implica tiempos considerables. Por ello los primeros informes de cada aplica-cin, solamente descriptivos, se difunden al ao siguiente regularmente.

A partir de 2006, el equipo de la DPM se capa-cit en el manejo de tcnicas analticas avanza-das para poder hacer anlisis ms completos de los resultados, explorando la posible influencia sobre los resultados de diversos elementos del entorno de los hogares de los alumnos, as como de las escuelas a las que asisten.

Aunque no se pueda contar con resultados de estudios basados en diseos estrictamente expe-rimentales o longitudinales, que seran mejores

para establecer relaciones causales, la informa-cin que se obtiene mediante los cuestionarios aplicados con las pruebas de rendimiento se pue-de aprovechar para hacer estudios de factores asociados que no se limiten a establecer correla-ciones o a hacer anlisis de regresin simples. Por ello, la DPM comenz a realizar anlisis multinivel, utilizando modelos lineales jerrquicos (HLM, por las siglas en ingls de Hierarchical Linear Models); en 2007 se difundieron los primeros resultados de este tipo de estudios basados en los resultados de las pruebas Excale 06 y 09, es decir de 6 de primaria y 3 de secundaria.

El volumen que ahora difunde el INEE presen-ta los anlisis que ha hecho la DPM de los resul-tados de las pruebas Excale 03, de 3 de prima-ria. Como los lectores podrn apreciar, el estudio utiliza una combinacin de tcnicas avanzadas que, en conjunto, permiten extraer de los da-tos conclusiones muy valiosas: los ya mencio-nados modelos lineales jerrquicos, la Teora de Respuesta al tem (TRI, en particular el modelo de Rasch), as como la tcnica de Valores Plau-sibles para el tratamiento de las respuestas de los alumnos a las pruebas de rendimiento; estas tcnicas se usan tambin para el tratamiento de la informacin derivada de los cuestionarios de contexto, para la construccin de escalas ms robustas, que luego se analizan en relacin con los niveles de aprendizaje, con modelos multini-vel (HLM). Antes de aplicar los modelos multini-vel, las escalas de los cuestionarios de contex-to fueron revisadas con Modelos de Ecuaciones Estructurales (SEM, por las siglas de Structural Equations Models), en su modalidad de anlisis factorial confirmatorio para determinar sus pro-piedades mtricas.

El informe confirma la calidad tcnica del tra-bajo del INEE y, en particular, del que lleva a

Presentacin


14

cabo la Direccin de Pruebas y Medicin. Con-viene aadir que el uso de las herramientas me-todolgicas ms avanzadas disponibles no debe verse como un capricho o un prurito acadmico. El INEE mantiene firme que la evaluacin es un tipo de investigacin educativa la cual debe ha-cerse con el mayor rigor posible, para que las decisiones que se tomen con base en sus resul-tados cuenten con una base de gran solidez. El valor de las evaluaciones no depende de su posi-ble repercusin meditica, sino de la calidad real de las evaluaciones y la consiguiente veracidad de los resultados.

En el caso de mediciones y evaluaciones, cali-dad quiere decir confiabilidad y validez, as como otras caractersticas tcnicas, que el INEE se ha esforzado por cuidar al mximo. Sin duda tam-bin es necesario hacer esfuerzos para traducir los informes a trminos accesibles para el gran pblico, pero lo primero es contar con resultados de la mayor solidez posible, para luego pasar a la etapa de difusin, que tiene sus exigencias pro-pias.

En el Instituto estamos satisfechos de los avances realizados en los aspectos tcnicos, en

el que este informe es una evidencia concreta; al mismo tiempo pensamos que, pese a gran-des esfuerzos realizados tambin en lo relativo a difusin, en ese terreno falta ms por hacer, y pretendemos seguirlo haciendo. Pensamos tam-bin que, con un empeo razonable, el INEE est siempre dispuesto a apoyar a las autoridades y, como hasta ahora, todas las personas interesa-das en la educacin mexicana podrn sacar con-clusiones claras y muy valiosas de un estudio como el que se presenta.

Doy las ms cumplidas gracias en especial a los autores del informe y a los asesores externos del mismo, los doctores Arturo Bouzas Riao y Manuel Gonzlez Montesinos, por su valioso es-fuerzo. Reconozco tambin el trabajo del resto del personal de la Direccin de Pruebas y Medicin, de la Direccin de Relaciones Nacionales y Logs-tica y de las reas Estatales de Evaluacin, que hicieron posible el desarrollo de las pruebas y su aplicacin, as como el de la Direccin de Inform-tica, por la lectura y captura de las respuestas.

Felipe Martnez RizoNoviembre de 2008

15

En la actualidad, existe un consenso im-portante sobre lo significativo que tiene la educacin en el mundo de hoy, para el de-sarrollo social y econmico de cualquier pas. Sin lugar a dudas, la inversin en capital humano es una de las prioridades de las naciones y es un camino de los pases en vas de desarrollo, para reducir sus brechas sociales y acercarse a la eco-noma de los pases ms consolidados. No obs-tante, existen mltiples problemas que no son fciles de solucionar al momento de establecer prioridades presupuestales y de polticas pbli-cas, dirigidas a fortalecer el sistema educativo de un pas. Por ejemplo, los gobiernos tienen que dar respuesta a preguntas como: qu educa-cin se requiere para mejorar el desarrollo de un pas?, cunta inversin se debe destinar a cada nivel educativo?, qu tipo de poltica y progra-mas educativos son ms apropiados?

Para responder a estas preguntas es necesario conocer ciertas premisas que en el pasado han orientado la toma de decisiones de los pases en vas de desarrollo. En este sentido, Puelles-Ben-tez y Torreblanca-Pay (1995), comentan que en la poca de la posguerra se parti de dos ideas bsicas: 1) que el subdesarrollo de los pases era un problema bsicamente de crecimiento econ-mico, por lo cual se deba dar prioridad a la efi-ciencia y productividad, aunque fuera a costa de la equidad econmica y social 2) que con capital exterior se podran compensar las bajas tasas de productividad, sin necesidad de hacer una gran inversin en capital humano. Ambas premisas reforzaban la idea de que la desigualdad social no era un problema para el crecimiento, sino una condicin que se corregira con el crculo virtuo-so de inversin-consumo-empleo. Sin embargo, como lo sealan los mismos autores, la teora no

concord con la realidad; ya que, aunque en un principio se observ un crecimiento econmico en ciertos pases, ste fue absorbido por el creci-miento demogrfico y por el enriquecimiento de las clases ms favorecidas. Todo ello trajo como resultado que se agudizaran las desigualdades sociales y, con ello, las educativas.

A finales de los aos sesenta se pens que era un error identificar el crecimiento econmico con el desarrollo de un pas y que no exista una relacin clara entre los indicadores macroeco-nmicos y los de igualdad social y calidad de vida. Con esta idea, en los aos setenta se puso el nfasis en un menor crecimiento econmico pero con una mejor distribucin que ayudara a mejorar: la pobreza, la desigualdad social, el desempleo, la educacin, la salud, entre otros mbitos de inters pblico.

Diversas investigaciones apoyaban esta tesis, la cual sealaba que el crecimiento econmico de los pases desarrollados no poda ser explicado totalmente con base en los factores clsicos de produccin, lo que haca necesario contemplar otros factores inmateriales. As, los trabajos de Bowman y Anderson (1963) y Anderson y Bow-man (1965), llegaron a la conclusin de que para producir un crecimiento econmico sostenido era necesario alcanzar un umbral mnimo de alfabe-tizacin (situado entre 30 y 40% de la pobla-cin total). Igualmente, los trabajos de Denison (1979) concluyeron que los insumos tradiciona-les de trabajo y capital slo explicaban 60% del crecimiento total, quedando por explicar el 40% restante, el cual era atribuible a los avances en el conocimiento (29% del crecimiento global), y a la educacin formal (11%). Estos trabajos des-tacaron la importancia del capital humano para el crecimiento econmico de un pas.

Introduccin


16

Influenciados por el pensamiento econmi-co del capital humano y por las organizaciones internacionales que lo impulsaban, muchos go-biernos aceptaron la idea de que el crecimiento econmico vena condicionado por la oferta de mano de obra calificada, asumiendo que el siste-ma educativo deba suministrarla. Durante esta etapa los pases en vas de desarrollo, invirtieron masivamente en la educacin, convirtindose el sector educativo de muchos de ellos en la activi-dad que devengaba mayor gasto pblico, lo que produjo en algunos casos resultados importantes en materia de alfabetizacin.

Sin embargo, en la dcada de los aos ochen-ta se realizaron muchas crticas a la postura que estableca una relacin directa entre educacin y desarrollo, ya que a pesar de las inversiones realizadas en los sistemas educativos de muchos pases en desarrollo, los resultados educativos no estuvieron a la altura de las expectativas. Seco (1995) supuso que este fracaso se debi a las si-guientes condiciones que imperaban en los pases en vas de desarrollo: 1) los factores exgenos al sistema educativo que anularon los efectos po-sitivos esperados (por ejemplo, la malnutricin que tiene un efecto adverso sobre el desarrollo intelectual de las personas; la pobreza que suele disuadir la escolarizacin; y las malas condiciones de la vivienda que hacen prcticamente inviable el estudio y el aprendizaje) y 2) a un gasto inade-cuado e ineficiente en educacin, ocasionado por la implementacin de polticas educativas orienta-das a mejorar indicadores de insumos (por ejem-plo, porcentaje de inversin pblica, cantidad de maestros contratados, matrcula atendida), sin considerar indicadores de calidad.

No obstante, a pesar de las dudas, tanto te-ricas como empricas, sobre el impacto que tiene la educacin en el desarrollo econmico y social de un pas lo que s es evidente es que aquellos pases que muestran los niveles socioeconmi-cos ms altos cuentan con sistemas educativos modernos que producen resultados escolares de alta calidad (Puelles-Bentez y Torreblanca-Pay, 1995).

La evaluacin como herramienta para mejorar la educacin

En gran medida, motivados por la publicacin de Coleman y colaboradores a mediados de los aos

sesenta (1966), por primera vez en los Estados Unidos y en el mundo, se implementaron progra-mas usados a evaluar la eficacia de los progra-mas educativos de una nacin; iniciativa que se empieza a extender progresivamente a un buen nmero de pases y que para fines del siglo pa-sado se empez a consolidar en muchos de ellos. Como lo afirma Tiana en 1996:

(en) el campo de la evaluacin de sistemas educativos para finales de los aos ochenta y durante los noventa se han puesto en marcha mecanismos institucionales, centros u orga-nismos de evaluacin de los sistemas educati-vos de pases como Francia, Suecia, Noruega, Espaa, Argentina o Chile; se han desarrollado planes sistemticos de evaluacin en el Reino Unido, Holanda, Francia, Argentina, Chile, Re-pblica Dominicana o Mxico; se han elabora-do indicadores nacionales de la educacin en Estados Unidos, Francia, Dinamarca o Suiza. Tambin los organismos internacionales han reaccionado a dicho ambiente, poniendo en marcha programas vinculados al desarrollo de las polticas de evaluacin educativa. Tanto la OCDE como la UNESCO, la Unin Europea o la Organizacin de Estados Iberoamericanos (OEI), han traducido dicho inters en proyec-tos concretos. (p. 1)Tiana identifica cinco razones que explican

el auge actual de la evaluacin educativa como mecanismo de control administrativo de los sis-temas escolares:

La creciente exigencia de los ciudadanos 1. sobre la eficacia de los sistemas educa-tivos, entendidos stos como un medio para lograr el cambio social y el desarro-llo econmico de un pas, ya que de ellos se espera, adems de contribuir a crear sociedades democrticas e igualitarias, economas eficientes y competitivas, y personas tolerantes y productivas.La creciente demanda social sobre acceso 2. a la informacin y rendicin de cuentas, que parte de la conviccin de que los cen-tros escolares y el sistema educativo en su conjunto, deben responder a las de-mandas que los ciudadanos les plantean, para lo cual se requiere estar bien infor-mados.La creciente conviccin social de la rela-3. cin directa entre educacin y desarrollo

17

Introduccin

econmico, que pone nfasis en la calidad de los servicios educativos que un pas ofrece a su poblacin. Esta postura social parte de la premisa de que la formacin de los ciudadanos participantes en los procesos productivos constituye un factor fundamental para el desarrollo de los pa-ses, lo que deviene en una preocupacin por conocer el estado y la situacin del sistema educativo.La competencia creciente entre las nacio-4. nes en una economa globalizada, lo cual hace que una educacin de calidad sea fundamental en el futuro social, cultural, econmico y poltico de los pases. Las crisis econmicas de muchos pases 5. los obligan a reducir su presupuesto y a establecer prioridades en la asignacin de recursos. As, la educacin debe competir presupuestalmente con otras necesida-des pblicas (por ejemplo, salud, empleo, seguridad). Ello trae como consecuencia que la evaluacin de polticas pblicas haya cobrado tanto auge en los ltimos aos.

Ahora bien, entre las posibles aportaciones que puede realizar la evaluacin para la mejo-ra de la educacin, se pueden mencionar las si-guientes cuatro, consideradas como de mayor relevancia, Tiana (op. cit.) La primera de las funciones es, precisamente, proporcionar infor-macin confiable e interpretaciones vlidas que permitan conocer de manera precisa el estado cmo se encuentra un sistema educativo y sus componentes en un momento determinado. Es una funcin diagnstica de la evaluacin educa-tiva, con la cual se puede alcanzar un doble ob-jetivo: 1) servir de base para que las autoridades educativas tomen decisiones documentadas y 2) satisfacer la demanda social de informacin de la sociedad. Esta funcin es especialmente relevan-te en los momentos en que un pas experimenta cambios o reformas educativas.

Una segunda funcin tiene que ver con la evaluacin de las tendencias de los resultados educativos a lo largo del tiempo. Es una tarea prospectiva la cual se basa en series histricas que retratan las condiciones de un sistema edu-cativo en distintos momentos en el tiempo. Con esta funcin se logra conocer el dinamismo de un sistema educativo en trminos de su avan-

ce, estancamiento o retroceso. La informacin de las tendencias educativas es importante para estimar los tiempos en que se pueden lograr las metas establecidas.

La tercera funcin se relaciona con la evalua-cin de la eficacia de las polticas y programas educativos especficos. Por ejemplo, una refor-ma curricular o la implementacin de programas de mucha envergadura como Enciclomedia, el Programa de Escuelas de Calidad o el Programa de Carrera Magisterial, debe considerar y pla-near su evaluacin, en trminos de los objetivos que pretende lograr, con la idea de poder hacer ajustes o cambios mayores si stos no se cum-plen en los tiempos previstos.

Finalmente, una cuarta funcin de la evalua-cin educativa tiene que ver con proporcionar informacin relevante acerca del los diversos factores los cuales inciden en los resultados edu-cativos de los estudiantes, centros escolares y el sistema educativo en general, tales como: las condiciones sociales en donde se desenvuelven los estudiantes y las condiciones escolares en que stos adquieren sus aprendizajes. Esta infor-macin permite tener un panorama ms comple-to del proceso educativo y, por ende, conocer la forma cmo diversas variables promueven o in-hiben los resultados escolares esperados, lo que a su vez podr ser tomado en consideracin para la mejora de la calidad de los sistemas educati-vos en general y de las escuelas en lo particular.

Importancia de los estudios sobre factores asociados al aprendizaje

Por las caractersticas de las evaluaciones de gran escala, generalmente, dejan de lado un mbito fundamental concerniente con los procesos que tienen lugar en el interior de los centros educati-vos y aulas, especialmente, aquellos relacionados con su organizacin y funcionamiento. Como lo mencionaron algunos autores (por ejemplo, Ca-sanova, 1992), y lo ha sostenido muchas veces el INEE en sus diversos reportes, la evaluacin de los centros escolares constituye un elemento indispensable para la mejora de la calidad de la educacin. Esta perspectiva es complementaria a la de diagnosticar los servicios educativos de un pas, a travs de valorar los niveles de logro educativos alcanzados por sus alumnos. Cuando la evaluacin se orienta hacia los centros escola-


18

res se pone el nfasis en aspectos tales como: la infraestructura institucional, los procesos educa-tivos, los modelos pedaggicos, los mtodos di-dcticos, las relaciones interpersonales, el clima escolar, la utilizacin de recursos educativos, la implementacin del currculo, por slo citar algu-nos de ellos.

Santos (1990) comenta que los procesos de evaluacin permiten dar informacin sobre lo que ocurre al interior de las escuelas y, con ello, com-prender cmo lo educativo se puede aprehender de una manera ms concreta. Por lo anterior, es necesario destacar la importancia para realizar diversos anlisis que contextualicen la educacin dentro del difcil mundo del desarrollo de un pas. En este sentido, es importante destacar la com-pleja relacin existente entre educacin y desa-rrollo, la que se encuentra acotada por factores que la condicionan. As, los factores exgenos a la educacin (por ejemplo, inestabilidad poltica, pobreza, corrupcin y desigualdad econmica) pueden anular su eficacia, por lo que hay que tomarlos muy en cuenta.

La investigacin ha mostrado sistemticamen-te que el nivel socioeconmico de los estudiantes es la variable, la cual de manera consistente se encuentra ms asociada a diferentes indicado-res de logro educativo (Coleman y col., 1966; Hanushek y Luque, 2003; Willms, 2006). As, en las evaluaciones internacionales, como las de PISA (Programa Internacional de Evaluacin de los Estudiantes) y TIMSS (Estudio Internacional de tendencias en Matemticas y Ciencias), los nios de pases con menor ingreso econmico muestran menores niveles de escolaridad en re-lacin con aquellos de pases industrializados que han recibido iguales cantidades de escolaridad (con algunas excepciones, como el caso de Co-rea). Una posible explicacin es que los nios de pases pobres inician su etapa de escolarizacin sin el desarrollo suficiente, lo cual no les permi-te alcanzar su potencial completo; otra hiptesis es que los pases en desarrollo tienen sistemas educativos de menor calidad en comparacin con aquellos con mayor desarrollo (Willms y Somers, 2001).

Sin embargo, la investigacin de los ltimos veinte aos dej evidencia de que las escuelas difieren considerablemente en sus aprendizajes, an despus de haber considerado el estatus socioeconmico de los estudiantes (Bryk, Lee y

Smith, 1990, Radenbush y Willms, 1992). Estu-dios de gran escala sobre logro educativo reali-zados en pases de bajo ingreso econmico, han enfatizado la importancia de los recursos mate-riales y humanos en el logro de las metas edu-cativas de sus centro escolares, lo que incluye factores como la infraestructura escolar, el ta-mao de los grupos de estudiantes, la experien-cia y formacin docente, y la disponibilidad de material didctico (Fuller y Clarke, 1994). Otros investigadores (Heyneman y Loxley, 1983), han demostrado tambin que tales factores son ms importantes en los pases de bajos ingresos que en los pases industrializados.

El rol del INEE en el estudio de factores asociados en Mxico

Por la relevancia social y econmica que tiene la educacin para Mxico, en los ltimos aos, el INEE ha realizado un gran esfuerzo para conocer los factores endgenos y exgenos al Sistema Educativo Nacional (SEN), que se asocian con el logro educativo de los estudiantes. Dos de sus publicaciones ms recientes, con alumnos de sexto de primaria y de tercero de secundaria, donde se analizan los resultados de los Excale (Exmenes de la Calidad y el Logro Educativos) de Espaol y de Matemticas, son: Aprendiza-je y desigualdad social en Mxico: el caso de la educacin bsica (Backhoff y col., 2007a) y Factores escolares y aprendizaje en la educacin bsica en Mxico (Backhoff y col. 2008).

El primero de ellos plante cinco grandes ob-jetivos: 1) establecer la magnitud de las diferen-cias en el aprendizaje del Espaol y las Matem-ticas entre estudiantes que terminan la primaria y la secundaria en Mxico, y estim qu tanto de estas diferencias pueden atribuirse a desigual-dades entre estudiantes, escuelas y entidades federativas, 2) conocer el impacto que tiene el nivel sociocultural de los estudiantes sobre estos aprendizajes, 3) conocer la fuerza de esta rela-cin en las treinta y dos entidades federativas del pas, 4) probar o refutar la validez de cuatro hiptesis sobre el logro educativo que se deri-van de un anlisis detallado del comportamiento del gradiente sociocultural, 5) evaluar el xito del sistema educativo en reducir las inequidades en oportunidades educativas y hacer recomen-daciones de poltica pblica que se fundamenten

19

Introduccin

en los hallazgos. Los resultados de dicho estudio muestran con toda claridad que las condiciones familiares y sociales de los estudiantes impactan fuertemente en su aprendizaje, calculando que dichas condiciones explican alrededor del 60% de las diferencias en el logro educativo de Es-paol y de Matemticas; asimismo, confirman para el caso de Mxico, lo ya sabido desde el in-forme de Coleman y colaboradores (1966), que la distribucin del aprendizaje depende del nivel socioeconmico de las familias de los estudian-tes, y que la escuela reproduce las inequidades sociales y econmicas del pas.

El segundo estudio, relacionado con los fac-tores de la escuela, se propuso responder a tres preguntas: qu tan desigual es la educacin en Mxico en trminos del logro educativo que al-canzan los alumnos en los distintos centros es-colares?, en qu medida las diferencias en las puntuaciones promedio de las escuelas pueden explicarse por las variables de proceso escolar?, cules variables de la escuela influyen en el aprendizaje y en qu medida lo hacen, una vez que se toman en cuenta las caractersticas de los estudiantes? Los resultados de este trabajo muestran que la distancia que separa el logro educativo de los estudiantes entre una escuela de otra, puede llegar a ser equivalente a ms de cuatro grados escolares; que las caractersti-cas propias de las escuelas (modalidad educativa ms caractersticas estructurales) pueden llegar a explicar una buena proporcin de la varianza de los resultados de aprendizaje y que los facto-res que mayor impacto tienen en el logro educa-tivo, son los relacionados con las caractersticas individuales y familiares de los estudiantes, se-guidos de la Modalidad educativa y los factores de composicin de la escuela y, con menor fuer-za, las caractersticas estructurales de los cen-tros escolares.

Aportaciones de nuevas herramientas metodolgicas para realizar anlisis

complejos de los resultados (Rasch, SEM y HLM)

Para poder explicar los resultados de aprendizaje es necesario considerar, controlar y analizar ml-tiples variables, tanto endgenas como exge-nas al Sistema Educativo Nacional, las cuales se pueden agrupar en dos grandes categoras: las

que son de la escuela y las que pertenecen a sus estudiantes. Desgraciadamente, estos dos gru-pos de variables estn muy relacionados entre s, lo que hace complicado su anlisis. Por ejem-plo, los estudiantes en mejores condiciones so-cioeconmicas asisten a las escuelas que ofrecen las mejores oportunidades de aprendizaje; por el contrario, los estudiantes en condiciones de vul-nerabilidad social asisten a los centros escolares, cuyas condiciones de infraestructura y operacin son las ms precarias. Para complicar las cosas, no existen estudiantes muy pobres que acudan a escuelas muy ricas y viceversa, donde se pueda controlar el efecto de una variable sobre otra.

Por la razn expuesta, los mtodos estads-ticos tradicionales (por ejemplo, correlacin, re-gresin lineal, anlisis de varianza) no tienen la capacidad de analizar adecuadamente la infor-macin cuando sta se encuentra anidada. Afor-tunadamente, en los aos recientes han surgido nuevas metodologas ms complejas y robustas las cuales nos permiten estudiar el tema con mayor precisin. Entre estas herramientas, se destacan tres por el uso que se les dar en este trabajo: el Modelo de Rasch (que forma parte de la Teora de Respuestas al tem), que se usa en este estudio para conformar y calibrar, tanto las escalas de aprendizaje, como las de contexto; el Modelo de Ecuaciones Estructurales (SEM, por sus siglas en ingls) que se utiliza para validar dichas escalas y los Modelos Jerrquicos Lineales (HLM, por sus siglas en ingls), con los cuales se identifican y cuantifican las relaciones que tienen las distintas variables de contexto con el logro educativo.

La aplicacin combinada de estas tres meto-dologas en este estudio, conforma un esquema analtico exhaustivo que permite por una parte, validar los instrumentos de medicin de los fac-tores asociados y, a la vez, relacionar los facto-res medidos con los resultados de aprendizaje obtenidos a travs de los Excale-03 (Exmenes de tercer grado).

Propsitos y alcances del estudio

Partiendo del inters del INEE de investigar los factores que se asocian al aprendizaje de los es-tudiantes de educacin bsica y media superior, en las diversas asignaturas que se evalan, este trabajo utilizando la base de datos del INEE


20

(www.inee.edu.mx) publicada en 2006, sobre el aprendizaje de los estudiantes de tercero de primaria (Backhoff y col. 2007b) plante cinco propsitos:

Identificar las variables a nivel del alumno y cuantificar su relacin con el aprendiza-je de los estudiantes que terminan terce-ro de primaria en las asignaturas de Es-paol, Matemticas, Ciencias Naturales, Educacin Cvica, Historia y Geografa.Identificar las variables a nivel de la escuela y cuantificar su relacin con el aprendizaje de los estudiantes de tercero de primaria en las asignaturas sealadas en el punto anterior.Describir las propiedades psicomtricas de las variables y escalas utilizadas en este estudio, tanto a nivel de alumno como de escuela.Describir los fundamentos tericos-metodolgicos de los anlisis estadsticos realizados, para conocer la influencia de los distintos factores que se asocian al aprendizaje de los estudiantes de tercer grado.Arribar a conclusiones basadas en los principales hallazgos de este estudio que puedan utilizarse para formular recomen-daciones de poltica educativa.

El contenido de este informe, adems de la introduccin, consta de cuatro captulos, un apartado de conclusiones y los anexos que com-plementan lo expuesto en el cuerpo principal del documento. El captulo 1 hace una breve des-cripcin de las principales caractersticas de los estudios de factores asociados, utilizando el mo-delo de Produccin econmica, y de tres tipos de metodologas para lograr este propsito: el mo-delo Rasch, el Modelo SEM y el Modelo HLM. En los captulos 2 y 3 se describen, respectivamen-te, las variables y escalas utilizadas para medir los factores de contexto de alumnos y de escue-las, sus propiedades psicomtricas, as como los

resultados de validez de la estructura de estas variables con base en la metodologa SEM. En el captulo 4 se muestran los modelos HLM utili-zados para conocer la influencia que ejercen los diversos factores estudiados en el aprendizaje de los estudiantes y se describen los resultados en-contrados para las asignaturas de Espaol, Ma-temticas, Ciencias naturales, Educacin cvica, Historia y Geografa. En el apartado de Sntesis y conclusiones se resumen los resultados de ma-yor relevancia, y se reflexiona sobre algunas po-lticas educativas que pudieran mejorar las con-diciones del proceso escolar las cuales afectan directa o indirectamente el logro educativo de los estudiantes. El informe concluye con una seccin de referencias bibliogrficas y otra de anexos, donde se aporta informacin complementaria a la expuesta a lo largo del libro.

Cmo leer el informe

Dada su extensin y carcter tcnico, el informe puede ser ledo de dos formas distintas, segn los propsitos e intereses particulares que al lec-tor convengan:

A las personas interesadas en conocer de manera general los resultados y hallazgos de mayor importancia de este estudio, se les recomienda leer la Introduccin, el ca-ptulo 4 (resultados) y el apartado de Sn-tesis y conclusiones, as como hacer las consultas necesarias a los captulos 2 y 3, donde se describen las variables de alum-nos y de escuelas, respectivamente.Para quienes deseen conocer con mayor detalle los instrumentos y procedimien-tos utilizados que dieron pie a los resul-tados reportados en este trabajo, se les sugiere leer todos los apartados del infor-me, en forma secuencial, as como hacer las consultas necesarias a los diversos anexos, donde se detallan los aspectos ms tcnicos.

Captulo 1

Marco de referencia sobreel estudio de factores

asociados al aprendizaje

23

Este captulo tiene dos propsitos. Por un lado, presentar la aproximacin terica de donde parten los autores para abordar el estudio de factores asociados al aprendizaje, que es fundamental para identificar las variables de contexto que se relacionan con los resultados educativos de los estudiantes de tercer grado. En segundo lugar, este apartado tiene el objetivo de explicar en forma sinttica, los tres modelos metodolgicos utilizados en el estudio para cons-truir y validar escalas, as como para analizar y cuantificar su relacin con el aprendizaje de los estudiantes en las seis asignaturas evaluadas.

1.1 Aproximacin de la funcin de la produccin

Como se mencion en estudios anteriores, exis-ten dos grandes aproximaciones tericas en el campo de los factores asociados a los resultados educativos, o de escuelas eficaces. Al primero de ellos se le conoce como la funcin de la produc-cin, con el cual se busca identificar determinan-tes generales de la efectividad de las escuelas (Willms, 1992); acercamiento que se basa en la ptica de la funcin productiva econmica (Brid-ge, Judo y Moock, 1979; Levin, 1980). En segun-do lugar, la aproximacin culturalista del saln de clases hace nfasis en el contexto cultural donde se enmarcan los propsitos escolares y las prcticas pedaggicas, as como la dinmica que se da entre la autoridad educativa y los es-tudiantes, maestros y administradores, insertos en un sistema escolar altamente jerarquizado (Willms y Somers, 2001).

La teora que respalda la funcin de la produc-cin se basa en la premisa de que los resultados escolares son determinados principalmente por

dos tipos de factores. Por un lado, las condicio-nes familiares y sociales donde se desarrolla el estudiante, entre las que destacan la influencia familiar y las experiencias de los estudiantes en el hogar. Por otro lado, las condiciones escolares donde el alumno aprende, entre las que desta-can las polticas educativas, la estructura orga-nizativa del sistema escolar, los recursos mate-riales de la escuela y las prcticas pedaggicas en el aula. La forma de anlisis de este modelo se basa esencialmente en la estimacin de la proporcin de la varianza de los resultados edu-cativos (por ejemplo, resultados de exmenes estandarizados) que se atribuyen a los factores relacionados con la calidad educativa de los cen-tros escolares; para ello, es necesario separar la influencia de los factores escolares de aquellos que ejercen las condiciones sociales de los alum-nos. Sustentndose en esta premisa, el modelo busca poder determinar cules son los factores de la escuela ms importantes que inciden en los resultados educativos; informacin que permite mejorar la calidad de los centros escolares, si se fortalecen dichos factores a travs de programas y polticas educativas especficas.

Sin embargo, diversos autores critican este modelo por la poca consistencia de sus resulta-dos. Por ejemplo, Fuller, Singer y Keiley (1993), han reportado que algunos de los factores estu-diados se comportan de manera diferente de una investigacin a otra, entre los que se sealan: el tamao de los grupos, el salario de los maestros y el tipo de prcticas pedaggicas. Asimismo, se han hecho varias crticas a este modelo debido a que los investigadores se centraron en la pre-sencia de ciertas condiciones escolares, como la disponibilidad de ciertos materiales educativos, sin prestarle suficiente atencin a las caracters-

Captulo 1. Marco de referencia sobre el estudio de factores asociados al aprendizaje


24

ticas organizativas y operativas de la escuela, ni a los procesos organizativos y pedaggicos que se dan en el aula. Igualmente, la funcin de la produccin ha fallado en considerar el grado de consonancia del currculo oficial y las distintas formas de conocimiento que se observan en co-munidades rurales e indgenas, as como en el inters y capacidad de los docentes por adoptar prcticas modernas de enseanza (Fuller y Clar-ke, 1994).

Por lo anterior, algunas investigaciones re-cientes que utilizan la perspectiva de la funcin de la produccin cambiaron su inters: de los factores generales de la escuela, a las condi-ciones particulares que se dan en el aula. Con esta ptica, se ha puesto nfasis en el estudio de variables relacionadas con las oportunidades de aprendizaje tales como: las formas de agrupar a los alumnos, el tipo de asesora que se les brin-dan a los estudiantes, la disciplina y orden de los grupos, la forma en como se estructura la ense-anza y el tiempo efectivo de aprendizaje.

Estos cambios de atencin en las variables a estudiar han permitido, en la opinin de muchos autores, que la perspectiva de la funcin de la produccin (Bridge, Judo y Moock, 1979; Levin, 1980) siga dominando en las ltimas dcadas los estudios de gran escala sobre los factores aso-ciados al aprendizaje (Willms y Somers, 2001), pues tiene un gran potencialidad para identificar los factores que condicionan los resultados edu-cativos, as como para cuantificar su influencia. Adicionalmente, esta aproximacin se ve benefi-ciada y robustecida por las nuevas herramientas informticas y estadsticas, las cuales se generan da con da, como se ver a continuacin. Por estas razones, el presente estudio adopta este modelo, con el cual se busca identificar diversos factores que se asocian al aprendizaje de los es-tudiantes en las distintas disciplinas que se im-parten en tercero de primaria.

1.2 Escalamiento de variables utilizando el Modelo de Rasch

Este mtodo analtico se aplica para establecer las propiedades mtricas de escalas en instru-mentos de medicin psicolgica y educativa, a partir del comportamiento probabilstica de los reactivos individuales que las componen. Todos los reactivos y todas las escalas de los cuestio-

narios de contexto administrados junto con los Excale-03 del INEE, fueron sometidos a prueba bajo esta rigurosa metodologa.

El modelo de Rasch postula que un reactivo eficiente slo debe ser contestado correctamen-te por aquellos sustentantes con la habilidad o nivel de rasgo, requeridos por las demandas cognitivas del reactivo. A la inversa, un reactivo eficiente no debe ser contestado correctamente por aquellos sustentantes que no posean los ni-veles de habilidad, o rasgo requeridos para res-ponderlo.

Bajo estas dos premisas el procedimiento de anlisis establece primero las dificultades de los reactivos y las habilidades de los sustentantes, con una unidad de medida especial que se apli-ca a una muestra de respuestas emitidas por un grupo de n sustentantes a un conjunto de k reactivos.

La determinacin de dificultades de los reac-tivos y de las habilidades de los respondentes, se efecta mediante la aplicacin de una unidad de medida comn a ambos casos. Esta unidad de medida se denomina lgito. La medida en l-gitos es una de las bases fundamentales sobre las que se ha desarrollado la metodologa Rasch. Las medidas en lgitos se obtienen de aplicar una transformacin logartmica a las proporcio-nes de repuestas observadas en las personas y reactivos.

Para el caso de personas, la medida de habili-dad en lgitos se simboliza , y se obtiene calcu-lando el logaritmo natural (ln), de la proporcin de respuestas correctas sobre las respuestas in-correctas observadas al contestar un grupo de reactivos. Para el caso de reactivos, la medida de dificultad en lgitos se simboliza , y se obtiene calculando el logaritmo natural (ln) de la propor-cin de respuestas incorrectas observadas, para cada reactivo sobre el nmero de respondentes que lo intentaron responder.

El efecto de estas transformaciones es que se definen las habilidades de los respondentes y las dificultades de los reactivos en una misma escala de un sistema mtrico comn. Por lo general, para el caso de reactivos las medidas en lgitos se estiman entre -3 (muy fcil o probable), hasta +3 (muy difcil o poco probable). En este ran-go, los reactivos de dificultad intermedia reciben una medida de lgitos. De igual forma, por lo general las habilidades de los respondentes

25

Marco de referencia sobre el estudio de factores asociados al aprendizaje

tambin se calibran entre -3 y +3 lgitos con ha-bilidad media calibrada en . Desde luego que es posible para ambos casos observar respondentes o reactivos calibrados fuera del intervalo de -3 a +3 lgitos.

El principio fundamental del modelo de Rasch es que la diferencia entre habilidades de los res-pondentes y dificultades de los reactivos, ( ), contiene toda la informacin necesaria para cal-cular las probabilidades de respuesta correcta de n respondentes a k reactivos.

Una vez obtenida la calibracin inicial de di-ficultades de los reactivos y habilidades de sus-tentantes bajo el sistema mtrico de lgitos, el anlisis Rasch procede a establecer una expec-tativa probabilstica acorde a la dificultad de cada reactivo y a la habilidad de cada respondente.

A partir de las expectativas probabilsticas para k reactivos y n sustentantes, el procedi-miento avanza comparando cada patrn de res-puesta, reactivo por reactivo y sustentante por sustentante. En esta serie de comparaciones anidadas, el procedimiento identifica con toda precisin aquellos reactivos y sustentantes que se comportaron de manera distinta a las expec-tativas probabilsticas del Modelo Rasch. Es decir, el procedimiento identifica aquellos reactivos y sustentantes que presentan respuestas anma-las. El proceso identifica aquellos reactivos con-testados incorrectamente por sustentantes que poseen la habilidad para hacerlo. Por extensin se identifican tambin aquellos reactivos que fue-ron contestados correctamente por sustentantes sin la habilidad requerida para hacerlo. De igual manera, el procedimiento identifica aquellos sus-tentantes que no contestaron correctamente a reactivos dentro de su nivel de habilidad; o con-testaron correctamente a reactivos fuera de su nivel de habilidad.

En resumen, el procedimiento identifica como anomalas todos los casos que se apartan de la expectativa del Modelo Rasch. Los conjuntos de anomalas se suman y al rebasarse un lmite de-finido de tolerancia, los casos se remiten a po-sibles caractersticas resultantes de la construc-cin de los reactivos, o de las idiosincrasias de algunos sustentantes. Una vez separados esos casos los reactivos que se comportan dentro de la expectativa del Modelo, se conservan como reactivos probados empricamente y productivos en la informacin que aportan sobre los conoci-

mientos y habilidades de quienes los respondie-ron correctamente y de los sustentantes que no los respondieron correctamente.

Concretamente, bajo el modelo Rasch esto resulta en dos condiciones:

Cuando el valor de Ajuste Interno (INFIT) 1. se mantiene en el rango de 0.80 a 1.30, lo cual significa que el reactivo s fue res-pondido correctamente por los respon-dentes que estn cerca del nivel de rasgo requerido por el reactivo.Cuando el valor de Ajuste Externo 2. (OUTFIT) se mantiene en el rango de 0.80 a 1.30 lo cual significa que el reac-tivo no fue respondido correctamente por los respondentes quienes estn lejos del nivel de rasgo requerido por el reactivo.

As, cuando los reactivos de una escala satis-facen estos criterios de bondad de ajuste se les considera reactivos apropiados y mtricamente productivos como parte de una escala unidimen-sional. Cuando los reactivos se ajustan al modelo bajo los ndices de bondad de ajuste descritos, se aplican dos criterios adicionales:

El valor de su correlacin punto-biserial 1. (RPTBIS) debe ser de 0.20 o mayor, lo cual indica que el reactivo pertenece a la escala correspondiente. Es decir el tem mide el mismo rasgo que la escala en conjunto.El valor de su ndice de discriminacin 2. (DISCR) debe ser de 1.00 lo cual indica que el reactivo distingue con mayor pre-cisin a los respondentes de alto y bajo niveles de rasgo, con respecto al reacti-vo. Si el valor de DISC rebasa 1.00, el reactivo tiene mayor poder de distinguir con precisin entre los extremos de los niveles de habilidad de los respondentes.

Si bien estos criterios se aplican para reacti-vos de respuesta binaria (dicotmicos), tambin son aplicables a reactivos de respuesta categri-ca (politmicos). Para estos casos se han desa-rrollado extensiones del mtodo para reactivos de respuesta graduada (tipo Likert), donde los respondentes emiten sus respuestas seleccio-nando entre varias categoras.

Para los tipos de reactivo de respuesta gra-duada (Likert) donde se trata de medir rasgos de actitud, opinin o percepcin, la nocin de dificultad del reactivo se transforma en la de di-


26

ficultad de expresar acuerdo u opinin favorable sobre el contenido de los reactivos.

Para el caso de los cuestionarios de contexto del INEE, se tienen reactivos de tipo binario con los siguientes patrones de respuesta: 1 = si; 0 = no. Adems, se cuenta con reactivos de tipo respuesta graduada, 0 = nunca, 1= pocas veces, 2 = muchas veces, 3 = siempre. La modeliza-cin de este tipo de reactivos sigue los mismos principios que se han descrito para reactivos de logro. Se ofrece mayor detalle sobre las bases de clculo de estos ndices de calidad mtrica Rasch en el anexo A.

1.3 Validacin de escalas utilizando el modelo SEM

La metodologa denominada Modelo de Ecuacio-nes Estructurales, o SEM, incluye el anlisis fac-torial confirmatorio (AFC). Con este mtodo es posible establecer que los reactivos de un instru-mento o escala se agrupan en sub-dimensiones definidas por la teora que orient el diseo ori-ginal del instrumento o escala. Adems, el m-todo AFC produce evidencia parcial de validez de constructo para el instrumento y sus sub-escalas en conjunto. La metodologa que se describe a continuacin ha sido desarrollada bajo los crite-rios estadsticos ms robustos y constituye has-ta la actualidad la forma ms apropiada para el estudio y confirmacin de modelos de medicin (Boomsma y Hoogland, 2001).

El mtodo AFC consiste en aplicar tcnicas de estadstica multivariada para comparar la es-tructura de relaciones entre variables, propues-ta por un modelo de medicin basado en teora sustantiva (que orienta el desarrollo de los ins-trumentos) con la estructura de relaciones entre variables realmente observada en las medidas derivadas de una muestra de la poblacin de in-ters. Cuando la estructura de relaciones y di-mensiones propuesta en el modelo terico coin-cide con la estructura observada en los datos, se produce una condicin denominada bondad de ajuste entre el modelo y los datos muestrales. Bajo la condicin de bondad de ajuste, el mo-delo se considera parcialmente validado a partir del procedimiento y criterios que se describen a continuacin.

El centro de la atencin en el proceso AFC es la capacidad del modelo hipotetizado para repro-

ducir la matriz de covarianzas (o de correlacio-nes) observada a partir de los datos muestrales. Cuando se trata de validar modelos de medicin como en el caso de los cuestionarios de contexto que utiliza el INEE, la matriz de covarianzas ana-lizada se genera a partir de intercorrelacin de las variables medidas por los reactivos de cada escala en los cuestionarios.

Esencialmente, se trata de comprobar si exis-te o no una igualdad (o no diferencia) entre la matriz de covarianzas implicada por el modelo y la matriz de covarianzas derivada de los da-tos muestrales generados por la aplicacin de los cuestionarios. En trminos formales se tiene:

H0: = ()

Esta hiptesis nula establece que hay una igualdad entre la matriz de covarianzas (en la poblacin de donde se extrajo la muestra), que es , y la matriz de covarianzas implicada por el modelo hipotetizado que es ().

Debe notarse que en estos procedimientos de modelamiento se retiene la hiptesis nula (que implica que no existe diferencia estadsti-camente significativa). Si ste es el caso, el mo-delo hipotetizado es sostenible y bajo este caso la modelizacin ha sido exitosa. Pero si por el contrario, se encuentra evidencia para rechazar la hiptesis nula, implica que existe diferencia estadsticamente significativa entre las matrices. Entonces el modelo hipotetizado no es sostenible y la modelizacin no ha sido exitosa.

En esta seccin se debe tener en cuenta el siguiente aspecto que es crucial: la lgica de re-tencin de la hiptesis nula, va en el sentido in-verso a la lgica convencional de rechazo de la hiptesis nula, en la cual se busca establecer una diferencia estadsticamente significativa referida a uno o ms parmetros poblacionales. En la mo-delizacin SEM ste no es el caso porque, como se expres, lo que se trata de establecer es la no diferencia estadsticamente significativa entre la matriz de covarianzas observada, y la matriz () implicada por el modelo hipotetizado.

De hecho, tambin es importante notar que los criterios e ndices de bondad de ajuste, entre el modelo y los datos, precisamente, lo que tra-tan es de expresar que no existe diferencia entre y (); o bien, si existe alguna diferencia, sta no es estadsticamente significativa.

27


En sntesis, el procedimiento SEM calcula las matrices y () y establece una serie de comparaciones entre stas para determinar si la matriz implicada por el modelo hipotetizado di-fiere o no, de manera sustantiva de la matriz de covarianzas obtenida de las variables medidas (datos considerados). El mecanismo compara-tivo procede a contrastar cada elemento de la matriz (), con el correspondiente elemento de la matriz . Cada diferencia detectada entre los elementos de las matrices se va acumulando en una medida de residuales; es decir, una medida de las diferencias observadas entre los elemen-tos de las matrices y (). Si esta medida de residuales no rebasa un lmite previamente establecido, se puede concluir que las matrices no difieren de forma sustantiva y se retiene la hiptesis nula H0: = (). Esto indica que el modelo hipotetizado y los datos observados se ajustan entre s. En este caso la modelizacin ha sido exitosa.

Desde luego, tambin es posible que la medi-da de residuales entre y () rebase el lmite previamente establecido y entonces se concluir que s existen diferencias sustantivas entre las matrices. Esto, a su vez, implica que debe re-chazarse H0: = (), ya que la igualdad hi-potetizada entre las matrices no existe. En esta situacin se concluye que el modelo y los datos no se ajustan entre s.

Bajo este punto hay dos opciones: la prime-ra consiste en rechazar el modelo hipotetizado y remite a un replanteamiento del mismo. La segunda, consiste en no rechazar totalmente el modelo, sino que ste se conserve para modifi-carlo en forma tal que una vez reespecificado, se repetir el procedimiento SEM para determinar si bajo la reespecificacin el modelo y los datos ajustan entre s. Es importante tener en cuenta que un modelo no debe reespecificarse slo para lograr el ajuste a los datos.

Para decidir sobre el acierto de ajuste de los modelos de medicin postulados en este estudio, y la estructura de relaciones de agrupamiento en las bases de datos seleccionadas (de Excale-03), se emplearon cinco ndices y criterios:

Primero, el estadgrafo de Chi Cuadrada, o X2, que es una medida inicial de las discrepancias detectadas por el procedimiento entre la matriz de covarianzas reproducida por el modelo y la matriz de covarianzas de los datos muestrales

observados. El valor de X2 debe ser el menor po-sible, aunque no es factible establecer un mnimo uniforme para todos los casos. El procedimiento compara las coincidencias o discrepancias entre los elementos de ambas matrices y, si stas son mnimas, la prueba de la hiptesis de que las matrices no difieren debe resultar en un valor P mayor a 0.05 o 0.01. Es decir, la prueba de hip-tesis debe, en principio, resultar no significativa. Si bien este primer ndice puede ser de utilidad, no siempre es aplicable debido a que cuando se realizan las pruebas con tamaos de muestra grandes, la potencia estadstica de la prueba au-menta, por lo que puede arrojar un valor P me-nor a 0.05 o 0.01. Si este es el caso, el resultado no es definitivo y se procede a interpretar los siguientes ndices de ajuste. Por otra parte, este valor inicial de discrepancia X2 se requiere para interpretar los resultados de un anlisis SEM, ya que es la base para el clculo de los siguientes ndices de bondad de ajuste.

Segundo, el RMSEA (Root Mean Square Error of Aproximation) consiste en un clculo de la Raz del Error Medio Cuadrtico de aproximacin a los valores de poblacin. El criterio RMSEA re-presenta la diferencia estadsticamente obser-vada entre la estructura de relaciones postulada por el modelo y la estructura de relaciones en la poblacin de donde se extrajo la muestra. En la prctica, cuando este valor es inferior a 0.05 se considera que las diferencias entre las estructu-ras postuladas y observadas son mnimas. Cuan-to ms se acerque a cero este valor se conside-ra que el ajuste entre el modelo y los datos se aproxima al ptimo. El procedimiento sobre este valor incluye una prueba de la hiptesis de que el valor observado sea menor a 0.05. Igual al caso anterior, si el valor P de la prueba resulta mayor a 0.05 o 0.01 se considera que el valor observa-do no difiere significativamente de 0.05. El lmite crtico superior del RMSEA es de 0.10. A partir de este valor se concluye que no existe ajuste entre el modelo y los datos.

Tercero, el CFI (Comparative Fit Index) es el ndice de Ajuste Comparativo. Este ndice es tambin una medida de las discrepancias entre las estructuras de relaciones postuladas por la teora subyacente al modelo y las relaciones ex-tradas de la informacin de la muestra medida. Este ndice compara especficamente la estruc-tura del modelo postulado con la estructura de


28

relaciones bajo una situacin hipottica, en la cual la estructura de correlaciones en los datos no existiera, lo cual se denomina modelo nulo. Cuando el CFI alcanza el valor de 0.90 se consi-dera una indicacin de que el modelo postulado en el anlisis AFC ajusta un 90%, mejor al caso hipottico del modelo nulo, en donde la estructu-ra de relaciones no existe.

Cuarto, el RFI (Relative Fit Index) es anlogo al CFI y se aplica para comparar los valores el RFI entre dos o ms modelos en competencia. Cuando el RFI alcanza 0.90 se considera que el modelo se ajusta al 90% que el de la situacin hipottica del modelo nulo. Pero si se comparan dos o ms modelos, con respecto a este ndi-ce, se debe elegir el que resulte con un valor de RFI mayor, ya que esto representara un mejo-ramiento del ajuste de un modelo relativo a otro razonable, en teora.

Quinto, un ndice de ajuste adicional, el IFI (Incremental Fit Index), est basado en una l-gica similar. Cuando el IFI resulta en valores de 0.90 o mayores, se considera que el modelo y los datos se ajustan entre s de forma razonable. Si dos modelos posibles se comparan entre s, el modelo que resulte con el IFI ms alto debe ser elegido. El incremento en puntos de un modelo a otro se interpreta tambin como un porcentaje de mejoramiento en el ajuste.

Sexto, una medida de discrepancia adicional es el RMR (Root Mean Square Residual), que es la raz de la media cuadrtica de diferencias (re-siduales) encontradas entre los valores de la ma-triz de correlaciones implicada por el modelo y la matriz de correlaciones derivada de los datos muestrales empricamente observados. Cuando el valor estandarizado del RMR se mantiene por debajo de 0.05, se concluye que el modelo de medicin propuesto y la estructura de los datos se ajustan entre s.

Con lo anterior se introducen las bases de las metodologas estadsticas empleadas en el estudio y validacin de los modelos de factores asociados al logro educativo, reflejado en los re-sultados del Excale-03. Es necesario puntualizar que la parte correspondiente a SEM se aplica para producir evidencia parcial pero robusta so-bre la validez de los modelos de medicin que subyacen a los cuestionarios de contexto de los Excale-03. Esta forma de validacin ofrece la evidencia estadstica suficiente para corroborar

que la teorizacin conceptual que llev al dise-o de los instrumentos es suficientemente sli-da. Estas determinaciones se logran a travs de la inspeccin e interpretacin de varios ndices de bondad de ajuste los cuales se interpretan de manera combinada. En el marco analtico de este estudio, se aplican e interpretan seis ndices de bondad de ajuste, para evaluar los modelos de medida sometidos a prueba. Es importante que el lector interesado en profundizar en estos tpicos preste ms atencin sobre los ndices y sus propiedades de representacin de evidencia de validez. Las bases de clculo y lineamientos de interpretacin de estos ndices de bondad de ajuste se presentan en el anexo B.

1.4 Asociacin de factores de contexto con el aprendizaje utilizando los modelos HLM

Como ya se mencion, el propsito ms importan-te del presente trabajo es conocer la relacin que tienen las distintas variables de contexto, a nivel de alumno y de escuela, sobre el aprendizaje de los estudiantes de tercer grado de primaria. Para lograr este propsito, se debe tomar en cuenta que los datos que reporta el INEE (como la gran mayora de los exmenes nacionales y las evalua-ciones internacionales) presentan una estructura con diferentes niveles de agregacin. Un nivel lo representan los estudiantes dentro de las escue-las y, otro, lo representan los centros educativos que se ubican dentro de un estado o un pas.

Se pueden considerar dos estrategias dife-rentes para analizar este tipo de estructura de datos. La primera consiste en un modelo de re-gresin simple de los datos del aprovechamiento de todos los estudiantes, ignorando la escuela de procedencia. Los modelos de regresin para cada uno de los estudiantes compartiran el mis-mo intercepto: en este caso, la gran media de aprovechamiento. El modelo permitira evaluar la asociacin entre el aprovechamiento y las va-riables de los estudiantes y de sus escuelas. Sin embargo, esta estrategia no permitira identificar y tomar en cuenta la posible heterogeneidad en-tre las escuelas en el nivel de aprovechamiento de los estudiantes.

La estructura jerrquica de los datos genera-dos por los exmenes nacionales de aprovecha-miento hace probable que los datos obtenidos dentro del nivel de escuelas estn altamente co-

29


rrelacionados; es decir, los niveles de aprendiza-je de los estudiantes que asisten a una misma escuela se parecern ms entre s, que los resul-tados de estudiantes que atienden centros edu-cativos distintos. Esta correlacin tendra como consecuencia una heterogeneidad en los niveles de aprovechamiento asociados con cada escue-la. Esta particularidad de los datos hace que los estimadores del grado de asociacin entre las variables de contexto y el aprovechamiento, ob-tenidos con la tcnica de regresin lineal, sean sesgados al ignorar la escuela de procedencia.

Una segunda estrategia para el anlisis de los datos jerrquicos, en el otro extremo de posi-bilidades, consiste en agregar los datos de los estudiantes por escuela. En este caso la regre-sin lineal sera entre el nivel promedio de apro-vechamiento de cada escuela y los predictores propios de ese nivel. Esta estrategia tiene dos inconvenientes: no permite estudiar la relacin entre predictores individuales y aprovechamien-to individual, y tiende a sobrevalorar las diferen-cias entre las escuelas.

La solucin a menudo ms empleada en los ltimos aos, para analizar datos estructurados jerrquicamente, consiste en una regresin que toma en cuenta la caracterstica de los datos. En la literatura referente a estos modelos se le conoce como lineales jerrquicos. Consisten en estimar simultneamente una regresin lineal al nivel de los estudiantes, considerando la posibili-dad de que el intercepto, y algunos coeficientes, puedan variar en forma aleatoria al nivel de es-cuela. Simultneamente cada uno de los posi-bles coeficientes aleatorios, asociados al nivel de escuela, se modelan con una funcin lineal de variables propias a ese nivel.

El anlisis de datos jerrquicos tiene varias ventajas sobre los modelos de regresin lineal. Primero, en este caso, permiten determinar el porcentaje de la variabilidad en el nivel de apren-dizaje de los estudiantes que puede atribuirse a diferencias entre escuelas y a diferencias entre estudiantes. En un sistema educativo menos in-equitativo, el porcentaje de la variabilidad obser-vada en el aprovechamiento individual, atribui-ble a diferencias entre escuelas, sera pequeo.

Segundo, si se encuentran diferencias en el aprovechamiento promedio de las escuelas, por consideraciones de poltica pblica, es de inte-rs determinar qu caractersticas de las escue-

las estn positivamente asociadas con mejores aprovechamientos.

Tercero, identificar las mejores prcticas edu-cativas asociadas con las escuelas ms exitosas, requiere la posibilidad de estimar por separado el efecto de las variables pedaggicas, del efec-to producido por el agregado de estudiantes con rasgos individuales correlacionados con el apro-vechamiento. En este caso particular, es impor-tante conocer si las caractersticas del estudiante estn relacionadas directamente con el aprendi-zaje, o a travs de la eleccin de escuelas cuyos estudiantes tienen caractersticas similares. A diferencia de los modelos de regresin lineales simples, el anlisis jerrquico permite considerar simultneamente el efecto de la misma variable a nivel individual y a nivel agregado de escuela, logrando distinguir entre ambos efectos.

Cuarto, los modelos de regresin jerrquico li-neales, o HLM, permiten estimar con mayor preci-sin la influencia ejercida por las variables del ni-vel de los estudiantes sobre su aprendizaje, algo que no es posible realizar con la tcnica de regre-sin lineal si existe variabilidad entre escuelas.

Si se considera la estructura jerrquica de los datos obtenidos por el INEE, los niveles de ani-damiento estaran dados por los alumnos (primer nivel), los grupos de alumnos dentro de las escue-las (segundo nivel), las propias escuelas (tercer nivel) y las entidades federativas del pas (cuar-to nivel). Sin embargo, en este trabajo slo se considerarn los niveles del estudiante (nivel 1) y de la escuela (nivel 3), por dos razones. Dejamos fuera el nivel de grupo debido a que el diseo muestral que utiliza el INEE selecciona slo trein-ta estudiantes por escuela (diez por grupo), y en la gran mayora de stas hay uno o dos grupos, lo que resulta insuficiente para realizar los anli-sis de regresin multinivel. En segundo lugar, en trabajos anteriores se ha demostrado que la enti-dad federativa (cuarto nivel) tiene una influencia reducida en el aprendizaje, y contribuye en poco a su variabilidad (Backhoff y col., 2007).

Por la cantidad de variables consideradas y en base a resultados previos, se decidi emplear modelos que slo consideran el intercepto como una variable de efectos aleatorios. Las variables de contexto (explicativas) sern consideradas como variables con efectos fijos que no varan entre escuelas. Para mayor informacin sobre esta metodologa, consltese el anexo C.


30

Captulo 2

Seleccin de variablesy construccin de escalas

de alumnos

33

El propsito de este captulo es triple. Pri-mero, explicar la metodologa general para seleccionar las variables y construir las es-calas de estudiantes, las cuales se utilizarn en los anlisis multinivel, para determinar cules de ellas se asocian al aprendizaje de los estudian-tes. Segundo, describir las caractersticas con-ceptuales y psicomtricas de las variables y es-calas, a nivel de alumno, utilizadas en el captulo 4. Tercero, mostrar la evidencia la de validez de constructo de las variables y escalas, utilizando la metodologa HLM (descrita en el captulo an-terior).

2.1 Metodologa general para seleccionar variables y construir escalas de contexto

Para conocer la influencia que ejercen diversos factores sobre el logro educativo es necesario contar con informacin vlida y confiable, acer-ca de las condiciones en donde se desarrolla el estudiante y dnde aprende. En el caso de la mayora de los pases en vas de desarrollo, como es el caso de Mxico, esta informacin es inexistente; o bien, no est sistematizada ni es accesible a los investigadores. Por esa razn, en los estudios nacionales e internacionales sobre el logro educativo es prioritario que se adminis-

tren, junto con las pruebas de aprendizaje, lo que se conoce como cuestionarios de contex-to: instrumentos que van dirigidos a distintos informantes, cuyo propsito es precisamente recabar informacin sobre las condiciones so-ciales en donde vive el alumno, y sobre diversas condiciones escolares en donde se da el apren-dizaje.

La informacin que proveen los cuestionarios de contexto sirve, en consecuencia, para rela-cionarla con el logro educativo de los estudian-tes y conocer las variables que potencialmente facilitan o inhiben su aprendizaje, con lo cual se logran dos propsitos: 1) poder explicar parcial-mente las diferencias de los resultados educa-tivos que se observan entre los distintos tipos de escuela y centros escolares y 2) acumular informacin que sirva de base para la toma de decisiones en materia de polticas educativas, y para el establecimiento de programas orienta-dos a mejorar la calidad de los servicios educa-tivos que se ofrecen en el pas.

El proceso que inicia con el diseo de cues-tionarios y termina con el anlisis de la infor-macin que proveen y su relacin con los re-sultados educativos, es bastante complejo. De manera simplificada, la tabla I muestra las diez etapas que sigue el INEE para ese proceso.

Captulo 2. Seleccin de variables y construccin de escalas de alumnos


34

Etapa I. Teniendo en cuenta la complejidad de las variables que influyen directa e indirecta-mente en el rendimiento escolar, en 2005 el INEE se dio a la tarea de elaborar un modelo concep-tual de logro educativo donde se consignan las variables de contexto las cuales se asocian con los resultados de aprendizaje, as como sus inte-rrelaciones de mayor importancia. Este modelo est orientado en las oportunidades para apren-der, como la base fundamental para explicar el logro educativo del estudiante. Asimismo, com-parte con otros modelos aspectos bsicos, como la distincin entre niveles de sistema, escuela, saln de clases y estudiantes, as como entre antecedentes o insumos (caractersticas del es-tudiante), procesos (quines y cmo se organiza la instruccin) y resultados (lo que el estudiante aprende). Asimismo, el modelo intenta distinguir entre el currculo formal o intencionado (a nivel del sistema), el implementado (a nivel del saln

de clases) y el logrado (a nivel del estudiante) (vase Backhoff y col. 2007a).

Etapa II. El sistema de cuestionarios de con-texto que utiliza el INEE est conformado por di-versos instrumentos diseados para ser contes-tados por los alumnos, padres de familia (cuando los escolares no son buenos informantes), do-centes y directores de escuelas, quienes propor-cionan informacin sobre una diversidad de va-riables que se asocian con el aprendizaje. Entre estas variables se encuentran las siguientes: 1) las caractersticas personales y socioculturales de los principales actores educativos: los estu-diantes, docentes y directores; 2) los recursos de infraestructura fsica, servicios bsicos y apoyos pedaggicos con que cuentan dichos actores, en el hogar del estudiante, en el saln de clases del docente y en la escuela del director; 3) las activi-dades que se relacionan directa e indirectamente con el proceso de enseanza-aprendizaje, acti-

Tabla I. Etapas del proceso de diseo, construccin y validacin de variables y escalas

Etapas Descripcin

I Diseo de un modelo de logro educativo.

II Elaboracin de un sistema de cuestionarios de contexto dirigido a padres de familia, alumnos, docentes y directores.

III Identifi cacin de unidades sobre las que se informar: alumnos, docentes, directores, grupos y escuelas.

IV Seleccin de variables individuales y construccin de escalas para cada unidad identifi cada, utili-zando el Modelo de Rash.

V Establecimiento de criterios para juzgar la pertinencia, validez y confi abilidad de las variables y escalas de contexto.

VI Anlisis emprico de la calidad mtrica de las variables y escalas, utilizando parmetros de la Teo-ra Clsica de la Medida y de la Teora de Respuestas al tem.

VIIa) Eliminacin de variables o modifi cacin de su estructura (colapsamiento de categoras de respuesta) y b) depuracin de escalas, eliminando o adicionando variables en su estado original o modifi cadas.

VIII Imputacin de variables y escalas, y preparacin de bases de datos para su anlisis.

IX Anlisis emprico de la validez de la estructura conceptual del modelo de logro educativo, utilizan-do Modelos de Ecuaciones Estructurales.

X Anlisis de factores asociados al aprendizaje, utilizando Modelos Jerrquicos Lineales.

35

Seleccin de variables y construccin de escalas de alumnos

vidades escolares y extraescolares que realiza el alumno, actividades didcticas y pedaggicas que realiza el docente en clase, y actividades de apoyo acadmico y de gestin escolar que rea-liza el director; 4) el clima social y escolar en donde se desenvuelven los estudiantes, las rela-ciones intrafamiliares, el ambiente social dentro del saln de clase, el clima laboral de la escuela y el ambiente de inseguridad de la escuela y sus alrededores; 5) el grado en que se alcanzan los objetivos curriculares propuestos en los planes y programas de estudio de dos de las asignaturas evaluadas (Espaol y Matemticas).

Etapa III. Con base en los cuestionarios de contexto, descritos en la etapa anterior, se iden-tifican las unidades sobre las cuales se aportar informacin para ser relacionada con el aprendi-zaje de los estudiantes. Para el propsito de este trabajo se identificaron seis unidades, sobre las cuales se obtuvo informacin en algunas de sus caractersticas: estudiantes, composicin de la matrcula de la escuela, profesor del grupo, gru-po o aula de los estudiantes, director del plantel y plantel.

Etapa IV. Para describir las caractersticas de estas seis unidades se seleccionaron las varia-bles individuales y se construyeron las escalas correspondientes, que permitieron la informa-cin que proporciona los cuestionarios de con-texto. Por lo general, las variables individuales, se obtienen de los datos de un solo reactivo del cuestionario (por ejemplo, sexo y edad), aunque tambin pueden obtenerse de una combinacin simple de dos o tres reactivos (por ejemplo, la variable hacinamiento es el cociente de la res-puesta a dos reactivos: el nmero de habitacio-nes entre la cantidad de personas que viven en casa). Por su parte, las escalas se construyen con tres o ms reactivos utilizando los principios del modelamiento de Rasch (por ejemplo, la es-cala estatus econmico se conforma con ocho reactivos que miden la posesin de bienes y el acceso a servicios en el hogar).

Etapa V. Las variables seleccionadas y las es-calas construidas deben satisfacer ciertos crite-rios de validez y confiabilidad. Para las variables individuales se utilizaron cuatro criterios: 1) su justificacin y solidez conceptual, avalada por la literatura, 2) la distribucin plausible de las categoras de respuesta, avalada por informa-cin nacional o internacional, 3) la proporcin de

respuestas omitidas por los informantes que no debiera ser mayor al 10%, y 4) su correlacin con el aprendizaje del Espaol y las Matemti-cas, que debe ser diferente de cero y debe tener el sentido esperado. Para las escalas construi-das, adems de los cuatro criterios anteriores, se utilizaron cuatro adicionales: 1) la extensin de la escala, entendida como el rango en el cual puede medir el atributo o rasgo correspondiente, que debe ser lo ms amplio posible, 2) los nive-les de ajuste interno (INFIT) y externo (OUTFIT) de la escala, que deben estar en el rango de 0.8 a 1.3, 3) las correlaciones entre reactivos, que deben ser mayores de 0.2 y 4) la consistencia interna de la escala, cuyo coeficiente no debe de ser menor de 0.5.

Etapas VI y VII. Estas dos etapas consisten en comprobar empricamente que se cumplen los criterios establecidos para mantener las va-riables seleccionadas y mejorar los indicadores psicomtricos de las escalas construidas. Esto se logra de tres maneras: 1) colapsando cate-goras de respuesta, con el propsito de mejorar su distribucin, 2) eliminando aquellos reactivos con un comportamiento anormal o errtico, y 3) eliminando y/o adicionando variables que mejo-ren la constitucin de la escala correspondiente. Estas etapas se realizan en forma cclica hasta lograr acercarse a los criterios establecidos en la etapa V.

Etapa VIII. Una vez seleccionadas las varia-bles y las escalas que se analizarn en las etapas posteriores, se imputan las respuestas omitidas. La imputacin es una tcnica estadstica con la cual se estima el valor del dato faltante de cada variable y escala para cada unidad de medida: estudiantes, composicin de la matrcula, docen-tes, grupos, directores y planteles. El propsito de utilizar esta tcnica es completar la informa-cin faltante y preparar las bases de datos para poder realizar los anlisis multinivel, sin perder una cantidad importante de casos. En el anexo D se describe, de manera detallada, los procedi-mientos utilizados en esta etapa.

Etapa IX. Con la base de datos terminada se realiza un anlisis para validar la estructura de la informacin generada para cada unidad de me-dida y, con ello, validar el modelo conceptual de la cual parti. Esta validacin se realiza con base en los Modelos de Ecuaciones Estructurales, ex-plicadas en el captulo anterior.


36

Etapa X. Con la misma base de datos genera-da en la etapa IX se llevan a cabo los anlisis de factores asociados, utilizando los Modelos Jerr-quico Lineales, tambin explicados en el captulo anterior. Este anlisis indica qu tanto de la va-riabilidad observada en los resultados de apren-dizaje es atribuible a las escuelas, y cules varia-bles de contexto tienen una relacin significativa con el logro educativo de los estudiantes.

2.2 Caractersticas de las variables y escalas del estudiante

Las variables del nivel 1 proceden exclusiva-mente del cuestionario de contexto aplicado a los estudiantes de tercero de primaria. En la ta-bla II se presentan las variables seleccionadas y las escalas que fueron construidas a partir de dicho cuestionario. Para identificar con facilidad de quin es el atributo, se agrega en el rubro de la variable el prefijo AL a todas las variables y escalas del alumno.

Dado que las variables individuales y las es-calas tienen caractersticas y propiedades dis-

tintas, se describirn por separado. En ambos casos, se definir el constructo o dimensin a medir, as como las propiedades mtricas que los caracterizan.

Variables individuales

Las trece variables seleccionadas del alumno, que aparecen en la tabla II, intentan medir las carac-tersticas que se definen en el recuadro siguien-te:

AL: sexo, determina el gnero del estu-diante.AL: edad, determina la condicin de la edad del estudiante en dos categoras: normativa y extraedad.AL: trabajo remunerado, hace referencia a si el alumno realiza algn tipo de acti-vidad que podra considerarse como un trabajo asalariado (por ejemplo, vender cosas o trabajar en el campo).

Tabla II. Variables individuales y escalas pertenecientes a alumnos

Variables individuales Escalas

AL: labores domsticas AL: capital cultural escolar

AL: edad AL: estatus socioeconmico

AL: sexo AL: confl ictos familiares

AL: trabajo remunerado AL: supervisin padres

AL: aos en preescolar AL: tareas

AL: reprobacin AL: lengua indgena

AL: hacinamiento AL: conductas violentas

AL: limitaciones fsi

Documents

Factores Asociados Al Aprendizaje de Estudiantes de 3er Grado en Mexico