DE LOS MANUALES DEL SERCE - UNESDOC Databaseunesdoc.unesco.org/images/0019/001919/191940s.pdf · Regional de Educación para América Latina y el Caribe (OREALC/UNESCO Santiago) y

1

COMPENDIODE LOS MANUALES

DEL SERCE

Esta es una publicación de la OficinaRegional de Educación para AméricaLatina y el Caribe (OREALC/UNESCOSantiago) y del LaboratorioLatinoamericano de Evaluación de laCalidad de la Educación (LLECE).

Jorge SequeiraDirectorOREALC/UNESCO Santiago

Stefanie BlockEditora de publicaciones / Información públicaSección de Gestión del ConocimientoOREALC/UNESCO Santiago

Ana Atorresi (Cap. V)Carlos Pardo (Cap. VII y VIII)David Glejberman (Cap. I)Giuliana Espinosa (Cap. II, III, IV y VI)Lilia Toranzos (Cap. II, III, IV y VI)Martha Rocha (Cap. VII y VIII)Mauricio Castro (Cap. I)Autores

INTERSON S.A.Edición, Diseño y Diagramación

Los autores son responsables por la selección y la presentación de los hechos contenidos en esta publicación, así como de las opiniones expresadas en ella, que no son necesariamente el pensamiento de la UNESCO y no comprometen a la Organización. Las denominaciones empleadas y la presentación de los datos no implican, de parte de la UNESCO, ninguna toma de posición respecto al estatuto jurídico de los países, las ciudades, los territorios, las zonas y sus autoridades ni respecto al trazado de sus fronteras o límites.El uso de un lenguaje que no discrimine ni reproduzca esquemas discriminatorios entre hombres y mujeres es una de las preocupaciones de la UNESCO. Sin embargo, no hay acuerdo entre los lingüistas acerca de cómo expresar en castellano la igualdad de géneros sin evitar la sobrecarga que supone utilizar “o/a”, “los/las” y otras formas sensibles al género para marcar la presencia de ambos sexos. Por esta razón, hemos optado por usar la forma masculina en su tradicional acepción, que hace referencia tanto a hombres como a mujeres.

Permitida la reproducción total o parcial de esta publicación, así como su traducción a cualquier otro idioma, siempre que se cite la fuente y que no se utilice con fines lucrativos.

©UNESCO 2010

ISBN: 978-92-3-304186-8INTERSON S.A.

Santiago, Chile; diciembre, 2010.

COMPENDIODE LOS MANUALES

DEL SERCE

Laboratorio Latinoamericano de Evaluaciónde la Calidad de la Educación

4

Uno de los propósitos más importantes del La-boratorio Latinoamericano de Evaluación de

la Calidad de la Educación (LLECE), de la Ofici-na Regional de Educación para América Latina y el Caribe (OREALC/UNESCO Santiago), es el de dejar capacidades instaladas en los equipos técni-cos de los países sobre los procedimientos y prác-ticas utilizadas para evaluar la calidad de la educa-ción. Para esta tarea, es necesario no solo entregar los productos finales, sino que también las pautas de cómo se normaron los procesos que llevaron a la realización de dichos productos. El fin es que no seamos solo usuarios de herramientas, sino usua-rios conscientes, capaces de reproducir, adaptar y mejorar lo aprendido en su aplicación.

Es por las razones esbozadas anteriormente que el LLECE, a través de este Compendio, quiere poner a disposición de toda la comunidad de la Región Latinoamericana tanto de los países miembros del LLECE como de cualquier otro interesado en esta temática, la colección de manuales desarrollados a lo largo del Segundo Estudio Regional Comparativo y Explicativo (SERCE), los cuales dan detalles desde el diseño muestral y la elaboración de los instrumen-tos, tales como las pruebas y los cuestionarios, hasta la aplicación de los mismos, tanto en su versión pilo-to como definitiva.

Esperamos que este Compendio de Manuales permi-ta conocer más cercanamente el trabajo técnico que se llevó a cabo en el SERCE, y pueda contribuir a elevar aún más las capacidades de los equipos técni-cos de evaluación de los países de la región, así como también orientarnos sobre las normas a seguir en pro de la mejora de la calidad educativa de los niños y niñas de Amétrica Latina y el Caribe.

Jorge Sequeira

DirectorOREALC/UNESCO Santiago

Pre

sent

ació

n

4 5

Capítulo I: Manual de Muestreo ................................................................................. 13 2. Universos que serán objeto de estudio ......................................................................... 133. Subuniversos de estudio ................................................................................................ 144. Unidades de muestreo y marco muestral ..................................................................... 155. Exclusiones válidas ....................................................................................................... 15 6. Método de muestreo ...................................................................................................... 177. Criterios de estratificación para la optimización del muestreo ................................... 188. Cantidad mínima de escuelaspor estrato explícito y por país ......................................................................................... 209. Ajustes en el tamaño de la muestra .............................................................................. 2110. Procedimientos para la selección de escuelas y alumnosSistema de reemplazos ....................................................................................................... 2211. Estratos adicionales optativos para cada país Tratamiento de los mismos. Tratamiento de las muestras para entidades subnacionales (Nuevo León y Goias) ........2312. Requerimientos e instrucciones para la elaboración del marco muestral en cada país. Estructura de las bases de datos ................................ 2313. Criterios y procedimientos para el control de los marcos muestrales por parte de la Coordinación Técnica .............................................................................. 2414. Requisitos mínimos de cobertura que deben ser alcanzados por cada país para que los datos sean considerados confables ....................................... 2515. Criterios y procedimientos para el control de las muestrasrealmente obtenidas, una vez culminada la aplicación .................................................... 2616. Márgenes de error estimados para el diseño muestral,a nivel internacional, nacional y de estrato ..................................................................... 2617. Sistema de ponderaciones para la estimación de resultadosa nivel nacional y de subuniversos .................................................................................... 2718. Advertencia .................................................................................................................. 27ANEXO 1 .......................................................................................................................... 28

Índice

6

ANEXO 2 .......................................................................................................................... 29ANEXO 3 .......................................................................................................................... 30

Escuelas y directores ......................................................................................................... 31

Estimadores alternativos (de expansión simple) ............................................................. 33

Alumnos ............................................................................................................................ 33

Capítulo II: Manual del Coordinador Nacional para la Aplicación Definitiva ............... 352. Papel del Coordinador Nacional .......................................................................................... 35

3. Lista de instrumentos ....................................................................................................... 364. Actividades previas a la aplicación .................................................................................... 374.1 Conformar el marco muestral y definir fechas de aplicación ............................................... 37

4.2 Recibir y estudiar la documentación del proyecto ........................................................... 384.3 Establecer contacto con los centros educativos .............................................................. 394.4 Convocar, seleccionar y capacitar a los aplicadores ......................................................... 404.5 Imprimir cuadernillos y cuestionarios ............................................................................. 414.6 Organizar la revisión y entrega de los materiales a los aplicadores ..................................... 41Actividades durante la aplicación .......................................................................................... 445.1 Implementar un sistema interno (nacional) de apoyo a la aplicación ................................ 445.2 Colaborar con el sistema de control de calidad del estudio .............................................. 44 6. Actividades después de la aplicación ................................................................................ 456.1 Organizar la verificación y recepción de los materiales de la aplicación ........................... 456.2 Organizar la captura de las respuestas a los instrumentos ............................................... 456.3 Consolidar y remitir la documentación ........................................................................... 466.4 Mantener bajo resguardo los instrumentos ..................................................................... 47ANEXO 1 ........................................................................................................................... 48ANEXO 2 ........................................................................................................................... 49Fase II: Actividades presenciales ............................................................................................ 501. Prueba de carácter formativo (30 minutos) ............................................................................ 502. Análisis grupal de las partes fundamentales del Manual de Aplicación (120 minutos) ................ 503. Representaciones de las aplicaciones de las pruebas ................................................................ 514. Representaciones de las aplicaciones de los cuestionarios de factores asociados ........................ 524.1 Presentación introductoria a cuestionarios (15 minutos) ....................................................... 534.2 Cuestionarios del docente (incluye los cuestionarios sobre enseñanza), el director y ficha de empadronamiento del centro educativo (45 minutos por instrumento) ............ 534.3. Cuestionario de la familia .................................................................................................. 535. Despedida del centro educativo, devolución de materiales y elaboración del reporte

(60 minutos) .......................................................................................................................... 53

6 7

Capítulo III: Manual del Aplicador para la Aplicación Definitiva ................................. 542. Lista de instrumentos ....................................................................................................... 543. Actividades del Aplicador .................................................................................................. 553.1 Establecer contacto con la escuela ....................................................................................... 553.2 Recibir el material de la evaluación y verificar que esté completo ............................................ 563.3 Completar el Formulario de Asistencia de Estudiantes (F2) ................................................... 573.4 Completar las carátulas de los instrumentos ......................................................................... 583.5 Aplicar los instrumentos a los estudiantes ............................................................................ 603.5.1 Conducir la aplicación de acuerdo con la guía .................................................................... 613.5.2 Supervisar la sesión ......................................................................................................... 613.5.3 Finalizar la sesión ............................................................................................................ 623.6 Administrar los cuestionarios de familia (QF) ....................................................................... 623.7 Administrar los cuestionarios del director y de los docentes ................................................... 633.8 Completar el formulario de registro de incidentes (F3) .......................................................... 633.9 Agradecer y despedirse de la escuela .................................................................................... 643.10 Consolidar todo el material y devolverlo ............................................................................. 644. Situaciones problemáticas: preguntas y respuestas ................................................................... 65ANEXO 1 .............................................................................................................................. 66ANEXO 2 ............................................................................................................................. 67ANEXO 2B ........................................................................................................................... 68ANEXO 3 .............................................................................................................................. 69ANEXO 4 .............................................................................................................................. 70ANEXO 5 .............................................................................................................................. 71ANEXO 6 .............................................................................................................................. 73

Capítulo IV: Manual para la Codificación de los ítems

de respuesta abierta de matemática .......................................................................................... 962. Las pruebas de Matemática SERCE ...................................................................................... 973. Estructura de los ítems de respuesta abierta ........................................................................... 984. Estructura de las consignas de codificación ............................................................................ 985. Códigos de dos dígitos ......................................................................................................... 986. Cuestiones generales de la codificación .................................................................................. 987. Guía general de codificación de los ítems de respuesta abierta de tercero ................................. 1008. Guía general de codificación de los ítems de respuesta abierta de sexto ................................... 109

8

Capítulo V: Manual para la evaluación de las pruebas de Escritura .................................... 124Primera Parte ..................................................................................................................... 1251. La Escritura ..................................................................................................................... 1251.1 La planificación de la Escritura ........................................................................................ 1251.2 La puesta en texto .......................................................................................................... 1261.3 La revisión y el ajuste ...................................................................................................... 1271.4 Particularidades de la Escritura en las pruebas del SERCE .................................................. 1282. Aspectos para evaluar: producto y proceso .......................................................................... 1282.1 Evaluación del proceso .................................................................................................... 1292.1.1 Evaluación del proceso de Escritura en el SERCE ........................................................... 130

2.2 Evaluación del producto .................................................................................................. 131

2.2.1 Los objetivos ............................................................................................................... 1312.2.2 Las instrucciones ......................................................................................................... 1322.2.3 Los criterios de éxito y las escalas de calificación ............................................................. 134Segunda parte ...................................................................................................................... 1371. Glosario de conceptos involucrados en la evaluación ........................................................... 1371.1 Coherencia .................................................................................................................... 1381.2 Estructura textual descriptiva .......................................................................................... 1391.3 Estructura textual narrativa ............................................................................................. 1401.4 Estructura textual instructiva ........................................................................................... 1441.5 Géneros discursivos ........................................................................................................ 1451.6 Legibilidad ..................................................................................................................... 1461.7 Léxico ........................................................................................................................... 1461.8 Ortografía ..................................................................................................................... 1471.9 Registro ........................................................................................................................ 1471.10 Texto .......................................................................................................................... 1481.11 Título .......................................................................................................................... 149Tercera parte ....................................................................................................................... 150

1. Instructivo para la evaluación de las pruebas de tercer grado ................................................ 150Cuarta parte ........................................................................................................................ 179

1. Instructivo para la evaluación de las pruebas de sexto grado ................................................. 179Quinta parte ........................................................................................................................ 2051. Recomendaciones para evitar sesgos y errores al evaluar ....................................................... 205Referencias .......................................................................................................................... 206

8 9

Capítulo VI: Manual para la Codificación de los Ítems de Ciencias Naturales ..................... 208A.Código: C.b1.it15. Ítem 15 del Cuadernillo 1. Ítem 30 del Cuadernillo 6 ................................. 208B.Código: C.b2.it15. Ítem 30 del Cuadernillo 1. Ítem 15 del Cuadernillo 4.................................. 211C.Código: C.b3.it10. Ítem 10 del Cuadernillo 2. Ítem 25 del Cuadernillo 4.................................. 214D. Código: C.b3.it15. Ítem 15 del Cuadernillo 2. Ítem 30 del Cuadernillo 4................................. 216E.Código: C.b4.it15. Ítem 30 del Cuadernillo 2. Ítem 15 del Cuadernillo 5.................................. 219F. Código: C.b5.it15. Ítem 15 del Cuadernillo 3. Ítem 30 del Cuadernillo 5.................................. 222

Capítulo VII: Manual para el Procesamiento y Análisis de Datos Aplicación Piloto ............ 2251. Fundamentación teórica del Modelo de Análisis ................................................................... 2251.1 Las teorías de medición .................................................................................................... 2251.2 La Teoría de Respuesta al Item (TRI)................................................................................. 2261.2.1 Supuestos de la TRI ...................................................................................................... 2261.2.2 Modelos en la TRI ........................................................................................................ 2272. Indicadores estadísticos para análisis de ítems ...................................................................... 2292.1 Dificultad ....................................................................................................................... 2292.2 Discriminación ............................................................................................................... 2302.3 Correlación Producto Momento Punto Medida .................................................................. 2302.4 .Funcionamiento Diferencial de Ítems (DIF) ...................................................................... 2312.5 Curva Característica del Ítem (ICC) ................................................................................... 2312.6 Ajuste próximo y lejano (infit y outfit)................................................................................ 2322.7 Promedio de habilidad por opción .................................................................................... 2322.8 Mapa de distribución de habilidades y dificultades .............................................................. 2332.9 Correlaciones inter-ítem ................................................................................................... 2332.10 Error estándar de medición ............................................................................................ 2333. Indicadores estadísticos para el análisis de grupos de ítems ................................................... 2343.1 Promedio ....................................................................................................................... 2343.2 Desviación estándar ......................................................................................................... 2343.3 Puntuación máxima y mínima ........................................................................................... 2353.4 Confiabilidad ................................................................................................................... 2354. Software para procesamiento .............................................................................................. 235

5. Base de datos .................................................................................................................... 2365.1 Base de datos de entrada ................................................................................................... 236

10

5.2 Archivos de comandos ................................................................................................... 2395.3 Base de datos de salida ................................................................................................... 2396. Reportes ......................................................................................................................... 2406.1 Reportes en tablas para el informe internacional ............................................................... 240

6.2 Reportes gráficos para el informe internacional ................................................................. 2456.3 Reportes en tablas por país ............................................................................................. 2506.4 Reportes gráficos por país................................................................................................ 2527. Fases del procesamiento..................................................................................................... 253

Capítulo VIII: Manual para el Procesamiento y Análisis de Datos Aplicación Definitiva ... 254

1. Fundamentación teórica del modelo de análisis ................................................................... 2551.1 Las teorías de medición ................................................................................................... 2551.2 La teoría de respuesta al ítem (TRI) .................................................................................. 2561.2.1 Supuestos de la TRI ..................................................................................................... 2561.2.2 Parámetros y modelos de la TRI .................................................................................... 2571.3 Modelo utilizado para el procesamiento del estudio principal .............................................. 2602. Fases generales del procesamiento de datos......................................................................... 2612.1 Fase uno: procesamiento para análisis de ítems y de pruebas ............................................... 2612.2 Fase dos: producción de resultados .................................................................................. 2613. Conformación de la base de datos para análisis de ítems ...................................................... 2623.1 Depuración inicial ......................................................................................................... 2623.2 Estructura de las bases de datos ....................................................................................... 262

3.3 Archivos de comandos ................................................................................................... 2634. Depuración de bases de datos para análisis de ítems ............................................................ 2635. Verificación de supuestos del modelo.................................................................................. 2646. Indicadores estadísticos para análisis de ítems ..................................................................... 2646.1 Indicadores de categoría uno............................................................................................ 2656.1.1 Ajuste próximo y lejano (Infit y Outfit) .......................................................................... 2656.1.2 Funcionamiento Diferencial de Items - DIF ................................................................... 2656.2 Indicadores de categoría dos ........................................................................................... 2666.2.1 Dificultad .................................................................................................................. 2666.2.2 Discriminación ........................................................................................................... 2666.2.3. Correlación Producto Momento Punto Medida ............................................................. 2676.2.4 Curva Característica del Item - CCI ............................................................................... 267

10 11

7. Indicadores estadísticos para análisis de grupos de ítems ....................................................... 2697.1 Promedio ....................................................................................................................... 2697.2 Desviación estándar ......................................................................................................... 2707.3 Puntuación máxima y mínima ........................................................................................... 2707.4 Función de información ................................................................................................... 2708. Depuración de bases de datos para generación de escalas de calificación ................................. 2718.1Depuración previa al procesamiento para análisis de ítems .................................................... 271

8.2 Depuración posterior al procesamiento para análisis de ítems ............................................... 2718.3 Estructura de la base de datos para producción de resultados ............................................... 2719. Escalas de calificación......................................................................................................... 2729.1 Puntuación total en la prueba ............................................................................................ 2729.2 Nivel de desempeño ........................................................................................................ 2729.3 Desempeño relativo por categorías de la estructura de prueba ............................................. 27310. Bases de resultados........................................................................................................... 27311. Software para procesamiento............................................................................................. 27412. Reportes.......................................................................................................................... 27512.1 Reportes en tablas por prueba ......................................................................................... 275

12.2 Reportes gráficos por prueba........................................................................................... 278

12.3 Reportes en tablas con información por país..................................................................... 28212.4 Reportes gráficos por país ............................................................................................... 284Bibliografía............................................................................................................................ 286

12

El Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), como red de

apoyo a los países de la región, tiene como propósito diagnosticar y mejorar la calidad de la educación, pero también promover el desarrollo de capital humano que nos haga cada día mejores en la compleja tarea de la eva-luación, por lo que se hace necesario dejar estampada y difundida la experiencia acumulada en este camino.

A través de este Compendio, La Oficina Regional de Educación para América Latina y el Caribe (OREALC/UNESCO Santiago) busca contribuir al fortalecimiento de las capacidades técnicas de los países, dejando me-moria de la experiencia acumulada en los distintos pro-cesos que llevaron a la realización exitosa del Segundo Estudio Regional Comparativo y Explicativo (SERCE). Para ello, el LLECE divulga este Compendio de Manua-les desarrollados para la aplicación de las distintas tareas del estudio SERCE.

A través de estos manuales, se recogieron las pautas a seguir para una ejecución controlada de las distintas etapas por la que transitó la evaluación de los aprendi-zajes en cada país participante en el SERCE y en toda la región. Esta experiencia permitirá orientar y mejorar tanto nuevas iniciativas regionales de evaluación como esfuerzos de evaluaciones locales.

Esperamos que este compendio ayude a los equipos téc-nicos de los países a fortalecer sus capacidades y a pro-piciar evaluaciones con calidad para todos en América Latina y el Caribe.

Intr

oduc

ción

12 13

CAPÍTULO I: MANUAL DE MUESTREO

El propósito de este documento es explicitar las características del diseño muestral del SERCE y los proce-dimientos que seguirá la Coordinación Técnica del LLECE para la selección de las muestras nacionales de

los países participantes del Segundo Estudio. El documento se propone, además, explicitar los requisitos que deberán satisfacer dichas muestras para que los datos de un país se consideren confiables para su inclusión en los reportes regionales1 . Asimismo, el documento realiza una primera aproximación a los niveles de precisión que tendrán los resultados por país y por estrato, así como a los procedimientos a seguir para la estimación de márgenes de error de dichos resultados.

Muchas de las decisiones sobre cómo realizar el muestreo se derivan de decisiones relativas a los propósitos del SERCE, adoptadas por los Coordinadores Nacionales del LLECE. Esto será indicado en notas al pie de página.

El presente manual fue elaborado por David Glejberman, con la colaboración de Mauricio Castro, y fue revi-sado por la Coordinación Técnica del LLECE y sometido a la revisión de los equipos nacionales de los países participantes, muchos de los cuales enviaron observaciones y recomendaciones que ayudaron a mejorarlo. En el proceso previo a la elaboración de este manual, se recibieron orientaciones y recomendaciones de Richard Wolfe y Marc Joncas, integrantes del Comité Técnico Consultivo del SERCE.

2. Universos que serán objeto de Estudio.

a) El SERCE se propone, en primer término, estudiar los logros educativos en Lenguaje y Matemática de los alumnos matriculados en tercero o sexto grados del nivel primario al final del año lectivo 2005-2006 (escuelas con calendario norte) o año lectivo 2006 (escuelas con calendario sur), en instituciones educativas oficialmente reconocidas que otorgan una certificación que habilita al estudiante a acceder al grado o nivel educativo siguiente. No se consiera parte del universo a los alumnos matriculados en instituciones de educación para adultos, en instituciones de educación especial o en programas de educación alternativa no formal o no presencial. En el caso de 3º no se incluirá a las escuelas dirigidas a niños cuya lengua materna es indígena, dado que se considera que aún no tienen suficiente dominio del lenguaje como para realizar una prueba escrita. En cambio, se considera que al final de la educación primaria (6º), todos los niños deberían haber alcanzado un nivel de dominio del lenguaje estándar que les permita realizar las pruebas. Tampoco forman parte del universo de estudio los alumnos con necesidades educativas especiales que están integrados en escuelas comunes.

b) En segundo término, el SERCE se propone estudiar los factores que tienen influencia y/o explican los logros educativos de los alumnos. Con este propósito son también universos objeto de estudio los siguientes:

b.1. Los hogares de los alumnos de 3º y 6º grados;b.2. Los padres o tutores de los alumnos de 3º y 6º grados;b.3. Las secciones o aulas a las que pertenecen los alumnos de 3º y 6º grados;b.4. Los maestros que enseñan Lenguaje y Matemática a los alumnos de 3º y 6º grados;b.5. Las escuelas a las que asisten los alumnos de 3º y 6º grados;b.6. Los directores de las escuelas a las que asisten los alumnos de 3º y 6º grados.

Los universos indicados en el apartado a) se estudiarán a través de la aplicación de pruebas estandarizadas de

1 En otros documentos se explicitan otros requisitos que deben satisfacer la implementación del estudio en los países no relacionados con la muestra y su implementación.

14

Lenguaje y Matemática, así como de Cuestionarios autoadministrados. Los universos indicados en el apartado b) se estudiarán a través de la aplicación de cuestionarios autoadministrados.2

3. Subuniversos del Estudio.

A nivel regional, se pretende obtener información de cada país, con desagregaciones al nivel de los siguientes subuniversos: Urbano Público y Rural.

En relación a las escuelas rurales, dado que alrededor de la mitad de los países carecen de información suficien-te, para aplicar la definición estándar que se intentó utilizar en el Piloto (escuelas ubicadas en localidades con hasta 2500 habitantes), se decidió emplear la definición de escuela rural vigente en cada país. Obviamente, esto conlleva problemas de comparabilidad, que serán resueltos posteriormente, a partir del análisis de las carac-terísticas de las escuelas que fueron definidas como rurales (en términos de cantidad de alumnos, grados que incluye, carácter uni, bi o multidocente, etc.).3 Esto significa que en los informes regionales se caracterizará a las escuelas rurales de cada país y, eventualmente, se efectuarán comparaciones entre subconjuntos de escuelas rurales con características similares.

En relación a las escuelas privadas, dado que, primero, tanto el Primer Estudio del LLECE como otros estudios internacionales (p.ej. PISA) muestran que no existen diferencias relevantes entre escuelas estatales y privadas, cuando se controla la composición sociocultural del alumnado; y dado que, segundo, existen restricciones pre-supuestales, en relación al tamaño de muestra que pueden implementar los países; se optó por no forzar una muestra representativa de este subuniverso4, de manera que las escuelas privadas participarán en la muestra en función de su participación en el universo. Esto implica que en países en que las escuelas privadas correspondan a una proporción reducida de la matrícula, no será posible realizar inferencias de ellas, con suficiente precisión.

Los países que deseen datos representativos y precisos a nivel de escuelas privadas u otros subuniversos o estratos, deberán solicitarlo expresamente en el Formulario de la Aplicación Definitiva SERCE 2006. A los efectos del SERCE, se define como escuela privada a aquella cuya conducción no está en manos del personal dependiente del Estado nacional. Los países que lo deseen pueden distinguir entre escuelas de gestión privada y financiamiento estatal y escuelas de gestión privada y financiamiento privado.

El estrato Urbano Público será en todos los países lo suficientemente grande como para permitir una estra-tificación sociocultural a posteriori, a partir de los datos recogidos en los cuestionarios de factores asociados. La estratificación sociocultural no se puede contemplar en el diseño muestral, por falta de información sobre este aspecto. Sin embargo, en términos del análisis, se considera que es particularmente relevante distinguir entre distintos tipos de escuelas públicas urbanas, principalmente en términos de la composición social de su alum-nado.5

2 Dado que las escuelas serán seleccionadas por muestreo probabilístico, los alumnos, maestros, padres y hogares de 3º y 6º au-tomáticamente están siendo seleccionandos por el mismo procedimiento, por lo tanto, las inferencias serán válidas para los diversos univer-sos, aunque las estimaciones de error deberán realizarse específicamente para cada universo. 3 Este aspecto fue discutido por el Pleno de Coordinadores Nacionales en la reunión de Brasilia, en junio de 2005.4 Este aspecto fue discutido por el Pleno de Coordinadores Nacionales en la reunión de Brasilia, en junio de 2005.5 Este aspecto fue discutido por el Pleno de Coordinadores Nacionales en la reunión de Brasilia, en junio de 2005.

14 15

4. Unidades de muestreo y marco muestral.

Dado el tamaño del universo de alumnos de 3º y 6º en la región, alrededor de 20 millones de estudiantes, la recolección de datos se realizará a través de muestras nacionales. Para garantizar precisión y confiabilidad, el muestreo tendrá carácter probabilístico, a partir de marcos muestrales constituidos por las escuelas de cada país que forman parte del universo definido.

La unidad de muestreo será la escuela, es decir, un establecimiento escolar6 que tiene un responsable, su direc-tor, y que puede funcionar en un único turno, en dos turnos o en jornada completa.

El marco muestral de cada país estará constituido por el listado de la totalidad de las escuelas que forman parte del universo definido. En el marco muestral, para cada escuela se incluirá la información relativa a las variables especificadas en el punto 12 de este documento.

5. Exclusiones válidas.

De acuerdo a la definición dada de universo, no forman parte del mismo las escuelas Especiales (dirigidas exclusivamente a alumnos con necesidades especiales), de educación de adultos y de educación alternativa no formal o no presencial.

Se excluyen del universo:- Las escuelas con menos de 6 alumnos matriculados en 3º y menos de 6 alumnos matriculados en 6º (debido a la relación costo/beneficio en la aplicación).- Las secciones con menos de 6 alumnos matriculados en el grado (relación costo/beneficio).- Los alumnos de 3º en escuelas bilingües con lengua indígena (se entiende que no estarán en condiciones de responder una prueba escrita en castellano o portugués).

Se excluyen de la muestra:- Las secciones con 6 o más alumnos matriculados y menos de 4 alumnos esperados en la fecha de las pruebas (relación costo/beneficio).- Los alumnos cuya lengua materna no es el castellano o portugués y que no han recibido al menos dos años de enseñanza en el lenguaje de la prueba (se entiende que no estarán en condiciones de responder una prueba escrita).- Los alumnos con necesidades especiales, cuya situación les impide desempeñarse en una prueba escrita (por ejemplo, un niño ciego). Al respecto, véase el Capítulo III “Manual del Aplicador para la Aplicación Definitiva, Anexo III”.

Serán excluidas del análisis:- Las secciones en las que participan de las pruebas menos del 75% de los alumnos que asisten efectivamente a clases (riesgo de selección intencional por parte del centro educativo). En estos casos, no se considerará a la sección en los análisis que se realicen por sección o escuela, pero sí se incluirá a los alumnos en las estimaciones nacionales y por estrato.

6 La expresión “establecimiento escolar” denota un local físico donde se desarrollan actividades de enseñanza primaria a cargo de un responsable que es el director del establecimiento. En un mismo local físico puede funcionar más de un establecimiento escolar.

16

- En los casos de escuelas en que menos del 50% de los alumnos de 3º y 6º, alumnos que asisten efectivamente a clases, realicen la prueba, tanto la escuela como los alumnos serán excluidos de todos los análisis y estimaciones relativas a 3º y 6º, incluso las nacionales (riesgo de selección intencional).

Observaciones

a) Sólo se excluyen del universo las escuelas pequeñas, en términos del número de alumnos de 3º y de 6º. No se excluyen del universo las escuelas que tienen al menos 6 alumnos en 3º ó al menos 6 alumnos en 6º.b) Seleccionada una escuela en la muestra, se procede a solicitar información a la Coordinación Nacional del país sobre el número efectivo de alumnos que concurre a clases. Si este número es inferior a 4 en 3º y en 6º, entonces se procede a sustituir esta escuela de la muestra por su reemplazo y se sortea un nuevo reemplazo.c) En la etapa del análisis, las exclusiones implican una reducción del tamaño efectivo de la muestra, lo que se debe tomar en cuenta al ponderar o expandir los resultados.

Tabla 1

Proporción de alumnos que quedan fuera del universo investigado, por la condición: matrícula de 3º menor que 6 y matrícula de 6º menor que 6.

ALUMNOS EXCLUIDOS En 3º En 6º

Argentina 0,6% 0,5% Brasil 2,8% 0,0% Chile 1,8% 1,6% Colombia 5,4% 0,1% Costa Rica 3,0% 2,9% Cuba 5,6% 3,4% Ecuador 4,2% 3,9% El Salvador 0,5% 0,3% Guatemala 2,0% 1,9% México 1,3% 1,2% México - Nuevo León 1,3% 1,2% Nicaragua 2,7% 1,1% Panamá 2,9% 3,1% Paraguay 1,2% 0,7% Perú 2,9% 2,2% Uruguay 2,9% 3,0%

Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la Aplicación Piloto, SERCE 2005.

PAÍSO REGIÓN

16 17

Tabla 2

Proporción de alumnos del sector rural que quedan fuera del universo investigado, por la condición: matrícula de 3º menor que 6 y matrícula de 6º menor que 6.

Argentina 1,05% 0,95% Brasil 10,85% 0,18% Chile 12,46% 11,07% Colombia 15,86% 0,12% Costa Rica 6,09% 6,16% Cuba 22,33% 13,73% Ecuador 9,62% 9,83% El Salvador 0,70% 0,51% Guatemala 2,62% 2,92% México 1,47% 1,50% México - Nuevo León 2,52% 2,85% Nicaragua 4,56% 2,40% Panamá 7,22% 7,65% Paraguay 2,03% 1,40% Perú 6,67% 6,04% Uruguay 56,74% 54,42%

Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la

Aplicación Piloto, SERCE 2005.

6. Método de muestreo.

El método de muestreo propuesto tiene las siguientes características:

- Aleatorio- Estratificado- De conglomerados- En una sola etapa de selección

En cada país, la muestra se selecciona mediante muestreo aleatorio (probabilístico) estratificado de conglomera-dos. Los criterios para la estratificación a priori se comentan en la sección siguiente. Los conglomerados son las escuelas del universo. En cada estrato se selecciona una muestra de escuelas, en una sola etapa de selección con probabilidades iguales para todas las escuelas del estrato. La muestra de alumnos, en cada estrato, se conforma con todos los alumnos (salvo por las “exclusiones válidas”) de las escuelas seleccionadas en cada estrato. Este procedimiento garantiza probabilidades iguales de selección para todos los alumnos de un estrato. Sin embargo, las probabilidades de selección de escuelas y alumnos no son iguales si las escuelas (o los alumnos) pertenecen a estratos diferentes, lo que conduce a muestras no autoponderadas de alumnos.

ALUMNOS EXCLUIDOSPAÍSO REGIÓN

En 3º En 6º

18

Observaciones

• La probabilidad de un alumno de pertenecer a la muestra es igual a la probabilidad de que su escuela sea seleccionada, porque todos los alumnos de su grado pertenecen a la muestra (excepto por las exclusiones válidas de la sección 6).

• La probabilidad de que una escuela pertenezca a la muestra es igual al cociente nh / Nh , donde nh es el tamaño de la muestra de escuelas en el estrato h y Nh es el tamaño del universo de escuelas en el mismo es-trato. Por ejemplo, si en un estrato (ver sección 8) hay 150 escuelas y el tamaño de muestra en dicho estrato es 12, entonces la probabilidad de selección de escuelas y alumnos en dicho estrato es 0,08 (12 / 150). Si en otro estrato para el mismo país hay 6 escuelas y el tamaño de la muestra es 3, entonces la probabilidad de selección de escuelas y alumnos en dicho estrato es 0,50.

7. Criterios de estratificación7 para la optimización del muestreo.

Se utilizan tres criterios para la estratificación a priori de las escuelas (esta estratificación se emplea para optimi-zar el muestreo, pero no es la que se utilizará para el reporte de resultados):

- Tipo de gestión y área geográfica- Tamaño- Relación entre la matrícula de 6º y la matrícula de 3º

El tipo de gestión, como variable de estratificación, permite proporcionar información desagregada por subu-niversos de estudio: las escuelas de gestión pública y las de gestión privada.

Se conoce que el tamaño de la escuela incide en los logros académicos de los alumnos, y la relación matrícula de 6º / matrícula de 3º permite discriminar las escuelas con diferentes tasas de retención, lo que también puede estar asociado al rendimiento escolar. Se reconoce que esta posible asociación puede verse distorsionada por aquellas escuelas nuevas (que pueden tener una escasa o nula matrícula de 6º) y también por los casos de países donde el 3º y el 6º grados se dictan en diferentes escuelas.

El criterio “tipo de gestión y área geográfica” determina tres categorías de escuelas, coincidentes con los subu-niversos de estudio: URBANO PÚBLICO, URBANO PRIVADO y RURAL8 .

El criterio “tamaño de la escuela” determina tres categorías de escuelas, para lo cual se recomienda utilizar las mismas definiciones para todos los países:

- PEQUEÑA: escuela con una sola sección en el grado9

- MEDIANA: escuela con dos o tres secciones en el grado- GRANDE: escuela con cuatro o más secciones en el grado

7 En este documento, el término estrato se emplea a los efectos del muestreo. No se trata de estratos para el reporte de resultados. Para la denominación de los subconjuntos de escuelas sobre los cuales se espera reportar resultados, se emplea el término subuniverso.8 Se considera que la escuela es “rural”, según la definición propia de cada país.9 Si la escuela tiene alumnos de 3º y 6º, el tamaño estará dado por la cantidad de secciones en 3º. Si la escuela sólo tiene alumnos de 6º, entonces el tamaño estará dado por la cantidad de secciones de este grado.

18 19

La relación entre la matrícula de 6º y la de 3º (R6/3) determina tres categorías de escuelas, con resultados bas-tante diferentes por países. Las tres categorías son:

- R6/3 ≥ 0,8- 0 < R6/3 < 0,8- Matrícula de 3º = 0

El valor “0,8” es paramétrico. De hecho, se han realizado pruebas con el valor 0,75 (ver ANEXO 2) y se en-contró que, en la mayoría de los países, este valor de la variable determina tamaños desiguales para los estratos. Dicha “desigualdad” se reduce, en parte, aumentando el límite de 0,75 a 0,8.

En el caso de las escuelas ubicadas en zonas rurales, el escaso número de escuelas “grandes” justifica que se colapsen los tamaños GRANDE y MEDIANA en una sola categoría.

Con las definiciones precedentes, las escuelas del universo en cada país se clasifican en 24 estratos, como máxi-mo. Es posible que en algunos países esta desagregación origine estratos sin escuelas o con un número muy reducido de escuelas, lo que haría recomendable colapsar estos casos en un número más reducido de estratos finales. Por ejemplo, en aquellos países donde las escuelas con matrícula nula en 3º representan menos del 5% de las escuelas, a los efectos de la selección de la muestra, todas las escuelas urbanas públicas con matrícula nula en 3º podrían conformar un único estrato a priori, y lo mismo podría hacerse con las urbanas privadas y las rurales con matrícula nula en 3º.

A los efectos de obtener estimaciones desagregadas de los subuniversos de estudio que determinan el tipo de gestión y el área geográfica, no estará permitido colapsar estratos a priori que pertenezcan a diferentes subuni-versos de estudio.

Tabla 3

Estratos a priori para la selección de la muestra.

La muestra de 3º se selecciona en los estratos 1 a 16 y la muestra de 6º, en los estratos 1 al 24. La muestra de 6º en los estratos 1 a 24 es consecuencia de la selección de escuelas para el tercer grado, excepto por aquellos casos ya mencionados en las exclusiones válidas.

Si en un país la cantidad de escuelas en el marco sin información de matrícula resulta significativa, entonces se agregará a los anteriores un estrato con dichas escuelas (por lo que a lo sumo tendríamos hasta 33 estratos al agregar 9 para escuelas sin información de matrícula, es decir, 3 por cada dominio) y la muestra en este estrato será proporcional a su importancia en el total de escuelas en el país.

R ≥ 0,8 1 2 3 4 5 6 7 80 < R < 0,8 9 10 11 12 13 14 15 16

R = 0 17 18 19 20 21 22 23 24

M3º = 0 25 26 27 28 29 30 31 32

PEQ. MED. GRA. PEQ. MED. GRA. PEQ. M / G

RELACIÓN M6º / M3º

URBANO PÚBLICO URBANO PRIVADO RURALTIPO DE GESTIÓN, ÁREA GEOGRÁFICA Y TAMAÑO

20

8. Cantidad mínima de escuelas por estrato explícito y por país.

Se recomienda que el número de escuelas por país sea al menos 150, con un mínimo de 3 por estrato, a priori. De esta manera, y con los ajustes que se proponen en la sección siguiente, se espera obtener en cada país una muestra real no inferior a 4.000 alumnos en 3º y 3.500 en 6º.

Para la determinación del tamaño de la muestra por estrato, en primer lugar, se calcula el porcentaje de escuelas con matrícula nula en 3º y se reserva un tamaño proporcional para estos estratos. Por ejemplo, si dicho porcen-taje es el 5% y la muestra total es de 160 escuelas, entonces se reservan 8 escuelas para los estratos con M3º=0. El tamaño de la muestra en los estratos 1 a 24 es proporcional al número de escuelas en el universo, corrigiendo los tamaños obtenidos, de manera de conseguir un mínimo de 3 escuelas por estrato.

A continuación se presenta un ejemplo de aplicación.

Tabla 4

Número de escuelas en el universo en el país A.

El total de escuelas es 3.500 y las que tienen matrícula nula en 3º son el 5,7% del total. La muestra en los estratos 17 a 24 será de 9 escuelas, y las restantes 141 se han de distribuir en forma proporcional entre los primeros 16 estratos.

Tabla 5Distribución proporcional de la muestra en los estratos 1 a 24.

R ≥ 0,8 500 400 100 250 150 100 400 1000 < R < 0,8 300 200 50 200 140 60 250 100

R = 0 0 0 0 50 40 10 100 50M3º = 0 100 50 0 30 10 10 0 0TOTAL 900 650 150 480 300 170 650 200

R ≥ 0,8 21 17 4 11 7 4 17 40 ≤ R < 0,8 13 9 2 7 4 2 6 2

R = 0 2 2 0 4 2





URBANO PÚBLICO URBANO PRIVADO RURAL

URBANO PÚBLICO URBANO PRIVADO RURAL

TIPO DE GESTIÓN, ÁREA GEOGRÁFICA Y TAMAÑO

TIPO DE GESTIÓN, ÁREA GEOGRÁFICA Y TAMAÑO

20 21

Tabla 6

Distribución de la muestra en todos los estratos y corregida para que el mínimo por estrato sea de 3 escuelas.

La muestra final resulta de 152 escuelas en este ejemplo. ¿Cuántos alumnos entrarán en la muestra? El número de alumnos en la muestra es aleatorio, pues depende de la matrícula de 3º y 6º en cada escuela de la muestra. Si en promedio las escuelas tienen 40 alumnos en 3º y 35 alumnos en 6º, entonces el número esperado de alumnos en 3º, en este ejemplo, será de 5680 (40 por 142 escuelas) y en 6º, alrededor de 5320 (35 por 152 escuelas). El número de escuelas en el subuniverso URBANO PÚBLICO es de 73 escuelas, 42 en URBANO PRIVADO y 36 en RURAL, lo que garantiza un número suficiente de alumnos para obtener estimaciones confiables en estos dominios de estudio. Sólo el 13% de las escuelas de la muestra son GRANDES10 (a tener en cuenta a la hora de presupuestar el personal de campo necesario para aplicar las pruebas y cuestionarios).

Aunque los estratos finales por país pueden ser diferentes, la forma de colapsar estratos pequeños debe permi-tir, mediante agregación, conformar los subuniversos de escuelas urbanas públicas, urbanas privadas y rurales.

9. Ajustes en el tamaño de la muestra.

La evaluación se realiza casi al finalizar los cursos, por lo que cabe esperar que una parte de la matrícula inicial no estará presente al realizar las pruebas por dos motivos: uno, porque algunos alumnos habrán abandonado el curso, y otro, porque habitualmente falta a clase un cierto porcentaje de alumnos (entre el 5% y el 10%) por diversos motivos tales como enfermedad, problemas familiares, lluvia, etc. En consecuencia, para garantizar el número requerido de alumnos en la muestra, se hace necesario ajustar el número de escuelas tomando en cuenta la retención y las ausencias. A esos efectos, y como primera aproximación, se supone que la merma por estos dos motivos, respecto de la matrícula inicial, será del orden del 25%.

Por otra parte, el tamaño de la muestra, en términos del número de alumnos, depende también del número de alumnos promedio por escuela en 3º y 6º. En el ejemplo precedente, si en lugar de 35 alumnos por escuela en 6º, el promedio es 30, entonces en el país A el número esperado de alumnos de 6º en la muestra será 152 x 30 x 0,75 = 3.420 alumnos. Para alcanzar a 3.500 será necesario incrementar el tamaño de la muestra de escuelas.

A partir de los datos disponibles en los marcos muestrales de los países y suponiendo que en las muestras se tendrán promedios de alumnos por grado similares a los del universo, se han calculado los tamaños de muestra de escuelas por país y región para alcanzar, en la muestra inicial, por lo menos 4.000 alumnos en 3º y 3.500 en 6º. Los resultados obtenidos se presentan a continuación.

10 Obsérvese que si la selección de las escuelas se realizara con probabilidades proporcionales al tamaño de las escuelas, entonces el peso de las escuelas grandes en la muestra sería significativamente mayor.

R ≥ 0,8 21 17 4 11 7 4 17 40 < R < 0,8 13 9 3 7 4 3 6 3

R = 0 3 3 3 4 3

M3º = 0 3 0 0



URBANO PÚBLICO URBANO PRIVADO RURALTIPO DE GESTIÓN, ÁREA GEOGRÁFICA Y TAMAÑO

6 3

22

Tabla 7

Tamaños estimados de las muestras.


Dado que estos datos están basados en la matrícula inicial incluida en los marcos muestrales y que se espera una merma del orden del 25%, debido a sobreestimación de la matrícula inicial, abandonos durante el año y ausencias el día de la prueba, para cada país se sortearán muestras que satisfagan simultáneamente las siguientes tres condiciones:

• Un mínimo de 150 escuelas;• Un mínimo de 5300 alumnos de 3º;• Un mínimo de 4700 alumnos de 6º.

10. Procedimientos para la selección de escuelas y alumnos. Sistema de reemplazos.

Para la selección de las escuelas, en cada país, se procede de la siguiente manera:

• En primer lugar, las escuelas se clasifican por estrato a priori.• Se analiza la conveniencia de colapsar algunos de los estratos.• Se determina el tamaño de la muestra en cada estrato.

Argentina 150 5456 5182Brasil 160 5058 3820

Brasil - Goias 150 4911 5402Chile 150 4911 5402

Colombia 190 4633 3698Costa Rica 160 4043 4161

Cuba 200 4187 4080Ecuador 190 4208 3530

El Salvador 170 5010 3648Guatemala 230 5412 3457

México 160 4118 4034México - Nuevo León 160 3927 3720

Nicaragua 200 5211 3468Panamá 180 4068 3882

Paraguay 210 4535 3600Perú 160 4121 3626

Uruguay 150 4168 3929

ESCUELAS ALUMNOS DE 3º ALUMNOS DE 6º

TAMAÑO ESPERADO DE LA MUESTRAPAÍS O REGIÓN

22 23

• Se seleccionan las escuelas de cada estrato mediante muestreo aleatorio simple sin reposición (probabilidades de selección iguales para todas las escuelas de un mismo estrato).• Se seleccionan suplentes respectivas para cada unidad de la muestra, también por muestreo aleatorio simple sin reposición. Cada escuela titular de la muestra tendrá una escuela suplente. La escuela suplente se elige en el mismo estrato de la titular y, en caso de disponerse de la información en el marco, en la misma jurisdicción de la titular. Seleccionada una escuela en la muestra en los estratos 1 a 24, entonces todos los alumnos de 3º y de 6º perte-necen a la muestra de alumnos, salvo por lo mencionado en las exclusiones válidas.

Seleccionada una escuela en la muestra en los estratos 25 a 32, entonces todos los alumnos de 6º pertenecen a la muestra de alumnos, salvo por lo mencionado en las exclusiones válidas.

El proceso de selección de escuelas será realizado por la CT-LLECE. Cada país recibirá el listado de escuelas titulares con sus respectivas suplentes y con su código LLECE asignado.

Los reemplazos de escuelas se realizan mediante el sistema de suplentes respectivas y, en todos los casos, debe-rán ser autorizados por el Coordinador Nacional. Éste deberá elaborar un informe de los reemplazos autoriza-dos, con la causal que los motivó y con las acciones que realizó para evitar el reemplazo (se proporcionará un formulario específico para este fin).

11. Estratos adicionales optativos para cada país. Tratamiento de los mismos. Tratamiento de las muestras para entidades subnacionales (Nuevo León y Goias).

El diseño muestral que se ha propuesto tiene, como una de sus características, la flexibilidad. Ello implica que se pueden definir criterios adicionales de estratificación, se pueden variar los tamaños de muestra por estrato (a condición de respetar los mínimos establecidos para el operativo nacional) y que la información que se recoja a nivel de las entidades subnacionales puede agregarse junto con la información del nivel nacional, adecuada-mente ponderada. Se proporcionará a los países un formulario para indicar sus opciones nacionales adicionales en materia de muestra.

Para la muestra de Nuevo León se seguirán los mismos criterios que para la determinación de las muestras de los países (estratificación a priori, muestreo en conglomerados en una sola etapa de selección, probabilidades iguales para todas las escuelas de un mismo estrato, mediante muestreo aleatorio simple sin reposición) de ma-nera de garantizar precisión y confiabilidad de los resultados a nivel regional.

12. Requerimientos e instrucciones para la elaboración del marco muestral en cada país. Estructura de las bases de datos.

El marco muestral es una matriz que en cada fila presenta una escuela y sus datos, y en cada columna una varia-ble asociada a cada escuela. Las variables asociadas son:

a. Nombre de la escuelab. Código de identificación nacional de la escuela (si existe)c. Mes de inicio de los cursos en la escuelad. Mes de finalización de los cursos en la escuelae. Ubicación 1 - Direcciónf. Ubicación 2 - Localidad

24

g. Código de Ubicación 2h. Ubicación 3 - Departamento, provincia o estadoi. Código de Ubicación 3j. Cantidad de alumnos en 1° en la escuelak. Cantidad de alumnos en 2° en la escuelal. Cantidad de alumnos en 3° en la escuelam. Cantidad de alumnos en 4° en la escuelan. Cantidad de alumnos en 5° en la escuelao. Cantidad de alumnos en 6° en la escuelap. Cantidad de alumnos en 7° en la escuelaq. Cantidad de alumnos en 8° en la escuelar. Cantidad de alumnos en 9° en la escuelas. Cantidad de secciones de 3º (el dato más actualizado)t. Cantidad de secciones de 6º (el dato más actualizado) u. Turnos en que funciona la escuela (matutino – tarde – doble turno - jornada completa)v. Área (urbana o rural, empleando la definición de ruralidad propia del país)w. Gestión (pública o privada. Las escuelas de gestión privada que reciben subvención estatal deben ser consideradas privadas, excepto que el país desee establecer un subuniverso explícito que permita diferenciar ambos tipos de escuelas)x. Lengua en que se enseña en 3° y. Año al que corresponden los datos de la base

Cada país deberá incluir variables adicionales que permitan identificar a las escuelas pertenecientes a los sub-universos que desee sobre-muestrear como opción nacional.

13. Criterios y procedimientos para el control de los marcos muestrales por parte de la Coordinación Técnica.

Las propiedades deseables de los marcos muestrales aplicables a este caso son:

• Cobertura: todas las escuelas del universo investigado se encuentran en el marco (completitud) y cada unidad del universo a investigar figura una sola vez en el marco11.• La identificación y la ubicación que figuran en el marco son suficientes para direccionar al personal de campo, en caso que la escuela sea sorteada en la muestra.• Actualización: las variables de estratificación en el marco corresponden al dato más actual posible.• Calidad: las variables del marco no contienen errores (de importancia).

A los efectos de lograr estimaciones precisas, confiables y no sesgadas de .los parámetros a investigar, la Co-ordinación Técnica debe controlar que los marcos muestrales cumplan satisfactoriamente con las propiedades deseables arriba enumeradas.

En particular, para controlar la completitud se utilizará la variable “Cantidad de alumnos en la escuela”, porque la suma de dicha variable, a través de todas las escuelas del marco, debe coincidir razonablemente con la matrí-cula de la educación primaria del país.

11 Se recomienda tener un cuidado especial con los locales que albergan dos escuelas, una en el turno de la mañana y otra en el turno vespertino.

24 25

Para controlar la calidad y actualización del marco, una vez seleccionada la muestra, se solicitará a la Coordina-ción Nacional que contacte a las escuelas y actualice la información sobre cantidades de secciones y alumnos de 3º y 6º. Esta información actualizada permitirá ajustar la asignación de cuadernillos a los alumnos y será em-pleada a posteriori por la Coordinación Técnica para realizar un análisis de la calidad de la información empleada para sortear la muestra.

14. Requisitos mínimos de cobertura que deben ser alcanzados por cada paíspara que los datos sean considerados confiables.

Dado que sólo se admitirá una escuela suplente por cada escuela titular, es posible que el tamaño de muestra efectivamente alcanzado en el operativo resulte algo inferior al tamaño originalmente planeado. Se considerará que la muestra de un país es suficiente para realizar estimaciones confiables si se cumplen a la vez las tres condi-ciones siguientes:

• El tamaño de muestra efectivo de escuelas es por lo menos el 80% del tamaño planeado.• El tamaño de muestra efectivo incluye al menos el 70% de escuelas titulares.

Tabla 8

Tasa de respuesta (en %) en la muestra de escuelas.

• El tamaño de muestra efectivo alcanza por lo menos al 80% de los alumnos que asisten efectivamente a clases.

100908070605040302010

10 20 30 40 50 60 70 80 90 100

ACEPTABLE

ANTES DE LOS REEMPLAZOS

DES

PUÉS

DE

LO

S R

EEM

PLA

ZOS

26

15. Criterios y procedimientos para el control de las muestras realmente obtenidas, una vez culminada la aplicación.

Una vez culminado el operativo será necesario verificar:• que el tamaño de la muestra en cada estrato es de al menos dos escuelas;• que se dispone del número de alumnos que asisten regularmente a clase por sección de la muestra para comparar con el número de alumnos que hicieron las pruebas (criterio de exclusión para el análisis);• cuál fue la proporción de alumnos participantes en cada escuela y sección;• que el tamaño de la muestra efectiva de escuelas es al menos el 80% de la muestra planeada;• que el tamaño de la muestra efectiva de escuelas titulares es al menos el 70% de la muestra planeada;• que las escuelas de la muestra son efectivamente las sorteadas como titulares o, en su defecto, las su plentes respectivas;• que todas las secciones de la escuela en 3º y en 6º fueron incluidas en el operativo o, en su defecto, que las secciones omitidas fueron excluidas correctamente, en virtud de su tamaño;• que se ha logrado la participación en las pruebas del 80% de los alumnos de cada grado que concu- rren efectivamente a clases;• que todas las pruebas y cuestionarios contienen la identificación precisa del alumno, la sección, la escuela y del estrato al que pertenece la escuela.

16. Márgenes de error estimados para el diseño muestral, a nivel internacional, nacional y de estrato.

La simulación realizada con los datos de dos países del Primer Estudio Regional Comparativo y Explicativo (PERCE), con los tamaños de muestra propuestos, permite afirmar que para un nivel de confianza del 95%, el error de muestreo en las pruebas de Lengua y Matemática será:

• Inferior al 1%, para el conjunto de todos los países;• Alrededor del 4,5%, a nivel nacional;• Alrededor del 10%, para los dominios de estudio con una participación del 40% o más en la muestra total.

Los niveles de error se pueden reducir, pero ello requiere incrementar la cantidad de escuelas en la muestra. A los efectos de que los Coordinadores Nacionales tengan una idea aproximada, se estimó para un país (Ar-gentina), a partir de los datos del Primer Estudio (Matemática), los tamaños de muestra necesarios para lograr diferentes niveles de error a nivel nacional (ver Tabla 9). Esta información se proporciona ante la eventualidad de que alguno o todos los países consideren necesario alcanzar menores niveles de error, para que se puedan estimar los costos involucrados.

26 27

Tabla 9

Tamaños muestrales para distintos niveles de error.

17. Sistema de ponderaciones para la estimación de resultados a nivel nacional y de subuniversos.

Como la muestra no es auto ponderada, los resultados deberán desagregarse a nivel de los estratos a priori, y ponderarse con el peso que cada estrato tiene en términos del número de alumnos, en el caso de los universos de alumnos, hogares, padres o tutores, secciones y maestros; y ponderarse con el peso que cada estrato tiene en términos del número de escuelas, en el caso de los universos de escuelas y directores. En el Anexo 3 se plantea, de manera provisoria, una propuesta para la aplicación de ponderaciones y para las estimaciones de error. Esta propuesta deberá revisarse a partir de los aportes de los especialistas de los países participantes y de la calidad de los datos que se obtengan a partir de la aplicación definitiva, con los cuales se podrán ensayar diversas alter-nativas de cálculo.

18. Advertencia.

En la determinación del tamaño de la muestra se ha trabajado con el mínimo necesario para obtener cierta precisión y seguridad. Si no se pone especial cuidado en el sistema de archivo de pruebas y cuestionarios, aún cuando la muestra se hubiera realizado en el 100% en el campo, una parte de ella podría “perderse” en el pro-cesamiento posterior. Aunque la parte perdida sea pequeña, no se debe esperar que la pérdida se distribuya proporcionalmente a lo largo de la muestra. Antes bien, es probable que la información perdida se concentre en alguno de los estratos y que ello impida obtener inferencia válida a ese nivel.

Una disminución en el tamaño de la muestra en un estrato puede ocasionar una pérdida importante de pre-cisión. Téngase presente que, para todos los estratos, es imprescindible que nh2, pues, de lo contrario, no será posible aplicar las fórmulas que se presentan en el Anexo 3 para estimar su variabilidad.

Por tanto, es necesario que los países sigan estrictamente las normas de control de instrumentos y de captura de datos incluidas en el Manual del Coordinador Nacional y en el Manual de Sistematización y Captura de Datos.

Cantidad de Escuelas

Error a nivel nacional

Error en el estrato urbano público

Error en el estrato rural

118 5 % 7 % 7 %160 4 % 6 % 6 %230 3,5 % 5 % 5 %358 3 % 4 % 4 %633 2 % 3 % 3 %

28

ANEXO 1

Cantidad máxima de alumnos por escuela en 3º, según país o región.

Fuente: OREALC/UNESCO Santiago, Marcos muestrales de laAplicación Piloto, SERCE 2005.

PAÍS O REGIÓN Tamaño máximoArgentina 354

Brasil 629Brasil- Goias 320

Chile 593Colombia 452Costa Rica 314

Cuba 294Ecuador 318

El Salvador 384Guatemala 289

México 504México - Nuevo León 170

Nicaragua 417Panamá 272

Paraguay 232Perú 473

Uruguay 174

28 29

ANEXO 2

Distribución porcentual del marco de escuelas por la relación de matrícula de 6º a la matrícula de 3º, según país o región.


Notas:

1. El estrato con matrícula de 3º = 0 incluye también las escuelas sin información de matrícula.2. Para este procesamiento no se excluyeron las escuelas con matrícula menor que 6 en cada grado.

PAÍS O REGIÓN R ≥ 0,75 0 < R < 0,75 R = 0 Mat. 3º = 0 TOTALArgentina 68 29 5 3 100

Brasil 19 68 64 13 100Brasil - Goias 28 8 47 17 100

Chile 76 21 5 3 100Colombia 10 81 79 9 100Costa Rica 58 38 5 4 100

Cuba 59 36 25 5 100Ecuador 53 45 8 2 100

El Salvador 43 55 14 2 100Guatemala 28 69 10 3 100

México 65 30 3 5 100México - Nuevo León 65 31 4 4 100

Nicaragua 27 72 38 1 100Panamá 51 42 8 7 100

Paraguay 51 48 13 1 100Perú 48 50 11 2 100

Uruguay 60 35 8 5 100

Relación de matrícula de 6º a la matrícula de 3º

30

ANEXO 3

Pautas preliminares para la aplicación de ponderaciones y para las estimaciones de error en el procesamiento de los resultados definitivos

A continuación, se plantea una propuesta preliminar de fórmulas para la estimación de la variabilidad de los parámetros promedio o proporción (ejemplos: promedio de los resultados de las pruebas o proporción de alumnos que repite el curso). Para realizar estimaciones sobre la población de alumnos, se opta aquí por los estimadores de razón12 .

Nota: X representa alguna variable cuyo promedio se quiere estimar para toda la población de alumnos. Si la variable X sólo toma los valores cero y uno, entonces el promedio en la población es también la proporción de alumnos con cierto atributo.

Genéricamente, se designa a los estratos a priori con “h”, mientras que con “j” se hace referencia a cada escuela (conglomerado) de la muestra en el estrato.

N = Número de escuelas en el marco muestralNh = Número de escuelas en el estrato “h”nh = Número de escuelas en la muestra del estrato “h”M = Número de alumnos en el grado (3º ó 6º) a nivel nacionalMh = Número de alumnos en el grado (3º ó 6º) del estrato “h”Mhj = Número de alumnos en el grado de la escuela “j” en el estrato “h” = Estimador del promedio en la población a nivel nacional = Estimador del promedio en la población del estrato “h” = Promedio de los alumnos en el grado de la escuela “j” en el estrato “h”

ALUMNOS

Estimador del promedio en el estrato “h”:

∑

∑=

h

h

n

jhj

n

jhjhj

h

M

XMX

Estimador del promedio a nivel nacional: hh

h XMMX .∑=

Error cuadrático medio del estimador del promedio en el estrato “h”:

( )⎥⎥⎦

⎤

⎢⎢⎣

⎡−

−

−= ∑

22

2 11)(~ hn

jhhjhj

h

hh

h

h

hh XXM

nnN

nN

MXMCE

12 Por ser los que presentan menor error de muestreo.

∑

∑=

h

h

n

jhj

n

jhjhj

h

M

XMX

∑

∑=

h

h

n

jhj

n

jhjhj

h

M

XMX

∑

∑=

h

h

n

jhj

n

jhjhj

h

M

XMX

30 31

Error cuadrático medio del estimador del promedio a nivel nacional:

)(~ .)(~ 2

hh

h XMCEMMXMCE ∑ ⎟

⎠

⎞⎜⎝

⎛=

En los casos precedentes, la variabilidad se estima mediante el Error Cuadrático Medio del estimador en virtud de que los estimadores de razón no son insesgados, como se conoce.

ESCUELAS Y DIRECTORES

En el caso de escuelas y directores, el diseño muestral es el aleatorio estratificado de escuelas, lo que simplifica enormemente los cálculos de los estimadores y la estimación de su variabilidad. Los promedios en cada estrato se calculan como promedio simple de los resultados para cada escuela de la muestra en el estrato.

Estimador del promedio de escuelas o directores en el estrato “h”:

∑=hn

jhj

hh X

nX .1

Estimador del promedio de escuelas o directores a nivel nacional:

hh

h XMMX .∑=

Los estimadores precedentes son insesgados, por lo tanto, su variabilidad se estima mediante la estimación de la varianza.

Varianza del estimador del promedio en el estrato “h”:

( )⎥⎥⎦

⎤

⎢⎢⎣

⎡−

−

−

−= ∑

2

111)(~ hn

jhhj

h

hh

hh XX

nnN

nXV

Varianza del estimador del promedio a nivel nacional:

)(~ .)(~ 2

hh

h XVMMXV ∑ ⎟

⎠

⎞⎜⎝

⎛=

32

Tabla 10Ejemplo de aplicación de estimadores de razón y de expansión simple

PUNTAJE PROMEDIO EN LENGUA 3º Y SU VARIABILIDAD EN EL ESTRATO 8 DE LA MUESTRA DE ESCUELAS N-sub8 = 100 escuelas n-sub8 = 4 escuelas M-sub8 = 2.000 alumnos Resultados de la muestra

15 20 25 201 21 22 23 222 17 20 24 193 22 19 25 184 18 17 23 225 15 23 22 196 20 24 19 177 19 25 27 238 18 23 23 249 18 22 28 2510 17 19 21 2211 21 18 20 1912 22 22 19 1813 24 19 18 2214 20 17 23 1915 18 23 25 1716 24 26 2317 25 22 2418 20 23 2519 22 28 2120 23 21 2321 20 22 19 23 26 24 23 25 20 19,33 21,35 22,72 21,10

ALUMNO ESCUELA 1 ESCUELA 2 ESCUELA 3 ESCUELA 4ALUMNOS EN 3º

PUNTAJES DE LOS ALUMNOS

EN LENGUA

PROMEDIO ESCUELA

32 33

ESTIMADOR POR EXPANSIÓN SIMPLE

PROMEDIO EN EL ESTRATO 8 21,1258333 VARIANZA DEL ESTIMADOR 0,46442733 ESTIMADOR DE RAZÓN

PROMEDIO EN EL ESTRATO 8 21,3375 ECM DEL ESTIMADOR 0,02160988

El ejemplo muestra, como podía esperarse, una menor variabilidad en el caso del estimador de razón.

Estimadores alternativos (de expansión simple) Para el caso de los alumnos, estos estimadores promedian primero los resultados a nivel de cada escuela (con-glomerado) del estrato, y luego estiman el promedio en el estrato como promedio simple de los promedios de cada escuela de la muestra.

En el ejemplo de la Tabla 11, los promedios por escuela en la prueba de lengua fueron: 19,33; 21,35; 22,72; 21,10. Para obtener el promedio del estrato, utilizando el estimador alternativo, se calcula el promedio simple de estos promedios:

PROMEDIO DEL ESTRATO (EXP. SIMPLE) = =+++ )10,2172,2235,2133,19.(41

21,1258333

¿Por qué, en el caso del ejemplo, el estimador alternativo presenta una estimación menor que el estimador de razón? Porque el primero asigna el mismo peso a los promedios de todas las escuelas del estrato, mientras que el segundo les asigna un peso proporcional al tamaño de la escuela, y como el promedio más alto corresponde a la escuela de mayor tamaño, y el promedio más bajo, a la escuela de menor tamaño, entonces el estimador de razón presenta un promedio más alto.

A continuación, se exponen los estimadores alternativos a los que se presentaron en la sección 20, primero para los alumnos y luego para los directores y escuelas.

ALUMNOS

Estimador del promedio en el estrato “h”: ∑=hn

hjh

h Xn

X1

1

Estimador del promedio a nivel nacional: hh

h XMMX .∑=

34

Varianza del estimador del promedio en el estrato “h”: ( )

( )2~1

11)(~ ∑ −−⎟⎟

⎠

⎞⎜⎜⎝

⎛−=

jhhj

hhh

hh x

nnNnXV μ

Varianza del estimador del promedio a nivel nacional: )(~ .)(~ 2

hh

h XVMMXV ∑ ⎟

⎠

⎞⎜⎝

⎛=

Propuesta para el cálculo de la precisión a posteriori

A los efectos de estimar los errores de muestreo, se recomienda realizar el cálculo de la precisión (absoluta), y verificar, para el caso particular de las pruebas, si los tamaños de muestra resultaron suficientes para lograr la precisión deseada con un 95% de seguridad. Cualquiera sea la variable “X” considerada, si m = E (X) es el parámetro que se quiere estimar, para una seguridad del 95%, la precisión es tal que:

0.95 = ) < | - X | ( P εμ

Si el tamaño de la muestra es “grande”, aplicando los teoremas de convergencia se tiene que:

)(~96.1~~~ XVbieno)X( MCE 1.96 = =εε

donde )(~ XMCE o bien )(~ XV se calculan mediante las fórmulas de la sección 20.

Obsérvese que es la semiamplitud de un intervalo de confianza para m , con lo que, al calcular , también se podrán construir dichos intervalos.

Finalmente, la precisión relativa se estima mediante el cociente / .

Cabe agregar que el pesado se debe ajustar en base a la muestra observada, dado que no todos los alumnos es-perados pueden estar presentes en la prueba. El detalle de este procedimiento se describe en el reporte técnico de este estudio que se encuentra en el sitio Web de la OREALC/UNESCO Santiago.Ahora bien, debido a que resulta poco eficiente, computacionalmente, la estimación de la varianza de los esti-madores directamente de las formulas anteriores, se puede decidir ocupar para este fin los métodos de lineariza-ción por series de Taylor, los cuales son muy difundidos desde mediados de los setenta, ya que se pueden aplicar a través de varios paquetes computacionales, como por ejemplo STATA, SPSS, etc. Otra alternativa pueden ser los métodos de remuestreo como el bootstrap o el jackknife, aunque su procesamiento puede resultar más lento, por lo que requieren de un sistema de hardware de gran capacidad y rapidez.

0.95 = ) < | - X | ( P εμ

34 35

CAPÍTULO II: MANUAL DEL COORDINADOR NACIONAL PARA LA APLICACIÓN DEFINITIVA

El proyecto aplica pruebas de Lectura, Escritura, Matemática y, opcionalmente, de Ciencias Naturales, a estudiantes de tercero y sexto grados de educación básica, e identifica los factores asociados al aprendiza-

je, mediante cuestionarios dirigidos a dichos estudiantes, sus docentes, sus directivos y sus padres de familia o tutores. La aplicación definitiva se llevará a cabo durante el primer semestre del año en curso en los países con calendario norte y durante el segundo semestre, en los países con calendario sur.

La aplicación definitiva tendrá lugar durante el primer semestre de 2006 en los países con calendario norte y durante el segundo semestre en los países con calendario sur.

Concluido el análisis de los resultados, el Estudio debe proporcionar explicaciones de los hallazgos encontrados y sugerir acciones conducentes a mejorar la calidad de la educación ofrecida en cada país de la región. Se trata de descubrir en la escuela los motores que tienen los mayores efectos sobre los resultados, no sólo entendidos en términos de altos promedios de puntajes, sino, sobre todo, en menores valores para la varianza: distancias más pequeñas entre quienes logran más y quienes logran menos, abordando el tema de la equidad y promoviendo estados de desarrollo cada vez más avanzados para quienes se encuentran en las situaciones más difíciles.

Para llevar a cabo el proyecto, cada país ha designado un coordinador nacional, encargado de organizar y garan-tizar el cabal cumplimiento de las actividades que se describen en el presente Manual.

2. PAPEL DEL COORDINADOR NACIONAL

El coordinador nacional es el interlocutor oficial del LLECE y el responsable de organizar, ejecutar y supervisar el desarrollo de todas las actividades relacionadas con la aplicación definitiva del SERCE en su país, en estricto cumplimiento de los criterios y procedimientos establecidos en el conjunto de los manuales proporcionados por la Coordinación Técnica del LLECE.

El LLECE espera que el coordinador nacional realice cuidadosamente los procedimientos descritos en este manual, con el fin de garantizar que los instrumentos sean administrados en la misma forma y bajo las mismas condiciones en todos los países participantes, para lograr resultados que permitan hacer análisis sólidos y for-mular hipótesis robustas acerca de cómo alcanzar niveles más altos en las competencias desarrolladas por los estudiantes. Si se omite o se cambia algún procedimiento sin autorización de la Coordinación Técnica del LLE-CE, podrían alcanzarse resultados inconsistentes y, por lo tanto, la participación del país en el SERCE podría resultar invalidada. En los países que se requiera, el coordinador nacional podrá apoyar su labor en coordinado-res de sede, respondiendo así a posibles demandas de descentralización del proceso de aplicación.

36

3. LISTA DE INSTRUMENTOS

La Tabla 1 muestra una lista de los instrumentos que serán administrados durante la aplicación definitiva en cada centro educativo seleccionado en la muestra. Más adelante, se detallarán los procedimientos para su apli-cación.

Tabla 1. Lista de Instrumentos

Ciencias13

naturales

13 En adelante, cuando aparezca el área de ciencias naturales, se entenderá con carácter opcional.

¿Quién lo responde?

Estudiantes de tercero y sexto

gradoEstudiantes de tercero y sexto



gradoEstudiantes de

tercer gradoEstudiantes de

sexto gradoDocentes de lenguaje y

matemática del aula evaluadaDocente del

área respectiva del aula evaluadaPadres o

tutores de los estudiantes evaluadosDirector o

miembro del equipo direc-

tivoAplicador con el apoyo del

director

Código

C1 a C6

C1 y C2

C1 a C6

C1 a C6

QA3

QA6

QP

QL3,QL6,QM3,QM6

QC6

QF

QD

FE

Cuadernillo

Del 1 al 6

1 y 2

Del 1 al 6

Del 1 al 6

Único

Único

Único

Cinco

Único

Único

Único

Nombre

Lectura

Escritura

Matemática

Del estudiante de tercero

Del estudiante de sexto

Del docente

De enseñanza

De la familia

Del directivo

Ficha de empadrona-

miento

Forma de Administración

Sesión colectiva

Auto-administrada

Auto-administrada

Autoadministrada/Entrevista

Auto-administrada

Entrevista

Tipo

Pruebas de Logro

Cuestio-narios

de Factores Asociados

36 37

4. ACTIVIDADES PREVIAS A LA APLICACIÓN

4.1 Conformar el marco muestral y definir fechas de aplicación

De acuerdo con las indicaciones de la Coordinación Técnica del LLECE, el coordinador nacional debe obtener toda la información correspondiente a los centros educativos de su país; en especial, el nombre, la localización (rural o urbana), el sector (público o privado) y el número de aulas y de estudiantes en tercero y sexto grados. El marco muestral, la matrícula del país en cada grado y las fechas de iniciación y terminación del año escolar deben consignarse en las tablas y formatos correspondientes y remitirse al LLECE.

Por otra parte, el coordinador nacional debe establecer las fechas de la aplicación definitiva, dentro del período de las ocho semanas anteriores a la terminación del año escolar. Si el país cuenta con dos calendarios, deberá programar dos aplicaciones en dos fechas distintas para administrar las pruebas en los centros educativos que resulten de uno u otro calendario. Las fechas de la aplicación definitiva atienden a las circunstancias y posibili-dades reales de cada país, tanto desde el punto de vista administrativo y presupuestal como desde la perspectiva operativa, y deben informarse al LLECE.

Tabla 2. Distribución del tiempo para la aplicación de los instrumentos a estudiantes de tercer grado

PRIMER DÍA SEGUNDO DÍAPrueba de Lectura Prueba de Matemática

Instrucciones Instrucciones Desarrollo (60 minutos) Desarrollo (60 minutos)

Tiempo adicional (hasta 10 minutos) Tiempo adicional (hasta 10 minutos)Recolección de material Recolección de material

Pausa (20 minutos) Pausa (20 minutos)Prueba de Escritura Cuestionario del Estudiante

Instrucciones Instrucciones Desarrollo (45 minutos)

Tiempo adicional (hasta 10 minutos)Recolección del material Recolección del material

Entrega de cuestionarios de familia Recepción de cuestionarios de familia

Desarrollo (aproximadamente 20 minutos)

38

Para programar la aplicación definitiva, la Coordinación Técnica del LLECE sorteará la muestra, de acuerdo con las indicaciones del Manual de Muestreo, y la remitirá a los coordinadores nacionales. Es importante tener en cuenta en la programación que la aplicación definitiva en cada aula requiere dos días, debido a la extensión de los cuadernillos y los cuestionarios previstos. La aplicación debe llevarse a cabo en la misma forma y en el mismo orden secuencial en todas las aulas de la muestra, en arreglo al diseño que aparece en las tablas 2 y 3, para cada uno de los dos grados considerados.

Tabla 3. Distribución del tiempo para la aplicación de los instrumentos a estudiantes de sexto grado



Tiempo adicional (hasta 10 minutos) Tiempo adicional (hasta 10 minutos)Recolección del material Recolección del material

Pausa (15 minutos) Pausa (20 minutos)Prueba de Escritura Prueba de Ciencias



Pausa: (15 minutos)Cuestionario del Estudiante

Instrucciones Desarrollo (aproximadamente 45 minutos)

Recolección del materialEntrega de cuestionarios de familia

4.2 Recibir y estudiar la documentación del proyecto

Como coordinador nacional, usted ha recibido un identificador de usuario y una contraseña para acceder al sitio web donde encontrará toda la documentación requerida para atender la aplicación definitiva:

• Criterios y procedimientos para el aseguramiento de la calidad.• Manual de muestreo.• Manual del aplicador.• Informes regional y nacional de análisis de ítems.• Versión definitiva estándar de cuadernillos de pruebas (Lectura, Escritura, Matemática y Ciencias Naturales).• Versión definitiva estándar de cuestionarios de factores asociados (estudiante, docente, de enseñanza, director, familia y ficha de empadronamiento del centro educativo).• Pautas para la aplicación de los cuestionarios.

Recepción de cuestionarios de familia

38 39

• Manual de evaluación de la escritura.• Manual de codificación de las preguntas de respuesta abierta de matemática.• Manual de codificación de las preguntas de respuesta abierta de ciencias.• Instructivo de captura de datos.• Interfase para la captura de datos.• Manual de procesamiento de datos.

Seguir rigurosamente los protocolos establecidos en los diferentes documentos es un compromiso ineludible de los países participantes. Si se presentan circunstancias especiales que requieran una variación en algún pro-cedimiento, el país interesado podrá plantearlas a la Coordinación Técnica del LLECE, que extenderá o no la correspondiente autorización por escrito para efectuar el cambio solicitado.

Con los indicadores presentados en los informes regional y nacional de análisis de ítems, al coordinador nacio-nal le corresponde organizar la revisión de las versiones definitivas estándar de cuadernillos de pruebas, para efectos de solicitar a la Coordinación Técnica del LLECE las adaptaciones lingüísticas que consideren necesarias en los ítems. Luego del estudio y autorización correspondientes por parte del LLECE, el coordi-nador nacional recibirá la versión definitiva de los cuadernillos de pruebas adaptadas al país.

En relación con los cuestionarios de factores asociados, el coordinador nacional debe organizar la revisión de las versiones definitivas estándar y solicitar las adaptaciones que considere pertinentes, que deberán ser aproba-das por la Coordinación Técnica del LLECE. Luego, debe remitirle una copia de la versión definitiva adaptada al país.

4.3 Establecer contacto con los centros educativos

Recibida la muestra, es deseable entrar en contacto con los centros educativos para efectos de: verificar la información sobre aulas y matrícula, garantizar el correcto envío del material; informar sobre la naturaleza y los alcances del proyecto; pedir la cooperación de los directivos en la disposición de los recursos requeridos; y responder a sus inquietudes y lograr su compromiso para alcanzar una aplicación definitiva satisfactoria14.

Es conveniente designar en la coordinación nacional una o más personas responsables de la interlocución di-recta con los centros educativos. El director del centro educativo o la persona que este designe recibirá con an-telación un documento informativo en el que se detallarán aspectos importantes del proyecto y las condiciones necesarias para realizar una adecuada aplicación de los instrumentos.

Con la información verificada y consolidada sobre aulas y matrícula de los centros educativos de la muestra, el coordinador nacional procede a determinar en forma precisa el número de estudiantes de la muestra. Los nombres de los estudiantes de las aulas de tercero y de sexto de cada centro educativo se consignarán en el Formulario 2 (F2), lista de asistencia de estudiantes. Por cada aula que participará en la aplicación definitiva, se generará un Formulario 2 (F2) que facilitará la tarea de registro de asistencia a las sesiones de evaluación y sobre todo asegurará la adecuada distribución de los cuadernillos de las pruebas.

14 Si el coordinador nacional lo estima conveniente y las condiciones son propicias, el aplicador, debidamente capacitado, puede realizar una visita previa al centro educativo en la que obtenga o confirme la información antes referida y adelante la aplicación de la ficha de empadronamiento. Cada país definirá si este proceso se adecua a sus necesidades y posibilidades.

40

4.4 Convocar, seleccionar y capacitar a los aplicadores

La aplicación definitiva supone formar a las personas que realizarán el trabajo de campo (aplicadores), con base en una misma metodología, con el fin de garantizar las mismas condiciones de evaluación para todos los estu-diantes que responderán los instrumentos.

Es necesario asegurar que los aplicadores posean el siguiente perfil:

• Ser profesional con experiencia docente en educación básica o estudiante de educación próximo a egresar, con experiencia de prácticas profesionales en aula. También pueden admitirse estudiantes de los últimos dos años de psicología o profesionales con experiencia en áreas afines a evaluación de gru pos o enseñanza.• Tener habilidades desarrolladas para el manejo de grupos de niños.• Tener un manejo fluido de la lengua española.• Tener un buen nivel de dicción, para la lectura apropiada de instrucciones.• Tener un buen nivel de comprensión lectora, para el seguimiento de instrucciones y pautas dadas en los manuales.• Ser una persona de confianza, a quien se le pueda entregar la responsabilidad la evaluación y los instrumentos.• No poseer ningún vínculo laboral con los centros educativos que forman parte de la muestra.• Ser asertivo, seguro de sí mismo y flexible, para adaptarse rápidamente y dar respuesta eficiente a situaciones imprevistas.• Tener manejo de la lengua materna del lugar en el que se encuentra ubicado el centro educativo.

Tras la convocatoria y selección del grupo de aplicadores, se debe organizar una capacitación. En el Anexo 2, se propone una pauta de capacitación para su adaptación. Es recomendable capacitar por lo menos a un 10% más de los candidatos a aplicadores del total requerido para el trabajo. Es necesario asegurar que todos los aplicado-res reciban el Manual del Aplicador, al menos con una semana de anticipación a la capacitación y que conozcan y dominen la ejecución de las actividades previstas en dicho Manual, paso a paso, y que realmente mantengan todo el material bajo resguardo, con estrictas medidas de confidencialidad. Igualmente, debe garantizarse que los aplicadores conozcan el contenido de los cuestionarios.

La capacitación a aplicadores debe tener una duración mínima de seis horas cronológicas. Esto sin contar el tiempo destinado a asuntos administrativos como asignación de centros educativos, entrega de materiales, ex-plicación de rutas de acceso a los centros, entre otros.

Una vez concluida la capacitación de aplicadores, el coordinador nacional les expedirá un certificado que los acredita como tales y que, además, los identifica para establecer contacto con los centros educativos, antes de la fecha de la aplicación definitiva, con el propósito de confirmar los planes de la aplicación y la presencia de los estudiantes que presentarán la prueba. El coordinador nacional podrá ratificar o no a los aplicadores que ya recibieron capacitación, de acuerdo con la evaluación de su desempeño en la aplicación piloto.

40 41

4.5. Imprimir cuadernillos y cuestionarios

Determinada la muestra de centros educativos y el número preciso de estudiantes y de docentes incluidos en la aplicación definitiva, debe procederse a la impresión de los cuadernillos y los cuestionarios. Esto se realiza teniendo en cuenta el listado de instrumentos presentado en la tabla 115 . Se advierte que no puede alterarse el recuadro que contiene códigos y datos requeridos por el LLECE y que se contará con un espacio para colocar un código nacional.

Es indispensable imprimir solamente la cantidad de cuadernillos y de cuestionarios que se requieren para efec-tos de la aplicación. En el proceso de impresión, es recomendable incluir una numeración correlativa en cada ejemplar de cada instrumento, como medida de control adicional.

También es necesario poner atención a las indicaciones que la Coordinación Técnica del LLECE señale en referencia al tipo y tamaño de papel, tinta, color y demás especificaciones, así como verificar el ensamble o encuadernación de las páginas de los cuadernillos, de acuerdo con el original enviado en formato PDF por la Coordinación Técnica del LLECE, para que todos los estudiantes de todos los países participantes rindan la prueba en las mismas condiciones. Los cuestionarios se dispondrán en un formato en el que pueda intervenirse, para poder introducir las adecuaciones nacionales aprobadas y, a partir de ello, obtener la diagramación final.

4.6. Organizar la revisión y entrega de los materiales a los aplicadores

La organización del material depende de la forma en que se haya previsto la aplicación definitiva. Lo impor-tante es que en un centro educativo en el que se evalúe más de un aula (sección) del mismo grado en el mismo turno, el proceso se dé de manera simultanea, es decir, si, por ejemplo, existen tres secciones de tercero en el turno de la mañana en un mismo centro educativo, las sesiones de evaluación deben darse de manera simultánea por lo que se requiere, por lo menos, tres aplicadores para ese centro educativo.

Para la organización de los cuadernillos, se ordenarán todas las aulas de cada grado de todos los centros educa-tivos y, luego, se definirá el número del cuadernillo por el que se comienza la agrupación, como se indica en la tabla 4, con las pruebas de Lectura y Matemática o Ciencias Naturales, para garantizar que sea similar el número de respuestas a cada uno de los ítems. En el caso de la prueba de Escritura, se utilizarán dos tipos de cuadernillo en cada grado.

15 Recuerde que, en el caso del cuestionario para el docente (QP), debe estimarse hasta dos por cada aula programada para ser eval-uada.

42

Tabla 4. Ejemplo de organización de los cuadernillos de Lectura, Matemática y Ciencias Naturales, por aula para cada grado

Número de aula Número de estudiantes Orden de los cuadernillos*01 11 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 502 10 6, 1, 2, 3, 4, 5, 6, 1, 2, 303 15 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 604 13 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 105 21 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 406 16 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2. . .. . .

* El criterio consiste en construir una sola serie de conjuntos de seis cuadernillos, al considerar la sucesión de todas las aulas de un país. La primera aula comienza con el cuadernillo 1 y las demás, con el cuadernillo siguiente al último del aula inmediatamente ante-rior.

Para facilitar el trabajo de los aplicadores, la Coordinación Técnica del LLECE ha diseñado un mecanismo por el cual, siguiendo la lógica mostrada en la tabla precedente, se genera el Formulario 2 (F2), lista de asistencia de estudiantes, en el que quedará indicado el tipo de cuadernillo que corresponde a cada estudiante en cada una de las pruebas. Este Formulario 2 contiene:

• Los datos de la escuela y del aula (sección). Estos datos son llenados previamente por la Coordinación Nacional y, en aquellos casos necesarios, por el aplicador;• El nombre completo de cada estudiante que se va a evaluar en el aula asignada (sección); en caso de ser necesario, el aplicador debe completar esta información;• Una columna para consignar si el estudiante tiene alguna necesidad educativa especial (NEE) (especifi cadas en el Capítulo III, anexo 3). En este caso el aplicador coloca los siguientes códigos: o 1, si no existe discapacidad o limitación para responder la prueba. o 2, para “Discapacidad funcional” o 3, para “Discapacidad intelectual” o 4, para “Limitación en el dominio del idioma” o 5, para “Otro tipo de problema”

• Una columna por prueba (Lectura, Escritura, Matemática y Ciencias Naturales, para el caso sexto), donde aparece el número de cuadernillo que le corresponde a cada estudiante;• Una columna por cuestionario (estudiante y familia);• En cada columna de prueba o del cuestionario del estudiante (QA), existe un recuadro en blanco don de se consigna la asistencia de cada estudiante. Se asigna: o 0, para “Inasistencia” o 1, para “Asistencia”

42 43

(Si algún estudiante se retira durante la evaluación, se lo considera asistente a la misma y se consigna el hecho en el Formulario 3, Registro de incidentes, que se explicará más adelante).

• En la columna del cuestionario de la familia (QF), un recuadro en blanco donde se consigna la devolu ción del instrumento respondido. Se asigna: o 0, para “No aplicado” / “No devuelto” o 1, para “Respondido”.

El Formulario 2 constituye una de las herramientas centrales del proceso de aplicación y ofrece un resumen ordenado de las tasas de respuesta a los instrumentos y de asistencia a las sesiones de evaluación. Concluida la aplicación definitiva, el coordinador nacional deberá enviar a la Coordinación Técnica del LLECE una copia de todos los Formularios 2 (F2) debidamente llenados.

Ya organizado el material, en una fecha próxima a la de la aplicación definitiva16 , el coordinador nacional, o la persona designada para el efecto, debe entregar a cada aplicador los siguientes documentos:

• Manual del Aplicador17 .• Pautas para la aplicación de los cuestionarios.• Formulario 2 (F2), con el registro de los estudiantes del aula que se le haya asignado.• Cuadernillos de las pruebas de los estudiantes.• Cuestionarios de los estudiantes, sus docentes (incluye cuestionarios sobre enseñanza) y sus familias.• Cuestionario para el director y la ficha de empadronamiento del centro educativo18 .• Formulario 3 (F3), para llenar con los incidentes que se presenten durante la aplicación definitiva.

Al recibir el material, el aplicador debe firmar el Formulario 1 (F1), de recepción y devolución de materiales. Este formulario tiene carácter de compromiso de confidencialidad bajo declaración jurada, y se termina de llenar cuando el aplicador devuelve el material. En el anexo 1, se presenta un modelo de carta acuerdo de con-fidencialidad, en el caso de que el coordinador nacional desee usarla de manera complementaria al Formulario 1 (F1). Es deseable que todo aquel que vaya a tener contacto con los instrumentos firme el acuerdo de confi-dencialidad (por ejemplo, los responsables de la impresión y embalaje).

En todo momento, debe recordársele al aplicador la importancia y significado del principio de con-fidencialidad. Él debe estar consciente de que romper este principio pone en riesgo el proyecto, y el esfuerzo realizado sería en vano. Debe remarcársele que en todo momento debe mantener actitud vigilante y resguardar el material, en especial los cuadernillos de las pruebas, para evitar que algún ítem se filtre.

De igual modo, el aplicador debe estar consciente de la importancia del principio de estandarización; en todo momento debe recordársele que modificar las condiciones de evaluación establecidas en los manuales puede invalidar los resultados.

Si un motivo de fuerza mayor impidiera a algún aplicador realizar su trabajo, el coordinador nacional debe con-tar con algún mecanismo de reemplazo de la persona faltante. Por esta razón, entre otras, es que se sugiere que se capacite un porcentaje adicional de personas al número requerido.

16 Donde sea posible, se sugiere que los materiales para la evaluación se entreguen el día anterior a la evaluación o el mismo día, a primera hora.17 Aunque el aplicador ya conoció este Manual durante la capacitación, se sugiere que se entregue nuevamente, como parte de toda la documentación.18 Si la aplicación definitiva prevé más de un aplicador en un mismo centro educativo, el cuestionario del director y la ficha de empa-dronamiento del centro educativo se asignarán sólo a uno de ellos.

44

5. ACTIVIDADES DURANTE LA APLICACIÓN

Durante los días previstos para la aplicación definitiva, el coordinador nacional debe atender personalmente, o a través de un equipo de personas designadas especialmente para este efecto, todas las consultas que los apli-cadores y los directivos de centros educativos formulen, y resolver los inconvenientes que se presenten. Esta labor busca garantizar que en todas las aulas programadas se efectúe la aplicación con arreglo a lo establecido en el Manual del Aplicador y que sólo se presenten a la prueba los estudiantes señalados en el Formulario 2 (F2).

Igualmente, durante los días previstos para realizar el trabajo de campo, el coordinador nacional debe intentar entrar en comunicación con los directores de los centros educativos elegidos, con el fin de informarse acerca del desarrollo de la aplicación definitiva.

5.1. Implementar un sistema interno (nacional) de apoyo a la aplicación

Se sugiere que la coordinación nacional organice un sistema de apoyo al proceso de aplicación. Para ello, es recomendable contar con un número suficiente de personas, debidamente capacitadas, que puedan atender consultas de grupos aplicadores y resolver incidentes que pudieran impedir el normal desarrollo de la evalua-ción en grupos los de centros educativos. Estas personas deben estar en capacidad y condiciones de sustituir a algún aplicador, en caso emergencia.

5.2. Colaborar con el sistema de control de calidad del estudio

Como parte del control de calidad del estudio, se implementará un sistema de supervisión y observación exter-na de la aplicación definitiva en cada uno de los países participantes.

Este dispositivo de supervisión de la aplicación definitiva basa su desarrollo en dos perfiles y funciones princi-pales: los Observadores Internacionales y los Monitores Externos.

La tarea del Observador Internacional consistirá en trasladarse al país donde se realizará la aplicación, por un plazo de una semana aproximadamente. En los días previos al inicio de la aplicación, deberá entrenar a un gru-po de Monitores Externos, previamente seleccionados por la Coordinación Técnica del LLECE, realizar una visita al Centro Nacional para verificar in situ los procedimientos de trabajo y visitar centros educativos durante los dos primeros días de la aplicación. Posteriormente, deberá elaborar y remitir a la Coordinación Técnica del LLECE un reporte de lo observado.

Está previsto que los propios Coordinadores Nacionales sean quienes se desempeñen como Observadores Internacionales, para ello, en el momento oportuno, se les brindará orientación más detallada acerca de cómo llevar adelante estas actividades.

Los Monitores Externos son especialistas del propio país, seleccionados por la Coordinación Técnica en base a la propuesta que realiza cada uno de los Coordinadores Nacionales. Se requiere que los candidatos tengan experiencia en educación y conocimiento del sistema educativo (educación básica), de preferencia con experien-cia previa en operativos nacionales de evaluación y a la vez que no tenga relación funcional con la entidad responsable de la Coordinación Nacional (condición excluyente).

44 45

La tarea de los Monitores Externos consistirá en: observar sesiones de entrenamiento de aplicadores; realizar visitas de media jornada a centros educativos durante la aplicación, para observar el cumplimiento de los pro-cedimientos estipulados; elaborar un informe de observación por cada centro educativo visitado, de acuerdo a un formato que se le entregará.

Estos Monitores Externos NO asumirán funciones dentro de la aplicación nacional como, por ejemplo, reem-plazar aplicadores o apoyar en tareas logísticas.

Los coordinadores nacionales deben informar a toda la Red de Evaluación de la existencia de este sistema de control de calidad del estudio.

6.- ACTIVIDADES DESPUÉS DE LA APLICACIÓN

6.1. Organizar la verificación y recepción de los materiales de la aplicación

Una vez concluida la aplicación definitiva, cada aplicador consolidará y organizará todo el material utilizado y lo entregará personalmente al coordinador nacional o a la persona designada para esta labor, quien debe asegu-rarse de recibir los siguientes documentos:

• Formulario 2 (F2) con la lista de asistencia de los estudiantes que respondieron las pruebas y los cuestionarios, debidamente llenado. Este formulario debe tener la firma y sello de la autoridad del centro educativo, para hacer constar su participación en la evaluación.• Formulario 3 (F3) con el registro de los incidentes presentados, debidamente llenado.• Cuadernillos y cuestionarios respondidos y no respondidos por los estudiantes, los cuestionarios respondidos por los docentes y el director del centro educativo y los cuestionarios de padres de familia o tutores que sea posible recoger.• Informe del Aplicador, debidamente llenado.• Formulario 1 (F1) de recepción y devolución de materiales, debidamente llenado19.

Adicionalmente, los directores de los centros educativos remitirán al coordinador nacional los cuestionarios para los padres de familia o tutores, debidamente respondidos, que no hayan podido entregarse al aplicador durante la aplicación.

Después de recibir los materiales provenientes de todos los aplicadores y los directores de centros educativos, es necesario organizar por separado los cuadernillos y cuestionarios, para proceder a leer y corregir las produccio-nes escritas, a codificar las respuestas a las preguntas abiertas y a capturar todas las respuestas. Adicionalmente, para consolidar un Informe Nacional de Aplicación Definitiva, a partir de los formularios y los informes de los aplicadores. Estos informes son fundamentales para documentar el proyecto.

6.2. Organizar la captura de las respuestas a los instrumentos

Una vez organizados los cuadernillos y los cuestionarios, es necesario conformar un archivo con las respuestas consignadas en ellos. Para tal fin, cada país recibirá una interfase personalizada en formato ACCESS y un Ins-tructivo de Captura20 que permitirá llenar las siguientes tablas:

19 Al recibir el material completo, el coordinador nacional firmará el Formulario 1 (F1), dando su conformidad.20 La Coordinación Técnica del LLECE organizará un taller de entrenamiento para el uso de la interfase ACCESS, dirigido a los responsables de la captura de datos de cada país.

46

• Respuestas de Lectura para tercer grado• Respuestas de Matemática para tercer grado• Respuestas de Lectura para sexto grado• Respuestas de Matemática para sexto grado• Respuestas de Ciencias Naturales para sexto grado• Respuestas a los cuestionarios para los estudiantes de tercero• Respuestas a los cuestionarios para los estudiantes de sexto grado• Respuestas a los cuestionarios para los docentes• Respuestas al cuestionario sobre enseñanza de Matemática para tercer grado• Respuestas al cuestionario sobre enseñanza de Matemática para sexto grado• Respuestas al cuestionario sobre enseñanza de Lenguaje para tercer grado• Respuestas al cuestionario sobre enseñanza de Lenguaje para sexto grado• Respuestas al cuestionario sobre enseñanza de Ciencias Naturales para sexto grado• Respuestas a los cuestionarios para los padres de familia o tutores• Respuestas a los cuestionarios para el director• Respuestas a la ficha de empadronamiento• Respuestas de escritura para tercer grado• Respuestas de escritura para sexto grado

Una vez concluida la captura de las respuestas, se requiere depurar las tablas y verificar que los registros presen-tes en cada una de ellas correspondan uno a uno con los cuadernillos aplicados en cada una de las áreas, antes de su envío.

Las interfases requerirán el doble código asignado a las preguntas abiertas de las áreas de Matemática y Ciencias Naturales. Asimismo, la evaluación de Escritura requerirá que el proceso de corrección se realice antes de que los datos se ingresen en la interfase correspondiente.

Los procedimientos para llevar a cabo la codificación de las preguntas abiertas de matemática y ciencias se de-tallarán en los manuales de codificación respectivos, los cuales se remitirán a los países. Asimismo, se remitirán los instructivos que detallen los procedimientos de corrección múltiple y supervisión de la codificación que los países deberán implementar. De forma similar, se procederá con el caso de la evaluación de la escritura21 .

6.3 Consolidar y remitir la documentación

Una vez consolidados los diferentes documentos del proyecto y elaborado el correspondiente informe, el coor-dinador nacional debe remitir al LLECE, debidamente organizados y relacionados, los siguientes documentos y materiales:

• Informe Nacional de Aplicación Definitiva, elaborado a partir de los Informes de los Aplicadores y de acuerdo con una pauta enviada por el LLECE.

• Tablas depuradas y verificadas con las respuestas dadas a la totalidad de los instrumentos.

21 Los talleres de capacitación para la codificación de las preguntas abiertas y de la escritura se realizarán entre la segunda quincena de mayo y la primera semana de junio. A estos talleres asistirán los representantes de los países responsables de conducir estos procesos y de capacitar a los correctores a nivel nacional.

46 47

• Fotocopia (buena calidad) de una muestra de las producciones escritas, elegida de manera aleatoria por la Coordinación Técnica del LLECE (el porcentaje está por definirse y fluctuará entre 5 y 10%)

• Fotocopia (buena calidad) de una muestra de las respuestas a las preguntas abiertas de Matemática y Ciencias Naturales, elegida de manera aleatoria por la Coordinación Técnica del LLECE (el porcentaje está por definirse y fluctuará entre 5 y 10%).

La remisión debe efectuarse, a más tardar, ocho semanas después de realizada la aplicación definitiva. 6.4 Mantener bajo resguardo los instrumentos

Una vez concluida la aplicación definitiva, por razones de confidencialidad del material, es indispensable man-tener bajo resguardo seguro todos los cuadernillos y cuestionarios impresos y utilizados, durante un tiempo de seis meses. Transcurrido este tiempo, el coordinador nacional debe proceder a destruir tanto los cuadernillos como los cuestionarios, bien sea mediante incineración o picado en tiras de menos de 1 milímetro de ancho, dejando constancia, mediante un acta, del material que se destruye y remitiendo copia al LLECE. Si la impre-sión de este material se contrata con alguna empresa especializada, en el contrato respectivo debe aparecer la cláusula de confidencialidad correspondiente. Igualmente, es necesario mantener bajo consulta restringida al coordinador nacional, todos los archivos electrónicos generados durante la aplicación definitiva.

Al mismo tiempo, el coordinador nacional debe conservar todos los Formularios F1, F2 y F3, para efectos de documentar el proyecto y poder atender alguna solicitud de confirmación de datos que el LLECE pueda requerir.

48

ANEXO 1

ACUERDO DE CONFIDENCIALIDAD

MATERIALES DEL SEGUNDO ESTUDIO REGIONALCOMPARATIVO Y EXPLICATIVO (SERCE)

Yo _______________________________________________________

En mi carácter de APLICADOR de la prueba definitiva del SERCE en <País> asumo formalmente el com-promiso de:

• Guardar la confidencialidad de todos los materiales relacionados con esta evaluación.

• No conservar ni dejar en los centros educativos ningún ejemplar o copia de de ninguna prueba o ítems de pruebas o borradores de dichos materiales ni permitir copia de los mismos.

• No divulgar el contenido de los materiales antes mencionados a personas no autorizadas, a través ningún medio.

FIRMA:______________________

DOCUMENTO DE IDENTIDAD:________________________

FECHA:_____________________

48 49

ANEXO 2

MODELO DE PAUTA PARA CAPACITACIÓN DE APLICADORES22

FASE I: ACTIVIDADES A DISTANCIA

1. Lectura de documentos informativos

Objetivos

- Poner a disposición del Aplicador información suficiente para atender consultas generales de los centros educativos, durante los días de la aplicación definitiva.

- Familiarizar al Aplicador con los procedimientos y actividades de la aplicación definitiva, antes de iniciar su capacitación.

1.1. Información general sobre el SERCE

• Documento preparado por el coordinador nacional donde el aspirante tenga un enfoque global sobre el estudio:

- Las instituciones organizadoras y los países participantes- Objetivos- Fases- Principales características- Página web LLECE para orientar a quien desee profundizar en el tema.

• Documento de habilidades para la vida (Lenguaje, Matemática y Ciencias Naturales).

1.2. Manual del Aplicador

22 La presente pauta de capacitación va acompañada de un archivo de presentaciones en PowerPoint que complementa los materiales requeridos para cada actividad propuesta.

50

FASE II: ACTIVIDADES PRESENCIALES

1. Prueba de carácter formativo (30 minutos)

Objetivo:Autoevaluación de los participantes y devolución de información por el capacitador, a partir de la corrección en grupos.

Actividad:Se entregará una prueba a cada participante que podrá ser resuelta usando el manual del aplicador en. Aproxi-madamente, 20 minutos. Los 10 minutos finales servirán para socializar las respuestas.

Materiales:

- 1 prueba por participante- 1 manual del aplicador por participante (en adelante, requerido para toda la capacitación)- 1 documento solucionario para el capacitador

2. Análisis grupal de las partes fundamentales del Manual de Aplicación (120 minutos)

Objetivo:Resaltar aspectos centrales contemplados en el manual de aplicación e instruir sobre el correcto uso de los prin-cipales formularios que el aplicador ha de completar, antes de la aplicación.

Actividad:A través de una presentación (con soporte visual mediante el uso de diapositivas o transparencias) el capacita-dor irá detallando los siguientes puntos nodales contemplados en el manual.

- Papel del aplicador- Lista de control de actividades- Lista de instrumentos- Cronograma de aplicación- Actividades previas a la aplicación: o Recibir el material y llenar el formulario correspondiente (F1) o Confirmar planes de aplicación o Verificar la asistencia de estudiantes del aula asignada (requiere el Formulario F2, lista de asistencia de estudiantes) o Presentarse en el centro educativo y verificar el material antes de su aplicación (requiere el adecuado llenado de las carátulas, previamente)

Actividad opcional 1: Entrenamiento en el llenado de carátulas, usando el Formulario F2. (30 minutos adicionales). Si se considera que por falta de experiencia los aplicadores pueden cometer errores al momento de llenar las carátulas de los cuadernillos, se sugiere incluir, en este momento, uno o dos ejercicios de llenado de carátula. La resolución del ejercicio puede ser parte de la presentación en diapositivas.

Actividad opcional 2: Presentación en el centro educativo. (45 minutos adicionales). Esta actividad es particularmente importante para aquellos países en los que no sea posible tomar contacto previo con los cen-tros educativos. Se sugiere, mediante una dinámica de juego de roles, plantear algunas situaciones problemáticas como:

50 51

o Que el director o los docentes rechacen la evaluacióno Formular algunos medios de disuasión o negociacióno Que el director o los docentes exijan ver las pruebas de logro

Materiales:

- Presentación. Parte 1- Para opcional 1: Carátulas vacías (1 ó 2 por participante)

3. Representaciones de las aplicaciones de las pruebas

Tiempo aproximado:

15 minutos para la presentación general45 minutos por prueba (15 de trabajo en grupos, 20 para una o dos representaciones y 10 para plenaria)

Objetivo:Entrenar a los participantes para la aplicación apropiada de las pruebas de logro a los estudiantes.

Actividades:Este trabajo se iniciará haciendo una breve presentación (con soporte visual mediante el uso de diapositivas o transparencias) sobre las características esenciales de la aplicación de pruebas:

- Características de las pruebas- Aspectos a verificar antes de la aplicación de las pruebas- Aspectos generales para la aplicación de las pruebas

A continuación se procederá a representar las aplicaciones de cada una de las pruebas.

Previamente, el capacitador agrupará en equipos de 4 ó 5 personas a los participantes. Ellos tendrán que revisar las indicaciones para la aplicación de una prueba dada (por ejemplo, la de lectura de tercer grado) y ensayarlas en sus equipos. Luego, se elegirá un participante de todo el grupo para que represente las indicaciones; los demás participantes observarán y harán los comentarios respectivos en un plenario, después de la representación.

Se proponen algunas situaciones para ser representadas:

ROL PLAYING 1.- Primer día de aplicación. Aplicación de Prueba de Lectura.Roles: aplicador, director cordial y firme, docente del grupo intenta copiar un cuadernillo de prueba, un alumno que tiene un mal comportamiento, un alumno busca el apoyo del docente para resolver.

ROL PLAYING 2.- Primer día de aplicación. Aplicación Prueba de Escritura.Roles: aplicador, director cordial y firme, docente del grupo trata de ayudar a los alumnos en la realización de la prueba, un alumno se retira antes de finalizar, porque su padre lo exige.

ROL PLAYING 3.- Segundo día de aplicación. Inicio de la Actividad.Roles: aplicador, docente ansioso que da pautas, además de las del aplicador, un alumno llama constantemente la atención del aplicador.

52

ROL PLAYING 4.- Segundo día de aplicación. Aplicación Prueba de Matemática.

ROL PLAYING 5.- Segundo día de aplicación. Aplicación Prueba de Ciencias.

Tener en cuenta lo siguiente:

• En todos los casos, se sugiere que se represente como mínimo la parte de aplicación dedicada a la lectu-ra de las instrucciones que el aplicador debe hacer con los estudiantes. En todo momento, es preciso observar que las instrucciones sean dadas al pie de la letra, tal como consta en el manual.• El capacitador debe elegir a diferentes participantes cada vez; es importante que todos, o la mayoría, tengan la oportunidad de representar al menos una lectura de instrucciones de pruebas, ya que este elemento, por un lado, es motivador de aprendizajes más sólidos y por otro, permite al capacitador evaluar el desempeño de los candidatos a examinadores.• Dado que las instrucciones para tercero y sexto grados son las mismas y sólo varían por área, se sugiere asumir alternativamente que a veces el grupo es de tercero y a veces de sexto.

Materiales:- Presentación. Parte 2- Instructivos de las pruebas de cada área (al menos un juego de ejemplares por equipo)

4. Representaciones de las aplicaciones de los cuestionarios de factores asociados23 [Sólo si el Aplicador es el responsable de la administración de los cuestionarios (aspecto por definir)].

Objetivo:Entrenar a los participantes para la apropiada aplicación de los cuestionarios de factores asociados a los dife-rentes actores del proceso educativo.

Presentación introductoria a cuestionarios (15 minutos):

Este trabajo se iniciará haciendo una breve presentación (con soporte visual mediante el uso de diapositivas o transparencias) sobre las características esenciales de la aplicación de cuestionarios:- Características de los cuestionarios- Tipos de cuestionarios y aplicaciones posibles

A continuación se trabajará cada cuestionario.

Materiales:

- Presentación. Parte 3- Pauta para la aplicación de los cuestionarios- Set completo de cuestionarios

23 Sujeto a la definición final del conjunto de estos instrumentos.

52 53

4. 1 Cuestionario del estudiante (60 minutos)

Actividad:Se seguirá una dinámica similar a la empleada para la representación de la aplicación de las pruebas de logro. En primer lugar, se hará una lectura individual, o en parejas, del contenido del cuestionario del alumno y se estudiarán las indicaciones o instrucciones para su aplicación (material pendiente). Finalmente, el capacitador elegirá a uno o dos participantes para que representen frente a todo el grupo la administración del cuestionario. Tras dicha representación, los participantes harán sus comentarios, en plenaria.

4.2 Cuestionarios del docente (incluye los cuestionarios sobre enseñanza), el director y fi-cha de empadronamiento del centro educativo (45 minutos por instrumento).

Actividad:Para cada uno de estos instrumentos se sugiere dar 30 minutos para la revisión del cuestionario y 15 minutos de plenaria para resolver dudas puntuales.

4.3. Cuestionario de la familia

Se sugiere una actividad similar a la anterior. Adicionalmente, si el cuestionario admitirá formas alternativas de aplicación (por ejemplo: autoaplicada para zonas urbanas, aplicada mediante entrevista –pensando en padres de familia con analfabetismo-, etcétera) se recomienda capacitar en los diferentes procedimientos que han de ser considerados, para asegurar una alta tasa de respuesta.

5. Despedida del centro educativo, devolución de materiales y elaboración del reporte (60 minutos)

Objetivo:Ofrecer a los participantes indicaciones para asegurar una adecuada despedida del centro educativo, así como la devolución ordenada de los materiales a la sede principal y la elaboración del reporte final de aplicación.

Actividad:Se realizará una presentación (con soporte visual mediante el uso de diapositivas o transparencias) en el que se precisen los aspectos relativos al objetivo.

Si se considera conveniente, se puede reforzar la actividad realizando una representación de la despedida del centro educativo.

Finalmente, se revisará el Formulario 1 (F1), en la parte de devolución de materiales, y el Formulario 3 (F3), Informe del Aplicador.

Es importante aclarar que, si bien los tiempos pueden ajustarse de acuerdo con la situación particular de cada país, el tiempo mínimo previsto para la capacitación de los aplicadores debe ser de seis horas, excluyendo el tiempo que demande la organización y distribución de materiales y asignación de centros educativos.

54

CAPÍTULO III: MANUAL DEL APLICADOR PARA LA APLICACIÓN DEFINITIVA

Para asegurar que los resultados obtenidos en todos los países y escuelas que participan sean comparables y válidos, es preciso que todos los niños que participan en el estudio se evalúen bajo las mismas condiciones. Para ello, el rol de aplicador de los instrumentos es esencial.

Es imprescindible que Usted siga todas las indicaciones que se presentan en este manual y que ante cualquier duda consulte con su supervisor.

2. LISTA DE INSTRUMENTOS

Hay dos tipos de instrumentos:

• Las pruebas de logro, que serán respondidas por los estudiantes de tercero y sexto grado.

• Los cuestionarios de factores asociados, que serán respondidos por los mismos estudiantes que rinden las pruebas, sus familias, sus profesores y sus directores. Estos cuestionarios buscan obtener información sobre las condiciones escolares y familiares que pueden ayudar a explicar los resultados de las pruebas.

En la Tabla 1 se muestra la lista de instrumentos que se administrarán en este estudio. En apartados posteriores, se explicará cómo se debe aplicar cada uno de ellos.

54 55

Tabla 1. Lista de Instrumentos

Tipo Nombre Cuadernillos Código Forma de Administración ¿Quién lo responde?

Pruebas de Logro

Cuestion-arios

de Factores Asociados

3. ACTIVIDADES DEL APLICADOR

En esta sección presentaremos en 10 subtítulos las principales actividades que usted, como aplicador, deberá realizar. Es imprescindible que siga estrictamente los procedimientos establecidos en este apartado pues ello es un requisito para que todos los estudiantes que participan en el estudio sean evaluados bajo las mismas condi-ciones.

3.1 Establecer contacto con la escuela

Cada una de las escuelas participantes en el estudio ha designado un interlocutor24 , quien está a cargo de in-formar a los docentes, a las familias y a los estudiantes acerca de la evaluación. El aplicador debe presentarse ante la dirección de la escuela y solicitar hablar con dicho interlocutor o bien, si es que nadie ha sido designado aún para tal efecto, pedir al director que designe a una persona con la que puedan coordinar todos los aspectos relativos a la evaluación.

24 Cuando el director lo considere pertinente, él mismo podrá asumir esta responsabilidad.

Lectura

Escritura

Matemática

Ciencias

Del estudiante de 3

Del estudiante de 6

Del docente

De enseñanza

De la familia

Del directivo

Ficha de empadronamiento

Del 1 al 6

Del 1 al 2

Del 1 al 6

Del 1 al 6

Único

Único

Único

Cinco

Único

Único

Único

DL3 – DL6

DE3 – DE6

DM3 – DM6

DC6

QA3

QA6

QP

QL3, QL6,QM3,QM6, QC6

QF

QD

FE

Sesión colectiva

Autoadministrada

Autoadministrada

Autoadministrada/Entrevista

Autoadministrada

Entrevista

Estudiantes de tercero y sexto grado



Estudiantes de sexto grado

Estudiantes de tercer grado

Estudiantes de sexto grado

Docentes de lenguaje y matemática del aula evaluada

Docente del área respectiva del aula evaluada

Padres o tutores de los estudiantes de tercero y sexto grado evaluados

Director o miembro del equipo directivo

Aplicador con el apoyo del director

56

En lo posible, el aplicador realizará el primer contacto con antelación a la fecha prevista para la evaluación. Este contacto se establece en forma personal o por vía telefónica o electrónica, cuando las circunstancias así lo requieran. El objetivo es el siguiente:

• Ubicar o confirmar la dirección de la escuela y la forma de acceso a la misma;

• Confirmar la fecha, la hora y el lugar de la aplicación (por ejemplo: asegurar ambientes apropiados para dar las pruebas);

• Solicitar que en la escuela esté(n) presente(s) el o los docentes del aula durante los días de la aplicación para que responda(n) a los cuestionarios que le correspondan;

• Acordar la manera de manejar eventuales imprevistos o situaciones problemáticas;

• Acordar los procedimientos a seguir al concluir cada sesión;

• Llenar la ficha de empadronamiento del centro educativo25 ;

• Verificar la cantidad de estudiantes que hay en el grado y en cada sección a ser evaluada.

El primer día de aplicación, el aplicador debe explicar al director o al interlocutor, dentro de la escuela, que existe un sistema de supervisión de la calidad de la evaluación y que es posible, por lo tanto, que otra persona de la red de la evaluación se acerque o visite a la escuela para monitorear el proceso.

Si un motivo de fuerza mayor impidiera al aplicador realizar su trabajo, esto debe comunicarse al su-pervisor con la mayor antelación posible, de modo que puedan tomarse las medidas necesarias para resolver la situación.

3.2 Recibir el material de la evaluación y verificar que esté completo.

El aplicador recibirá el material de evaluación detallado en Formulario 1 (F1), de recepción y devolución de materiales. Debe verificar si ha recibido todos los documentos señalados en dicho formulario y, en el caso de que faltara alguno debe informar al supervisor.

Es necesario tener presente que el material de evaluación del SER CE podrá utilizarse en el futuro, a efectos de realizar otros estudios, y que, por tanto, es indispensable mantener su confidencialidad y garantizar que no se divulge ni se dañe. Esto significa que las pruebas no se pueden copiar bajo ninguna forma y que el aplicador es responsable de que todos los cuadernillos y cuestionarios que recibió retornen en perfecto estado.

La firma del aplicador en el Formulario 1 constituye el compromiso de confidencialidad que lo obliga a mantener bajo resguardo y protección todos los documentos que recibe.

25 En el caso de no ser posible completar esta ficha en este contacto, se la llenará durante los días de la aplicación.

56 57

3.3 Completar el Formulario de Asistencia de Estudiantes (F2)

El Formulario de Asistencia de Estudiantes (F2) tiene dos objetivos principales:

• Asegurar que cada estudiante de la muestra reciba el instrumento que le corresponde en cada sesión de evaluación. Esto se debe a que las pruebas de logro tienen formas o cuadernillos distintos (por ejemplo, existen 6 cuadernillos distintos de la prueba de lectura) y es importante que estos se repartan de acuerdo al orden establecido en este formulario.

• Llevar el registro de asistencia a las sesiones de evaluación.

Este formulario contiene:

• Los datos de la escuela y la sección. La Coordinación Nacional llena estos datos, previamente, y en aquellos casos que sea necesario, lo hará el aplicador;

• El nombre completo de cada estudiante que se va a evaluar en la sección o aula asignada; en caso de ser necesario, el aplicador debe completar esta información;

• Una columna para consignar si el estudiante tiene alguna necesidad educativa especial (NEE, especifi cadas en el anexo 3). En este caso, el aplicador coloca los siguientes códigos: o 1, si no hay discapacidad o limitación para responder la prueba o 2, para “Discapacidad funcional” o 3, para “Discapacidad intelectual” o 4, para “Limitación en el dominio del idioma” o 5, para “Otro tipo de problema”

• Una columna por prueba (Lectura, Escritura, Matemática y Ciencias en el caso de sexto), donde aparece el número de cuadernillo que le corresponde a cada estudiante;

• Una columna por cuestionario (estudiante y familia);

• En cada columna de prueba o del cuestionario del estudiante (QA), existe un recuadro en blanco don de se consigna la asistencia de cada estudiante. Se asigna: o 0, para “Inasistencia” o 1, para “Asistencia”

(Si algún estudiante se retira durante la evaluación, se considera asistente a la misma y se consigna el hecho en el Formulario 3: Registro de incidentes que se explicará más adelante).

• En la columna del cuestionario de la familia (QF), existe un recuadro en blanco donde se consigna la devolución del instrumento respondido. Se asigna: o 0, para “No aplicado”/“No devuelto” o 1, para “Respondido”.

58

EJEMPLO

FORMULARIO 2 . Lista de Asistencia de Estudiantes (TERCERO)

País: 01 Escuela: 075 Sección: 02Escuela: Libertador San Martín Dirección: Las Flores Nº 33 - Calafate - Provincia de Santa Cruz

Cód ApellidoPaterno

ApellidoMaterno Nombre NEE Lectura Escritura Matemática Cuestionario

EstudianteCuestionario

Familia

01 Almeida Rengifo Iván 1 C2 1 C2 1 C2 1 QA3 1 QF3 102 Castro Elizondo Mauricio 1 C3 1 C1 1 C3 1 QA3 1 QF3 103 Pérez Maldonado Laura 1 C4 1 C2 1 C4 1 QA3 1 QF3 104 Ramírez Valdez Cecilia 1 C5 1 C1 1 C5 1 QA3 1 QF3 105 Ramírez Bogoya Daniel 1 C6 1 C2 1 C6 1 QA3 1 QF3 106 Zapata Carbajo Pablo 4 C1 1 C1 1 C1 1 QA3 1 QF3 107 Zúñiga Cariola María 1 C2 1 C2 1 C2 1 QA3 1 QF3 1

TOTAL PERSONAS QUE RESPONDIERON 7 6 6 7 5FECHA DE APLICACIÓN (DD/MM) 21/07 21/07 22/07 22/07

En el ejemplo anterior, si tomamos el caso de la niña Laura Pérez Maldonado, encontramos que esta niña tiene asignado el código de estudiante 03. De acuerdo al F2, esta estudiante debe recibir el cuadernillo 4 en la sesión de Lectura, el cuadernillo 2 en la sesión de Escritura y el cuadernillo 4 en la sesión de Matemática. De acuerdo a lo consignado por el aplicador, esta niña estuvo presente en las sesiones de Lectura y Escritura y ausente en la sesión de Matemática. Por otro lado, Laura contestó el cuestionario de estudiante, pero no fue devuelto o aplicado el cuestionario de su familia.

Como se observa, el aplicador consigna en el F2 el dato de la cantidad total de estudiantes y padres de familia que responden a cada instrumento, asimismo registra la fecha en que cada sesión de evaluación con estudiantes se realizó.

El Formulario 2 debe ser sellado y firmado por el director o autoridad del centro educativo,una vez que el registro de asistencia a todas las sesiones se haya concluido.

3.4 Completar las carátulas de los instrumentos Completar las carátulas de los instrumentos

Antes de iniciar la aplicación de los instrumentos, el aplicador debe asegurarse de haber completado sus carátu-las de acuerdo con el F2: Lista de Asistencia de Estudiantes.

En cada instrumento, el aplicador debe llenar los siguientes códigos y datos:

• Códigos: país, escuela, sección y estudiante asignados por el LLECE.• Datos: nombre de la escuela, dirección de la escuela y nombre completo del estudiante.

Siguiendo el ejemplo anterior, la carátula correspondiente a la estudiante “Laura Pérez Maldonado” se muestra en el cuadro a continuación.

58 59

EJEMPLO DE CARÁTULA LLENADA POR EL APLICADOR

Debe asegurarse que el número de cuadernillo entregado al estudiante se corresponda con el que se asignó a ese estudiante en el Formulario 2.

Además, debe asegurarse que los códigos de Escuela, Sección y Estudiante correspon-dan al estudiante según dicho formulario.

60

3.5. Aplicar los instrumentos a los estudiantes

Aplicar los instrumentos a los estudiantes

A la hora fijada, el aplicador hace ingresar a los estudiantes al aula dispuesta para la aplicación de ins-trumentos. Una vez que los estudiantes están sentados y debidamente organizados, el aplicador les pide que sobre su pupitre sólo dejen su lápiz, una goma de borrar y un sacapuntas (el uso de diccionario y calculadora NO está permitido en ningún caso).

Luego, pasa lista a los estudiantes, de acuerdo con el orden en que aparecen en el F2, y le entrega a cada uno de ellos el cuadernillo correspondiente. En ningún caso puede entregar las pruebas a un estudiante que no aparece en el F2 en reemplazo de otro que sí aparece.

El orden de aplicación de los instrumentos y los tiempos establecidos para cada sesión de evaluación se muestran en las tablas 2 y 3.

Tabla 2. Distribución del tiempo para la aplicación de los instrumentos a estudiantes – TERCERO



Tiempo adicional (hasta 10 minutos) Tiempo adicional (hasta 10 minutos)Recolección de material Recolección de material

Pausa (20 minutos) Pausa (20 minutos)Prueba de Escritura Cuestionario del Estudiante

Instrucciones Instrucciones Desarrollo (45 minutos)

Tiempo adicional (hasta 10 minutos)Recolección del material Recolección del material

Entrega de cuestionarios de familia Recepción de cuestionarios de familia

Desarrollo (aproximadamente 20 minutos)

60 61

Tabla 3. Distribución del tiempo para la aplicación de los instrumentos a estudiantes – SEXTO




Pausa (15 minutos) Pausa (20 minutos)Prueba de Escritura Prueba de Ciencias



Pausa: (15 minutos)Cuestionario del Estudiante

Instrucciones Desarrollo (aproximadamente 45 minutos)

Recolección del materialEntrega de cuestionarios de familia

3.5.1 Conducir la aplicación de acuerdo con la Guía

Para garantizar que todas las sesiones de evaluación desarrolladas en todos los países que participan en el SER-CE brinden las mismas condiciones de oportunidad, tiempo e información, y que todos los estudiantes reciban las mismas instrucciones, es necesario que el aplicador utilice paso a paso la Guía que se incluye en el Anexo 5.

Se debe proceder de acuerdo con la Guía de Aplicación, leyendo los textos que en ella aparecen de forma clara, pausada y suficientemente audible. Si los estudiantes plantean dudas y formulan preguntas, podrá releerse el texto mencionado. El aplicador debe evitar agregar ejemplos o explicaciones no contempladas en los textos de la guía, sin embargo, puede adaptar el lenguaje para que los niños comprendan bien cómo deben colocar sus respuestas.

3.5.2 Supervisar la sesión En especial, se debe tener en cuenta:

Si los estudiantes comprenden bien cómo deben anotar sus respuestas;

• Que no se debe ayudar a los estudiantes acerca de qué significa un enunciado o palabra ni qué opción de respuesta deben elegir;

• Que no está permitido que los estudiantes salgan del aula, salvo en caso de extrema necesidad. Si algún estudiante debe retirarse antes de terminar la prueba, por razones de enfermedad o fuerza mayor, debe recogerse el cuadernillo;

Recepción de cuestionarios de familia

62

• Si algún estudiante que se haya retirado del aula antes de terminar la prueba, regresa y todavía dentro del tiempo previsto para la sesión, debe retornársele el cuadernillo o cuestionario para que continúe respondiéndolo (este hecho debe quedar consignado en el Formulario 3: Registro de incidentes);

• Que los estudiantes que terminen antes del tiempo previsto su trabajo deben revisarlo y permanecer en el aula hasta que termine la prueba;

• Que cumplido el tiempo establecido, deberán recogerse todos los cuadernillos;• Que la presencia del docente en el aula, durante las sesiones de evaluación a estudiantes, NO está permitida.

3.5.3 Finalizar la sesión

Al concluir el tiempo previsto para toda la sesión, el aplicador recogerá todos los cuadernillos y los cuestiona-rios de estudiantes; los organizará de acuerdo con la numeración que aparece en el F2 y los contará para con-firmar que posee de nuevo todo el material. Confirmará, además, que no falte ninguna parte de los materiales. Sólo después de las confirmaciones mencionadas, permitirá la salida de los estudiantes, agradeciéndoles su participación.

Recuerde que durante la aplicación de las pruebas de logro a los estudiantes NO puede ayudarlos con el contenido de la prueba, NI SIQUIERA explicarle el significado de una palabra que no entienden.

3.6 Administrar los cuestionarios de familia (QF)

Para la aplicación de los cuestionarios de familia (QF), se debe decidir el mejor mecanismo de admi-nistración del instrumento, con el propósito de garantizar la mayor cantidad de respuestas y el ade-cuado entendimiento de las preguntas.

Existen las siguientes alternativas de administración:

• Autoadministrada: El primer día de aplicación se envía el cuestionario a la familia a través del estudiante o se lo entrega personalmente y se acuerda su devolución al día siguiente. El instrumento irá y volverá en sobre cerrado, porque esto garantiza la confidencialidad de la información para tranquilidad de la familia.Este mecanismo es propicio para aquellas zonas o centros educativos en los que las familias están alfabetiza-das.

• Entrevista: En el caso que se considere que la autoadministración del instrumento plantea dificultades se puede optar por convocar al centro educativo a uno de los padres o responsables de cada estudiante evalu-ado para aplicar el cuestionario mediante entrevista individual o colectiva (leyendo al grupo las preguntas). Si las entrevistas son individuales, el aplicador debe tomar las previsiones necesarias en términos de tiempo.

La decisión sobre los mecanismos de administración del instrumento recaerá en el Supervisor, que evaluará cada caso. Idealmente, si existe un contacto previo con la escuela y se presume que los pa-dres de familia pueden tener dificultades con la autoadministración del cuestionario se debe coordinar su convocatoria.

62 63

3.7 Administrar los cuestionarios del director y de los docentes (QD, FE, QP, QL3, QL6, QM3, QM6 y QC6)

El aplicador entrega un cuestionario general al o los docentes responsables de enseñar matemática y/o lenguaje a la sección evaluada (QP) y los Cuestionarios sobre enseñanza, al o los docentes de la sección evaluada, según el área que le enseñan (Por ejemplo el QM3 se debe entregar al docente que enseña matemática al grupo de tercero que está siendo evaluado). En ese momento, muestra las indicaciones y le dice al docente que, cuando devuelva el cuestionario respondido, tendrá espacio para aclarar cualquier duda que le haya surgido durante su llenado. Idealmente, el aplicador puede aprovechar las sesiones de evaluación con los estudiantes para entregar al docente el respectivo cuestionario para que, de manera simultánea, lo conteste26 .

En cuanto al cuestionario del director (QD), debe ser entregado en la entrevista que tiene lugar al inicio del primer día de aplicación. Procediendo como con el cuestionario docente, el aplicador indicará al director que debe responder siguiendo las instrucciones del instrumento y que si surge alguna duda, esta podrá ser aclarada en el momento de devolverlo. El aplicador debe acordar una hora de devolución del cuestionario respondido dentro de los dos días de evaluación en la escuela.

Respecto a la ficha de empadronamiento del centro educativo (FE), como se dijo, es posible que esta haya sido llenada en la visita previa que se hace al mismo. De lo contrario, el aplicador la debe completar con el apoyo del director o de alguna autoridad del centro educativo durante los días de la aplicación.

Si en el centro educativo hubiera más de un aplicador trabajando, el supervisor designará a uno de ellos para administrar el cuestionario del director (QD) y la ficha de empadronamiento del centro educativo (FE).

3.8 Completar el Formulario de Registro de Incidentes (F3)

Cualquier anomalía en la aplicación de algún instrumento debe ser registrada en el F3. Si bien el aplicador debe tomar todas las precauciones necesarias para cumplir con las condiciones de aplicación establecidas en el pre-sente manual. Cualquier situación imprevista que pueda afectar la aplicación de los instrumentos o el desem-peño de los estudiantes en la prueba debe ser consignada en este reporte. Por ejemplo, problemas relacionados a las condiciones ambientales (exceso de ruido externo, interrupciones constantes de terceros), a la conducta del grupo que se está evaluando, a las condiciones del material de evaluación (por ejemplo, si se detectan instru-mentos con problemas de impresión o si los cuadernillos no coinciden con los del formulario 2), entre otros.

En este registro NO deben incluirse las dudas habituales que pueden plantear los estudiantes mientras son evaluados, por ejemplo, si no entienden una pregunta o si piden ayuda en la prueba, tampoco intentos fallidos de copiarse entre compañeros de aula o casos aislados de comportamiento inadecuado que no haya afectado al grupo.

Si hay rechazo enfático a responder algún instrumento por parte del docente, director, estudiante o padre de familia, deberá ser consignado el hecho en el F3. También se consigna aquí si algún estudiante durante alguna sesión de evaluación se retiró del aula, ya sea parte del tiempo de evaluación o toda la sesión.

El F3 se presenta en el Anexo 4. Al completarlo debe ser lo más claro, conciso y breve posible.

26 Los procedimientos para la distribución de estos cuestionarios, así como la correcta identificación de los docentes que respon-den en cada caso, se detallan en el documento “Pautas para la aplicación de los cuestionarios”.

64

3.9 Agradecer y despedirse de la escuela

Una vez concluidos todos los procesos de aplicación, usted debe agradecer a cada participante y dirigirse a la dirección de la escuela para agradecer por las facilidades prestadas, despedirse y solicitar que le sellen y firmen el Formulario 2, Lista de asistencia de estudiantes, en cada página del mismo. Además, usted llevará consigo el documento Evaluación del proceso de aplicación, que se muestra en el Anexo 5, y un sobre vacío, en el que el director o autoridad que responde la evaluación se la entregará una vez completada.

Finalmente, recordará a las autoridades educativas que el objetivo principal de esta evaluación es obtener infor-mación del rendimiento de los estudiantes a nivel de sistemas educativos nacionales y en la Región Latinoameri-cana. No obstante, ello ofrecerá a la escuela un breve informe de carácter pedagógico con recomendaciones a partir de los resultados obtenidos por los grupos de estudiantes evaluados (no se identificarán rendimientos individuales). Dicho informe será remitido por la Coordinación Nacional en <fecha>

3.10 Consolidar todo el material y devolverlo

El material de evaluación debe ser devuelto a la <Sede> , debidamente organizado y en perfecto estado, el mismo día en que fue aplicado. Si esto no fuera posible para aquellos casos en los que la distancia de la escuela obliga al aplicador a viajar fuera de la ciudad en la que se ubica la sede, el supervisor establecerá una fecha máxima de retorno del material de acuerdo a cada caso.

Las pruebas no pueden quedar, bajo ningún término, en los centros educativos. En cambio, en casos autorizados por el Coordinador Nacional, los cuestionarios de director, docente y familia pueden que-dar en el centro educativo para ser recogidos con posterioridad por el aplicador. El aplicador debe asegurarse de que entrega el siguiente material a <Sede>:

• El F1. Recepción y Devolución de Materiales, debidamente llenado;

• El F2. Lista de Asistencia de Estudiantes, debidamente llenado con el registro de los datos y asistencia de los estudiantes que respondieron las pruebas y los cuestionarios. Recuerde que este formulario se debe presentar con la firma y sello de la autoridad del centro educativo, con el propósito de hacer constar su participación en la evaluación;

• El F3. Registro de Incidentes, debidamente llenado;

• Todos los cuadernillos y cuestionarios respondidos y no respondidos por los estudiantes, los cuestion-arios respondidos por los docentes y el director de centro educativo y todos los cuestionarios de padres de familia o tutores que sea posible recoger.

Recuerde que las pruebas de logro son totalmente confidenciales y usted es el responsable de su res-guardo. No debe dejarlas en la escuela ni en ningún lugar en el que corran el riesgo de ser extraídas, copiadas o dañadas.

64 65

4. SITUACIONES PROBLEMÁTICAS: PREGUNTAS Y RESPUESTAS

A continuación, algunas soluciones a problemas frecuentes que se han detectado en experiencias anteriores. • ¿Qué hacer si todo el grupo de estudiantes termina la prueba antes del tiempo estipulado?Se ha establecido que es deseable que el grupo permanezca dentro del aula durante el tiempo de evaluación esta-blecido para una prueba. Esto para evitar que algunos estudiantes dejen el cuadernillo sin concluir por salir del aula junto con los compañeros que terminaron primero. Sin embargo, si se observa que todos los estudiantes del grupo han concluido la prueba, es decir, han respondido a toda ella, se puede dar por concluida la sesión.

• ¿Qué hacer si algún(os) estudiantes no han concluido la prueba una vez que el tiempo estipulado ha acabado?Tal como aparece en el cronograma de aplicación, en este caso se puede dar un máximo de 10 minutos adicio-nales de evaluación. El resto de estudiantes puede permanecer en el aula leyendo un libro o revista, o bien, salir. Evite, en lo posible, autorizar la salida de estudiantes del aula sin coordinarlo previamente con algún docente o autoridad del centro educativo.

• ¿Qué hacer si una emergencia lo obliga a salir del aula mientras está aplicando una prueba?Debe evitar salir del aula mientras aplica una prueba. Sin embargo, si una emergencia lo obliga a hacerlo, retire todos los cuadernillos de prueba y llévelos consigo. Anote el hecho en el Registro de Incidentes. Bajo ningún término deje los cuadernillos a solas con el director, con el docente o con los estudiantes.

En caso de sismo o emergencia que ponga en riesgo la integridad de los estudiantes evacue al grupo siguiendo las indicaciones de seguridad acordadas con el centro educativo. Identifique anticipadamente las zonas de se-guridad y las rutas de evacuación para poder afrontar este tipo de situaciones. Pasada la emergencia, anote el hecho en el Registro de Incidentes.

• ¿Qué hacer si el docente desea ingresar a la sesión de evaluación de sus estudiantes?Explique que no es posible hacerlo, debido a que la UNESCO así lo ha establecido como un requisito para ase-gurar igualdad de condiciones en la evaluación de todos los estudiantes de todos los países y que usted no está autorizado a modificar esta norma. Trate con cortesía al docente en todo momento, pero no le permita ingresar al aula bajo ningún concepto, si lo considera necesario pida ayuda a las autoridades del centro educativo.

66

ANEXO 1.

FORMULARIO 1. RECEPCIÓN Y DEVOLUCIÓN DE MATERIALES SERCE

Códigos LLECE: País: Escuela:

Datos de la Escuela:

Nombre :__________________________________________________________ Dirección: _________________________________________________________ Datos del Aplicador:

Nombre:_________________________________________ Código:

Aplicador: _________________ Código Aplicador Teléfono _____________ Fecha de recepción: _____________ Fecha de devolución: _____________

MATERIALES

____________________________ _____________________________ Firma del Aplicador Firma del Coordinador Nacional

(al recibir el material del Coordinador) (al recibir devuelto el material del Aplicador)

El Aplicador se compromete a mantener absoluta confidencialidad de todo el material recibido.

- ESTE DOCUMENTO TIENE CARÁCTER DE DECLARACIÓN JURADA -

Grado

Tercero

Sexto

Centro Educativo

Tipo de Cuadernillo o Cuestionario

LecturaEscritura

MatemáticaCuestionario Estudiante 3º

LecturaEscritura

MatemáticaCiencias

Cuestionario Estudiante 6º

RecibidosDevueltos

Respondidos

Cantidad

En blanco

DocenteDe enseñanza

DirectorFamilia

Ficha de empadronamiento

6667

ANEXO 2.A

FORMULARIO 2. Lista de Asistencia de Estudiantes (TERCERO)

País: Escuela: Sección Nombre Escuela _____________________ Dirección: ______________________________________

Código ApellidoPaterno


EstudianteCuestionario

Familia

01 C4 C2 C4 QA3 QF3

02 C5 C1 C5 QA3 QF3

03 C6 C2 C6 QA3 QF3

04 C1 C1 C1 QA3 QF3

05 C2 C2 C2 QA3 QF3

06 C3 C1 C3 QA3 QF3

07 C4 C2 C4 QA3 QF3

08 C5 C1 C5 QA3 QF3

. . . . . .

N . . . . .

TOTAL DE PERSONAS QUE RESPONDIERON AL INSTRUMENTO

FECHA DE APLICACIÓN (DD/MM)

68

TOTAL DE PERSONAS QUE RESPONDIERON AL INSTRUMENTO

FECHA DE APLICACIÓN (DD/MM)

ANEXO 2. B

FORMULARIO 2. Lista de Asistencia de Estudiantes (SEXTO)

País: Escuela: Sección Nombre Escuela _____________________ Dirección: _____________________________________

Código ApellidoPaterno


Estudiante Ciencias CuestionarioFamilia

01 C5 C1 C5 QA6 C5 QF6

02 C6 C2 C6 QA6 C6 QF6

03 C1 C1 C1 QA6 C1 QF6

04 C2 C2 C2 QA6 C2 QF6

05 C3 C1 C3 QA6 C3 QF6

06 C4 C2 C4 QA6 C4 QF6

07 C5 C1 C5 QA6 C5 QF6

08 C6 C2 C6 QA6 C6 QF6

09 C1 C1 C1 QA6 C1 QF6

. . . . . . .

N . . . . . .

68 69

ANEXO 3.

ESTUDIANTES CON NECESIDADES EDUCATIVAS ESPECIALES (NEE)

Con el propósito de seguir los mismos criterios en todos los países participantes en el SERCE, en relación con discapacidades o limitaciones que impiden presentar la evaluación, es muy importante tener en cuenta que sólo se permite la exclusión de estudiantes con alguna de las siguientes características:

Discapacidad funcional (código NEE 2): se trata de discapacidad física permanente, de moderada a seve-ra, que puede tener algún estudiante y que le impide presentar las pruebas; por ejemplo, la ceguera. Cuando la discapacidad funcional no impide realizar la evaluación —por ejemplo, en el caso de un sordo que lleva más de dos años estudiando español—, es necesario aplicar las pruebas al estudiante.

Discapacidad intelectual (código NEE 3): se refiere a la discapacidad emocional o intelectual que puede tener algún estudiante con un diagnóstico de retardo cognitivo, efectuado y certificado por un profesional debidamente registrado, salvo en aquellos casos donde sea materialmente imposible obtener dicho certificado. Esta definición incluye a aquellos estudiantes que son emocional o intelectualmente incapaces de seguir ins-trucciones simples, como los que presentan un cuadro moderado de autismo. Los estudiantes NO deben ser excluidos simplemente por tener un desempeño académico deficiente, dificultades de aprendizaje o problemas de conducta.

Limitación en el dominio del idioma (código NEE 4): se reconoce cuando la lengua materna del estudiante es diferente del español o del portugués, según sea caso, y lleva menos de dos años de escolaridad estudiando con esta lengua, lo cual constituye una barrera y una limitación para leer y comprender las pruebas en condi-ciones aceptables.

70

ANEXO 4.

FORMULARIO 3. REGISTRO DE INCIDENTES

Códigos LLECE: País: Escuela: Sección Datos de la Escuela:

Nombre :__________________________________________________________ Dirección: _________________________________________________________ Datos del Aplicador: Nombre:_________________________________________ Código:

Por favor responda la siguiente pregunta marcando con una X sobre la opción que corresponda: ¿El proceso de evaluación se realizó bajo los parámetros establecidos en el manual del aplicador?. (1) Sí, todos los procesos se realizaron de acuerdo al manual. (2) No. Hubo incidentes o anomalías que reportar.

Instrucciones 1. Si su respuesta fue (1), por favor firme el presente formulario y entréguelo al supervisor. 2. Si su respuesta fue (2), por favor llene el siguiente cuadro, antes de entregar el formulario al supervisor. 3. En el cuadro, use una fila por cada tipo de incidente. Agregue las que hagan falta para registrar lo sucedido. 4. En el cuadro:

• En la primera columna, identifique el código del instrumento en cuya aplicación se presentó la dificultad o anomalía. • En la segunda columna, describa el tipo de problema (Sea breve y preciso). • En la tercera columna, describa la solución que dio al problema Si no fue posible dar solución escriba “No”

Instrumento Incidente Solución

Observaciones Generales: ________________________________________________________________________ ________________________________________________________________________ ________________________________________________________________________

Firma del aplicador _________________

- ESTE DOCUMENTO TIENE CARÁCTER DE DECLARACIÓN JURADA -

70 71

ANEXO 5. Evaluación del proceso de aplicación

Estimado Director/a

En nombre de la oficina regional de la UNESCO y del <Entidad Nacional> deseamos agradecerle por todas las facilidades prestadas para que este estudio se desarrolle apropiadamente.

Quisiéramos pedirle su opinión respecto al proceso de evaluación realizado en este centro educativo. Esta infor-mación será muy útil para valorar la calidad del proceso y mejorar nuestra actuación en futuros estudios.

Mucho agradeceremos responda las preguntas a continuación, firme el documento y se lo devuelva al propio aplicador en el sobre qué el mismo le ha entregado cerrado y si es posible sellado también.

1. ¿Cuántos aplicadores visitaron este centro educativo?

a. Unob. Dosc. Tres o másd. No lo sé.

2. ¿Cuántos días duró la aplicación en su centro educativo?

a. Un díab. Dos díasc. Tres díasd. Cuatro días o máse. No lo sé

3. ¿El primer día de aplicación, el (los) aplicador(es) se acercaron a la dirección a saludar y coordinar las acciones para el trabajo?

a. Sí b. No

Por favor indique su opinión sobre el desempeño del aplicador o aplicadores:

4. Los aplicadores fueron amables y respetuosos.

a. Sí b. Noc. No lo sé

5. Los aplicadores fueron puntuales.

a. Sí b. Noc. No lo sé6. Los aplicadores mostraron un apropiado manejo de los procesos de evaluación.

72


7. Recibió quejas de algún miembro de la comunidad educativa como consecuencia de la presente evaluación.

a. Sí b. No

Si recibió quejas por favor indique quién las hizo (marque todas las que correspondan):

a. Algún(os) docente(s) a cargo del(os) grupo(s) evaluado(s).b. Otros docentes o la asociación sindical.c. Estudiantes evaluados.d. Padres de familia o asociación de padres de familia.e. Otros

8. Llegó a su centro educativo algún supervisor para monitorear el desarrollo de la aplicación.


9. Por favor, si tiene algún comentario (observación, queja o sugerencia) escríbalo en las siguientes líneas.

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Datos Generales:

Nombre de la escuela: ___________________________________________Teléfono / Dirección:____________________________________________

Datos del encuestado:

Nombre completo: _______________________________________________Cargo: _________________________________________________________

Firma: _____________________________

72 73

ANEXO 6.

4. GUÍA DE APLICACIÓN DE INSTRUMENTOS A ESTUDIANTES

4.1 PROTOCOLO DE PRESENTACIÓN GENERAL (PRIMER DÍA)

1. Al comenzar la sesión preséntese a sí mismo ante los estudiantes y lea a continuación el texto 1.

Texto 1.

4.2 SESIÓN LECTURA: TERCERO (PRIMER DÍA)

1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lápiz, goma de borrar y sacapuntas (recuerde que el uso de diccionario no es permitido).

2. Distribuya las pruebas y pídales que no las abran aún. Cada estudiante debe recibir el cuadernillo que le corresponde según el Formulario 2. Lista de Asistencia de Estudiantes.

Enseguida, lea el texto 2.

Texto 2.

Ustedes han sido elegidos para participar en un importante estudio internacional sobre educación.

Este estudio sirve para conocer cuánto aprenden los estudiantes en la escuela y para mejorar la educación en nuestro país.

Por eso es importante que se esfuercen y demuestren todo lo que saben.

Ahora todos van a resolver una prueba de lectura de textos. Cada uno tendrá una prueba diferente.

Encontrarán algunas preguntas fáciles y otras más difíciles. Intenten responderlas todas.

Recuerden esto: lo más importante es que se esfuercen y demuestren todo lo que saben.

Voy a leer en voz alta la carátula y las instrucciones generales mientras ustedes las leen en silencio junto conmigo.

74

3. Lea en voz alta y lentamente la carátula, desde el título del instrumento.

74 75

4. Lea a continuación las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la tercera pregunta de las instrucciones solos y mire si han comprendido cómo deben marcar sus respuestas. Si lo considera necesario repita las instrucciones.

76

5. Tras leer las instrucciones de la evaluación de lectura y asegurarse de que los estudiantes han comprendido cómo marcar sus respuestas, lea el texto 3.

Texto 3.

6. Anote en la pizarra la hora de inicio y término. Utilice un cronómetro o un reloj para medir el tiempo de prueba. Supervise la sesión, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algún estudiante está resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el con-tenido de la prueba o sobre el significado de las palabras.

A los 45 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar.

Cuando considere que un estudiante ha respondido el cuadernillo, podrá retirárselo y decirle que puede leer un libro o una revista. No permita que ningún estudiante o grupo salga del salón antes de que el tiempo de prueba haya acabado (los estudiantes saldrán solo cuando el tiempo de sesión se haya cumplido o en el caso excepcional de que todos hayan terminado la prueba antes del mismo).

7. A los 60 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permítales salir del aula. A los que no han concluido dígales que permanezcan en el aula y concédales 10 minutos adicionales. Un vez transcurridos retire también sus cuadernillos.

8. Haga la pausa de 20 minutos y convóquelos para la siguiente sesión.

4.3 SESIÓN ESCRITURA: TERCERO (PRIMER DÍA)

1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lápiz, goma de borrar y sacapuntas.

2. Distribuya las pruebas y pídales que no las abran aún. Cada estudiante debe recibir el cuadernillo que le corresponde según el Formulario 2. Lista de Asistencia de Estudiantes.


Tienen 60 minutos para responder a la prueba. Recuerden seguir las instrucciones y trabajen en silencio.

Si alguien tiene una duda, levante la mano y espere que me acerque a su sitio.

Ahora pueden comenzar.

76 77

Texto 4.

3. Lea en voz alta y lentamente la carátula, desde el título del instrumento. Insista, releyendo, en que la prueba se resuelve siguiendo tres pasos, uno después del otro y en cuáles son esos pasos. Bajo ningún concepto aclare a los estudiantes las consignas que siguen al cartelito “ESPERA”, ubicadas dentro de la prueba.

4. Tras leer la carátula de la evaluación de escritura, lea el texto 5.

Ahora van a tener 45 minutos para responder a una evaluación de escritura. Cada uno tendrá una prueba diferente. Voy a leer en voz alta las instrucciones

generales mientras ustedes las leen en silencio junto conmigo.

78

Sigan las instrucciones y trabajen en silencio. Si alguien tiene una duda, levante la mano y espere que me acerque a su sitio.

Texto 5.

5. Anote en la pizarra la hora de inicio y término. Utilice un cronómetro o un reloj para medir el tiempo de prueba. Supervise la sesión, sin distraer a los estudiantes. Si algún niño solicita su ayuda para la lectura de las instrucciones en las páginas interiores, que corresponden a cada uno de los pasos en particular, dígale que lea con atención esas instrucciones, ubicándose a su lado para no distraer al resto del grupo. NO lea en voz alta ni agregue explicaciones adicionales.


Cuando considere que un estudiante ha respondido el cuadernillo, podrá retirárselo y decirle que puede leer un libro o una revista. No permita que ningún estudiante o grupo salga del salón antes de que el tiempo de prueba haya acabado (los estudiantes saldrán sólo cuando el tiempo de sesión se haya cumplido o en el caso excepcional de que todos hayan terminado la prueba antes del mismo).


7. Concluido el tiempo, si procede, entregue los cuestionarios a las familias. Luego, despídase de los estudiantes y anúncieles que el día de mañana seguirán trabajando juntos. 4.4 SESIÓN MATEMÁTICA: TERCERO (SEGUNDO DÍA)

1. Salude a los estudiantes, si lo considera necesario repita la información del protocolo de presentación (texto 1). Anuncie que el día de hoy comenzarán con una evaluación de matemática.

2. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lápiz, goma de borrar y sacapuntas (recuerde que el uso de calculadora no está permitido).

3. Distribuya las pruebas y pídales que no las abran aún. Cada estudiante debe recibir el cuadernillo que le co-rresponde según el Formulario 2. Lista de Asistencia de Estudiantes.


78 79

Texto 6.


Ahora todos van a resolver una prueba de matemática. Cada uno tendrá una prueba diferente.




80

5. Lea a continuación las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la tercera pregunta de las instrucciones solos y verifique si han comprendido cómo deben marcar sus respuestas. Si lo considera necesario repita las instrucciones.

80 81

6. Tras leer la carátula y las instrucciones, lea el texto 7.

Texto 7.

7. Anote en la pizarra la hora de inicio y término. Utilice un cronómetro o un reloj para medir el tiempo de prueba. Supervise la sesión, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algún estu-diante está resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el conteni-do de la prueba o sobre el significado de las palabras.





Tienen 60 minutos para responder la prueba. Recuerden seguir las instrucciones y trabajar en silencio.

Pueden emplear los espacios en blanco de la prueba para hacer sus cálculos.Si alguien tiene una duda, levante la mano y espere a que me acerque

a su sitio. Ahora pueden comenzar.

82

Ahora vamos a responder un cuestionario. Esto no es una prueba. Queremos conocer sus opiniones.

No hay respuestas correctas o incorrectas.Lean con cuidado cada pregunta y contesten de acuerdo con su opinión. Expresen lo que realmente piensan; sus respuestas no las van a conocer

ni sus docentes ni el director ni sus padres ni sus compañeros. Si en el cuestionario hay algo que no entienden,

pídanme ayuda levantando la mano y guardando silencio. Yo me acercaré a sus lugares para ayudarlos.

4.5. SESIÓN CUESTIONARIO: TERCERO (SEGUNDO DÍA)

1. Distribuya los cuestionarios y lea el texto 8.

Texto 8.

2. A diferencia de lo que sucede con las pruebas, usted sí puede ofrecer asistencia a los estudiantes.Incluso puede leer las preguntas a aquellos que no puedan hacerlo solos.

3. Cuando los estudiantes hayan concluido, recoja los cuestionarios y despídase de ellos agradeciéndoles por su participación.

82 83

4.6 SESIÓN LECTURA: SEXTO (PRIMER DÍA)

1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lápiz, goma de borrar y sacapuntas (recuerde que el uso de diccionario no es permitido).



Texto 9.


Ahora todos van a resolver una prueba de lectura de textos. Cada uno tendrá una prueba diferente.




84

4. Lea a continuación las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la tercera pregunta de las instrucciones solos y mire si han comprendido cómo deben marcar sus respuestas. Si lo considera necesario repita las instrucciones.

84 85

5. Tras leer las instrucciones de la evaluación de lectura y asegurarse de que los estudiantes han comprendido cómo marcar sus respuestas, lea el texto 10.

Texto 10.






Tienen 60 minutos para responder a la prueba. Recuerden seguir las instrucciones y trabajen en silencio.

Si alguien tiene una duda, levante la mano y espere que me acerque a su sitio. Ahora pueden comenzar.

86

Ahora van a tener 45 minutos para responder a una evaluación de escritura. Cada uno tendrá una prueba diferente. Voy a leer en voz alta las instrucciones generales

mientras ustedes las leen en silencio junto conmigo.

4.7 SESIÓN ESCRITURA: SEXTO (PRIMER DÍA)

1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lápiz, goma de borrar y sacapuntas.



Texto 11.

3. Lea en voz alta y lentamente la carátula, desde el título del instrumento. Insista, releyendo, en que la prueba se resuelve siguiendo tres pasos, uno después del otro y en cuáles son esos pasos. Bajo ningún concepto aclare a los estudiantes las consignas que siguen al cartelito “ESPERA”, ubicadas dentro de la prueba.

86 87

4. Tras leer la carátula de la evaluación de escritura, lea el texto 12.

Texto 12.

5. Anote en la pizarra la hora de inicio y término. Utilice un cronómetro o un reloj para medir el tiempo de prueba. Supervise la sesión, sin distraer a los estudiantes. Si algún niño reclama su ayuda para la lectura de las instrucciones en las páginas interiores, que corresponden a cada uno de los pasos en particular, dígale que lea con atención esas instrucciones, ubicándose a su lado para no distraer al resto del grupo. NO lea en voz alta ni agregue explicaciones adicionales.





Sigan las instrucciones y trabajen en silencio. Si alguien tiene una duda, levante la mano y espere que me acerque a su sitio.

88

Ahora vamos a responder un cuestionario. Esto no es una prueba. Queremos conocer sus opiniones. No hay respuestas correctas o incorrectas.

Lean con cuidado cada pregunta y contesten de acuerdo con su opinión. Expresen lo que realmente piensan; sus respuestas no las van a conocer

ni sus docentes ni el director ni sus padres ni sus compañeros. Si en el cuestionario hay algo que no entienden, pídanme ayuda levantando la mano y guardando silencio. Yo me acercaré a sus lugares para ayudarlos.

4.8 SESIÓN CUESTIONARIO: SEXTO (PRIMER DÍA)

1. Distribuya los cuestionarios y lea el texto 13.

Texto 13.

2. A diferencia de lo que sucede con las pruebas, usted sí puede ofrecer asistencia a los estudiantes. Incluso puede leer las preguntas a aquellos que no puedan hacerlo solos.

3. Cuando los estudiantes hayan concluido, recoja los cuestionarios y despídase de ellos agradeciéndoles por su participación.

4. Concluido el tiempo, si procede, entregue los cuestionarios a las familias. Luego, despídase de los estudiantes y anúncieles que el día de mañana seguirán trabajando juntos. 4.9 SESIÓN MATEMÁTICA: SEXTO (SEGUNDO DÍA)

1. Salude a los estudiantes, si lo considera necesario repita la información del protocolo de presentación (texto 1). Anuncie que el día de hoy empezarán por una evaluación de matemática.

2. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lápiz, goma de borrar y sacapuntas (recuerde que el uso de calculadora no es permitido).



88 89

Texto 14.


Ahora todos van a resolver una prueba de matemática. Cada uno tendrá una prueba diferente.




90

5. Lea a continuación las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la tercera pregunta de las instrucciones solos y verifique si han comprendido cómo deben marcar sus respuestas. Si lo considera necesario repita las instrucciones.

90 91


Texto 15.







Pueden emplear los espacios en blanco de la prueba para hacer sus cálculos.Si alguien tiene una duda, levante la mano y espere a que me acerque a su sitio.

Ahora pueden comenzar.

92

4.10 SESIÓN DE CIENCIAS (SEGUNDO DÍA)

1. Distribuya las pruebas y pídalas que no las abran aún. Cada estudiante debe recibir el cuadernillo que le corresponde según el Formulario 2. Lista de Asistencia de Estudiantes.


92 93

3. Lea a continuación las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la segunda y tercera preguntas de las instrucciones solos y verifique si han comprendido cómo deben marcar sus respuestas. Si lo considera necesario repita las instrucciones.

94

94 95


Texto 16.





6. Cuando el tiempo haya concluido, recoja los cuestionarios y despídase de los estudiantes agradeciéndoles por su participación.


Si alguien tiene una duda, levante la mano y espere a que me acerque a su sitio. Ahora pueden comenzar.

96

CAPÍTULO IV: MANUAL PARA LA CODIFICACIÓNDE LOS ÍTEMS DE RESPUESTA ABIERTA DE MATEMÁTICA

En su paso por la escuela, el estudiante debe lograr, entre otras cosas, la incorporación significativa a sus estruc-turas cognitivas de conceptos y habilidades. Esto posibilita que los contenidos conceptuales, procedimentales y actitudinales aprendidos puedan ser aplicados a situaciones nuevas surgidas de la matemática o de la vida real del alumno en sus diferentes ámbitos de desempeño. La presente evaluación, por lo tanto, no está limitada sola-mente a lo que los alumnos han aprendido, sino que también está concentrada en determinar si los estudiantes pueden utilizar lo aprendido.

Desde una perspectiva que considera que el conocimiento se construye mediante un proceso en el que las ideas pueden evolucionar gracias a situaciones problemáticas que favorecen la explicitación y contraste de puntos de vista, la evaluación es un elemento fundamental de la dinámica del proceso de aprendizaje (Sanmartí y Jorba, 1995 citado por Callejo, 1996). Por eso es importante destacar que la evaluación se debe centrar tanto en los resultados como en los procedimientos utilizados para resolver los problemas.

El medio más utilizado para evaluar ciertos procedimientos es a través de la resolución de problemas.

Es así como el estudiante, ante situaciones a resolver, pone en juego los contenidos conceptuales, procedimen-tales y actitudinales que ha aprendido. Las producciones del alumno son una información sobre su “estado de saber”.

Las tareas presentadas a los estudiantes permiten evaluar los aprendizajes para obtener información del grado de dominio que tienen sobre los conocimientos en cuestión.

La recolección de la información a través de este tipo de tareas permitirá conocer:

• dónde se encuentran los estudiantes en los aprendizajes de los procedimientos que utilizan en la reso lución de problemas, sus logros y sus dificultades,

• los saberes que utilizan , las estrategias que usan, la forma en que comunican los procedimientos y re sultados,

• la capacidad de los alumnos para usar sus conocimientos en la resolución de nuevos problemas.

Los procedimientos matemáticos generales tienen una presencia insustituible en el quehacer matemático. Pero en matemática no se trabaja separando problemas, representaciones, modelizaciones, demostraciones, sino que varios procedimientos convergen en las tareas matemáticas.

La resolución de algunos problemas matemáticos requiere de procesos de identificar, interpretar, comparar, relacionar, clasificar y ordenar los distintos tipos de números y sus propiedades.

En la resolución de ciertos problemas planteados matemáticamente se ponen en juego las operaciones, tenien-do en cuenta su significado en cada conjunto numérico y la forma de calcular los resultados.

96 97

Para resolver problemas, los alumnos deben reconocer y saber usar las propiedades de las figuras bidimensiona-les y tridimensionales, aplicar los conceptos de ubicación y medida, usar y operar con las unidades de medida, así como organizar, procesar e interpretar información estadística en sus diferentes formas de representación.

Por su parte, la comunicación permite brindar y recibir información, establecer conexiones entre diferentes formas de representación gráfica, simbólica o verbal de conceptos y relaciones matemáticas, precisar el vocabu-lario, dar a conocer las ideas y los procedimientos de la matemática.

2. Las pruebas de Matemática SERCE

Las pruebas de Matemática SERCE incluyen dos tipos diferentes de ítems:

• de opción múltiple con cuatro opciones o alternativas de respuesta,• de respuesta abierta a desarrollar por el estudiante.

Los ítems de opción múltiple presentan un enunciado incompleto o una pregunta y cuatro opciones de respues-ta. Una sola es la correcta. El estudiante debe resolverlo y seleccionar la respuesta que cree correcta.

Los ítems de respuesta abierta son aquellos en los cuales el estudiante tiene que construir su propia respuesta. Para ello tiene que diseñar, realizar y comunicar su procedimiento de resolución.

Ambos tipos de ítems están orientados a medir logros en los aprendizajes, pero se diferencian en el tipo de información que entregan a partir de sus resultados.

En el caso de los ítems de opción múltiple, aunque pueden llegar a medir complejos procesos de pensamiento, se focalizan, en general, en objetivos precisos. Cada ítem permite evaluar un aspecto de un objetivo mayor y la suma de todos ellos da cuenta del nivel de logro del o los objetivos planteados.

En el caso de las preguntas de respuesta abierta, el proceso tiene tanta o más importancia que el resultado, por-que dichas preguntas facilitan conocer los distintos caminos de exploración que sigue el estudiante. Permiten seguir una línea argumentativa, posibilitan establecer los niveles de dominio de conocimiento en las diferentes etapas del proceso de solución y monitorear los procedimientos que siguen los estudiantes para resolver los problemas planteados. Las pruebas de Matemática SERCE ponen el énfasis en aquellos procedimientos, habi-lidades y destrezas vinculadas a la resolución de problemas y a la comunicación.

Por lo tanto, los ítems de respuesta abierta necesitan la clasificación y codificación de codificadores expertos. Pero para que esta codificación sea lo más objetiva posible es necesario que se efectúe teniendo en cuenta una guía común de consignas y códigos de corrección para cada ítem. De esta manera, los codificadores clasifican y codifican las respuestas. Las categorías: crédito total, crédito parcial y sin crédito dividen las respuestas de los alumnos según la habilidad matemática que demuestran al producir su respuesta. Si bien la guía describe y ejemplifica cada código para lograr la mayor objetividad, los codificadores deberán tener en cuenta el grado de habilidad matemática que el estudiante muestra al resolver el ítem.

98

3. Estructura de los ítems de respuesta abierta

En general, cada ítem de respuesta abierta tiene un enunciado, una pregunta y un recuadro en blanco en el que el alumno desarrollará su procedimiento de resolución, los cálculos, argumentos, razones plausibles, dibujos o esquemas necesarios. En la parte inferior de ese recuadro está el lugar asignado para que el alumno escriba la respuesta.

En otros ítems, el alumno tendrá que hacer trazos para completar un diseño.

4. Estructura de las consignas de codificación

Las consignas de codificación tienen la siguiente estructura:

• Código del ítem, indicación de su ubicación en los cuadernillos de la aplicación piloto y muestra reducida del ítem.• Categoría de respuesta: Crédito total, crédito parcial o sin crédito.• Código numérico para cada categoría de respuesta.• Descripción de la categoría de respuesta que corresponde a cada código.• Ejemplos de las respuestas de los alumnos para cada código.

En todos los casos los ejemplos que se muestran son algunos de los posibles y se extrajeron de las producciones de los alumnos en la aplicación piloto.

5. Código de dos dígitos

El código de dos dígitos lo usa PISA y TIMSS para la codificación de los ítems abiertos de Matemática yCcien-cias.

En el código de dos dígitos, el primer dígito indica el crédito asignado a la respuesta. El segundo dígito se usa para codificar las diferentes clases de respuestas o estrategia puesta en juego para responder.

El uso del código de dos dígitos posibilita reunir más información acerca de los conceptos erróneos, errores comunes, nociones que no han logrado construir y diferentes abordajes que adoptan los estudiantes para resol-ver los problemas.

Al mismo tiempo, el código de dos dígitos indica claramente los niveles jerárquicos de respuestas.

6. Cuestiones generales de la codificación

• Omisión del procedimiento de solución: Si el procedimiento de resolución del ítem no estuviera escrito, a pesar de estar expresamente pedido en las instrucciones, la codificación varía según la pregunta. Es necesario, entonces, consultar la guía de corrección de cada pregunta para decidir el código que se asignará a las respues-tas.• Errores ortográficos y gramaticales:No se tomará en cuenta los errores ortográficos y gramaticales.

• Dudas que el corrector puede tener: Si ante una situación el corrector dudara y no fuera capaz de asig-nar el código, porque entiende que la respuesta del alumno no se ajusta a ninguna de las categorías presentadas en esta guía de corrección, lo consultará con el Supervisor de la codificación de los ítems abiertos de Matemá-tica.

98 99

• Situaciones que pueden presentarse:Algunos ítems de respuesta abierta requieren un procedimiento que tiene varios pasos. Si el estudiante realiza correctamente uno de esos pasos y el resto del trabajo es erróneo, se le asignará el crédito parcial, siempre y cuando esta parte no contradiga la parte que efectuó correctamente.

Si el estudiante resuelve un ítem utilizando dos procedimientos distintos y ambos correctos, se le asignará el código que corresponde al mayor nivel de desempeño.

En cambio, si un estudiante resuelve un ítem utilizando dos procedimientos diferentes, uno correcto y otro incorrecto y no escribe la respuesta se le asignará código 12, que corresponde a una respuesta incorrecta.

Si el estudiante resuelve el problema correctamente, pero no respeta la consigna del lugar asignado para resol-verlo, su respuesta será considerada válida.

Por ejemplo: o Si el estudiante hace las cuentas fuera del recuadro asignado para ello.

o Si coloca la respuesta en otro lugar de la hoja distinto del asignado.

o Si no da una respuesta explícita: “Había 16 dulces en la caja” sino que termina su procedimiento de resolución con “16”, resaltándolo o no, pero que claramente se ve que es el resultado final.

• Códigos para respuestas especiales:

o Código W

Este código se asigna cuando un ítem está mal impreso, mal encuadernado o fotocopiado, cuando es ilegible y, por lo tanto, el alumno no puede resolverlo.

o Código Z

Este código es para las omisiones. Se reserva para los casos en que los estudiantes no han dejado evidencias de sus intentos por responder el ítem. Abarca el espacio en blanco y expresiones tales como “No me alcanzó el tiempo”.

o Código cuyo primer dígito es 1

Si el alumno en cambio, responde “No sé”, “No lo entiendo”, tacha, hace una cruz, marcas, escribe groserías, expresiones o hace dibujos que no corresponden con la tarea propuesta, se le asigna el código cuyo primer dígito es 1.

100

7. Guía general de codificación de los ítems de respuesta abierta de tercero

A . Código DM3.B2.IT 11ÍTEM 23 del Cuadernillo 1 – ÍTEM 11 del Cuadernillo 4

• Dominio de contenidos: Numérico. • Dominio cognitivo: Solución de problemas simples.• El ítem requiere que el alumno resuelva un problema que involucra dos operaciones: una adición y una sustracción o dos sustracciones.

Nota: En el código 33 se acepta como correcta la respuesta y el procedimiento aunque la representación no es adecuada. Si se presenta una resolución con este modelo, pero con un resultado erróneo se considera sin crédito.

En una caja hay 50 caramelos: 25 de naranja, 5 de limón y el resto de uva. ¿Cuántos caramelos de uva hay?

100 101

Crédito total:Código 3

20 caramelos ó 20, mostrando o no un procedimiento válido.

31 Suma y resta (uno de los cálculos puede no estar explícito). Ejemplo 1: 25 + 5=30; 50 - 30=20 Ejemplo 2: 25 + 5=30 y responde 20

32 Hace dos restas sucesivas (uno de los cálculos puede no estar explícito). Ejemplo 1: 50 – 25=25 y 25 – 5=20

33 Otra estrategia de solución. Ejemplo 1: 25 + 5 + 20=50 y responde 20 Ejemplo 2: 25 + 5=30; 30 + 20=50 y responde 20 Ejemplo 3: Dulces de uva hay 20, porque si hay 25 de naranja y 5 de limón, el resto es de uva : 20 Ejemplo 4: 50 - 25 5 20 y contesta 20

Nota: Si tiene error en la representación y no llega al resultado correcto, es código 12.

34 Respuesta correcta sin mostrar el procedimiento de resolución. Ejemplo: Respuesta 20 (sin procedimiento)

Crédito parcial:Código 2

21 Procedimiento matemático adecuado pero llega a un resultado incorrecto por errores en el cálculo. Ejemplo 1: 50 – 25 = 35 ; 35 – 5 =30

22 Procedimiento matemático adecuado sin error en los cálculos, pero da una respuesta¬ incor-recta. Ejemplo: 50 – 30 = 20 ; 25 + 5 = 30 y responde 30

23 El alumno hace el tratamiento correcto solamente de una parte de la tarea y da una respuesta parcial o no da respuesta. Ejemplo 1: 25 + 5 = 30 y responde “Hay 30 caramelos de uva”Ejemplo 2: 50 – 25 = 25 y responde “Hay 25 caramelos de uva”Ejemplo 3: 50 – 5 = 45 y responde “Hay 45 caramelos de uva” Ejemplo 4: 25 + 5 = 30

Sin crédito:Código 1

11 Suma todos los números con o sin error en los cálculos. Ejemplo 1: 50 + 25 + 5=80 Ejemplo 2: 50 + 25 + 5 =125

12 Otras respuestas. Ejemplo : 50 25 - 5 30

13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relación con la tarea propuesta.

14 No sé, no lo entiendo.

15 Respuesta correcta con procedimiento evidentemente inconsistente.

102

B. Código DM3.B2.IT 12ÍTEM 24 del Cuadernillo 1 – ÍTEM 12 del Cuadernillo 4

• Dominio de contenidos: Medidas.• Dominio cognitivo: Solución de problemas complejos.• El ítem requiere que el alumno lea y escriba la hora que indica el primer reloj, que le sume 6 horas y que dibuje en el segundo reloj las agujas que indican la hora del almuerzo.

Nota: El dibujo se considera correcto si se ve claramente la posición de las agujas, aunque sin tomar en cuenta la longitud de las mismas.


31 El alumno resuelve correctamente las dos partes del ítem. Escribe correctamente la hora del 1er reloj: 6 y cuarto; 6:15; 6 h y 15 minutos; 6:15 a.m. Y representa correctamente las agujas correspondientes a las 12 horas y 15 minutos en el 2do reloj.

32 Omite la primera parte del ítem y resuelve correctamente la segunda. No escribe la hora en el primer reloj, pero dibuja las 12:15 minutos en el se-gundo reloj.


21 Escribe incorrectamente la hora del 1er reloj, pero dibuja en el 2do reloj las 12:15 o la hora que resulta de sumarle 6 horas al registro que realizó para el prime-ro. 22 Escribe 6 horas y 15 minutos o expresión equivalente para el 1er reloj, pero comete errores en la segunda parte o la omite.


12 Otras respuestas. 13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relación con la tarea propuesta.14 No sé, no lo entiendo.

102 103

C. Código DM3.B4.IT 11ÍTEM 23 del Cuadernillo 2 – ÍTEM 11 del Cuadernillo 5

• Dominio de contenidos: Numérico.• Dominio cognitivo: Solución de problemas simples.• El ítem requiere que el alumno use el concepto de medio o de mitad para resolver una situación.

Con 3 litros de jugo, ¿cuántas botellas de 1/2 litro se pueden llenar?


6 ó 6 botellas, mostrando algún procedimiento correcto aritmético o gráfico que represente la respuesta correcta.

31 3 ÷ 1/2 = 6 botellas ó 3 ÷ 0,5 = 6 botellas ó 3 x 2 = 6 botellas

32 1/2 + 1/2 + 1/2 + 1/2 + 1/2 + 1/2 = 3 Se pueden llenar 6 botellas de ½ litro.

33 Dibuja 6 botellas de ½ litro o hace otra representación gráfica que exprese la respuesta correcta (puede estar acompañada de una elaboración aritmética). 34 Respuesta correcta con otros procedimientos. Ejemplo: 3+3=6 y responde 6 botellas.


21 Respuesta correcta sin mostrar el procedimiento.

22 Muestra la elección de un procedimiento válido, pero no llega al resultado correcto o no lo expresa en la unidad correcta. Ejemplo 1: Plantea la división, pero resuelve con error. Ejemplo 2: 3 x 2=6 y responde 6 litros.


11 Suma 1 + 2 + 3 = 6 litros, 6 botellas ó 6.

12 Otras respuestas. Ejemplo: 6 litros sin mostrar procedimiento.


14 No sé, no lo entendí.


104

D. Código DM3.B4.IT 12ÍTEM 24 del Cuadernillo 2 – ÍTEM 12 del Cuadernillo 5

• Dominio de contenidos: Geométrico.

• Dominio cognitivo: Solución de problemas simples.

• El ítem requiere que el alumno reconozca un elemento de un dibujo de 3

dimensiones en su representación en un dibujo de 2 dimensiones (en un plano).

104 105


21 El alumno hace una cruz u otra marca dentro del rectángulo que representa el escritorio.

22 Dibuja una flecha que señala el escritorio de la maestra.

23 Realiza la correspondencia entre el escritorio dibujado y su representación en el plano, mediante

una flecha u otro trazo.

24 Hace una cruz u otra marca que no sea una flecha fuera del rectángulo, pero muy próxima a su

contorno.


12 Otras respuestas.

13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relación con la

tarea propuesta.


E. Código DM3.B6.IT 11ÍTEM 23 del Cuadernillo 3 – ÍTEM 11 del Cuadernillo 6

• Dominio de contenidos: Geométrico.

• Dominio cognitivo: Solución de problemas complejos.

• El ítem requiere que el alumno aplique la propiedad de congruencia entre los lados opuestos de un

rectángulo, sume las medidas de los mismos y efectúe la equivalencia entre centímetros y metros.

El lado mayor de un rectángulo mide 130 centímetros y el lado menor mide 70 centímetros.

¿Cuántos metros mide la suma de los cuatro lados?

130 cm

70 cm

106


4 metros ó 4 m ó 4, mostrando su trabajo.

31 Procedimiento basado en la suma. Ejemplo 1: 130 cm + 130 cm + 70 cm + 70 cm = 400 cm; 400 cm = 4 m Ejemplo 2 : 1,30 m + 1,30 m + 0,70 m + 0,70 m = 4 m Ejemplo 3: 130+130=260; 70+70=140; 260+140=400= 4m

32 Procedimiento basado en multiplicación y suma. Ejemplo 1: 130 + 70= 200 ; 200×2=400 cm = 4 m ó 4 Ejemplo 2: 130×2=260 ; 70×2=140 ; 260 +140=400cm=4m Ejemplo 3: 1,30×2=2,60 ; 0,70×2=1,40 ; 2,60+1,40=4,00


21 Calcula correctamente el perímetro pero calcula mal la equivalencia. Ejemplo: 400 m ó 40 m ó 40, mostrando las operaciones.

22 Calcula correctamente el perímetro, pero omite la equivalencia o conversión de unidades. Ejemplo 1: 130 + 130 + 70 + 70=400 cm ó 400 Ejemplo 2: (130 + 70)×2 = 200 × 2 =400 cm ó 400 Ejemplo 3: 130 × 2 + 70 × 2=260 + 140=400cm ó 400 Ejemplo 4: 400 ó 400 cm, sin mostrar el procedimiento.

23 Procedimiento correcto para calcular el perímetro con error en los cálculos o faltando realizar una sola operación, realizando o no la equivalencia.Ejemplo 1: 130 x 2 = 260; 70 x 2= 240 ; 260 + 240 = 500Ejemplo 2: 130 + 130=260; 70 + 70=240Ejemplo 3: 130 + 130=260; 70 + 70=140; 260 + 114=374 Nota: El alumno comete un error al trasladar el resultado de la segunda suma.

24 Respuesta correcta sin mostrar el procedimiento. Ejemplo: 4 metros ó 4 m ó 4, sin mostrar el procedimiento.


11 Suma sólo los dos lados que son datos, con o sin error en el cálculo.





106 107

F. Código DM3.B6.IT 12ÍTEM 24 del Cuadernillo 3 – ÍTEM 12 del Cuadernillo 6

• Dominio de contenidos: Numérico.• Dominio cognitivo: Solución de problemas complejos.• El ítem requiere que el alumno resuelva un problema que implica calcular el número de elementos presentados en una distribución rectangular y luego lo triplique.

108


144 naranjas ó 144, mostrando un procedimiento válido o sin mostrar el procedimiento.

41 Con un procedimiento que involucra la multiplicación. Ejemplo:6 x 8=48 naranjas; 48 x 3=144 naranjas Ejemplo 2: 48 x 3=144 naranjas Ejemplo 3: 6 x 8 x 3=144 naranjas, la multiplicación en cualquier orden.

42 Con un procedimiento solamente aditivo. Ejemplo: 48+48+48=144 naranjas

43 Respuesta correcta sin mostrar el procedimiento. Ejemplo: 144 naranjas ó 144 sin mostrar el procedimiento.


Escribe un procedimiento correcto, pero con error al operar.

31 48 correcto y error en el cálculo en el paso siguiente. Ejemplo: 48 x 3=12432 Calcula con error el número de naranjas del 1er cajón, pero el paso siguiente es correcto. Ejemplo: 6 x 8 = 51 ; 51x3= 15333 Procedimiento correcto con error en los cálculos en ambos pasos. Ejemplo: 6 x 8=49; 49 + 49 + 49=68


Hace correctamente sólo un paso.

21 Calcula correctamente sólo el número de naranjas de un cajón y omite o seleccionaincorrectamente la siguiente operación. Ejemplo 1: 6 x 8=48; 48 x 2=96 Ejemplo 2: 48


12 Otras respuestas.13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relación con la tarea propuesta.14 No sé, no lo entiendo.15 Respuesta correcta con procedimientoevidentemente inconsistente.

108 109

8. Guía general de codificación de los ítemes de respuesta abierta de sexto

G. Código DM6. B2.IT 14ÍTEM 30 del Cuadernillo 1 – ÍTEM 14 del Cuadernillo 4

• Dominio de contenidos: Numérico. • Dominio cognitivo: Solución de problemas complejos.• El ítem requiere que el alumno resuelva un problema que implica varias operaciones entre números naturales.

Claudia vive en Batovia y en ese país la moneda es el bat. Claudia fue a la farmacia, compró

3 cajas de medicamentos de 150 bats cada caja y 2 frascos de jarabe de 72 bats cada uno.

¿Cuánto dinero le devolvió el farmacéutico si pagó con un billete de 1000 bats?

110


31 406 bats o 406, mostrando un procedimiento válido.

Ejemplo 1: 150 x 3=450 72 x 2=144, 450 + 144=594, 1000 – 594=406 bats

Ejemplo 2: 150 + 150 + 150 + 72 + 72=594; 1000 - 594=406 bats Ejemplo 3: 1000 – 594=406 bats


21 Procedimiento correcto y completo, con errores en los cálculos.

Ejemplo: 150 x 3=450 ; 72 x 2=144, 450 + 144=594, 1000 – 594=506 bats

22 Procedimiento incompleto: plantea correctamente parte del problema y omite o emplea incorrectamente sólo una de las operaciones (con o sin errores en los cálculos). Ejemplo 1: 150 x 3=450 ; 72 x 2=144; 450 + 144=594 bats Ejemplo 2: 150 x 2=300; 300 + 144=444; 1000 - 444=556 bats Ejemplo 3: 150 x 3=45 ; 72 x 2=144; 144 + 45=189 bats 23 Respuesta correcta sin mostrar el procedimiento. Ejemplo: 406 bats ó 406 sin mostrar el procedimiento.


11 Suma el precio de una caja de medicamentos y un frasco de jarabe y luego resta (con o sin error en los cálculos). Ejemplo: 150 + 72=222; 1000 – 222=88812 Otras respuestas.13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relación con la tarea propuesta.14 No sé, no lo entiendo.15 Respuesta correcta con procedimiento evidentemente inconsistente.

110 111

H. Código DM6.B2.IT 15ÍTEM 31 del Cuadernillo 1 – ÍTEM 15 del Cuadernillo 4

• Dominio de contenidos: Geométrico.• Dominio cognitivo: Solución de problemas simples.• El ítem requiere que el alumno resuelva un problema que involucra el concepto de medida del ángulo de un giro (360º) y el concepto y cálculo de una fracción.


21 72º ó 72 mostrando un procedimiento válido.

Ejemplo 1: de 360º = 72º Ejemplo 2: 360º ÷ 5 = 72º



11 Procedimiento correcto con errores de cál-culo. Ejemplo: 360 ÷ 5=70 12 Otras respuestas. Ejemplo: Mide el 20% del círculo.13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relación con la tarea propuesta.14 No sé, no lo entiendo.15 Respuesta correcta con procedimiento evi-dentemente inconsistente.

112

I. Código DM6.B2.IT 16ÍTEM 32 del Cuadernillo 1 – ÍTEM 16 del Cuadernillo 4

• Dominio de contenidos: Numérico. • Dominio cognitivo: Solución de problemas complejos.• El ítem requiere que el alumno resuelva un problema que involucra el cálculo del área de un rectángulo, de un cuadrado, equivalencia entre medidas de longitud o de superficie y división entre números naturales y decimales.

El piso de una habitación que tiene forma

rectangular mide 2,4 m de largo y

1,6 m de ancho. Si para cubrir el piso se

utilizan baldosas de forma cuadrada

de 20 cm por lado, ¿cuántas baldosas

se necesitan para cubrir todo el piso?

I. Código DM6.B2.IT 16 ÍTEM 32 del Cuadernillo 1 – ÍTEM 16 del Cuadernillo 4

El piso de una habitación que tiene forma rectangular mide 2,4 m de largo y 1,6 m de ancho. Si para cubrir el piso se utilizan baldosas de forma cuadrada de 20 cm por lado, ¿cuántas baldosas se necesitan para cubrir todo el piso?

112 113


31 96 baldosas ó 96, mostrando un procedimiento válido

Ejemplo 1:1,6 m = 160 cm2,4 m = 240 cmÁrea del piso= 160 x 240=38400 cm2Área de la baldosa = 20 x 20=400 cm2Nº de baldosas = 38400 ÷ 400=96 baldosasEjemplo 2: 1,6 x 2,4=3,84 0,20 x 0,20=0,04 3,84 ÷ 0,04= 96 baldosas Ejemplo 3: 160 ÷20=8 240 ÷20=12 12 x 8=96 baldosas


21 Procedimiento correcto, con error en los cálculos y/o en las conversiones. Ejemplo: 160 x 240=38400 20 x 20=40 38400 ÷ 40=960

22 Procedimiento y cálculos correctos, pero muestra una respuesta incorrecta. 1,6 x 2,4 = 3,84 ; 0,20 x 0,20 = 0,04 3,84 ÷ 0,04 = 96 y responde 960 baldosas. 23 Tratamiento correcto de sólo una parte de la tarea y el resto del trabajo omitido o con errores.• Una o dos áreas correctas y el resto omitido o con errores. Ejemplo 1: 2,4 x 1,6 = 3,84 ; 3,84 x 20 = 76,80 Ejemplo 2: 20 x 20 = 400• Conversiones correctas y el resto omitido o con errores.• Otra estrategia.Ejemplo: 1,6m = 8 baldosas 2,4m = 12 baldosas; 12 + 8 = 2024 Respuesta correcta sin mostrar el procedimiento.


11 Procedimientos asociados al cálculo de perímetros o suma de datos. Ejemplo 1: 2,4 + 1,6 = 4 Ejemplo 2: 2,4 + 1,6 + 20 = 24 12 Otras respuestas.




114

J. Código DM6.B4.IT 14ÍTEM 30 del Cuadernillo 2 – ÍTEM 14 del Cuadernillo 5

• Dominio de contenidos: Numérico.• Dominio cognitivo: Solución de problemas simples.• El ítem requiere que el alumno resuelva un problema. Para ello debe seleccionar la operación correcta y resolverla. Dicha operación es entre dos números decimales o entre un número decimal y un núme- ro natural

Juana vive en Batovia y en ese país la moneda se llama bat.

Juana compró 2,5 kg de carne y pagó 222,50 bats. ¿Cuánto cuesta el kilogramo de carne

en Batovia?

114 115


89 bats ó 89, mostrando un procedimiento válido.

31 222,50 ÷ 2,5 = 89

32 222,50 ÷ 5 = 44,5 ; 44,5 x 2 = 89

33 222,50 ÷ = 89

34 89 bats con otros procedimientos. Ejemplo: 222,5 ÷ 5 = 44,5 222,5 – 44,5 = 178 178 ÷ 2= 89


21 Planteo correcto de la división o de un procedimiento correcto, pero con errores en el cálculo, con resolución incompleta del mismo o sin resolución. Ejemplo 1: 222,5 ÷ 2,5 = 8,9 Ejemplo 2: 222,5 ÷ 2,5 =

22 Procedimiento y cálculos correctos, muestra error en la respuesta. Ejemplo: 222,5 ÷ 2,5 = 89 y responde 222,5

23 Respuesta correcta sin mostrar el procedimiento que la justifique.






116

K. Código DM6.B4.IT 15ÍTEM 31 del Cuadernillo 2 – ÍTEM 15 del Cuadernillo 5

• Dominio de contenidos: Numérico. • Dominio cognitivo: Solución de problemas simples.• El ítem requiere que el alumno resuelva un problema que implica calcular un fracción de un entero y operar.

La tercera parte de las mesas de la escuela de Antonio son verdes y el resto son azules.

Si la escuela tiene en total 360 mesas, ¿cuántas hay de cada color?


31 120 mesas verdes y 240 azules , mostrando un procedimiento válido.

Ejemplos: • 1/3 de 360 = 120 verdes 360 – 120 = 240 azules• 1/3 de 360 = 120 verdes 2/3 de 360 = 240 azules• 360 ÷ 3 = 120 verdes 360 – 120 = 240 azules



21 Procedimiento adecuado con error en los cálculos. 360 ÷ 3 = 130 ; 360 – 130 = 230

22 Procedimiento adecuado con error al interpretar la respuesta: 120 mesas azules y 240 verdes.

23 Procedimiento incompleto (sólo calcula el número de mesas de un color). Ejemplos:• 120 de cada color• 120 verdes• 120


11 Divide 360÷ 2= 180





116 117

L. Código DM6.B4.IT 16ÍTEM 32 del Cuadernillo 2 – ÍTEM 16 del Cuadernillo 5

• Dominio de contenidos: De la Medida.• Dominio cognitivo: Solución de problemas simples.• El ítem requiere que el resuelva un problema que involucre el concepto y el cálculo del volumen de un prisma.


6 cubos ó 6, mostrando o no un procedimiento válido.

31 6 cubos con un procedimiento basado en el cálculo del volumen de las dos cajas y la división entre ellos. Ejemplo: 2 x 4x6=48; 2 x 2 x 2=8 ; 48 ÷ 8=6 y responde 6 cubos.

32 6 cubos con un procedimiento basado en el dibujo de los cubos pequeños dentro de la caja.

33 Otros procedimientos válidos. Ejemplo: 2 ÷ 2=1; 4 ÷ 2=2; 6 ÷ 2=3; 3 x2 x 1=6

34 Respuesta correcta sin mostrar un procedimiento. Ejemplo: 6 cubos ó 6 sin procedimiento.


21 El alumno elige los procedimientos matemáticos adecuados, pero llega a un resultado inco-rrecto por errores en los cálculos.

22 Calcula los volúmenes de ambos cuerpos pero no divide. Ejemplo: 6 x 4 x 2=48 ; 2 x 2 x 2=8

23 Dibuja los 6 cubos pequeños dentro de la caja acompañado de un procedimiento inadecuado y responde 6. Ejemplo: Dibuja 6 cubos dentro de la caja grande, hace 6 + 4 + 2=12; 12÷2=6 y responde 6 cubos.

118

M. Código DM6.B6.IT 14ÍTEM 30 del Cuadernillo 3 – ÍTEM 14 del Cuadernillo 6

• Dominio de contenidos: Numérico.

• Dominio cognitivo: Solución de problemas simples.

• El ítem requiere que el alumno resuelva un problema que implica seleccionar y resolver dos

operaciones: una adición y una sustracción o dos sustracciones entre números naturales y decimales.

Don Luis tiene en su jardín un depósito con 21 litros de agua. Ha utilizado 3,8 litros

para regar las flores y 6,25 litros para regar los tomates.

¿Cuántos litros quedan en el depósito de don Luis?


11 Procedimiento basado en la suma de las aristas. Ejemplo 1: 6 + 4+2=12 y divide 12 ÷ 2=6 y responde 6. Ejemplo 2: 6 + 4 + 2 + 2=14





118 119

Crédito total:

Código 3

10,95 litros ó 10,95, mostrando un procedimiento válido.

31 Procedimiento basado en suma y sustracción. 3,8 + 6,25 = 10,05 litros 21 – 10,05 = 10,95 litros

32 Procedimiento basado en dos sustracciones. 21 – 3,8 = 17,2 17,2 – 6, 25= 10,95 litros


21 Procedimiento correcto con errores operativos en la suma y/o en las restas

Ejemplo 1: 3,8 + 6,25= 6,63 ; 21 – 6,63= 14,37 Ejemplo 2: 3,8 + 6,25= 10,05 ; 10,05 – 21 = 11,05

Nota: Si el alumno encolumna incorrectamente los números decimales para operar con ellos, asignarle código 11.

22 Procedimiento y cálculos correctos, pero muestra una respuesta incorrecta.Ejemplo: 3,8 + 6,25=10,05 ; 21 – 10,05 =10,95 y responde 10,05 litros.

23 Parte del procedimiento está correctamente planteado (con o sin error en el algoritmo) y el resto del procedimiento es incorrecto u omitido.

Ejemplo 1: Hace sólo la suma (con o sin error operativo) y el siguiente paso es incorrecto u omitido. 3,8 + 6,25 =10,05 Ejemplo 2: Hace sólo una resta (con o sin error operativo) y el siguiente paso es incorrecto u omitido. 21 - 3,8 = 17,2; 17,2 + 6,25=23,45 24 Respuesta correcta sin mostrar el procedimiento. Ejemplo : 10,95 litros sin procedimiento.


11 El alumno hace un procedimiento correcto, total o parcial, con error al encolumnar los números decimales. Ejemplo 1: 6,25 Ejemplo 2: 6,25 3,8 3,8 66,3 6,6312 Otras respuestas incorrectas y respuestas correctas con procedimientos inconsistentes.


14 No sé, no lo entiendo.15 El alumno hace un procedimiento incorrecto y además con error al encolumnar los números decimales.

120

N. Código DM6.B6.IT 15ÍTEM 31 del Cuadernillo 3 – ÍTEM 15 del Cuadernillo 6

• Dominio de contenidos: Variacional.


• El ítem requiere que el alumno resuelva un problema. Para ello tiene que calcular un porcentaje, com

parar dos medidas y dar una respuesta que se justifica con el procedimiento elegido.

Una botella que contiene 1,5 litros de refresco de limón se cae y pierde el 40%

de su contenido. ¿Queda menos o más de 1 litro de refresco en la botella?

120 121


Queda menos de 1 litro, mostrando un procedimiento correcto y completo.

31 Queda menos de 1 litro. Respuesta basada en el 60% de 1,5 l = 0,9 litros.

32 Queda menos de 1 litro. Respuesta basada en el 40% de 1,5 l= 0,6 litros y luego hace la diferencia 1,5 l – 0,6 l = 0,9 litros.


21 Procedimiento correcto y completo con error en algún cálculo. Ejemplo: 1500 x 40 = 60000; 60000 ÷ 100=600; 1500 – 600= 800 Queda menos de 1 litro, quedaron 800 cm3

22 Procedimiento y cálculos correctos y responde equivocadamente o no responde. Ejemplo 1: Calcula el 60% de 1,5 litros = 0,9litros y responde “Conservó 0,9 litros”.

Ejemplo 2: Calcula sólo el 60% de 1,5 litros = 0,9 litros y no da la respuesta.

23 Procedimiento que apunta a hallar sólo una submeta del problema: el líquido perdido. Respues-ta basada en el cálculo del 40% de 1,5 litros = 0,6 litros (con o sin error operativo) sin efectuar la resta.

Ejemplo 1: 40% de 1,5 litros = 0,6 litro y responde “Queda menos de 1 litro,porque perdió 0,600 l”.

Ejemplo 2: 1,5 ÷ 100=0,015 ; 0,015 x 40=0,6 y responde “Queda menos de 1 litro”.

Ejemplo 3: 40% de 1,5 litros =600 ml y responde “La botella perdió menos que la mitad”.


11 Respuesta correcta sin mostrar el procedimiento. Ejemplo 1: Queda menos de un litro. Ejemplo 2: Queda menos. Ejemplo 3: Menos.

12 Otras respuestas. Ejemplo: 40x1,5=60 y responde ”Más porque pierde 600 cm3.




122

O. Código DM6.B6.IT 16ÍTEM 32 del Cuadernillo 3 – ÍTEM 16 del Cuadernillo 6

• Dominio de contenidos: Numérico.


• El ítem requiere que el alumno resuelva un problema que implica interpretar información presentada

en un cuadro y operar con números naturales.

Nota: No se considera una respuesta equivocada si hay error de transcripción.

Batovia es un país cuya moneda es el bat. Pablo vive en Batovia y allí compró los artículos que

están detallados a continuación.

¿Cuánto gastó en total?

O. Código DM6.B6.IT 16 ÍTEM 32 del Cuadernillo 3 – ÍTEM 16 del Cuadernillo 6

Batovia es un país cuya moneda es el bat. Pablo vive en Batovia y allí compró los artículos que están detallados a continuación. ¿Cuánto gastó en total?

122 123

Crédito total:Código 3 31 236 bats ó 236, mostrando un procedimiento válido.


21 Procedimiento correcto con error en los cálculos: • Hace las multiplicaciones correctamente, pero comete error al sumar. Ejemplo: 180 + 6 + 50=290 • Se equivoca en las multiplicaciones, pero no en la suma. Ejemplo: 18 + 6 + 50= 74

22 Procedimiento y cálculos correctos, pero da una respuesta equivocada. 23 Realiza correctamente un procedimiento parcial para resolver el problema.• Omite solamente un paso. Ejemplo 1: 30 x 6=180; 3x2=6; 25x2= 50 Ejemplo 2: 180 + 50 = 230.• Hace por lo menos una multiplicación y luego efectúa la suma de los 3 artículos. Ejemplo 30 x 6=180; 180 + 2 + 25= 207

24 Respuesta correcta sin mostrar el procedimiento. Ejemplo: 236 bats ó 236.


11 Suma los precios con o sin error de algoritmos. Ejemplo: 57 bats (30 + 2 + 25).





124

CAPÍTULO V: MANUAL PARA LA EVALUACIÓNDE LAS PRUEBAS DE ESCRITURA

El presente documento fue escrito con dos intenciones. La primera, a largo plazo, es ofrecer algunos criterios, basados en las actuales investigaciones sobre la escritura, que orienten una más ajustada construcción y evalua-ción de las instrucciones de producción escrita como parte esencial de la socialización de conocimientos, no sólo en el marco de los sistemas de evaluación masivos, sino también en el ámbito del aula, al que se dirigen, en última instancia, nuestras acciones.

La segunda, inmediata, se vincula a la necesidad de acordar los aspectos que los países pondrán en juego al eva-luar la escritura; para esto, dejaremos sentado el enfoque teórico en el que se sustentan las pruebas de Escritura del SERCE, así como su manera de evaluarlas.

El documento se organiza en partes que expresan dichas intenciones. En la primera, sintetizamos los aportes de los modelos que explican la escritura, pues en ellos nos apoyamos para elaborar las pruebas del SERCE. Ade-más, mostramos cómo se inscriben en ellos dichas pruebas, y justificamos cada uno de los aspectos que hemos decidido evaluar. Inscribimos, finalmente, esta decisión en el marco de una serie de opciones de evaluación de la escritura.

En la segunda, presentamos un glosario de los conceptos que es necesario poner en juego al evaluar. No se trata, por tanto, de una revisión teórica de las diversas posiciones sobre, por ejemplo, la coherencia textual, sino de la presentación de una definición entre muchas: la que juzgamos más operativa para una tarea de evaluación externa, lo más objetiva posible.

En las partes tercera y cuarta, reproducimos las planillas que utilizará el evaluador de las pruebas de escritura. La marcación de cada ítem se explica mediante una instrucción seguida de ejemplos adecuados e inadecuados, es decir, de casos en los que corresponde marcar “Sí” o “No”.

En la cuarta y última parte, ofrecemos algunas recomendaciones para evitar los sesgos y los errores al evaluar. Este manual fue redactado por Ana Atorresi, responsable de la coordinación de las áreas de Lectura y Escritura del SERCE/LLECE. El proceso de redacción contó con los valiosos aportes críticos de Andrea Baronzini, de Argentina; Ivanna Centanino, de Uruguay; Giuliana Espinosa, del LLECE; Fabio Jurado Valencia, de Co-lombia; María Mitsuko Okuda, de Brasil y Jéssica Tapia, de Perú. Los ajustes efectuados a la versión realizada para la aplicación piloto son deudores de los aportes de Ricardo Martínez, de Chile, y María Mitsuko Okuda, de Brasil, así como de los análisis estadísticos efectuados por Carlos Pardo, de Colombia, y Mauricio Castro y Giuliana Espinosa, del LLECE.

124 125

Primera parte 1. La escritura

Como sabemos, dominar la escritura no es, simplemente, conocer y manipular las unidades lingüísticas mínimas –grafemas, sílabas, palabras, oraciones–, sino poner en juego una multiplicidad de microhabilidades y actitudes al servicio de la construcción de un texto con significado (Braslavsky, 2005). Como ejemplo de microhabilida-des, podríamos mencionar, entre otras, el dominio de aspectos cognitivos (el planteo de un propósito, la con-cepción de ideas, la revisión), de conceptos (tipo textual, situación comunicativa, género discursivo, coherencia, cohesión, norma) y de convenciones (ortográficas, gramaticales y de presentación). Las actitudes implicadas en la escritura, por su parte, incluyen las concepciones sobre la cultura impresa y el acto de escribir, las motiva-ciones y los intereses, y la percepción de uno como escritor (Tolchinsky, 1993). Para explicar lo que sucede al escribir, algunos investigadores comparan escritores expertos con escritores novatos. Toman como modelo a los primeros y coinciden, en general, en que proceden más o menos del siguiente modo:

• piensan antes de escribir, y mientras escriben, en el tema que quieren o deben desarrollar, en la información con que cuentan al respecto, en cómo es mejor expresarla, en el receptor a quien destinan el escrito, en la fina-lidad o propósito de la escritura, en sus posibles efectos y demás; • esquematizan la organización del texto, es decir, trazan mentalmente y, luego, en borradores, un proyecto de texto y/o sucesivas versiones; • releen el escrito para verificar si se ajusta a los objetivos planteados; corrigen lo que juzgan inadecuado (Flower y Hayes, 1996).

La investigación sobre el acto de escribir es relativamente reciente. En consecuencia, la idea de enseñar a cons-truir sentidos en un texto y de evaluar ese proceso de construcción, para guiar el aprendizaje, es más reciente aún, tanto en el currículum de la formación docente como en las prácticas escolares. Efectivamente, la tradición escolar le ha dado prioridad a los aspectos formales (letra bonita, buena ortografía, oraciones impecables...) y no a la construcción de sentido en escritos genuinos (cfr. Lerner, 2001). En los siguientes puntos, expondremos brevemente cada uno de los aspectos mencionados. 1.1. La planificación de la escritura

Concebir al receptor o destinatario: Como la comunicación escrita es diferida –a diferencia de la interacción oral, en la que la emisión y la recepción son simultáneas–, el escritor debe hacer una estimación previa del recep-tor para adecuar el texto a su comprensión. Esto lo obliga, en primer lugar, a evaluar el grado de información que tienen los receptores sobre el tema que va a desarrollar y, en segundo lugar, a considerar la necesidad de expurgar el texto de ambigüedades y ausencias en la información –a menos que busque lo contrario, como en el género poético–, ya que él no va a estar presente en el momento de la interpretación para rectificar o completar los datos.

Concebir la relación tema – estructura - estilo: Además, como en el caso de la comunicación oral, el escritor debe tener presente que ciertos temas determinan el uso de ciertas estructuras o tipos textuales (véase el Glo-sario...) –e impiden el de otras– y que las diversas situaciones comunicativas exigen el empleo de distintos esti-los(1)*. Por ejemplo, el desarrollo del tema “evaluación de la escritura”, que se está efectuando en este manual, demanda, en general, una estructura descriptiva o explicativa, además del empleo de un registro formal y un tecnolecto. Por el contrario, excluye formas textuales como el mensaje de recepción del contestador automático del teléfono y la receta de cocina, así como el uso de un registro íntimo.

*Referencias desde el (1) al (12) al final del capítulo).

126

Considerar el contexto en el que circulará el escrito: Los textos escritos circulan en muy variados contextos: el hogar (es el caso de las esquelas o mensajes que dejamos a alguien), una institución en particular (los afiches informativos, las notificaciones o las citaciones a reuniones de una escuela), la sociedad en general (los textos de los medios masivos de comunicación, como los periodísticos). El contexto de circulación al que apunta cada escrito determina muchos de sus rasgos temáticos, estructurales y esti-lísticos: para reconocer las imposiciones del contexto de circulación, basta comparar lo crípticos que pueden resultarnos una agenda o un diario íntimo de alguien a quien no conocemos con lo sencillo que puede resultarnos comprender, por su carácter público, una crónica periodística.

Plantearse el propósito: Por otra parte, es necesario plantearse con qué objeto se escribe. Hacer claro algo que suponemos confuso para el receptor, persuadirlo de la conveniencia de realizar determinada acción, de-mostrarle nuestro conocimiento sobre un tema y entretenerlo son algunas de las muy diversas finalidades que puede tener un escrito. Como es evidente, la finalidad impone ciertas estrategias discursivas: por ejemplo, para aclarar algo supuestamente confuso, se apela al uso de paráfrasis de lo dicho, de ejemplos, de gráficos, de reca-pitulaciones; de la misma manera, para demostrar el conocimiento sobre un tema, se recurre a la cita de fuentes socialmente indiscutidas o legitimadas, al empleo de tecnicismos, etcétera.

Buscar y seleccionar información: Además de la representación del destinatario (para quién se escribe), del tema (qué es lo que se pretende tratar al escribir) y la finalidad (con qué objeto se escribe), la planificación im-plica actividades de búsqueda, selección y organización de las informaciones pertinentes para la resolución de la tarea, que están archivadas en la memoria o provienen de otras fuentes (otros textos, otros sujetos, etcétera).

Planificar recursivamente: Finalmente, debe señalarse que el acto de planificar el texto –desarrollar objeti-vos, recuperar y organizar ideas– no se encuentra circunscripto a una etapa previa a la escritura propiamente dicha –a una “pre-escritura”–, sino que se pone en juego a lo largo de todo el proceso de composición. De la misma manera, la conversión de ideas en lenguaje escrito no debe entenderse como un proceso posterior a la planifi-cación y anterior a la revisión y los ajustes: se trata de una actividad que se produce recurrente y simul-táneamente. Los buenos escritores constantemente planean (“pre-escriben”) y revisan (“re-escriben”) mientras componen (“escriben”), en etapas no claramente identificables. 1.2. La puesta en texto

Traducir lo planificado: La puesta en texto es, básicamente, el proceso de convertir las ideas en lenguaje es-crito; algunos autores prefieren denominarlo “traducción” para subrayar el hecho de que la información que se produce durante la etapa de planificación puede representarse a partir de diversos sistemas de signos, tales como los lingüísticos y los icónicos o visuales (Flower y Hayes: 1996).

Dominar convenciones globales y locales: El proceso de puesta en texto requiere del escritor el dominio de todas las exigencias especiales de la lengua escrita, que se adquiere progresivamente. Se trata de un espectro de convenciones que abarcan dimensiones globales y locales; sintácticas o estructurales, semánticas o vinculadas al significado y pragmáticas o dependientes del contexto. Entre las más globales se encuentran la adscripción del texto a un esquema discursivo establecido y la determinación del receptor y el propósito del escrito. Entre las más locales, se halla el otorgamiento de legibilidad al texto verbal, el empleo adecuado de la normativa grama-tical y ortográfica, del léxico, etcétera (cfr. Tusón, 2005).

Concentrarse, primero, en los aspectos globales: Los escritores principiantes destinarían buena parte de su atención al despliegue de microhabilidades que el escritor experto ha automatizado –la legibilidad, las normas ortográficas, las reglas de cohesión entre oraciones y de construcción oracional, el establecimiento de párrafos– lo cual interferiría con el propósito más general de la escritura (Krashen: 1981). Desde el ámbito de la didáctica

126 127

de la escritura, se recomienda, entonces, postergar la corrección superfi-cial del texto hasta el final del proceso de composición, para privilegiar el sentido. De esta forma, habría menos posibilidades de que la memoria a cor-to plazo se sobrecargue de informaciones locales y pierda otras relacionadas con la estructura o el significado globales.

Releer: Durante la puesta en texto, los escritores competentes se detienen y releen los fragmentos que ya han redactado. La relectura, subproceso de la puesta en texto, ayuda al escritor a mantener el sentido global, a eva-luar si lo dicho corresponde a lo que quiere comunicar y, en consecuencia, al plan trazado. Además, permite establecer enlaces coherentes entre las secuencias ya elaboradas y las que se escribirán.

Volver a la planificación: Por otra parte, se cree que existe una correspondencia entre el desarrollo de la com-petencia escritora y la cantidad y la calidad de correcciones que se realizan al texto. Aunque nos ocuparemos en detalle de estos aspectos en el punto siguiente, señalaremos aquí que, estrechamente ligada con los procesos de planificación y corrección, la puesta en texto es, muchas veces, un proceso inacabado. Es decir, el proceso puede interrumpirse en cualquier momento y reenviar a la planificación para apuntar la necesidad de agregar o quitar una idea, por ejemplo, o dar lugar a la revisión que marca la conveniencia de ajustar un párrafo o un subtítulo, y esta acción es permanentemente recursiva.

Recurrir a estrategias de apoyo: Finalmente, cabe hacer referencia al papel que, durante la puesta en discurso, cumplen las denominadas “estrategias de apoyo” (Cassany: 1987). Consisten en la puesta en juego de microha-bilidades tales como la búsqueda y la selección bibliográfica y la consulta de diccionarios, enciclopedias y fichas. Sirven para salvar ciertas fallas de memoria, que pueden abarcar desde la norma ortográfica aplicable a una palabra hasta la falta de una cita que apoye un argumento o un dato concreto, como la fecha de una publica-ción. Estas estrategias son fundamentales tanto para los escritores expertos -que, en general, construyen textos en diálogo con otros textos a los que citan, refutan, etc. — como para los escritores novatos o en proceso de formación. Estos últimos, necesitan contar con guías que les recuerden la estructura de los textos, los pasos que deben seguir al escribirlos, qué aspectos revisar en ellos y cómo, entre otras estrategias. 1.3. La revisión y el ajuste

Verificar la adecuación a la situación comunicativa: La revisión y el ajuste son procesos fundamentales en la composición del texto escrito para otros. El escritor verifica si las ideas que ha desarrollado se ajustan a los objetivos y las consideraciones que se planteó inicialmente acerca de la situación de comunicación: quién es el receptor, en qué marco circulará el escrito y demás; en general, para esto, revisa su escrito poniéndose en el lugar del receptor; además, suele compartir su escrito con otros lectores que asuman también el papel del lector modelo inscripto en el texto.

Controlar la coherencia y el estilo: El escritor debe constatar, por otra parte, si la organización que ha dado a las ideas es adecuada, si todas éstas se encuentran claramente vinculadas y no presentan desconexiones, si ha aplicado reglas de economía y eficacia a las frases, si ha evitado los lugares comunes, las ambigüedades, etcétera. Es muy común hacer esta constatación, que conduce a nuevos ajustes, en un tiempo posterior, cuando se puede decir que la escritura ha estado en reposo (un día después, una semana después...). Controlar los aspectos superficiales: Quien escribe textos para otros controla, finalmente, la adecuación de la gramática, la ortografía, los signos de puntuación, la legibilidad y la presentación (hoy los programas de computación le proporcionan señales al escritor sobre algunas de las anomalías ortográficas y sintácticas). La relectura crítica del escrito que selecciona y presta atención especial a cada uno de los aspectos parciales es el procedimiento que suelen poner en juego los escritores competentes para auto-corregir su producción.

128

1.4. Particularidades de la escritura en las pruebas del SERCE

La mayoría de los aspectos de la escritura que acabamos de puntualizar se contemplan en las pruebas del SER-CE, si bien nos encontramos con dos limitaciones: en primer lugar, las que impone una instancia de evaluación masiva; en segundo lugar, las que devienen del hecho de que ésta se dirige a escritores en proceso de formación, lo que supone plantear sólo algunas de las exigencias a las que responden los escritores expertos.

Básicamente, para los propósitos del SERCE:

• se demanda la escritura de un texto completo y no de una serie de oraciones aisladas; • se da lugar a la producción de dos versiones: un borrador y una versión final; • se orienta la producción de ambas versiones mediante las instrucciones y el diseño gráfico; • se orienta, asimismo, la autocorrección, desde el nivel más global hasta el más superficial; • se indica a quién debe dirigirse el texto, en qué ámbito circulará y qué estructura y qué género debe presentar, es decir, se proporciona la información necesaria para encarar la tarea de escritura y para evaluar, luego, aspectos que se han explicitado;

• se proporciona un tiempo para la escritura, adecuado al tipo de producción pedida y al nivel de desarrollo de los estudiantes;

• se propone el desarrollo de un tema conocido y significativo, de modo que no sea necesario recurrir a estrategias de apoyo y que pueda ser representada la finalidad del escrito. 2. Aspectos para evaluar: producto y proceso

Independientemente de los diversos tipos de evaluación de la escritura y de los objetivos con que ésta se pueda efectuar, la valoración de la capacidad de expresión escrita implica la consideración de dos aspectos generales, complementarios y relacionados:

• el producto escrito o los discursos que un estudiante es capaz de redactar; • el proceso de escritura o los procedimientos de trabajo y las estrategias que el estudiante utiliza para producir esos discursos.

Cabe aquí aclarar que nos estamos refiriendo a aspectos de la escritura que pueden evaluarse y no a tipos de evaluación; esto es, podemos efectuar una evaluación del producto de la escritura (de escritos considerados de-finitivos) a lo largo de todo un proceso —lo que llamaríamos una evaluación procesual— o podemos efectuar una evaluación del proceso de escritura una sola vez —lo que llamaríamos una evaluación puntual. En el aula, es posible, por ejemplo, plantear una evaluación procesual del producto de la escritura demandando a los niños que, a lo largo de un período, nos entre-guen una tras otra las versiones definitivas de distintos cuentos, para considerar si, a la luz de lo que se les señala, mejoran o no. Para adelantar un ejemplo del otro tipo, las pruebas del SERCE evalúan puntualmente —una sola vez— algunos aspectos del proceso de escritura, como ciertas diferencias entre el borrador y la versión definitiva.

La tradición escolar se ha centrado casi exclusivamente en el producto (y no, precisamente, siguiendo un enfo-que evaluativo procesual); sin embargo, el segundo no es menos importante, por lo que, si bien las evaluaciones que se emplean en el SERCE son, sobre todo, evaluaciones del producto, haremos una breve referencia a las evaluaciones del proceso.

128 129

2.1. Evaluación del proceso

La evaluación del proceso de escritura consiste en la observación de las estrategias de análisis de la información y del método de redacción del estudiante. Lógicamente, la observación no tiene una finalidad punitiva, sino interlocutiva.

Es un tipo de evaluación realmente poco usual en el sistema educativo. Como en lugar de medir un producto estático se trata de explorar el comportamiento de un sujeto —el proceso dinámico que lleva a cabo—, esta eva-luación resulta más cualitativa que cuantitativa. Antes que la adjudicación de puntaje a cada estudiante, interesa analizar —mediante técnicas de observación y recolección de información— estilos de trabajo y, eventualmen-te, si se decide seguir un enfoque evaluativo procesual, avances en el proceso de producción. Básicamente, se busca determinar si el estudiante:

• traza mentalmente un plan, activando en su memoria sus conocimientos sobre el tema por el que se lo interroga, así como sobre los tipos de texto (Adam, 1992; Calsamiglia y Tusón, 1999) y los géneros discursivos (Bajtin, 1982); • redacta borradores; cuántos, qué características tienen (son textos escritos para sí mismo o para otro; incluyen palabras clave u oraciones completas, que implican poca economía de procesamiento; dependen del contexto, que no es expresado, o conforman, en realidad, un texto autónomo; tienen una estructura que refleja el proceso de descubri-miento del tema o se organizan atendiendo a la meta que se busca alcanzar); • recupera ideas del plan y, posteriormente, del borrador; las reformula, las reubica, las expande; • recurre a fuentes de información y a apoyos tales como los libros de texto, las carpetas de ejercicios, los diccionarios, las gramáticas, etc; • realiza correcciones en forma recursiva, privilegiando aspectos globales, o se centra exclusivamente en cuestiones de superficie manteniendo la planificación inicial, o no corrige nada; • trabaja a gusto, motivado, concentrado en la tarea, o se dispersa.

Evaluar si estas tareas se realizan o no y, en el primer caso, observar de qué modo son efectuadas resultan acti-vidades que permiten reorientar al estudiante atendiendo al momento del proceso en que se produce la falla.

El análisis introspectivo a posteriori de la tarea de escritura (“¿Qué hizo usted antes de escribir?, ¿Revisó el texto?, ¿Lo revisó mientras escribía o dejó la revisión para el final?, ¿Qué correcciones introdujo?”, etcétera) es un modo usual de evaluar el proceso. Si bien es más rápido y menos trabajoso que otros métodos, no resulta ab-solutamente confiable, ya que las respuestas dadas por el estudiante escritor se ven casi siempre interferidas por lo que él cree que el evaluador piensa que debería haber hecho. Para asentar los datos que obtiene, el evaluador suele confeccionar un cuadro en el que figuran la fecha del análisis, la lista de estudiantes y sus respuestas a los diversos aspectos indagados. Si se adopta un enfoque procesual, el análisis puede repetirse periódicamente para registrar los avances en el estilo de trabajo y el cuadro puede adaptarse a estos fines.

Una de las metodologías de análisis del proceso de respuesta por escrito que ha resultado particularmente exitosa en el campo de la investigación del proceso de escritura es el análisis de protocolos. El protocolo es el registro detallado de todos los razonamientos de quien realiza una tarea por escrito, desde el momento en que ésta se le plantea hasta que la concluye; se le solicita que no deje de formular en voz alta sus reflexiones, sean del tenor que sean y que, por lo demás, trabaje normalmente (que tome notas, esboce cuadros y esquemas, escriba, etcétera). El protocolo que obtiene un investigador, cuya trascripción puede alcanzar unas veinte páginas por cada hora de sesión, es muy rico en datos y, conjuntamente con las notas y la versión que el escritor experto entrega como final, permite observar no sólo el desarrollo del producto escrito, sino muchos de los procesos intelectuales que lo produjeron. La tipificación de esos procesos permite construir un modelo que da cuenta de los procedimientos involucrados en la escritura de los expertos.

130

En cuanto a aprendices, aplicado al mismo sujeto en diferentes instancias de evaluación, el análisis de proto-colos permite advertir modificaciones en el tipo de proceso de escritura que se realiza; para consignar estas modificaciones, el investigador lleva un registro en el que vuelca la información recogida respecto de cada sujeto en las diferentes instancias de evaluación.

Ahora bien, la exploración de estos aspectos mediante el análisis de protocolos supone un intérprete capacitado, además de un aparato grabador por sujeto; si a esto se suma que la trascripción fiel de la grabación es en gene-ral dificultosa, se entiende que su implementación sea poco frecuente en el marco del sistema educativo. Cabe agregar un inconveniente más para la aplicación de los análisis de protocolos en la escuela para observar las mo-dificaciones en el proceso de escritura de los aprendices: los cambios de hábitos de trabajo en este campo son muy lentos y, en general, se aprecian a lo largo de períodos de unos tres años y no en períodos más breves.

Lo que importa resaltar, en suma, en relación con la evaluación del proceso, es la intención investigativa del docente frente a un asunto tan complejo como el aprendizaje progresivo de la escritura.

Señaladas estas virtudes y estos inconvenientes del análisis del proceso de la escritura, veamos qué aspecto es-pecífico hemos pretendido relevar en las pruebas del SERCE y cómo hemos planteado su evaluación. 2.1.1. Evaluación del proceso de Escritura en el SERCE Las pruebas de escritura del SERCE están estructuradas en tres “pasos” que se corresponden, en términos generales, con las etapas de planificación, revisión y puesta en texto descritas más arriba.

Como el objetivo final de las pruebas es identificar, describir, explicar y correlacionar aspectos de la escritura —es decir, como no se pretende puntuarlos para adjudicar finalmente un puntaje total a la prueba, sino infor-mar separadamente sobre ellos—, ofrecer datos sobre el modo en que los niños actúan en esos tres “pasos” es pertinente y muy valioso para las prácticas docentes y la toma de decisiones pedagógicas.

Un análisis cualitativo del borrador como tal y de su diferencia con el texto definitivo permite hacer relevante si el niño concibe la escritura como la producción de versiones sucesivas que se van mejorando.

El análisis de estos aspectos puede partir de preguntas como las siguientes: • ¿Cuántos estudiantes ignoraron el borrador como etapa primera de la escritura? • ¿Cuántos se limitaron a escribir el borrador y dejaron en blanco el texto definitivo, etapa última de la escritura? • ¿Cuántos dejaron en blanco el borrador y pasaron directamente a escribir el texto? • ¿Cuántos emplearon el espacio asignado al borrador escribiendo un texto con características de borrador, es decir, para sí? • De los que completaron el borrador y redactaron el texto, ¿cuántos recuperaron ideas del borrador?, ¿Cuántas ideas recuperaron?, ¿En qué medida las ajustaron o las dejaron sin efectuar ningún tipo de modificación? • De los que no hicieron el borrador, ¿cuántos lograron producir un texto coherente?

Por ejemplo, si se observara que los estudiantes que produjeron textos con errores de organización y desarrollo de la información no habían escrito previamente borradores ni expandido palabras clave ni, en consecuencia, habían producido modificaciones entre el borrador y el texto definitivo, podría concluirse que uno de los as-pectos que resulta más problemático para los estudiantes es el reconocimiento de que un texto no se escribe “de un tirón”, sino que implica un ir y venir sobre las ideas iniciales para expandirlas, suprimirlas, rectificarlas, reubicarlas, por lo tanto, habría que reforzar el trabajo en ese sentido.

130 131

La evaluación de la escritura que se centra en el proceso resulta siempre formativa. Esto es, tiene como propósi-to mejorar el desarrollo de las tareas durante su transcurso y no está destinada a determinar el grado de éxito del resultado final. Es formativa, evidentemente, porque se adecua a la individualidad del proceso de aprendizaje. Si aceptamos que quien aprende es un individuo con características particulares, la evaluación del proceso de escritura será formativa en la medida en que actúe para que cada aprendiz vaya recibiendo la ayuda adecuada a las necesidades comunicativas que se le presenten. Sabemos que las condiciones del trabajo escolar y de las evaluaciones masivas no colaboran en este sentido. Agreguemos, pues, esta salvedad: que cada aprendiz vaya recibiendo la ayuda adecuada en la medida de lo posible. 2.2. Evaluación del producto

La tradición escolar consideraba que el docente, único poseedor de las competencias para corregir, debía estar exclusivamente a cargo de esta tarea; como demostración de su capacidad y su dedicación, debía producir la versión perfecta del texto o, al menos, señalar explícita y pormenorizadamente la solución adecuada para alcan-zarla; finalmente, lo que se corregía era lo que el estudiante consideraba versión definitiva, la cual, en general, no difería de la primera versión más que en aspectos vinculados a la presentación. Esto provocaba que el estudiante esperara ser corregido y que no se percibiera como el protagonista del trabajo de producción; es decir, no podía asumir su responsabilidad ante el error y en el aprendizaje ni desarrollar autonomía (Cassany, 2000; Cassany, Luna y Sanz, 1994).

Actualmente, se sabe que la revisión y la autocorrección son procesos fundamentales en la composición del texto. En efecto, si son convenientemente orientados, los estudiantes resultan capaces de autocorregirse de la misma manera que de generar ideas. Los trabajos actuales han comprobado que la autocorrección da resultados positivos entre los estudiantes sobre todo cuando, previamente, éstos, los aprendices o “novatos”, han sido formados en la habilidad de corregirse por un docente, el escritor “experto”. El docente debe mostrar errores y formas de corregirlos en las primeras etapas de la producción del escrito, porque rehacer un trabajo avanzado o terminado es desmotivador y porque de este modo se adquieren habilidades de reflexión que pueden ponerse en juego para seguir escribiendo(2). A esta forma de corregir, la didáctica de la escritura suma otra: la corrección entre pares (Calkins, 1992, 1998). 2.2.1. Los objetivos

Toda evaluación tiene el objetivo principal y general de permitir la toma fundamentada de decisiones. Estas decisiones pueden ir desde determinar el resultado total y final de una unidad de aprendizaje o del curso y tra-ducirlo en un sistema de calificaciones, hasta mejorar el desarrollo de las tareas durante el curso, adecuando el dispositivo de enseñanza a las capacidades del grupo (Perrenoud, 1999).

Específicamente en el terreno de la elaboración de pruebas, los objetivos determinan qué aspectos concretos se evaluarán. Situándonos en nuestro tema, la expresión escrita, se trata de una competencia que supone una serie de macrohabilidades cognitivas generales y de microhabilidades —procedimientos, conceptos y actitu-des— que, aunque puedan manifestarse todas y lo hagan al mismo tiempo, no pueden evaluarse siempre en su to-talidad ni de modo superpuesto, si queremos que la evaluación resulte confiable.

Además, debemos considerar que no es posible evaluar todos los aspectos mediante una prueba de producto: las actitudes y los procedimientos de revisión puestos en juego, por ejemplo, pueden evaluarse solamente en una prueba del proceso, mediante un análisis retrospectivo (“¿Estuvo concentrado en la tarea?, ¿Le resultó motiva-dora?, ¿Para qué pensaba que servía lo que estaba escribiendo?”).

132

2.2.2. Las instrucciones

Una vez escogidos los objetivos, debe seleccionarse la consigna o instrucción adecuada para valorarlos; la téc-nica más válida —por ser la más global— para evaluar conocimientos específicos vinculados a las habilidades de pensamiento que se manifiestan mediante la escritura es la indicación de redacción de un texto completo de acuerdo con características definidas. Ahora bien, sobre todo en las asignaturas cuyo discurso no es predomi-nantemente verbal —como Matemática, Química, Física y demás— la escritura que predomina no es la de un texto completo sino la del par consigna-respuesta, que constituye un género propio del mundo educativo. El par consigna-respuesta es un texto coproducido por un docente, que propone la consigna con el fin de orientar o reforzar la interiorización de un saber, de relevar ideas sobre un tema, de evaluar conocimientos adquiridos, etcétera, y por un estudiante, que elabora la respuesta para alcanzar nuevos conocimientos, dar cuenta de ellos ante el docente y demás.

Habitualmente, este género impone al estudiante el juego de suponer momentáneamente que el destinatario final de la respuesta (el docente) no conoce el tema sobre el cual él escribe. En efecto, sobre todo en las situa-ciones de evaluación, suele establecerse un “contrato” por el cual el estudiante, que reconoce que el docente conoce el tema (y que por eso está socialmente habilitado para evaluar su desempeño), debe suponer lo con-trario para obligarse a dar la mayor cantidad de información posible –dentro de los límites de lo exigido por la instrucción– sobre el asunto en cuestión. En cuanto a la escritura de textos completos, la forma más difundida de apreciación preceptiva del producto de la escritura se conoce bajo el nombre de “composición” o “redacción” y exige al estudiante redactar un texto que, por lo general, no tiene destinatario y contexto de circulación determinados, lo que constituye una limita-ción insalvable si queremos formar escritores genuinos.

La “composición” es una prueba que sirve “para la escuela”, ya que, en tanto texto, no tiene circulación posible fuera de ella; se realiza con poca preparación por parte de los evaluadores y suele restringirse a la formulación de una instrucción del tipo: “Escribe un texto en el que relates qué hiciste durante las vacaciones”, que no especifica los diversos parámetros de la situación comunicativa que acercarían la producción a la de un escrito efectuado en circunstancias auténticas (como sucedería en: “Cuenta algo divertido que hiciste durante tus vaca-ciones a un amigo que vive lejos, siguiendo el formato de la carta o el del e-mail, con la intención de responder a su interés por ti”, etcétera).

Las propuestas más influenciadas por las modernas teorías lingüísticas amplían la formulación a instrucciones del tipo “Escribe una carta a un amigo en la que relates qué hiciste durante tus vacaciones”, que incluyen con-sideraciones acerca de la situación de comunicación (amistosa) y, en algunos casos, del género (carta). Sin em-bargo, a veces, suelen emplearse para evaluar el producto escrito en dos o tres de sus aspectos más superficiales: la caligrafía, la ortografía y, en menor medida, la puntuación. En estos ca-sos, se dejan de lado las cuestiones globales pedidas, como la adscripción del texto a un género discursivo, y la determinación del receptor y el propósito del escrito. Entonces, si se considera lo finalmente evaluado, ¿por qué no se pidió al estudiante que redactara una serie de oraciones?

Cuando las cuestiones que hacen al texto como tal están ausentes en la instrucción y no se las evalúa, aunque la tarea no responda al enfoque de competencias para la vida que se recomienda, la evaluación resulta justa en la medida en que no las califica. Si, en cambio, la instrucción indica la redacción de un escrito sin especificar el propósito de la tarea, el portador en el que circulará, el lector al que dirigirse, el prototipo textual y el género con los que el texto debe corresponderse, etcétera y, luego, estos aspectos se evalúan, se incurre en una situación de arbitrariedad para con el estudiante.

132 133

Lo adecuado, entonces, es incluir en la formulación de la consigna instrucciones que incluyan consideraciones acerca del propósito, el tema, la situación de comunicación, el tipo de texto y, posteriormente, durante la eva-luación, no limitarse a señalar errores de superficie (como la ortografía o la repetición de palabras), sino atender a la totalidad de los aspectos pedidos, que, por otra parte, no necesariamente deben ser todos los involucrados en la redacción de un texto.

Aunque las consignas pueden ser muy variadas, deben garantizar que la tarea realizada por los estudiantes sea, efectivamente, la que se esperaba. Es decir, una instrucción que pida una redacción con parámetros excesiva-mente abiertos -que no especifique, por ejemplo, si el escrito debe destinarse a alguien con quien se tiene una relación simétrica o asimétrica- no dará lugar a la evaluación de la representación adecuada del receptor en el texto.

Esta observación pesa aún más cuando se pretende evaluar distintos aspectos de la producción para adjudi-carles un puntaje, ya que, en este caso, la instrucción debería incluir en forma explícita todos los puntos que serán contemplados si no quiere incurrir en situaciones arbitrarias al calificar. “Escribe un relato de más de diez renglones”, por ejemplo, da lugar a diferentes tipos de relatos (biografías, crónicas, cuentos, anécdotas) –con las consecuentes variaciones de tema, estilo, organización–, de muy variadas extensiones, con un uso irregular-mente libre de los signos de puntuación, el vocabulario, etcétera. Por otra parte, el acento puesto en la extensión del escrito (“más de diez renglones”) provoca con frecuencia que el niño introduzca información no pertinente para llenar el espacio o, en el caso inverso (“menos de diez renglones”), que no desarrolle información necesaria para dar coherencia al texto.

Además, es necesario tener en cuenta que, por más que a partir de un escrito puedan observarse múltiples as-pectos, estos están, de alguna manera, limitados por la instrucción misma. Así, no puede evaluarse la creatividad de un escritor si el género en el que debe inscribir su texto permite pocas variaciones de estructura, tema y estilo. La descripción “científica” o enciclopédica, por ejemplo, como la pedida en la prueba del SERCE de sex-to año, exige un estilo formal, una estructura de “división” jerárquica del tema y los subtemas en sub-subtemas y el tratamiento del tema dado; es, entonces, un escrito de antemano rígido, que no permite evaluar la “creatividad”, en el sentido en que es entendida en los textos de ficción.

Como consecuencia de lo apuntado, en el momento de realizar el análisis de los resultados, sólo se podrán ex-traer conclusiones respecto del desempeño en relación con la instrucción que lo suscitó y con el contexto de la evaluación.

En suma, en el caso de las pruebas para valorar el producto de escritura, una de cuyas materias es la habilidad de manejar el código de la lengua en diferentes circunstancias y para diversos fines, ha de buscarse proporcionar en la consigna toda la información necesaria para facilitar, y hasta justificar, la ulterior evaluación. Veámoslo en un esquema (Atorresi y otros, 2000): Consigna clara, justa, generadora de escritos comparables indica [por ejemplo, para evaluar si el estu-diante aprendió las características de la descripción enciclopédica en relación con un tema de ciencias naturales enseñado]:

• los “pasos” que deben seguirse [planificación, revisión, puesta en texto]; • el propósito de la tarea de producción [recordar, en tercer año; in-formar, en sexto] • el contexto de utilización o el marco en el que circulará el escrito [la familia, en tercer año; una enciclopedia, en sexto]

134

• el lector al que debe dirigirse el texto [uno mismo o la familia, en tercer año; un lector sin información previa sobre el tema, en sexto] • el prototipo textual y el género a los que el texto debe corresponder [descripción con estructura jerárquica de 2 subtemas, lista, en tercer año; descripción con estructura jerárquica de 4 subtemas, entrada de enciclopedia, en sexto] • el tema que debe tratarse (y con qué detalle) [una serie de cosas o actividades cotidianas; un ser del mundo animal o un alimento](3). 2.2.3. Los criterios de éxito y las escalas de calificación

Habitualmente, se considera que los criterios de éxito son el conjunto de los aspectos comunicativos generales y/o específicos que debe alcanzar el escrito para ser apreciado como aceptable; la escala de calificación o bare-mo de puntuación, por su parte, es el valor numérico que se da a cada aspecto, a cada respuesta o al escrito en total.

Como se ha dicho, cualquier evaluación debe tener en cuenta y determinar los objetivos o aspectos concretos que se pretende evaluar, la consigna o instrucción adecuada para valorarlos y los criterios de éxito o conjunto de los aspectos comunicativos generales y/o específicos que debe alcanzar el escrito.

La asignación a priori del puntaje que va a merecer cada instrucción de una prueba e, internamente, la deter-minación de los aspectos que serán ponderados para asignarle una puntuación a cada instrucción deben ser cuidadosamente meditadas por el evaluador. Además de facilitarle la tarea ulterior de la evaluación, éste estará en condiciones de explicitar ante sus evaluados los criterios a partir de los cuales han obtenido un resultado que, de otro modo, percibirán como un escarmiento o una dádiva arbitrarios y, por lo tanto, no merecedor de ningún análisis. Por supuesto, cada asignatura exige criterios y parámetros específicos, fuertemente anclados en los códigos que le son propios; las decisiones tienen, dentro de ese marco, un margen idiosincrásico amplio. A continuación, presentamos como ejemplo un modelo de baremo que asigna diferentes puntajes numéricos a diferentes aspectos de un escrito para el área de Lenguaje (adaptado de Cassany, Luna y Sanz, 1996):

Adecuación (5 puntos) La presentación del texto es clara y correcta: 1 puntoSe emplea el registro adecuado: 2 puntosEl propósito queda claro: 2 puntos

Coherencia (5 puntos) El texto contiene la información necesaria: 1 puntoEl texto tiene la estructura adecuada: 2 puntosLos párrafos están bien estructurados: 2 puntos

Cohesión (5 puntos) Las comas y los puntos están bien usados: 2 puntosSe usa, adecuadamente, los conectores: 1 puntoLos pronombres cohesivos están bien empleados: 2 puntos

Corrección gramatical, ortográfica y léxica: 5-0 puntosVariación en las estructuras sintácticas, el léxico y los recursos estilísticos: 5-0 puntos

134 135

Una escala de calificación como la anterior, que valora en distintos aspectos la calidad del escrito y que reparte el puntaje total de la prueba entre diversas propiedades del texto, es útil para el docente que desea evaluar en forma pormenorizada aspectos que van más allá de la mera adecuación a la normativa, así como para el estu-diante que espera reparar en su escrito elementos defectuosos determinados.

Debe cuidarse, sin embargo, el hecho de que todos los aspectos consignados puedan evaluarse a partir de la ins-trucción dada y, en consecuencia, en el texto producido. En efecto, si se ha pedido la redacción de una noticia, difícilmente podrá observarse variedad en las marcas de la subjetividad, porque la clase de texto “noticia” tiende a producir ilusión de objetividad evitando, entre otros procedimientos, la inclusión de términos que expresen subjetividad. Las escalas, entonces, deben ser adaptadas a la consigna. Por otra parte, la escala anterior es de aplicación compleja en sistemas de evaluación masivos, en los que in-tervienen numerosos calificadores. Si bien éstos podrían acercarse a un acuerdo cuando se trata de adjuntar el puntaje mínimo o el máximo, podrán concordar difícilmente cuando deba optarse entre adjudicar 3 ó 4 puntos sobre 5.

De la misma manera, al construir escalas analíticas, debe prestarse atención a que los aspectos señalados re-sulten sistemáticos y no se superpongan, ya que en este último caso algunas cuestiones se evaluarían en forma doble. En escalas para la evaluación de pruebas de aplicación masiva, por ejemplo, encontramos puntos como “Adecuación al tipo de texto” y “Adecuación a la consigna”, cuya diferencia no es en absoluto clara.

Además de las escalas analíticas, que valoran según distintos aspectos la calidad del escrito, pueden emplearse escalas globales o sintéticas, que consideran el texto íntegramente y lo ubican en grados de calidad: sobresalien-te, muy bueno, bueno, regular y demás; a cada calidad se le adjudica un puntaje. Véase el siguiente fragmento de un ejemplo:

Guía de puntaje para el texto informativo

Excelente (25 a 20)

• Se desarrolla y estructura información con detalles bien escogidos a través de todo el escrito. • El texto está bien organizado: presenta transiciones marcadas. • Tiene variedad de estructuras en las frases y una buena selección de palabras. • Los errores de gramática, silabeo y puntuación son pocos y no interfieren en la comprensión del escrito o están ausentes.

Hábil (19 a 17)

• En partes de la contestación se desarrolla y estructura información bien escogida. • El texto está claramente organizado, pero faltan algunas transiciones y/o hay faltas de continuidad ocasionales. • Exhibe alguna variedad en la estructura de las frases y algunas elecciones de palabras acertadas. • Los errores de gramática, silabeo y puntuación no interfieren en la comprensión.

136

La aplicación de escalas de evaluación sintéticas —generalizada en nuestros países— en sistemas de evaluación masivos o en evaluaciones institucionales presenta el inconveniente de no permitir devolver resultados en fun-ción de cada uno de los problemas detectados; por el contrario, sólo se llega a saber que los escritos de los estu-diantes fueron calificados, por ejemplo, como regulares, pero no sobre qué temas volver para subsanar aquellas fallas que dieron como resultado tal calificación. La escala de evaluación sintética asume cierta unidimensio-nalidad de la competencia evaluada, en el caso que nos ocupa: la producción escrita. Sin embargo, involucra la evaluación de microhabilidades o componentes que necesariamente tienen un comportamiento disímil entre sí (la coherencia puede estar presente y la gramática ser algo defectuosa). Por otra parte, estas grillas suelen apelar a categorías muy subjetivas, del tipo “la estructura de las frases es variada”, “los detalles están bien escogidos”, “el léxico es rico”, “la información es clara”. Por estas razones, es difícil arribar a niveles generales con sentido claro.

Las escalas de calificación mostradas hasta aquí pueden ser útiles por permitir evaluar en forma pormenorizada o global aspectos que trascienden los rasgos más superficiales del texto; también lo son porque, aplicadas por una misma persona, responden a criterios de evaluación en principio semejantes para todos los destinatarios. Así, por ejemplo, cada docente podría emplear en el aula una escala sintética porque, si él pone en juego siempre el mismo criterio, los estudiantes resultan claramente calificados. Hemos introducido una condición —“si él pone en juego siempre el mismo criterio”— que merece ser co-mentada. En efecto, se constataron una cantidad de efectos sistemáticos que influyen o sesgan la ponderación de la información que dan las pruebas de los estudiantes. Por un lado, parece existir entre los profesores una tendencia a distribuir las notas según una curva normal, esto es, a establecer siempre una proporción más o menos pareja de notas buenas, regulares y malas, sean cuales fueren las características de los exámenes. También parece influir el orden en el que se corrigen los exámenes: los primeros suelen obtener mejores notas que los úl-timos en ser corregidos. Está bastante comprobada la existencia de un efecto de “contraste”. Por este efecto, la calificación otorgada a un trabajo depende, en alguna medida, de la impresión acerca de los trabajos anteriores.

Suficiente (16 a 14)

• Se desarrolla información con algún detalle. • El texto está organizado con ideas generalmente relacionadas, pero que tienen poca o ninguna transición. • Exhibe un control de los límites y la estructura de la frase, pero las oraciones y las palabras elegidas son simples y poco variadas. • Los errores de gramática, silabeo y puntuación no interfieren en la comprensión.

Regular (13 a 10)

• Presenta alguna información clara, pero en forma de lista carente de desarrollo o repetida o limitada a un buen comienzo. • Está irregularmente organizado; puede estar desmembrado. • Exhibe un control desigual de los límites y la estructura de la frase; puede tener algunas elecciones de palabras inexactas. • Los errores de gramática, silabeo y puntuación suelen interferir en la comprensión. (...)

136 137

Un trabajo que obtendría una nota mediana en un lote de trabajos de calidad superior, puede obtener una nota buena si es corregido junto con trabajos de calidad inferior (Amiguens y Zerbato-Poudou, 1999).

Lo anterior debe llamarnos la atención sobre el hecho de que la evaluación del trabajo de los estudiantes debe realizarse no sobre la base de un modelo de referencia que el profesor desarrolla, sino mediante la comparación genérica entre conjuntos de información y criterios explícitos. Esto significa que debemos volver al primer punto considerado, los criterios, y tener presentes los sesgos introducidos en la apreciación del evaluador como efecto de diferentes factores: serie de corrección, tendencia a la normalización, propósitos, creencias. Una for-ma posible de evitar estos sesgos es la elaboración de glosarios de referencia que habrán de consultarse durante la evaluación, como se propone más adelante.

Las escalas analíticas amplias y las sintéticas no son tan adecuadas, en cambio, en evaluaciones en las que in-tervienen necesariamente diferentes apreciaciones sobre las propiedades de la calidad del escrito. En efecto, los sistemas de evaluación y las instituciones en las que se desempeñan grupos numerosos de docentes, inclu-yen muchos evaluadores que difícilmente pueden acordar en cuanto a la extensión de conceptos tales como “adecuada utilización de las comas y los puntos”, “empleo correcto de los términos científicos” o “precisión y riqueza del léxico”.

Por otra parte, si va a darse un puntaje al texto, el conteo de la cantidad de errores debería realizarse sobre la base de un parámetro que permita calificar de modo equitativo textos de extensión diferente e igualmente ade-cuados a la consigna dada. Las escalas de evaluación de la escritura propuestas para el SERCE, como se verá, permiten efectuar esas operaciones(4). En la aplicación de estas escalas, los glosarios de referencia, que permi-ten que los evaluadores lleguen a un acuerdo, son absolutamente imprescindibles. Por esta razón, presentamos en la próxima parte el glosario de los conceptos involucrados en la evaluación de las pruebas del SERCE.

Segunda parte 1. Glosario de conceptos involucrados en la evaluación(5)

Las definiciones que siguen no tienen otro objeto que el de establecer las convenciones necesarias para unifor-mar la evaluación de las pruebas de escritura del SERCE. Por esta razón, se han excluido de ellas los diferentes puntos de vista en los que se posicionan distintos lingüistas para dar respuesta a los problemas que plantean la descripción del sistema lingüístico, la diversidad textual, los procesos de comprensión y producción de enun-ciados, etcétera(6).

Los criterios que han regido la adopción de una u otra teoría o de tal o cual concepto han sido, por un lado y precisamente, el hecho de que resultaran más o menos familiares a los destinatarios de este documento(7); por otra parte, que en conjunto las definiciones permitieran dar cuenta en forma pormenorizada de las posibilida-des y las dificultades de los estudiantes al escribir; finalmente, que esas definiciones fueran lo suficientemente claras y distintas como para permitir la identificación precisa del error o la inadecuación.(8)

En el glosario se incluyen ejemplos tomados de las pruebas del SERCE. Se los transcribe textualmente, por lo que podrán verse en ellos errores e inadecuaciones de diverso tipo. Sin embargo, nos centraremos en señalar el error o la inadecuación -o el aspecto adecuado- que nos interesa para ejemplificar el punto que estamos tra-tando.

138

1.1. Coherencia

Se denomina coherencia semántica a la organización subyacente que establecen entre sí las partes de un texto tanto desde el punto de vista del significado como desde el punto de vista referencial. La semántica del significa-do textual se ocupa de los significados atribuidos a palabras, frases u oraciones para dar cuenta de las relaciones que se establecen entre ellas; la semántica referencial del texto se ocupa, por su parte, de los vínculos entre las expresiones y lo que ellas designan, es decir, sus referentes. Junto con las de cohesión, estas relaciones hacen que un texto pueda ser interpretado como tal y no como una suma de oraciones y/o párrafos “sueltos”.

La coherencia estructura el contenido del texto y sus partes de un modo determinado (por ejemplo, presentan-do en una introducción contenidos propios de una introducción) y distribuye la información según su grado de importancia (disponiendo equilibradamente la información más y menos relevante).

A la organización del contenido textual se la suele llamar macroestructura. La macroestructura de un texto es un tipo de esquema semántico que contiene las informaciones clasificadas como importantes y que explicita sus interrelaciones. Representación abstracta, la macroestructura puede expresar sintéticamente desde el tema más general (por ejemplo, el tema de un capítulo) hasta los temas particulares (el tema de cada apartado de ese capítulo, los temas de cada uno de los párrafos que componen ese apartado y demás) del texto. El nivel ma-croestructural más global, en muchos casos, está expresado en el título.

Si cada nivel “superior” (más global) de proposiciones(9) puede representar una macroestructura de un nivel inferior, entonces existen distintos niveles posibles de la macroestructura en un texto. Nótese que, desde este punto de vista, a los estudiantes se les ha dado, en forma de lista o de cuadro, la macroestructura del texto que debían escribir.

En las pruebas del SERCE de tercer año, el texto producido debería tener como tema global tareas/recomen-daciones sobre el cuidado de la salud, y deberían poder reconocerse, en los distintos aspectos, proposiciones más particulares: escolares y familiares/ para la salud bucal, contra la gripe, contra la diarrea. En sexto, el texto producido debería tener como tema global el perro, el pan y deberían poder reconocerse en los distintos párrafos proposiciones relacionadas con las siguientes macroestructuras: características físicas, alimentación, costumbres, relación con las personas, para el primer caso, y aspecto, componentes, preparación, consumo, en el último.

A la vez, la coherencia es pragmática, es decir, está definida por la organización de los distintos actos de habla producidos al emitir un texto en una situación comunicativa adecuada (por ejemplo, en el contexto de una clase de aula, el desarrollo contendrá, seguramente, los actos de habla “preguntar”, “ejemplificar”, “explicar”, “reformular”).

Como contraparte de la asignación de coherencia al texto por parte del productor, se ubica la interpretación que de ese texto hace el lector u oyente; en efecto, un texto conversacional como: “A— Teléfono. ¿Qué hago? / B— Vuelvo en una hora”, sólo podrá ser interpretado como coherente por un receptor que reconozca, entre otros factores, que B pretende negar su presencia y que expresa esto a A “económicamente”.

Las principales reglas constitutivas de la coherencia textual son las siguientes:

• Regla de repetición: la mayor parte de las proposiciones deben encadenarse a partir de la repetición de algunos elementos.

138 139

• Regla de progresión: debe producirse un desarrollo del texto, a partir del aporte constante de nueva información. • Regla de no contradicción: no puede introducirse información que contradiga un contenido previamente establecido (explícita o implícitamente). • Regla de relación: los hechos referidos deben estar relacionados en el mundo (real o imaginario) que el texto representa.

La coherencia se manifiesta en dos niveles: local o lineal y global.

El nivel local o lineal atañe a las relaciones entre las proposiciones, que pueden ser temporales (simultaneidad, posterioridad, anterioridad) o lógicas (causa-efecto, condición-consecuencia, medio-meta, oposición, afirma-ción-ejemplo, resultado-razón, afirmación-paráfrasis, etcétera). Estas relaciones pueden quedar implícitas y re-querir del lector su reposición por inferencia o pueden aparecer marcadas en la superficie del texto por diversos conectores; solo en el primer caso se las considerará de coherencia; por el contrario, cuando la relación se explicita a través de un conector, se las toma como relaciones de cohesión.

El nivel global concierne a la organización de las proposiciones en la totalidad que constituye el texto. Es decir que, además de establecerse linealmente, las proposiciones deben organizarse jerárquica y comunicativamente. La organización jerárquica, que varía según el tipo de texto, determina que, en el caso de la descripción (que hemos solicitado en las pruebas del SERCE), el tema —la proposición más global— se incluya por lo ge-neral al principio del texto y que se lo descomponga en sucesivos subtemas y subsubtemas o proposiciones más es-pecíficas.

La organización comunicativa de las proposiciones, por su parte, determina la progresión temática: la informa-ción se despliega en un cierto orden, sin contradicciones ni redundancias, equilibrando el juego entre datos ya dados y datos nuevos.

En las pruebas del SERCE, hemos decido evaluar discriminadamente aspectos que hacen a la coherencia, tanto en los textos adecuados a la consigna como en los no adecuados. Las particularidades de la coherencia en los tipos de texto observados en la fase piloto se encuentran en los apartados Estructura descriptiva, Estructura narrativa y Estructura instructiva. 1.2. Estructura textual descriptiva

El tipo textual descriptivo, propuesto en todas las pruebas de escritura del SERCE, revela de un modo singular un ordenamiento jerárquico y vertical de las proposiciones. Los procedimientos descriptivos básicos son cuatro: anclaje, aspectualización, puesta en relación, encaje por subtematización.

Por medio de la operación de anclaje la descripción denomina su objeto; en otros términos, señala, a través de un sustantivo común o propio, el tema o título. Este puede aparecer:

• en posición inicial, para indicar de quién/qué se va a hablar; • al final de la secuencia, para explicitar de quién/qué se acaba de hablar.

Estos dos procedimientos pueden, por su parte, combinarse para retomar y modificar el tema-título inicial u otras unidades aparecidas en el curso de la descripción (por ejemplo, para reformular una propiedad o la desig-nación de una parte del objeto considerado).

140

Cuando el tema-título se presenta al inicio de la secuencia, el lector puede evocar sus conocimientos enciclopé-dicos y confrontar sus expectativas con lo que lee. La operación inversa, de colocación del tema-título en el final de la secuencia, retarda el proceso referencial y cognitivo: el lector solo puede emitir hipótesis que verificará al término de la secuencia, cuando el tema-título le sea dado.

La operación de aspectualización es la que más comúnmente se considera como base de la descripción. Si la opera-ción de anclaje es responsable de la puesta en evidencia de un todo (“Tareas que debo hacer” / “Es mi perro”), la de aspectualización se ocupa de la descomposición de ese todo en partes (“tareas para la escuela/ tareas para mi casa / “tiene una cabeza, dos ojos, una nariz”), cualidades (“es bueno, sociable, compañero”) o propiedades (“es alto, fuerte, peludo”). Se trata, entonces, de la división y clasificación de los elementos que componen el o los objetos denominados.

La puesta en relación consiste en asimilar, por comparación, metáfora o metonimia, el objeto que se describe con otro objeto. La puesta en relación es típica en la descripción poética; en la descripción científica, se procede de este modo cuando es necesario describir formas complejas y desconocidas hasta el momento. Los estudian-tes que describen el perro como “morocho” o “rubio” y la araña como “articulada” operan relacionando el cuerpo de estos animales con el del ser humano y el de ciertos muñecos, respectivamente.

La operación de encaje de una secuencia descriptiva en otra constituye la fuente de la expansión de la descrip-ción. Una parte seleccionada por aspectualización (por ejemplo, las tareas de la escuela o la cabeza del perro) puede ser elegida como base de una nueva secuencia, tomada como nuevo tema-título y, a su vez, ser conside-rada según diferentes aspectos: propiedades eventuales y subpartes (“forrar cuadernos, sacar punta a los lápi-ces de colores”) “Los ojos son...; la boca es...”). A través de una nueva temati-zación, una subparte puede ser mostrada en sus propiedades y partes y esto, hipotéticamente, hasta el infinito. Al estudiante, en las pruebas del SERCE, se le ha solicitado que proceda por subtematización teniendo en cuenta sus posibilidades cognitivas: en sexto año, los subtemas se duplican respecto de tercero (Adam, 1991; 1992). 1.3. Estructura textual narrativa

Consideraremos que un texto presenta una estructura narrativa cuando relate algo que sucede o sucedió, en forma real o imaginaria. Una narración puede resumirse en un hecho o acontecimiento general, que responde a la pregunta ¿Qué ocu-rrió?, pero sólo se desarrolla cuando descompone tal hecho en una serie de acciones principales o núcleos, que constituyen el esquema básico de una narración. Por tanto, para diferenciar enunciados del tipo “yo tuve un perro que un día se murió” de textos que expanden su resumen, diremos que hay narración cuando se observe expandido al menos uno de los núcleos de la historia.

Además de núcleos, una narración presenta acciones menores; por ejemplo, los diversos e inútiles esfuerzos por salvar al perro enfermo. Las acciones menores no integran el esquema básico de la narración y se las puede suprimir y expandir sin modificar el esquema. Por esa razón, dejaremos de lado su presencia y su calidad (en los buenos relatos se incluyen para demorar el paso de un núcleo a otro con la finalidad de crear interés o suspenso) a la hora de decidir si el texto presenta una estructura narrativa.

El esquema básico de una narración puede expandirse también mediante la inclusión de secuencias, más o menos extensas, en las que se describe, se explica (se señala por qué ocurrió algo), se argumenta (se formulan evaluaciones de los hechos) o se dialoga. Al igual que las acciones menores, estas inclusiones pueden frecuen-temente suprimirse o alterarse sin que se modifiquen los núcleos de la historia: hacen, en verdad, a su relato. Ahora bien, esas secuencias deben estar subordinadas a la narración. En el caso contrario, el relato se abandona

140 141

y el texto pasa a constituir lo que aquí llamamos “un híbrido”, es decir, un texto que no se corresponde con un género definido, que no es ni cuento ni retrato, por ejemplo, sino la suma de un cuento y un retrato truncos.

Los núcleos y las acciones menores se organizan temporalmente (a una acción le sigue otra) y lógicamente (una acción es la causa de otra posterior o la consecuencia de una anterior). A esta relación temporal y lógica que se establece entre las acciones se la denomina secuencia narrativa. Las narraciones que escriben los estudiantes presentan con frecuencia alteraciones en la secuencia narrativa, lo que introduce problemas de coherencia de distinto orden: hay información que no puede reponerse porque se han omitido ciertos hechos de la cadena causal, las acciones aparecen desordenadas sin que se explicite que se trata de un caso de retrospección o ida hacia atrás en el tiempo, por ejemplo. Sin embargo, por estas fallas, que se evaluarán en los puntos de la Planilla relativos a la coherencia, el texto no deja de ser narrativo.

Las relaciones temporales y lógicas pueden explicitarse a través de conectores, cuya función es expresar o hacer evidente la relación existente y no establecerla. Por eso, la corrección en el uso de estas partículas tampoco será condición para adscribir el texto a la categoría de narración.

Los hechos narrados se desarrollan en un tiempo y en un lugar que no necesariamente deben ser explícitos y precisos: sólo deben cumplir la condición de mantener una consistencia en el universo representado, de modo que no se introduzcan errores de coherencia (como, por ejemplo, cuando la situación inicial se sitúa en un tiempo vago y remoto, y el conflicto, sorpresivamente en la actualidad). Por otra parte, los hechos son protago-nizados por participantes que llevan adelante las acciones que el relato desarrolla. Cuando el participante no se mantiene o aparece repentina e injustifica-damente, el texto sigue siendo narrativo, aunque presenta un proble-ma de coherencia. Lo mismo sucede cuando el objeto que persigue el participante varía caprichosamente, sin determinación ninguna.

El protagonista encuentra a otros participantes, elementos o fuerzas que colaboran con su proyecto, y se en-frenta con quienes desempeñan la función de oponentes y le obstaculizan obtener lo que busca o se lo impi-den. En las relaciones que se establecen entre protagonistas, ayudantes, oponentes y objetos, se expresan los conflictos. Diversos autores señalan que el conflicto es el rasgo definitorio de la narración: puede obviarse la situación inicial, puede velarse la resolución, pero el conflicto no puede faltar ni estar poco desarrollado. Sin embargo, en los niveles educativos con los que trabajamos no exigiremos tal condición para adscribir el texto a la categoría de narración: diremos que hay un problema de coherencia narrativa, originado en la incompletitud del principal núcleo narrativo.

Toda historia es relatada por un narrador. Como se sabe, el narrador puede relatar como un participante o como un testigo. Este último puede presentar una perspectiva o punto de vista particular a partir del cual cuenta su historia: interna, cuando asume el punto de vista de un personaje; externa, cuando no asume el punto de vista de ningún personaje o cero, cuando relata los hechos dando a conocer la perspectiva (los deseos, los intereses y las ideas) de todos los participantes. En los relatos extensos, sobre todo ficcionales, el narrador puede combinar los puntos de vista, pero no sucede lo mismo, en general, en los relatos breves como los que pueden presentarse en las pruebas del SERCE. En la mayoría de los casos, el cambio de punto de vista, que no podrá ser acompañado de señales que den cuenta de él, constituirá un error de coherencia.

Entre los géneros narrativos que desarrollan los estudiantes cuando no se adecuan a la instrucción de escribir un texto descriptivo, sobresale, en primer lugar, la anécdota.

La anécdota es un subgénero de la narración oral que tiene como tema algún suceso relacionado con el enuncia-dor o, en otra de sus variantes, con un conocido del enunciador(10). Tal suceso tiene la cualidad de ser módi-camente excepcional, es decir, de constituir respecto de lo normal o esperable un desvío no demasiado grave

142

ni en cuanto a los trances mismos que lo conformen ni en cuanto a sus consecuencias. En concordancia con su relativa importancia, su extensión es idealmente breve, y lo mismo puede decirse de los rasgos estilísticos; es común, entre estos últimos, la inscripción de diálogos centrales o periféricos a lo narrado.

Estructuralmente, la anécdota suele estar construida a la manera de un pequeño enigma (por eso, la introduc-ción tiene frecuentemente como fin inducir al enunciatario a la ansiedad mediante frases como: “A que no sabés lo que...”, o “¿no te conté nunca...?”). Así, un final inesperado o absurdo viene a satisfacer, y justificar, la promesa implícita de la sorpresa. Este punto —el estructural— es el que menos desarrollado se observa en las producciones estudiantiles, que suelen comenzar con una fórmula del tipo “Un día yo...”. Por su modo de funcionamiento, la anécdota es bastante refractaria a la fijación en la escritura. En efecto, su pertinencia es altamente ocasional.

Los estudiantes que aún no han interiorizado los géneros discursivos propios de la escritura y que no inter-pretan adecuadamente la consigna, suelen producir anécdotas, influidos tal vez también porque las actividades de producción escrita de estos textos son frecuentes en la clase de Lengua o porque la anécdota es uno de los géneros narrativos que se aprende más allá de la escuela y que les resulta más conocido.

Transcribimos dos ejemplos, tomado de las pruebas de pilotaje, en el que podrán observarse las características mencionadas:

Mi perro y yo

El viernes a la noche mi perro y yo salimos a pacear, yo como siempre lo llevaba con la correa verde claro: el color preferido de él y el mío. Tichi, mi perro siempre llevó buenos modales conmigo, pero ese año “no”.

Al día siguiente fuimos de campamento y llevamos: una carpa, su tachito para hacer sus necesidades, comida, lámpara, algunas ropas, ollas chicas, utensilios para mi y también gas. Mi perro de costumbre siempre se acostaba en su manta verde. Sus necesidades no las hacía en cualquier lugar.

A la noche pasó un guardabosque que pasaba por todo el campamento, mi perro escuchó ruidos y salió a ladrar, nunca le molestó ningún ruido pero este si, el guardabosque se asusto y salió corriendo. Nos echaron.

El dueño del lugar nos preguntó que pasó y yo le expliqué y mi perro con carino le dio un beso.

Y nunca más le molestó ni un solo ruido.

Yo y el delicioso pan

El pan es muy delicioso. Este se hace en la panadería. Para mí el pan es la vida, porque sin el no puedo estar. Todas las noches me acompaña junto con el yogur. Este pan es una de las vidas de todos nosotros.

Un día fue feriado y no había escuela, y mi madre me mandó a buscar el pan. Cuando llego a la tienda las demás personas me dijeron: niño que tú vienes a buscar y yo le dije: yo vine a comprar mis deliciosos panes, y ellos me dijeron: hoy no hay pan. Cuando llegue a mi casa empecé a llorar y mi mamá me preguntó: que te pasa niño mío, y yo le dije yo lloro porque hoy como era feriado la tienda no trabajo, y no pude comprar mis delicias ¡Qué panes más sabrosos estos!

142 143

En menor medida que anécdotas, los estudiantes escriben cuentos. La definición de cuento ha sido materia de polémicas y controversias que no han terminado de saldarse y cuya mera descripción sería dificultosa y extensa. Dejando de lado de tales desacuerdos, se considera en general como cuento a toda pieza narrativa ficcional rela-tivamente breve, cuya macroestructura prescribe, según la rígida definición canónica, el encadenamiento causal entre las acciones que corresponden al comienzo (o introducción), al medio (o nudo) y al fin (o desenlace). La falta o el menor desarrollo de una de estas partes no impedirá que clasifiquemos el texto como cuento, tanto por el hecho de que la definición es canónica y no se corresponde con formas más modernas como por el hecho de que estamos trabajando con textos de escritores aprendices.

Típicamente, las acciones son ubicadas en el pasado y narradas en tercera persona. Existen, por supuesto, na-rraciones en primera y, en grado mucho menor, en segunda persona. Sin embargo, en el pilotaje se ha verificado que los relatos en primera persona son, mayoritariamente, anécdotas. A diferencia de estas, en los cuentos que aparecieron en lugar de la descripción pedida por la consigna, el protagonismo de las acciones no es asumido por el alumno redactor, sino que se lo asigna a agentes ficticios.

Aún cuando la tripartición de la macroestructura sea respetada, es común que los cuentos producidos por los alumnos adolezcan de inconsistencias en cuanto a las relaciones entre cada una de las partes (es común, por ejemplo, que el final sea absolutamente arbitrario, es decir, no justificado causalmente por las acciones del desa-rrollo). En estos casos, hablaremos de errores de coherencia.

Entre las diversas clasificaciones que el análisis del género ha suscitado, conviene mencionar la que opone las variedades realista (de temática verosímil y cotidiana) y maravillosa (que presenta sucesos fabulosos y sobre-naturales como realmente acaecidos); probablemente interferidos por los géneros a los que se hallan más fre-cuentemente expuestos, los alumnos ensayan, generalmente, los subgéneros realistas “policial”, “de aventuras” y “melodrama amoroso” y los maravillosos “relato de terror” y “de ciencia ficción”. Véanse los ejemplos; el primero de ellos, reescritura de un cuento del argentino Anderson Imbert, podría en-cuadrarse en la categoría “relato de terror” y el segundo en la de “relato maravilloso”: El tren y Federico

Federico Tomó el tren y volvió a su casa en Belgrano, era de noche y su mujer y sus hijos estarían esperando Vio el letrero de la estación BELGRANO Bajo del tren, se largo a caminar y de repente desconoció las calles Todo se había mudado: calles, edificios, jardines, todo menos la estación, en la esquina donde debía estar su casa había otras, antes blanqueada con cal, ahora era de ladrillos rojos, antes tenia un árbol enfrente, ahora se levantaba allí un buzón pintado como la bandera NORTEAMERICANA. FIN Comer y comer

Había un perro, que no paraba de comer nunca. Un día se escapó, de su casa, y de tanto caminar se encontró en un campo yeno de golosinas; y como a el le gustaban las golosinas, no dejó ni una en el campo. En ese lugar había una montaña, y en la punta de la montaña una golosina del tamaño de un elefante; el escalo y escalo y escalo hasta que llegó asta la golosina y se la comió toda.

El perro vio pasar un camión que iba para su casa entonces se subió y volvió.

144

1.4. Estructura textual instructiva

En algunos casos, ya sea por contaminación entre el tema del texto pedido (el pan, en una de las pruebas de sexto año) y la receta de cocina, ya sea por confusión entre la instrucción para escribir y la escritura de una ins-trucción misma, los estudiantes escriben textos instruccionales.

Consideraremos instrucciones los textos que indican cómo hacer algo sin limitarse a enunciar la acción final que se va a realizar (por ejemplo, “para hacer el pan hay que usar harina”), sino dando cuenta de cómo concretar la actividad paso a paso. Además, en general, la instrucción enumera los elementos, herramientas u objetos que se deben utilizar para realizar dicha actividad.

Frecuentemente, para cumplir con la finalidad de orientar a alguien para la consecución de una meta, los textos instruccionales presentan elementos que facilitan el reconocimiento de sus partes, así como la diferenciación y el orden de los pasos: el título identifica la meta; los subtítulos, las partes (lista y procedimientos), y los mar-cadores gráficos (viñetas) o números, el orden de la secuencia. En los textos instruccionales que son recetas, la lista de ingredientes (como la lista de materiales en las instrucciones para fabricar un objeto) constituye una descripción inserta en la instrucción; es decir, si bien se observa un segmento descriptivo, este depende del marco general de la instrucción y no la domina. En cambio, los textos que describen cómo es un alimento, no presentan secuencias intruccionales; a lo sumo, transforman las intrucciones en afirmaciones con “se” imper-sonal: “Para hacer pan, se mezclan agua y harina”.

La secuencia de los textos instruccionales se ordena temporal y lógicamente. La más habitual dispone los pro-cedimientos de manera sucesiva, aunque los pasos también pueden presentarse en secuencias simultáneas (dos acciones deben realizarse al mismo tiempo), alternativas (se da la posibilidad de realizar una acción u otra) o repetidas (la misma acción debe ejecutarse más de una vez).

Predominantemente, los textos instruccionales presentan los procedimientos como órdenes o prescripciones expresadas mediante verbos en modo imperativo o en infinitivo. También existen actividades que admiten diferentes formas de ejecución o que, en todo caso, no requieren pasos obligatorios, sino recomendaciones, sugerencias o consejos. Hay otra variedad de textos instruccionales que no prescriben ni recomiendan acciones, sino hábitos o conductas: cómo comportarse en un lugar público, permanecer en una biblioteca y demás. Estos textos instruccionales no señalan cómo se debe o se puede hacer algo, sino que indican cómo se debe o puede actuar en determinadas situaciones. En lugar de una serie de acciones, presentan una serie de pautas o reglas formuladas como permisos y prohibiciones. Son producidos, por lo común, por instituciones. Finalmente, en la vida escolar, entre los diferentes textos orales y escritos, se encuentra todo el conjunto de actividades que propone el docente o el libro de texto con el objeto de que el estudiante realice una actividad concreta relacio-nada con el aprendizaje: las consignas o instrucciones de trabajo. Las consignas escolares se expresan como una prescripción o como una serie de prescripciones, aunque pueden incluir sugerencias. También pueden estar formuladas como preguntas.

En el marco de la evaluación de las pruebas del SERCE, específicamente en el caso de la consigna 2 de sexto año, es fundamental tener en cuenta lo planteado aquí respecto de la instrucción para diferenciar dos tipos de textos. Por un lado, los textos predominantemente descriptivos que incluyen una secuencia instruccional y los textos descriptivos que hacen referencia a cómo se hace el pan sin dar instrucciones. Por el otro lado, los textos francamente instruccionales. El siguiente fragmento tomado de las pruebas de pilotaje es descriptivo y no instruccional, lo que puede apre-ciarse en el uso de la primera persona plural y el modo indicativo:

144 145

El pan esta rodeado de muchas cosas. Debemos echarle varios ingredientes. Despues lo cocinamos y lo comemos.

En este caso, en cambio, el texto es una instrucción, porque predominan el uso de recomendaciones, la segunda persona y el “se” impersonal:

Para hacer dulce de toronja debes utilizar varios ingredientes. Si vas a hacer una buena cantidad de dulce debes echarle la cantidad de azúcar que lleva. Si deseas echarle canela se la echas. Debes de pelarla, después picarla, lavarla, enseguida sacarle esa agua, después se le echa la azúcar pero para darle buen sabor se le echa algo que desees. 1.5. Géneros discursivos

El uso de la lengua se lleva a cabo mediante conjuntos más o menos estables de enunciados a los que se de-nomina géneros discursivos. Los géneros constituyen tipos temáticos, composicionales y estilísticos y están determinados por las prácticas socio-culturales y discursivas (cfr. Bajtin, 1982; Voloshinov, 1992); en este sen-tido, podría ubicárselos en la intersección de las dimensiones sintáctica, semántica y pragmática del texto. Los hablantes aprenden el uso de los géneros en la medida en que participan de tales prácticas; es por esto que, en general, puede decirse de un texto o discurso verbal en particular —o de un film, o de un programa televisivo— que “pertenece” a tal o cual género (“es un policial”). El receptor orienta su interpretación de acuerdo con las expectativas creadas por el hecho de reconocer, en primer lugar, el género, por lo cual no juzga una “película de amor” según los tiroteos que presente ni una “policial” en términos de la calidad y la cantidad de las escenas amorosas.

El repertorio genérico, que es tan variado como lo son las prácticas, es fijado y modificado a lo largo de la his-toria de cada sociedad. Por esta razón se dice que los géneros son sólo relativamente estables. Es frecuente que dos o más géneros que devienen de prácticas socio-culturales y discursivas cercanas compartan ciertos rasgos (el folletín, el radioteatro, la telenovela, por ejemplo, configuran receptores comunes, emplean canales análogos, suponen todos una circulación masiva, tratan los mismas temas, se estructuran episódicamente, etcétera; entre la divulgación científica y el discurso didáctico también es posible hallar aspectos comunes). De esto resulta que es tan difícil componer una lista finita de los géneros existentes como aislar las características de cada género en particular. Desde este punto de vista, es operativo definir los géneros relacionalmente: así, por ejemplo, conside-rando el canal —escrito, oral, audiovisual— podrán diferenciarse entre sí el folletín, el radioteatro, la telenovela; o, a partir de las categorías “narrador”, “acciones centrales y periféricas”, “diálogos centrales y periféricos” y “registro”, podrá distinguirse el cuento de la anécdota.

Los géneros para uno mismo o para los más allegados, como las esquelas, las agendas, los diarios íntimos y aquellos a los que corresponden los textos pedidos en tercer año (las listas), comparten, entre otros, los rasgos de aceptar un registro informal y una presentación no necesariamente “limpia”, y de cumplir una función de “ayuda-memoria”. Esta función es la función primitiva de la escritura (Cardona, 1999), por lo que cabe afirmar que los textos pedidos se corresponden con el nivel de desarrollo -incipiente- de la escritura de los niños (Char-tier y Hébrard, 2000).

En cuanto a los propuestos en las pruebas del SERCE de sexto, se trata de géneros de divulgación de propósito informativo. En la prensa diaria, las revistas de divulgación científica y demás, las descripciones “puras” —es decir, no insertas en otros géneros a modo de secuencia— suelen aparecer en recuadros y funcionan, tanto grá-fica como semánticamente, a modo de complemento de un texto central: una crónica o una nota; sin embargo, son semántica y sintácticamente autosuficientes, es decir, su significado y su estructura cierran en sí, con inde-pendencia del texto central. En la divulgación científica, como la que se pide a los niños, sin embargo, también es común hallar descripciones “puras” que no se relacionan con un texto principal.

146

Las descripciones de divulgación, además de presentar la superestructura típica de la descripción, se caracteri-zan, básicamente, por estar redactadas sobre la base de la función referencial del lenguaje —marcada por el uso de la tercera persona gramatical y el modo indicativo— (Jakobson, 1973), seleccionar el léxico a partir de la bús-queda de un “efecto de objetividad” (Barthes, 1970) y emplear un registro escrito y formal (Halliday, 1984).

1.6. Legibilidad

En términos generales, se denomina legibilidad a la cualidad de tener suficiente claridad un escrito —funda-mentalmente, un manuscrito— como para que pueda leerse. La legibilidad atañe a las letras y las palabras: bási-camente, a la distinción de los grafemas a través del trazo.

Un escrito puede resultar totalmente ilegible (por su forma, los grafemas no se oponen entre sí o se observan signos que no se corresponden con ninguna forma asociada a un grafema) o puede presentar problemas de desciframiento: no puede saberse si el escritor conoce el uso ortográfico de las mayúsculas porque sólo emplea ese tipo de letra o solo puede inferirse que la “o” final de un adjetivo es tal a partir de la concordancia con el sustantivo pero no por su forma. En cambio, el emplear cursivas o imprentas intercaladas no constituye un pro-blema de desciframiento; de hecho, los escritores expertos tienden a simplificar la escritura manuscrita a partir de la combinación sistemática de grafemas propios de las formas cursiva e imprenta sin actuar en desmedro de la legibilidad. Como se ve, entonces, un texto puede ser perfectamente legible aunque no tenga una excelente caligrafía, entendida como letra bella y correctamente formada, según estilos predeterminados.

Como se indica en cada Instructivo, para las pruebas del SERCE, se considerará ilegible el texto cuyo descifra-miento resulte imposible. Por otra parte, se considerará que el texto tiene problemas de legibilidad (y no de or-tografía) si el niño mezcla sistemáticamente mayúsculas y minúsculas (“la-Piz”, “hojas de PaPel cuadriculado”) o si usa sólo mayúsculas. 1.7. Léxico

El léxico es el conjunto de las palabras de un idioma, de una región, de una actividad determinada, de un cam-po semántico dado, etcétera. Esto significa que, aunque pueda ser a menudo comparado con un diccionario, el léxico excede necesariamente tal modelo, dado que hay lexemas que, una vez presentes en la sociedad, tardan en ser registrados como palabras en los diccionarios. El léxico, entonces, es el repertorio de todos los vocablos de una lengua recopilado en la memoria de los hablantes.

Todo lexema o unidad del léxico está asociado, por un lado, a un significado (que correspondería a la/s defini-ción/es del diccionario o a las que los usuarios del lenguaje le atribuyen) y, por el otro, a casi siempre más de una forma. De tal manera, el lexema “niño”, cuyo significado es “persona no adulta”, tiene, entre otras, las for-mas “niño”, “niña”, “niñita”, “niñito”, “niñote”, etcétera; asimismo, el lexema “bailar”, que significa “danzar al ritmo de la música”, tiene las formas “bailo”, “bailé”, “bailaba”, “he bailado”, “había bailado”, “bailaría”, “bai-lamos”, “bailábamos”, y todo el paradigma de conjugación del verbo. En un diccionario solo aparece “niño” y “bailar” porque las demás son formas de estos lexemas.

Es frecuente el empleo de un lexema por otro a partir de cierta afinidad entre algunas de sus formas: “tiene un aro en el glóbulo de la oreja (por lóbulo)”, “el barco sufragó debido al peso (por naufragó)”, “ella es una mu-jer muy clamorosa (por glamorosa)”. Además, puede ocurrir que se reemplace un lexema por otro que es su sinónimo en otro contexto: “ese tipo es un subconsciente (por inconsciente)”, “es necesario mirar todas las posibilidades (por contemplar)”, “el tránsito está muy constipado (por congestionado)”.

146 147

Mientras los casos anteriores consisten en sustituciones o permutaciones incorrectas entre dos lexemas, otros errores se relacionan, en cambio, con la forma de un lexema. Esto ocurre de cuatro maneras posibles: -Por un lado, por el desconocimiento llano de alguna de sus formas (“amnilbar” por “almíbar”; “anali” por “análisis”, etcétera)(11).

En segundo lugar, por el desconocimiento de las reglas productivas de lexemas a partir de lexemas más sim-ples(12) (“descomprensión” por “incomprensión”; “deshumano por inhumano”; “inconocimiento” por “des-conocimiento”; “tigra” por “tigresa”, etcétera).

En tercer lugar, por la no identificación de los límites de las palabras, muy común en tercer año (“hazique” por “así que”, “abeces” por “a veces”, “voy haber” por “voy a ver”, “osea” por “o sea”) (Lyons, J.: 1997).

Finalmente, es también posible sobre todo en tercer año que los niños no hayan adquirido plenamente la escri-tura alfabética y muestren, en el léxico, una escritura silábica: “Lpiz d color”, “cuadrno”, etc. (Ferreiro, 1991). 1.8. Ortografía

La ortografía es la parte de la gramática de una lengua que se encarga de la manera correcta de escribir las pala-bras. El diccionario de una lengua es en sí mismo una guía ortográfica de la misma.

La ortografía no constituye, en sí misma, un aspecto central de la evaluación de la escritura. Lo interesante es correlacionarla con otros aspectos, como la coherencia, e indagar, por ejemplo, si los estudiantes se detienen en aspectos superficiales del texto y no en su organización profunda, o si ya tienen automatizadas ciertas normas y pueden estructurar la información sin necesidad de prestar atención a ellas.

Los errores de puntuación no se considerarán aquí como ortográficos en la medida en que se relacionan, más bien, con la jerarquización de la información. Se procede igualmente respecto de los errores de léxico, que surgen del desconocimiento de una palabra, y que se evalúan, como se ha visto, aparte. 1.9. Registro

Por un criterio de estandarización, cuando se dice que diferentes personas “hablan (escriben) el castellano/ español” se hace abstracción de toda suerte de diferencias en sus respectivos comportamientos lingüísticos. Estas diferencias son de registro cuando están relacionadas con el grado de formalidad de la situación comuni-cativa y/o el medio de comunicación que se emplee.

Toda situación comunicativa requiere un grado particular de formalidad: protocolar, formal, consultivo, casual o informal, íntimo. El grado de formalidad que se establezca puede depender de la edad y el sexo de los inter-locutores, del grado de parentesco que los una, del oficio que desempeñen, de su relación social, del lugar en el cual se encuentren, del tema del cual estén hablando y del tipo de discurso del que se trate. Dado este último fac-tor, en las pruebas del SERCE hemos decidido evaluar el registro solo en los textos de sexto año adecuados a la consigna. En efecto, los tipos de discurso pedidos en tercer año admiten una variedad de registros, de la misma manera que los cuentos, las anécdotas y todos los otros textos no adecuados a la consigna que podrían presentarse en sexto año. Como determinar, por ejemplo, qué registro es adecuado al cuento consistiría en una decisión totalmente arbitraria, se ha decido evaluar solamente si los textos enciclo-pédicos presentan el registro que sí se exige en ellos: formal y escrito.

148

Por otra parte, en el mismo medio escrito podemos distinguir, entre otros matices, textos escritos para ser leídos por otros, textos escritos para ser leídos por uno mismo, textos escritos para ser dichos, textos escritos para ser dichos como si no fueran escritos, etcétera. El escritor competente no confunde el medio con el canal de ejecución de la comunicación. Por eso, al evaluar las pruebas del SERCE, consideraremos aceptable que en el borrador de sexto año, texto para ser leído por uno mismo, aparezcan expresiones como “x q” y “+ grande”, y no consideraremos aceptable que se las presente en la versión definitiva, texto —adecuado o no a la consigna— para ser leído por otros.

En muchos casos es difícil —si no imposible— determinar si el error de registro procede de una inadecuada percepción del grado de formalidad de la situación o del medio, ya que es común que estos factores funcionen asociados. Los mensajes deben adecuarse a ambos parámetros; es erróneo, por consiguiente, tanto el uso de un registro “coloquial” y “oral” en la redacción de, por ejemplo, una monografía académica, como el uso de un registro “ceremonioso” o “protocolar” en el relato de una anécdota intrascendente en la peluquería.

Los errores de registro se observan en el plano del vocabulario y en el de la sintaxis. En el primer caso, es común ver cómo los estudiantes emplean términos propios de situaciones informales en textos enciclopédicos (“el perro es un animal doméstico que come y caga dos veces por día”). En el segundo caso, se observan construc-ciones propias de la oralidad, tomadas de textos orales, como las frases truncas y las preguntas de constatación de la participación del interlocutor en el diálogo (“qué le vamos a hacer, si tiene esas costumbres, ¿no?”) o como el uso de la segunda persona y la función apelativa (“tenga cuidado con los gatos: son enemigos del perro”).

Es necesario, finalmente, insistir en una diferencia que no siempre es contemplada en la medida de su impor-tancia: las diferencias de registro se establecen en el interior de cada variedad dialectal. En efecto, las variedades dialectales del castellano, es decir, el repertorio de los rasgos fonoléxico-sintácticos relacionados con la proce-dencia geográfica del hablante (lo propio del castellano “colombiano”, “chileno”, “ríoplatense”, “mexicano”, etcétera.) no implican un registro menos formal que los del castellano “peninsular”(13) (que no es, además, sino otro dialecto). En Buenos Aires, por ejemplo, “heladera” no es menos formal que “refrigerador”, de la misma manera que “durazno” no lo es respecto de “melocotón”, “aparcar” de “estacionar”, ni el voseo en compara-ción con el tuteo.

La consideración de la adecuación del registro, por tanto, está en manos del conocimiento que el evaluador tiene de lo que es formal en su variedad dialectal. El ejemplo siguiente no resulta adecuado a una situación comuni-cativa formal como la propuesta en sexto año, en el marco del Río de la Plata:

El perro come carne y animales muertos. Si los humanos lo joden mucho, el perro se calienta. 1.10. Texto

En las pruebas de escritura del SERCE, se considera texto al objeto lingüístico empírico y descriptible produci-do en una situación comunicativa determinada bajo el efecto de una red de determinaciones lingüísticas (macro y micro semánticas, macro y micro sintácticas, etcétera) y extralinguísticas (culturales, ideológicas, psicologógi-cas, situacionales).

En teoría, para ser tal, un texto debe cumplir con ciertas normas: ser coherente, explicitar su coherencia me-diante la cohesión, tener un propósito, resultar aceptable para el receptor, transmitir cierta información, ser relevante en la situación en que se produce, entre otros aspectos. En los hechos, los escritores aprendices ela-boran textos que tienen fallas en uno o más de esos planos y que, sin embargo, aquí consideraremos textos por oposición al enunciado sin sentido o a la serie de enunciados sin ligazón entre sí.

148 149

Entonces, a los fines de nuestra investigación, se dice que hay un no texto cuando se observan, como respuesta a la consigna, un solo enunciado, varios enunciados sin ningún tipo de relación temática entre sí, o una serie de enunciados que, a pesar de reiterar parte del tema, parecen estar construidos como respuesta a la instrucción “Escribí oraciones con tal palabra”, ya que no pueden ser inscriptos en ningún género, no tienen ninguna fina-lidad comunicativa, no son cohesivos y resultan apenas coherentes. Se trata de casos como los siguientes:

Mi mamá me pide que limpie. La maestra nos da tareas. En la escuela hice cuentas. La maestra nos pide un libro. Mi casa esta siempre sucia. Tareas Mi casa es linda. Mi casa es cómoda. Mi casa es grande. 1.11. Título

El escritor competente selecciona y elabora el título del texto teniendo en cuenta el género discursivo y el destinatario, entre otros aspectos; así, los títulos de las obras literarias suelen apuntar al establecimiento de una polisemia o multiplicidad de sentidos, mientras que los de los textos científicos o enciclopédicos privilegian la univocidad y el designar el tema o contenido del texto mediante una macroestructura.

Desde el punto de vista del receptor, el título de un texto funciona como primera clave para establecer una hipó-tesis de lectura; apoyándose en sus conocimientos sobre el tema, los géneros, etcétera, el lector formula ciertas conjeturas sobre el conjunto que, al leer, va rectificando o confirmando; esta operación es un buen criterio para determinar la adecuación o inadecuación del título en tanto macroestructura: si el lector ve frustradas o con-tra-dichas sus expectativas en un texto de las características pedidas, el título no es adecuado (Alvarado, M.: 1996).

Véase el ejemplo:

La vida de un perro

Hay diferentes tipos de perros: pueden ser perros callejeros, domesticados y hasta entrenados para cazar. Sus características físicas pueden ser variables. El perro es muy hábil. Eso se lo debe al estar apoyado en cuatro patas facilita su destreza. Su ambiente y su hábitat es según el perro si es doméstico vive en casa, si es cazador en Australia si es callejero en la calle.

Como se observa, el título no expresa el contenido global del texto.

150

Tercera parte 1. Instructivo para la evaluación de las pruebas de tercer año

En este punto, se dan las instrucciones de marcado de cada una de las opciones que componen los ítems de la planilla para evaluar las pruebas de escritura de tercer año. Es fundamental tener en cuenta que cada pregunta indaga un aspecto específico que se diferencia claramente de los restantes y que, por esa razón, las instrucciones acotan con precisión el universo al que cada opción de marcado atiende.

La mayoría de los casos propuestos para ejemplificar los modos de evaluar son críticos. Esto se debe a que esos ejemplos son los que, suponemos, pueden plantear más dudas al evaluador y no al hecho de que la mayoría de los textos respondan a esas características.

El evaluador deberá emplear el instructivo siguiendo las sugerencias que se plantean en el punto 5 de este Ma-nual, Recomendaciones para evitar sesgos y errores al evaluar.

En la página siguiente, se muestra un facsímil de la planilla a la que nos referiremos.

150 151

42

152

Encabezamiento

• Copie todos los datos que figuran en el encabezamiento de la prueba y que tengan sus correspondientes casi-lleros en la planilla de evaluación en blanco. • Revise la correspondencia entre los datos originales y los copiados. I. Borrador

1. El niño ¿escribió el borrador? (Sí/ No/ Sí, pero borró lo escrito)

• Marque “Sí” cuando el estudiante haya empleado el espacio asignado para la redacción del borrador, es decir, aun cuando haya escrito una sola palabra clave o haya dibujado. Ignore el hecho de que lo escrito se corresponda o no con lo pedido. • Marque “Sí, pero borró lo escrito” cuando el borrado de lo escrito sea total. • Marque “No” cuando el borrador no haya sido utilizado en absoluto. Si responde “Sí”, debe pasar a las preguntas 2 y 3. Y si marca “Sí, pero lo borró” o “No”, al ítem 4, después de marcar “N.C.” (“No corresponde”) en los ítems 2 y 3. 2. ¿Siguió, en general, la consigna? (Sí / No / N.C.)

• Marque “Sí” en el caso en que el estudiante haya consignado en el borrador al menos una palabra clave y/o idea que se corresponda con lo solicitado en la consigna y no se observe un predominio de otras ideas, es decir, aunque haya ignorado una o más de las ideas pedidas pero siempre y cuando la mayoría sean adecuadas. • Marque “No” si el estudiante no consignó en el borrador predominantemente palabras-clave y/o ideas que se correspondan con lo solicitado, es decir, si:

1) interpretó erróneamente el tema y, por ejemplo: -en el cuadernillo 1, enumeró cosas y no acciones, o acciones que no son tareas o más tareas no pedidas que tareas pedidas en la consigna; -en el cuadernillo 2, nombró enfermedades o copió partes de la instrucción (“para no tener diarrea, para tener dientes sanos”) y no esbozó o planteó recomendaciones para evitarlas;

2) interpretó erróneamente el tipo de texto y, en vez de enumerar, por ejemplo, relató, o redactó oraciones o palabras sin un sentido acorde con el texto solicitado en la instrucción. Marque N.C. si el borrador resulta por completo ilegible y no puede evaluarse si el estudiante siguió o no la consigna.

En el siguiente caso, por ejemplo, tomado del cuadernillo 2, corresponde marcar “No”, ya que, aunque se hace referencia al tema enfermedad, el estudiante redactó una alusión a su vida personal y no se ajustó al tipo de texto pedido:

Yo no menfermo nunca mi ermano senferma

Lo mismo sucede en el siguiente caso, tomado del cuadernillo 1, porque se hace referencia a tareas con una forma predominantemente anecdótica (véase el uso de los verbos en pasado y el esbozo de una secuencia na-rrativa):

152 153

Las tareas En La escuela me pusieron una tarea que era un robo y unas divisiones etc. en mi casa me pusieron a ser La tarea des pues a tender las camas des pues de aser la tarea me fuy ajugar con mis amigas y des pues de jugar con mis amigas des colgo los cuadernos y el uniforme

En el siguiente caso, se observan esbozos de recomendaciones, en el uso de la expresión “tengo que”, funda-mentalmente; a pesar del uso de la primera persona, no diremos que el texto es predominantemente anecdótico porque no hay secuencia narrativa y porque los verbos están en presente habitual. Por lo tanto, marcaremos “Sí”:

Yo ago para tener los dientes sanos ir al dentista. Cuando llo tengo los dientes malos tengo que curármelos porque no los puedo tener así. Cuando llo tengo dolor de barriga tengo que ir al baño. Porque si no voy al baño no se me pasa el dolor. Yo ago para no resfriarme taparme con una corcha. Porque si no me tapo con la corcha tendré mucho frío.

También en este caso, tomado del cuadernillo 2, corresponde marcar “Sí”, porque es posible considerar que el niño ha escrito una expresión clave (aunque sea la única) para, en el texto definitivo, redactar una instrucción:

cepillo de dientes

Si marca “Sí”, pase a la pregunta siguiente. Si marca “No” o “N.C.”, pase a la pregunta 4, después de marcar “N.C.” en la 3 y en la 5.

3.a. En el cuadernillo 1, de las 10 ideas pedidas, ¿cuántas planteó? (Casi-llero/ N.C.) b. En el cuadernillo 2, de las 6 ideas pedidas, ¿cuántas planteó? (Casille-ro- N.C.)

• Sitúese en el punto a. o b. de la pregunta 3, según corresponda al cuadernillo. El máximo de ideas pedidas es, en el cuadernillos 1, 10 y, en el cuadernillo 2, 6. • Numere las ideas planteadas por el estudiante en el borrador de la prueba, una por una, en una hoja aparte. • Consigne en el espacio en blanco de la planilla la cantidad de ideas que planteó el estudiante en el borrador respecto de las pedidas en la instrucción. Las ideas pedidas son:

1) en el cuadernillo 1, diez tareas escolares (por ejemplo, escribir un cuento, leer un cuento, redactar un texto, completar oraciones, resolver cuentas, recortar palabras, dibujar, etcétera) y/u hogareñas (hacer compras, ordenar juguetes, ayudar a algún familiar en su trabajo, poner la mesa, etcétera), que no deben estar necesaria-mente ni organizadas en dos subtemas ni ser cinco de cada tipo ni ser de los dos tipos;

2) en el cuadernillo 2, seis menciones de formas de cuidar la salud, incluso cuando ya se está enfermo, independientemente de que tengan la estructura o el fraseo típicos de la recomendación (abrigarse, hervir el agua, lavarse los dientes, no andar descalzo, tomar leche, lavar los utensilios de cocina, usar una planta a la que la comunidad adjudica propiedades benéficas y demás);

Cuente como “ideas” desde palabras clave hasta párrafos.

154

No cuente las ideas que no se refieran y circunscriban a uno de los 6 ó 10 puntos enumerados. Es decir, excluya de la cuenta las menciones no pertinentes. Por ejemplo, son ideas no pertinentes:

1) en el cuadernillo 1, “jugar con mis amigos”; 2) en el cuadernillo 2, “hacer los deberes”.

Tampoco cuente en forma doble las ideas repetidas, como “hacer cuentas de sumar y restar” y “hacer sumas y restas”.

Tenga en cuenta que usted puede inferir información ausente en la superficie del texto mientras esté presente en su estructura profunda y que, en cambio, no puede “inventar” información inexistente. Por ejemplo, si en el borrador del cuadernillo 1 el alumno escribe: Matemática Lenguaje Recolectar hojas de árboles

puede inferirse o reponerse que se trata de “estudiar Matemática” y “estudiar Lenguaje” o de “hacer las tareas de Matemática” y “hacer las tareas de Lenguaje”. En efecto, es normal ante las preguntas “¿Qué tenés que es-tudiar” o “¿Qué tenés que hacer”?, responder simplemente: “Matemática”. En cambio, si el alumno consigna:

Tijera Témperas Hacer una carta no puede inferirse, en el caso de las dos primeras ideas, ninguna tarea: habría que “inventar” y poner informa-ción (en vez de reponerla); por ejemplo, la idea de que al alumno le pidieron que recortara alguna cosa o pintara otra, con la certeza de que confunde la noción de “tareas” con la de “materiales para realizarlas”.

Vea el siguiente ejemplo, tomado de un borrador de cuadernillo 1; los corchetes, que encierran las ideas, y los números, que las cuentan, son nuestros; los números repetidos indican ideas repetidas; hemos considerado, por-que la inferencia es simple y porque ante la duda siempre debe beneficiarse al estudiante, que “Un borrador”, “cuatro palabras agudas”, “siete palabras llanas”, “Una carta”, “muchas palabras esdrújulas” y “diez palabras con h” son tareas cuyo sentido se completa a partir de la mención anterior del verbo “hacer”; además, hemos considerado que “hacer la tarea” es una idea que repite a las anteriores y a las posteriores: [Hacer un plan]1 [Un borrador]2 [cuatro palabras agudas]3 [siete palabras llanas]4 [Una carta]5 [Muchas palabras esdrújulas]6 [Leer mucho]7 [Repasar matemática]8 [Hacer la tarea] 1 a 8 y 9 [Diez palabras con h]9

En este caso, por tanto, corresponde consignar 9 (de 10).

154 155

Vea este otro ejemplo, tomado de un borrador de cuadernillo 2. Los corchetes y los números cumplen la misma función que en el ejemplo anterior; el 0 expresa ideas no pertinentes o no pedidas:

[A mi aula fueron un grupo de médicos para enseñarme a ciudar la salud.]0 Para no resfriarme [no mojarme los pies],1 [no llo-viarme]2 y [no andar descalza]3. Para la diarrea [no tomar agua contaminada y]4 [hervirla cuando sea necesario]5. Para manter los dientes sanos, [no comer mucho dulce,]6 [labarme los dientes cuando almuerze, cuando desayune y cuando coma.]7 [Después cuando llegue a mi casa contarle a mis padres lo que me dijo el médico]0.

En este caso, entonces, corresponde consignar 6. Como se ve, la idea 7 no se consigna, porque el límite es 6. Además, las ideas que se cuentan son las que se encuentran en el nivel del subsubtema: el tema recomendacio-nes, es subclasificado por el niño en los subtemas 1) recomendaciones para no resfriarme, 2) recomendaciones para no tener diarrea y 3) recomendaciones para mantener los dientes sanos; el primer subtema se sub-clasifica en tres subsubtemas: 1) no mojarse los pies, 2) no “lloviarse” y 3) no andar descalzo; el segundo subtema, se subclasifica en dos subsubtemas: 1) no tomar agua contaminada y 2) hervir el agua si parece necesario; final-mente, el tercer subtema, se despliega en un solo subsubtema: lavarse los dientes tres veces por día; esto es, la mención de las veces del día en que los dientes deben lavarse no constituye un nuevo nivel de tematización, por-que la acción sigue siendo una, a diferencia de lo que ocurre con no mojarse los pies y no caminar bajo la lluvia.

Con este mismo criterio, “no comer muchas cosas dulces como caramelos, chicles y chocolates” constituye un solo subsubtema (una misma recomendación para tener dientes sanos), mientras que “recortar 10 palabras agu-das”, “recortar 10 palabras esdrújulas” y “recortar 10 palabras llanas” constituyen tres subsubtemas diferentes, porque designan tres acciones (tres tareas escolares) diferentes del subtema tareas escolares y del tema tareas. II. Texto definitivo

4. El niño ¿escribió el texto definitivo? (Sí/ No/ Sí, pero lo borró)

• Marque “Sí” en el caso en que el estudiante haya escrito en el espacio asignado a la versión definitiva, aunque haya borrado parcialmente lo que escribió, ignorando el hecho de que el texto sea correcto o incorrecto, adecuado a lo pedido o inadecuado. • Marque “Sí, pero lo borró” en el caso en que el estudiante haya borrado o tachado por completo algo escrito en el espacio asignado a la escritura del texto definitivo. • Marque “No” si el estudiante dejó totalmente en blanco el espacio asignado a la escritura del texto definitivo.

Si marca “Sí”, pase a la pregunta siguiente. Si indica “Sí, pero lo borró” o “No”, marque “N.C.” en todos los ítems restantes de la planilla. 5. Si lo hizo, ¿mejoró la presentación respecto del borrador? (Sí/ No / N.C.)

Responda a esta pregunta sólo si marcó “Sí” en las preguntas 1 y 2. Si marcó “No”, indique “N.C.”.

• Compare la superficie del borrador con la del texto. • Marque “Sí” cuando observe que son más los elementos mejorados que los que se mantuvieron con la misma presentación. Considere como elementos para ser mejorados los siguientes:

1) la caligrafía; 2) la horizontalidad en la escritura de las palabras;

156

3) la linealidad en la disposición de las palabras y las frases (si ya no se observan o se observan menos palabras o construcciones agregadas en medio de otras ya escritas, o flechas que indiquen dónde colocar una idea); 4) los dibujos que ilustran las ideas, siempre y cuando no interfieran con la disposición del texto en forma de lista (cuadernillo 1) o lista o enumeración (cuadernillo 2). Asimismo, son expresiones de mejoría: 5) la supresión de tachaduras; 6) la eliminación de dibujos innecesarios o la transformación de dibujos en texto; 7) la introducción de elementos gráficos, como las viñetas ( • u otro), que suelen encabezar las listas, o títulos jerarquizados; 8) la disposición en forma de lista de elementos que en el borrador no lo estaban.

En el siguiente caso, se observa un avance notable entre el borrador y el texto:

156 157

• Marque “No” cuando observe o bien que entre el borrador y el texto definitivo no hay diferencias de presen-tación, es decir, cuando aparezcan o bien las mismas u otras características propias de un texto para sí o para otros, o bien cuando el texto definitivo resulte “peor” que el borrador. Las marcas persistentes y/o predomi-nantes que deberán observarse para marcar “No” son las siguientes: 1) una caligrafía no esforzada, 2) palabras escritas sin cuidar la línea horizontal, 3) palabras o construcciones agregadas en medio de otras ya escritas, 4) palabras abreviadas, 5) flechas u otros signos dibujados para indicar reordenamientos de la información, 6) tachaduras. También podrá observarse la pérdida de: 7) información, 8) formato. En el siguiente caso tomado del cuadernillo 1, por ejemplo, corresponde marcar “No”, ya que el estudiantea-bandonó el formato de lista, la división en subtemas y dejó de lado importante cantidad de información.

Borrador

Texto definitivo

158

En este otro caso, si bien en el borrador se observa un elemento propio de un texto para otros (el estudiante traza líneas para escribir de modo “bien horizontal”), predominan los rasgos propios del texto para sí: tacha-duras, agregado, etc. Como en el texto definitivo esos rasgos desaparecen, diremos que se observa una mejora entre el borrador y el texto:

6. ¿El texto puede ser en general leído? (Sí/ No/ N.C.)

Céntrese en el texto definitivo. Marque “No” solo en el caso en que las palabras no puedan descifrarse al punto que resulte imposible contarlas o que no puedan leerse porque no se ha presionado lo suficiente el lápiz contra el papel. Asimismo, si la cantidad de palabras que no es posible descifrar es tal que no puede reponerse el sen-tido de la frase. Puede ocurrir que sea posible reconocer y contar espacios que corresponden a palabras, pero que éstas no puedan leerse de todos modos. También, que se lean grafemas que, sin embargo, no constituyen en conjunto una palabra descifrable. También marque “No” en estos casos. Absténgase de reconstruir las palabras que no pueden leerse.

158 159

Vea el ejemplo:

Aunque, con esfuerzo, podría interpretarse que en la línea 4 el niño quiso expresar “no andar descalzo” y en la 5, “no mojarse”, el hecho es que se lee “no el dadecaso” y “no mo cor”, y que eso resulta indescifrable si entendemos por “cifrar” transcribir en letras un mensaje.

• Marque “Sí” en el caso en que todas las palabras puedan ser leídas, aunque el escrito no tenga un sentido claro. Asimismo, si hay unas pocas palabras indescifrables que, sin embargo, permiten adjudicar un significado general a las frases o al texto. Si marca “No”, complete “N.C.” en todos los puntos restantes de la planilla. 7. Si puede ser leído, ¿excluye los problemas puntuales de desciframiento? (Sí/ No /N.C.)

• Marque “Sí” cuando la escritura resulta clara por la forma de las letras, por las distinciones entre el cuerpo de la letra y el enlace, porque se dejan espacios evidentes entre palabras y porque se diferencian mayúsculas de minúsculas. • Marque “No” cuando la forma de las letras resulte ambigua, cuando no se distingan con claridad el cuerpo de la letra y el enlace, cuando no se dejen espacios suficientes entre palabras, cuando no se diferencien mayúsculas de minúsculas o se usen solamente mayúsculas o solamente minúsculas.

En el siguiente caso, se observan problemas de desciframiento; sin embargo, no impiden la lectura del texto como totalidad; por eso, lo habremos calificado, en el punto 6, como legible y en este, como con problemas de desciframiento:

160Vea este otro ejemplo, en el que se indicará también “No” porque el estudiante no distingue mayúsculas de minúsculas y no pone, en algunos casos, espacios suficientes entre las palabras (como este último problema es sistemático, no se considera que hay errores de léxico, es decir, no se dirá que para el estudiante existen palabras como “unperro”, “loengorde”, “leempese”, etc.

En suma, la utilización de solo mayúsculas suele producir problemas sistemáticos en el plano de la separación de las palabras entre sí, además de no permitir expresar el uso ortográfico; cuando se observe esta situación, se dirá que el texto no excluye los problemas de desciframiento y no se dirá que el alumno no conoce los límites de la mayoría de las palabras que escribe y que por ello las junta todas, lo que constituiría un gravísimo problema de léxico, ni que cree que todas las palabras son sustantivos propios y que por ello las pone con mayúscula, lo que constituiría un gravísimo error ortográfico. Ante textos como el último, lo único que puede afirmarse con certeza es que la caligrafía acarrea al lector dificultades para descodificar palabras y frases.

160 161

8. El niño ¿mantuvo los subtemas y la estructura planteados en el borra-dor? (Sí/ No /N.C.)

• En tercer año, marque “Sí” en el caso en que el estudiante haya retomado el 60% o más de los subtemas o subsubtemas y la estructura plasmados en el borrador, independientemente del hecho de que se adecuen —en el borrador y en el texto— a lo propuesto por la instrucción.

Por ejemplo, deberá indicarse “Sí” en el cuadernillo 1 si en el borrador el estudiante relató ciertas acciones en vez de enumerar elementos y en el texto definitivo vuelve a relatarlas todas, y, en el cuadernillo 2, si en el borra-dor enumeró las 6 recomendaciones exigidas y en el texto enumera, de esas 6, 4. Asimismo, si en el borrador enumera 3 expresio-es clave y en el texto definitivo las retoma para construir una anécdota.

Es decir, lo que ha de considerarse en tercer año para determinar si el niño utiliza el borrador para construir su texto es el sostenimiento temático y estructural con total independencia de que la estructura sea la pedida en la consigna —lista clasificada en dos sublistas, en el cuadernillo 1, y recomendaciones, en el cuadernillo 2— y con total independencia de que el tema sea el pedido en la consigna: —tareas de la escuela y de la casa, en el cuadernillo 1 y recomendaciones para cuidar la salud, en el 2.

Además, como se ha pedido desarrollar borradores y textos elementales en cuanto a su estructura, las expre-siones clave del borrador pueden constituir la protoestructura de textos definitivos igualmente simples o más elaborados. Por esta razón, cuando en el borrador se observe una lista de palabras claves y en el texto, una anéc-dota, un cuento u otra clase de texto que las retome, se indicará también “Sí”. En otras palabras, si la simpleza estructural del borrador no permite afirmar con certeza, al analizar el texto definitivo, que la estructura original ha sido abandonada, se indicará “Sí” porque esas ideas elementales han sido retomadas. (En sexto, en cambio, como veremos, la estructura descriptiva de tres niveles de tematización y el 75% o más de los subtemas deberán ser claramente coincidentes entre el borrador y el texto para que se indique “Sí”).

En el siguiente caso, por ejemplo, el alumno plantea una anécdota en el borrador a partir de interpretar errónea-mente el tema dado en la instrucción, y la sostiene en el texto definitivo, por lo que corresponde marcar “Sí”.

162

Del mismo modo, debe procederse en el ejemplo que citamos a continuación, pues en el texto definitivo apare-cen desplegados todos los subtemas clave, planteados del modo más elemental, en el borrador:

Borrador: Recomendaciones Para no resfriarse Para no tener diarrea Para tener dientes sanos Texto definitivo: “Recomendaciones” Habia una bes un niño que se resfrio y tubo que hir al medico. El medico le dijo que no puede estar descarso y el niño tubo diarea y se volvió a enfermar. El niño tenia dientes sanos y se curo de la enfermeda • Marque “No” si el estudiante no hizo el tránsito del borrador al texto definitivo y no conservó ni la estructura ni la protoestructura, ni el tema, es decir, si en el borrador nombró ciertos subtemas o subsubtemas y en el tex-to, otros; si en el borrador elaboró una enumeración y en el texto definitivo, un cuento que no incluye el 60% o más de las cosas enumeradas, si en el borrador relató una anécdota y en el texto definitivo una lista de acciones no relatadas en la anécdota, si en el borrador anunció los campos en que deben darse las recomendaciones para cuidar la salud y en el texto relata un cuento sobre en-fermedades que no hace referencia al 60% o más de esos campos, etc.

En el siguiente caso, tomado del cuadernillo 2, corresponde marcar “No”, ya que en el borrador y en el texto definitivo se plantearon dos textos sin relación entre sí:

162 163

Borrador: Tomá leche y la sopa Comer naranja Qul agua este limpa Texto definitivo: Mi amigo Mi amigo pedro es mui bueno juega siempre con migo • Si en la pregunta 1 indicó que el niño no hizo o borró el borrador, no marque “N.C.”, sino “No”. “N.C.” se reserva para el caso en que el texto no haya sido escrito (pregunta 4 de la planilla) o resulte ilegible (pregunta 6 de la planilla). 9. Independientemente de lo que haya hecho en el borrador, ¿se refirió en general a lo propuesto? (Sí/ No / N.C.)

• Marque “Sí” cuando el estudiante haya escrito un texto que se corresponda con la situación comunicativa, el tema y la macroestructura propuestos por la instrucción, es decir, si:

1) en el cuadernillo 1, enumera al menos una tarea que pueda realizar en el hogar o para colaborar con los quehaceres familiares y otra para la escuela, y si no son más las ideas no pertinentes que esas pertinentes;

2) en el cuadernillo 2, desarrolla al menos dos recomendaciones para evitar una enfermedad o dos re-comendaciones para sendas enfermedades, y si no son más las ideas no pertinentes que esas pertinentes;

Si observa errores puntuales, es decir, si observa ideas no pertinentes cuando la mayoría son pertinentes, mar-que también “Sí”, como en este caso (se subraya el error puntual, que consistió en insertar, en la lista de tareas y actividades del cuadernillo 1, un objeto): Forar cuaderno tigera Cuentas Vicicleta Pegar palabras Lavar ropa Nótese que hemos considerado que “cuentas” y “bicicleta” son tareas y que no lo es “tijera”, a pesar de que en los tres casos nos encontramos frente a un sustantivo común. La razón es la siguiente: la lista es un género informal y, por tanto, admite supresiones. Puede afirmarse que el estudiante ha suprimido el verbo “hacer” en “hacer cuentas” y “hacer bicicleta” (al menos en el dialecto del Uruguay, de la Argentina y de Colombia). No puede decirse lo mismo respecto de “tigera”: ni “hacer la tijera” ni “usar la tigera” parecen reposiciones con sentido. Entonces, inferimos que se ha usado erróneamente “tigera” en vez de “recortar”, que sí es una tarea posible.

164

Lo mismo se aplica, en el siguiente ejemplo, a “Matemática” y “Lengua Espanola”: puede suponerse o inferirse sin necesidad de “inventar” información la supresión de “hacer lo de Matemática/ Lengua Española”, “estu-diar/ practicar Matemática/ Lengua Española”, etc.

¡Qué bien me siento cumpliendo las tareas! Matemática Lengua Espanola barrer limpiar fregar tender buscar el pan el llogur buscar el petroleo y buscar el agua

Deje de lado el hecho de que el texto aparezca o no titulado, pues se lo evalúa luego. Deje de lado también el hecho de que el texto aparezca presentado gráficamente conforme a la clase textual “lista”, ya que el formato se evalúa más adelante. En el primer ejemplo de este punto, consideramos que el tex-to responde en general a la instrucción aunque los elementos no hayan sido dispuestos uno debajo del otro y aunque la actividad no escolar aparezca inserta entre las escolares y no ubicada separadamente.

• Marque “No” si los aspectos del tema, la situación comunicativa y la clase textual pedidos no se observan en general; por ejemplo, si el estudiante

1) en el cuadernillo 1, enumeró predominantemente o solo cosas y no acciones, o acciones que no son tareas escolares u hogareñas;

2) en el cuadernillo 2, nombró predominantemente o solo medicamentos o enfermedades y no reco-mendaciones para evitarlas;

Asimismo, en todos los casos, si interpretó erróneamente el tipo de texto y, en vez de enumerar, por ejemplo, predominantemente relató o solo redactó oraciones sin sentido, con palabras tomadas o no de la instrucción. En el siguiente caso, por ejemplo, tomado del cuadernillo 1, corresponde marcar “No”, ya que el estudiante no redactó una lista de cosas:

La maestra no pide muha cosas mi mama pide mucha cosas.

164 165

Lo mismo ocurre en el siguiente caso, tomado del cuadernillo 2, en el que no se observa una enumeración de recomendaciones:

Qeno hace frio qno se laba.

Analicemos este problemático caso, tomado del cuadernillo 1:

El Lunes la maestra mando a Estudiar El martes mi mama me mando a Estudiar El dia miércoles la maestra iso el trabajo El dia Jueves me mando mi mama a Estudiar. El Viernes yo me fui a Estudiar. El sabado se fue mi mamá a la Reunión de nosotro Yo me porte bien en la Escuela En la escuela yo ise un trabajo.

Veamos, en primer lugar, la cantidad de referencias a lo que se pidió en la escuela y en la casa en relación con las referencias no pertinentes: si consideramos que en diferentes días se realizan diferentes tareas y tomamos los enunciados en los que claramente se hace alusión al encargo de una tarea, las pertinentes son 3 y las no perti-nentes, 5 (“El día miércoles la maestra hizo el trabajo”, “El viernes yo me fui a estudiar”, “El sábado se fue mi mamá a la reunión de nosotro”, “Yo me porté bien en la escuela”, “En la escuela yo ise un trabajo). En segundo lugar, veamos si el texto tiene la forma de una enumeración: en realidad, es una enumeración contaminada con la anécdota (la mención de diferentes días produce un efecto de representación del transcurso del tiempo, y hay un sujeto coincidente con el alumno que aparece como ejecutor o receptor de las acciones) y con repeticiones que analizaremos en el punto coherencia, pero enumeración al fin. Finalmente, consideremos la situación co-municativa: en este plano, el texto no presenta la finalidad de una lista, recordar lo que hay que hacer, sino que presenta hechos ya ocurridos. Por lo tanto, de los tres aspectos considerados, dos nos indican que debemos marcar “No” y uno, que debemos marcar “Sí”, por lo que consignaremos “No”.

Si marca “No”, pase a la pregunta 10. Si marca “Sí”, pase a la pregunta 11, después de marcar “N.C.” en la 10. 10. Si no escribió un texto acorde con la instrucción, ¿qué clase de texto escribió?Una copia completa o parcial, textual o parafraseada, de la instrucción / Un cuento / Una anécdota / Otra descripción / Otro / Un no-texto / N.C.

Responda a esta pregunta sólo si marcó “No” en la 9.

• Marque “Una copia completa o parcial, textual o parafraseada, de la instrucción” si el niño produce un texto que copia parte de la consigna o que responde a los planteos para el mejoramiento del borrador dados en el paso 2. Vea el siguiente, en relación con el cuadernillo 2:

Escribi las palabras en forma completa. Le podría poner un titulo.

166

Asimismo, en este caso, tomado del cuadernillo 1:

• Marque “Un cuento” si el niño redactó una narración ficcional sobre un tema que no aparece en la consigna, aunque sea breve y no tenga plenamente desarrolladas sus partes constitutivas, tal como se plantea en el Glosario. Por ejemplo, en este caso, tomado del cuadernillo 1 (consideramos que se trata de una narración y no de un no-texto porque es posible reconocer, al menos, dos enunciados):

Habia un rey muy malo no queria que su hija se case, pero al final se casaron, / la rescató un prinsipe.

Asimismo, en este otro caso, también del cuadernillo 1:

El barco se unde Habia una ves que existia un barco que se llamaba el tiburó el tiburo era un barco muy fuerte y grande su dueño era el capitan barba negra era un pero que luchaba por su patria en una gerraiba el tiburón y le tiraro una bomba y murio el tiburón su dueño barba negra

También, si el niño toma algún aspecto de la consigna para elaborar un relato ficcional, aunque sea breve y no tenga plenamente desarrolladas sus partes constitutivas. Por ejemplo:

Un chico se enfermo mucho. Qucieron salbarle la vida, pero no pudieron curarlo y murio

En cambio, si solo se observa un enunciado que podría desplegarse narrativamente pero se encuentra plasmado en una sola proposición, se indicará “Un no-texto”. Por ejemplo, en este caso:

Los niños hicieron muchas tareas. • Marque “Una anécdota” si el niño redacta un relato personal realista que, si está enteramente desarrollado, en vez del nudo propio de un cuento, incluye una ligera complicación, como se indica en el Glosario. Por ejemplo, en el cuadernillo 1, se observan estas anécdotas o protoanécdotas, que no toman ningún elemento de la consigna y no presentan un hecho ligeramente conflictivo:

166 167

Mis mejores amigas son YESICA y ROSARIO. a la tarde vamos aser deberes y gugamos con muniecas. Hoy estu vemolestando hoy estuve jugando hoy estu ve corriendo hoy estu ve ayudando En el primer caso, el texto parece constituir el comienzo o la situación inicial de una anécdota trunca: la pre-sentación de los personajes y de las acciones habituales que realizan. En el segundo caso, decimos que hay una anécdota, aunque la complicación esté ausente, porque hay presencia de hechos narrados, porque esos hechos están en pasado y son posibles en la realidad, porque están atribuidos a una primera persona y porque esa pri-mera persona es la misma, es decir, porque hay unidad de personaje. También, se marcará “Una anécdota” si el estudiante redacta un relato personal tomando un elemento mencio-nado en la instrucción. Por ejemplo, en el cuadernillo 1:

Mi maestra no quiere que borre el cuaderno. Un dia cuando borre mucho el cuaderno arranco la oja y dijo hay que escribir denuebo todo.

• Marque “Otra descripción” si el niño se refiere, a través de más de un enunciado, a cómo es un objeto, un ser o un fenómeno no mencionados ni central ni lateralmente en la instrucción. Por ejemplo, en este caso:

Charli es el unico ninio pobre y bueno. Los demás son egoístas.

Asimismo, si el niño se refiere, por ejemplo, a cómo es un borrador o goma de borrar, a cómo es un útil escolar, cómo es la gripe, en qué consiste la diarrea, etc.

Un borrador sirbe para borrar cuando nos equibocamos es de goma y se pone susio y ensusia la oja.

También en este otro caso:

La regla Es un instrumento que sirve para hacer cosas rectas es larga y delgada y nos ayuda a dibujar cosas rectas es un utile que se usa para hacer triangulos, cuadrados, rectángulos etc.

Y en este otro:

La diarea es cuando tienes dolor de bariga. La gripe es cuando tienes fiebre.

Y, finalmente, en este, extraído de un cuadernillo 1, en el que se listan cosas y no tareas, ya que la lista es un texto descriptivo:

Las cosas de la escuela y de la casa casa cocina maletin mesa carpeta pizarra silla ventana estante cuaderno

168

• Marque “Otro” si el estudiante escribió un texto que no puede clasificarse de acuerdo con ninguna de las categorías anteriores, como en el siguiente caso, tomado del cuadernillo 2, en el que se pasa de un relato tradicional en pasado, trunco, a una descripción subjetiva en presente y, finalmente, a un relato anecdótico nuevamente en pasado: “El gato”

Havia una vez un gato muy bonito y bien cuidado le gustaba tomar leche y comer croquetas el gato era muy latoso y enfadoso se subia a las piernas de las personas y se dejaba acariciar. Es un gato muy inteligente le usta comer de todo y tomar de lo que sea le gusta bañarse, ir al parque salir a odas partes es bonito Duerme dia, tarde y noche es muy dormilon come a las 2:00 desayuna a las 8:30 y cena a las 10:30 es bien comelón le gustan los niños Un dia el se subio a un arbo y le llame a los bomberos y los rescataron Fin • Marque “Otro” también si el estudiante escribió un texto que, inscripto en un género discursivo definido, no puede, sin embargo, atribuirse a ninguna de las categorías desagregadas: copia de la instrucción, anécdota, cuento u otra descripción. Por ejemplo, una noticia o un afiche para prevenir determinada enfermedad.

• Marque “Un no-texto” si el estudiante no escribió un texto, sino una oración sin o con sentido, o una serie de oraciones sin enlaces, del tipo: “mi mamá es buena, mi papá trabaja, mi tio es alegre”. Asimismo, como se indica en el Glosario, si observa series de oraciones como “mi mamá me pidió ayuda, mi tía me pidio ayuda, mi papá me pidió ayuda”. En este último caso, si bien se mantiene el tema “pedir ayuda”, todo indica que el estudiante escribe como si hubiera recibido la consigna “escribí oraciones con ‘pedir ayuda’, y no con el criterio de desplegar un tema con una finalidad comunicativa determinada.

• Recuerde que, cuando se observe un solo enunciado —narrativo, descriptivo, instruccional, etc.— se marcará “Un no-texto”, incluso si hay un título, como en el caso siguiente:

Los libros perdidos

Un día mi hermana se le había quedado unos libros debajo de su carpeta y no los encontró • Marque “N.C.” si marcó “Sí” en la pregunta 9. • Si marcó “Un no-texto”, pase a la pregunta 14, después de marcar “NC” en las preguntas 11 a 13.

168 169

II.1. Adecuado o no a la consigna

11. ¿Escribió un título que exprese globalmente el tema del texto que redactó? (Sí/ No / N.C.)

Responda a esta pregunta si marcó “Sí” en la 4 y en la 6, y si no marcó “Un no-texto” en la 10. Si marcó “Un no-texto” en la pregunta 10, pase a la 14, después de marcar “N.C.” en ésta, en la 12 y en la 13.

• Marque “Sí” en el caso en que el título designe el tema o contenido del texto (“Tareas”, “Para cuidar la salud”, etcétera, en el caso de textos adecuados a la consigna) y/o indique el género (“Lista”, “Lista de tareas” “Recomendaciones”, “Recomendaciones para cuidar la salud”, “Cuadro de cosas para hacer”, etcétera, también en el caso de textos adecuados). • En textos adecuados a la consigna, marque “No” cuando el estudiante no haya incluido un título o cuando éste no presente ninguna de las características anteriormente mencionadas. En este caso, el título no designa el tema global:

¡Qué bien me siento cumpliendo las tareas!

Matemática Lengua Espanola barrer limpiar fregar tender buscar el pan el llogur buscar el petroleo y buscar el agua

Lo mismo ocurre en este título paródico, que encabeza una serie adecuada de recomendaciones para la salud: “Sanoman”.

Por otra parte, el título puede presentar problemas gramaticales y, sin embargo, expresar el tema; es el caso de “Lista tarea”, para un texto del cuadernillo 1, en el que se indicará “Sí”.

Para determinar la adecuación del título en textos no adecuados a la consigna, es conveniente recurrir a lo se-ñalado en la pregunta 10 respecto del género. Es decir, si usted ha marcado en esa pregunta “Una anécdota”, podrá dar por buenos títulos del tipo “Lo que me pasó”, “El día que...”, “Mi doctor”, etc., que remiten al gé-nero. Tenga en cuenta que, si el alumno redactó un cuento, puede darse el caso en que el título agregue nuevos significados al texto y exija al lector realizar una inferencia de alto nivel.

Veamos el siguiente caso:

Los pajaritos

Una vez abia un pajarito que tenia muchos sueño I le en con tro una ave que ria comelo al pajarito I el pajarito como es muy Ave vuela a la rama de man nana el pajaro como es un sonso parese una culebra. I lo dise a lo amigo tuve que en con trarte en el campo.

170

En el punto 10 habremos indicado que el texto es un cuento, porque, a pesar de los serios baches que presenta en el plano de la coherencia, muestra una secuencia y elementos propios del género. En cuanto a la adecuación del título, considerando entonces que se trata de un cuento, evaluamos si se hace referencia, como se anticipa, a los personajes; el protagonista del relato es un pajarito; en el cuento se mencionan, además, un ave, en tanto personaje antagonista, y los amigos. La situación es ambigua, ya que el ave no parece ser del todo un pájaro y ya que los amigos no juegan un papel que justifique su mención en el título; sin embargo, quedan dudas y, en última instancia, el título puede aludir a los pajaritos en general, como si el relato fuera el caso que presenta un atributo de la especie. Por tanto, consignaremos “Sí”.

Revisemos este caso de “Otra descripción”, tomado del cuadernillo 1. El título es perfectamente adecuado:

Las cosas de la escuela y de la casa

casa cocina maletin mesa carpeta pizarra silla ventana estante cuaderno

Es importante recordar que, cuando en la pregunta 10 se marcó “Un no- texto”, en esta debe consignarse “N.C.”. En efecto, el no-texto se caracteriza por no presentar, entre otros rasgos, ni un tema ni un género ni una situación comunicativa, por lo que no es posible asignar un título. Véase el siguiente ejemplo, en el que corresponde indicar “N.C.”: aunque el alumno redactó un enunciado en posición de título y aunque podría de-cirse que las oraciones presentan entre sí la ligazón de estar todas referidas a partes y cosas de la casa, no puede ser inscripto en un género ni puede determinarse en qué contexto sería comunicativo; además, las oraciones presentan la típica estructura surgida de la consigna escolar “haz oraciones con cosas de tu casa”:

Mi televisión es muy bonita.

Mi radió es color rojo. Mi cama es comodo. Mi sillas están nueva. Mi mesa es blanca. Mi mueble está linda. Mi cocina está limpia. Este lavadero no sirve. Mi escoba barre muy bien. Mi recogerdor está bonita. Mi cuaderno está linda.

170 171

12. ¿Distribuyó adecuadamente toda la información? (Sí/ No / N.C.)

Responda a esta pregunta si marcó “Sí” en la 4 y en la 6, y si no marcó “Un no-texto” en la 10. Si marcó “Un no-texto” en la pregunta 10, pase a la 14, después de marcar “N.C.” en ésta y en la 13. • En el caso de los textos adecuados a la consigna, marque “Sí” cuando el estudiante:

1) en el cuadernillo 1, se haya referido a tareas escolares, por un lado, y tareas hogareñas, por el otro; el orden tareas escolares/ tareas hogareñas es igualmente correcto que el orden tareas hogareñas/ tareas escolares;

2) en el cuadernillo 2, se haya referido a más de una recomendación para evitar una misma enfermedad en el mismo bloque de información; por ejemplo, cuando a “para no resfriarse” siguen al menos dos recomen-daciones para no resfriarse y en el medio no aparece ninguna otra para evitar otra enfermedad; si el estudiante da una sola recomendación para cada enfermedad, responda también “Sí”.

• En los textos descriptivos, adecuados o no a la consigna, marque “No” si el estudiante, insertó una idea englo-badora en medio de ideas específicas, y no como su anuncio (en posición inicial) o su cierre (en posición final). En el siguiente ejemplo, ponemos en negrita la idea mal ubicada:

Las ordenacione que me dio mi medico

Que me labe los diente después de comer Que me cuide la garganta Me dijo que seque el pelo despues de vaniarme Que me dijo que me cuide para no enfermarmeMe dijo que no coma muchas cosas de chocolate Y me dijo que me cuide cuando me lastime

• En los textos descriptivos no adecuados a la consigna (categorizados en el punto 10 como “Otra descrip-ción”), marque “Sí” cuando el estudiante haya desarrollado el tema en un solo subtema (por ejemplo, si se refirió solamente a tareas escolares o solamente a tareas de la casa) o en dos o más subtemas pero sin entre-mezclarlos. Marque “No” si el estudiante entremezcla el despliegue de los subtemas o el de los subsubtemas. En el siguiente caso, que debe clasificarse como “Otra descripción” porque no se refiere a las tareas y, sin em-bargo, constituye una lista con sentido, hay dos subtemas: cosas de la escuela y cosas de la casa, cuyos subsub-temas aparecen entremezclados; además, uno de los subtemas englobadores (en negrita) aparece en el mismo nivel que los subsubtemas englobados; por lo tanto, corresponde marcar “No”.

Las cosas de la escuela y de la casa

casa cocina maletin mesa carpeta pizarra silla ventana estante cuaderno

172

• En los textos narrativos (anécdotas y cuentos), marque “No” si el texto presenta al menos un problema en el nivel de la secuencia. En el siguiente ejemplo, citado ya más arriba, los problemas de secuencia son varios: el sueño no funciona como causa de ningún hecho; el hecho de ser sonso no funciona como causa suficiente de parecer una culebra; lo que sucede entre la mimetización del pajarito y el encuentro con sus amigos está injus-tificadamente omitido; la aparición del pajarito en el campo no tiene antecedente (¿dónde estaba antes?). Por tanto, sin completar nosotros las secuencias que el estudiante no ha completado, consignaremos “No”:

Los pajaritos

Una vez abia un pajarito que tenia muchos sueño I le en con tro una ave que ria comelo al pajarito I el pajarito como es muy Ave vuela a la rama de man nana el pajaro como es un sonso parese una culebra. I lo dise a lo amigo tuve que en con trarte en el campo.

En este otro ejemplo, una anécdota, se observa la falta de, al menos, dos hechos (qué hizo el grupo de médicos inicialmente y cuándo constató que todos los amigos del narrador estaban enfermos) por lo que, siempre evi-tando construir algo que el estudiante no ha construido, se marcará “No”:

Llendo a mi colegio los doctores

Me imagine que un grupo de medicos y como todos mis amigos estaban enfermos pero una niña Nebía estaba vien enferma pero los medicos vinieron y nos curarón.

Tenga en cuenta que todos los textos híbridos, por definición, presentan problemas de integración de las se-cuencias entre sí: la secuencia descriptiva, por ejemplo, es paralela a la narrativa y no está incluida dentro de ella, como sucedería si se tratara de un cuento. Como precisamente por este rasgo ya se los clasificó como híbridos, ahora no debe reclasificárselos en el mismo sentido, sino que deben analizarse los problemas de distribución de la información dentro de cada secuencia. Esto es, por ejemplo, si dentro de la secuencia descriptiva misma hay subsubtemas entremezclados, si dentro de la secuencia narrativa misma hay hechos injustificadamente des-ordenados, etc. Recuerde que la pregunta 12 no se aplica en el caso de los no-textos, ya que en ellos no es posible observar una distribución de la información. Ignore en este punto las reiteraciones de información que no se corresponden con ubicar mal las ideas englo-badoras de anticipación o cierre de la información, ya que se evalúan en el siguiente. 13. ¿Evitó las reiteraciones de información? (Sí/ No / N.C.)

Responda a esta pregunta si marcó “Sí” en la 4 y en la 6, y si no marcó “Un no-texto” en la 10. Si marcó “Un no-texto” en la pregunta 10, pase a la 14, después de marcar “N.C.” en ésta.

• En el caso de los textos adecuados a la consigna, marque “Sí” cuando el estudiante,

1) en el cuadernillo 1, se haya referido siempre a diferentes tareas escolares y/u hogareñas, e incluso a algún otro tipo de tarea que no entre en estas categorías, porque esto ya fue evaluado;

2) en el cuadernillo 2, haya planteado siempre recomendaciones diferentes para evitar una misma en-fermedad, incluso aunque desde el punto de vista de la salud haya un mismo trasfondo; por ejemplo, cuando a “para no resfriarse” siguen “comer naranja” y “tomar jugo de limón”; también marque “Sí” cuando las mismas recomendaciones aparecen hasta para una enfermedad más; por ejemplo, si al caso anterior sigue “comer naran-

172 173

ja y tomar jugo de limón para no tener gripe”; asimismo, marque “Sí” cuando lo recomendado no sea correcto, pero sí razonable, desde el punto de vista del niño o de su cultura, ya que no evaluamos aquí saberes de las ciencias naturales; por ejemplo, si aparece “lavarse con querosene para no tener piojos”; igualmente, si no queda clara la diferencia entre lo preventivo y lo curativo, como en “para el dolor de estomago tomar al-calselser”.

• También en el caso de los textos adecuados a la consigna, marque “No” si el estudiante,

1) en el cuadernillo 1, repitió tareas escolares y/u hogareñas, incluso usando sinónimos que no dejan lugar a dudas (“hacer lo del colegio”, “hacer lo que me pidió la maestra”);

2) en el cuadernillo 2, repitió la misma recomendación para la misma enfermedad o para más de dos enfermedades.

• En el caso de los textos no adecuados y categorizados como “Otra descripción”, marque “No” cuando observe que en el texto hay un punto en que la información no avanza porque se predican los mismos atributos de un objeto, ser o fenómeno, o de algunos de los aspectos en los que se lo ha subtematizado. Por ejemplo, en este caso (la repetición aparece en negrita):

La regla Es un instrumento que sirve para hacer cosas rectas es larga y delgada y nos ayuda a dibujar cosas rectas es un utile que se usa para hacer triangulos, cuadrados, rectángulos etc.

En el siguiente caso, marcaremos “No” porque, a pesar de aparecer en posición inicial, “hacer 5 cuentas” no engloba las otras cosas para hacer y se reitera en “hacer 5 sumas” bajo la forma de la hiponimia:

Las recomendaciones

hacer 5 cuentas hacer 6 caratulas hacer 5 sumas hacer 2 canciones hacer 20 oraciones

• En el caso de los textos no adecuados y narrativos, marque “No” cuando observe que hay uno o más puntos en los que la información no avanza porque se relata el mismo hecho sin adoptar un nuevo punto de vista, o porque se predican los mismos atributos de un hecho o de un personaje. Por ejemplo, en este caso, la primera visita al médico no es igual que la segunda, y tampoco lo es el primer acceso de tos que el segundo. Por lo tanto, no hay repetición de información y consignaremos “Sí”:

Yo un dia tenia catarro y mi mama me llevo al medico. El medico me mando a tomar imeparma para la tos. Se me mejoro y fui al medico y me mando a tomar jarabe de fresa. Despue me volvio a dar tos pero fue un poco de polbo que habia olido.

• Tenga en cuenta en todos los casos que reiterar palabras no es lo mismo que reiterar información: “completar el cuaderno lenguaje” y “completar el cuaderno de matemática” no constituyen una reiteración de información. De la misma manera, en la anécdota de arriba, la repetición de “el médico” es una expresión de coherencia narrativa (y no de incoherencia dada por la falta de avance en la información): se sostiene el sujeto.

174

14. ¿Cuántas palabras escribió? N.C.

Responda a esta pregunta si marcó “Sí” en la 4 y en la 6. Si Marcó “No”, consigne en esta “N.C.”. Cuente las palabras que escribió el estudiante en el texto definitivo y consigne el número en el casillero. Considere las distintas ocurrencias de un lexema como palabras diferentes (“hacer”, “hago”, “hace”, entonces, serán tres palabras). Ignore las clasificaciones que consideran que los artículos, las preposiciones y otras pala-bras existentes en el diccionario no son palabras. Cuente los números y las abreviaturas (en “30 cm” hay dos palabras). Cuente las palabras ignorando y/o supliendo los errores de léxico; es decir, si el estudiante escribe “nisiquiera” y “con migo”, cuente 2 y 1 respectivamente. En textos más extensos de lo normal, es recomendable, para no perder la cuenta, colocar el número de palabras contadas en cada oración o cada dos oraciones en un papel aparte, y luego sumar esos números hasta llegar al total. No olvide sumar las palabras que conforman el título o la firma. En el siguiente ejemplo, hemos contado 35 palabras:

15. ¿Cuántos errores de léxico tuvo? N.C.

Responda a esta pregunta si marcó “Sí” en la 4 y en la 6. Si Marcó “No”, consigne en esta “N.C.”. Cuente como errores de léxico todos los casos —aun los repetidos— que queden comprendidos en alguna de las siguientes categorías:

1) empleo de un lexema por otro dada cierta afinidad entre sus formas: “tener más lóbulos rojos”, “dar-se un baño de inversión” (en cada uno de estos casos, hay un error); 2) reemplazo de un lexema por otro que es su sinónimo en otro contexto o que, sin existir en el sistema de la lengua, está emparentado semánticamente con él: “tener engripe”, por asociación con “estar engripado”; compasador por compás, por afinidad con transportador; “conservar limpio el ninodoro”, por sinonimia con “mantener”, en otros contextos; “erbir la leche y y tomarla antes de su consumición” (por vencimiento); 3) desconocimiento llano de la forma de un lexema: “un útile”, “hirba el agua”, “tener dolor de estóga-mo”, “conservar limpio el ninodoro” (en este último caso hay dos errores: se usa conservar en vez de mantener, sinónimos en otro contexto, y se desconoce la forma correcta inodoro), “despué”, “depué”, “usté”, “enferme-da”; 4) no identificación de los límites de las palabras: “tirar el agua a dentro”, “forar elcuaderno”; “re cortar figuras”; “avrigarse por que el frio”, “me mandaron hatrapiar el piso” (en hatrapiar hay dos errores: la unión de la preposición al verbo y el uso de i por e; se considera que el uso de h es un error de tipo ortográfico);

174 175

5) escritura silábica y no alfabética: “Lpiz d color”, “cuadrno”.

Tenga en cuenta que los errores de léxico se diferencian de los de ortografía, que no se evalúan en este nivel, y también de los de desciframiento, que se evaluaron aparte, más arriba.

Es decir, no considere el uso de mayúsculas, el uso incorrecto de nexos coordinantes o artículos antes de vocal similar, la incorrecta separación en sílabas, los grupos “mp”, “mb”, “-aba”, “-sión”, “-ción”, las tildes y, en ge-neral, cualquier empleo erróneo de la escritura de palabras que no corresponda al léxico. Ni considere tampoco los errores sistemáticos en el uso de algunas mayúsculas (por ejemplo, porque el niño siempre escribe con ma-yúscula la hache), porque corresponde categorizarlos como errores de desciframiento.

Asimismo, deje de lado la repetición de palabras, que constituye una cuestión estilística que no se evalúa.

No considere los casos en los que se produzca alguna distracción. La distracción es tal cuando una contrasta-ción con otros términos del texto mismo lo muestra: ella aparece ocasionalmente mientras que predomina, en el resto, la escritura correcta desde el punto de vista léxico. Es lo que ocurre en el siguiente ejemplo con “icimo” (distracción)/ “icimos”:

“Escrbe plabras/ Hay que bañarles/ icimos cuetas/icimos oraciones/icimos numeros/icimo Diviciones/ buscamos Palabras/ Adibinano Palabra/buscamos Palabras en el diccionario”

Si se observan una escritura incorrecta (“en fermo”) y otra correcta (“enfermo”) desde el punto de vista léxico, no cuente ningún error: como siempre, ante situaciones de paridad, se cuenta en beneficio del texto. Si se observa una sola escritura incorrecta (“nisiquiera”), cuente esa escritura como error. Consigne el número de errores en el casillero. Para el siguiente caso, tomado de un cuadernillo 1, corresponde marcar diez errores (se considera que el uso de h y rr es ortográfico y no léxico):

Mi pro fesora mepone haestudir y aler y escribir a prederme las tablas Mi mama mepone hatrapiar la casa y la bare

Los errores son: 1) separación de “profesora”, 2) unión de “me pone”, 3) unión de “a estudiar”, 4) “estudir” por “estudiar”, 5) unión de “a leer”, 6) “ler” por “leer”, 7) “prederme” por “aprenderme”, 8) unión de “me pone”, 9) unión de “a trapear” y 10) “trapiar” por “trapear”. 16. ¿Cuántos errores de concordancia? N.C.

Responda a esta pregunta si marcó “Sí” en la 4 y en la 6. Si Marcó “No”, consigne en esta “N.C.”.

Cuente los casos de:

1) no-concordancia sujeto-verbo (“La diarrea se evitan con el agua hirbiendo”); 2) no-concordancia sustantivo-adjetivo (“lapice ngros”, “regla cortito”); 3) no-concordancia nombre-pronombre (“le dijo a todos”, “ponerla a las verduras en labandina”); 4) empleo incorrecto de nexos coordinantes en el interior de la oración (“cuaderno tapa dura y rojo, pero rayado”). 5) repeticiones de sujetos u objetos en el interior de la oración (“Al cuaderno yo le tengo que hacer la carátula al cuaderno”).

176

No cuente los siguientes casos de error de construcción gramatical, que son muy altos para el nivel o que pue-den aparecer con más frecuencia en uno de los cuadernillos que en otros: -ausencia de correlación verbal en el marco de la oración (“Para no resfrairme nos abrigaríamos”); -incorrecta inserción de suboraciones (“lapiz con los que subrayar”); -errores de régimen (“libro forrado en plástico”); -alteraciones del orden normal de la frase (“de comunicados un cuaderno”); -empleo inadecuado de gerundios (“me curé enfermándome de gripe”).

No cuente tampoco los casos de error de construcción gramatical que excedan el marco de la oración (y que aquí hemos llamado “de cohesión interoracional”); por ejemplo:

Ponerse abrigo. No andamos descalzos en inbierno.

En textos no adecuados a la consigna, probablemente deba recurrir al concepto de oración para determinar si el problema de concordancia se encuentra dentro de su marco o si la excede y concierne a dos oraciones. Para esto, considere las oraciones tal como corresponderían a una puntuación correcta y no guiándose por los signos de puntuación y/o las mayúsculas que haya colocado el alumno. Hágalo apoyándose en la figura tonal o extensión comprendida en el habla entre el silencio inicial y la entonación terminal de la frase (descendente en las afirmaciones). Vea el siguiente ejemplo: el uso no concordante de “los” en la última oración no se cuenta porque el anteceden-te “gato” se encuentra en una oración anterior; el único error aparece subrayado: “El gato” Havia una vez un gato muy bonito y bien cuidado le gustaba tomar leche y comer croquetas el gato era muy latoso y enfadoso se subia a las piernas de las personas y se dejaba acariciar. Es un gato muy inteligente le usta comer de todo y tomar de lo que sea le gusta bañarse, ir al parque salir a odas partes es bonito Duerme dia, tarde y noche es muy dormilon come a las 2:00 desayuna a las 8:30 y cena a las 10:30 es bien comelón le gustan los niños Un dia el se subio a un arbo y le llame a los bomberos y los rescataron Fin II.2. Solo adecuado a la consigna

17 a. En el cuadernillo 1, de las 10 ideas pedidas, ¿cuántas planteó? Casillero- N.C. b. En el cuadernillo 2, de las 6 ideas pedidas, ¿cuántas planteó? Casillero- N.C.

Responda a esta pregunta sólo si ha marcado “Sí” en la 9, es decir, si el texto es adecuado a la consigna. Si marcó “No”, indique en esta “N.C.”.

• En primer lugar, ubique el punto al que debe responder, a. o b. según el cuadernillo que esté evaluando. • Numere las ideas del estudiante, una por una, en el margen de la prueba, empleando un lápiz o en una hoja aparte. • Consigne en el espacio en blanco de la planilla la cantidad de ideas que planteó el estudiante en el texto definitivo respecto de las pedidas en la instrucción. Las ideas pedidas son:

1) en el cuadernillo 1, 10 menciones de tareas escolares y hogareñas, adoptando el punto de vista del niño (“bañarse” puede ser una tarea) y con independencia de que las menciones sean cohesivas (“hacer debe-res” y “tengo que lavar platos”, en este orden o en el inverso, constituyen dos menciones);

2) en el cuadernillo 2, 6 menciones de formas de cuidar la salud, incluso cuando ya se está enfermo, independientemente de que tengan la estructura correcta de la recomendación;

176 177

No cuente el título como idea. No cuente como ideas nuevas las que engloban aspectos particulares ya mencionados o que van a mencionarse:

Las ordenacione que me dio mi medico [Que me labe los diente después de comer]1 [Que me cuide la garganta]2 [Me dijo que seque el pelo despues de vaniarme]3 [Que me dijo que me cuide para no enfermarme] 0: Englobadora [Me dijo que no coma muchas cosas de chocolate]4 [Y me dijo que me cuide cuando me lastime]5

No cuente las ideas que no se refieran y circunscriban a uno de los 6 ó 10 puntos enumerados. Es decir, excluya de la cuenta las menciones no pertinentes. Tampoco cuente en forma doble las ideas repetidas. Vea el siguiente ejemplo, tomado de un texto definitivo de cuadernillo 1; los corchetes, que encierran las ideas, y los números, que las cuentan, son nuestros; los números repetidos indican ideas repetidas:

[aga calculos]1 [lava la verdura]2 [dibujar un dibujo]3 [bañarse]4

En este caso, por tanto, corresponde consignar 4. Recuerde que el máximo de ideas que puede ponerse en relación con el cuadernillo 1 es 10 y, en relación con el cuadernillo 2, 6. Si el niño redacta más de 10 ó 6 ideas respectivamente pertinentes, se colocará, de todos modos, el número fijado como máximo. 18. Si desarrolló al menos la mitad de las ideas, ¿lo hizo en el formato textual pedido? Sí- No- N.C.

Responda a esta pregunta si en la anterior: 1) en el punto a. indicó 5 o más; 2) en el punto b. indicó 3 o más. Si marcó menos de 5 y 3 respectivamente, marque “N.C.” y pase a la pregunta siguiente.

• Marque “Sí” cuando el estudiante haya estructurado el texto definitivo en forma de lista, es decir, colocando o bien cinco o más o bien tres o más -según el cuadernillo- elementos de los solicitados uno debajo del otro; separándolos mediante guiones o comas o, en el caso de usarse comas dentro del elemento, mediante punto y coma; en el cuadernillo 1, también, poniendo mayúscula inicial y punto para separar tareas escolares de tareas hogareñas, o bien constituyendo dos períodos de enumeración, uno para un tipo de tareas y otro para el otro tipo. Tenga en cuenta que basta con que el alumno haya tomado uno de los criterios mencionados. En el siguiente caso, aunque faltan comas dentro de uno de los términos de la enumeración y aunque hay pun-tos en vez de comas, corresponde marcar “sí”, porque el estudiante dispuso los elementos uno debajo del otro y usó mayúsculas y cambio de sujeto para separar las dos enumeraciones:

Mi mamá me dice que varra. que aregle la piezza. que arrege las plantas. que limpie la mesa. que ponga los platos los cubierto cuchillos. que limpie el vaño. Mi maestra me dice que aga la tarea y completar las cosas

178

En el siguiente caso, también corresponde marcar “Sí”, ya que el estudiante emplea los guiones para separar los términos de la enumeración, salvo en un caso, en el que los usa también para separar los elementos que integran esos términos:

Cosas de casa yescuela

Estudio-Matematica-Lengua-Practico las tablas-Ago la cama-Cocino-Pongo la mesa-Ayudo a mis hermanas- Guardo la ropa • Marque “No” si el estudiante no estructuró el texto en forma de lista, es decir, si no separó gráficamente o mediante una puntuación correcta los elementos enumerados. En este caso, corresponde marcar “No”, porque el estudiante no se-para elementos:

Medieron de tarea una oración recortar 10 sustantivos con las palabras que te di ace oraciones recorta vervos mi papá me dijo que aga 10 oraciones y ordena la pieza 19 a. En el cuadernillo 1, ¿el niño menciona, entre las tareas que le piden en el hogar, una o más pro-pias de los adultos? b. En el cuadernillo 2, ¿el niño menciona recomendaciones médicas que no se corresponden con la práctica de la medicina occidental?

Responda a esta pregunta sólo si ha marcado “Sí” en la 9, es decir, si el texto es adecuado a la consigna. Si marcó “No”, indique en esta “N.C.”. • En primer lugar, ubique el punto al que debe responder, a. o b. según el cuadernillo que esté evaluando.

• En el caso del cuadernillo 1, marque “Sí” cuando observe que el estudiante dice realizar él mismo una o más tareas, actividades o trabajos propios del mundo de los adultos, que demandan un tiempo que podría atentar contra el estudio o un esfuerzo no adecuado al desarrollo físico, esporádicas o regulares, asalariadas o no, por propinas o no, surgidas de la pobreza o la falta de recursos o, incluso, de una eventual situación de explotación. Son tareas de este tipo, por ejemplo, “alimentar a los animales”, “lavar los corrales”, “trapear los pisos”, “cose-char”, “cuidar a mis hermanos”, “pedir dinero”, “salir a limpiar vidrios de los coches”, “juntar cartones”, etc.

• Marque “No” si el estudiante dice realizar tareas o actividades que demandan un tiempo breve y un esfuerzo adecuado al desarrollo físico del niño de 8 a 10 años, que se presentan como colaboración con el adulto, o que el adulto pide para estimular ciertos aprendizajes o para motivar. Son tareas de este tipo: “poner la mesa”, “lavar los platos”, “ordenar mi pieza”, “guardar la ropa”, “ayudarla a vigilar a mi hermano”, “regar las plantas”, “hacer compras”, “buscar el pan”, “alimentar al perro”, etc.

• En el caso del cuadernillo 2, marque “Sí” cuando el estudiante mencione una o más prácticas de salud curativas o preventivas que no se corresponden con las de la medicina tradicional occidental o que, por su formulación, pueden llevar a pensar que no se corresponden. Son prácticas de este tipo: “tomar té de nogal/ de hierbabuena/ de coca/ de laurel”, “tomar leche caliente con licor”, “frotarse crema de eucaliptos”, “mascar hojas de coca”, “comer carbón”, “frotarse los dientes con ceniza”, etc.

• Marque “No” cuando el estudiante mencione prácticas de salud curativas o preventivas que se corresponden claramente con las de la medicina tradicional occidental. Incluya, entre estas prácticas, las que transmiten los propios padres: “no mojarse en la lluvia”, “dormir abrigado”, “no andar descalzo en invierno”, etc. En caso de duda, en cualquiera de los dos cuadernillos, marque “Sí”, ya que el objetivo es detectar posibles casos para un nuevo análisis no lingüístico y fundado en categorías sociológicas bien delimitadas, que apoye el estudio de factores asociados al rendimiento, y habrá otra instancia para descartarlos.

178 179

Cuarta parte 1. Instructivo para la evaluación de las pruebas de sexto año

A continuación, se dan las instrucciones de marcado de cada una de las opciones que componen los ítems de la planilla para evaluar las pruebas de escritura de sexto año. Como en tercer año, cada pregunta indaga un aspecto específico de la escritura, que se diferencia claramente de los restantes y, por esa razón, las instrucciones acotan el universo al que cada opción de marcado atiende. Nuevamente, la mayoría de los ejemplos incluidos son críticos, porque ellos son los que le plantearán más dudas al evaluador. A continuación, reproducimos un facsímil de la planilla a la que pasaremos a referirnos.

180

Encabezamiento

• Copie todos los datos que figuran en el encabezamiento de la prueba y que tengan sus correspondientes casilleros en la planilla de evaluación en blanco. • Revise la correspondencia entre los datos originales y los copiados. I. Borrador

1. El niño ¿escribió el borrador? (Sí/ No/ Sí, pero borró lo escrito/ N.C.)

• Marque “Sí” cuando el estudiante haya empleado el espacio asignado para la redacción del borrador, es decir, aun cuando haya escrito una sola palabra-clave o haya dibujado. Ignore el hecho de que lo escrito se correspon-da o no con lo pedido.

• Marque “Sí, pero borró lo escrito” cuando el borrado de lo escrito sea total.

• Marque “No” cuando el borrador no haya sido utilizado en absoluto.

Si responde “Sí”, debe pasar a las preguntas 2 a 4. Y si marca “Sí, pero lo borró” o “No”, al ítem 5, después de marcar “N.C.” (“No corresponde”) en los ítems 2 a 4.

2. Si lo hizo, ¿lo redactó como un texto para sí? (Sí / No / N.C.)

• Marque “Sí” cuando el estudiante haya empleado el espacio asignado para la redacción del borrador sin dejar marcas de la intención de hacer un texto para otros, es decir, si observa el predominio de los siguientes aspectos por sobre los que se listan en “Marque ‘No’”:

1) una caligrafía no esforzada, 2) palabras escritas sin cuidar la línea horizontal, 3) palabras clave y no oraciones completas o que completan, como si fuera una pregunta, el títulode la columna; 4) palabras o construcciones agregadas en medio de otras ya escritas, 5) palabras abreviadas, 6) flechas u otros signos dibujados para indicar reordenamientos de la información, 7) tachaduras, 8) dibujos o esquemas sin intención estética. Deje de lado el hecho de que las palabras, las frases y/o los dibujos respondan al tema propuesto. Para determinar si la caligrafía y la presentación son cuidadas o no, prescinda de comparar el borrador con el texto final: la comparación se demanda más adelante.

En el siguiente caso, por ejemplo, corresponde marcar “Sí”, ya que, aunque las dos últimas columnas aparecen redactadas como respuestas, se observan dos columnas con palabras clave, una caligrafía no cuidada, una dis-posición algo oblicua de las palabras y remarcaciones, es decir, un predominio de rasgos de texto para sí:

180 181

• Marque “No” cuando observe el predominio de los siguientes aspectos en relación con los enumerados en “Marque ‘Sí’”: 1) oraciones completas o que completan el título de la columna como si fuera una pregunta y que no incluyen correcciones visibles (tachaduras, agregados, etc.); 2) una caligrafía evidentemente cuidada; 3) el uso de una regla para “apoyar” la escritura de las palabras; 4) el trazado de líneas como renglones; 5) el borrado total o parcial (y no el tachado) de palabras, frases o dibujos; 6) la corrección total o parcial de palabras, frases, esquemas y dibujos para volverlos más claros o más “bonitos”.

En el siguiente caso, por ejemplo, corresponde marcar “No”, ya que el estudiante predominantemente redacta oraciones completas en tres de las cuatro columnas, con mayúscula y signos de puntuación, sin economizar esfuerzos.

182

3. ¿Siguió, en general, la consigna? (Sí/ No / N.C.)

• Marque “Sí” en el caso en que el estudiante haya consignado en el borrador al menos una palabra-clave y/o idea (subsubtema) que se corresponda con lo solicitado en la consigna y no se observe un predominio, en el ni-vel de los subtemas, de otras ideas, es decir, aunque haya ignorado una o más de las 4 ideas pedidas pero siempre y cuando la mayoría sean adecuadas.

• Marque “No” si el estudiante no consignó en el borrador predominantemente palabras-clave y/o ideas que se correspondan con lo solicitado, es decir, si:

1) interpretó erróneamente el tema y, por ejemplo: - en el cuadernillo 1, hizo referencia a su propio perro o a otro animal en más de dos de las columnas; - en el cuadernillo 2, se refirió a una comida diferente del pan o se centró en los panaderos, o se refirió a lo que le gusta comer o a cómo se come otro alimento, o listó en más de dos columnas subsubtemas no pertinentes;

2) interpretó erróneamente el tipo de texto y, en vez de describir, por ejemplo, relató, o redactó oraciones o palabras sin un sentido acorde a lo solicitado en la instrucción. En el borrador que mostramos a continuación, se observan un sub-subtema no pertinente en la columna Ca-racterísticas físicas, uno pertinente y otro no pertinente (se habla de la sopa que toma un perro en particular) en la columna Alimentación, dos pertinentes en Costumbres y tres no pertinentes (por su referencia personal y no objetiva) en la columna Relación con las personas. Como dos de los subtemas, entonces, presentan ideas adecuadas, indicaremos “Sí”, ya que, ante la situación de paridad, se obra en beneficio del texto.

Marque “N.C.” si el borrador resulta por completo ilegible y no puede evaluarse si el estudiante siguió o no la consigna. Si marca “Sí”, pase a la pregunta siguiente. Si marca “No” o “N.C.”, pase a la pregunta 5, después de marcar “N.C.” en la 4 y en la 9.

182 183

4. De las 4 ideas pedidas, ¿cuántas planteó? N.C.

• Numere las ideas del estudiante, una por una, en una hoja aparte.

• Consigne en el espacio en blanco de la planilla la cantidad de ideas o subtemas que tomó el estudiante en el borrador respecto de las pedidas en la instrucción. Las ideas pedidas son, en los dos cuadernillos, 4; si el estu-diante consignó más de cuatro (es decir, si hizo referencia a otro aspecto no pedido, como el hábitat del perro o la historia del pan), se colocará de todos modos este número:

1) en el cuadernillo 1, al menos una idea referida a las características físicas del perro (y no sólo la men-ción de una o más partes del cuerpo), al menos otra sobre su alimentación, al menos otra sobre sus costumbres y al menos otra sobre su relación con las personas; 2) en el cuadernillo 2, al menos una idea referida al aspecto exterior del pan, al menos otra sobre los ingredientes que lo componen, al menos otra sobre el modo en que se lo cocina y al menos otra sobre el modo en que se lo come. Cuente como “ideas” desde palabras-clave hasta párrafos. Son expresiones-clave posibles, por ejemplo:

1) en el cuadernillo 1, columna Características físicas, “limpio”; “uñoso”, “chico”, “peludo”, “ajil”, “cuatro patas”, “cuadrúpedo”, “2 orejas” y columna Relación con las personas “fiel” o “el perro tiene cuatro patas mientras que las personas dos” (en efecto, como se ve en el último ejemplo, algunos estudiantes desarro-llan la idea de “relación” en términos de comparación).

2) en el cuadernillo 2, columna Ingredientes, además de los típicos, “carn”, “tosino”, “qeso”, “leche”; y, en la columna Cómo se come, además de las referencias a los modos de acompañarlo, “cortando pedazos”, “masticándolo”, etc.

No cuente las ideas que no se refieran y circunscriban a uno de los 4 puntos enumerados. Es decir, excluya de la cuenta las menciones no pertinentes. Por ejemplo, son ideas no pertinentes:

1) en el cuadernillo 1, columna Características físicas, “es muy bueno”, “cariñoso”, “juguetón”;

2) en el cuadernillo 2, columna Ingredientes, “horno”, “los ingredientes se amasan”.

Tampoco cuente en forma doble las ideas repetidas, como [El perro], Relación con las personas: “les ladra” y Costumbres: “ladrar”.

No deben sumarse tampoco los subsubtemas en el interior de cada subtema: si el niño colocó 4 características físicas del perro y luego dejó en blanco las otras tres columnas o las completó con ideas no pertinentes, se co-locará 1.

En el siguiente ejemplo, tomado de un borrador de cuadernillo 1, corresponde consignar 3 de las 4 ideas pedi-das, porque se considera, dejando de lado cuestiones científicas y con el criterio de inclinarse por “Sí” cuando se tienen dudas, que el ser mamífero es una característica del animal que se manifiesta en sus características externas.

184

II. Texto definitivo

5. El niño ¿escribió el texto definitivo? (Sí/ No/ Sí, pero lo borró)

• Marque “Sí” en el caso en que el estudiante haya escrito en el espacio asignado a la versión definitiva, aunque haya borrado parcialmente lo que escribió, ignorando el hecho de que el texto sea correcto o incorrecto, adecuado a lo pedido o inadecuado.

• Marque “Sí, pero lo borró” en el caso en que el estudiante haya borrado o tachado por completo algo escrito en el espacio asignado a la escritura del texto definitivo.

• Marque “No” si el estudiante dejó totalmente en blanco el espacio asignado a la escritura del texto definitivo.

Si marca “Sí”, pase a la pregunta siguiente. Si indica “Sí, pero lo borró” o “No”, marque “N.C.” en todos los ítems restantes de la planilla. 6. Si lo hizo, ¿mejoró la presentación respecto del borrador? (Sí/ No / N.C.)

Responda a esta pregunta sólo si marcó “Sí” en la pregunta 1. • Compare la superficie del borrador con la del texto.

• Marque “Sí” cuando observe que son más los elementos mejorados que los que se mantuvieron con la misma presentación. Considere como elementos para ser mejorados los siguientes: 1) la caligrafía; 2) la horizontalidad en la escritura de las palabras; 3) la linealidad en la disposición de las palabras y las frases (si ya no se observan o se observan menos palabras o construcciones agregadas en medio de otras ya escritas, o flechas que indiquen dónde colocar una idea); 4) los dibujos que ilustran las ideas, siempre y cuando no interfieran con la disposición del texto en forma de lista (cuadernillo 1) o lista o enumeración (cuadernillo 2). Asimismo, son expresiones de mejoría: 5) la supresión de tachaduras; 6) la eliminación de dibujos innecesarios o la transformación de dibujos en texto; 7) la introducción de elementos gráficos, como las viñetas (• u otro), que suelen encabezar las listas, o títulos jerarquizados; 8) la disposición en forma de cuadro sinóptico de elementos que en el borrador lo estaban. 9) la colocación de un título con jerarquía de tal;

Características físicas

Alimentación CostumbresRelación con las

personas

El perro cuida la casa, es mamífero, juguetón, etc.

1

Se alimenta de huesos, de comida, etc. 2

El perro se a costumbre a ladrar, cuidar, jugar, pelear con unos animalitos. 3

Su dueño le pone un nombre.

0

184 185

10) la transformación de palabras-clave en oraciones, o la de construcciones incompletas en oraciones completas; 11) el reemplazo de palabras repetidas por sinónimos o la eliminación de palabras repetidas por falta de atención (“es blanco y y crocante” —> (“es blanco y crocante”).

En el siguiente caso, por ejemplo, de la comparación se infiere que corresponde marcar “Sí”:

186

• Marque “No” cuando observe que entre el borrador y el texto definitivo no hay diferencias de presentación, es decir, cuando aparezcan las mismas u otras características propias de un texto para sí. Las marcas persistentes y/o predominantes que deberán observarse para marcar “No” son las siguientes:

1) una caligrafía no esforzada, 2) palabras escritas sin cuidar la línea horizontal, 3) palabras o construcciones agregadas en medio de otras ya escritas, 4) palabras abreviadas, 5) flechas u otros signos dibujados para indicar reordenamientos de la información, 6) tachaduras; 7) disposición del texto en columnas; 8) pérdida de información pertinente. 7. ¿El texto puede ser en general leído? (Sí/ No/ N.C.)

• Céntrese en el texto definitivo. Marque “Sí” en el caso en que todas las palabras puedan ser leídas, aunque el escrito no tenga un sentido claro. Asimismo, si hay unas pocas palabras indescifrables que, sin embargo, permi-ten adjudicar un significado general a las frases o al texto.

• Marque “No” solo en el caso en que las palabras no puedan descifrarse al punto de que resulte imposible con-tarlas. Asimismo, si la cantidad de palabras que no pueden descifrarse es tal que no puede reponerse el sentido de la frase. Puede ocurrir que sea posible reconocer y contar espacios que corresponden a palabras, pero que éstas no puedan leerse de todos modos. También, que se lean grafemas que, sin embargo, no constituyen en conjunto una palabra descifrable. También marque “No” en estos casos. Vea el ejemplo:

Si marca “No”, complete “N.C.” en todos los puntos restantes de la planilla. 8. Si puede ser leído, ¿excluye los problemas puntuales de desciframiento? (Sí/ No /N.C.)

• Marque “Sí” cuando la escritura resulta clara por la forma de las letras, por las distinciones entre el cuerpo de la letra y el enlace, porque se dejan espacios evidentes entre palabras y porque se diferencian mayúsculas de minúsculas.

• Marque “No” cuando la forma de las letras resulte ambigua, cuando no se distingan con claridad el cuerpo de la letra y el enlace, cuando no se dejen espacios suficientes entre palabras, cuando no se diferencien mayúsculas de minúsculas o se usen solamente mayúsculas o solamente minúsculas.

186 187

En el siguiente caso, se observan problemas de desciframiento: la “p” y la “t” siempre son dibujadas en su for-ma mayúscula; sin embargo, ese problema no impide la lectura del texto como totalidad; por eso, en el punto 7, habremos calificado el texto como legible y en este, lo calificaremos como “texto con problemas de desci-framiento”. Nótese, además, que, una vez constatado este problema, no podremos consignar como errores de ortografía todos los usos de “P” y “T”: evidentemente, se trata de que el alumno no sabe dibujar estas letras en minúscula. No puede afirmarse lo mismo del uso de “r” y “R”; en consecuencia, en el punto ortografía, se contará como error el uso de “R” en “RomPer”:

En suma, la caligrafía que mezcla mayúsculas y minúsculas, o la que emplea solo mayúsculas, a diferencia de la que combina cursivas e imprentas, no permite expresar el uso ortográfico y, algunas veces, implica una inco-rrecta separación de palabras. Cuando se observe alguna de estas situaciones, se dirá que el texto no excluye los problemas de desciframiento y no se dirá que el alumno no conoce los límites de la mayoría de las palabras que escribe y que por ello las junta todas, lo que constituiría un gravísimo problema de léxico, ni que cree que todas las palabras son sustantivos propios y que por ello las pone con mayúscula, ni que cree que todas las palabras con “p” deben llevar “P”, lo que constituiría un gravísimo ortográfico. Lo único que puede afirmarse con cer-teza es que la caligrafía acarrea al lector dificultades para descodificar palabras y frases. 9. El niño ¿mantuvo los subsubtemas y la estructura planteados en el borrador? (Sí/ No / N.C.)

• Responda a esta pregunta sólo si marcó “Sí” en la pregunta 1. Si en la pregunta 1 indicó que el niño no hizo o borró el borrador, no marque “N.C.”, sino “No”. N.C. se reserva para el caso en que el texto resulte ilegible (pregunta 7 de la planilla).

• Marque “Sí” en el caso en que el estudiante haya retomado, a la vez, la estructura descriptiva y el 75% o más de los subsubtemas plasmados en el borrador e inscriptos en el tema dado.

Hablar de cantidad subsubtemas implica considerar la cantidad de unidades de sentido textual que aparecen en cada columna del borrador -con independencia de que sean adecuadas al subtema -aspecto que se evalúa luego- y que son retomadas en la construcción del texto definitivo. Por ejemplo, si el alumno escribe en el borrador dos subsubtemas en el subtema Características físicas (“jugar” -no pertinente- y “tiene cuatro patas” -pertinente-, tres en Alimentación (“carne”, “vegetales”, “basura”, “comida balanceada”, “huesos”) cinco en Costumbres (“dormir”, “comer”, “orinar”, “romper cosas”, “comer huesos”) y cinco en Relación con las per-sonas (“buena”, “excelente”, “amigo”, “cuidador”, “mala con desconocidos”) basta con que retome 12 de esos subsubtemas haciendo referencia al tema global perro para que el aspecto temático se considere recuperado; también, por supuesto, puede retomarlos todos.

188

Ahora bien, además hay que considerar la estructura. Como la estructura del borrador de sexto año es forzo-samente descriptiva —porque así lo condiciona el borrador en que se entregan el tema y los subtemas—, el estudiante deberá mantenerla para que corresponda marcar “Sí”. De este modo, quedarán bajo la categoría de textos que mantienen los subsubtemas y la estructura dos clases de textos: -Los adecuados en general a la consigna que recuperan el 75% o más de los subsubtemas; -Los que en el punto 11 clasificaremos como “Otra descripción” por, a la vez, referirse al propio perro o al pan de la propia comunidad y por reutilizar el 75% o más de los subsubtemas planteados en el borrador.

Si, en cambio, el estudiante retoma todos los subsubtemas de Características físicas, Alimentación, Costumbres y Relación con las personas para escribir, en el texto definitivo, una narración (cuento o anécdota), diremos “No”: se han conservado aspectos temáticos, pero no la estructura.

De la misma manera, si el estudiante retoma todos los subsubtemas de Características físicas, Alimentación, Costumbres y Relación con las personas para escribir, en el texto definitivo, una descripción sobre el gato, el caballo u otro animal, diremos “No”: se han conservado la estructura y los susbsubtemas pero éstos se refieren a otro tema global.

Además diremos “no”, por supuesto, si entre el borrador y el texto no hay relación ni temática ni estructural y, por ejemplo, en el borrador se listan subsubtemas correspondientes al tema pan y a los subsubtemas Aspecto exterior, Ingredientes, Cómo se prepara y Cómo se lo come y, en el texto definitivo se redacta una publicidad de mermeladas.

En el siguiente caso, tomado del cuadernillo 2, corresponde marcar “No”, ya que, a pesar de lo expresado en el título, el texto definitivo retoma del borrador sólo un subsubtema y resulta, a diferencia de éste, un híbrido (mezcla de descripción y recomendación) y no una descripción; es decir, no se recuperan ni los subsubtemas en un 75% o más ni la estructura:

Borrador

Texto definitivo

El Pan El pan es muy bueno y muy rico, pero aspero Podes tomar la leche y acompañarla con el rico pan

Aspecto exterior Ingredientes Cómo se cocina Cómo se lo come

Aspero

Arina Agua Sal

Levadura Se pone en el horno

Cortado Refuerzo

188 189

En este caso, también corresponde marcar “No”, porque en el borrador y en el texto definitivo se plantearon dos textos sin relación subsubtemática y estructural entre sí: Borrador

Texto definitivo

10. Independientemente de lo que haya hecho en el borrador, ¿se refirió en general a lo pedido? (Sí/ No / N.C.)

• Marque “Sí” cuando el estudiante haya escrito un texto que se corresponda predominantemente con la si-tuación comunicativa, el tema y la macroestructura propuestos por la instrucción, es decir, si, respondiendo básicamente a la pregunta “¿cómo es?” y empleando, en general, un tono de objetividad:

1) en el cuadernillo 1, describe al menos a una característica física del perro o una de sus costumbres o su alimentación o un aspecto de su relación con las personas, y si no son más las ideas no pertinentes que esas pertinentes;

2) en el cuadernillo 2, describe al menos a un rasgo externo del pan o hace referencia a dos de sus in-gredientes o a uno de los modos en que se lo cocina o a uno de los modos en que se lo come, y si no son más las ideas no pertinentes que esas pertinentes.

190

Si observa errores puntuales, es decir, si observa ideas no pertinentes cuando la mayoría son pertinentes, mar-que también “Sí”, como en este caso, que consistió en insertar una instrucción dentro de la descripción enci-clopédica):

Los perros comen carne, vejetales y comida que venden especialmente para ellos. Es un animal cuadrúpedo. No dejarles gatitos cerca (tenga cuidado). Acostumbra desde chico comer adecuadamente, adaptarse a animales más chicos, no morder. Son obedientes a las personas. Les gusta correr y jugar con la pelota

En este otro caso, también se observa un error puntual: se incluye un término subjetivo, inadecuado en una descripción de tipo enciclopédico:

El perro es un animal guardián y compañero, etc se alimentan de carne, pan, leche, comida para perros. Las costumbres son sim-paticas.

Deje de lado el hecho de que el texto aparezca o no titulado, pues se lo evalúa luego.

• Marque “No” si los aspectos del tema, la situación comunicativa y la clase textual pedidos no se observan en forma predominante; por ejemplo, si el estudiante: 1) interpretó erróneamente el tema y - en el cuadernillo 1, hizo referencia predominantemente a su propio perro o a otro animal; - en el cuadernillo 2, se refirió predominantemente a una comida diferente del pan, o a aspectos del pan no requeridos en la consigna, o se centró en las panaderías, o se refirió a lo que le gusta comer o a cómo se come otro alimento;

2) interpretó erróneamente el tipo de texto y, en vez de describir, relató un cuento o una anécdota, o redactó una receta (aún cuando tenga la lista de ingredientes pedida en la instrucción) u oraciones o palabras sin un sentido acorde con lo solicitado en la instrucción.

En el siguiente caso, por ejemplo, tomado del cuadernillo 1, corresponde marcar “No”, ya que el estudiante, a pesar de haber elaborado una descripción, no se refirió al tema pedido: El mundo animal es agradable. Es preistorico, es de un continente llamado Africa. Es hermoso, y para terminar decimos que fue reconocido

Lo mismo ocurre en el siguiente caso, tomado del cuadernillo 1; si bien hay una descripción e, incluso, una referencia a los subtemas pedidos, el objeto descripto es singular (un perro en particular) y no general, y la des-cripción aparece enmarcada en una suerte de relato trunco y formulada por ende en pasado:

El perro habil

Un día en una casa vivia un perro habil que vivia con una familia que le pasaba acariciando el perro era mediano y peludo el perro se alimentaba de carne de galletas para perros y le gustaba la leche al perro le gustaba dormir y tambien jugar con las personas que vivian las personas lo acariciaban El perro era el mejor amigo de toda la gente finalmente el perro era el mas querido de todos los perros. FIN

190 191

En el caso siguiente, si bien aparecen nuevamente ciertos elementos temáticos adecuados, también corresponde marcar “No” porque las frases sueltas no llegan a constituir un texto descriptivo: El pan branco Como es es branco y de leche Ingredientes de la arina elevadura Conque se come

Si marca “Sí”, pase a la pregunta 12 después de marcar “N.C.” en la 11. Si marca “No”, pase a la pregunta 11. 11. Si no escribió un texto acorde con la instrucción, ¿qué clase de texto escribió? Una copia completa o parcial, textual o parafraseada, de la instrucción / Un cuento / Una anécdota / Otra descripción / Otro / Un no-texto / N.C.

Responda a esta pregunta sólo si marcó “No” en la 10.

• Marque “Una copia completa o parcial, textual o parafraseada, de la instrucción” si el niño copia parte de la consigna o responde a los planteos para el mejoramiento del borrador dados en el paso 2 de la prueba:

Transformar tus ideas en borrador. Los niños leeran la enciclopedia.

• Marque “Un cuento” si el niño redactó una narración ficcional sobre un tema que no aparece en la consigna, aunque sea breve y no tenga plenamente desarrolladas sus partes constitutivas, tal como se plantea en el Glosa-rio. Por ejemplo, este caso ya citado será considerado una narración y no una descripción porque la descripción se estructura como introducción o situación inicial de un relato; además, será considerado cuento y no anécdota porque rige la tercera persona y aparece un giro propio del primer género: “Un día”.

El perro habil Un día en una casa vivia un perro habil que vivia con una familia que le pasaba acariciando el perro era mediano y peludo el perro se alimentaba de carne de galletas para perros y le gustaba la leche al perro le gustaba dormir y tambien jugar con las personas que vivian las personas lo acariciaban El perro era el mejor amigo de toda la gente finalmente el perro era el mas querido de todos los perros. FIN

• Marque “Una anécdota” si el niño redacta un relato personal realista que, si está enteramente desarrollado, en vez del nudo propio de un cuento, incluye una ligera complicación, como se indica en el Glosario. Tenga en cuenta que una narración personal o de hechos protagonizados por el autor del texto no es lo mismo que una narración en primera persona: ésta puede ser ficcional, como la del ejemplo siguiente, que será clasificado como cuento y no como anécdota:

El perro

Era un domingo soleado, lo recuerdo muy vien. Mi dueño me enseño una cadena, y cuando lo bi averigue que hivamos a salir, pero no fue asi. Me llevaba a la perrera donde habían un señor agresivo y malo que maltrataba a los perros. Cuando entre me tiraron a una jaula donde habían perros, me levante y los mire detenidamente y me eche en el piso. Tres meses despues senti una bulla y de pronto habrieron me cojieron por el coyar y me entregaron a otro dueño, me sentí feliz, libre pero aquel dueño nunca me podre olvidar de el porque el me iso todo lo que tube cuando vivi con el.

192

• Marque “Otra descripción” si el niño se refiere a cómo es un objeto, un ser o un fenómeno no mencionados ni central ni lateralmente en la instrucción. También, si el tema de la descripción aparece singularizado, como en el caso siguiente:

El perrito es muy imgreido en la familia todos los queremos porque es un buen perro cuando lega familiares se porta bien y no se orina en la sala por eso lo quieren tanto pero tanto que le compran ropa le dan de tomar leche lo sacan al campo cuidamos de el no hay otro perrito mas que el porque el es nuestro amigo hermano y primo el es todo para nosotros nos quiere tanto como nosotros a el mis padres les da todo porque es uno mas de nuestra familia es lindo tener un perro porque si estas triste o alegre te acompaña siempre por eso Dios creo a los perritos y otros animales el es nuestro perrito imgreido de la familia por eso lo queremos mucho a nuestro perrito es nuestro amigo de todo el mundo ese es mi perrito lindo. • Marque “Otro” si el alumno escribió un texto que no puede clasificarse de acuerdo con ninguna de las catego-rías anteriores, como en el siguiente caso, una especie de receta incluida en la sección Cocina de una publicación mediática: Gerp.com Para hacer Pan deven laverse las manos despacio. Poner los Ingredientes conforme a la reseta. Coser bien el Pan Para que no les haga mal Lo pueden comer con mermelada, con Pollo con lo que deseen Si necesitan mas Infor-macion visiten mi pagina de Internet que aconti-nuacion les doy www.GERP.COM Se les agradece por su colaboración en este numero de cosina Grasias. A continuación transcribimos otro ejemplo, una especie de texto publicitario, en el que corresponde marcar “Otro”:

“Pan” Usted Podra saboriar un delicioso Pan. Producto elaborada bajo altas normas higiene. Solo colóquelo al orno y Listo. Podra compartirlo con toda la familia. Con leche y canele como usted lo dese. Usted Podra elaborar barias clases de Pan. intentelo usted y bera que posible.

Marque también “Otro” si el texto es un híbrido, es decir, una combinación de dos o más secuencias de dife-rentes géneros e igual predominio y que no constituyen, como totalidad, un texto que pueda adscribirse a un género en particular. En el siguiente caso, la descripción y la anécdota se encuentran en el mismo nivel, por lo que se marcará “Otro”:

Mi Perro y yo Yo vivo en una casa con mis padres y un perra que se llama pequeña Ella es mi mejor amiga y compañera yo la quiero mucho siempre salimos a jugar a la plaza yo le digo CHECHU y ella me ladra y salta corr mos mucho jugamos tambien cuando la baño es muy divertido porque se sacude y me moja un dia ella estaba sentada en la puerta y iva pasando una mujer distraida y ella le enpeso a aladrar y la señora se asusto mucho y dijo “hay perra que te hice para que me ladraras si paso todos los dias por aca” esta es un poco de mi vida y de mi perra. espero que les halla gustado. • Marque “Un no-texto” si el estudiante no escribió un texto, sino una oración sin o con sentido, o una serie de oraciones sin enlaces, del tipo: “un perro está rabioso, “el perro es negro o blanco”, “yo tengo un perro”. Recuerde que, cuando se observe un solo enunciado -narrativo, descriptivo, instruccional, etc.- se marcará “Un no-texto”, incluso, cuando se observe un título, como en el caso siguiente:

http://www.GERP.COM

192 193

El pan El pan es comida de cada dia A continuación transcribimos otro ejemplo de no texto:

El alimento de nuestra vida El alimento es necesario como el pan es buen para la vida moderna. El pan tien muchas vitaminas que nos trae en nuestro cuerpo diaria. No usamos los que puede usarlo en nuestra vida como el carne nos trae una buena salud. Las verduras es tiene muchísimas element • Marque “N.C.” si marcó “Sí” en la pregunta 10. Adecuado o no a la consigna 12. ¿Escribió un título que exprese globalmente el tema del texto que redactó? Sí- No- N.C

Responda a esta pregunta si marcó “Sí” en la 5 y en la 7, y si no marcó “Un no-texto” en la 11. Si marcó “Un no-texto” en la pregunta 11, pase a la 15, después de marcar “N.C.” en esta y en las preguntas 13 y 14.

• En el caso de los textos adecuados a la consigna, marque “Sí” en el caso en que el título, ajustándose a la si-tuación comunicativa, designe el tema o contenido del texto (“El perro”, “Cómo es el perro”, “El pan”, “Una comida básica”, “Así es el perro”, etcétera) y/o indique el género (“Descripción del perro”, etcétera).

• Marque “No”, en el caso de los textos adecuados, cuando el estudiante no haya incluido un título o cuando éste no presente una de las características anteriormente mencionadas. En estos casos, tomados de textos ade-cuados, el título no designa el tema global (la falla se encuentra en el nivel de la situación comunicativa y no del tema):

Mi animal favorito La elaboración del pan según yo

Por otra parte, el título puede presentar problemas gramaticales y, sin embargo, expresar el tema; es el caso de “Panes de mucho tipo”. Para determinar la adecuación del título en textos no adecuados a la consigna, es conveniente recurrir a lo se-ñalado en la pregunta 10 respecto del género. Es decir, si usted ha marcado en esa pregunta “Una anécdota”, podrá dar por buenos títulos del tipo “Lo que me pasó”, “El día que...”, “Mi pan doradito”, etc., que remiten al género. Tenga en cuenta que, si el alumno redactó un cuento, puede darse el caso en que el título agregue nuevos significados al texto y exija al lector realizar una inferencia de alto nivel. En efecto, los títulos de los textos fic-cionales suelen formularse en lenguaje figurado o connotativo, por lo que resulta casi imposible determinar su adecuación. En este cuento narrado en primera persona y ya citado más arriba, por ejemplo, el título en tercera debe considerarse adecuado, pues podría tratarse de un caso de polisemia, de generación de expectativas para “frustrarlas”, etc.

194

El perro Era un domingo soleado, lo recuerdo muy vien. Mi dueño me enseño una cadena, y cuando lo bi averigue que hivamos a salir, pero no fue asi. Me llevaba a la perrera donde habían un señor agresivo y malo que maltrataba a los perros. Cuando entre me tiraron a una jaula donde habían perros, me levante y los mire detenidamente y me eche en el piso. Tres meses despues senti una bulla y de pronto habrieron me cojieron por el coyar y me entregaron a otro dueño, me sentí feliz, libre pero aquel dueño nunca me podre olvidar de el porque el me iso todo lo que tube cuando vivi con el.

Los textos que fueron clasificados como híbridos merecen una consideración particular: como por definición no están adscriptos a una estructura definida, el único criterio que queda para considerar la adecuación del título es el temático. En el siguiente texto híbrido, el título no resultaría adecuado porque plantea como tema del texto algo que en él constituye una información lateral, condicional: Gerp.com Para hacer Pan deven laverse las manos despacio. Poner los Ingredientes conforme a la reseta. Coser bien el Pan Para que no les haga mal Lo pueden comer con mermelada, con Pollo con lo que deseen Si necesitan mas Infor-macion visiten mi pagina de Internet que aconti-nuacion les doy www.GERP.COM Se les agradece por su colaboración en este numero de cosina Grasias. En cambio, en este otro texto híbrido, el título sí expresa el tema:

Mi Perro y yo Yo vivo en una casa con mis padres y un perra que se llama pequeña Ella es mi mejor amiga y compañera yo la quiero mucho siempre salimos a jugar a la plaza yo le digo CHECHU y ella me ladra y salta corr mos mucho jugamos tambien cuando la baño es muy divertido porque se sacude y me moja un dia ella estaba sentada en la puerta y iva pasando una mujer distraida y ella le enpeso a aladrar y la señora se asusto mucho y dijo “hay perra que te hice para que me ladraras si paso todos los dias por aca” esta es un poco de mi vida y de mi perra. es-pero que les halla gustado.

Es importante recordar que, cuando en la pregunta 10 se marcó “Un no- texto”, en esta debe consignarse “N.C.”. En efecto, como se ha indicado en la entrada “Texto” del Glosario, el no-texto se caracteriza por no presentar ni un género ni un tema ni una situación comunicativa, por lo que no es posible asignar un título. Véa-se el siguiente ejemplo, en el que corresponde indicar “N.C.” aunque el alumno haya redactado un enunciado en posición de título:

Mi perro es juguetón Me gusta el perro de mi casa Finalmente, es necesario recordar también que en este punto se está evaluando la distribución de la información en el texto definitivo y no comparando la distribución en el borrador y en el texto. Por tanto, el evaluador debe olvidar, por ejemplo, que en Características físicas el niño consignó costumbres y que lo hizo nuevamente en Costumbres: ahora en el texto definitivo, lo que cuenta es si todo lo que corresponde a costumbres se encuentra agrupado. Vea el siguiente ejemplo:

http://www.GERP.COM

194 195

Borrador

Texto definitivo EL Perro el mejor AMIgo del HOMBRE El perro generalmente corre, camina, salta. En su alimentación sus dueños utilizan, carne o alimentos, En relación con las personas saben ser cariñosos, mimosos, buenos, cuidadores y en sus costumbres hacen sus necesidades. En el borrador, se consignan costumbres en vez de características físicas. Luego, en el texto definitivo, se man-tiene el orden de las ideas del borrador, lo que genera que el los subsubtemas referidos a costumbres se encuen-tren separados entre sí. Por tanto, corresponde indicar “No”. 13. ¿Distribuyó adecuadamente toda la información? Sí- No- N.C.

Responda a esta pregunta si marcó “Sí” en la 5 y en la 7, y si no marcó “Un no-texto” en la 11. Si marcó “Un no-texto” en la pregunta 11, pase a la 15, después de marcar “N.C.” en esta y en la 14.

• En el caso de los textos adecuados a la consigna, marque “Sí”, dejando de lado las reiteraciones de informa-ción, cuando el estudiante, no importa en qué orden,

1) en el cuadernillo 1, haya agrupado, por un lado, todo lo referido a las características físicas del perro; por otro, todo lo referido a sus costumbres; por otro, todo lo referido a su alimentación y, por otro, todo lo referido a su relación con las personas, sin que importe el orden en que cada uno de estos subtemas se presenta.

2) en el cuadernillo 2, haya agrupado, por un lado, todo lo referido al aspecto exterior del pan; por otro, todo lo referido a sus ingredientes; por otro, todo lo referido a su cocción y, por otro, todo lo referido al modo en que se lo come, sin que importe el orden en que cada uno de estos subtemas se presenta. Tenga en cuenta que lo que se evalúa es la agrupación de proposiciones o subsubtemas referidos a un mismo subtema; por tanto, debe dejarse de lado el hecho de que todos los subtemas pedidos se desarrollen o no: basta con que se hayan desarrollado más de uno.

• En los textos descriptivos, adecuados o no a la consigna, marque “No” si el estudiante no agrupa ideas temá-ticamente relacionadas, como en este caso:

El pan es importante porque nos ayuda a tener energia. El pan se hace con harina. Es amarillento y crocante por fuera y blando por dentro. También se le pone lebadura. Se come con diferentes mermeladas dulces queso y todo lo que te guste. También, si observa que las ideas englobadoras no se encuentran antes de las englobadas, como ocurre con el párrafo subrayado en el siguiente texto:

Características físi-cas

Alimentación Costumbres Relación con las personas

correr caminar

salta

carne alimentos hacer sus necesidades

cariñosos mimosos buenos

cuidadores

196

El Perro El perro es un animal muy cariñoso hay perros de cualquier rasa y su alimentación es de huesos del pollo y de la carne, la costumbre del perro es jugar con la persona que más le agrade es juguetón es el mejor amigo del hombre El Perro pettrel es bravo y su alimentación es comida de bolsa es poco amigo de las personas. Hay perros cariñosos, jugueton y algunos que son bravos que se desconocen de sus mismos dueños. Eso es todo del Perro.

• En los textos descriptivos no adecuados a la consigna (categorizados en el punto 11 como “Otra descrip-ción”), marque “Sí” cuando el estudiante haya desarrollado el tema en un subtema o en dos o más subtemas pero sin entremezclarlos. Marque “No” si el estudiante entremezcla el despliegue de los subtemas. En el siguiente caso, los subtemas son cómo es el perro (del que se deriva por qué ha sido creado), cómo se comporta y por qué se lo quiere, que parecen entremezclados; por lo tanto, corresponde marcar “No”.

El perrito es muy imgreido en la familia todos los queremos porque es un buen perro cuando lega familiares se porta bien y no se orina en la sala por eso lo quieren tanto pero tanto que le compran ropa le dan de tomar leche lo sacan al campo cuidamos de el no hay otro perrito mas que el porque el es nuestro amigo hermano y primo el es todo para nosotros nos quiere tanto como nosotros a el mis padres les da todo porque es uno mas de nuestra familia es lindo tener un perro porque si estas triste o alegre te acompaña siempre por eso Dios creo a los perritos y otros animales el es nuestro perrito imgreido de la familia por eso lo queremos mucho a nuestro perrito es nuestro amigo de todo el mundo ese es mi perrito lindo.

• En los textos narrativos (anécdotas y cuentos), marque “No” si el texto presenta al menos un problema en el nivel de la secuencia. En el siguiente ejemplo, citado ya más arriba, no se observan problemas de secuencia, por lo que se marcará “Sí”:

El perro Era un domingo soleado, lo recuerdo muy vien. Mi dueño me enseño una cadena, y cuando lo bi averigue que hivamos a salir, pero no fue asi. Me llevaba a la perrera donde habían un señor agresivo y malo que maltrataba a los perros. Cuando entre me tiraron a una jaula donde habían perros, me levante y los mire detenidamente y me eche en el piso. Tres meses despues senti una bulla y de pronto habrieron me cojieron por el coyar y me entregaron a otro dueño, me sentí feliz, libre pero aquel dueño nunca me podre olvidar de el porque el me iso todo lo que tube cuando vivi con el.

• En cambio, en este otro caso, los problemas de secuencia son varios: falta la acción inicial realizada por el perro y el conejo; el perro parece correrse a sí mismo, el zorro se va y, sin regresar, habla a los personajes que dejó, entre muchos otros. Por tanto, sin completar nosotros las secuencias que el estudiante no ha completado y que el texto no permite inferir dadas sus marcas, marcaremos “No”:

El Perro, el conejo y El zorro Un Dia Muy alegre un Perro y el conejo que eran muy buenos amigos. Depronto se aparece un zorro queriendose comer a un conejo, Pero como estaba contra el perro no le hacia nada al conejo Depronto el zorro hizo una trampa para que se separen . el zorro le dijo al Pero que no iba a salir el conejo que ya no queria hacer su amigo y el Perro dijo esmentira y el Perro se fue y salio a buscar al Perro y se le aparecio el zorro el corria y corria de pronto secontro con si amigo Perro y su amigo lo ayudo y el zorro se fue, el Perro le dijo no quiero hacer mi amigo dijo el zorro, mentira bamos a Jugar y a que sea una trampa para que no ben-ga el zorro nunca más si a que sea un ollo y que no nos y la hicieron ara conejo tu trailo hasta trampa y el zorro cayo y haci el Perro y conejo bivieron felices. • En los textos de tipo instruccional, marque “Sí” cuando el estudiante enumere en un orden lógico los pasos para alcanzar la meta, teniendo en cuenta, como se ha dicho en el Glosario, que las acciones pueden ser tanto sucesivas como simultáneas o repetidas, según el tema. Marque “No” cuando observe alteraciones en la secuen-cia de pasos.

196 197

Tenga en cuenta que todos los textos híbridos, por definición, presentan problemas de integración de las se-cuencias entre sí: la secuencia descriptiva, por ejemplo, es paralela a la narrativa y no está incluida dentro de ella, como sucedería si se tratara de un cuento. Como precisamente por este rasgo ya se los clasificó como híbridos, ahora no debe reclasificárselos en el mismo sentido, sino que deben analizarse los problemas de distribución de la información dentro de cada secuencia. Esto es, por ejemplo, si dentro de la secuencia descriptiva misma hay subsubtemas entremezclados, si dentro de la secuencia narrativa misma hay hechos injustificadamente des-ordenados, etc.

14. ¿Evitó las reiteraciones de información? Sí- No- N.C.

Responda a esta pregunta si marcó “Sí” en la 5 y en la 7, y si no marcó “Un no-texto” en la 11. Si marcó “Un no-texto” en la pregunta 11, pase a la 15, después de marcar “N.C.” en esta.

• En el caso de los textos adecuados a la consigna, marque “Sí” cuando el estudiante no haya reiterado datos y:

1) en el cuadernillo 1, se haya referido o bien solo a una característica física del perro o bien a diferentes características; o bien a solo un alimento o bien a diferentes alimentos; o bien a solo una costumbre, o bien a diferentes costumbres; o bien a sólo un rasgo de la relación del perro con las personas o bien a diferentes ras-gos, e incluso a algún otro tipo de aspecto que no entra en estas categorías, porque esto ya fue evaluado.

2) en el cuadernillo 2, se haya referido o bien solo a un rasgo del aspecto exterior del pan o bien a di-ferentes rasgos; o bien a solo dos ingredientes o bien a otros, diferentes; o bien a solo una forma de cocerlo, o bien a diferentes formas; o bien a sólo uno de los modos en que lo come, o bien a diferentes modos, e incluso a algún otro tipo de aspecto que no entra en estas categorías, porque esto ya fue evaluado. En el siguiente caso, corresponde marcar “Sí”:

La elaboración del pan según yo El pan tiene un color medio amarillento tirando a marrón pero no muy oscuro sino de color más claro si lo tocas recien sacado del horno te bas a quemar pero es justo en el momento en el que el pan esta más rico que nunca. Los ingredientes son la cantidad que quieras según la cantidad que quieras elaborar. Primero tomo lista: trigo, harina, agua, clara de huevo. Para llevar a cabo la elaboración primero se hase una especie de masa esponjosa con los ingredientes que dicte anteriormente se buelca la preparacion en un molde y se cocina para comerlo podes utilizar diferentes dulces, manteca, queso y todo lo que te guste. • En el caso de los textos descriptivos, adecuados o no a la consigna, marque “No” si el estudiante, reiteró datos, incluso usando sinónimos o paráfrasis que no dejan lugar a dudas de que se trata de la misma información. Vea estos ejemplos, en los que corresponde marcar “No” (las informaciones repetidas están subrayadas): Los perros son los megores amigos del hombre. Los perros son aproximadamente de 60 cm de largo y unos 30 cm de altos. Poseen cabellos muy largos o cortos y oregas. Tienen rabo. Sus colores pueden ser: negro, marrones (distintos tonos), blancos, grises. También pueden tener una combinación de esos colores, ej. que sea blanco y negro el mismo perro. Se alimentan de cualquier cosa. Pero se recomienda darle alimentos balanceados. Los perros muy juguetones, que corren mucho por todos lados y le ladran a cualquier cosa. No sirven de guardianes, no custodian la casa. Otros custodian la casa. Los perros tienen una ecselente relacion con las personas. Son los mejores amigos de las personas.

198

El perrito es muy imgreido en la familia todos los queremos porque es un buen perro cuando lega familiares se porta bien y no se orina en la sala por eso lo quieren tanto pero tanto que le compran ropa le dan de tomar leche lo sacan al campo cuidamos de el no hay otro perrito mas que el porque el es nuestro amigo hermano y primo el es todo para nosotros nos quiere tanto como nosotros a el mis padres les da todo porque es uno mas de nuestra familia es lindo tener un perro porque si estas triste o alegre te acompaña siempre por eso Dios creo a los perritos y otros animales el es nuestro perrito imgreido de la familia por eso lo queremos mucho a nuestro perrito es nuestro amigo de todo el mundo ese es mi perrito lindo. El pan que preparan en monsefu es muy rico hecho por los panaderos en la ciudad de las flores. Por ejemplo el pan frances, italiano el de manteca las micas y las kolisas A la gente le gusta el pan que preparan en las monsefu llamada la ciudad de las flores • En el caso de los textos no adecuados y narrativos, marque “No” cuando observe que hay uno o más puntos en los que la información no avanza porque se relata el mismo hecho sin adoptar un nuevo punto de vista (es decir, cuando observe una reiteración que no se inscribe en el llamado “relato iterativo”), o porque se predican los mismos atributos de un hecho o de un personaje. Esto último es lo que se observa en este texto ya citado:

El perro habil Un día en una casa vivia un perro habil que vivia con una familia que le pasaba acariciando el perro era mediano y peludo el perro se alimentaba de carne de galletas para perros y le gustaba la leche al perro le gustaba dormir y tambien jugar con las personas que vivian las personas lo acariciaban El perro era el mejor amigo de toda la gente finalmente el perro era el mas querido de todos los perros. FIN

En el caso de los textos no adecuados e instruccionales, marque “No” cuando observe que uno o más de los pasos de la instrucción se repiten innecesariamente.

15. ¿Cuántas oraciones escribió? Casillero


• Cuente las oraciones simples y complejas construidas por el alumno y consigne el número en el casillero.

Considere las oraciones tal como corresponderían a una puntuación correcta y no guiándose por los signos de puntuación y/o las mayúsculas que haya colocado el alumno. Para esto, apóyese en la figura tonal o extensión comprendida en el habla entre el silencio inicial y la entonación terminal de la frase (descendente en las afirma-ciones). En el siguiente texto, cada barra indica una oración y las oraciones suman 4:

Cuando sali de la casa de mi amiga cruse por un callejor y vi un gato como moustro que tenía un cartel con su nombre / era medio loco / además era deformado, gordo, cabezón, orejón / vive en un tacho, come basura y su constumbre es asustar.

El concepto de figura tonal le permitirá, además de suponer el signo ausente, dirimir si ese signo debería haber sido un punto o, en cambio, una coma; si, por ejemplo, se enumeran acciones —o acciones y atributos— muy ligados semánticamente y lo suficientemente breves como para constituir en conjunto una única figura tonal, corresponderá contar 1 oración (“le gusta comer las plantas de mamá y le gusta jugar mucho”; “vive en un tacho, come basura y su constumbre es asustar”). Si, en cambio, las estructuras vinculadas son más extensas y menos cercanas semánticamente, deberá considerarse como 1 oración a cada una de ellas (“además era defor-mado, gordo, cabezón, orejón / vive en un tacho, come basura y su constumbre es asustar”).

198 199

Cuando la relación entre dos unidades que el alumno no separa con punto es débil o confusa, se contarán 2 ora-ciones. Así, en: “Mi perro es un animal muy pequeño: tiene cuatro patas”, se vinculan el ser pequeño y el tener cuatro patas por medio de dos puntos, como si la segunda unidad constituyera la explicación de la primera, lo cual no ocurre. Entonces, como las unidades no resultan sintáctica y semánticamente asociadas, se cuentan dos oraciones (la coherencia ya se ha evaluado). Con el mismo criterio —juntar lo que está más asociado semánticamente y separar lo menos asociado— se procederá en el caso de los textos en los que varias proposiciones seguidas hayan sido ligadas por el alumno mediante “y”:

El Perro, el conejo y El zorro/ Un Dia Muy alegre un Perro y el conejo que eran muy buenos amigos. Depronto se aparece un zorro queriendose comer a un conejo /, Pero como estaba contra el perro no le hacia nada al conejo / Depronto el zorro hizo una trampa para que se separen ./ el zorro le dijo al Pero que no iba a salir el conejo que ya no queria hacer su amigo / y el Perro dijo esmentira y el Perro se fue y salio a buscar al Perro / y se le aparecio el zorro / el corria y corria / de pronto secontro con si amigo Perro y su amigo lo ayudo/ y el zorro se fue, / el Perro le dijo no quiero hacer mi amigo dijo el zorro, / mentira bamos a Jugar y a que sea una trampa para que no benga el zorro nunca más/ si a que sea un ollo y que no nos / y la hicieron / ara conejo tu trailo hasta trampa / y el zorro cayo y haci el Perro y conejo bivieron felices. Cuente también como oraciones el título, la palabra “fin” o las expresiones similares, las firmas o las fechas que pueden aparecer al pie del texto y las iniciales (“A—“) que indican cambio de hablante en un diálogo. 16. ¿Cuántas palabras escribió? Casillero


• Cuente las palabras que escribió el estudiante en el texto definitivo y consigne el número en el casillero. Considere las distintas ocurrencias de un lexema como palabras diferentes (“hacer”, “hago”, “hace”, entonces, serán tres palabras). Cuente los números y las abreviaturas (en “30 cm” hay dos palabras). Cuente las palabras ignorando y/o supliendo los errores de léxico; es decir, si el estudiante escribe “nisiquiera” y “con migo”, cuente 2 y 1 respectivamente. Es recomendable, para no perder la cuenta, anotar al final de cada línea y en una hoja aparte la cantidad palabras escritas por el estudiante y, finalmente, sumar todos los números de todas las líneas. No olvide sumar las palabras que conforman el título o la firma. 17. ¿Cuántos errores de léxico tuvo? Casillero


• Cuente como errores de léxico todos los casos —aun los repetidos— que queden comprendidos en alguna de las siguientes categorías:

1) Empleo de un lexema por otro dada cierta afinidad entre sus formas: (“se revuelve en el barro des-pués de bañarse”, “mis padres adaptaron un gato”) (en cada uno de estos casos, hay un error).

2) Reemplazo de un lexema por otro que es su sinónimo en otro contexto o que está emparentado semánticamente con él: (“acostumbra vivir en el ámbito terrestre”, “tiene costumbres parejas a nosotros”, “su clase de ser es muy buena”; “es un animal domesticado”.

200

3) Desconocimiento llano de la forma de un lexema: “Tiene la constumbre”, “es ognívoro”, “es ovní-voro”, “le dan comidas balanciadas”, “tiene sarma”, “arania”, “se pone en un reciviente”. 4) No identificación de los límites de las palabras “que no estuviera triste por que el perro”, “para a ser pan”, “la leche seprepara”, “se hace con larina”.

5) Escritura silábica y no alfabética: “prro”, “lche”, etcétera.

No cuente como palabras erróneas desde el punto de vista léxico aquellas que usted no haya podido leer por sus problemas caligráficos. Tenga en cuenta que los errores de léxico se diferencian de los de ortografía, que no se evalúan en este punto. Es decir, no considere el uso de mayúsculas, el uso incorrecto de nexos coordinantes o artículos antes de vocal similar, la incorrecta separación en sílabas, los grupos “mp”, “mb”, “-aba”, “-sión”, “-ción”, las tildes y, en ge-neral, cualquier empleo erróneo de la escritura de palabras que no corresponda al léxico.

No considere tampoco los problemas de legibilidad, que no se evalúan en este año (Vea el punto en el Instruc-tivo para la evaluación de las pruebas de tercer año); por ejemplo, los errores sistemáticos en el uso de algunas mayúsculas (porque siempre se dibuja una misma letra en mayúscula).

Asimismo, deje de lado la repetición de palabras que constituye una cuestión estilística que, como se dijo, no se evalúa, y también la repetición de palabras (“es bueno y y fiel”), que responde, en general, a un problema de atención. Consigne el número de errores en el casillero. 18. ¿Cuántos errores de ortografía? Casillero


• Cuente los errores de ortografía, excluyendo de esta categoría los de léxico, ya evaluados y los de legibilidad, que no se evalúan. Considere el uso normado de mayúsculas (en nombres propios, al comienzo de oración), el uso incorrecto de contracciones, nexos coordinantes antes de vocal similar, separación en sílabas, tildes, grupos “mp”, “mb”, “-aba”, “-sión”, “-ción” y, en general, cualquier empleo erróneo de la escritura que no corresponda al léxico o a la legibilidad. Así, no serán contados los casos en los que la forma de las letras resulta ambigua, no se distinguen con claridad el cuerpo de la letra y el enlace, no se dejen espacios suficientes entre palabras, no se diferencien mayúsculas de minúsculas o se usen solamente mayúsculas o solamente minúsculas, ya que no puede determinarse si hay un error ortográfico habiendo, previamente, un problema de desciframiento. No cuente como error la ausencia de mayúscula al comienzo de las oraciones que usted –y no el alumno– re-construyó. No cuente como erróneos los usos de los pronombres demostrativos en función sustantiva que no resulten am-biguos (se dirá que el texto “Tengo un perro. Este es policía” no contiene errores de tildación, como tampoco “Tengo un perro. Éste es policía”). Con el mismo criterio, no considere erróneo el uso de “solo” como equivalente de “solamente” (“No juega: solo duerme” se considerará igualmente correcto que “No juega: sólo duerme”); sí considere erróneo el uso de “sólo” como adjetivo (“un perro sólo es cayegero”). No evalúe la ortografía de las palabras que corresponden a otro idioma y la de los nombres propios del espa-ñol (“Cusco”, “Cuzco”, “Viviana”, Biviana”, “Bibiana”); sí evalúe en los nombres propios el uso de mayúscula inicial.

200 201

No evalúe en esta categoría los errores de puntuación, que pueden ser explicados tomando en cuenta a veces a la coherencia, a veces a la cohesión y otras veces a la ortografía, por lo que se ha decidido no evaluarlos. No cuente como palabras erróneas desde el punto de vista ortográfico aquellas que usted no haya podido leer por sus problemas caligráficos. Contabilice todas las veces en que aparezca un mismo error. Consigne el número en el casillero.

Sólo adecuado a la consigna 19. De las 4 ideas pedidas, ¿cuántas planteó? Casillero- N.C.


• Numere las ideas del estudiante, una por una, en el margen de la prueba, empleando un lápiz, o en una hoja aparte. Es conveniente usar el número 1 para hacer referencia a la primera idea pedida en el borrador; el 2, para la segunda y así sucesivamente; así podrán localizarse luego más simplemente los problemas de reiteración de ideas y de ideas no pertinentes (0).

• Consigne en el espacio en blanco de la planilla la cantidad de ideas que planteó el estudiante en el texto defi-nitivo respecto de las pedidas en la instrucción. Las ideas pedidas son, en ambos cuadernillos, 4; si el estudiante consignó más de cuatro (es decir, si hizo referencia a otro aspecto no pedido y pertinente), se colocará de todos modos este número:

1) en el cuadernillo 1, al menos una idea referida a las características físicas del perro, al menos otra sobre su alimentación, al menos otra a sus costumbres y al menos otra a su relación con las personas;

2) en el cuadernillo 2, al menos una idea referida al aspecto exterior del pan, al menos otra sobre los ingredientes que lo componen, al menos otra sobre el modo en que se lo cocina y al menos otra sobre el modo en que se lo come, incluido el acto de deglución.

Cuente como “ideas” las proposiciones, oraciones y párrafos que se refieran a los subtemas pedidos, sea cual sea el orden en el que se presenten, ya que la descripción admite comenzar por cualquiera de los subtemas dados. No cuente las ideas que no se refieran y circunscriban a uno de los 4 puntos enumerados. Es decir, excluya de la cuenta las menciones no pertinentes. Por ejemplo, son ideas no pertinentes:

1) en el cuadernillo 1, “es doméstico”; 2) en el cuadernillo 2, “es vlandito y salado”.

Tampoco cuente en forma doble las ideas repetidas, como [El pan], “es alimentisio”, “es nutitivo”. Vea este ejemplo, tomado del cuadernillo 1; los corchetes, que encierran las ideas, y los números, que las cuen-tan, son nuestros; los números, que se corresponden con el orden dado a los subtemas en el borrador, repetidos indican ideas repetidas; el 0 indica una idea no pertinente:

[El perro es chiquito o largo] 1 [su costumbres son dormir y comer dogi con carne] 3 [duerme todo el día] 3 [se acuesta todo el día en el sillón] 3 [y caga en el patio de atrás] 3 [duerme no se dispierta nisiquiera para moberse]3 [(lo tengo que mover yo)] 0

En este caso, por lo tanto, corresponde consignar 2.

202

Vea este otro ejemplo:

El Perro [El Perro es un animal común y corriente como todos los Perros del mundo]0 [y hace caca y Piz como los gatos y también se tira pedos.]3 [Y siempre tiene la mania de RomPer los colchones almuadas las hojas que hay en los muebles.]3

En este caso, por tanto, corresponde también consignar 2.

El texto que transcribimos a continuación, en cambio, presenta las cuatro ideas; nótese que ser juguetón puede entenderse tanto como un predicado referido a las costumbres como referido a la relación con las personas: en estos casos se optará siempre por contar ideas de un modo que beneficie al estudiante; así, si luego aparece una clara alusión a la relación con las personas, ser juguetón se interpretará como costumbre. [Los perros son los megores amigos del hombre.]4 [Los perros son aproximadamente de 60 cm de largo y unos 30 cm de altos.]1 [Poseen cabellos muy largos o cortos y oregas.]1 [Tienen rabo.]1 [Sus colores pueden ser: negro, marrones (distintos tonos), blancos, grises.]1 [También pueden tener una combinación de esos colores, ej. que sea blanco y negro el mismo perro.]1 [Se alimentan de cualquier cosa. Pero se recomienda darle alimentos balanceados.]2 [Los perros muy juguetones, que corren mucho por todos lados y le ladran a cualquier cosa. No sirven de guardianes, no custdian la casa. Otros custodian la casa.]3 [Los perros tienen una ecselente relacion con las personas. Son los mejores amigos de las personas.]4 20. ¿Cuántos casos de registro oral y/o informal introdujo en el vocabulario?


• Cuente los errores producto de emplear palabras propias de una situación informal y/o de un medio oral.

Vea el siguiente ejemplo, tomado de un escrito producido en la Argentina; el error -un vocablo en lunfardo que significa, en español estándar, “tomar” o “coger”- está subrayado:

El perro puede ser peligroso si lo entrenan para casar y para ser guardian. Persigue a su presa hasta que la alcansa y la chapa del cueyo.

En este ejemplo guatemalteco, el error de registro surge por el uso de una palabra informal:

La perra tiene leche en las chiches.

En el siguiente caso, los errores se producen por el uso de diminutivos con matiz afectivo (también hubiera sido erróneo el uso de aumentativos) y de adverbios que implican juicios de valor, los cuales no son propios del registro escrito y formal:

EL PERRO El perro es un animal comun entre las personas El perro es un aminal muy bonito que tiene ojos café o negritos. Su nariz es bastante bonito como si fuera una manzana. Sus orejitas son como de obejas que tienen adentro adentro parece algodón.

202 203

En el ejemplo anterior, no se consideran erróneas desde el punto de vista del registro las comparaciones porque éstas son propias de la divulgación enciclopédica. En este caso ya citado, los errores de selección de vocabulario en función del registro aparecen subrayados: El Perro El Perro es un animal común y corriente como todos los Perros del mundo y hace caca y Piz como los gatos y también se tira pedos. Y siempre tiene la mania de RomPer los colchones almuadas las hojas que hay en los muebles.

En textos como el pedido, el uso de números y unidades de medida abreviadas (“40 cm”) es frecuente y no constituye un error. Sí constituyen errores de registro en el plano del vocabulario, en cambio, el uso de “q´”, “x q´” y otras abreviaturas informales:

Los perros es un tesoro de Dios asi como a nosotros mismo. A ellos les gusta comer carne y cuidar la casa Hay beses q’ se aburren de comer las mismas cosas No les gusta q’ les jales lacola. Esas son las características de los perros. Asi son asi seran por siempre Este es el paso #3. Estas son mi palabras y q’ Dios los vendiga. 21. ¿Cuántos otros casos de registro oral y/o informal introdujo?

Responda a esta pregunta sólo si ha marcado “Sí” en la 10, es decir, si el texto es adecuado a la consigna. Si marcó “No”, indique en esta “N.C.”. Como se ha visto en el Glosario, además de inadecuaciones por el uso de palabras informales o propias de la co-municación oral, el texto adecuado a la consigna puede presentar errores de registro en el plano de su sintaxis y su estructura global, por desvíos respecto de la intención informativa y/o del género descriptivo enciclopédico.

Los errores surgen, por ejemplo, del empleo puntual o menos frecuente que el correcto de la primera o la segun-da persona (designarse a sí mismo en tanto enunciador y apelar al receptor es introducir la oralidad en el texto), de la incorporación de dibujos (perros “sonrientes”, por ejemplo) que no son propios de las enciclopedias, de la inclusión de saludos u otras expresiones propias de géneros de intención no objetiva y, en general, coloquial.

Vea este ejemplo; contiene un error por uso de la segunda persona: El perro es un animal fiel. Pero también es un animal muy delicado. Para alimentarlo bien dale comida valanciada.

Este otro texto tiene cuatro errores: uso de la primera persona plural, uso de la segunda singular, uso de la pri-mera singular y uso de la segunda plural:

Los perros es un tesoro de Dios asi como a nosotros mismo. A ellos les gusta comer carne y cuidar la casa Hay beses q’ se aburren de comer las mismas cosas No les gusta q’ les jales lacola. Esas son las características de los perros. Asi son asi seran por siempre Este es el paso #3. Estas son mi palabras y q’ Dios los vendiga.

Tenga en cuenta, dado que el sostenimiento de la persona y el número es normal, que, si el estudiante hubiera sostenido una de esas personas -siempre menos que la tercera, ya que en el caso contrario el texto habría resul-tado no adecuado- a lo largo de toda la secuencia, el error habría sido uno; en este caso hay dos errores: uso de primera y segunda persona singular:

204

La elaboración del pan según yo El pan tiene un color medio amarillento tirando a marrón pero no muy oscuro sino de color más claro si lo tocas recien sacado del horno te bas a quemar pero es justo en el momento en el que el pan esta más rico que nunca. Los ingredientes son la cantidad que quieras según la cantidad que quieras elaborar. Primero tomo lista: trigo, harina, agua, clara de huevo. Para llevar a cabo la elaboración primero se hase una especie de masa esponjosa con los ingredientes que dicte anteriormente se buelca la preparacion en un molde y se cocina para comerlo podes utilizar diferentes dulces, manteca, queso y todo lo que te guste.

En este ejemplo, además de un error de registro en el plano del vocabulario (“caga”), se observan un error por suponer una situación oral presencial de la que el receptor es partícipe activo (por eso, se alude a un sillón deter-minado y al patio de atrás (como si se estuviera “adelante”) y otro error por inclusión de una primera persona (“yo”).

El perro es chiquito o largo su costumbres son dormir y comer dogi con carne duerme todo el día se acuesta todo el día en el sillón y caga en el patio de atrás duerme no se dispierta nisiquiera para moberse (lo tengo que mover yo) 22. ¿Describió características o fenómenos con una perspectiva errónea desde el punto de vista de las ciencias naturales?


• En primer lugar, ubique el punto al que debe responder, a. o b. según el cuadernillo que esté evaluando.

• Marque sí cuando considere que el alumno describe el perro o el pan o un fenómeno asociado a ellos mediante conceptos erróneos desde el punto de vista de las ciencias naturales. No considere cuestiones de vocabulario sino conceptuales: “la perra tiene leche en las chiches” no constituye un problema conceptual, sino de selección del vocabulario, y ya se lo ha evaluado. En caso de duda, en cualquiera de los dos cuadernillos, marque “Sí”, ya que el objetivo es detectar casos para un nuevo análisis no lingüístico, a cargo de especialistas en Ciencias, y que habrá otra instancia para descartarlos.

Son, por ejemplo, errores conceptuales, los siguientes: “El perro es un animal mamífero porque vive en casas”, “el perro nunca duerme”, “todos los perros son domésticos”, “hay diferentes especies de perros”, “los perros pueden ser perros salvajes, perros caseros y perros carnívoros”, “todo perro tiene un dueño”, “el perro tiene la costumbre de dormir/comer/caminar y caminar”, “el pan se hace con trigo y harina”, “el pan debe ser pas-teurizado”, “el pan se pone duro si no le ponen levadura”, “el pan se pone verde porque no lo cocinan bien”, entre otros.

204 205

Quinta parte 1. Recomendaciones para evitar sesgos y errores al evaluar

En este punto, y a partir de los resultados obtenidos en el pilotaje, se plantean una serie de recomendaciones tendientes a evitar los sesgos y los errores al evaluar. Constituyen sesgos, por ejemplo, la corrección excesiva-mente exigente de los textos de sexto año en relación con los de tercero, y lo contrario o la corrección excesiva-mente indulgente de los textos más problemáticos. Los sesgos pueden deberse al orden en que se corrigen los trabajos, a las características generales del lote de textos, a las implicaciones de evaluar textos de estudiantes del propio país, entre otras razones.

En cuanto a los errores, tienen, en general dos causas: no se apela al Manual o a la consulta técnica para resolver un caso o, específicamente, no se sigue el “itinerario de corrección”, esto es, se evalúan aspectos que, dado el caso, no deberían evaluarse (como el título de los no-textos).

Las recomendaciones son las siguientes:

• No escribir sobre el borrador o el texto del niño, que constituyen un documento que debe preservarse intacto, sino en una hoja aparte o en los márgenes; en este último caso, con lápiz negro. Lo escrito en los márgenes deberá borrarse antes de entregar la prueba a otro evaluador, ya se trate de uno del propio país o del supervisor del LLECE, ya que es necesario evitar las mutuas influencias.

• El evaluador deberá consultar el Manual hasta tanto automatice las pautas de evaluación; además, una vez que se haya familiarizado con él, deberá revisarlo cada vez que termine de evaluar unas veinte pruebas, para verificar si se sigue ajustando a él y su evaluación no se ha sesgado. Es importante revisarlo en forma completa, para no dejar de evaluar en cada punto sólo lo que concierne a ese punto. También lo consultará cada vez que dude ante un caso concreto de marcación en la planilla de evaluación.

• Si el Manual no le ofrece una respuesta, el evaluador planteará una consulta técnica al responsable de la eva-luación en su país; si el responsable no pudiera saldar la duda, enviará una consulta, con copia a su coordinador en el país, a la coordinación técnica de Lectura y Escritura del LLECE, Ana Atorresi: [email protected]. Idealmente, el coordinador del Área de Escritura en el país reunirá semanalmente la serie de consultas a las que no ha podido dar res-puesta y las enviará todas juntas, a la Coordinadora técnica de Lectura y Escritura del LLECE y a todos los otros coordinadores de escritura en los países, dando a cada una de ellas el siguiente formato:

Número de caso:...... Borrador: (tipeado si la consulta no comprende cuestiones gráficas o caligráficas y, de lo contrario, escaneado) Texto definitivo: (tipeado si la consulta no comprende cuestiones gráficas o caligráficas y, de lo contrario, escaneado) Consulta 1:....................................................................... Respuesta 1: (espacio que llenará la Coordinadora de Área del LLECE) Consulta 2: (si la hubiera) ................................................. Respuesta 2: (espacio que llenará la Coordinadora de Área del LLECE)

Por otra parte, cada veinte pruebas, el evaluador habrá de verificar la consistencia de las planillas que ha llenado. Si, por ejemplo, marcó que el texto no puede leerse, no podrán aparecer marcaciones referidas a la coherencia del texto.

206

• Para evitar el efecto de la evaluación de las pruebas de un año sobre la evaluación de las pruebas del otro, el evaluador intercalará pruebas de ambos años: 20 de tercero y 20 de sexto o viceversa. Tendrá mucho cuidado para impedir que las pruebas y las planillas se mezclen.

• El evaluador evitará el ordenamiento de pruebas de acuerdo con una característica diferente del número de cuadernillo, como el hecho de tener o no texto definitivo o como el hecho de ser éste más o menos extenso, para evitar la influencia del tipo de trabajos en la evaluación.

• Al concluir la evaluación de 20 pruebas, el evaluador revisará también que los datos del encabezado de cada cuadernillo coincidan con los que ha consignado en la planilla de evaluación; sólo entonces separará pruebas de planillas.

Referencias

(1) En sentido general, se denomina “estilo” al conjunto de los rasgos discursivos que funcio-nan como indica-dores del contexto social y personal del hablante; más específicamente, son rasgos de estilo el dialecto (lecto o variedad determinada por la región de la que el hablante es oriundo); el cronolecto (variedad determinada por el momento histórico en que el hablan-te se incorpora en la masa de hablantes), el sociolecto (determinado por el grupo social al que el hablante pertenece), el tecnolecto (determinado por la esfera de ocupación del hablante), el registro (determinado por el grado de formalidad –desde íntimo hasta solemne– de la situación comunicativa y/o el medio de comunicación –oral o escrito– que se emplee) y el idiolecto (determinado por rasgos individua-les). En esta definición se encuentra implícita la suposición de que hay una lengua estándar, oficial o neutra, de la cual se desprenden las diferencias mencionadas; con frecuencia, sin embargo, esa lengua es un habla regional o dialecto extendida autoritariamente al conjunto de una nación. Los conceptos se amplían en el Glosario.

(2) En la revisión y en la autocorrección, se ponen en juego diversas estrategias metacogniti-vas, vale decir, operaciones mentales de las que se es consciente y que se sabe cómo, cuán-do y para qué usar. La reflexión metacognitiva sistemática parece ser un proceso imprescin-dible para adquirir habilidades mentales duraderas, que pueden transferirse a la solución de nuevos interrogantes.

(3) Como se habrá ido notando, el “éxito” de una consigna depende también, en gran parte, de los verbos que empleamos para formular la instrucción. Compartir con nuestros estudiantes, a comienzo del año, a qué lla-maremos “describir”, “argumentar”, “resumir”, “justificar” y demás allana en buena medida la tarea posterior de ambas partes. El uso de este tipo de definiciones es fundamental cuando se trata de emprender una tarea de corrección compar-tida; a esto responde el glosario que presentamos más adelante.

(4) Las planillas propuestas para la corrección de la escritura del SERCE cuentan con el antece-dente de las empleadas por el Sistema de Evaluación de la Calidad Educativa de la Provincia de Buenos Aires, cuyo proto-tipo se diseñó en 1998 con la dirección del LLECE, y que se apli-caron en diversas tomas a partir de ese año.

(5) Parte de este glosario se basa en Atorresi y otros (2000).

(6) Al final de cada definición, se remite, mediante nota, a la referencia bibliográfica de la obra o las obras que se han tomado como base —en general, de amplia difusión.

(7) El criterio de lo familiar deviene del análisis de los currículos nacionales, los libros de textos y los instrumen-tos de evaluación efectuado al comienzo del SRCE por el ICFES.

206 207

(8) En el cuerpo de las definiciones, las palabras y/o frases en negrita remiten a otro concepto incluido en el propio glosario.

(9) Se habla de proposiciones en lugar de oraciones con el fin de diferenciar objetos sintácticos y semánticos. La proposición debe entenderse como el significado que subyace en una ora-ción simple. “Juan no vio esa película”, “Esa película Juan no la vio” y “Esa película no fue vista por Juan” son tres oraciones diferentes; sin embargo, todas expresan la misma propo-sición: Juan + negación +ver + esa película. Al leer un texto, se pro-cesa la información de tal manera que no se retienen las formas superficiales (las oraciones) sino su contenido pro-posicional, lo cual está directamente relacionado con la limitada capacidad de la memoria a corto plazo.

(10) Existe, por último, la anécdota “de celebridad”, atribuida a una figura histórica (Bolívar, Colón, El Che) o pública (Gardel, Maradona, Pelé). No se la considera relevante aquí, porque no es esperable su ocurrencia en las pruebas. Por lo demás, participa de las características comunes a las otras dos.

(11) No se consideran errores de este tipo los de ortografía.

(12) En efecto, la formación de lexemas obedece a ciertas reglas productivas en numerosas lenguas. Por ejem-plo, los lexemas ‘niñada’, ‘niñera’, ‘niñería’, ‘niñez’, ‘aniñado’, etc. fueron construidos a partir del lexema ‘niño’, más simple léxicamente, gracias a reglas productivas del español. Aunque muchos diccionarios registran de he-cho ‘niñería’ como una unidad de vocabulario, sería innecesario hacerlo si se considera que tanto su significado como sus pro-piedades gramaticales (lo mismo que su pronunciación) son predecibles por medio de la misma regla que interviene en los casos de ‘tontería’, ‘alcahuetería’, ‘porquería’, etc.

(13) El que así se lo haya razonado y el que se lo siga haciendo obedecen a una particular con-cepción ideológica de la relación entre las diversas variedades “periféricas” de una lengua impuesta durante un proceso de coloni-zación, y le conceden a la otrora metrópoli la continui-dad de una supremacía lingüística sobre sus ex colonias.

208

CAPÍTULO VI: MANUAL PARA LA CODIFICACIÓNDE LOS ÍTEMS DE CIENCIAS NATURALES

• Contenido: Materia y energía

• Desempeño: Solución situaciones problemáticas

• Objetivo: Este ítem pretende evaluar la competencia del alumno para inferir la dureza de distintos minerales relacionando información dada.

A. Código C.b1.it15 ÍTEM 15 del Cuadernillo 1 – ÍTEM 30 del Cuadernillo 6

La dureza de un mineral es la resistencia que ofrece a ser rayado. Felipe tiene que ordenar algunos minerales del más duro al más blando.Los minerales son: cuarzo, diamante, yeso y calcita.Él descubre que el diamante raya a todos los demás y que la calcita raya al yeso pero no al cuarzo.Según estas evidencias, ¿cuál sería la lista de Felipe? Escríbela en las líneas en blanco.

_______________________________________________________________________________________________________________________________________________________________________________________

208 209

Crédito completo: 3

3.1 Ordena todos los minerales desde el más duro al menos duro. Ejemplos:

A)1. diamante2. cuarzo3. calcita4. yeso

B)1. diamante, cuarzo2. calcita, yeso.3.4.

Crédito parcial: 2

2.1 Ubica correctamente en la lista al menos dos minerales, estableciendo, al menos para estos minerales, la relación correcta en cuanto a dureza de cada uno con los tres restantes.

Ejemplos:

A) Ubica correctamente el diamante y el yeso (relación correcta en cuanto a dureza, del diamante con los otros tres minerales y del yeso con los otros tres minerales).1. diamante2. calcita3. cuarzo4. yeso

B) Ubica correctamente el diamante y el cuarzo (relación correcta en cuanto a dureza, del diamante con los otros tres minerales y del cuarzo con los otros tres minerales).

1. diamante2. cuarzo3. yeso4. calcita

C) Ubica correctamente la calcita y el yeso (relación correcta, en cuanto a dureza, de la calcita con los otros tres minerales y del yeso con los otros tres minerales).

1. cuarzo2. diamante3. calcita4. yeso

210

Sin Crédito: 1

1.1 No sé1.2 Respuestas borradas, tachadas, groseras, dibujos que no corresponden.1.3 Ubica correctamente en la lista solamente un mineral. Este código se asigna a respuestas que establecen de manera correcta la relación de un mineral con los otros tres.

Ejemplos:

A)1. diamante2. yeso3. cuarzo4. calcita

B)1. calcita2. diamante3. cuarzo4. yeso

1.4 Otras respuestas.

Ejemplo:1. yeso2. diamante3. cuarzo4. calcita

W Ítem mal impreso, cortado, invertido, ilegible por el alumno.

Z Omisión o missing.

210 211

• Contenido: Tierra y ambiente

• Desempeño: Solución de situaciones problemáticas

• Objetivo: En este ítem se pretende evaluar la capacidad del alumno de describir los procesos de eva-poración y condensación, y de explicar basándose en carácter cíclico de estos procesos, por qué el agua que compone la lluvia no se agota.

B. Código: C.b2.it15ÍTEM 30 del Cuadernillo 1 – ÍTEM 15 del Cuadernillo 4

Existen varios dichos sobre la lluvia. Uno de ellos es: “Siempre que llovió,Paró. Otro dice: “Siempre que paró, volvió a llover”.Primero, describe cómo se forma la lluvia. A continuación, explica por qué el agua que compone la lluvia nunca se agota y siempre vuelve a llover.

_______________________________________________________________________________________________________________________________________________________________________________________

212

Crédito completo:

4

4.1 El alumno hace referencia a la evaporación ( “el agua se evapora”, “pasa de líquido a gas”, “el vapor sube”, etc) y su condensación (“el vapor se condensa”, “cambia de gas a líquido”, “el vapor se hace agua y después llueve”, etc) y a la repetición de los procesos en forma sucesiva.

Nota: No es necesario que el alumno responda utilizando los nombres de los cambios de estado, pero debe describirlos en forma explícita. No se entenderá que el alumno describe la condensación cuando solo señala que “el vapor se transforma en nubes”, dado que no se podría establecer si el alumno sabe que se produjo un cambio de gas a líquido.

Ejemplos: • “El vapor se hace agua cuando hace frío y el agua líquida cae como lluvia. La lluvia que cae se evapora, después se transforma en líquido, vuelve a caer y así se repiten estos cambios”. • “Es porque el sol evapora el agua y se forman las nuves cargadas de agua. Después llueve y al termi-nar el sol evapora el agua y vuelbe a llover. El agua nunca se agota por que esa evaporación se vuelve líquida y se forma en las nubes el agua de lluvia.” • “El vapor sube y las nuves avsorben el vapor y el vapor produce el agua de la lluvia. El agua nunca se agota por que después que llueve sale el sol y ase que aga vapor.”

Crédito parcial:3

3.1 El alumno hace referencia a la evaporación o a la condensación del agua y a la repetición de los procesos en forma sucesiva.

Ejemplo: • “La lluvia baja de las nuves. El agua de la lluvia nunca se agota porque cuando deja de llover el agua se vapora y esta regresa a las nuves para que buelba a llober”

3.2 El alumno hace referencia a la evaporación y la condensación, pero no a la repetición de los procesos en forma sucesiva.

Ejemplo:• “El agua se evapora y suve hacia las nuves y en las nuves se condensa y vuelve a llover” • “El agua se ebapora por el calor del sol y se hacen nubes y luego se ase agua y después llueve y se va al mar”.

Crédito parcial:2

2.1 El alumno solo hace referencia a la evaporación o a la condensación.

Ejemplo:

• “Llueve porque suve el vapor entonces las nuves se inchan y se larga a llover”• “La lluvia se forma por el bapor de agua. Cuando lluebe el piso queda mojado y al calor. El agua del piso se forma en bapor”

2.2 El alumno hace referencia a la repetición de procesos en forma sucesiva, sin describir la evaporación ni la condensación de manera correcta. Si el alumno hace referencia al ciclo considerando a las nubes como objetos animados que se trasladan llevando agua, codifique 1.3.

212 213

Sin Crédito: 1

1.1 No sé.

1.2 Respuestas borradas, tachadas, groseras, dibujos que no corresponden.

1.3 El alumno hace referencia a las nubes como objetos animados que se trasladan llevando agua.

Ejemplo:

• “Las nubes bagan asorben el agua y se ban cargando. El agua nunca se agota por que cuando se acaba una nube baja por más”

1.4 El alumno atribuye la formación de lluvia al humo que proviene de la contami-nación o confunde con la formación de lluvia ácida.

Ejemplo:

• “La lluvia se forma por humo de los autos. Así llegan a las nubes donde se acumula y forma la lluvia y por eso la lluvia contiene muchas sustancias”

1.5. Otras respuestas.

W Item ilegible por el alumno (mal impreso, cortado, invertido).


214

C. Código: C.b3.it10ÍTEM 10 del Cuadernillo 2 – ÍTEM 25 del Cuadernillo 4

¿Hacia qué dirección puede ser incómodo manejar un coche al atardecer?

A. Hacia el sur.B. Hacia el este.C. Hacia el oeste.D. Hacia el norte.

Explica por qué: _______________________________________________________________________________________________________________________________________________________________________________________


• Desempeño: Solución de situaciones problemáticas

• Objetivo: En este ítem se pretende evaluar si el alumno es capaz de aplicar conocimientos sobre las posiciones relativas del Sol y la Tierra para explicar una situación cotidiana.

214 215

Crédito completo:

3

3.1 El alumno marca la opción C y señala que el Sol se oculta por el oeste y que por lo tanto al conductor, la luz le llegaría de frente.

Ejemplo:

“C. Por que como el sol se marcha por el oeste, te encandila”.

3.2 El alumno marca la opción C y señala que el Sol se oculta por el oeste.

Ejemplo:

“C. Porque hacia el occidente se oculta el Sol y el conductor no tiene una guía para ver por donde maneja”

3.3 El alumno marca la opción C y solo señala que a la persona que con-duce la luz del sol le llegaría de frente.

Ejemplo:

“C. Por que te daría el Sol en la cara.”

Crédito parcial:2 2.1 El alumno marca la opción C y no da ninguna explicación.

Sin Crédito: 1

1.1 No sé.


1.3 El alumno marca A, B o D, señalando que a la persona que conduce la luz sol le llegaría de frente.

1.4 El alumno marca C, pero da una explicación incorrecta.

1.5 Otras respuestas



216

D. Código: C.b3.it15ÍTEM 15 del Cuadernillo 2 – ÍTEM 30 del Cuadernillo 4

• Contenido: Seres vivos / Salud

• Desempeño: Interpretación y aplicación de conceptos

• Objetivo: Este ítem pretende evaluar si el alumno es capaz de seleccionar un criterio objetivo de clasi-ficación y utilizarlo para agrupar animales.

216 217

Crédito completo:

3

El alumno se refiere explícita o implícitamente (solo hace mención a las cat-egorías) a un criterio que permite clasificar los seres vivos presentados en dos grupos y clasifica los seis animales correctamente de acuerdo con dicho crite-rio.

3.1 Clasifica por modo de reproducción (ovíparos – vivíparos). Se consider-ará también la clasificación por exclusión “ponen huevos – no ponen huevos”.

3.2 Clasifica por presencia de columna vertebral (vertebrados – inverteb-rados).

3.3 Clasifica por otro criterio objetivo (por ejemplo: terrestres – aéreos). Si el alumno señala un criterio y clasifica correctamente los seis animales en tres grupos asignar el código 3.3. Nota: No es necesario que el alumno responda utilizando nombres técnicos para las categorías.

Crédito parcial:2

El alumno se refiere explícita o implícitamente (solo hace mención a las cat-egorías) a un criterio que permite clasificar los seres vivos presentados en dos grupos y clasifica cuatro o cinco de los seis animales (4 ó 5) correctamente de

acuerdo con este criterio.

2.1 Clasifica por modo de reproducción (ovíparos – vivíparos) Se consider-ará también la clasificación por exclusión “ponen huevos – no ponen huevos”.

2.2 Clasifica por presencia de columna vertebral (vertebrados – invertebra-dos).

2.3 Clasifica por otro criterio objetivo. Si el alumno señala un criterio y cla-sifica correctamente cuatro o cinco de los seis animales en tres grupos asignar

el código 2.3 (Por ejemplo: omnívoros, herbívoros y carnívoros).

218

Sin Crédito: 1

1.1 No sé.


1.3 Señala un criterio que permite clasificar los seres vivos presentados en dos grupos, pero clasifica 3 o menos de los seis animales correctamente de acuerdo con este criterio.

1.4 Señala un criterio que no permite clasificar los seres vivos presentados en dos grupos (por ejemplo: color y tipo de alimentación o insectos y mamífe-ros o carnívoros y omnívoros).

1.5 Propone una agrupación de todos los animales, pero no señala el crite-rio de clasificación utilizado.

1.6 Clasifica por exclusión. Por ejemplo: mamíferos y no mamíferos; vuelan y no vuelan.

1.7 Señala dos criterios diferentes. Por ejemplo: mamíferos y voladores.




218 219

E. Código: C.b4.it15ÍTEM 30 del Cuadernillo 2 – ÍTEM 15 del Cuadernillo 5

¿Por qué todos los seres vivos dependen de las plantas para obtener energía?Escribe tu respuesta a continuación._______________________________________________________________________________________________________________________________________________________________________________________



• Objetivo: Este ítem pretende evaluar la capacidad del alumno para aplicar sus conocimientos sobre las relaciones tróficas y el flujo de la energía a la explicación de la dependencia que los animales tienen, de las plantas.

220

Crédito completo:3

3.1. El alumno hace referencia al papel de las plantas como primer eslabón de las cadenas alimentarias, haciendo evidente la noción de flujo de energía entre plantas y animales. Ejemplos:

- “Todos los seres vivos dependen de las plantas para obtener alimentos porque la planta es la única en la cadena de alimentación que elabora sus propios alimentos por lo que ella se nombra en producto-res y el ser humano pasa a hacer consumidor”. - “Porque las plantas producen su propio alimento usando la energía del sol y los animales necesitan alimentarse de otros seres vivos.” - “Porque solo las plantas reciben directamente la energía del Sol; por ello todo ser vivo extrae la energía que reciben las plantas” - “Por que las plantas son la base de la cadena alimentaria y si no hay plantas se terminan todos los depredadores”.

Crédito parcial:2

2.1. El alumno hace referencia a que las plantas son los únicos seres vivos que pueden producir sus propios alimentos a partir de la energía del Sol.Ejemplos:

- “Porque las plantas son los únicos seres vivos que elaboran su propio alimento. De este modo, con el proceso de fotosíntesis, las plantas absorben el dióxido de carbono expulsa el oxigeno (que es el gas que nosotros utilizamos para respirar y de este modo vivir)”.- “Por que las plantas son productoras”.

220 221

Sin Crédito: 1

1.1 No sé1.2 Respuestas borradas, tachadas, groseras, dibujos que no corresponden.1.3 El alumno señala que las plantas sirven de alimento para algunos animales.

Ejemplo: - “Por que las plantas nos provee de alimentos por sus frutos, sus vitaminas, etc.”

1.4 El alumno señala la importancia de las plantas en la producción de oxíge-no o que posibilitan la respiración.

Ejemplo: - “Porque las plantas realizan la fotosíntesis que es cuando las plantas largan el oxígeno”

1.5 El alumno señala que las plantas sirven de alimento para algunos ani-males y la importancia de las plantas en la producción de oxígeno o que posi-bilitan la respiración.




222

F. Código: C.b5.it15ÍTEM 15 del Cuadernillo 3 – ÍTEM 30 del Cuadernillo 5

¿Por qué el carbón, el petróleo y el gas son combustibles fósiles?Escribe tu respuesta a continuación._______________________________________________________________________________________________________________________________________________________________________________________



• Objetivo: Este ítem pretende evaluar la capacidad del alumno para relacionar el proceso de formación del carbón, el petróleo y el gas con el nombre que se le da a este conjunto de combustibles.

222 223

Crédito completo:

4

4.1 El alumno señala el origen de los combustibles como un evento que ocur-rió hace mucho tiempo atrás y a partir de seres vivos.

Ejemplos:

- “Porque se formaron hace millones de años de plantas enterradas.”

- “Porque en ciertos lugares del mundo se enterraron organismos muertos en gran cantidad y en muchos miles de años se forma todo eso”

- “Por parte unos dinosaurios que murieron se enterraron y fue dando vuelta el mundo y así se fue creando el carbón el petróleo y muchas cosas más”

Crédito parcial:3

3.1 El alumno sólo señala el origen de los combustibles fósiles a partir de seres vivos, pero no menciona que el evento ocurrió en el pasado.

Ejemplos:

- “Porque los que murieron se transformaron en combustibles fósiles”- “Porque se formaron por plantas.”

Crédito parcial:2

2.1 El alumno sólo señala que el evento ocurrió hace mucho tiempo atrás, pero no menciona el origen de los combustibles fósiles a partir de seres vivos.

Ejemplos:

- “Porque se formaron hace muchísimo tiempo.”- “Porque se hicieron hace miles de años.”

224

Sin Crédito: 1

1.1 No sé.

1.2 Respuestas borradas, tachadas, groseras, dibujos que no corresponden.1.3 El alumno se refiere al uso de los combustibles, por ejemplo “se usan para cocinar” o para “andar los carros”.

1.4 El alumno se refiere a que provienen de la tierra o de fósiles de seres vivos. Ejemplo:

“Porque cuando un animal se muere se hace fósil.”“Porque son los fósiles de los dinosaurios.”

1.5 El alumno se refiere a que los combustibles fósiles como recursos no renovables.


Ejemplo:

“Por los huesos de los humanos después que se descomponen los cuerpos que en unos mil años se convirtieron en estos combustibles que serán hallados por los humanos”



225

CAPÍTULO VII: MANUAL PARA EL PROCESAMIENTO Y ANÁLISIS DE DATOS APLICACIÓN PILOTO

El presente Manual de Procesamiento de datos y Análisis de Items para el SERCE, es un documento guía para el procesamiento de datos provenientes de la aplicación piloto del estudio, que presenta indicadores estadísticos que orienten la toma de decisiones en relación con la aceptación o rechazo de ítems para conformar los ins-trumentos que se aplicarán en el estudio definitivo, decisiones que, por supuesto, también estarán sustentadas en un análisis cualitativo, basado en los marcos teóricos de las pruebas, el contexto y propósitos del estudio, las características de la población evaluada, etc. Su alcance no cobija el procesamiento de datos de la aplicación definitiva.

Para efectos prácticos, esos indicadores estadísticos se toman de la Teoría de Respuesta al Item (TRI), cuyos supuestos son fuertes y apropiados para los propósitos de la evaluación del SERCE; algunos de estos indicado-res permiten reconocer la calidad de cada uno de los ítems y otros describen al grupo o grupos de evaluados a quienes se aplica dichos ítems. Todos estos indicadores pueden ser interpretados desde los supuestos de la TRI en general y desde los diferentes modelos de esta teoría. Además, son apropiados para los objetivos del estudio piloto.

Es prudente mencionar que algunos de los objetivos del estudio piloto son la verificación de la calidad de los ítems aplicados y de los procedimientos implementados. No se pretende, a partir de esta aplicación piloto, reali-zar comparaciones de resultados entre países, entre otras razones, debido a que las muestras no son representa-tivas. Sin embargo, para efectos del análisis de ítems, sí es necesario conocer el comportamiento de los ítems en los diferentes países participantes, por lo cual se incluye la producción de reportes por país. El procesamiento de datos planteado para la aplicación piloto incluye el análisis de ítems de selección múltiple con única respuesta e ítems con respuesta abierta de crédito parcial; no se incluyen las preguntas de la prueba de escritura.

Para el análisis de ítems del estudio piloto, además del reporte internacional y de los reportes por país, se hará uso de los informes de la aplicación piloto entregados por los Coordinadores Nacionales.

1. FUNDAMENTACIÓN TEÓRICA DELMODELO DE ANÁLISIS

1.1. LAS TEORÍAS DE MEDICIÓN

En la construcción de pruebas, dos teorías psicométricas han tenido trascendencia: la teoría clásica de las prue-bas (TCP) y la teoría de respuesta al ítem (TRI).

El modelo lineal de la TCP describe la influencia de los errores de medida en las puntuaciones observadas y sus relaciones con las puntuaciones verdaderas27 . La TCP presenta varias limitaciones; la más importante de ellas es que no permite separar las características del examinado de las características del test. La dificultad de un ítem se define, en este contexto, como la proporción de examinados en un grupo determinado que contesta el ítem correctamente. Las características métricas del test (tales como confiabilidad y validez) se definen en términos de un grupo determinado de examinados con el cual se ha construido el baremo o norma de interpretación de las puntuaciones; esto hace difícil comparar examinados que tomaron distintos tests, e imposibilita el análisis de interpretaciones de resultados con referencia a criterio28 .

27 Martínez, R. (1996). Psicometría: Teoría de los Tests Psicológicos y Educativos. Madrid: Síntesis. 28 ardo, C. (2001). Revista ACTA Colombiana de Psicología. No. 5. Bogotá: Universidad Católica de Colombia.

226

Otra debilidad de la TCP es que no proporciona información precisa acerca de la habilidad de cada una de las personas; presume que la varianza del error de medida es igual para todos los examinados. Además, la cons-trucción de formas paralelas de una prueba, requisito para establecer la confiabilidad, se dificulta en la práctica.

El modelo de la teoría de respuesta al ítem, (TRI), intenta dar una fundamentación probabilística al problema de la medición de rasgos y constructos no observables, y considera al ítem como unidad básica de medición.

La TRI no contradice ni los supuestos ni las conclusiones fundamentales de la TCP, sino que hace asunciones adicionales que permiten superar las debilidades de esta última29 . Mientras en la TCP la medición del atributo se asume como la sumatoria de respuestas a ítem individuales, en la TRI se estima el nivel de un atributo medido utilizando el patrón de respuesta del evaluado30 .

1.2. LA TEORÍA DE RESPUESTA AL ITEM (TRI)

1.2.1. Supuestos de la TRI

Los planteamientos de la TRI se fundamentan en el postulado de que la ejecución de una persona en una prue-ba puede predecirse y explicarse por un conjunto de factores personales llamados, en conjunto, “habilidad” y en el hecho de que la relación entre la ejecución del examinado y la habilidad que la soporta puede describirse por una función monotónicamente creciente. Como todo modelo matemático, la TRI incluye un conjunto de supuestos acerca de los datos en los cuales se aplica, y especifica las relaciones entre los constructos descritos en el modelo3132 . En términos generales, la TRI considera 3 supuestos básicos:

1) Dimensionalidad. En la TRI se asume que cuando se diseña una prueba, ésta deberá medir, prefe-riblemente, una dimensión, una habilidad. Se reconoce que cuando una persona responde a un ítem en una prueba, confluyen múltiples habilidades, pero los ítems deben diseñarse haciendo énfasis en una de ellas o en una combinación particular predefinida.

2) Independencia Local. Se espera que un evaluado responda a un ítem en particular sin que recurra a información de otros ítems para hacerlo correctamente. En otras palabras, la ejecución en un ítem no debe afectar sus respuestas en otro. En las pruebas en donde los ítems dependen de un mismo contexto (texto), se aplica la independencia local entre los ítems y no entre ellos y el contexto.

3) Curvas Características de Ítems (CCI). La CCI es una función matemática que relaciona la proba-bilidad de éxito en una pregunta con la habilidad, medida por el conjunto de ítems que la contienen33 34. Los diferentes modelos de la TRI se diferencian en la forma particular que adquiere la función de probabilidad, la cual incluye el número específico de parámetros del modelo. Todo ítem puede describirse por su CCI y es esta curva la unidad conceptual básica de la TRI.

29 Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey: Lawrence Erlbaum Associates.30 Nunnally, A. (1987). Teoría Psicométrica. México: Trillas.31 Hambleton, R. y Swaminathan, H. 1985. Item Response Theory: principles and applications. Kluwer. Boston.32 Weiss, D. y Yoes, M. 1994. Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational andpsychological testing. Boston.

33 7 Hambleton, R. y Swaminathan, H. 1985. Op. Cit.34 Thorndike, R. 1999. IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S. 1999. The New Rules of Measurement. New Jersey. University of Kansas.

226 227

1.2.2. Modelos en la TRI

Bajo el nombre genérico de la TRI se presentan diferentes modelos que, aunque se diferencian en algunos rasgos, tienen en común una serie de aspectos básicos, especialmente el de ser modelos estructurales que esta-blecen una relación matemática formalizada entre la respuesta a un ítem concreto y el nivel de habilidad de una persona. Los primeros modelos de TRI seguían la ojiva normal, en la actualidad los modelos de uso común siguen la ojiva logística o función de distribución logística, que define toda una familia de curvas de forma similar en apariencia a la ojiva normal; La forma general de la función logística es:

Ó

do nde es la base de los logaritmos neperianos, x y cualquier valor o función.

Existen diversas funciones que cumplen la propiedad de la monotonía creciente de la curva que describe la probabilidad como función de la habilidad. Las diferencias entre ellas pueden darse por la forma y por los parámetros que la describen. Para definir las curvas son utilizadas hasta tres parámetros denominados a, b y c, que representan el índice de discriminación, el índice de dificultad y la probabilidad de seleccionar la respuesta correcta al azar, respectivamente.

Modelo De Rasch

El modelo de Rasch, establece la probabilidad de respuesta de una persona ante un estímulo dado, en términos de la diferencia entre la medida del rasgo de la persona y la medida del estímulo utilizado35. El modelo considera que la respuesta a un ítem sólo depende de la interacción entre la habilidad del sujeto y de la dificultad del ítem, es decir, de y de b. La CCI viene dada por la función logística, y el único parámetro de los ítems que se tiene en cuenta es b, el índice de dificultad. No se hacen hipótesis globales sobre el patrón de respuestas de un grupo, ni sobre la adivinación sistemática. Por el contrario, plantea que la adivinación es un patrón personal y puede ser detectada en función del ajuste o desajuste de las respuestas de una persona al modelo. Esta misma hipótesis aplica para los ítems. La medida de una persona es independiente de la prueba empleada y la calibración del ítem es independiente de la población que lo aborda.

35 Tristán, A. (2001). Rasch para Todos. México: Ceneval.

θ

θ

θ e

e f

+ = 1

) ( (1)

θ

θ

θ e

e f

+ = 1

) (

θ

θ

θ e

e f

+ = 1

) (

228

La función del modelo se expresa de la siguiente forma:

donde,

Pi ( ) es la probabilidad de responder correctamente el item i en determinado nivel son los valores de la variable medidabi es el índice de dificultad del ítem i es la base de los logaritmos neperianos

Modelo de Dos Parámetros

En 1952, Frederic Lord propuso un modelo de Respuesta al Ítem en el que las ICCs tomaban la forma de una ojiva normal de dos parámetros. En este modelo se tienen en cuenta los parámetros de dificultad (b) y discriminación (a). Estos se definen teóricamente en una escala que oscila entre (- ,+ ). No obstante, en la práctica, los valores de dificultad generalmente varían entre –3.5 y +3.5, correspondiendo el valor de –3.5 a ítems muy sencillos y el valor +3.5 a ítems muy difíciles. En cuanto al parámetro a, los valores negativos se descartan en los test de aptitud y en la práctica sus valores oscilan entre 0 y 2. Valores muy bajos en poder discriminante dan lugar a ICCs, que crecen lenta y gradualmente al aumentar el nivel de habilidad. La función del modelo se expresa de la siguiente forma:

donde,

Pi ( ) es la probabilidad de acertar el item i para un valor son los valores de la variable medidabi es el índice de dificultad del ítem iai es el índice de discriminación del ítem i es la base de los logaritmos neperianosD es un factor de escalamiento = 1.7 (su uso asegura una variabilidad inferior a 0.01 en los valores estimados Tristán, A. (2001). Rasch para Todos. México: Ceneval. de habilidad, cuando se usa la ojiva normal o la ojiva logística de dos parámetros).

θ

θ

θ e

e f

+ = 1

) (

θ

θ

θ e

e f

+ = 1

) (

(2)

θ

θ

θ e

e f

+ = 1

) (

θ

θ

θ e

e f

+ = 1

) (

θ

θ

θ e

e f

+ = 1

) (

θ

θ

θ e

e f

+ = 1

) (

228 229

Modelo de Tres Parámetros

Este modelo fue originado y desarrollado por Allan Birnbaum. Además de los supuestos básicos de la TRI, el modelo de Tres Parámetros usa directamente los valores a, b y c, para encontrar una curva que mejor aproxi-me los puntos observados. El modelo se expresa en la siguiente función:

donde,

Pi ( ) es la probabilidad de responder correctamente el ítem i para un valor son los valores de la variable medidaai es el índice de discriminación del ítem ibi es el índice de dificultad del ítem ici es la probabilidad de responder en forma correcta el ítem cuando no se conoce la respuesta (por azar) es la base de los logaritmos neperianosD es una constante = 1.7 (valor introducido para que la función logística sea ajustada a la ojiva normal con una exactitud de 0,01)

Distintos estudios que han puesto a prueba este modelo han encontrado que el parámetro c, por lo regular, asume valores más pequeños que el valor que resultaría si los examinados de baja habilidad seleccionaran al azar la respuesta; este fenómeno se ha explicado por el hecho de que en realidad los examinados de baja habilidad regularmente no eligen al azar –a ciegas-la respuesta a un ítem que no pueden responder, sino que responden opciones que se presentan ante ellos como plausibles. Por lo anterior se ha sugerido evitar la denominación de “adivinación” para el parámetro c y se ha optado por llamarlo “nivel de seudoprobabilidad”.

2. INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS

El análisis de ítems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los ítems de un instrumento, en relación con los propósitos para los cuales fueron elaborados. Su realización implica un saber profundo sobre el objeto de evaluación, la población evaluada, los propósitos de la evaluación y se requiere, además, conocer debidamente las técnicas de procesamiento de datos para hacer una adecuada inter-pretación de los indicadores estadísticos disponibles. El proceso de análisis de ítems debe conducir a la toma de decisiones en relación con la inclusión, exclusión o modificación de ítems, a partir de la identificación clara de las posibles problemáticas de los mismos.

A continuación se describe cada uno de los indicadores sugeridos para el procesamiento de datos del SERCE, con miras a proveer información cuantitativa necesaria para adelantar el análisis de ítems.

2.1. DIFICULTAD

Definición: indica la posición de la curva del ítem a lo largo de la escala de habilidad; entre más difícil es un ítem su curva estará localizada más a la derecha en la escala de habilidad.

) (

) (

1 ) 1 ( ) (

i i

i i

b Da

b Da

i i i e

e c c P −

−

+ − + =

θ

θ

θ (3)

θ

θ

θ e

e f

+ = 1

) (

θ

θ

θ e

e f

+ = 1

) (

θ

θ

θ e

e f

+ = 1

) (

230

Justificación de uso: es uno de los parámetros fundamentales en los Modelos de la TRI. Es indicador base para la conformación de pruebas y de bancos de ítems, así como para establecer comparabilidad de escalas. Se requiere para obtener otros indicadores de ítems (curvas características, función de información).

Interpretación: los valores de dificultad oscilan entre menos infinito y más infinito en la escala logit, aunque en términos prácticos los ítems asumen valores entre –3.5 y +3.5, cuando el promedio de dificultades del grupo de ítems se centra en cero. Valores positivos y altos indican alta dificultad y los valores negativos indican baja dificultad.

Criterio de aceptación: regularmente se analiza la distribución de valores de dificultad del instrumento en re-lación con los valores de habilidad de la población evaluada para conceptuar sobre lo apropiado de la medición de dicho instrumento, de acuerdo con los propósitos que lo inspiraron. Un aspecto importante de análisis está dado por la densidad de ítems en un punto de la escala de habilidad en particular; así, se espera que no haya más de dos ítems de un mismo componente o contenido que midan con la misma dificultad. No se establecen de antemano valores de rechazo para este indicador; no obstante, ítems que sean respondidos correctamente por la totalidad de la muestra o que no sean respondidos correctamente por ninguno de los evaluados serán objeto de un reporte especial.

2.2. DISCRIMINACIÓN

Definición: corresponde al “poder de un ítem para diferenciar a los evaluados en distintos niveles de habilidad frente a un constructo medido”36 Grado en el cual las respuestas a un ítem varían en relación con el nivel de habilidad. Se conoce también como la pendiente de la curva en el punto de máxima inflexión.

Justificación de uso: es, junto con la dificultad, parámetro fundamental de los ítems dentro del Modelo de Dos Parámetros. Indica en qué grado el ítem es respondido correctamente por las personas de alta habilidad e incorrectamente por las personas de baja habilidad.

Interpretación: los valores de discriminación oscilan, teóricamente, entre menos infinito y más infinito, aun-que, en la práctica, los ítems presentan valores de discriminación entre 0 y +2. Valores que se aproximan a más infinito se corresponden con un patrón de Guttman (discriminación perfecta).

Criterio de aceptación: son aceptables los ítems con valores de discriminación superiores o iguales a 0.7. No obstante, en caso de tener un mayor número de ítems que los necesarios, la aceptabilidad se haría en orden del valor de la discriminación.

2.3. CORRELACIÓN PRODUCTO MOMENTO PUNTO MEDIDA

Definición: relación entre la respuesta correcta a un ítem de una prueba y el valor de habilidad obtenido en dicha prueba. Este indicador supera las dificultades de la correlación punto biserial tradicional en tanto no es afectada por valores missing. Se calculará para la clave así como para las demás opciones de cada ítem.

Justificación de uso: permite inferir validez de los ítems en cuanto éstos se comporten como partes del ins-trumento.

Interpretación: puede tomar valores entre –1 y 1. Los valores positivos indican que la respuesta correcta al ítem está asociada a altos puntajes en la prueba; valores negativos indican que dicha asociación se da de manera inversa, es decir, altos puntajes en la prueba se asocian a una respuesta incorrecta al ítem.

36 ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey.

230 231

Criterio de aceptación: son aceptables ítems con valores superiores a 0.25. Es deseable que la distribución de valores de correlaciones biseriales de los ítems de la prueba incluya valores superiores al criterio de aceptación. Igualmente, se debe seguir el orden del valor de la correlación punto biserial para la aceptación de los ítems.

2.4. FUNCIONAMIENTO DIFERENCIAL DE ÍTEMS -DIF37

Definición: grado en el cual un ítem presenta propiedades estadísticas diferentes en distintos grupos poblacio-nales, cuando se controla la habilidad de los grupos.

Justificación de uso: es un indicador de equidad en cuanto permite reconocer ítems que presenten compor-tamiento estadístico diferente en los distintos países participantes en el estudio, bien sea para proceder a ajustar dichos ítems –si se encuentra que el DIF se debe a fallas de construcción-o para reconocer necesidades parti-culares de ajuste o cualificación de procesos educativos –si se descartan problemas de construcción del ítem-. En cualquier caso, debe garantizarse que la calificación final en el estudio se realice a partir de ítems que no presenten DIF.

Interpretación: se interpreta el test t de significancia estadística para aceptación o rechazo de la hipótesis de funcionamiento diferencial que es equivalente al test de significancia Mantel – Haenszel. Criterio de aceptación: se rechaza el funcionamiento diferencial cuando se encuentran valores inferiores a 1.96 de la prueba t con (n1+n2-2) grados de libertad.

Cálculo: el análisis de DIF se realiza con todos los ítems (o todos los grupos poblacionales), excepto con el que está siendo analizado, anclando sus dificultades (habilidades) a los valores de las dificultades (habilidades) para la totalidad de los ítems (o grupos poblacionales) incluyendo el que está siendo analizado. Se calcula un DIF de contraste que corresponde a la diferencia entre los tamaños de DIF de los ítems (o grupos poblacionales) en estudio, que es equivalente a la medida de DIF con procedimiento Mantel-Haenszel.

2.5. CURVA CARACTERÍSTICA DEL ITEM – ICC38

Definición: función matemática que relaciona la probabilidad de éxito en un ítem con la habilidad medida por el ítem. Se debe calcular, para cada ítem, la ICC y la Curva Empírica del Ítem39 , tanto para la clave como para las demás opciones de respuesta. Se presentarán cuatro gráficas por prueba, por grado, en el Informe Interna-cional, solamente.

Justificación de uso: permite verificar el grado en el cual el modelo da cuenta de los resultados de la evaluación40 .

Interpretación: la curva característica del ítem para el Modelo de Dos Parámetros toma la forma de una ojiva logística. La interpretación consiste en verificar la correspondencia entre la curva empírica del ítem y la curva característica.

Criterio de aceptación: curvas empíricas (ECC) que se comportan de acuerdo con la curva característica del modelo.

37 DIF, en inglés: Differential Item Functioning.38 Item Caracteristic Curve39 La curva basada en los puntajes observados se puede llamar Función Empírica de Respuesta al Ítem o Curva Empírica del Item (en inglés: Empirical Caracteristic Curve, ECC).

40 Se sugiere obtener las ICC para el modelo de dos parámetros y para el modelo de Rasch con el propósito de establecer el mejor ajuste de los datos.

232

2.6. AJUSTE PRÓXIMO Y LEJANO (INFIT Y OUTFIT)

Definición: indica la correspondencia entre un grupo de datos y el modelo estadístico utilizado para repre-sentarlos. El ajuste próximo (infit) se refiere a la relación entre los datos que se encuentran cerca del valor de dificultad del ítem y el valor de dificultad; el ajuste lejano (outfit) se refiere a la relación de los datos que se encuentran lejos de dicho valor de dificultad y esa dificultad. Ambos indicadores deben ser calculados para la clave. Para las demás opciones de respuesta debe calcularse el ajuste lejano.

Justificación de uso: la utilización de un modelo para representar datos debe fundamentarse en la verificación de que dicho modelo en verdad representa el comportamiento de los datos y, por ende, puede inferirse el cum-plimiento de los supuestos de dicho modelo para los datos analizados.

Interpretación: los valores posibles se encuentran entre cero (0) e infinito positivo. El valor que determina el ajuste perfecto entre los datos y el modelo es 1. Los valores muy inferiores a 1 indican dependencia de los datos (paradoja de atenuación); valores superiores a 1 indican ruido en la información; valores superiores a 2 indican que el ruido es mayor que la información útil.

Criterio de aceptación: valores de ajuste entre 0.8 y 1.2.

Cálculo: se basa en la suma de los cuadrados de los residuos estandarizados. Esta suma se aproxima a una distribución chi cuadrado. Dividiendo esta suma por sus grados de libertad se obtiene un valor esperado de 1 y rango entre cero e infinito.

2.7. PROMEDIO DE HABILIDAD POR OPCIÓN

Definición: promedio de las habilidades de quienes eligen cada opción de respuesta de un ítem. Se debe incluir, adicionalmente, la proporción de respuestas para cada opción. Esta información se presenta para el informe internacional de la aplicación piloto solamente e incluye los datos de todos los evaluados.

Justificación de uso: permite reconocer la proporción de personas que seleccionan una opción como res-puesta correcta y su habilidad promedio. La combinación de estos dos datos proporciona información útil para determinar la validez de cada ítem en relación con los marcos conceptuales de las pruebas y valorar la calidad de cada opción.

Interpretación: los valores posibles de habilidad promedio se encuentran entre infinito negativo hasta infi-nito positivo. Se espera que el promedio de habilidad para la opción considerada clave sea el mayor de todos. El mapa de distribuciones de los promedios de habilidad de las opciones de todos los ítems indica el funcio-namiento relativo de todas las opciones y puede ser interpretado con base en los marcos conceptuales de las pruebas. El orden de los promedios de habilidades permite comprender las complejidades de las opciones para la población evaluada. Las proporciones de respuesta para cada opción dan una idea de su atracción en una población particular.

Criterio de aceptación: el mayor promedio de habilidad debe ser el de la clave.

232 233

2.8. MAPA DE DISTRIBUCIÓN DE HABILIDADES Y DIFICULTADES

Definición: Relación gráfica, en una misma escala, entre la distribución de las dificultades de los ítems y la dis-tribución de las habilidades de los evaluados. Esta gráfica se presenta sólo en el informe internacional. Aunque no es un indicador estadístico en sí mismo, utiliza indicadores de personas y de ítems que ofrecen información pertinente para el análisis de los bloques y de los ítems que los conforman.

Justificación de uso: permite contrastar la dificultad de los ítems en una población particular y determinar si éstos se ajustan a la población; igualmente, es posible observar el cubrimiento de las habilidades por parte de los ítems. Permite identificar grupos de ítems o de personas que por su nivel de dificultad o habilidad, res-pectivamente, merezcan una atención especial en el análisis. Pueden ser contrastadas las expectativas de los constructores de ítems, en relación con el nivel de dificultad de los ítems, así como si la muestra seleccionada se comporta de acuerdo con los propósitos del diseño muestral.

Interpretación: las habilidades y las dificultades se presentan en una escala que oscila entre menos infinito y más infinito. Si la distribución de habilidades tiene valores inferiores a la distribución de dificultades, quiere decir que para ese grupo poblacional los ítems resultaron difíciles. Por el contrario, si la distribución de habili-dades tiene valores superiores a la distribución de dificultades, signfica que para ese grupo poblacional los ítems resultaron fáciles.

Criterio de aceptación: se espera que las distribuciones de habilidades y dificultades tengan posición y disper-sión semejantes entre sí. De esta manera se entiende que el grupo de preguntas analizado cubre la totalidad de las habilidades dela población. Si las distribuciones no son semejantes, las diferencias deben ser interpretadas a la luz de los marcos teóricos de las pruebas y del propósito del estudio SERCE.

2.9. CORRELACIONES INTER – ÍTEM

Definición: correlaciones entre los ítems de un mismo bloque. Este indicador se presenta sólo en el Informe Internacional.

Justificación de uso: indica el grado de relación entre dos ítems de un mismo bloque, indicando si miden lo mismo (dimensionalidad del constructo). Se utiliza en análisis de la confiabilidad de un grupo de ítems.

Interpretación: Si el valor de las correlaciones es positivo y alto indica que los ítems miden el mismo objeto; si, por el contrario, los valores son negativos, indica que los ítems miden objetos diferentes.

Criterio de aceptación: las correlaciones deben ser positivas y altas.

2.10. ERROR ESTÁNDAR DE MEDICIÓN

Definición: corresponde a la desviación estándar de una distribución imaginaria de errores que representan la posible distribución de valores observados alrededor del valor teórico verdadero. Es un indicador de la confia-bilidad.

Justificación de uso: si se calcula el error de medición de cada habilidad estimada o dificultad estimada (o conjunto de habilidades o dificultades), se conoce la precisión de la medida o la estimación, orientando la toma de decisiones para la depuración de bases de datos y para el análisis de ítems.

234

Interpretación: como en cualquier proceso de medición, se espera que el error sea cercano a cero. Errores demasiado grandes restan confianza en las estimaciones del parámetro. La escala de valores en la cual se repor-tan los errores está asociada a la escala de medición utilizada, por lo cual no es posible establecer, de manera universal y de antemano, un valor mínimo aceptable de error.

Criterio de aceptación: por lo general, diferentes autores coinciden en que la decisión de cuál sería un valor de error aceptable y cuál no, debe derivarse de un juicio profesional experto de quienes conocen procedimientos psicométricos, el instrumento de medida y su marco de fundamentación41.

3. INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE GRUPOS DE ÍTEMS

En consideración a que el diseño del estudio contempla que los instrumentos (pruebas) estén conformados de acuerdo con agrupaciones de ítems en bloques, aplicados de manera sistemática en cuadernillos editados con arreglos distintos de dichos bloques, el análisis de ítems debe incluir una fase de análisis de indicadores estadís-ticos que den cuenta del comportamiento de tales agrupaciones. En tal sentido, a continuación se describen los indicadores propuestos para el análisis de bloques; es de notar que dado que la aceptación o rechazo de ítems se hace con base en sus indicadores individuales, para los indi-cadores de grupos de ítems no se define un criterio de aceptación.

3.1. PROMEDIO

Se requiere obtener promedio de habilidades, promedio de dificultades y porcentaje de respuestas correctas.

Definición: promedio de las dificultades de los ítems del bloque y de las habilidades de las personas que abor-dan el bloque.

Justificación de uso: permite conocer el comportamiento del bloque en diferentes grupos poblacionales, en relación con la posición de dicho bloque en distintos cuadernillos. También permite observar el comportamien-to relativo de los distintos grupos poblacionales, de acuerdo con el diseño muestral.

Interpretación: si el bloque se encuentra ajustado a la población, el promedio de habilidades debe ser aproxi-madamente igual al promedio de dificultades. Si el promedio de habilidades es superior, significa que el bloque fue relativamente fácil para ese grupo poblacional; si por el contrario el promedio de habilidades es inferior al promedio de dificultades, significa que el bloque fue relativamente difícil para ese grupo poblacional. El porcen-taje de respuestas correctas aporta al análisis intrabloque en cuanto constituye un indicador general de la manera en que los evaluados abordaron cada bloque.

3.2. DESVIACIÓN ESTÁNDAR

Se requiere obtener la desviación estándar de habilidades y de dificultades.

Definición: medida de la dispersión de la distribución de las dificultades de los ítems de un bloque y de la dis-tribución de las habilidades de las personas que abordan dicho bloque.

Justificación de uso: permite valorar la homogeneidad/heterogeneidad de los valores de dificultad del grupo de ítems de un bloque, así como de los valores de habilidad del grupo poblacional que aborda dicho bloque.

41 AERA, APA, NCME. (1999) Standards ford educational and psychological testing. Washington: AERA.

234 235

Interpretación: desviaciones estándar altas (superiores a 1 en valores logit) indican heterogeneidad del grupo de datos; desviaciones estándar bajas (inferiores a 1 en valores logit) indican homogeneidad del grupo de datos. Esta información se contrasta con el respectivo valor del promedio para comprender el desempeño de una población particular.

3.3. PUNTUACIÓN MÁXIMA Y PUNTUACIÓN MÍNIMA

Definición: puntuaciones logit más alta y más baja alcanzadas por una población particular.

Justificación de uso: permite reconocer los extremos de la distribución de habilidades en una población par-ticular y contrastarlos con las expectativas de los evaluadores.

Interpretación: si el valor máximo en logits alcanzado por una población es inferior al valor de habilidad equivalente a n-1 ítems correctos, indica que el grupo de ítems resultó complejo para las personas de más alta habilidad. Si el valor mínimo, en logits, alcanzado por una población es superior al valor de habilidad equiva-lente a 1 ítem correcto, indica que el grupo de ítems resultó fácil para las personas de más baja habilidad. Se espera que los valores mínimos y máximos correspondan a 1 respuesta correcta y a n-1 respuestas correctas, respectivamente.

3.4. CONFIABILIDAD

Definición: indica el grado de precisión en la medición. En la TRI se utiliza la Función de Información como indicador de la confiabilidad.

Justificación de uso: es importante conocer la precisión de la medición en cada punto de la escala de habilidad, para cada uno de los bloques, en las distintas poblaciones.

Interpretación: a mayor valor de la función de información es mayor la precisión en la medida.

4. SOFTWARE PARA PROCESAMIENTO

El procesamiento de datos para el estudio SERCE debe ofrecer información suficiente para efectuar el análisis de ítems con los indicadores sugeridos en los apartados 2 y 3.

En el mercado se cuenta con oferta considerable de software que opera con los supuestos de la Teoría de Res-puesta al Item y que implementa las funciones matemáticas de sus diferentes modelos, enunciadas en el aparta-do 1 de este documento. La diferencia entre un software y otro, ya sea que estén o no inspirados en un mismo modelo, radica principalmente en aspectos como el tamaño poblacional y la longitud de los instrumentos que les es posible procesar, en la formulación matemática particular que implementan y, quizás lo más importante, desde el punto de vista de un proceso de evaluación, en la confiabilidad (precisión) de los datos que arroja.

Se revisaron distintas características técnicas (la cantidad de indicadores que reporta el software y la precisión en las estimaciones de los mismos; la cantidad de datos que tiene capacidad de analizar; los requerimientos de conformación de bases de datos; la convergencia en las estimaciones y la interfase gráfica) de programas de software disponibles en el mercado, tales como Bilog MG, Multilog, Parscale, Rascal y Winsteps y se llegó a la conclusión que este último ofrece las mayores ventajas para el procesamiento de datos en la aplicación piloto del proyecto SERCE.

236

Winsteps es un software que opera en plataforma windows y que implementa los principios de la Teoría de Res-puesta al Ítem para construir mediciones objetivas a partir de una base de datos sencilla en la cual se especifican personas (evaluados) y sus respuestas a un grupo de ítems. Puede trabajar de manera simultánea con varios formatos de ítems (dicótomos, de selección múltiple con única y con múltiple respuesta y de crédito parcial); ofrece gran variedad de reportes tabulares y con interfases gráfi-cas, en los cuales se presenta de manera detallada y también resumida, el comportamiento de las poblaciones y de los ítems analizados. Una característica importante es que el software señala con claridad los datos que pre-sentan comportamientos por fuera de lo esperado. Los datos missing no son un problema para las estimaciones que realiza este software.

La generación de escalas de calificación usando Winsteps constituye un proceso relativamente simple toda vez que el software permite el procesamiento de datos, agrupados según variables de interés, sin requerir modifi-caciones en la estructura de la base de datos original. Winsteps también permite prefijar valores (anclar) de los parámetros para facilitar procesos de comparabilidad (equating). Winsteps puede procesar hasta 10.000.000 de personas y 30.000 ítems y cada ítem puede contemplar hasta 255 categorías de calificación (el de mayor capacidad, para ítems y categorías, en el mercado). El software tiene un manual detallado para orientar su uso y la interpretación de la información que arroja; la firma Winsteps ofrece apoyo técnico en línea, oportuno y eficaz, para solventar inquietudes tanto de procesamiento como de interpretación de datos.

5. BASE DE DATOS

Son dos las bases de datos necesarias: la de entrada o base de datos inicial y la base de datos de salida, cada una compuesta por varias tablas.

5.1. BASE DE DATOS DE ENTRADA Esta base de datos debe contener la siguiente información de los evaluados:

· Código de país· Grado· Código del centro educativo· Aula· Nombre del cuadernillo· Respuestas a las preguntas

Esta información puede encontrarse en diferentes tablas que tengan algún campocomún para obtener el archivo de datos que se utilizará en el procesamiento dedatos para el análisis de ítems.

En total se requieren 5 archivos de datos, que tendrán la siguiente información ydeben estar en formato txt:

236 237

Archivo 1. Lenguaje tercer grado

· Código de país· Código de centro educativo·Código de grado· Aula· Código estudiante· Nombre del cuadernillo de lenguaje· Respuestas a Bloque 1 de lenguaje (si aplica)· Respuestas a Bloque 2 de lenguaje (si aplica)· Respuestas a Bloque 3 de lenguaje (si aplica)· Respuestas a Bloque 4 de lenguaje (si aplica)· Respuestas a Bloque 5 de lenguaje (si aplica)· Respuestas a Bloque 6 de lenguaje (si aplica)· Respuestas a Bloque 7 de lenguaje (si aplica)· Respuestas a Bloque 8 de lenguaje (si aplica)

Archivo 2. Lenguaje sexto grado

· Código de país· Código de centro educativo· Código de grado· Aula· Código estudiante· Nombre del cuadernillo de lenguaje· Respuestas a Bloque 1 de lenguaje (si aplica)· Respuestas a Bloque 2 de lenguaje (si aplica)· Respuestas a Bloque 3 de lenguaje (si aplica)· Respuestas a Bloque 4 de lenguaje (si aplica)· Respuestas a Bloque 5 de lenguaje (si aplica)· Respuestas a Bloque 6 de lenguaje (si aplica)· Respuestas a Bloque 7 de lenguaje (si aplica)· Respuestas a Bloque 8 de lenguaje (si aplica)

Archivo 3. Matemática tercer grado

· Código de país· Código de centro educativo· Código de grado· Aula· Código estudiante· Nombre del cuadernillo de matemática· Respuestas a Bloque 1 de matemática (si aplica)· Respuestas a Bloque 2 de matemática (si aplica)· Respuestas a Bloque 3 de matemática (si aplica)· Respuestas a Bloque 4 de matemática (si aplica)· Respuestas a Bloque 5 de matemática (si aplica)· Respuestas a Bloque 6 de matemática (si aplica)· Respuestas a Bloque 7 de matemática (si aplica)

238

· Respuestas a Bloque 8 de matemática (si aplica)

Archivo 4. Matemática sexto grado

· Código de país· Código de centro educativo· Código de grado· Aula· Código estudiante· Nombre del cuadernillo de matemática· Respuestas a Bloque 1 de matemática (si aplica)· Respuestas a Bloque 2 de matemática (si aplica)· Respuestas a Bloque 3 de matemática (si aplica)· Respuestas a Bloque 4 de matemática (si aplica)· Respuestas a Bloque 5 de matemática (si aplica)· Respuestas a Bloque 6 de matemática (si aplica)· Respuestas a Bloque 7 de matemática (si aplica)· Respuestas a Bloque 8 de matemática (si aplica)

Archivo 5. Ciencias sexto grado

· Código de país· Código de centro educativo· Código de grado· Aula· Código estudiante· Nombre del cuadernillo de ciencias· Respuestas a Bloque 1 de ciencias (si aplica)· Respuestas a Bloque 2 de ciencias (si aplica)· Respuestas a Bloque 3 de ciencias (si aplica)· Respuestas a Bloque 4 de ciencias (si aplica)· Respuestas a Bloque 5 de ciencias (si aplica)· Respuestas a Bloque 6 de ciencias (si aplica)

Además, se requieren tablas con las claves o respuestas correctas a cada ítem de cada bloque, de acuerdo con el orden de los bloques establecido en los archivos anteriores, con los códigos de identificación de cada ítem, según bloque, cuadernillo y prueba.Estos archivos contienen toda la información necesaria para realizar el procesamiento de datos con Winsteps.

238 239

5.2. ARCHIVOS DE COMANDOS

Para procesar los datos y obtener los indicadores para el análisis de ítems es necesario generar un archivo de comandos para cada bloque cuyos ítems se van a analizar. Debe contener los comandos necesarios para produ-cir los indicadores mencionados en los puntos 2 y 3 de este documento y debe generar los siguientes archivos:

· Estudiantes· Ítems· Correlaciones Inter Ítem

Es necesario mencionar que debido a que cada ítem de un mismo bloque aparece un dos cuadernillos distintos, en diferente posición, (por ejemplo el bloque 1 de matemática aparece en el cuadernillo 1 (en primer lugar) y en el 8 (en segundo lugar), se recomienda procesar información para cada bloque por separado (bloque 1 cuader-nillo 1 y bloque 1 cuadernillo 8) según la posición del bloque en el cuadernillo y procesar de manera conjunta el bloque sin tener en cuenta si se encuentra en diferentes cuadernillos; es decir, cada pregunta tendrá tres reportes de indicadores. Es necesario tener en cuenta este aspecto para el tema de los archivos de comandos y las bases de datos de salida.

5.3 BASE DE DATOS DE SALIDA

Esta base de datos, en Access, estará conformada por los archivos que contienen la información producida por el Winsteps y que se utilizará para el análisis de ítem. Adicionalmente, se debe crear un archivo, en Word, que contenga las gráficas de las curvas características de los ítems seleccionados y el mapa de distribuciones de habilidades y dificultades por bloque.

240

6. REPORTES Agunos reportes son para la muestra total y otros para los resultados de cada país y serán de dos clases: tablas y gráficas.

6.1. REPORTES EN TABLAS PARA EL INFORME INTERNACIONAL

Reporte 1. Indicadores por bloque.

Se producirán 3 reportes: uno cuando los bloques se encuentran en primera posición en un cuadernillo; otro cuando se encuentran en segunda posición en un cuadernillo y un tercer reporte con la información consolida-da de los dos cuadernillos.

Reporte 1. Indicadores por Bloque. Matemática 3er grado. Posición en el cuadernillo: Primera

Bloque PromedioDificultad

Desviación Estándar

Proporc.Respuest.

Puntuac. Máxima

Puntuac.n-1

Puntuac.Mínima

Puntuac.1

M3_1 -0.002 0.930 0.19 1.980 3.035 -1.980 -3.035M3_2 -0.120 0.980 0.15 1.360 2.980 -1.360 -2.980M3_3 -0.125 1.050 0.20 2.150 2.895 -2.150 -2.895M3_4 0.121 1.020 0.40 2.980 2.980 -2.980 -2.980M3_5 0.004 0.890 0.30 1.890 3.000 -1.890 -3.000M3_6 0.001 1.100 0.29 2.100 2.890 -2.100 -2.890M3_7 0.005 0.710 0.31 1.560 3.152 -1.560 -3.152M3_8 -0.006 0.836 0.18 1.836 2.836 -2.980 -2.836

Los valores de promedio, desviación estándar, puntuación máxima y puntuación mínima se reportan en logits. Se incluye también una columna que indica la proporción de respuestas correctas. Las columnas denominadas Puntuación n-1 y Puntuación 1 indican el valor, en logits, para la totalidad menos unas respuestas correctas y para una respuesta correcta, respectivamente. De esta forma se puede contrastar la puntuación máxima real con el máximo posible y la puntuación mínima real con el mínimo posible, a partir de los datos de promedio en cada país. La desviación estándar indica la variabilidad de las dificultades de los ítems utilizados en el bloque. Este reporte se relaciona con el reporte 5.

240 241

Reporte 2. Indicadores por ítem.

Presenta 6 indicadores para cada ítem. Como para el reporte 1, también se producirán tres reportes por bloque.

Reporte 2A. Indicadores por Item Bloque: M3_1 Posición en el cuadernillo: Primera

Ítem Dificultad

Errorde

Medición Discrim Correlac.

puntobiserial

AjustePróximo

(Infit)

AjusteLejano(Outfit)

N

M3B1IT01 -0.120 0.12 1.00 0.33 1.00 1.05 30418M3B1IT02 -0.111 0.15 0.99 0.31 0.95 0.98 30418M3B1IT03 -0.120 0.08 0.95 0.35 1.05 1.08 30418M3B1IT04 -0.190 0.07 0.93 0.37 1.03 1.10 30418M3B1IT05 -0.250 0.12 1.00 0.12 1.00 1.08 30418M3B1IT06 -0.040 0.11 1.01 0.48 0.85 0.87 30418M3B1IT07 -0.080 0.11 1.03 0.55 0.97 0.90 30418M3B1IT08 -0.180 0.15 1.00 0.48 0.75 0.70 30418M3B1IT09 -0.215 0.09 0.69 0.19 0.83 0.79 30418M3B1IT10 -0.230 0.10 0.98 0.32 0.97 0.99 30418M3B1IT11 -0.240 0.08 1.00 0.30 1.01 1.00 30418M3B1IT12 -0.100 0.09 0.97 0.35 1.03 1.05 30418M3B1IT13 -0.110 0.08 1.01 0.39 0.98 1.00 30418M3B1IT14 -0.180 0.10 0.98 0.18 0.94 0.98 30418

Los valores sombreados corresponden a indicadores que están por fuera del criterio de aceptación. La última columna hace referencia a la totalidad de estudiantes que se incluyeron para el análisis de este ítem.

242

Reporte 2B. DIF por Item. Bloque: M3_1 Posición en el cuadernillo: Primera

ITEMS

País M3B1IT01 M3B1IT02 M3B1IT03 M3B1IT04 M3B1IT05 M3B1IT06 M3B1IT07 M3B1IT08

01 1.20 1.00 1.00 0.99 1.00 1.03 1.03 1.0002 1.80 0.99 0.95 0.95 0.99 1.00 1.00 0.9903 2.16 0.95 1.05 0.93 0.95 0.69 0.99 0.9504 1.90 0.93 1.03 1.00 0.93 0.98 0.95 0.9305 0.90 1.00 1.00 0.99 1.00 1.00 0.93 1.0006 1.10 1.01 0.85 0.95 1.01 0.97 1.00 1.0107 1.15 1.03 0.97 0.93 1.03 1.01 1.01 1.0308 1.18 1.00 3.75 1.00 1.00 0.98 0.98 1.0009 1.50 2.69 0.83 1.01 2.69 1.90 1.05 4.6910 1.70 0.98 0.97 1.03 0.98 0.90 1.03 0.9811 2.10 1.00 1.01 1.00 1.00 1.10 1.00 1.0012 9.00 0.97 1.03 6.69 0.97 1.15 0.85 0.9713 1.10 1.01 0.98 0.98 1.01 1.18 0.97 1.0114 1.40 0.98 0.94 1.00 0.98 1.50 3.75 0.9815 1.00 1.03 1.03 0.97 5.75 1.70 0.83 0.9016 0.99 1.00 1.00 1.01 0.83 2.10 0.97 1.1017 0.95 0.85 7.69 0.98 0.97 9.00 1.01 1.1518 0.93 0.97 0.98 4.75 1.01 1.10 1.03 1.1819 1.00 4.75 1.00 1.10 1.03 1.40 0.98 1.5020 1.01 0.83 0.97 1.40 0.98 2.81 0.94 1.70

Los valores sombreados corresponden a indicadores que están por fuera del criterio de aceptación.

242 243

Reporte 3. Indicadores por opción.

Indicadores por opción de cada ítem. Igualmente, se producirán 3 reportes por ítem.

Reporte 3. Indicadores por Opción. Bloque: M3_1 Posición en el cuadernillo: Primera

Item OpciónCorrecta Opciones

Promedio de

habilidad

Error Estándar

de Medición

Ajuste(Outfit) Correlación

Porcentaje de

Respuesta

M3B1IT01

M3B1IT02

.

.

.

M3B1IT16

2

4

.

.

.

3

1 -0.140 0.11 1.05 -0.33 62 -0.050 0.11 0.98 0.31 563 -0.110 0.15 1.08 -0.35 114 -0.175 0.09 1.10 -0.37 16

Omisión -0.250 0.08 1.08 -0.32 5Multimarca -0.110 0.12 0.87 -0.48 6

1 -0.240 0.15 0.90 -0.55 132 -0.080 0.08 0.70 -0.48 243 -0.160 0.07 0.79 -0.19 204 -0.080 0.12 0.99 0.32 42


.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

1 -0.120 0.09 0.98 -0.18 202 -0.140 0.10 0.87 -0.23 253 0.056 0.08 0.90 0.31 354 -0.110 0.09 0.70 -0.35 15


244

Reporte 4. Correlaciones Inter-Ítem.

Listado con las correlaciones entre todos los ítems de un mismo bloque.

Reporte 4. Correlaciones Inter-item Bloque: M3_1 Posición en el cuadernillo: Primera

Item Item correlaciónM3B1IT01 M3B1IT02 0.15M3B1IT01 M3B1IT03 0.08M3B1IT01 M3B1IT04 0.25M3B1IT01 M3B1IT05 0.21M3B1IT01 M3B1IT06 0.04M3B1IT01 M3B1IT07 0.00M3B1IT01 M3B1IT08 0.12

244 245

6.2. REPORTES GRÁFICOS PARA EL INFORME INTERNACIONAL

Reporte 5. Mapa de distribución de habilidades y dificultades.

Posición en el Cuadernillo: Primera. Este reporte se produce para cada bloque de la prueba. Como se ha mencionado anteriormente, se producen 3 mapas por bloque.

Reporte 5. Mapa de distribución de habilidades y dificultades. Bloque 1 Matemática 3er grado.

246

En este mapa la letra M en cada costado de la escala central, indica el promedio; la s y la t indican la primera y la segunda desviación estándar, respectivamente. Se observa que la distribución de dificultades de los ítems se encuentra más alta en la escala que la distribución de habilidades, lo que indica que el bloque resultó difícil para el grupo de personas evaluadas, en general. No obstante, algunas personas logran buenos desempeños y alcanzan valores altos de habilidad. Los valores de dificultad de los ítems se encuentran entre 1 y –1 logit, aproximadamente; se esperaría una distribución más amplia.

Reporte 6. Promedio, desviación estándar, valores máximo y mínimo de dificultades de ítems,por bloque.

Para cada bloque se relaciona el promedio de dificultades de los ítems con la desviación estándar para cada bloque y se muestran líneas que indican la longitud de la medida efectiva en cada uno y en la muestra total, es decir, desde el valor de dificultad mínimo hasta el valor máximo.

Reporte 6. Promedio, desviación estándar, valores máximo y mínimo de dificultades de ítems, por bloque. Posición en el Cuadernillo: Primera.

246 247

Reporte 7. Función de Información.

Esta gráfica la produce directamente el Winsteps e indica el grado de precisión en la medida para cada punto de habilidad, para un bloque en particular.

Reporte 7. Función de Información. Bloque M3_1 Posición en el Cuadernillo: Primera.

El eje Y indica la cantidad de información para el bloque total. El valor máximo alcanzado depende de la can-tidad de ítems en el bloque y de la habilidad particular donde el ítem mide con mayor información.

ESCALA DE HABILIDAD

248

Reporte 8. Curva Característica del Ítem y Curva Empírica del Ítem.

Se produce una gráfica para cada ítem de cada bloque.

Reporte 8A. Curvas Característica y Empírica del Ítem para la clave. Ítem M3B1IT01

ESCALA DE HABILIDAD

El eje Y indica la probabilidad de respuesta. La línea roja representa la Curva Característica del Ítem y la línea azul la Curva Empírica del Ítem. Las líneas verde y gris indican el límite de aceptación dado el error de medición en cada punto de habilidad.

248 249

Reporte 8B. Curva Empírica del Ítem por opción. Ítem M3B1IT01

El eje Y indica la probabilidad de respuesta y el eje X la escala de habilidad. Cada opción está representada por una Curva Característica. Este reporte incluye 4 gráficas para un mismo número de ítems, por prueba, por grado.

250

6.3. REPORTES EN TABLAS POR PAÍS

Reporte A. Indicadores por ítem.

M3B1IT01 0.362 0.50 0.13 0.13 0.97 0.95 0.20 0.16 0.47 1.01 1.02 1.07 1.23 1.13M3B1IT02 -0.253 -0.15 0.11 0.11 0.96 0.81 0.25 0.14 0.42 1.02 1.09 1.01 1.12 1.11M3B1IT03 -0.134 -0.08 0.12 0.12 1.11 1.20 0.34 0.39 0.23 0.95 0.90 0.90 0.84 1.12M3B1IT04 0.103 -0.08 0.12 0.12 1.05 1.08 0.29 0.31 -0.63 0.98 0.94 0.92 1.02 1.12M3B1IT05 -0.312 -0.77 0.11 0.11 1.09 1.02 0.32 0.31 -1.87 0.97 1.00 0.94 0.99 1.11M3B1IT06 0.105 -0.08 0.12 0.12 0.99 1.04 0.24 0.28 -0.63 1.01 0.98 1.00 0.96 1.12M3B1IT07 -0.676 -0.08 0.11 0.11 0.83 1.05 0.25 0.29 2.25 1.04 0.98 1.06 0.92 1.11M3B1IT08 -0.198 -0.35 0.12 0.12 1.08 1.16 0.32 0.35 -0.56 0.97 0.94 0.94 0.91 0.92M3B1IT09 -0.897 -1.00 0.11 0.11 0.78 0.38 0.26 0.18 -0.39 1.04 1.10 1.06 1.16 0.91M3B1IT10 0.216 0.32 0.13 0.13 1.08 1.05 0.31 0.27 0.39 0.95 0.98 0.92 0.88 0.97M3B1IT11 -0.155 -0.21 0.12 0.12 1.02 0.96 0.28 0.24 -0.19 0.99 1.02 0.97 1.01 0.98M3B1IT12 0.159 0.41 0.12 0.12 0.95 0.96 0.21 0.18 0.88 1.03 1.04 1.05 0.98 1.12M3B1IT13 0.884 0.71 0.15 0.15 1.01 0.99 0.20 0.19 -0.51 0.99 1.01 1.03 0.98 1.15M3B1IT14 -0.313 -0.47 0.11 0.11 0.89 0.99 0.22 0.28 -0.60 1.04 1.01 1.06 0.99 1.11M3B1IT01 0.665 0.82 0.12 0.05 0.94 1.00 0.13 0.19 0.48 1.05 1.02 1.11 0.88 1.14M3B1IT02 0.434 0.50 0.06 0.11 1.05 1.03 0.28 0.25 0.25 0.97 0.99 0.89 0.89 1.13

MT País MT País MT País MT País MT País MT País MT País

ÍtemDificultad Error Discrimina-

ción r pbis DIF

Ajuste Próxi-mo

(Infit)

AjusteLejano(outfit)

País: ColombiaN país: 1472N MT: 33420Bloque: M3_ 1

MT = Muestra TotalPaís = Colombia

250 251


Promedio de

habilidad

Error Estándar

de Medición


Porcentaje de

Respuesta

2

4

.

.

.

3

1 -0.140 -0.050 0.11 0.13 1.05 1.13 -0.33 -0.16 6 11

2 -0.050 -0.110 0.11 0.11 0.98 1.11 0.31 0.14 56 60

3 -0.110 -0.150 0.15 0.12 1.08 1.12 -0.35 -0.39 11 9

4 -0.175 -0.250 0.09 0.12 1.10 1.12 -0.37 -0.31 15 9

Omisión -0.250 -0.110 0.08 0.11 1.08 1.11 -0.32 -0.31 5 4

Multimarca -0.110 -0.140 0.12 0.12 0.87 1.12 -0.48 -0.28 6 7

1 -0.240 -0.080 0.15 0.11 0.90 1.11 -0.55 -0.29 13 15

2 -0.080 -0.160 0.08 0.02 0.70 0.92 -0.48 -0.35 24 30

3 -0.160 -0.080 0.07 0.10 0.79 0.91 -0.19 -0.18 20 12

4 -0.080 -0.190 0.12 0.13 0.99 0.97 0.32 0.27 42 38

Omisión -0.190 -0.02 0.11 0.03 1.00 0.98 -0.30 -0.24 0 2

Multimarca -0.200 -0.03 0.11 0.10 1.05 1.12 -0.35 -0.18 1 3

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

1 -0.120 -0.02 0.09 0.11 0.98 1.11 -0.18 -0.28 20 182 -0.140 -0.15 0.10 0.13 0.87 1.14 -0.23 -0.19 25 273 0.056 -0.09 0.08 0.12 0.90 1.13 0.31 0.25 35 304 -0.110 -0.05 0.09 0.12 0.70 0.92 -0.35 -0.27 15 20

Omisión -0.150 -0.13 0.08 0.15 0.79 0.91 -0.37 -0.24 3 2Multimarca -0.250 0.02 0.10 0.13 0.99 0.97 -0.12 -0.18 2 3

MT País MT País MT País MT País MT País

M3B1IT01

M3B1IT02

.

.

.

M3B1IT16 3

Reporte B. Indicadores por opción.

Reporte B. Indicadores por Opción. Bloque: M3_3 Posición en el cuadernillo: TerceraPaís: Colombia

MT = Muestra TotalPaís = Colombia

252

6.4. REPORTES GRÁFICOS POR PAÍS

Reporte C. Promedio, desviación estándar y valores máximo y mínimo de dificultad de ítems, por bloque.

Reporte C. Promedio, desviación estándar y valores máximo y mínimo de dificultad de ítems, por bloque.

252 253

7. FASES DEL PROCESAMIENTO

Para obtener la información mencionada en este documento es necesario procesar los datos siguiendo las si-guientes fases:

Preparación de archivos. A partir de la base de datos, se deben conformar los archivos para el procesamiento. El principal es el que contiene la información de cada estudiante y sus respuestas a las preguntas que abordó, el cual se describe en el punto 5.1 de este manual y se denomina Archivo de Datos. Los otros archivos que se deben preparar son los denominados archivos de comandos.

Procesamiento de datos. Procesar toda la información necesaria con el software Winsteps. Se debe diseñar un directorio de archivos para ubicar los archivos de sa lida de una manera ordenada y sistemática, de tal manera que se facilite su manejo posterior. Se debe prestar especial atención a guardar los archivos gráficos menciona-dos en los reportes.

Conformación de la base de datos de resultados. A partir de los archivos de salida y de la información exis-tente, se debe conformar una base de datos con datos individuales de cada estudiante, de cada ítem y de cada bloque, a partir de los archivos de salida del software Winsteps.

Producción de reportes. A partir de la información de la base de datos, se producirán los distintos reportes descritos.

Elaboración del informe final. Todos los reportes se editan, de manera ordenada, en un documento final.

254

CAPÍTULO VIII: MANUAL PARA EL PROCESAMIENTO Y ANÁLISIS DE DATOSAPLICACIÓN DEFINITIVA

El Manual de Procesamiento de Datos Para el Análisis de ítems y la Producción de Resultados – Estudio Prin-cipal es el documento guía del procesamiento de datos provenientes de la aplicación principal del Segundo Estudio Regional Comparativo y Explicativo, SERCE42 . Se incluye una sucinta aproximación teórica al modelo de análisis utilizado: la Teoría de Respuesta al Ítem, TRI, y, específicamente, al modelo de Rasch, con base en el cual se realizará el procesamiento e interpretación de los datos del Estudio.

El documento describe los indicadores estadísticos utilizados en la fase de análisis; tales indicadores, en su ma-yoría, provienen de la Teoría de Respuesta al Ítem (TRI), la cual provee el respaldo teórico y técnico necesario en la generación de resultados válidos y confiables; también se incluyen indicadores de la Teoría Clásica de las Pruebas (TCP) en consideración a que estos pueden contribuir al proceso de análisis. Algunos de estos indica-dores se utilizan para confirmar la calidad de los ítems aplicados43 mientras otros describen a los estudiantes evaluados que abordan dichos ítems; la información suministrada por estos indicadores resulta esencial en el proceso de definición de las escalas de calificación, tanto en lo concerniente a ítems de selección de respuesta como a los de producción de respuesta. Con la descripción de los indicadores se incluyen también los criterios para su interpretación, con lo cual se espera facilitar el análisis de los reportes de resultados.

Se incluye la descripción de las fases del procesamiento para la generación de resultados, desde los criterios aplicados para depurar las bases de datos enviadas por los países participantes, hasta la ejemplificación de tablas y gráficas del Informe de resultados, que permitirán valorar el desempeño de las poblaciones de los países par-ticipantes en el Estudio, contrastando resultados nacionales entre sí y frente a los indicadores internacionales.

Finalmente, se añade una resumida descripción de las características técnicas del software utilizado para el pro-cesamiento de datos (de análisis de ítems y de resultados), así como de las fases generales de todo el proceso.

42 El Manual de Procesamiento ha tomado algunos elementos relevantes del Manual de Procesamiento desarrollado para el Estudio Piloto del SERCE Estudio Piloto del SERCE.

43 Si bien los ítems del Estudio Principal fueron seleccionados a partir de un juicioso proceso de análisis de ítems luego de la aplica-ción piloto, es necesario, desde el punto de vista técnico, corroborar, luego de la Aplicación Principal, que los indicadores que describen la calidad de los ítems conserven su adecuación a los criterios exigidos para, de esta forma, asegurar que las escalas de calificación se generan a partir de ítems óptimos.

254 255

1. FUNDAMENTACIÓN TEÓRICA DEL MODELO DE ANÁLISIS

1.1. LAS TEORÍAS DE MEDICIÓN

En la construcción de pruebas dos teorías psicométricas han tenido trascendencia: la teoría clásica de las pruebas (TCP) y la teoría de respuesta al ítem (TRI).

El modelo lineal de la TCP describe la influencia de los errores de medida en las puntuaciones observadas y sus relaciones con las puntuaciones verdaderas44 . La TCP presenta varias limitaciones; la más importante de ellas es que no permite separar las características del estudiante evaluado de las características de la prueba. La dificultad de un ítem se define, en este contexto, como la proporción de estudiantes evaluados en un grupo determinado que contesta el ítem correctamente. Las características métricas de la prueba (tales como confiabilidad y validez) se definen en términos de un grupo determinado de estudiantes evaluados con el cual se ha construido el bare-mo o norma de interpretación de las puntuaciones; esto hace difícil comparar estudiantes que toman distintas pruebas e imposibilita el análisis de interpretaciones de resultados con referencia a criterio45 . Otra debilidad de la TCP es que no proporciona información precisa acerca de la habilidad de cada una de las personas; presume que la varianza del error de medida es igual para todos los estudiantes evaluados. Además, la construcción de formas paralelas de una prueba, requisito para establecer la confiabilidad, se dificulta en la práctica.

El modelo de la teoría de respuesta al ítem (TRI) intenta dar una fundamentación probabilística al problema de la medición de rasgos y constructos no observables, y considera al ítem como unidad básica de medición. La TRI no contradice ni los supuestos ni las conclusiones fundamentales de la TCP, sino que hace asunciones adicionales que permiten superar las debilidades de esta última46 . Mientras en la TCP la estimación del atributo se toma como la sumatoria de respuestas a ítems individuales, en la TRI se estima el nivel de un atributo medido utilizando el patrón de respuesta del estudiante evaluado47 .

44 Martínez, R. (1996). Psicometría: Teoría de los Tests Psicológicos y Educativos. Madrid: Síntesis.45 Pardo, C. (2001). Revista ACTA Colombiana de Psicología. No. 5. Bogotá: Universidad Católicade Colombia.

46 Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey:Lawrence Erlbaum Associates.

47 Nunnally, A. (1987). Teoría Psicométrica. México: Trillas.

256

1.2. LA TEORÍA DE RESPUESTA AL ÍTEM (TRI)

1.2.1. Supuestos de la TRI

Los planteamientos de la TRI se fundamentan en el postulado de que la ejecución de una persona en una prue-ba puede predecirse y explicarse por un conjunto de factores personales llamados, en conjunto, “habilidad” y en el hecho de que la relación entre la ejecución del estudiante evaluado y la habilidad que la soporta puede describirse por una función monótona creciente.

Como todo modelo matemático, la TRI incluye un conjunto de supuestos acerca de los datos en los cuales se aplica y especifica las relaciones entre los constructos descritos en el modelo4849 . En términos generales, la TRI considera 3 supuestos básicos:

1)Dimensionalidad. En la TRI se supone que cuando se diseña una prueba, ésta deberá medir, preferible-mente, una dimensión, una habilidad. Se reconoce que cuando una persona responde a un ítem en una prueba, confluyen múltiples habilidades, pero los ítems deben diseñarse haciendo énfasis en una de ellas o en una com-binación particular predefinida.

2)Independencia Local. Se espera que un estudiante evaluado responda a un ítem en particular sin que recu-rra a información de otros ítems para hacerlo correctamente. En otras palabras, la ejecución en un ítem no debe afectar sus respuestas en otro. En las pruebas en donde los ítems dependen de un mismo contexto (texto), se aplica la independencia local entre los ítems y no entre ellos y el contexto.

3)Curvas Características de Ítems (CCI). La CCI es una función matemática que relaciona la probabilidad de éxito en una pregunta con la habilidad, medida por el conjunto de ítems que la contienen5051. Los diferentes modelos de la TRI se diferencian en la forma particular que adquiere la función de probabilidad, la cual incluye el número específico de parámetros del modelo. Todo ítem puede describirse por su CCI y es esta curva la uni-dad conceptual básica de la TRI.

48 Hambleton, R. y Swaminathan, H. (1985). Item Response Theory: principles and applications. Kluwer. Boston.49 Weiss, D. y Yoes, M. (1994). Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational and psychological tes-ting. Boston.50 Hambleton, R. y Swaminathan, H. 1985. Op. Cit.51 Thorndike, R. (1999). IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S. (1999).The New Rules of Measurement. New Jersey: University of Kansas.

256 257

1.2.2. Parámetros y modelos en la TRI

Bajo el nombre genérico de la TRI se presentan diferentes modelos que, aunque se diferencian en algunos rasgos, tienen en común una serie de aspectos básicos, especialmente el de ser modelos estructurales que esta-blecen una relación matemática formalizada entre la respuesta a un ítem concreto y el nivel de habilidad de una persona.

Los primeros modelos de TRI seguían la ojiva normal; en la actualidad los modelos de uso común siguen la ojiva logística o función de distribución logística, que define toda una familia de curvas de forma similar en apariencia a la ojiva normal. La forma general de la función logística se indica en la ecuación 1.

Ó

donde, y función logísticae base de los logaritmos neperianosx, cualquier variable o función.

Existen diversas funciones que cumplen la propiedad de la monotonía creciente de la curva que describe la probabilidad como función de la habilidad. Las diferencias entre ellas pueden darse por la forma y por los parámetros que la describen. Para definir las curvas se utilizan hasta tres parámetros denominados a, b y c, que representan el índice de discriminación, el índice de dificultad y la probabilidad de seleccionar la respuesta correcta al azar, respectivamente.

θ

θ

θ e

e f

+ = 1

) (

θ

θ

θ e

e f

+ = 1

) (

258

Modelo de dos parámetros

En 1952, Frederic Lord propuso un modelo de Respuesta al Ítem en el que las CCIs tomaban la forma de una ojiva normal de dos parámetros. En este modelo se tienen en cuenta los parámetros de dificultad (b) y discrimi-nación (a), que se definen teóricamente en una escala que oscila entre menos infinito y más infinito. No obstan-te, en la práctica, los valores de dificultad generalmente varían entre – 3.5 y +3.5, correspondiendo el valor de –3.5 a ítems muy sencillos y el valor +3.5 a ítems muy difíciles. En cuanto al parámetro a, los valores negativos se descartan en las pruebas de aptitud y en la práctica sus valores oscilan entre 0 y 2. Valores muy bajos en poder discriminante dan lugar a CCIs, que crecen lenta y gradualmente al aumentar el nivel de habilidad. La función del modelo se expresa mediante la ecuación 2.

donde, Pi( ) probabilidad de responder correctamente el ítem i, para un valor valor de la variable medida ai índice de discriminación del ítem i bi índice de dificultad del ítem i e base de los logaritmos neperianos D factor de escalamiento (al tomar un valor de 1.7, se asegura una variabilidad inferior a 0.01 en los valores estimados de habilidad, cuando se usa la ojiva normal o la ojiva logística de dos parámetros).

Modelo de tres parámetros

Este modelo fue originado y desarrollado por Allan Birnbaum. Además de los supuestos básicos de la TRI, el modelo de tres parámetros usa directamente los valores a, b y c, para encontrar una curva que mejor aproxime los puntos observados. El modelo se expresa en la función 3.

El modelo se expresa en la siguiente función:

donde,Pi ( ) es la probabilidad de responder correctamente el ítem i para un valor son los valores de la variable medidaai es el índice de discriminación del ítem ibi es el índice de dificultad del ítem ici es la probabilidad de responder en forma correcta el ítem cuando no se conoce la respuesta (por azar)e es la base de los logaritmos neperianos

) (

) (

1 ) 1 ( ) (

i i

i i

b Da

b Da

i i i e

e c c P −

−

+ − + =

θ

θ

θ

258 259

Distintos estudios que han puesto a prueba este modelo han encontrado que el parámetro c, por lo regular, toma valores más pequeños que el valor que resultaría si los estudiantes evaluados de baja habilidad seleccio-naran al azar la respuesta; este fenómeno se ha explicado por el hecho de que en realidad los estudiantes de baja habilidad regularmente no eligen al azar la respuesta a un ítem que no pueden responder, sino que eligen opciones que se presentan ante ellos como plausibles. Por lo anterior se ha sugerido evitar la denominación de “adivinación” para el parámetro c y se ha optado por llamarlo “nivel de seudo-probabilidad”.

Modelo de Rasch

Este modelo establece la probabilidad de respuesta de una persona ante un estímulo dado en términos de la diferencia entre la medida del rasgo de la persona y la medida del estímulo utilizado52 .

El modelo considera que la respuesta a un ítem sólo depende de la interacción entre la habilidad del sujeto y la dificultad del ítem, es decir, de y de b. La CCI viene dada por la función logística y el único parámetro de los ítems que se tiene en cuenta es b, el índice de dificultad. No se hacen hipótesis globales sobre el patrón de respuestas de un grupo, ni sobre la adivinación sistemática. Por el contrario, se plantea que la adivinación es un patrón personal y puede ser detectada en función del ajuste o desajuste de las respuestas de una persona al mo-delo. Esta misma hipótesis aplica para los ítems. La medida de una persona es independiente de la prueba em-pleada y la calibración del ítem es independiente de la población que lo aborda. La función 4 expresa el modelo.

donde,Pi ( ) es la probabilidad de responder correctamente el item i en determinado nivel son los valores de la variable medidabi es el índice de dificultad del ítem ie es la base de los logaritmos neperianos

52 Tristán, A. (2001). Rasch para Todos. México: Ceneval.

260

1.3. MODELO UTILIZADO PARA EL PROCESAMIENTO DEL ESTUDIO PRINCIPAL Al igual que se hizo para el Estudio Piloto, se utilizará el Modelo de Rasch para el análisis de los datos del Es-tudio Principal. Esta decisión se tomó con base en el estudio de las características de cada uno de los modelos mencionados en el apartado anterior. El Modelo de Rasch ofrece, frente a los demás modelos, varias ventajas que se mencionan a continuación, las cuales son referenciadas por distintos autores53545556.

Una de las principales ventajas del Modelo de Rasch es que el puntaje bruto es una estadística suficiente para la estimación de la habilidad de las personas y la suma de respuestas correctas para un ítem es, igualmente, una estadística suficiente para la estimación del parámetro de dificultad, lo que implica, para ambos casos, que un solo número contiene toda la información para la estimación de parámetros. Este modelo tiene la propiedad conocida como “objetividad específica” que implica que los datos deben ajus-tarse al modelo (contrario a los modelos de dos y tres parámetros en los cuales se busca que el modelo se ajuste a los datos), lo cual es recomendable en proceso de desarrollo de pruebas. Esta propiedad permite estimar un valor de ajuste.

El Modelo de Rasch realiza buenas estimaciones aún cuando en la población se encuentren pocas personas en niveles de habilidad bajos (en estos casos un modelo como el de tres parámetros no puede hacer buenas estimaciones del parámetro c). Dadas las ecuaciones de estimación de parámetros para el Modelo de Rasch, se garantiza la convergencia en el proceso de estimación (la ponderación que ejercen los valores de discriminación en las estimaciones de habilidad no permiten la convergencia en los modelos 2p y 3p).

53 Fischer, G. y Molenaar, I. (1995). Rasch Models. Foundations, Recent Developments, and Applications. New York: Springer – Verlag.54 Hambleton, R. y Swaminathan, H. (1996). Item Response Theory: Principles and Applications. Pp.307-309. Boston: Kluwer Ni-jhoff Publishing.55 Wright, B. (1992). IRT in the 1990’s: Which Models Work Best? Rasch Measurement Transactions. 6.1. Chicago: MESA Press.56 Pardo, C. (2001). El Modelo de Rasch: Una alternativa para la evaluación educativa en Colombia. En Revista Acta Colombiana de Psicología. No. 5. Bogotá: UCC.

260 261

2. FASES GENERALES DEL PROCESAMIENTO DE DATOS

Para obtener la información mencionada en este documento es necesario procesar los datos de acuerdo con las siguientes fases:

2.1. FASE UNO: PROCESAMIENTO PARA EL ANÁLISIS DE ÍTEMS Y DE PRUEBAS

Esta fase tiene como propósito verificar la calidad de los ítems y de las pruebas que van a ser utilizados para la calificación de los evaluados dentro del Estudio Principal. Está constituida por los siguientes procesos:

2.1.1. Conformación y Depuración de la base de datos. Se depuran las bases de datos entregadas por los países participantes en el Estudio Principal, las cuales deben ajustarse a la estructura diseñada por la Coordina-ción Técnica del LLECE. Los criterios de depuración se mencionan en el capítulo 3 de este documento. Una vez hecha la depuración, se conforma una base de datos con toda la información para cada prueba y grado.

2.1.2. Preparación de archivos. A partir de la base de datos deben conformarse los archivos para el procesa-miento. Es necesario conformar dos clases de archivos: unos que contienen la información de cada estudiante y sus respuestas a las preguntas que abordó, que se describen en el punto 3.2. de este Manual y se denominan Archivos de Datos, y otros, los denominados archivos de comandos.

2.1.3. Procesamiento de datos. Procesar toda la información necesaria con el software elegido.

2.1.4. Producción de Reportes para el Análisis de Ítems y de Pruebas. Con la información obtenida del procesamiento de datos se producen los reportes necesarios para que los paneles de expertos realicen los análisis correspondientes y tomen decisiones en relación con los ítems que deben ser eliminados antes de la producción de resultados.

2.2. FASE DOS: PRODUCCIÓN DE RESULTADOS

2.2.1. Conformación de la base de datos de resultados y procesamiento.

Teniendo en cuenta las decisiones de los paneles de expertos se ajustan los archivos de comandos y se calibra el parámetro de los ítems. Los valores obtenidos del proceso de calibración se utilizan para obtener los resultados de los estudiantes. Se conforma una base de datos con los resultados de cada estudiante.

2.2.2. Producción de reportes. A partir de la información de la base de datos se producirán los distintos reportes descritos en este documento.

2.2.3. Elaboración del informe final. Todos los reportes se editan en un documento final.

262

3. CONFORMACIÓN DE LA BASE DE DATOS PARA ANÁLISIS DE ÍTEMS

3.1. DEPURACIÓN INICIAL

Cada país, luego de la aplicación de las pruebas, debe realizar diversos procesos que tienen como fin la confor-mación de la base de datos con la información de cada estudiante tanto para las pruebas de Lectura, Matemática y Ciencias Naturales (si aplica) como para los cuestionarios de factores asociados. Esa labor ha sido diseñada en su totalidad por el SERCE, de tal manera que se garantice información válida y confiable.

Al final debe utilizarse el módulo de captura de datos para organizar la información en las bases de datos. Este módulo está diseñado de tal manera que no acepta registros adicionales a los ya predeterminados, es decir, de alguna manera ya se implementa un primer control en la conformación de estas bases de datos. No obstante, existen algunas rutinas de verificación que debe realizar la Coordinación Técnica para garantizar la calidad de la información de acuerdo con criterios preestablecidos. Existe un tiempo prudencial para realizar las correc-ciones del caso, si es necesario, y, una vez verificada la información de la base de datos, se continúa con los procesos subsiguientes.

Dado que las pruebas están organizadas por bloques, se requiere hacer posible un procesamiento de datos en el que se obtenga información para todas las preguntas de cada una de las áreas evaluadas, al mismo tiempo. En este sentido la base de datos debe contener la información de todos los estudiantes evaluados, pero organizada de tal manera que sea posible procesar todas las preguntas en su conjunto y por bloque. Esto significa que es necesario, entonces, conformar cinco bases de datos, a razón de una base de datos por cada prueba y grado.

3.2. ESTRUCTURA DE LAS BASES DE DATOS

Las cinco bases de datos requeridas, correspondientes a las cinco pruebas aplicadas, son las siguientes: Lectura de tercer gradoLectura de sexto gradoMatemática de tercer gradoMatemática de sexto gradoCiencias de sexto grado

Cada una de estas cinco bases de datos se conforma con los siguientes campos:

Código de paísCódigo de centro educativoCódigo de gradoCódigo de aulaCódigo de estudiante en el aulaCódigo de cuadernilloBloque en primera posiciónBloque en segunda posiciónRespuestas bloque 1Respuestas bloque 2Respuestas bloque 3Respuestas bloque 4Respuestas bloque 5Respuestas bloque 6

262 263

Además, se requieren tablas con las claves o respuestas correctas a cada ítem de cada bloque, de acuerdo con el orden establecido para los bloques en los archivos anteriores, con los códigos de identificación de cada ítem, según bloque, cuadernillo y prueba. Estos Archivos de Datos contienen toda la información necesaria para realizar el procesamiento con el software Winsteps, cuya justificación de uso se presenta en el capítulo 11.

3.3. ARCHIVOS DE COMANDOS

Para procesar los datos y obtener los indicadores para el análisis de ítems es necesario construir archivos de comandos con la información requerida para el análisis. Los archivos deben contener los comandos suficientes para estimar los indicadores mencionados en este documento y para generar tres reportes principales con resul-tados para estudiantes, ítems y correlaciones inter-ítem.

4. DEPURACIÓN DE BASES DE DATOS PARA ANÁLISIS DE ÍTEMS

Enseguida se indican las depuraciones que se realizarán a cada una de las cinco bases de datos conformadas, de acuerdo con lo especificado en el punto anterior.

4.1. POR INFORMACIÓN INSUFICIENTE

Se eliminarán los registros de aquellos estudiantes evaluados que respondan el 50% o menos de los ítems de uno cualquiera de los dos bloques que conforman el cuadernillo que él aborde.

4.2. POR PREGUNTAS NO ALCANZADAS Se eliminarán los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos últimos ítems del bloque que ocupe la segunda posición en su cuadernillo.

4.3. POR DESAJUSTE DE LOS ESTUDIANTE EVALUADOS

Se eliminarán los registros de aquellos estudiantes evaluados cuyo valor de ajuste próximo o lejano sea inferior a 0.7 o superior a 1.357.

Una vez aplicados los criterios de depuración, se procesarán las bases de datos para generar los indicadores estadísticos para el análisis de ítems.

57 El rango de aceptación podrá cambiarse al intervalo comprendido entre 0.8 y 1.2, dependiendo de la calidad de los datos obser-vados después del primer procesamiento. Es decir, si la cantidad de datos que cumple el criterio de 0.7 a 1.3 es superior al 70% del total, se utilizaría el rango más exigente, de 0.8 a 1.2.

264

5. VERIFICACIÓN DE SUPUESTOS DEL MODELO.

Después de depurar las bases de datos se comprobará la dimensionalidad de cada una de las pruebas. Para hacerlo se divide cada prueba en dos subpruebas, con base en los valores de carga de “eigen values” en el pri-mer factor residual (tabla 23.3 del Winsteps), dejando los valores positivos como una subprueba y los valores negativos como otra. Se procesa la información para todos los estudiantes en cada subprueba y se analiza la correlación de estos datos. El valor de la correlación debe ser alto. La independencia local se analiza, por pares de ítems, a partir de los valores de correlación (Pearson) entre los residuos lineales de todos los examinados que los responden (archivo de correlaciones inter-ítem). El valor de estas correlaciones debe ser cercano a cero. En relación con las ICC se calcula la probabilidad de respuesta para cada valor de habilidad para cada ítem. La función de probabilidad debe ser monótona creciente.

6. INDICADORES ESTADÍSTICOS PARA ANÁLISIS DE ÍTEMS.

El análisis de ítems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los ítems de un instrumento, en relación con los propósitos para los cuales fueron elaborados. Su realización implica un saber profundo sobre el objeto de evaluación, la población evaluada, los propósitos de la evaluación y requiere, además, conocer debidamente las técnicas de procesamiento de datos para hacer una adecuada interpretación de los indicadores estadísticos disponibles. El proceso de análisis de ítems en el Estudio Principal debe conducir a la toma de decisiones en relación con la inclusión o exclusión de ítems, a partir de la identificación clara de las posibles problemáticas de los mismos.

A continuación se describe cada uno de los indicadores que se estimarán en el procesamiento de datos del SERCE, con miras a proveer información cuantitativa necesaria para adelantar el análisis de ítems.Los indicadores propuestos en este Manual son los más ampliamente utilizados en distintos estudios de eva-luación educativa 58596061 dichos indicadores se presentan agrupados en dos categorías: en la Categoría 1 están aquellos que permiten tomar la decisión de eliminar un ítem, en virtud de que el exceder el criterio de acepta-ción establecido implica o bien la violación a los supuestos del modelo de análisis o bien la contradicción de los propósitos del estudio. En la Categoría 2 se agrupan los indicadores que proporcionan información com-plementaria para una mejor comprensión del desempeño del ítem en la evaluación, pero que no implican una decisión de exclusión.

58 AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.59 Pardo, C. Rocha, M. y Barrera, L. (2005). Manual para Análisis de Ítems y Calificación pruebas ECAES. Documento de Trabajo. Bogotá: ICFES.60 Embretson, S. y Hershberger, S. (1999). The New Rules of Measurement. New Jersey: LEA.61 Gregory, K. Martin, O. (2001). Technical Standards for IEA Studies. IEA.

264 265

6.1. INDICADORES DE CATEGORÍA UNO

6.1.1. AJUSTE PRÓXIMO Y LEJANO (INFIT Y OUTFIT)

Definición: indica la correspondencia entre un grupo de datos y el modelo estadístico utilizado para repre-sentarlos. El ajuste próximo (infit) se refiere a la relación entre los datos que se encuentran cerca del valor de dificultad del ítem y el valor de dificultad; el ajuste lejano se refiere a la relación de los datos que se encuentran lejos de dicho valor de dificultad y esa dificultad. Ambos indicadores deben ser calculados para la clave. Para las demás opciones de respuesta debe calcularse el ajuste lejano (outfit).

Justificación de uso: la utilización de un modelo para representar datos debe fundamentarse en la verificación de que dicho modelo en verdad representa el comportamiento de los datos y, por ende, puede inferirse el cum-plimiento de los supuestos de dicho modelo para los datos analizados.

Interpretación: los valores posibles se encuentran entre cero y más infinito. El valor que determina el ajuste perfecto entre los datos y el modelo es 1. Los valores muy inferiores a 1 indican dependencia de los datos (pa-radoja de atenuación); valores superiores a 1 indican ruido en la información; valores superiores a 2 indican que el ruido es mayor que la información útil.

Criterio de aceptación: valores de ajuste entre 0.7 y 1.3.

Cálculo: se basa en la suma de los cuadrados de los residuos estandarizados. Esta suma se aproxima a una distribución chi cuadrado. Dividiendo esta suma por sus grados de libertad se obtiene un valor esperado de 1 y rango entre cero e infinito.

Procedimiento para la toma de decisiones: se analizan, en primer lugar, los ítems que excedan, por encima, el valor de ajuste lejano; luego se analizan los ítems que estén por debajo del valor de ajuste lejano; posterior-mente se analizan los ítems que excedan, por encima, el valor de ajuste próximo y, finalmente, los ítems que estén por debajo del valor de ajuste próximo. Se procesa la base de datos tantas veces como sea necesario en consideración a las decisiones del panel de expertos.

6.1.2. FUNCIONAMIENTO DIFERENCIAL DE ÍTEMS -DIF 62

Definición: grado en el cual un ítem presenta propiedades estadísticas diferentes en distintos grupos poblacio-nales, cuando se controla la habilidad de los grupos63. En el Estudio Principal los grupos corresponden a los países participantes.

Justificación de uso: es un indicador de equidad en cuanto permite reconocer ítems que presenten compor-tamiento estadístico diferente en los distintos países participantes en el estudio, para reconocer necesidades particulares de ajuste o cualificación de procesos educativos –si se descartan problemas de construcción del ítem–. En cualquier caso, debe garantizarse que la calificación final en el estudio se realice a partir de ítems que no presenten un valor significativo del DIF.

Interpretación: se interpreta el test t de significancia estadística para aceptación o rechazo de la hipótesis de funcionamiento diferencial que es equivalente al test de significancia Mantel – Haenszel.

62 DIF, en inglés: Differential Item Functioning. 63 Holland, P. y Wainer, H. (1993). Differential Item Functioning. New Jersey: Lawrence ErlbaumAssociates.

266

Criterio de aceptación: se rechaza el funcionamiento diferencial cuando se encuentran valores inferiores a 1.96 de la prueba t con (n1+n2-2) grados de libertad. Estos valores son equivalentes al test de significación Mantel-Haenszel.

Cálculo: el análisis de DIF se realiza con todos los ítems, excepto con el que está siendo analizado, anclando sus dificultades a los valores de las dificultades para la totalidad de los ítems, incluyendo el que está siendo ana-lizado. Se calcula un DIF de contraste que corresponde a la diferencia entre los tamaños de DIF de los ítems en estudio, que es una estimación log-odds, equivalente al tamaño de DIF Mantel-Haenszel64.

Procedimiento para la toma de decisiones: si un ítem presenta DIF para un país, el panel de expertos analizará si este valor se debe a sesgo por características del proceso educativo en dicho país o si el ítem debe eliminarse para la obtención de resultados65.

6.2. INDICADORES DE CATEGORÍA DOS

6.2.1. DIFICULTAD

Definición: indica la posición de la curva del ítem a lo largo de la escala de habilidad; entre más difícil es un ítem, su curva estará localizada más a la derecha en la escala de habilidad.

Justificación de uso: es uno de los parámetros fundamentales en los modelos de la TRI. Es indicador base para la conformación de pruebas y de bancos de ítems, así como para establecer comparabilidad de escalas. Se requiere para obtener otros indicadores de ítems (curvas características, función de información).

Interpretación: los valores de dificultad oscilan entre menos infinito y más infinito en la escala logit, aunque en términos prácticos los ítems toman valores entre –3.5 y +3.5, cuando el promedio de dificultades del grupo de ítems se localiza en cero. Valores positivos y altos indican alta dificultad y los valores negativos indican baja dificultad.

Criterio de análisis: regularmente se analiza la distribución de valores de dificultad del instrumento en rela-ción con los valores de habilidad de la población evaluada para conceptuar sobre lo apropiado de la medición de dicho instrumento, de acuerdo con los propósitos que lo inspiraron. Un aspecto importante de análisis está dado por la densidad de ítems en un punto de la escala de habilidad en particular; así, se espera que no haya más de dos ítems que midan un mismo componente o contenido con la misma dificultad. No se establecen de antemano valores de rechazo para este indicador; no obstante, ítems que sean respondidos correctamente por la totalidad de la muestra o que no sean respondidos correctamente por ninguno de los estudiantes evaluados serán objeto de un reporte especial.

6.2.2. DISCRIMINACIÓN

Definición: corresponde al “poder de un ítem para diferenciar a los estudiantes evaluados en distintos niveles de habilidad frente a un constructo medido”66 . Es el grado en el cual las respuestas a un ítem varían en relación con el nivel de habilidad. Se conoce también como la pendiente de la curva característica en el punto de in-flexión. El modelo de Rasch especifica que la discriminación es uniforme para todos los ítems pero el software utilizado indica cuál sería la discriminación de un ítem cuando se parametriza este indicador.

64 Linacre, J. (2006). A User Guide’s to Winsteps 65 Los países participantes en la aplicación piloto adelantaron una primera revisión de los valores de DIF de todos los ítems, con base en los informes de resultados de dicha aplicación y no solicitaron a la Coordinación Técnica la exclusión de ítems por razón de este criterio.

66 ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey.

266 225

Justificación de uso: el valor empírico calculado por el Winsteps indica la distancia en la escala de habilidad en la cual el ítem mide; información que contribuye a contrastar los resultados con lo esperado por el panel de expertos.

Interpretación: los valores de discriminación oscilan, teóricamente, entre menos infinito y más infinito. En la práctica, los ítems presentan valores de discriminación entre 0 y +2. Los valores que se aproximan a más infinito se corresponden con un patrón de Guttman (discriminación perfecta).

Criterio de análisis: valores de discriminación altos indican que el ítem mide efectivamente en un intervalo pequeño de habilidad y viceversa.

6.2.3. CORRELACIÓN PRODUCTO MOMENTO PUNTO -MEDIDA

Definición: relación entre la respuesta correcta a un ítem de una prueba y el valor de habilidad obtenido en dicha prueba. Este indicador supera las dificultades de la correlación punto biserial tradicional en tanto no es afectada por valores omitidos (missing). Se calculará para la opción que opera como clave y también para las demás opciones de cada ítem.

Justificación de uso: permite inferir la validez de los ítems en cuanto éstos se comporten como partes del instrumento.

Interpretación: puede tomar valores entre –1 y 1. Los valores positivos indican que la respuesta correcta al ítem está asociada con altos puntajes en la prueba; valores negativos indican que dicha asociación se da de ma-nera inversa, es decir, altos puntajes en la prueba se asocian con una respuesta incorrecta al ítem.

Criterio de análisis: es deseable que la distribución de valores de correlaciones de los ítems de la prueba in-cluya valores superiores 0.25. Igualmente, debe seguirse el orden del valor de la correlación para la aceptación de los ítems. Valores negativos para la clave indican que puede haber problemas en la definición de la respuesta correcta o en la pertinencia de alguna de las opciones.

6.2.4. CURVA CARACTERÍSTICA DEL ÍTEM – CCI67

Definición: función matemática que relaciona la probabilidad de respuesta correcta en un ítem con la habilidad medida por el ítem. Debe calcularse para cada ítem la CCI y la Curva Empírica del Ítem68 , tanto para la clave como para las demás opciones de respuesta. En el Informe de Análisis de Ítems se mostrarán las gráficas de ítems que presenten problemas de ajuste; de no haber ítems con problemas, se presentarán, a lo sumo, cuatro gráficas por prueba.

Justificación de uso: permite verificar el grado en que el modelo da cuenta de los resultados de la evaluación.

Interpretación: Consiste en verificar la correspondencia entre la curva empírica del ítem y la curva caracterís-tica.

67 Item Caracteristic Curve.68 La curva basada en los puntajes observados puede llamarse Función Empírica de Respuesta al Ítem o Curva Empírica del Ítem(en inglés: Empirical Caracteristic Curve, ECC).

267

226

Criterio de análisis: los momentos en los cuales la curva real excede los límites de aceptación de la ICC (estos límites aparecen señalados en color oscuro en cada gráfica) indican que para el grupo de personas de esa habi-lidad no se cumple la medición como la supone el modelo.

6.2.5. PROMEDIO DE HABILIDAD POR OPCIÓN

Definición: promedio de las habilidades de quienes eligen cada opción de respuesta de un ítem. Debe incluirse, adicionalmente, la proporción de respuestas para cada opción. Esta información se presenta solamente para el informe internacional e incluye los datos de todos los estudiantes evaluados.

Justificación de uso: permite reconocer la proporción de personas que selecciona una opción como respuesta correcta y su habilidad promedio. La combinación de estos dos datos proporciona información útil para de-terminar la validez de cada ítem en relación con los marcos conceptuales de las pruebas y valorar la calidad de cada opción.

Interpretación: los valores posibles de habilidad promedio se encuentran entre menos infinito y más infinito. Se espera que el promedio de habilidad para la opción considerada clave sea el mayor de todos. El mapa de dis-tribuciones de los promedios de habilidad de las opciones de todos los ítems indica el funcionamiento relativo de todas las opciones y puede ser interpretado con base en los marcos conceptuales de las pruebas. El orden de los promedios de habilidades permite comprender las complejidades de las opciones para la población evalua-da. Las proporciones de respuesta para cada opción dan una idea de su atracción en una población particular.

Criterio de análisis: la clave debe arrojar el mayor promedio de habilidad.

6.2.6. CORRELACIONES INTER – ÍTEM

Definición: son las correlaciones de los residuos entre los ítems de un mismo bloque calculadas por el Wins-teps. Los residuos son aquellas partes de las observaciones que no son explicadas por el modelo de Rasch. De acuerdo con las especificaciones del modelo, los residuos deben ser aleatorios y no presentar estructura.

Justificación de uso: indica el grado de relación entre dos ítems de un mismo bloque, mostrando si miden lo mismo (dimensionalidad del constructo).

Interpretación: Si el valor de las correlaciones es diferente de cero indica que los ítems miden objetos dife-rentes.

Criterio de análisis: los valores de las correlaciones deben ser cero.

6.2.7. ERROR ESTÁNDAR DE MEDICIÓN

Definición: corresponde a la desviación estándar de una distribución imaginaria de errores que representan la posible distribución de valores observados alrededor del valor teórico verdadero. Es un indicador de la confia-bilidad.

Justificación de uso: si se calcula el error de medición de cada habilidad estimada o dificultad estimada (o conjunto de habilidades o dificultades), se conoce la precisión de la medida o la estimación.

268

226 227

Interpretación: errores demasiado grandes restan confianza en las estimaciones del parámetro. La escala de valores en la cual se reportan los errores está asociada con la escala de medición utilizada, por lo cual no es posible establecer, de manera universal y de antemano, un valor mínimo aceptable de error.

Análisis: observar cómo se comportan los errores de medición tanto de las personas como de los ítems (por lo general, diferentes autores coinciden en que la decisión de cuál sería un valor de error aceptable y cuál no, debe derivarse de un juicio profesional experto de quienes conocen procedimientos psicométricos, el instrumento de medida y su marco de fundamentación69 ). Como en cualquier proceso de medición, se espera que el error sea cercano a cero.

6.2.8. MAPA DE DISTRIBUCIÓN DE HABILIDADES Y DIFICULTADES

Además de los indicadores que se acaban de enunciar, en los informes de resultados para análisis de ítems se dispondrá de una gráfica que relaciona, en una misma escala, la distribución de las dificultades de los ítems y la distribución de las habilidades de los estudiantes evaluados. Aunque no es un indicador estadístico en sí mismo, utiliza indicadores de personas y de ítems que ofrecen información pertinente para el análisis de las pruebas y de los ítems que las conforman.

Esta gráfica permite contrastar la dificultad de los ítems en una población particular y determinar si éstos se ajustan a la población; igualmente, es posible observar el cubrimiento de las habilidades por parte de los ítems; permite identificar grupos de ítems o de personas que por su nivel de dificultad o habilidad, respectivamente, merezcan una atención especial en el análisis. Así, pueden ser contrastadas las expectativas de los constructores de ítems, en relación con el nivel de dificultad de los ítems y observar si la muestra seleccionada se comporta de acuerdo con los propósitos del diseño muestral.

En esta gráfica las habilidades y las dificultades se presentan en una escala que oscila entre menos infinito y más infinito. Si la distribución de habilidades tiene valores inferiores a la distribución de dificultades, quiere decir que para ese grupo poblacional los ítems resultaron más difíciles de lo esperado. Por el contrario, si la distribución de habilidades tiene valores superiores a la distribución de dificultades, significa que para ese grupo poblacional los ítems resultaron más fáciles.

7. INDICADORES ESTADÍSTICOS PARA ANÁLISIS DE GRUPOS DE ÌTEMS

En consideración a que el diseño del estudio contempla que los instrumentos utilizados están conformados de acuerdo con agrupaciones de ítems en bloques, aplicados de manera sistemática en cuadernillos editados con arreglos distintos de dichos bloques, el análisis de ítems debe incluir una fase de análisis de indicadores estadís-ticos que den cuenta del comportamiento de tales agrupaciones y de la prueba como totalidad. En tal sentido, a continuación se describen los indicadores propuestos para el análisis de bloques y de pruebas. Es de anotar que dado que la aceptación o rechazo de ítems se hace con base en los indicadores de la Categoría Uno mencionados en el anterior capítulo, para los indicadores de grupos de ítems no se define un criterio de aceptación.

7.1. PROMEDIO

Definición: media aritmética de las dificultades de los ítems del bloque y de las habilidades de las personas que abordan cada bloque.

69 AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.

268 269

228

Justificación de uso: permite conocer el comportamiento de los diferentes bloques de cada prueba en relación con la población que los aborda.

Interpretación: si el bloque se encuentra ajustado a la población, el promedio de habilidades debe ser aproxi-madamente igual al promedio de dificultades. Si el promedio de habilidades es superior, significa que el bloque fue relativamente fácil para ese grupo poblacional; si por el contrario el promedio de habilidades es inferior al promedio de dificultades, significa que el bloque fue relativamente difícil para ese grupo poblacional.

7.2. DESVIACIÓN ESTÁNDAR

Definición: medida de la dispersión de la distribución de las dificultades de los ítems de un bloque y de la dis-tribución de las habilidades de las personas que abordan dicho bloque.

Justificación de uso: permite valorar la homogeneidad / heterogeneidad de los valores de dificultad del grupo de ítems de un bloque, así como de los valores de habilidad del grupo poblacional que aborda dicho bloque.

Interpretación: desviaciones estándar altas (superiores a 1 en valores logit) indican heterogeneidad del grupo de datos; desviaciones estándar bajas (inferiores a 1 en valores logit) indican homogeneidad del grupo de datos. Esta información se contrasta con el respectivo valor del promedio para comprender el desempeño de una población particular.

7.3. PUNTUACIÓN MÁXIMA Y MÍNIMA

Definición: puntuaciones logit más alta y más baja alcanzadas por una población particular.

Justificación de uso: permite reconocer los extremos de la distribución de habilidades en una población par-ticular y contrastarlos con las expectativas de los evaluadores.

Interpretación: si el valor máximo en logits alcanzado por una población es inferior al valor de habilidad equivalente a n-1 ítems correctos, indica que el grupo de ítems resultó complejo para las personas de más alta habilidad. Si el valor mínimo, en logits, alcanzado por una población es superior al valor de habilidad equiva-lente a 1 ítem correcto, indica que el grupo de ítems resultó fácil para las personas de más baja habilidad. Se espera que los valores mínimos y máximos correspondan a 1 respuesta correcta y a n-1 respuestas correctas, respectivamente.

7.4. FUNCIÓN DE INFORMACIÓN

Definición: bajo la TRI la función de información puede ser vista como una expresión matemática de la pre-cisión de la medida en cada nivel del objeto evaluado; indica el grado de precisión en la medición. Esta función corresponde a la información estadística de cada ítem, basada en el modelo de Fisher 70.

Justificación de uso: la función de información es una alternativa a los índices tradicionales de precisión en la medición y está asociada con la confiabilidad de consistencia interna71.

Interpretación: La mayor valor de la función de información.También es mayor la precisiónen la medida.

70 Linacre, J. (2006). A User Guide’s to Winsteps.71 AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.

270

228 229

8. DEPURACIÓN DE BASES DE DATOS PARA GENERACIÓN DE ESCALAS DE CALIFICACIÓN.

Esta depuración se realiza en dos momentos, uno sobre las bases de datos originales enviadas por los países par-ticipantes en el Estudio Principal (que contienen información de todos los estudiantes evaluados) y dos, sobre las bases de datos después de haber hecho el procesamiento para análisis de ítems. Ambos momentos pueden implicar la eliminación de registros por las razones que se describen enseguida.

8.1. DEPURACIÓN PREVIA AL PROCESAMIENTO PARA ANÁLISIS DE ITEMS

8.1.1. POR INFORMACIÓN INSUFICIENTE

Se eliminarán los registros de aquellos estudiantes evaluados que respondan el 50% o menos de los ítems de cualquiera de los dos bloques que conforman el cuadernillo que él aborde.

8.1.2. POR PREGUNTAS NO ALCANZADAS

Se eliminarán los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos últimos ítems del bloque que ocupe la segunda posición en su cuadernillo.

8.1.3. POR ASISTENCIA PARCIAL

Se eliminarán los registros de los estudiantes evaluados que no hayan asistido a todas las pruebas. De esta ma-nera se evita la necesidad de calcular ponderadores independientes para cada caso.

8.2. DEPURACIÓN POSTERIOR AL PROCESAMIENTO PARA ANÁLISIS DE ÍTEMS

8.2.1. POR DESAJUSTE DE LOS ESTUDIANTES EVALUADOS

Se eliminarán los registros de aquellos estudiantes evaluados cuyo valor de ajuste próximo o lejano sea inferior a 0.7 o superior a 1.372. Una vez hecha esta depuración se procesa de nuevo la información para proceder a aplicar los criterios de depuración por análisis de ítems, propiamente dichos.

8.2.2. POR ANÁLISIS DE ÍTEM

Se eliminará la información de los ítems que decida el panel de expertos con base en el análisis de ítems.

8.3. ESTRUCTURA DE LA BASE DE DATOS PARA PRODUCCIÓN DE RESULTADOS

Las cinco bases de datos requeridas, correspondientes a las cinco pruebas aplicadas, son las siguientes:

Lectura de tercer gradoLectura de sexto gradoMatemática de tercer gradoMatemática de sexto gradoCiencias de sexto grado

72 El rango de aceptación podrá cambiarse a 0.8 y 1.2 dependiendo de la calidad de los datos observados después del primer procesa-miento.

270 271

230

Cada una de estas cinco bases de datos se conforma con los siguientes campos:

Código de paísCódigo de centro educativoCódigo de gradoCódigo de aulaCódigo de estudiante en el aulaCódigo de cuadernilloBloque en primera posiciónBloque en segunda posiciónRespuestas bloque 1Respuestas bloque 2Respuestas bloque 3Respuestas bloque 4 Respuestas bloque 5 Respuestas bloque 6

Esta estructura implica el procesamiento de datos con base en la información de una sola matriz para obtener resultados equiparados de los estudiantes y que se conoce como equating concurrente o de un paso. Adicional-mente se verificará este resultado utilizando el método tradicional de equating con ítems comunes, que implica el procesamiento independiente de cada bloque73.

9. ESCALAS DE CALIFICACIÓN

9.1. PUNTUACIÓN TOTAL EN LA PRUEBA

La escala de puntuación tiene promedio 500 y desviación estándar 100 puntos. Se obtiene por una transfor-mación lineal de la escala logit o logística (con cuatro cifras decimales) que produce directamente el software Winsteps para cada estudiante en el archivo ESTUDIANTES*.xls74

9.2. NIVEL DE DESEMPEÑO

El propósito es describir lo que los estudiantes saben y pueden hacer al obtener resultados iguales o superiores a varios puntos seleccionados en la escala de desempeño. El procedimiento se deriva del proceso denominado anclaje de escalas 75 (por su nombre en inglés “scale anchoring”) y requiere que las puntuaciones de los estu-diantes se encuentren en una escala común.

El procedimiento para obtener este resultado es el siguiente:

Se selecciona un grupo de ítems con el punto de anclaje más bajo (entre -2 o -1 desviación estándar de la media) y que corresponda con el nivel de desempeño más bajo evaluado por la prueba con base en el marco conceptual. Para todos los demás ítems de la prueba se obtiene su punto de anclaje que corresponde al punto de la escala

73 Linacre, J. (2006). A User Guide’s to Winsteps. 74 El asterisco (*) se reemplaza por el nombre de la prueba (área y grado).75 Bertrand, R. y Dupuis F. (1989). Data Analysis. En: A World of differences. An international assessment of mathematics and scien-ce. Technical Report. Educational Testing Service: IAEP 88. p 57.

272

230 231

en el cual los estudiantes tienen una probabilidad igual o superior a 0.6 de responderlo correctamente. Para describir el segundo punto de anclaje, se seleccionan los ítems cuya probabilidad de ser respondidos co-rrectamente es igual o superior a 0.6 en ese punto y que en el punto de anclaje anterior su probabilidad de ser respondidos correctamente sea inferior a 0.5 y la diferencia de las probabilidades sea superior a 0.2. Luego de establecer los ítems de cada punto de anclaje y describir estos puntos con base en el marco conceptual de las pruebas por un panel de expertos, se obtiene el nivel de desempeño de cada estudiante. Un estudiante queda asignado al nivel de desempeño más alto en el cual su probabilidad de responder correctamente los ítems de ese punto es igual o superior a 0.6.

9.3. DESEMPEÑO RELATIVO POR CATEGORÍAS DE LA ESTRUCTURA DE PRUEBA

Se obtendrán resultados del desempeño relativo por país, a partir de las respuestas de sus estudiantes a cada una de las categorías de la estructura de prueba (dimensión disciplinar y dimensión cognitiva). Se dice que un grupo poblacional (país) presenta un desempeño significativamente alto o bajo en una categoría específica si la diferencia entre su desviación de la media para esa categoría y su desviación de la media general es superior al doble del error estándar de las diferencias entre estas desviaciones76.

Para una categoría n y una población j se hace la estimación mediante la ecuación 5.

Cnj = (Xnj - Xn ) - (Xtj - Xt ) (5)

en donde,

Xn porcentaje promedio de respuestas correctas para la categoría n.Xt porcentaje promedio de respuestas correctas para todas las poblaciones.

10. BASES DE RESULTADOS

Es la base de datos, en formato Access, que contiene los resultados y la identificación de los estudiantes. En ella debe encontrarse toda la información de los estudiantes y sus resultados, tanto de la puntuación total en cada una de las pruebas como el nivel de desempeño. La base comprende los siguientes campos:

Código de paísCódigo de centro educativoCódigo de gradoCódigo de aulaCódigo de estudiante en el aulaCódigo de cuadernilloPuntuación en la prueba de LecturaNivel de desempeño en la prueba de LecturaPuntuación en la prueba de MatemáticaNivel de desempeño en la prueba de MatemáticaPuntuación en la prueba de Ciencias NaturalesNivel de desempeño en la prueba de Ciencias Naturales.

76 Bertrand, R. y Dupuis F. (1989). Data Analysis. En: A World of differences. An international assessment of mathematics and scien-ce. Technical Report. Educational Testing Service: IAEP 88.

272 273

232

Con base en esta información podrán agruparse los resultados, con el propósito de establecer promedios des-viaciones estándar y errores de distintos grupos de estudiantes, de acuerdo con el plan de análisis.

11. SOFTWARE PARA PROCESAMIENTO

El procesamiento de datos para el estudio SERCE debe ofrecer información suficiente para efectuar el análisis de ítems con los indicadores sugeridos en los capítulos anteriores. En el mercado se cuenta con oferta considerable de software que opera con los supuestos de la Teoría de Res-puesta al Ítem y que implementa las funciones matemáticas de sus diferentes modelos, enunciadas en el capítulo 1 de este documento. La diferencia entre un software y otro, ya sea que estén o no inspirados en un mismo modelo, radica principalmente en aspectos como el tamaño poblacional y la longitud de los instrumentos que les es posible procesar, en la formulación matemática particular que implementan y, quizás lo más importante, desde el punto de vista de un proceso de evaluación, en la confiabilidad (precisión) de los datos que arroja. Se revisaron distintas características técnicas (la cantidad de indicadores que reporta el software y la precisión en la estimaciones de los mismos; la cantidad de datos que tiene capacidad de analizar; los requerimientos de conformación de bases de datos; la convergencia en las estimaciones y la interfase gráfica) de programas de software disponibles en el mercado, tales como Bilog MG, Multilog, Parscale, Rascal y Winsteps y se llegó a la conclusión que este último ofrece las mayores ventajas para el procesamiento de datos del estudio principal del proyecto SERCE.

Winsteps es un software que opera en plataforma Windows y que implementa los principios de la Teoría de Respuesta al Ítem para construir mediciones objetivas a partir de una base de datos sencilla en la cual se espe-cifican personas (estudiantes evaluados) y sus respuestas a un grupo de ítems.

El método de estimación que utiliza el Winsteps es conocido como Joint Maximum Likelihood Estimation (JMLE), también llamado UCON (Unconditional Maximum Likelihood Estimation), tiene la ventaja de produ-cir estimaciones simétricas y ser muy flexible para trabajar con datos omitidos (missing), además de su capacidad para analizar pruebas de gran longitud (las pruebas del Estudio Principal tienen alrededor entre 66 y 96 ítems) y de no suponer una distribución específica de personas (las muestras en el Estudio Principal son independientes para cada país). Es de considerar que con este método las estimaciones presentan sesgo cuando el conjunto de datos es pequeño, caso que no corresponde con las características del Estudio Principal77.

El software puede trabajar de manera simultánea con varios formatos de ítems (dicótomos, de selección múl-tiple con única y con múltiple respuesta y de crédito parcial); ofrece gran variedad de reportes tabulares y con interfases gráficas, en los cuales se presenta de manera detallada y también resumida, el comportamiento de las poblaciones y de los ítems analizados. Una característica importante es que el software señala con claridad los datos que presentan comportamientos por fuera de lo esperado.

La generación de escalas de calificación usando Winsteps constituye un proceso relativamente simple, toda vez que el software permite el procesamiento de datos, agrupados según variables de interés, sin requerir modifi-caciones en la estructura de la base de datos original. Winsteps también permite prefijar (anclar) valores de los parámetros para facilitar procesos de comparabilidad (equating).

Winsteps puede procesar hasta 10 millones de personas y 30 mil ítems y cada ítem puede contemplar hasta 255 categorías de calificación (el de mayor capacidad, para ítems y categorías, en el mercado). El software tiene un manual detallado para orientar su uso y la interpretación de la información que arroja; además, la firma Wins-teps ofrece apoyo técnico en línea, oportuno y eficaz, para solventar inquietudes tanto de procesamiento como de interpretación de datos. 77 Para conocer una discusión más amplia sobre las características y ventajas del método JMLE, puede consultarse: Wright, B y Mas-ters, G. (1982). Rating Scales Analysis.

274

232 233

12. REPORTES

Los reportes serán de dos clases: en forma de tablas y de gráficas y contienen información de cada prueba en su totalidad y de cada bloque. Para ilustrar los reportes que se presentan enseguida, se han utilizado valores hipotéticos.

12.1. REPORTES EN TABLAS POR PRUEBA

1. Indicadores por ítem

Presenta 6 indicadores para cada ítem, en cada prueba.

Reporte 1. Indicadores por Item

Item Dificultad Error de Medición Discriminación

CorrelaciónPunto

Medida

AjustePróximo

(Infit)

AjusteLejano(Outfit)

N

M3B1IT02 -0.120 0.12 1.00 0.33 1.00 1.05 30418M3B1IT02 -0.111 0.15 0.99 0.31 0.95 0.98 30418M3B1IT03 -0.120 0.08 0.95 0.35 1.05 1.08 30418M3B1IT04 -0.190 0.07 0.93 0.37 1.03 1.10 30418M3B1IT05 -0.250 0.12 1.00 0.12 1.00 1.08 30418M3B1IT06 -0.040 0.11 1.01 0.48 0.85 0.87 30418M3B1IT07 -0.080 0.11 1.03 0.55 0.97 0.90 30418M3B1IT08 -0.180 0.15 1.00 0.48 0.75 0.70 30418M3B1IT09 -0.215 0.09 0.69 0.19 0.83 0.79 30418M3B1IT10 -0.230 0.10 0.98 0.32 0.97 0.99 30418M3B1IT11 -0.240 0.08 1.00 0.30 1.01 1.00 30418

Los valores sombreados corresponden a indicadores que están por fuera del criterio de aceptación. La última columna hace referencia a la totalidad de estudiantes que se incluyeron para el análisis de este ítem.

274 275

234

2

4

.

.

.

33

Reporte 2. Indicadores por opción

Muestra 5 indicadores por opción de cada ítem para cada prueba.

Reporte 2. Indicadores por Opción


Promedio de

habilidad

Error Estándar

de Medición


Porcentaje de

Respuesta

M3B1IT01

M3B1IT02

.

.

.

M3B1IT16

1 -0.140 0.11 1.05 -0.33 6

2 -0.050 0.11 0.98 0.31 56

3 -0.110 0.15 1.08 -0.35 11

4 -0.175 0.09 1.10 -0.37 16

Omisión -0.250 0.08 1.08 -0.32 5

Multimarca -0.110 0.12 0.87 -0.48 6

1 -0.240 0.15 0.90 -0.55 13

2 -0.080 0.08 0.70 -0.48 24

3 -0.160 0.07 0.79 -0.19 20

4 -0.080 0.12 0.99 0.32 42

Omisión -0.190 0.11 1.00 -0.30 0

Multimarca -0.200 0.11 1.05 -0.35 1

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

1 -0.120 0.09 0.98 -0.18 202 -0.140 0.10 0.87 -0.23 253 0.056 0.08 0.90 0.31 354 -0.110 0.09 0.70 -0.35 15


276

234 235

Reporte 3. Correlaciones Inter-Ítem

Listado con las correlaciones entre todas las combinaciones de dos ítems de cada bloque, para cada prueba, dado que los estudiantes responden la prueba por bloque.

Reporte 3. Correlaciones Inter-ítem

Item Item correlaciónM3B1IT01 M3B1IT02 0.15M3B1IT01 M3B1IT03 0.08M3B1IT01 M3B1IT04 0.25M3B1IT01 M3B1IT05 0.21M3B1IT01 M3B1IT06 0.04M3B1IT01 M3B1IT07 0.00M3B1IT01 M3B1IT08 0.12

276 277

236

12.2. REPORTES GRÁFICOS POR PRUEBA Reporte 4.

Mapa de distribución de habilidades y dificultades

Este reporte se produce para cada prueba y para cada bloque.

Enseguida se ilustra un reporte para el bloque 1 de la prueba de matemática para tercer grado.

278

236 237

Reporte 4. Mapa de distribución de habilidades y dificultades. Bloque 1 Matemática 3

En este mapa la letra M en cada costado de la escala central, indica el promedio; la s y la t indican la primera y la segunda desviación estándar, respectivamente. Se observa que la distribución de dificultades de los ítems se encuentra más alta en la escala que la distribución de habilidades, lo que indica que el bloque resultó relati-vamente difícil para el grupo de personas evaluadas, en general. No obstante, algunas personas logran buenos desempeños y alcanzan valores altos de habilidad. Los valores de dificultad de los ítems se encuentran entre 1 y –1 logit, aproximadamente; se esperaría una distribución más amplia.

Reporte 5. Promedio, desviación estándar, valores máximo y mínimode dificultades de ítems, por bloque

Para cada bloque de cada prueba se relaciona el promedio de las dificultades de los ítems con la desviación estándar y se muestran líneas cuya longitud indica la medida efectiva en cada uno y en la muestra total, es decir desde el valor de dificultad mínimo hasta el valor máximo.

Reporte5. Promedio, desviación estándary valores máximo y mínimo de dificultades de ítems, por bloque

Posición en el cuadernillo: primera

278 279

238

Reporte 6. Función de Información

Esta gráfica es producida directamente por el software Winsteps e indica el grado de precisión en la medida para cada punto de habilidad, para un bloque en particular.

Reporte 6. Función de InformaciónBloque 1 de la prueba de Matemática para tercer grado

Posición en el cuadernillo: primera

ESCALA DE HABILIDAD

En el eje Y se representa la cantidad de información para el bloque total. El valor máximo alcanzado depende de la cantidad de ítems en el bloque y de la habilidad particular donde cada ítem mide con mayor información.

280

238 239

Reporte 7. Curva Característica del Ítem y Curva Empírica del Ítem

Se producen dos gráficas para cada ítem de cada bloque de cada prueba. La primera para la clave (Reporte 7A) y la segunda para cada opción (Reporte 7B).

Reporte 7A. Curvas Característica y Empírica del Ítem para la clave. Ítem M3B1IT01

ESCALA DE HABILIDAD

En el eje Y se representa la probabilidad de respuesta correcta. La línea roja representa la Curva Característica del Ítem y la línea azul la Curva Empírica del Ítem. Las líneas verde y gris indican el límite de aceptación dado el error de medición en cada punto de habilidad.

280 281

240

Reporte 7B. Curva Empírica del Ítem por opción. Ítem M3B1IT01

ESCALA DE HABILIDAD

En el eje Y se muestra la probabilidad de respuesta correcta y en el eje X la escala de habilidad. Cada opción está representada por una Curva Característica. Este reporte incluye 4 gráficas para un mismo número de ítems, por prueba, por grado.

12.3. REPORTES EN TABLAS CON INFORMACIÓN POR PAÍS

Se producirán cinco reportes con la información de cada país para cada uno de los siguientes indicadores por cada ítem:

Reporte A. Dificultad.Reporte B. Ajuste próximo.Reporte C. Ajuste lejano.Reporte D. Discriminación.Reporte E. Porcentaje de respuestas correctas.

282

240241

A continuación se ilustra el Reporte de dificultades de los ítems del bloque 1 de la prueba de matemática para tercer grado.

Reporte A. Dificultad

Ítem País 1 País 2 País 3 País 4 País 5 País 6 País 7 País . País 12 País 13 País 14 País 15 País 16 País 17

M3B1IT01 0.362 0.50 0.13 0.13 0.97 0.95 0.20 . 0.47 1.01 1.02 1.07 1.23 1.13 M3B1IT02 -0.253 -0.15 0.11 0.11 0.96 0.81 0.25 . 0.42 1.02 1.09 1.01 1.12 1.11 M3B1IT03 -0.134 -0.08 0.12 0.12 1.11 1.20 0.34 . 0.23 0.95 0.90 0.90 0.84 1.12 M3B1IT04 0.103 -0.08 0.12 0.12 1.05 1.08 0.29 . -0.63 0.98 0.94 0.92 1.02 1.12 M3B1IT05 -0.312 -0.77 0.11 0.11 1.09 1.02 0.32 . -1.87 0.97 1.00 0.94 0.99 1.11 M3B1IT06 0.105 -0.08 0.12 0.12 0.99 1.04 0.24 . -0.63 1.01 0.98 1.00 0.96 1.12 M3B1IT07 -0.676 -0.08 0.11 0.11 0.83 1.05 0.25 . 2.25 1.04 0.98 1.06 0.92 1.11 M3B1IT08 -0.198 -0.35 0.12 0.12 1.08 1.16 0.32 . -0.56 0.97 0.94 0.94 0.91 0.92 M3B1IT09 -0.897 -1.00 0.11 0.11 0.78 0.38 0.26 . -0.39 1.04 1.10 1.06 1.16 0.91 M3B1IT10 0.216 0.32 0.13 0.13 1.08 1.05 0.31 . 0.39 0.95 0.98 0.92 0.88 0.97 M3B1IT11 -0.155 -0.21 0.12 0.12 1.02 0.96 0.28 . -0.19 0.99 1.02 0.97 1.01 0.98

282283

242

12.4. REPORTES GRÁFICOS POR PAÍS

Reporte F. Promedio, desviación estándar y valores máximo y mínimo de dificultad de ítems por bloque.

Reporte F. Promedio, desviación estándar y valores máximo y mínimo de dificultad de ítems, por bloque

284

244

BIBLIOGRAFÍACAPITULO I. Muestreo, diseño y análisis. Sharon L. Lohr. Thomson Paraninfo, S.A. Año 2000.

CAPITULO II. Elaboración Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación(LLECE).

CAPITULO III. Elaboración Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación(LLECE).

CAPITULO IV. Scoring Guides for the Mathematics and Science Free-Responses Items, TIMSS International Study Center, Boston College, USA, 1999.Mathematics Marking Guide, OECD Programme for International Student Assessment (PISA), 2000.Polya, G, Cómo plantear y resolver problemas, Editorial Trillas, Méjico, 1989.Parra, C y Saíz, I, (comps.),Didáctica de matemáticas, Aportes y reflexiones, Paidós, Buenos Aires, Argentina, 1994.Callejo, M.L, Evaluación de procesos y progresos del alumnado en la resolución de problemas, Uno, Revista de Didáctica de las Matemáticas, Nº 8, España, abril de 1996.Chemello, G y Díaz, A, Matemática, Metodología de la enseñanza, parte II, Conicet, Buenos Aires, Argentina, 1997.Sadovsky, P, Enseñar matemática hoy, Libros del Zorzal, Buenos Aires, Argentina, 2005.Hernández, H, Delgado Rubí, J, Fernández, B, Cuestiones de didáctica de la matemática, Ediciones Homo Sapiens, Argentina, 1997.

CAPITULO V. Adam, J.M. (1989), Le texte descriptif, Paris, Ed. Nathan. Adam, J.M. (1992), Types et prototypes: narration, argumentation, description, conversation, explication, dia-logue, Paris, Ed. Nathan. Alvarado, M. (1994), Paratexto, Buenos Aires, Oficina de Publicaciones del Ciclo Básico Común de la Univer-sidad de Buenos Aires. Amiguens, R. y Zerbato-Poudou, M. (1999), Las prácticas escolares de aprendizaje y evaluación, México, Fondo de Cultura Económica. Atorresi, A. y otros (2000), Evaluación de la escritura, La Plata, DGCyE. Atorresi, A. (2005), Construcción y evaluación de consignas de resolución escrita, Posgrado en Materiales di-dácticos, Buenos Aires, FLACSO. Atorresi, A. y Zamudio, B. (2000), La explicación, Buenos Aires, Eudeba. Austin, J. (1971), Cómo hacer cosas con palabras, Buenos Aires, Paidós. Bajtin, M. (1982), Estética de la creación verbal, México, Fondo de Cultura Econó-mica. Barthes, R., (1966/1970), Análisis estructural del relato, Buenos Aires, Tiempo Contemporáneo. Beaugrande, R.A. de y Dressler, W. (1997), Introducción a la lingüística del texto, Barcelona, Ariel.

286

244 245

Bernárdez, E. (1982), Introducción a la lingüística del texto, Madrid, Espasa Calpe. Bottéro, J. y otros (1995), Cutura, pensamiento, escritura, Barcelona, Gedisa. Braslavsky, B. (2005), Enseñar a entender lo que se lee, México, FCE: Calkins, L. (1992), “La intervención del maestro”, en Didáctica de la escritura, Bue-nos Aires, Aique. Calkins, L. (1992), Didáctica de la escritura, Buenos Aires, Aique. Calsamiglia, H. y Tusón, A. (1999), Las cosas del decir, Barcelona, Ariel. Camilloni, A. (1998) “La calidad de los programas de evaluación y de los instrumen-tos que los componen”, en Camilloni, A., Celman, S., Litwin, E. y Palou de Maté, M., La evaluación de los aprendizajes en el debate didáctico contem-poráneo, Buenos Aires, Paidós, pp. 76-89. Camps, A. (1995), “Hacia un modelo de enseñanza de la composición escrita en la escuela”, en Textos, nº 5, julio de 1995, Barcelona. Cardona, G. R. (1999), Antropología de la escritura, Barcelona, Gedisa Cassany, D. (1987), Describir el escribir, Barcelona, Paidós. Cassany, D. (1999), Construir la escritura, Barcelona, Paidós. Cassany, D. (2000), Reparar la escritura, Barcelona, Graó. Cassany, D.; Luna, M. Y Sanz, G. (1994), Enseñar lengua, Barcelona, Graó. Charolles, M. (1978), “Introduction aux problemes de la cohérence des textes”; París, Langue Française, 38. Chartier, A. M. y Hébrard, J. (2000), “Saber leer y escribir: unas ‘herramientas mentales’ que tienen su historia”, en Infancia y Aprendizaje, 89, pp. 11-24 Ciaspuscio, G. (1994), Tipos textuales, Buenos Aires, Oficina de Publicaciones del Ciclo Básico Común de la Universidad de Buenos Aires. Coltier, D. (1988), “Introduction et gestion des exemples dans les textes à these”, Pratiques, 58, París. di Stefano, M. y Pereira, C. (1998), “Representaciones sociales en el proceso de lectura” en: Signo y Seña, Bue-nos Aires, Instituto de Lingüística, Universi-dad de Buenos Aires. Di Tulio, A. (1997), Manual de gramática del español, Buenos Aires, Edicial. Ferreiro, E. (1991), “La construcción de la escritura en el niño”, en Revista Lectura y Vida, 12, 3; pp 5-14. Flower, L. y Hayes, J. (1996), “La teoría de la redacción como proceso cognitivo” en: Textos en contexto. Los procesos de lectura y escritura, Buenos Aires, A.I.A. Lectura y Vida. García Debanc, C. (1994), “Apprendre a justifier par écrit un réponse: analyses linguistiques et perspectives didactiques” en Pratiques, 84, París. Graves. D. (1991), Didáctica de la escritura, Madrid, Morata. Graves. D. (1992), Un aula donde se lea y se escriba, Buenos Aires, Aique, 1992. Greimas, A. (1966), Semántica estructural, Madrid, Gredos. Greimas, A. (1966), Seuils, París, Ed. du Seuil. Halliday, M. y Hasan, R. (1976), Cohesion in English, Londres, Longman. Hevelock, E. (1996), La musa aprende a escribir, Barcelona, Paidós. Jolibert, J. (1988), Formar niños productores de textos, Santiago, Dolmen. Jakobson, R. (1970), Lingüística y poética, Madrid, Cátedra. Jurado, F., Bustamente y Pérez, M. (1998), Juguemos a interpretar. Evaluación de competencias en lectura y escritura, Bogotá, Plaza & Janés-Universidad Na-cional. Krashen, S. (1981), Second Language Adquisition and Second Language Learning, Pergamon. Lerner, D. (2001), Leer y escribir en la escuela, México, Fondo de Cultura Económi-ca. Lyons, J. (1997), Semántica lingüística, Barcelona, Paidós. Martínez, M. C. (2004), Estrategias de lectura y escritura de textos, Cali, Cátedra UNESCO-Universidad del Valle. McCormick Calkins (1998), Didáctica de la escritura, Buenos Aires, Aique. Moliner, M. (1996), Diccionario de uso del español, Madrid, Gredos. Perrenoud, P. (1990), La construcción del éxito y del fracaso escolar, Madrid, Mora-ta.

286 287

246

Perrenoud, P. (1999), Avaliação. Da Excelencia a Regulação das Aprendizagens. Entre duas lógicas, Porto Ale-gre, Artes Médicas. Ribas Seix, T. (1997), “Evaluar en la clase de lengua: cómo el estudiante gestiona su propia escritura”, en Textos de Didáctica de la Lengua y de la Literatura nº 11, enero de 1997. Serafini, M. R. (1985), Cómo se escribe, Barcelona, Paidós. Silvestri, A. (1995), El discurso instruccional, Buenos Aires, Oficina de Publicaciones del Ciclo Básico Común de la Universidad de Buenos Aires. Smith, F. (1983), “Reading like a Writer” en: Language Arts, 60. Textos (37) (2004), La reflexión sobre la lengua, Barcelona, Graó. Textos (39) (2005), La normativa, Barcelona, Graó. Tolchinsky, L. (1993) Aprendizaje del lenguaje escrito. Procesos evolutivos e impli-caciones didácticas. Barce-lona, Antropos. Van Dijk, T (1983), La ciencia del texto, Barcelona, Paidós. Van Dijk, T. (1990), Estructuras y funciones del discurso, México, Siglo XXI. Wells, G. (1986), Aprender a leer y a escribir. Barcelona, Laia.

CAPITULO VI . Elaboración Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación(LLECE).

CAPITULO VII.Martínez, R. (1996). Psicometría: Teoría de los Tests Psicológicos y Educativos. Madrid: Síntesis. Pardo, C. (2001). Revista ACTA Colombiana de Psicología. No. 5. Bogotá: Universidad Católica de Colombia.Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey: Lawrence Erlbaum Associates.Nunnally, A. (1987). Teoría Psicométrica. México: Trillas.Hambleton, R. y Swaminathan, H. 1985. Item Response Theory: principles and applications. Kluwer. Boston.Weiss, D. y Yoes, M. 1994. Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational andpsychological testing. Boston.Hambleton, R. y Swaminathan, H. 1985.Thorndike, R. 1999. IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S. 1999. The New Rules of Measurement. New Jersey. University of Kansas. Tristán, A. (2001). Rasch para Todos. México: Ceneval. ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey. Item Caracteristic Curve.

CAPITULO VIII.Martínez, R. (1996). Psicometría: Teoría de los Tests Psicológicos y Educativos. Madrid: Síntesis.Pardo, C. (2001). Revista ACTA Colombiana de Psicología. No. 5. Bogotá: Universidad Católicade Colombia.Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey:Lawrence Erlbaum Associates.Nunnally, A. (1987). Teoría Psicométrica. México: Trillas.Hambleton, R. y Swaminathan, H. (1985). Item Response Theory: principles and applications. Kluwer. Boston. Weiss, D. y Yoes, M. (1994). Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational and psychological testing. Boston.Thorndike, R. (1999). IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S. (1999). The New Rules of Measurement. New Jersey: University of Kansas.Tristán, A. (2001). Rasch para Todos. México: Ceneval.

288

246 247

Fischer, G. y Molenaar, I. (1995). Rasch Models. Foundations, Recent Developments, and Applications. New York: Springer – Verlag. Hambleton, R. y Swaminathan, H. (1996). Item Response Theory: Principles and Applications. Boston: Kluwer Nijhoff Publishing.Wright, B. (1992). IRT in the 1990’s: Which Models Work Best? Rasch Measurement Transactions. 6.1. Chicago: MESA Press.Pardo, C. (2001). El Modelo de Rasch: Una alternativa para la evaluación educativa en Colombia. En Revista Acta Colombiana de Psicología. No. 5. Bogotá: UCC. AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA. Pardo, C. Rocha, M. y Barrera, L. (2005). Manual para Análisis de Ítems y Calificación pruebas ECAES. Docu-mento de Trabajo. Bogotá: ICFES. Embretson, S. y Hershberger, S. (1999). The New Rules of Measurement. New Jersey: LEA. Gregory, K. Martin, O. (2001). Technical Standards for IEA Studies. IEA. Holland, P. y Wainer, H. (1993). Differential Item Functioning. New Jersey: Lawrence ErlbaumAssociates.Linacre, J. (2006). A User Guide’s to WinstepsETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey. AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA. AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington:Bertrand, R. y Dupuis F. (1989). Data Analysis. En: A World of differences. An international assessment of mathematics and science. Technical Report. Educational Testing Service: IAEP 88Wright, B y Masters, G. (1982). Rating Scales Analysis.

288 289

248

Documents

DE LOS MANUALES DEL SERCE - UNESDOC Databaseunesdoc.unesco.org/images/0019/001919/191940s.pdf · Regional de Educación para América Latina y el Caribe (OREALC/UNESCO Santiago) y