ESPÍGRAFE Análisis sobre valoraciones, comprensión y uso ... filecomprensión y uso del SIMCE por parte de directores escolares de establecimientos subvencionados ... 60,6% 63,5%

14 de Abril, 2014 Investigador Principal: Jorge Manzi

Investigadores Secundarios: Francisca Bogolasky Gabriel Gutiérrez Valeska Grau Paulo Volante

ESPÍGRAFE Análisis sobre valoraciones,

comprensión y uso del SIMCE por parte

de directores escolares de

establecimientos subvencionados

Proyecto FONIDE N°: F711269

Antecedentes Conceptuales

• Marco de referencia: Data-Driven Decision Making: Uso de datos como mecanismo para evaluar el propio desempeño y generar acciones de mejoramiento basadas en evidencia

• Debate e investigación acerca del uso de datos en el sistema escolar se ha centrado en:

• Aceptación y/o resistencia que se percibe en las escuelas respecto de las evaluaciones estandarizadas externas

• Nivel de dominio de los conocimientos estadísticos necesarios para tomar decisiones basadas en datos

• Tipos de usos que se desprenden de los datos que las evaluaciones arrojan

Antecedentes Conceptuales

• Heterogeneidad en las aproximaciones al uso de datos para la toma de decisiones: Rol del director

• Cultura de uso de datos

• Suspicacias frente al uso de los datos

• Registros de prácticas instruccionales adecuadas a partir de la toma de decisiones en base a datos

• Usos estratégicos que las comunidades escolares pueden hacer de los datos con fines que no benefician a los estudiantes

• Creciente importancia que este tipo de evaluaciones ha ido adquiriendo tanto en el debate teórico como en la evaluación empírica en los distintos sistemas educativos

Objetivos

• Objetivo General Analizar el nivel de valoración, conocimiento y uso de información del SIMCE de Lenguaje y Matemáticas de cuarto básico que presentan los directores escolares de establecimientos subvencionados en la Región Metropolitana.

• Objetivos Específicos

• Construir una tipología de valoración, conocimiento y uso del SIMCE por parte de Directores escolares.

• Describir como se asocian las tipologías de valoración, conocimiento y uso del SIMCE a las características socio-académicas de escuelas y sus sostenedores

• Describir como se asocian las tipologías de valoración, conocimiento y uso del SIMCE a las características sociales, laborales y académicas de los directores.

• Analizar el grado de asociación entre diferentes niveles de valoración, conocimiento y uso del SIMCE con las trayectorias y resultados de aprendizaje de las escuelas.

Metodología

Cuantitativa • Encuesta a muestra representativa de

directores de Establecimientos Escolares Subvencionados de RM (n=302) (Municipal: 103; Part. Subvencionado: 199)

• Encuesta telefónica sub-grupo de Jefes UTP (n=179)

Tipologías • Generación de conglomerados de

directores según sus perfiles en el conocimiento, valoración y uso del SIMCE

Cualitativa • Entrevistas a 13 directores previamente encuestados

• Selección de muestra en base a tipologías identificadas con encuestas

CONOCIMIENTO

Principales Resultados

1. Nivel de conocimiento de directores respecto del SIMCE

• 34,9% de los directores fue capaz de identificar correctamente los dos puntajes • Establecimientos de mejor desempeño tienden a equivocar en menor medida el

puntaje obtenido • Conocimiento exacto disminuye en 14 puntos porcentuales al preguntar por 2011

Nivel de conocimiento o Error en estimación de puntaje Matemáticas 2012 Matemáticas Lenguaje

Reporta Puntaje Exacto (hasta 3 puntos de error) 60,6% 63,5%

4 o más puntos de Error 39,1% 36,2%



34,40%

54,10% 65,50%

45,80%

Establecimientos bajola media

Establecimientossobre la media

Identifica Correctamente Tendencia Matemáticas

SI NO

37,10% 46,20%

62,80% 53,70%

Establecimientosbajo la media

Establecimientossobre la media

Identifica Correctamente Tendencia Lenguaje

SI NO



24,9%

39,5% 35,4% 25,1%

44,4%

31,2%

Insuficiente Elemental Adecuado

Porcentaje de Estudiantes (declarado y real) en cada nivel de aprendizaje por establecimiento sobre la

media en Matemáticas en 4° Básico (253,9 puntos)

Declarado Real

Diferencias en la distribución declarada y real en cada nivel de aprendizaje en Matemática, según

despeño medio en el SIMCE

-20

-15

-10

-5

0

5

10

15

Sobre la Media Bajo la Media

Insuficiente

Elemental

Adecuado

Principales Resultados 1. Nivel de conocimiento de directores respecto del SIMCE Ejercicios Ficticios: Se utilizaron los ejemplos de la publicación “Resultados para Docentes y Directivos, 4° Educación Básica, 2012” de la Agencia de la Calidad.

Escuela 1 (33

alumnos)

Prueba Puntaje promedio 2012

Variación con evaluación anterior

Comparación establecimientos del mismo GSE

Matemáticas 240

18

•-5

Lectura 280

•7

-15

Escuela 2 (68

alumnos)

Prueba Puntaje promedio 2012

Variación con evaluación anterior

Comparación establecimientos mismo GSE

Lectura 270

•5

-15

Matemáticas 265

20

•-5



Cantidad de Estudiantes Diferencia de

Puntaje Significativa

Establecimientos de 6 a 9 estudiantes 28 puntos





Establecimientos de 201 o más estudiantes 4 puntos



35,4%

61,2% 64,5%

38,7%

Lenguaje Matemáticas

Ejercicio 1: Calificar los puntajes de una escuela ficticia (N°1) respecto de los de otra escuela ficticia (N°2)

Correcta Incorrecta



71,1% 77,1%

28,8% 22,8%

Lenguaje Matemáticas

Ejercicio 2: Calificar los puntajes de la escuela N°1 en 2012, respecto de los puntajes de la misma escuela en

el año anterior

Correcta Incorrecta



62,2%

78,4%

37,7%

21,5%

Matemáticas Lenguaje

Ejercicio 3: Comparación de resultados SIMCE entre escuelas ficticia del mismo GSE

Correcta Incorrecta



Objetivos Sí No

Evaluar logro aprendizajes esperados en asignaturas evaluadas

82,4% 17,5%

Evaluar habilidades logradas por estudiantes en asignaturas evaluadas

69,2% 30,8%

Identificar profesores que presentan buen rendimiento o rendimiento deficiente

19,5% 80,4%

Identificar asignaturas que presentan mayores y menores dificultades en aprendizaje de los escolares

48,3% 51,6%

Identificar estudiantes que presentan buen o mal rendimiento escolar

15,5% 84,4%

Evaluar la calidad educativa que posee el establecimiento

66,2% 33,7%

Entregar información a las familias para que elijan la educación de sus hijos

46,3% 53,6%

Monitorear el logro de las escuelas a nivel país 63,6% 36,4%

USO


2. Uso del SIMCE en los Establecimientos

Acciones o medidas tomadas en el establecimiento a partir de los resultados SIMCE 2012

SI

Se incrementa tiempo de la hora de asignatura para preparar a alumnos para que rindan mejor el SIMCE

30,7%

Se modifica el plan de trabajo de los profesores 44,7%

Jornadas con profesores para familiarizarlos con el SIMCE 54,3%

Talleres dirigidos a todos los alumnos para reforzar contenidos evaluados

66,5%

Talleres para reforzar a los alumnos con bajo rendimiento 83,4%



USOS QUE SE DA AL SIMCE EN EL ESTABLECIMIENTO SI

Comparar el establecimiento con resultados nacionales 67,9%

Monitorear el progreso del establecimiento año a año 96,3%

Evaluar la efectividad de los profesores 62,8%

Comparar el establecimiento con otros similares 68,5%

Evaluar el desempeño del director 49,3%

Tomar decisiones respecto del currículum 76,1%

Motivar a profesores a que utilicen análisis de datos sobre el progreso académico de los estudiantes 87,2%



Estrategias específicas de preparación del SIMCE SI

Prueba de Ensayo 97,0% Adecuar el tipo de evaluaciones internas para que sean similares al SIMCE 80,3%

Clase de reforzamiento 78,4%

Reasignar profesores 33,1%

Destinar más horas a las asignaturas evaluadas 26,2%

Contratar profesores de especialidad desde primer ciclo para cursos que serán evaluados en SIMCE 23,8%

Reagrupar alumnos por nivel de rendimiento 23,3%

VALORIZACIÓN


3. Valoración del SIMCE en los establecimientos

Percepción de aportes del SIMCE al sistema escolar chileno SI

Evaluar el aprendizaje de los escolares de enseñanza básica en asignaturas evaluadas 91,5% Monitorear la calidad y equidad de la educación desde la perspectiva de los logros de aprendizaje que alcanzan los estudiantes en distintas áreas curriculares 83,5%

Evaluar si iniciativas implementadas tuvieron efecto positivo en la escuela 82,7%

Decisiones pedagógicas para estudiantes con distinto nivel de logro 74,1%

Ordenar jerárquicamente los establecimientos Educacionales del país en relación al nivel de logro de los estudiantes 48,6%

Clasificar escuelas como “buenas” o “malas” dependiendo del puntaje obtenido 43,7%


3. Valoración del SIMCE en los establecimientos

27,3% 24,9%

51,6% 47,2%

15,6% 22,3%

5,6% 5,7%

Percepción de incorporación denuevos niveles a la evaluación SIMCE

Percepción de incorporación denuevas asignaturas a la evaluación

SIMCE

Incorporación de nuevos niveles/asignaturas al SIMCE

Muy Positivo Positivo Negativo Muy Negativo

CONSTRUCCIÓN DE TIPOLOGÍAS DE DIRECTORES

Variables empleadas en los análisis

Índices se basan en resultados de análisis factorial de preguntas sobre conocimiento, uso y valoración del SIMCE

• Conocimiento: (α=0,53)

• Uso de Información comparativa (α=0,46)

• Uso formativo (α=0,72)

• Preparación Directa: (α=0,50)

• Preparación curricular (α=0,41)

• Valoración orientada a la calidad (α=0,66)

• Valoración orientada a la responsabilización (α=0,82)

Promedios de variables empleadas en los análisis (proporción de respuestas afirmativas)

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

UsoComparativo

UsoFormativo

PreparaciónDirecta

PreparaciónCurricular

ValoraciónFormativa

ValoraciónResponsab

Correlaciones entre variables empleadas en análisis

Uso Comparativo Uso Formativo Preparación

Directa

Preparación

Curricular

Valoración

Formativa

Valoración

Responsab

Conocimiento 0,17 0,17 0,07 0,01 0,18 0,00

Uso Comparativo 0,21 0,20 0,09 0,13 0,14

Uso Formativo 0,49 0,43 0,30 0,01

Preparación

Directa

0,16 0,03 0,04

Preparación

Curricular

0,11 0,06

Valoración

Formativa

0,08

Valoración

Responsab

En rojo correlaciones inversas En amarillo correlaciones significativas con p<,05

Análisis de Conglomerados

• Se exploraron diversas soluciones (con 2, 3 y 4 conglomerados) con el método de k-means

Perfil de conglomerados resultantes

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 (n=114)

2 (n=93)

3 (n=58)

4 (n=37)

Creación de agrupamientos basado en criterios lógicos

• El análisis de conglomerados mostró que las principales diferenciaciones se producían en torno a la valoración del SIMCE (y parcialmente por su uso)

• Esto llevó a crear 4 grupos: • Alto-Alto (alta valoración del SIMCE en su dimensión

formativa y de accountability) (n=72) • Bajo-Bajo (baja valoración en ambas dimensiones) (n=78) • Accountability: alta valoración de responsabilidad y baja de

dimensión formativa, más énfasis en uso comparativo) (n=43)

• Formativo: alta valoración de dimensión formativa, baja de la de responsabilización y énfasis en uso formativo (n=45)

Diferencias significativas

• Gestión pedagógica (efecto marginal) mayor en grupo bajo-bajo

• Gestión interna ideal (menor en grupo accountability)

• Preparación curricular del SIMCE: mayor en grupo formativo

• Dependencia

• Formación previa

Relación de agrupamiento de directores con Dependencia

(chi-cuadrado (3)=9,83; p=,02)

Accountability Alto-Alto Bajo-Bajo Formativo

Municipal (n=86)

14 24 33 29

Particular Subvencionado (n=155)

20 34 32 13

ESTUDIO CUALITATIVO


Factores Internos Negativos

- Falta de recursos económicos - No realizan selección de alumnos - Profesores desactualizados, antiguos - Rotación de docentes que aplican diferentes metodologías - Alto número de alumnos por curso - Contar con doble jornada escolar - Presión o carga del SIMCE hacia profesores - Desinterés de alumnos al dar el SIMCE

Factores Externos Negativos

- Altos niveles de vulnerabilidad social - Perfil de los niños, hiperactivos, alta deserción - Bajo apoyo de las familias, baja participación en el establecimiento - Tomas del colegio - Implementación SIMCE: examinadores jóvenes, sin control de alumnos

1. Factores que influyen en los resultados SIMCE


Factores Internos Positivos

- Alto compromiso de profesores, directivos, orientadores - Incorporación de metodologías de aprendizaje: talleres reforzamiento, observación clases, acompañamiento en aula, monitoreo curricular y mayor sistematización docente. - Metodologías alternativas - Mejora en infraestructura - Disminución número de alumnos por curso - “Efecto generación”

Factores Externos Positivos

- Contar con recursos económicos adicionales de corporaciones o Ley SEP - Asesoría pedagógica externa - Mayor información Plan de Apoyo Compartido (PAC) - Mayor apoyo y participación de los apoderados.


1. Usos de la prueba SIMCE

• Uso Reflexivo • “En el consejo semanal de profesores, se dedica tiempo a analizar los resultados

de las pruebas”

• Uso Informativo • “Hacer partícipes a los padres de los resultados”

• Uso Comparativo

• “Nos comparamos cuando llegan los resultados, con los pares, con establecimientos similares”

• Uso Pedagógico • “Ofrecemos aumento de horas, también talleres para los alumnos que vemos un

poquito más lentos”

Conclusiones

• Estudio valida el importante rol movilizador que tiene el SIMCE en las escuelas, a partir de la visión de los directores (promoviendo su uso en aspectos curriculares, pedagógicos, evaluativos y docentes).

• La medición recibe una valorización ampliamente positiva entre los directores. No hay evidencia de un cuestionamiento radical al sistema de medición.

• Aunque se constata un conocimiento mayoritariamente adecuado acerca del SIMCE, subsisten concepciones erradas y preparación insuficiente para la interpretación de los datos.

Conclusiones

• Los resultados obtenidos por las escuelas en el SIMCE inciden en la percepción que se tiene de los resultados:

• Más realista ente quienes obtienen resultados superiores

• Inflada entre quienes obtienen resultados inferiores (lo que limita el impacto efectivo de los resultados entre quienes más requieren esta información)

Conclusiones

• Las dificultades observadas para identificar perfiles distintivos entre los directores sugieren que no se han conformado visiones elaboradas y consistentes frente al uso y valorización del instrumento.

• La tenue presencia de una tensión entre valorización como herramienta de desarrollo y responsabilización, es solo incipiente (probablemente se profundice a partir del debate que se está generando)

Propuestas

• Este estudio refuerza las recomendaciones del estudio de la OECD sobre sistemas de evaluación educacional, que propone una especial preocupación por promover en los directores un liderazgo pedagógico que valore y haga un uso efectivo de la información proveniente de las pruebas (promoviendo además la profesionalización de los docentes en este ámbito).

• Esto supone mejorar la preparación de directores en el uso de datos provenientes de las mediciones (promoviendo un uso validado de las mismas)

Propuestas

• También se requiere revisar aspectos relevantes de la medición para potenciar su uso al interior de las escuelas:

• Revisar la oportunidad en que se entregan los resultados del SIMCE

• Mejorar la información que proporciona el SIMCE, para facilitar su uso pedagógico.

Documents

ESPÍGRAFE Análisis sobre valoraciones, comprensión y uso ... filecomprensión y uso del SIMCE por parte de directores escolares de establecimientos subvencionados ... 60,6% 63,5%