PISAResultados y uso de ítems

OECD Septiembre 2013

Guillermo Montt guillermo.montt@oecd.org

Esta presentación

• Objetivo:– Resaltar que para estudios de medición

educacional la formulación de ítems (su contribución) es fundamental.

– La calidad del estudio depende de la calidad del instrumento.(lo es para estudios internacionales como para estudios nacionales como para evaluaciones dentro de la escuela)

– Al desarrollar ítems se especifican las competencias y habilidades que se consideran necesarias: reflexionamos sobre qué es lo que esperamos de nuestros alumnos (y de nuestros docentes)

Esta presentación

• ¿Qué es PISA?– Resultados para España– Características del estudio

• Cómo se construye PISA– Construcción participativa– Proceso cognitivo en la respuesta de ítems– Tipos de ítems– Uso de ítems individuales

• Implicancias de PISA en la sala de clases• PISA para centros educativos

¿Qué es PISA?

• Estudio internacional de medición de rendimiento educacional en lectura, matemáticas y ciencia

El Gobierno pide un pacto de Estado, tras el fracaso educativo de PISA09/12/2010 M. MORENO Por último, añaden que «la nefasta política educativa de los últimos diez años llevada a cabo por la Consejería de Educación nos llevará a un pozo del que difícilmente podremos salir».

«Pisa certifica el fracaso de la Logse y la LOE del Gobierno de Zapatero»08/12/2010 C. F. Por qué sube Madrid?—Se debe, principalmente, a la buena dirección de las políticas de Esperanza Aguirre en materia de educación. Pisa certifica el fracaso de la Logse y la LOE del Gobierno de Zapatero.

Estancados en la mediocridad08/12/2010 A.M. SANZ Subimos tres con relación a Pisa 2006 (480), pero seguimos por debajo de los 485 puntos de 2003. Iniciativa del PPAnte el estancameinto de la educación española, las reacciones no se han hecho esperar.

La educación española continúa por debajo de la media en el informe PISA07/12/2010 EFE Esta es una de las principales conclusiones de los resultados de España en el Informe PISA 2009, que ha sido presentado este martes por el secretario de Estado de Educación y Formación Profesional, Mario Bedera.

¿Qué es PISA?

• En PISA 2009: – 75 países– +500 000 alumnos de 15 años que

representan una población de más de 30 millones de alumnos

– Lectura / Matemáticas / Ciencia

• En España– Desde el año 2000, cada tres años– 30 000 alumnos en el 2009– También en el 2012: resultados en diciembre

Resultados PISA 2009: Lectura

Shanghai-C

hina

Finland

Singapore

New Zealand

Australia

BelgiumEsto

nia

Poland

United St

ates

Sweden

Ireland

Chinese Taipei

United Kingdom

Portugal

Italy

Slove

niaSp

ain

Slova

k Republic

Israel

Austria

Turkey

Russian Fe

deration

Costa Rica

Bulgaria

Mexic

o

Mira

nda

Trinidad and Tobago

Brazil

Jordan

Indonesia

Kazakh

stanQatar

Peru

Kyrgyzs

tan300

400

500

600

Promedio OCDE: 493

20% de los alumnos españoles no superan las competencias básicas en lectura

3% de los alumnos españoles superan las competencias más altas en lectura

Tendencia en lectura: 2000-2009

Peru

AlbaniaLa

tvia

Poland

Liech

tenstein

Korea

Germany

Hong Kong-China

Mexic

o

Bulgaria

Denmark

Russian Fe

deration

Romania

Iceland

France

CanadaSp

ain

Czech

Republic

Argentina

-50

-40

-30

-20

-10

0

10

20

30

40

50

60Aumento en lectura es estadísticamente significativo

Disminución en lectura es estadísticamente significativa

Tendencia en lectura: España 2000-09

2000 2003 2006 2009200

250

300

350

400

450

500

550

600

650

700

Percentil 10

Percentil 25

Percentil 75

Percentil 90

Promedio

Percentil 90: 588 puntos

Percentil 10: 364 puntos

Tendencia en lectura: España y Portugal 2000-09

España Portugal

2000 2003 2006 2009200

250

300

350

400

450

500

550

600

650

700

2000 2003 2006 2009

Percentil 10

Percentil 25

Percentil 75

Percentil 90

Promedio

Resultados PISA 2009: Matemáticas

Shanghai-C

hina

Hong Kong-China

Chinese Taipei

Liech

tensteinJapan

Netherlands

New Zealand

Australia

Estonia

Denmark

Norway

Slova

k Republic

Poland

Czech

Republic

Hungary

United St

ates

Portugal

Italy

Lithuania

Greece

Dubai (UAE)

Turkey

Azerb

aijan

RomaniaChile

Mexic

o

Costa Rica

Montenegro

Argentina

Brazil

Albania

Indonesia Peru

Kyrgyzs

tan300

400

500

600

Promedio OCDE: 496

24% de los alumnos españoles no superan las competencias básicas en matemáticas

8% de los alumnos españoles superan las competencias más altas en matemáticas

Resultados PISA 2009: MatemáticasCa

stile

and

Leo

n

Nav

arre

Basq

ue C

ount

ry

Arag

on

La R

ioja

Mad

rid

Cata

loni

a

Cant

abri

a

Astu

rias

Gal

icia

Mur

cia

Bale

aric

Isla

nds

Anda

lusi

a

Cana

ry Is

land

s

Ceut

a an

d M

elill

a

400

450

500

550

600

Promedio OCDE: 496

Australia

Méxic

o

Promedio para Esp

aña

Resultados PISA 2009: Ciencias

Shanghai-C

hina

Hong Kong-China

Japan

New Zealand

Estonia

Netherlands

Germany

Switz

erland

Slove

nia

Poland

Belgium

United St

ates

Norway

France

Sweden

Latvi

a

Lithuania

Italy

Croatia

Russian Fe

deration

Dubai (UAE)

TurkeySe

rbia

Costa Rica

Uruguay

Mira

nda

Jordan

Brazil

Montenegro

Tunisia

AlbaniaQatar

Azerb

aijan

Kyrgyzs

tan300

400

500

600

Promedio OCDE: 501

18% de los alumnos españoles no superan las competencias básicas en ciencias

4% de los alumnos españoles superan las competencias más altas en ciencias

Dimensiones de equidad en PISA

-2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5300

400

500

600

700

800

-2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5300

400

500

600

700

800

Mayor predictibilidad del nivel socio económico en el rendimiento

Menor equidad Mayor equidad

Predictibilidad del NSE y rendimiento a nivel país

051015202530300

350

400

450

500

550

600

Iceland

Japan

Argentina

Thailand

Peru

Russian Federation

Italy

Norway

Lithuania

Colombia

Liechtenstein

Macao-China

Netherlands

Bulgaria

Germany

Switzerland

Dubai (UAE)

Belgium

United Kingdom

Romania

Denmark

Singapore

Sweden

Albania

Latvia

Brazil

CroatiaIsrael

Kazakhstan

Panama

Montenegro

Finland

Luxembourg

AustriaTurkey

Kyrgyzstan

Uruguay

Chinese Taipei

Canada

Poland

Portugal

Spain

Mexico

Greece

Hungary

Korea

Czech Republic

Slovak Republic

Hong Kong-China

Tunisia

Estonia

Jordan

Qatar

Ireland

Chile

United States

Azerbaijan

France

New Zealand

Indonesia

Shanghai-China

Serbia

Slovenia

Trinidad and Tobago

Australia

Miranda Costa Rica

Porcentaje de la varianza en el rendimiento en lectura explicado por el nivel socioeconómico (r-cuadrado x 100)

Promedio OCDE

Prom

edio

OCD

E

Rendimiento bajo el promedioPredictibilidad por sobre el promedio

Rendimiento por sobre el promedioPredictibilidad por debajo del promedio

En España, el 14% de la varianza en lectura se explica por el NSE

Menor equidad Mayor equidad

-3 -2 -1 0 1 2 3200

493

Puntaje lectura

700

Escuela privada o subvencionadaEscuela pública ruralEscuela pública urbana

A nivel de escuelas: España

Diversidad social dentro de la escuela

ChilePeru

Hungary

Panama

Argentina

Colombia

Indonesia

Turkey

Maca

o-China

Shanghai-C

hina

Albania

Austria

Hong Kong-China

United St

ates

Kazakh

stan

Kyrgyzs

tan

Luxe

mbourg

Lithuania

Korea

Czech

Republic

Germany

Australia

Serb

ia

Ireland

Spain

Croatia

Japan

Chinese Taipei

United Kingdom

Canada

Denmark

Sweden

Finland

0

10

20

30

40

50

60

70

80

90

100 En España los índices de diversidad social son buenos: en la escuela los niños en desventaja social tienden a compartir espacio con sus pares aventajados

Muchos países con alto rendimiento en PISA son países con alta diversidad social: la inclusión social y el alto rendimiento no son objetivos contrapuestos

Diferencias por estatus migratorio(rendimiento no-migrantes - migrantes)

Austria

Belgium

Sweden

Denmark

France

Spain

Greece

Germany

Luxe

mbourg

Norway

Switz

erland

Slove

nia

Netherlands

OECD avera

ge

Estonia

Liech

tenstein

Ireland

Russian Fe

deration

United Kingdom

United St

ates

Croatia

New Zealand

Canada

Hong Kong-China

Israel

Singapore

Kazakh

stan

Montenegro

Maca

o-China

Australia

Jordan

Serb

ia-20

0

20

40

60

80

100 En España los alumnos con origen extranjero tienen casi 60 puntos menos en lectura; son casi el 10% de la población (en el 2000 eran solo el 2%)

En la mayoría de los países los migrantes tienen peor rendimiento en lectura que los niños

Lecciones de PISA para España

• La repitencia escolar (35%) atenta contra el rendimiento y la equidad

• Que el uso de evaluaciones, exámenes, libertad de elección favorezcan mejoren la calidad dependen de cómo se implementan estas políticas (por sí solas ellas no traen beneficio alguno)

• La inyección de recursos no es tan importante como el dónde se destinan estos recursos– Calidad docente, calidad de directivos

• Los mejores sistemas escolares– Atraen los mejores alumnos a la profesión docente y les entregan una

preparación rigurosa y de alta calidad– Convencimiento que todos los alumnos pueden rendir: no diferencian

a sus alumnos a temprana edad, apoyo constante a aquellos que quedan atrás

– Coherencia entre políticas y programas en educación con todos los actores relevantes alineados en torno a estas políticas

¿Cómo llegamos a estos resultados?

• Programme for International Student Assessment– Evaluación del aprendizaje acumulado de alumnos (no de

la educación secundaria)– Dirigido a alumnos al final de lo que para muchos países

representa la educación básica/obligatoria (15 años)– 2 horas de evaluación + 30 minutos para el cuestionario

• Colaboración entre la OCDE y los países participantes

• Primer estudio: 2000 y luego cada tres años– España a participado desde el primer estudio, con

resultados a nivel de comunidades

¿Qué mide PISA?

• PISA mide las competencias de alumnos para identificar, reorganizar y aplicar sus conocimientos en distintos contextos– No es una evaluación de la reproducción de contenidos

¿Cómo se construye PISA?

1. Marco teórico (framework)2. Desarrollo de preguntas /ítems 3. Traducción4. Pilotaje de preguntas5. Selección de preguntas para el

estudio principal(en paralelo, desarrollo de cuestionarios contextuales para alumnos y directores)

Marco teórico de PISA

• Tres marcos: matemáticas, lectura y ciencia – Define el dominio (y sub-dominios)

• En matemáticas:

– Delimita lo que puede medir la evaluación

– Especifica la estructura de la prueba

Contenido Procesos

Cantidades Formulación

Incertidumbre y datos Uso

Cambio y relaciones Interpretación

Espacio y figuras

Desarrollado en consulta constante con un conjunto de expertos internacionales en la materia

Marco es evaluado y adaptado cada nueve años

Desarrollo de ítems: Proceso cognitivo

El mundo real El mundo de las matemáticas

Una situación real

Un modelo de la realidad Un modelo matemático

Resultados reales

Comprensión de la situación, estructuración y

simplificación

Transformación del problema para ser abordado con matemáticas

Interpretación de los resultados matemáticos

Utilización de herramientas matemáticas para resolver el problema

Validación de los resultados Resultados de la operación

(matemáticos)

Desarrollo de ítems: Estructura y tipos

• Estructura:– Estímulo (entrega el contexto a las

preguntas)– Pregunta – Guía de respuesta

Desarrollo de ítems: Estructura y tipos

Estímulo

3 preguntas de opción múltple

Desarrollo de ítems: Estructura y tipos

• Estructura:– Estímulo (entrega el contexto a las

preguntas)– Pregunta – Guía de respuesta

• Tipos de ítems:– Cerrada: opción múltiple (A / B / C / E)– Cerrada: opción múltiple compleja (I / II /

III)– Abiertas

Desarrollo de ítems: Estructura y tipos

Desarrollo de ítems: proceso

1. Primeras ideas (tres años antes)1. Equipo de desarrolladores profesionales2. Sugerencias de países

2. Revisión de desarrolladores3. Paneles de estudiantes

1. Entrevistas individuales y grupales, “en voz alta”

4. 2a Revisión de desarrolladores5. Pilotaje local6. Panel internacional7. Pilotaje internacional8. Revisión final

¿Uso de preguntas individuales?

• Ítems miden no solo los contenidos de la materia que quieren medir

• Distintos tipos de preguntas miden distintos tipos de habilidades– Estudiantes japoneses tienen más dificultad

con preguntas abiertas que de opción múltiple

• Mejoras observadas en PISA en Japón son justamente en estas dimensiones

– Mujeres tienden a tener menor dificultad en preguntas abiertas

¿Uso de preguntas individuales?

• Predictibilidad a largo plazo: ¿qué tipos de ítems están mejor relacionados con resultados a largo plazo (estudios universitarios, empleo, etc.)– Preguntas que requieren de alumnos la capacidad de

comprender e interpretar información que aparece en un contexto o formato no familiar

• En matemáticas:• Conocimiento, comprensión y aplicación de estadísticas• Preguntas relacionadas con tasas, proporciones y

porcentajes

– Preguntas que requieren que los alumnos piensen la solución en varios momentos del proceso (reverse/flexible thinking)

Implicancias en la sala de clases

• Las habilidades que mide PISA no son la repetición de formulas y materias, sino la aplicación del conocimiento a situaciones reales

• Esto implica, en la sala de clases:– Enseñanza más interactiva: discutir problemas en su

solución y sus implicancias– Reducir la repetición: desincentiva la aplicación de

conceptos y la independencia en resolución de problemas– Utilizar ejercicios con contextos del mundo real– Promover el aprendizaje de matemáticas a través de la

solución de problemas– Utilizar el lenguaje en todas las materias: en la vida real los

problemas científicos, matemáticos y demases están inmersos en el lenguaje y requieren habilidades lingüísticas

PISA para centros educativos

• Desde este año estará disponible una evaluación para escuelas basada en PISA que cada escuela en el mundo puede implementar libremente

PISA para centros educativos

• Herramienta de apoyo a los esfuerzos de centros educativos, redes de escuelas y educadores locales por realizar comparaciones internacionales (“benchmarking”) para mejorar

• Brindar los resultados y el análisis comparativo sobre las competencias, los conocimientos, la actitud y la disposición de los alumnos hacia el aprendizaje …parte de un proceso local de

reflexión, discusión y transformación

PISA para centros educativos

Sí es...• Una herramienta en apoyo a los

procesos de “benchmarking”

• Una herramienta que brinda información útil a los centros educativos - y comparables a las escalas PISA

• Una herramienta que ayude a vincular los centros educativos y los educadores con las discusiones de políticas educativas

• Una herramienta a disposición de las autoridades educativas para su uso apropiado…

No pretende…• Ser una prueba estandarizada

obligatoria

• Ser una prueba que influya – por sí misma - en las practicas docentes cotidianas

• Ser una alternativa a la prueba PISA nacional o regional

• Ser una prueba que este alineada completamente con los contenidos o los estándares de un país en especifico, si bien hay coincidencias

• Ser una herramienta meramente para los rankings

I. Introducción: Cómo interpretar los resultados de su escuela en la prueba PISA for Schools

II. Resultados: Lo que los alumnos de su escuela conocen y saben hacer en Lectura, Matemáticas y Ciencias

III. El clima de aprendizaje en su centro escolar y la disposición de los alumnos hacia el aprendizaje

IV. Comparaciones de su centro educativo con otros centros en su país

V. Comparaciones internacionales: Los resultados de su escuela en un contexto internacional

PISA para centros educativos

Esta presentación

• Objetivo:– Resaltar que para estudios de medición

educacional la formulación de ítems (su contribución) es fundamental.

– La calidad del estudio depende de la calidad del instrumento.(lo es para estudios internacionales como para estudios nacionales como para evaluaciones dentro de la escuela)

– Al desarrollar ítems se especifican las competencias y habilidades que se consideran necesarias: reflexionamos sobre qué es lo que esperamos de nuestros alumnos (y de nuestros docentes)

Más información

• PISA ( http://www.oecd.org/pisa/ )– “Take the Test” / Banco de preguntas– Informe técnico– Marco teórico 2012– Resultados 2009– Resultados 2012: 3 de diciembre, 2013

• PISA para centros educativos