¿Qué muestran las evaluaciones internacionales acerca de la calidad de la educación en América Latina y

el Caribe?

Jorge ManziCentro de Medición MIDE UC, Universidad Católica de Chile

Participación de la región en pruebas internacionales

• Los países latinoamericanos tienen una presencia significativa en la mayoría de las pruebas internacionales.

• Estas pruebas han servido para situar el nivel de logros educativos de los países en el contexto internacional (y monitorear su evolución)

• También sirven para analizar el rol relativo de factores escolares (como el tamaño del curso) y extraescolares (como la condición socioeconómica de los estudiantes), lo que entrega señales para la política educativa.

LAS PRINCIPALES PRUEBAS EN QUE PARTICIPA LATINOAMÉRICA

SERCE: Características y objetivos

• El principal propósito del SERCE es generar conocimiento acerca de los rendimientos de los estudiantes de 3er y 6º grados de Educación Primaria en América Latina y el Caribe en las áreas de Matemática, Lenguaje (Lectura y Escritura) y Ciencias.

• SERCE también analiza el logro educacional mediante modelos estadísticos que consideran características de los estudiantes, de las aulas y de las escuelas, enfatizando aquellas que son susceptibles de ser modificadas a través de la política educacional.

SERCE: 16 Países participantes• Argentina• Brasil• Chile• Colombia• Costa Rica• Cuba• Ecuador• El Salvador• Guatemala• México• Nicaragua• Panamá• Paraguay• Perú• República Dominicana• Uruguay

TIMMS 2009: Países Participantes

• 4º grado: 36 países. Latinoamericanos:– Colombia– El Salvador

• 8º grado: 49 países. Latinoamericanos:– Colombia– El Salvador

PISA: Características y estructura

• PISA (Programme for International Student Assessment) (Programa para la Evaluación Internacional de los Alumnos), es de la Organización para la Cooperación y el Desarrollo Económico (OCDE).

• Es un estudio comparativo, periódico del rendimiento educativo de los alumnos de 15 años, a partir de la evaluación de tres competencias clave: comprensión lectora, competencia matemática y competencia científica.

• Estas competencias son evaluadas cada tres años, desde 2000 (en cada ocasión se alterna el foco principal. En 2009 fue en Lectura).

• Se estudian factores asociados a las habilidades (individuales, sociodemográficos, y relacionados con la escolaridad).

PISA 2009: Países Participantes

65 países, 9 de Latinoamérica y el Caribe:

Argentina

Brasil

Chile

Colombia

México

Perú

Panamá

Trinidad y Tobago

Uruguay.

Países Participantes (65)

Estudio internacional de Cívica y Ciudadanía (ICCS): Propósito

• Analizar las maneras en que los jóvenes de 8° Básico están preparados para asumir sus roles como ciudadanos en el siglo XXI.

• Se evalúan conocimientos cívicos, así como actitudes, percepciones y actividades relativos a la educación cívica y la formación ciudadana.

ICCS 2009: Países Participantes

• 38 países, 6 de Latinoamérica:– Chile – Colombia – Guatemala – México– Paraguay– República Dominicana

TENDENCIAS GENERALES DE PAÍSES LATINOAMERICANOS EN LAS PRUEBAS

SERCE: Resultados en Matemática 3º

Cuba

Costa Rica

Urugu

ay

Méxic

oChile

Argentina

Brasil

Colombia

Paragu

ay

El Salv

ador

Ecuad

orPerú

Nicarag

ua

Panam

á

Guatemala

R. Dominica

na200250300350400450500550600650700

SERCE: Resultados en Matemática 6º

Cuba

Urugu

ay

Costa Rica

Méxic

oChile

Argentina

Brasil

ColombiaPerú

El Salv

ador

Paragu

ay

Ecuad

or

Nicarag

ua

Guatemala

Panam

á

R. Dominica

na200250300350400450500550600650700

SERCE: Resultados en Lectura 3º

CubaChile

Costa Rica

Méxic

o

Urugu

ay

Argentina

ColombiaBras

il

El Salv

ador

Perú

Nicarag

ua

Paragu

ay

Panam

á

Ecuad

or

Guatemala

R. Dominica

na200

250

300

350

400

450

500

550

600

650

SERCE: Resultados en Lectura 6º

Cuba

Costa Rica

Chile

Urugu

ay

Méxic

oBras

il

Colombia

Argentina

El Salv

ador

Perú

Nicarag

ua

Panam

á

Paragu

ay

Guatemala

Ecuad

or

R. Dominica

na200

250

300

350

400

450

500

550

600

650

PISA 2009: Resultados en Matemática

Shan

ghai-

China

Singap

ore

Hong Kong-C

hinaKorea

Chinese Ta

ipei

Finlan

d

Liech

tenste

in

Switz

erlan

dJap

an

Canad

a

Netherl

ands

Macao-China

New Ze

aland

Belgium

Australia

German

y

Estonia

Icelan

d

Denmark

Sloven

ia

NorwayFra

nce

Slovak

Republic

Austria

Poland

Swed

en

Czech Rep

ublic

United Kingd

om

Hungary

Luxem

bourg

United St

ates

Irelan

d

Portugal

Spain Ita

lyLat

via

Lithuan

ia

Russian

Federa

tionGree

ce

Croatia

Dubai (UAE)

Israel

Turke

ySer

bia

Azerbaija

n

Bulgaria

Romania

Uruguay

Chile

Thaila

nd

Mexico

Trinidad

and To

bago

Kazakh

stan

Montenegr

o

Argentina

JordanBraz

il

Colombia

Albania

Tunisia

IndonesiaQata

rPeru

Panam

a

Kyrgyzs

tan200

250

300

350

400

450

500

550

600

650

PISA 2009: Resultados en Lectura

Shan

ghai-

ChinaKorea

Finlan

d

Hong Kong-C

hina

Singap

ore

Canad

a

New Ze

aland

Japan

Australia

Netherl

ands

Belgium

Norway

Estonia

Switz

erlan

d

Poland

Icelan

d

United St

ates

Liech

tenste

in

Swed

en

German

y

Irelan

dFra

nce

Chinese Ta

ipei

Denmark

United Kingd

om

Hungary

Portugal

Macao-China

ItalyLat

via

Sloven

ia

Greece

Spain

Czech Rep

ublic

Slovak

Republic

CroatiaIsr

ael

Luxem

bourg

Austria

Lithuan

iaTu

rkey

Dubai (UAE)

Russian

Federa

tionChile

Serbia

Bulgaria

Uruguay

Mexico

Romania

Thaila

nd

Trinidad

and To

bago

ColombiaBraz

il

Montenegr

oJordan

Tunisia

Indonesia

Argentina

Kazakh

stan

AlbaniaQata

r

Panam

aPeru

Azerbaija

n

Kyrgyzs

tan200

250

300

350

400

450

500

550

600

PISA 2006-2009 Progreso de países latinoamericanos en Lectura

Argentina Brasil Chile Colombia México Uruguay300

320

340

360

380

400

420

440

460

20062009

PISA 2006-2009 Progreso de países latinoamericanos en Matemática

Argentina Brasil Chile Colombia México Uruguay300

320

340

360

380

400

420

440

460

20062009

ICCS: Resultados en escala de Conocimiento Cívico

Finlan

d

Denmark

Korea

Chinese Ta

ipei

Swed

en

Poland

Irelan

d

Switz

erlan

d

Liech

tenste

in Italy

Slovak

Rep

.

Estonia

Engla

nd

New Ze

aland

Sloven

ia

Norway

Belgium (F

lemish

)

Czech Rep

.

Russian

Lithuan

iaSp

ain

Austria

Malta

ChileLat

via

Greece

Luxem

bourg

Bulgaria

Colombia

Cyprus

Mexico

Thaila

nd

Guatemala

¹

Indonesia

Paragu

ay¹

Dominican Rep

200

250

300

350

400

450

500

550

600

ICCS: Algunas tendencias

• Leve declive en conocimiento con respecto a medición comparable previa (2009). Solo 1 país mejora (Eslovenia). 2 países de la región en ambas mediciones (Colombia y Chile)

• En todos los países el conocimiento de las mujeres excede al de los hombres.

ICCS: Confianza en las Personas

Indonesia

Slove

nia

Denmark

Lithuania

Bulgaria

Luxe

mbourg

Czech

Rep.

Rep. Dominica

na

Estonia

New Zealand

Promedio ICCS

GreeceChile Ita

ly

ChineseSlo

vak

Colombia

GuatemalaKorea

0

10

20

30

40

50

60

70

80

90

100

ICCS: Confianza en Gobierno

Indonesia

Thailand

Liech

tenstein

Rep. Dominica

na

Sweden

Luxe

mbourg

Switz

erland

New ZealandChile

Estonia

Spain

México

Bulgaria

Czech

Rep.

Ireland

Cyprus

Chinese

PolandKorea

0

10

20

30

40

50

60

70

80

90

100

ICCS: Confianza en Partidos

Indonesia

Finland

Sweden

Norway

Italy

Russian Rep.

Luxe

mbourg

Slove

nia

New Zealand

Ireland

BelgiumMéxic

o

Lithuania

ParaguaySlo

vak

Chinese

Greece

Estonia

Korea0

10

20

30

40

50

60

70

80

90

100

ICCS: Confianza en Escuelas

Indonesia

Rep. Dominica

na

Paraguay

Russian Rep.

Spain

Chile

Finland

Ireland

Belgium

Czech

Rep.

Greece

México

Chinese

Liech

tenstein

New Zealand

Austria

Slova

k

PolandKorea

0

10

20

30

40

50

60

70

80

90

100

¿CUÁN ALINEADO ESTÁ EL SERCE CON OTRAS PRUEBAS INTERNACIONALES?

Relación entre PISA Lectura y SERCE Lectura (6º)

300 350 400 450 500 550 600300

350

400

450

500

550

600R² = 0.954026061382192

SERCE Lect 6Linear (SERCE Lect 6)

PISA Lectura

SERC

E Le

ctur

a

Relación entre PISA Matemática y SERCE Matemática(6º)

300 350 400 450 500 550 600300

350

400

450

500

550

600R² = 0.796774446678091

SERCE Mat 6Linear (SERCE Mat 6)

PISA Mat

SERC

E M

at

Conclusiones acerca de logros generales de países latinoamericanos

• Las pruebas internacionales se han consolidado como el principal barómetro de la educación a nivel internacional.

• Aumento sostenido de la presencia de los países de Latinoamérica y el Caribe en pruebas internacionales (especialmente PISA)

• La prueba regional se ha consolidado y muestra una alta participación de países (SERCE-TERCE)

Conclusiones acerca de logros generales de países latinoamericanos

• Países de la región aparecen la zona inferior de la escala de resultados de todas las pruebas internacionales de conocimientos y habilidades (no así en actitudes). Muy baja proporción de estudiantes en la zona superior de los conocimientos y habilidades

• Se observan incrementos en pruebas que incluyen comparaciones en el tiempo.

FACTORES ASOCIADOS AL RESULTADO DE LAS MEDICIONES EDUCACIONALES

EL CONTEXTO SOCIOECONÓMICO DE LOS PAÍSES

PIB per cápita y resultados SERCE Lectura

Relación entre Indice Socioeconómico y PISA Lectura 2009

-2.00 -1.75 -1.50 -1.25 -1.00 -0.75 -0.50 -0.25 0.00 0.25 0.50 0.75 1.00300

350

400

450

500

550

600

R² = 0.322423850974732

LAS DIFERENCIAS ENTRE HOMBRES Y MUJERES

PISA 2009: Diferencias de Género en Lectura y Matemática

LAS DIFERENCIAS SOCIOECONÓMICAS

Fuerza de relación entre Indice Socioeconómico y Rendimiento PISA

PaísFuerza de relación entre Indice

Socioeconómico y Rendimiento en PISA

Argentina 19.6Brasil 13.0Chile 18.7Colombia 16.6México 14.5Panamá 18.1Perú 27.4Trinidad y Tobago 9.7Uruguay 20.7Promedio OECD 14.0

Relación entre Indice de Inclusividad Social y PISA Lectura 2009

40.0 50.0 60.0 70.0 80.0 90.0 100.0300

350

400

450

500

550

600

R² = 0.252351117739318

Índice de Inclusividad Social de escuelas

PISA

Lec

tura

Relación entre Indices de Inclusividad Social y Académica PISA

Lectura 2009

40.0 50.0 60.0 70.0 80.0 90.0 100.010.0

20.0

30.0

40.0

50.0

60.0

70.0

80.0

90.0

100.0

R² = 0.284756836109641

Índice de Inclusividad Social de escuelas

Indi

ce d

e In

clus

ivid

ad A

cadé

mic

a

EL ROL DE FACTORES ASOCIADOS A LA ESCUELA Y POLÍTICA EDUCACIONAL

Factores asociados a resultados SERCE (Lectura 3º)

SERCE: Efecto de la Infraestructura de la Escuela

SERCE: Efecto del clima percibido por los estudiantes

SERCE: Efecto del clima percibido por los directores

Factores asociados a resultados PISA 2009

Recursos, políticas, y prácticas conectadas con rendimiento.

Análisis PISA

• Algunos factores asociados a logro educativo:– Políticas de selección de estudiantes– Autonomía de escuelas– Remuneraciones docentes

• Algunos aspectos no asociados a logro:– Competencia entre escuelas– Uso de mediciones estandarizadas– Tamaño de los cursos

Conclusiones

• Alta proporción de la varianza se produce entre escuelas, en muchos casos asociado a segregación socioeconómica.

• Fuerte importancia de factores sociodemográficos, especialmente socioeconómicos.

• También se observan diferencias de género favorables a los hombres

Conclusiones

• El análisis de factores asociados a la política educacional muestra en general efectos más modestos que los socioeconómicos.

• Este tipo de análisis no es aun comparable entre distintas mediciones (lo que limita su uso)

• PISA muestra efectos relevantes asociados a la selectividad de estudiantes, autonomía de las escuelas,

Desafíos

• Necesidad de ampliar el foco de las mediciones internacionales para monitorear otras habilidades (como las del sXXI) y actitudes.

• Mejorar la capacidad de las pruebas para informar decisiones de política educacional, especialmente en el tema docente.

• Necesidad de establecer programas de investigación que permitan aprovechar mejor la información de pruebas internacionales (hay algunos ejemplos a partir de PISA).

Desafíos

• Mejorar la comprensión y aprovechamiento de los resultados de las mediciones educacionales por parte de diferentes audiencias.

• Acelerar la integración de medición y tecnologías para superar las barreras que actualmente impone la medición mediante pruebas de papel y lápiz (especialmente en el formato de preguntas).

¿Qué muestran las evaluaciones internacionales acerca de la calidad de la educación en América Latina y

el Caribe?

Jorge ManziCentro de Medición MIDE UC, Universidad Católica de Chile