Возможно ли оценить эффективность образования

в стране с помощью сравнительных международных мониторингов?

(на примере международного исследования PISA)

Кузьмина Ю.В.Ларина Г.С.

Международная лаборатория анализа образовательной политики НИУ ВШЭ

Москва, 2013

Международная конференция Международная конференция «Российское образование в зеркале международных «Российское образование в зеркале международных

сравнительных исследований»сравнительных исследований»

Что такое Что такое PISA?PISA?• PISA – Programme for International Student Assessment

• Цель – оценить, обладают ли учащиеся, получившие общее обязательное образование, теми знаниями и умениями, которые необходимы для полноценного функционирования в обществе.

• Участники – 15-летние подростки

• Измерение достижений по трем основным направлениям:o Чтение (2000 и 2009)o Математика (2003 и 2012)o Естественнонаучные дисциплины (2006)

Состав российской выборкиСостав российской выборки

Вся выборка 9-классники 10-классники  9 10 Общеобр. Проф. Общеобр. Проф.

2003597

4 1657 28% 4101 69% 100% 76% 24%

2006579

9 1577 27% 3780 65% 100% 75% 26%

2009530

8 3065 57% 1621 31% 100% 82% 18%

Могут ли результаты Могут ли результаты PISAPISA быть быть

использованы для измерения использованы для измерения

эффективности образования?эффективности образования?

Варианты интерпретации результатов PISA для оценки динамики эффективности образовательной системы (в порядке углубления анализа):1)Динамика результатов (средних, по уровням, процентилям и т.п.)2)Динамика эффекта индивидуальных и школьных факторов на результаты (изменялось ли влияние этих факторов, увеличился или уменьшился разрыв между детьми с высоким СЭС и низким СЭС, между мальчиками и девочками, между школьниками из школ из разных населенных пунктов и т.п.) 3)Динамика эффекта одного года обучения (грейд-эффекта)4)Факторы, которые могут изменить эффективность одного года обучения

Динамика средних баллов Динамика средних баллов PISA PISA в в

РоссииРоссии

Динамика эффекта СЭС на Динамика эффекта СЭС на

достижениядостижения

Динамика различий в результатах Динамика различий в результатах

между мальчиками и девочкамимежду мальчиками и девочками

Эффект одного года обученияЭффект одного года обучения

• Эффект одного года – это разница в результатах между учащимися двух «соседних» классов (например, 8-ым и 9-ым, 9-ым и 10-ым)

• Но прямое сравнение невозможно по следующим причинам:o Эффект взросленияo Разное время старта школьного обученияo Общее и профессиональное образование

Метод исследованияМетод исследования

• Метод: Propensity Score Matching (PSM), метод «ближайшего соседства». Использование данного метода позволяет оценить эффект одного года обучения за счет рассмотрения нескольких ковариат.

• Ковариаты: возраст, СЭС, индекс образовательных ресурсов, профессиональный статус и образование родителей, индекс культурных ресурсов семьи.

• Эффект дополнительного года обучения считался для всей выборки и для исключительно общеобразовательной выборки отдельно

Распределение школьников относительно Распределение школьников относительно

«пороговой точки»«пороговой точки»

Процент школьников, поступивших в школу с

нарушением «порогового правила»

2003

Вся выборка 9-классники 10-классники

19% 42% 9%

2006 23% 54% 10%

2009 52% 74% 11%

Грейд-эффект для всей выборкиГрейд-эффект для всей выборки

Грейд-эффект Динамика результатов PISA

 Математика Чтение

 Естественные науки 

  2003 2006 2009 2003 2006 2009 2003 2006 2009

10th vs. 9th grade 

22.5* (5.8)

27.5* (5.6)

17.6*(5.4)

23.3* (6.2)

25.5 * (5.6)

15* (5.8)

19.6 *(6.1)

19.4 *(5.5)

4.9 (5.7)

Отбор для оценки грейд-эффекта для Отбор для оценки грейд-эффекта для

общеобразовательных школобщеобразовательных школ• Чтобы оценить эффект дополнительного года обучения

исключительно в школьном образовании, RD анализ был проведен на ограниченной выборке:

• Исходя из фактической траектории 10-классников были рассчитаны вероятности ребенка продолжить обучение в общеобразовательной школе

• 9-классники с высокой вероятностью (больше среднего) продолжить обучение в школе, отбирались в эту выборку

• Независимые переменные – СЭС и пол

10-классники в школе

9-классники с высокой

вероятностью остаться в школе

Грейд-эффект для общеобразовательных Грейд-эффект для общеобразовательных

школшкол

Общеобразовательная траектория

Вся выборка

 Математика Чтение

 Естественные науки 

  2003 2006 2009 2003 2006 2009 2003 2006 2009

10th vs. 9th grade 

38.1* (7.4)

39.4* (7.2)

34.3* (5.6)

17.4 *(6.5)

21.2 *(6.4)

13.5*(5.9)

24.8* (7.3)

23.5* (7.3)

19.4* (6.1)

Основные выводыОсновные выводы

• Вклад школы в развитие функциональной грамотности (эффект одного года обучения) уменьшился по результатам 2009 года.

• В 2009 году увеличился разрыв в результатах между школьникам с низким и высоким СЭС, что может свидетельствовать о снижении эффективности школьной системы для обеспечения образовательного равенства. В области читательской грамотности увеличился так же разрыв между мальчиками и девочками.

• В области математики обнаружен самый большой эффект одного года обучения, по сравнению с другими сферами. Возможно, что российская школьная система в большей степени ориентирована на формирование функциональной грамотности в области математики, чем чтения и естественных наук.

• Наибольший разрыв между эффектом одного года для всей выборки и общеобразовательных школ зафиксирован в области математики, что говорит о том, что в профессиональных школах в области математики происходит снижение навыков, приобретенных в средней школе.

Основные выводыОсновные выводы