Система моніторингу якості вступу до ВНЗ на основі ЗНО

Система моніторингу Система моніторингу якості вступу до ВНЗякості вступу до ВНЗ

на основі ЗНОна основі ЗНО

Болюбаш Я.Я.Болюбаш Я.Я.Ковтунець В.В.Ковтунець В.В.Раков С.А.Раков С.А. Гудзинський В.Є.Гудзинський В.Є.Кизилов О.І.Кизилов О.І.

Розробка та запровадження системи ЗНО для Розробка та запровадження системи ЗНО для конкурсного відбору студентів до ВНЗконкурсного відбору студентів до ВНЗ

2001–2006 рр. – розробка національної системи ЗНО2001–2006 рр. – розробка національної системи ЗНО2007 р. – випробувальний запуск ЗНО в частині регіонів 2007 р. – випробувальний запуск ЗНО в частині регіонів з прийомом за його результатами в частині університетівз прийомом за його результатами в частині університетів2008 р. – проведення прийому за результатами ЗНО 2008 р. – проведення прийому за результатами ЗНО в загальнодержавному масштабі в загальнодержавному масштабі – до трьох предметівдо трьох предметів– без іноземних мовбез іноземних мов– квота ВНЗ на прийом випускників підготовчих відділень та квота ВНЗ на прийом випускників підготовчих відділень та

асоційованих ЗНО (п. 15 Умов прийому)асоційованих ЗНО (п. 15 Умов прийому)– ІС Конкурс – лише статистичні даніІС Конкурс – лише статистичні дані

2009 р. – проведення прийому за результатами ЗНО 2009 р. – проведення прийому за результатами ЗНО в загальнодержавному масштабі без винятківв загальнодержавному масштабі без винятків– до пдо п’’яти предметівяти предметівІС Конкурс – рейтингові спискиІС Конкурс – рейтингові списки

Показники якості Показники якості системи вступу до ВНЗ на основі ЗНОсистеми вступу до ВНЗ на основі ЗНО

Система вступу до ВНЗ є інструментом управління Система вступу до ВНЗ є інструментом управління найголовнішим ресурсом країни – інтелектуальним найголовнішим ресурсом країни – інтелектуальним ресурсом у процесі переходу суспільства до суспільства ресурсом у процесі переходу суспільства до суспільства сталого розвитку.сталого розвитку.

Якщо країна не контролює показники якості системи вступу до ВНЗ, то така система розвивається спонтанно і ситуаційно.

Критерії якості системи вступуКритерії якості системи вступу

Дотримання Конституції України – Дотримання Конституції України – забезпечення забезпечення СПРАВЕДЛИВОГОСПРАВЕДЛИВОГО доступу до доступу до якісної вищої освіти на конкурсних засадахякісної вищої освіти на конкурсних засадах

ЕФЕКТИВНІСТЬЕФЕКТИВНІСТЬ – забезпечення відбору до – забезпечення відбору до ВНЗ осіб, здатних успішно навчатися за ВНЗ осіб, здатних успішно навчатися за певним напрямом певним напрямом

Громадське сприйняттяГромадське сприйняття – наскільки – наскільки запроваджена система вступу до ВНЗ на запроваджена система вступу до ВНЗ на основі ЗНО задовольняє попит суспільства основі ЗНО задовольняє попит суспільства до системи вступу до ВНЗ до системи вступу до ВНЗ

СправедливістьСправедливістьЧастка тих, хто зміг реалізувати наміри Частка тих, хто зміг реалізувати наміри щодо вступу до ВНЗ:щодо вступу до ВНЗ:– по державі в цілому по державі в цілому – за соціальними групамиза соціальними групами

по регіонах по регіонах

за навчальними закладами за навчальними закладами

за гендерною ознакоюза гендерною ознакою

іншіінші

Міра відхилення:Міра відхилення:– по державі в цілому – окремі соціальні групипо державі в цілому – окремі соціальні групи

Успішність вступу до ВНЗ Успішність вступу до ВНЗ на основі ЗНОна основі ЗНО

–– загальнодержавна успішність вступузагальнодержавна успішність вступу (частка (частка

зарахованих до ВНЗ від загальної кількості бажаючих вступити до ВНЗ)зарахованих до ВНЗ від загальної кількості бажаючих вступити до ВНЗ)

–– успішність вступу для соціальної успішність вступу для соціальної групи групи (частка зарахованих до ВНЗ у певній (частка зарахованих до ВНЗ у певній соціальній групі від загальної кількості бажаючих соціальній групі від загальної кількості бажаючих вступити до ВНЗ у цій соціальній групі)вступити до ВНЗ у цій соціальній групі)

Чим менше відхилення успішності вступу до ВНЗ для різних соціально значимих груп від загальнодержавного рівня успішності вступу, тим система вступу до ВНЗ є більш справедливоюу забезпеченні рівного доступу до вищої освіти.

Успішність вступу до ВНЗ Успішність вступу до ВНЗ на основі ЗНО (приклади)на основі ЗНО (приклади)

- Загальнодержавна успішність вступу до ВНЗ

у 2009 році дорівнює 57,304% (частка зарахованих до ВНЗ від загальної кількості бажаючих вступити до ВНЗ (що проходили ЗНО))

Гендерна успішність вступу до ВНЗ у 2009 році складає:

• для жінок 60,458%

• для чоловіків 53,519% (частка зарахованих до ВНЗ у певній соціальній групі від загальної кількості бажаючих вступити до ВНЗ у цій соціальній групі)

Справедливість системи вступу до ВНЗ Справедливість системи вступу до ВНЗ на основі ЗНО на основі ЗНО

Гендерна справедливість вступу до ВНЗ у 2009 році складає:

• для жінок +5,505% • для чоловіків -6,605%

(відхилення успішності жінок та чоловіків при вступу до ВНЗ у 2009 році від загальнодержавного рівня успішності цій соціальній групі)

Справедливість системи вступу до ВНЗ для певної соціальної групи – відхилення успішності вступу до ВНЗ для цієї соціальної групи від загальнодержавного рівня успішності

ЕФЕКТИВНІСТЬЕФЕКТИВНІСТЬ

Зв'язок між результатами навчання та Зв'язок між результатами навчання та результатами ЗНОрезультатами ЗНО

БАЖАНО:БАЖАНО:

КРАЩЕ НАВЧАЄТЬСЯ ТОЙ, ХТО МАЄ ВИЩІ КРАЩЕ НАВЧАЄТЬСЯ ТОЙ, ХТО МАЄ ВИЩІ РЕЗУЛЬТАТИ ЗНО.РЕЗУЛЬТАТИ ЗНО.

Ступінь зв’язку вимірюється коефіцієнтом Ступінь зв’язку вимірюється коефіцієнтом кореляції між двома величинами.кореляції між двома величинами.

Приклад. Кореляція позитивна – Приклад. Кореляція позитивна – звзв’’язок позитивний (0язок позитивний (0<k<1)<k<1)..

Середній бал ЗНО для вступу до ВНЗ

Середній бал іспитів у ВНЗ

200

5

Приклад. Кореляція негативна – Приклад. Кореляція негативна – звзв’’язок негативнийязок негативний (0(0>k>-1)>k>-1)..



200

5

Приклад. Кореляція нульова – звПриклад. Кореляція нульова – зв’’язок язок відсутнійвідсутній (k (k==0)0)..



200

5

ЕфективністьЕфективність

Кореляція між ЗНО та результатами Кореляція між ЗНО та результатами навчаннянавчання

Кореляція між ЗНО+середній бал Кореляція між ЗНО+середній бал атестата та результатами навчанняатестата та результатами навчання

Кореляційні зв’язки між предметами та Кореляційні зв’язки між предметами та групами предметівгрупами предметів

ЕфективністьЕфективність диференцдиференціійнайна

ДЛЯ СПОРІДНЕНИХ НАПРЯМКІВ, ДЛЯ ДЛЯ СПОРІДНЕНИХ НАПРЯМКІВ, ДЛЯ РЕГІОНІВ, ДЛЯ ПЕВНИХ КАТЕГОРІЙ РЕГІОНІВ, ДЛЯ ПЕВНИХ КАТЕГОРІЙ СТУДЕНТІВ:СТУДЕНТІВ:

Кореляція між ЗНО та результатами Кореляція між ЗНО та результатами навчаннянавчання

Кореляція між ЗНО + середній бал атестата Кореляція між ЗНО + середній бал атестата та результатами навчаннята результатами навчання

Кореляційні звКореляційні зв’’язки між предметами та язки між предметами та групами предметівгрупами предметів

Результати дослідження Результати дослідження ефективностіефективності

Виявлення недоліків оцінювання:Виявлення недоліків оцінювання:– ЗНОЗНО– у школі у школі – у ВНЗу ВНЗ

Пошук для ВНЗ оптимальних моделей Пошук для ВНЗ оптимальних моделей конкурсного відбору студентів за конкурсного відбору студентів за результатами ЗНОрезультатами ЗНО

Результати дослідження ефективностіРезультати дослідження ефективностіВиявлення недоліків оцінювання:Виявлення недоліків оцінювання:

– ЗНОЗНО– у школі у школі – у ВНЗу ВНЗ

Результати дослідження ефективностіРезультати дослідження ефективності

Пошук для ВНЗ оптимальних моделей Пошук для ВНЗ оптимальних моделей конкурсного відбору студентів за результатами конкурсного відбору студентів за результатами ЗНОЗНО

ПРИКЛАД

Кореляція ЗНО-2008 та результатів навчання для технічних напрямів дорівнює 0,37.

Якщо конкурсний бал рахувати за зваженою формулою

Бал = 0,25 Укр. Мова +0,25 Матем. + 0,5 Фізика, то кореляція складатиме 0,46.

Експертна та громадська думкаЕкспертна та громадська думка

ФОКУСНІ ГРУПИ СОЦІОЛОГІЧНОГО ФОКУСНІ ГРУПИ СОЦІОЛОГІЧНОГО ДОСЛІДЖЕННЯ:ДОСЛІДЖЕННЯ:

ВчителіВчителі

Викладачі ВНЗВикладачі ВНЗ

СтудентиСтуденти

Випускники ЗНЗВипускники ЗНЗ

ОЦІНКА СТАВЛЕННЯ ДО СИСТЕМИ В ЦІЛОМУ ОЦІНКА СТАВЛЕННЯ ДО СИСТЕМИ В ЦІЛОМУ ПО ДЕРЖАВІПО ДЕРЖАВІ

Експертна та громадська думкаЕкспертна та громадська думка

НАПРЯМИ СОЦІОЛОГІЧНОГО ДОСЛІДЖЕННЯ:НАПРЯМИ СОЦІОЛОГІЧНОГО ДОСЛІДЖЕННЯ:Рівень інформованості про ЗНОРівень інформованості про ЗНО

Оцінка тестових завдань ЗНООцінка тестових завдань ЗНО

Оцінка української моделі ЗНООцінка української моделі ЗНО

Довіра до ЗНО та його результатівДовіра до ЗНО та його результатів

ТЕХНОЛОГІЯТЕХНОЛОГІЯ

База даних ІС Конкурс

База даних УЦОЯО

Відомості з ВНЗПро результати

навчанняВідомості з ВНЗПро результати

навчанняВідомості із ВНЗпро результати

навчання

БАЗА ДАНИХ ДОСЛІДЖЕННЯ

ТЕХНОЛОГІЯ ТЕХНОЛОГІЯ Збір даних від ВНЗ про результати навчання студентів Збір даних від ВНЗ про результати навчання студентів через Інтернет-систему, аналогічну системі “Конкурс”через Інтернет-систему, аналогічну системі “Конкурс”

Підсистема

ІС конкурс

ІС ВНЗ

ІС ВНЗ

ІС ВНЗ

ІС ВНЗ

Інтер

нет

Звіт за проектомЗвіт за проектом“Якість системи “Якість системи вступу до ВНЗвступу до ВНЗна основі ЗНО”на основі ЗНО”

Ефективність системи вступу до ВНЗ Ефективність системи вступу до ВНЗ на основі ЗНОна основі ЗНО

База даних дослідження ефективності отримана в результаті База даних дослідження ефективності отримана в результаті інтеграції даних БД “Результати навчання на 1-му курсі інтеграції даних БД “Результати навчання на 1-му курсі

навчання у ВНЗ у 2008–2009 навчальному році”, наданих ВНЗ навчання у ВНЗ у 2008–2009 навчальному році”, наданих ВНЗ ((25 ВНЗ із 70, яким було запропоновано участь 25 ВНЗ із 70, яким було запропоновано участь

у дослідженніу дослідженні), ),

та БД УЦОЯО “ЗНО-2008”.та БД УЦОЯО “ЗНО-2008”.

Для збору даних ВНЗ було використано систему збору даних, Для збору даних ВНЗ було використано систему збору даних, відпрацьовану в системі “Вступ”.відпрацьовану в системі “Вступ”.

Загальна кількість записів БД – Загальна кількість записів БД – 22 50022 500. .

Ефективність системи вступу до ВНЗ на основі ЗНО

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

Ефективність системи вступу до ВНЗ на основі ЗНО і вплив Ефективність системи вступу до ВНЗ на основі ЗНО і вплив середнього бала атестата (2008 рік)середнього бала атестата (2008 рік)

Ефективність системи вступу до ВНЗ Ефективність системи вступу до ВНЗ на основі ЗНОна основі ЗНО

Ефективність системи вступу до ВНЗ Ефективність системи вступу до ВНЗ на основі ЗНО (висновки)на основі ЗНО (висновки)

1. Система вступу до ВНЗ на основі ЗНО є ефективною — коефіцієнти кореляції балів ЗНО високо прогнозують успішність навчання студентів на першому курсі ВНЗ (r = = 0,52).

2. Запропонований моніторинг ефективності системи вступу дозволяє:

Аналізувати стан системи вступу і відпрацьовувати напрями її вдосконалення (для інституцій управління освітою (МОНУ, НАПНУ, регіональним управлінням освіти)

Знаходити «формулу» ефективного відбору за напрямками підготовки у ВНЗ.

Справедливість системи вступу до ВНЗ Справедливість системи вступу до ВНЗ на основі ЗНО на основі ЗНО

База даних дослідження справедливості отримана База даних дослідження справедливості отримана в результаті доповнення даних БД УЦОЯО “в результаті доповнення даних БД УЦОЯО “ЗНО-2009ЗНО-2009” ”

даними про зарахування до ВНЗ (за протоколами ВНЗ).даними про зарахування до ВНЗ (за протоколами ВНЗ).

Загальна кількість записів БД – 460 000.Загальна кількість записів БД – 460 000.

БД містить неперсоніфіковану інформацію про учасників ЗНО

(є анонімною)

Справедливість системи вступу до ВНЗ Справедливість системи вступу до ВНЗ на основі ЗНО-2009 на основі ЗНО-2009







Справедливість системи вступу до ВНЗ Справедливість системи вступу до ВНЗ на основі ЗНО-2009 (висновки)на основі ЗНО-2009 (висновки)

1. Запропоновано об'єктивний кількісний показник справедливості системи вступу до ВНЗ (рівного доступу до якісної освіти).

2. Запропоновані значущі категорії вступників, для яких доцільно здійснювати моніторинг.

3. Отримані кількісні показники справедливості системи вступу до ВНЗ на основі повної БД вступників ВНЗ 2009 року (для більшості значущих категорій цей показник знаходиться на рівні 20% або менше).

4. На особливу увагу заслуговують випускники ЗНЗ минулих років – для них цей показник складає – 34%.

5. Доцільно провести обговорення і визначити рівні допустимості відхилення показника справедливості від загальноукраїнського значення.

6. Запропонований моніторинг ефективності системи вступу дозволяє аналізувати стан справедливості системи вступу та проводити її модернізацію.

ВІДПОВІДНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНОВІДПОВІДНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНОСОЦІАЛЬНОМУ ПОПИТУ ГРОМАДЯНСОЦІАЛЬНОМУ ПОПИТУ ГРОМАДЯН

Об’єктом дослідження виступали 4 цільові групи:

1. Керівники та викладачі загальноосвітніх навчальних закладів (далі за текстом — працівники ЗНЗ).

2. Керівники та викладачі вищих навчальних закладів (далі за текстом — працівники ВНЗ).

3. Випускники 2010 року загальноосвітніх навчальних закладів (далі за текстом — учні ЗНЗ).

4. Студенти 2-го курсу вищих навчальних закладів (далі за текстом — студенти ВНЗ).

Опитування проводилося за сприяння громадської організації «Опора».









У суспільстві утверджується позитивне ставлення до ЗНО,довіра до його результатів

і переконання, що відбір студентів на цих засадах став прозорішим

й об’єктивнішим.

Загальні висновки1. Проведене дослідження якості системи вступу до ВНЗ на основі ЗНО засвідчило

достатньо високий рівень її ефективності, справедливості та сприйняття суспільством.

2. Із метою оцінювання поточного стану системи вступу до ВНЗ на основі ЗНО та відпрацювання ефективних напрямів її вдосконалення необхідно створити національну систему моніторингу якості вступу до ВНЗ на основі ЗНО, для чого доцільно:

Якість системи вступу до ВНЗ Якість системи вступу до ВНЗ на основі ЗНОна основі ЗНО

Провести фахове обговорення та затвердити показники якості системи вступу до ВНЗ на основі ЗНО для забезпечення зворотного зв'язку, безперервного контролю цих показників при прийнятті управлінських рішень в галузі освіти.

Провести фахове обговорення моделі системи моніторингу якості вступу до ВНЗ на основі ЗНО.

Створити систему збору, інтегрування, зберігання та обробки інформації, яка стосується навчальних досягнень учнів у ЗНЗ, результатів ЗНО, успішності навчання у ВНЗ.

Забезпечити відповідний науковий рівень розвитку тестових технологій для подальшого вдосконалення системи вступу до ВНЗ на основі ЗНО.

Інформування суспільства та інформаційні ресурси

• Кожен рік за результатами ЗНО Український центр Кожен рік за результатами ЗНО Український центр оцінювання якості освіти готує і публікує аналітичний оцінювання якості освіти готує і публікує аналітичний звіт, який розсилається в усі структури державної звіт, який розсилається в усі структури державної влади.влади.• Оперативна інформація з питань ЗНО розміщується у Оперативна інформація з питань ЗНО розміщується у вільному доступі в Інтернеті вільному доступі в Інтернеті www.testportal.gov.uawww.testportal.gov.ua..• Аналітичні матеріали, світовий досвід, питання Аналітичні матеріали, світовий досвід, питання розвитку тестових технологій, офіційні матеріали, розвитку тестових технологій, офіційні матеріали, які стосуються ЗНО, публікуються в журналі які стосуються ЗНО, публікуються в журналі “Вісник ТІМО”.“Вісник ТІМО”.• Перебіг вступної кампанії та інша корисна інформація Перебіг вступної кампанії та інша корисна інформація на сайті на сайті www.vstup.infowww.vstup.info..

Якість системи вступу до ВНЗ Якість системи вступу до ВНЗ на основі ЗНОна основі ЗНО

Дякуємо за увагу!Дякуємо за увагу!

Запрошуємо до фахового обговорення проблеми Запрошуємо до фахового обговорення проблеми запровадження національного моніторингу якості запровадження національного моніторингу якості

системи вступу до ВНЗ на основі ЗНОсистеми вступу до ВНЗ на основі ЗНО

Довідкові слайдиДовідкові слайди

Якість системи вступу до ВНЗ на основі ЗНОЯкість системи вступу до ВНЗ на основі ЗНО

Офіційний звіт УЦОЯО “ЗНО-Офіційний звіт УЦОЯО “ЗНО-2009”2009”

Український центр оцінювання якості Український центр оцінювання якості освіти (УЦОЯО) щорічно готує освіти (УЦОЯО) щорічно готує і публікує офіційний звіт за і публікує офіційний звіт за результатами ЗНО, який результатами ЗНО, який надсилається до всіх структур надсилається до всіх структур державної влади, а також державної влади, а також розміщується у вільному доступі розміщується у вільному доступі в мережі Інтернет.в мережі Інтернет.

Це ті дані, які можна отримати на Це ті дані, які можна отримати на основі статистичних даних, основі статистичних даних, накопичених УЦОЯО при реєстрації накопичених УЦОЯО при реєстрації на ЗНО, під час його проведення, на ЗНО, під час його проведення, перевірки робіт, їх оцінювання перевірки робіт, їх оцінювання і оприлюднення результатів. і оприлюднення результатів.


Офіційний звіт УЦОЯО Офіційний звіт УЦОЯО “ЗНО-2009”“ЗНО-2009”

Звіт про ЗНО в скороченому Звіт про ЗНО в скороченому вигляді друкується в журналі вигляді друкується в журналі ТІМО, а завдяки фінансовій ТІМО, а завдяки фінансовій підтримці МФ “Відродження” та підтримці МФ “Відродження” та програми програми USETI USETI сприяння ЗНО сприяння ЗНО цей звіт отримають всі ВНЗ цей звіт отримають всі ВНЗ країни.країни.


Офіційний звіт УЦОЯО “ЗНО-2009”:Офіційний звіт УЦОЯО “ЗНО-2009”:

Тестологічні характеристики кожногоТестологічні характеристики кожного предметного тесту ЗНО предметного тесту ЗНО (предметна валідність, складність, надійність).(предметна валідність, складність, надійність).

Психометричні характеристикиПсихометричні характеристики кожного завдання кожного завдання (складність, диференційна здатність тощо).(складність, диференційна здатність тощо).

Статистичні дані про успішністьСтатистичні дані про успішність складання тестів ЗНО складання тестів ЗНО (за регіонами, типами навчальних закладів).(за регіонами, типами навчальних закладів).

Якість системи вступу до ВНЗ на основі ЗНОЯкість системи вступу до ВНЗ на основі ЗНОАІС “Результати ЗНО-2009”АІС “Результати ЗНО-2009”

Особливості моделі вступу до ВНЗ на основі ЗНО у 2008 році

1. Учасники ЗНО складали 3 предмети: українська мова – обов'язково, один із двох предметів – математика або історія України – обов'язково, третій предмет – за вибором.

2. Кожний тест ЗНО з трьох предметів мав субтест, який відповідав ДПА, і оцінка ЗНО виставлялася за двома шкалами: 100–200 балів (для вступу до ВНЗ) та за 12-бальною шкалою (за субтест – для оцінки ДПА).

3. Оцінка ЗНО за 12-бальною шкалою могла зараховуватись як ДПА за бажанням учасника ЗНО.

4. Тести включали завдання трьох форматів: вибіркового типу, “коротка відповідь”, завдання з розгорнутою відповіддю, які перевірялися екзаменаторами (українська мова, математика та історія України).

5. Зарахування до ВНЗ здійснювалося за результатами ЗНО (за виключенням пільговиків).


1. Учасники ЗНО мали можливість обирати тестування не більше ніж із 5-ти предметів(українська мова – обов'язково, інші предмети – за вибором).

2. Введено тести ЗНО з іноземних мов(англійська, німецька, французька, іспанська мова).

3. Вилучення з переліку предметів ЗНО тестів із таких предметів:всесвітня історія, зарубіжна література, основи економіки, основи правознавства.

4. Оцінка ЗНО за 12-бальною шкалою обов'язково зараховувалась як результат ДПА.

5. Тести включали завдання трьох форматів: - вибіркового типу, - “коротка відповідь”, - завдання з розгорнутою відповіддю (які перевірялися екзаменаторами (українська мова, математика та історія України)).

6. Зарахування до ВНЗ здійснювалося за результатами ЗНО(за виключенням пільговиків).

7. Складання тестів ЗНО допускалося 6-ма мовами національних меншин за вибором абітурієнта.


1. Учасники ЗНО мали можливість обирати тестування не більше ніж із 5-ти предметів(українська мова – обов'язково, інші предмети – за вибором).

2. Урахування середнього бала атестата при вступі до ВНЗ(за шкалою 100–200 балів).

3. Вилучення завдань з розгорнутою формою відповіді з тесту ЗНО з математики.

4. Продовження терміну сертифікатів ЗНО на три роки.5. Дозвіл випускникам 2007 або попередніх років замість проходження

ЗНО здавати вступні іспити у ВНЗ. 6. Обмеження кількості ВНЗ для подання заяв на вступ до 5-ти ВНЗ

(не більше ніж із 3-х спеціальностей у ВНЗ).7. Зняття порогу 124 бали з непрофільних предметів

(за умови отримання не менше 170 балів за профільними предметами).

Documents

Система моніторингу якості вступу до ВНЗ на основі ЗНО