Единый государственный экзамен –характер и пути решения

системных проблем

Аналитический центр

при Правительстве Российской Федерации

2013 г.

2013 год: вся страна жульничает на ЕГЭ

Исходные посылки: ЕГЭ как черный ящик

• Почему черный ящик?– Что внутри – не видно

– Но вокруг полно воды

• НЕТ:– Отменить ли тестирование вообще?

– Кто виноват? Как их наказать?

• ДА:– ЕГЭ как система

– Точки уязвимости системы

– Как устранить причины, а не симптомы?

Глоссарий

• ЕГЭ– Единый государственный экзамен– Стандартизованный тест для

проверки знаний выпускников средних школ

• КИМ– Контрольный измерительный

материал– Брошюрка с тестом и листы для

ответов

• ФИПИ– Федеральный институт

педагогических измерений– Создатели вопросов и вариантов

для ЕГЭ

• ФЦТ– Федеральный центр тестирования– Организация, которая ведет ЕГЭ,

печатает и распространяет КИМ

• РЦОИ– Региональный центр обработки

информации– Административный центр ЕГЭ на

уровне региона

• ГЭК– Государственная экзаменационная

комиссия– Первый узел в системе ЕГЭ

• ППЭ– Пункт проведения экзамена– Место, где экзаменующиеся

заполняют КИМ

Сообщенные ситуации

• Использование техники – запрещено, но происходит– 30 мая в Интернет были выложены видеоролики, на которых

запечатлены экзаменующиеся, использующие мобильные телефоны во время экзамена

• Хищение КИМов– Администратор группы Вконтакте «Подготовка к КДР» утверждал, что

КИМы ему присылают разработчики или их обслуживающий персонал

• Незаконный оборот КИМов– 29 мая на американском сервере anonymousdelivers.us были выложены

материалы ЕГЭ по истории, обществознанию, математике, биологии, химии и информатике

• Публикация КИМов– 27 мая школьница из Владивостока выложила в Интернет фотографии

КИМов

Проблемы

ФИПИ

Федеральный уровень

Рособрнадзор

ФЦТ

Защищенный канал

Подведомственность

КИМ передаются в регионы за 3 дня до экзамена

Принимает заявкиот РЦОИ на КИМ

ФИПИ

Уязвимости – Федеральный уровень

Рособрнадзор

ФЦТ

Защищенный канал

Подведомственность

Разрабатываемые и печатные материалы доступны большому

количеству лиц

Количество вариантов КИМ ограничено 30-35 на регион (и фасуются

по 15 разных в упаковку)

Вероятность обнаружения варианта n/N

100%

50%

0%0 1 2 3 4 5 6 7 8

Региональный уровень

РЦОИ

Передает КИМ В ППЭ в день ЕГЭ

Передает КИМ перед ЕГЭ (-3 … -1 день)

ГЭК

Получает на хранениенеиспользованные бланкии хранит их до 31 декабря года ЕГЭ

Отправляет заявки на КИМ

Уязвимости – Региональный уровень

Регионы получают ЕГЭ по своей заявке • Можно заказать избыточные• Остаток КИМ хранит сам же РЦОИФакт "растраты" скрыть очень просто

РЦОИ

Передает КИМ в ППЭ в день ЕГЭ

Передает КИМ перед ЕГЭ (-3 … -1 день)

ГЭК

Получает на хранение неиспользованные бланкии хранит их до 31 декабря года ЕГЭ

Отправляет заявки на КИМ

Установленный порядок транспортировки КИМ по факту не соблюдается:КИМ перевозятся с номинальной охраной и лицами, участвующими в процессе ЕГЭ

Местный уровень

Передает КИМ

Получает КИМ от ГКЭ в день ЕГЭ

ППЭ

Экзаменующиеся

Сдаютзаполненные и испорченныеКИМ

Возвращают заполненные КИМ в РЦОИ

Уязвимости – Местный уровень

Передает КИМ

Получает КИМ от ГКЭ в день ЕГЭ

ППЭ

Экзаменующиеся

Сдаютзаполненные и испорченныеКИМ Списывают, пользуются

запрещенными устройствами,копируют материалы

Экзаменующийся без паспорта может быть допущен личным решением руководителя ППЭ

Фактически значительная часть ЕГЭпроводится в тех же школах, где и обучаются экзаменующиеся

Общие уязвимости

ППЭ

Экзаменующиеся

ПередаютКИМ

Получает КИМ от ГКЭ в день ЕГЭ

РЦОИ

ГЭК

Получает на хранение неиспользованные бланки и хранит их до 31 декабря года ЕГЭ

Отправляет заявки на КИМ

ФИПИ

Рособрнадзор

ФЦТ

Защищенный канал

Подведомственность

Передает КИМ(-3 … -1 день)

КИМ передаются в регионы за 3 дня до экзамена

Сдаютзаполненные и испорченныеКИМ

Системный уровень

Независимость ЕГЭ

КПЭрегиона

(п.9)

КПЭмуниципалитета

(п.7)

Глобальный конфликт интересов

Минобрнауки РФ

ШколаРезультат

ВУЗСелективность

Выпускник

Nemo judex in casu sua

Оптимальная стратегия

0,0183%99,9817%

51,0172%51,0172%Ученикчестен

Ученикнечестен

Ученик не попался

Ученик попался

816 000 школьников сдают ЕГЭ в 2013 г.416 300 бюджетных мест в вузах1,7 % написали ЕГЭ в 2012 г. на 91-100 баллов76 нарушений запротоколировано на 31 мая 2013 г.

Каковы шансы ученика поступить на бюджетное место?

Теория игр: ожидаемый результат выпускника намного выше в случае нечестной игры

Решения

Правовые меры

• Цена риска: каков ожидаемый доход от проданного экзамена?– Минус = штраф 40 000 рублей

• Предположим, что абитуриент готов заплатить 10 000 рублей за экзамен• Пусть 10% абитуриентов заплатят

– Плюс = 1 000 000 рублей• Предположим, что вероятность фальшивого варианта = 90%

– Плюс = 100 000 рублей

– Итого: норма прибыли от 150% до 9600%...

• Эффективность дальнейших правовых ужесточений будет мала• Радикальная мера: федерализация ЕГЭ

– Политически крайне тяжела: недоверие регионам

– Невыполнима: ни денег, ни людей для этой меры не хватит• Хотя вот в Китае экзамены проходят при участии в том числе и армии

Организационные меры

• Решения краткосрочные и паллиативные!– Если эти дыры будут закрыты, очень скоро появятся новые

• Хранение и транспортировка– Максимально ограничить доступ (как если б это были денежные знаки)

– Вести независимый учет и перевозку бланков

• Единовременность– Принудительная разбивка вариантов по часовым поясам

– Или начало экзамена на 1-2-3 часа позже в восточных регионах

• Дисциплинарно-процедурные меры– Дисквалификация и списавшего и давшего списать

– Коллективная ответственность всего ППЭ

Технологические меры

• Большая часть уязвимостей связаны с бумажным форматом КИМ• Переход от бумаги к цифре дает:

– Лучшую защиту коммуникаций

– Точное знание места и объема утечек

– Неограниченное число вариантов при той же себестоимости теста

– Резкое сокращение трудозатрат

• Мультивариантность– Сейчас – 15 вариантов на пункт и 30-35 на регион

– Для базы вопросов с числом вопросов = N и m вопросов в варианте число возможных вариантов экзамена:

– При N = 1000 и m = 30 число вариантов ~ 3,4212

– Это значение больше числа атомов во Вселенной

N !–––m !

=N

mS

Quid custodiet ipsos custodes?

Системные меры

Разделение выпускного экзамена и приемного экзамена

Разгосударствление ЕГЭ

Передача проведения ЕГЭ частному независимому оператору, группе операторов

и (или) СРО высшей школы

Выпускной экзамен – обязателен, однократный (конец 11 класса)

Вступительные – сдают только желающие поступать (1 – 6 раза в год)

Мировой опыт

Страна Тест ОрганизаторКоличество

тестовЦель экзамена

США

SAT НКО 6Поступление в

университетACT НКО 6

ВеликобританияGCE A-

levelНКО 1

Поступление в университет

Германия Abitur Государство 1Аттестат, дающий

право на поступление в ВУЗ

Китай Gao Kao Государство 1Поступление в

университет

Южная Корея Suneung Государство 1Поступление в

университет

Япония NCTUA НКО 1Поступление в

университет

Проблема в ЕГЭ – Е и Г

Е Г Э