Технология разработки измерительных материалов

Технология разработки измерительных материалов

Булатова Устинья АнатольевнаСтарший научный сотрудник,Кандидат биологических наук

Семинар

«Мониторинговые исследования и их место в управлении образованием»

22-23 ноября 2012 года, г. Томск

СЕССИЯ 3

http://www.worldbank.org/

http://www.iuorao.ru/

http://www.ria.ru/ratings/

Измерительные материалы

- это комплексные работы , состоящие из системы заданий, и комплекта документов, определяющих процедуру проведения, технологии обработки и анализа результатов, предназначенные для измерения уровня обученности или любых других результатов образовательной деятельности.


- 43 комплекта измерителей по 14 предметам: русский язык (5, 6, 7, 8, 10) математика (5, 6, 7, 8, 10) география (6, 7, 8, 10) физика (7, 8, 10) биология (7, 8, 10) химия (8, 10) история (7, 8, 10) обществознание (8, 10) иностранные языки (5, 6, 7, 8, 10) информатика (10) ОБЖ (8) и другие…

- более 100 оригинальных вариантов в год



Рабочие группы(коллектив педагогов

по каждому предмету, разработчики, эксперты)

Квалифицированные Тестологи

ОУ, участвующие в апробации измерителей и оценочных мероприятиях

Сотрудники ЦОКО(куратор, тех. поддержка)

Разработка измерительных материалов

- осуществляется творческой рабочей группой(ЦОКО организует деятельность рабочих групп)

Рабочая группа является открытой, в её состав входят:- куратор (сотрудник ЦОКО, орг.-метод. обеспечение)- руководитель рабочей группы - разработчики- эксперты- тестологи- все заинтересованные педагоги

Рабочие группы

Деятельность регламентирована двумя документами*:

1. Положение о рабочих группах

2. Порядок разработки и экспертизы измерительных материалов

* Эти документы разработаны специалистами ЦОКО и утверждены Экспертным советом ТОИПКРО

Учителя → → → → → → → Разработчики


Виды контроля

Входной Итоговый

Рубежный (Промежуточный)

Цикл разработкиизмерительных материалов


Кодификатор элементов содержания

СпецификацияКодификатор умений (требований)

задание задание задание задание задание задание


Предметная экспертиза


Тестологическая экспертиза

Доработка измерителей и АПРОБАЦИЯ

Выверка заданий, утверждение итоговых измерительных

материалов и шкалы

Руководитель рабочей группы

Разработчик (Автор-составитель)

Схемы разработки

Разработка измерителя



Доработка измерителя

Доработка измерителя и апробация

Разработка измерителя






Доработка измерителя и апробация

Экспертиза

Предметная- содержание- соответствие

спецификации- трудность- валидность- параллельность- дидактические единицы- время выполнения

заданий

Тестологическая- соответствие

тестологическим правилам

- отсутствие громоздких формулировок

- лаконичные формулировки

- подбор дистракторов

Фасетная разработка

- по одному исходному оригинальному варианту разрабатывается несколько параллельных вариантов - позволяет производить 4 варианта и более- из одного оригинального задания разрабатывается фасетный набор заданий


Кодификатор элементов содержания Кодификатор требований (умений)-за основу были взяты кодификаторы ФИПИ, составленные на основе Обязательного минимума содержания основных образовательных программ и Требований к уровню подготовки выпускников основной и средней (полной) школы.

Спецификация

Измерительная работа (задания)Ключи (ответы)

СПЕЦИФИКАЦИЯконтрольных измерительных материалов для проведения регионального мониторинга 1. Назначение работы2. Содержание итоговой работы3. Характеристика структуры и содержания экзаменационной работы Таблица 1. Распределение заданий по частям работы

Число заданий

Максимальный балл

Тип заданий

16 16 Задания с выбором ответа

8 16 Задания с кратким ответом на основе текста

24 32

4. Время выполнения работы 5. Дополнительные материалы и оборудование6. Система оценивания отдельных заданий и работы в целом 7. План работы

План работы№№

заданияКод и

наименование раздела

Код и наименование контролируемого элемента

содержания

Код (и наименование) контролируемого

умения

Максимальный бал за

выполнение задания

1 6. Эволюция живой природы

6.3. Сходство человека с животными и отличия от них. Биологическая природа и социальная сущность человека.

1.1 2.4

1

2 2. Клетка – живая система

2.2 Строение клетки. Основные части и органоиды клетки, их функции.

1.14.55.4

1

3 3. Организм – живая система

3.1 Организм – единое целое. Одноклеточные и многоклеточные организмы. Ткани, органы, системы органов многоклеточных животных и растительных организмов.

1.14.56

2

Обсуждение и использование результатов в разработке

- на заседаниях рабочих групп сразу после проведения оценочных мероприятий (веера ответов, решаемость, дистракторный анализ)

- на ежегодном региональном семинаре с участием педагогов области, муниципальных координаторов и руководителей ОУ

Решаемость

Часть

Зада-ние

Макс.балл

Вариант 1 Вариант 2 Вариант Все

Всего: 1956 чел. Всего: 1890 чел. Всего: 3846 чел.

Получилибольше нуля,

человек

Решаемостьзадания,

%


человек


%


человек


%

1 1 1 1209 61,81 1178 62,33 2387 62,06

2 1 1073 54,86 1119 59,21 2192 56,99

3 1 1666 85,17 1658 87,72 3324 86,43

4 1 1121 57,31 1047 55,4 2168 56,37

5 1 1388 70,96 1370 72,49 2758 71,71

6 1 1515 77,45 1454 76,93 2969 77,2

7 1 1648 84,25 1594 84,34 3242 84,3

Веер ответовЧасть Задание Ответ Балл за

ответКол-во

чел.

1 1 (2) 1 1 1317

2 0 298

3 0 195

4 0 122

2 20 (2) холодный 2 1433

прохладный 2 71

0 65

холодны 2 1

холодныйпрохладный 2 1

горячий 0 16

холодрый 2 1

хролодный 2 1

Спасибо за внимание

[email protected]

Булатова Устинья Анатольевна

кандидат биологических наук,старший научный сотрудник ЦОКО ТОИПКРО

[email protected]

8 (38 22) 42 01 65

mailto:[email protected]

Documents

Технология разработки измерительных материалов