Использование результатов Интернет – тестирования в вузе

2005-2007 © Рособрнадзор2005-2007 © Росаккредагентство

ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕНВ СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Использование результатов Интернет – тестирования в вузе

Масленников Александр Степанович

Москва, 14-15 ноября 2007 г.



Информационно-аналитические карты вузов с результатами тестирования



Принцип оценивания базовой подготовки студентов на соответствие требованиям ГОС

• Освоение всех структурных элементов содержания (дидактических единиц) дисциплины на уровне, заданном в ГОС

Дидактическая единица (ДЕ) – раздел дисциплины

Освоение ДЕ – выполнение не менее половины заданий раздела



Оценка выполнения требований ГОС

Объект оценки

Показатель освоения

требований ГОС

Критерийосвоения требований

ГОС

Студент Доля освоенных дидактических единиц ГОС

Освоение всех дидактических единиц

ГОС

Образова-тельная

программа

Доля студентов, освоивших все дидактические единицы ГОС

50% студентов, освоивших все дидактические

единицы ГОС



Показатели освоения дисциплин для ООП вуза, принимавшего участие в Интернет-экзамене

Цикл дисциплин

Дисциплина Количество студентов,

принявших участие в Интернет - тестировании

Процент студентов,

освоивших все ДЕ 080109.6х Бухгалтерский учет, анализ и аудит

Общий контингент - 851 обучающихся

ЕН Информатика 67 25%

ЕН Концепции

современного естествознания

29 93%

ЕН Математика 79 47%

ГСЭ Отечественная

история 42 79%

ГСЭ Философия 48 48% ….. ….. ….. ……

080502.6х Экономика и управление на предприятии (по отраслям) Общий контингент - 906 обучающихся

ЕН Информатика 63 38% ЕН Математика 69 20% ЕН Физика 50 24%

ГСЭ Отечественная

история 37 81%

ГСЭ Философия 67 58%

ЗАМЕЧАНИЕ: Жирным шрифтом выделены дисциплины (и показатели освоения), по которым уровень подготовки студентов не соответствует требованиям ГОС.



Специфика оценки выполнения требований ГОС

№Идентификато

р студента

Процент выполненных

заданий

Количествоосвоенных ДЕ

Процентосвоенных ДЕ

Выполнил требования

ГОС

1 Att7165 83% 11 100% да

2 Att7150 77% 11 100% да

3 Att7151 77% 11 100% да

4 Att7153 77% 11 100% да

5 Att7158 77% 11 100% да

6 Att7159 77% 11 100% да

7 Att7164 77% 11 100% да

8 Att7162 70% 10 91% нет

9 att7163 66% 9 82% нет

10 att7154 64% 10 91% нет

11 att7155 64% 9 82% нет

12 att7157 62% 10 91% нет

13 att7161 62% 10 91% нет

14 att7152 58% 9 82% нет

15 att7156 50% 7 64% нет

Среднее 70% 47%



Формы представления результатов тестирования:рейтинг-лист



Формы представления результатов тестирования:

гистограмма

• По форме и положению гистограммы можно судить о характере распределения результатов для данной группы студентов• Гистограмма позволяет эффективно оценить расслоение результатов студентов по уровню подготовки



Представление результатов: карта коэффициентов решаемости заданий

• Карта коэффициентов решаемости позволяет оценить уровень подготовки испытуемых по отдельным темам измерительных материалов• По данному графику можно выявить темы, оказавшиеся трудными для студентов контролируемой группы (коэффициент решаемости менее 0,4)



Представление результатов: карта коэффициентов освоения ДЕ

• График позволяет оценить степень освоения тематических разделов дисциплины• Наглядно выявляются разделы, освоенные на недостаточном уровне (коэффициент освоения менее 0,7)



Представление результатов: график освоения дисциплины на основе выполнения совокупности ДЕ

• График позволяет оценить освоение совокупности разделов дисциплины на уровне требований ГОС• По графику может быть проведено сравнение долей студентов, освоивших все разделы дисциплины с критерием аттестации (50 % студентов, освоивших все разделы)



Диаграмма упорядочения результатов освоения дисциплин для специальностей вуза

0

20

40

60

80

100

50%

ООП

процент студентов, полностью освоивших все

контролируемые ДЕ дисциплины

0

20

40

60

80

100

50%

ООП

процент студентов, полностью освоивших

все контролируемые ДЕ дисциплины

0

20

40

60

80

100

50%

ООП



МатематикаИнформатика

Отечественная история

0

20

40

60

80

100

50%

ООП



Философия



Формы представления результатов. Диаграмма результатов освоения дисциплины

для ООП вуза на фоне других вузов



Ректорат

Деканат

Кафедра

Преподаватель

Студент

Рособрнадзор

Сравнение показателей освоения требований ГОС с другими вузами

Показатели освоения требований ГОС для ООП по профилям подготовки

Показатели освоения требований ГОС;Показатели освоения ДЕ дисциплин

Показатели освоения ДЕ дисциплин;Коэффициенты решаемости заданий по темам

Рейтинговый показатель в группе, специальности, вузе, группе вузов

Обобщенные результаты освоения требований ГОС; Мониторинг результатов тестирования

Структурирование информации о результатах Интернет-экзамена для пользователей

различного уровня



Методическая поддержка тестирования на сайте www.fepo.ru:

• Содержание ГОС по дисциплине

• Тематическая структура АПИМ

• Перечень контролируемых учебных элементов по темам АПИМ

• Примеры тестовых заданий (содержание, форма, уровень трудности)

• Репетиционное тестирование

• Методика оценки результатов тестирования



Студент

Результаты тестирования:• Выполнение заданий по каждой теме• Освоение разделов• Рейтинг в группе по числу выполненных

заданий и/или освоенных разделов• Рейтинг на курсе по уровню освоения

совокупности дисциплин (цикла дисциплин) на уровне требований ГОС



Студент

• Выполнение заданий по каждой теме



Студент

• Рейтинг-лист




Результаты Интернет-тестирования:• Индивидуальные результаты студентов• Карта решаемости заданий в одной и

нескольких группах• Карта освоения разделов в одной и

нескольких группах• Показатели освоения дисциплины по

образовательным программам



Оценка освоения тем дисциплины студентами разных специальностей

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38

номера заданий

коэффициент решаемости

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38



0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38






Оценка освоения разделов дисциплины студентами разных специальностей

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ

коэффициент освоения ДЕ

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ


0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ





Карта коэффициентов освоения ДЕДисциплина: ФизикаООП: 250201.6x «Лесное хозяйство»Группа: ЛХ-11

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5

номер ДЕ


0

10

20

30

40

50

60

70

80

90

100

0 1 2 3 4 5

количество освоенных ДЕ

процент студентов

Модельная критериальная кривая

Экспериментальная кривая

Карта коэффициентов освоения ДЕДисциплина: ФизикаООП: 250201.6x «Лесное хозяйство»Группа: ЛХ-12

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5

номер ДЕ


0

10

20

30

40

50

60

70

80

90

100

0 1 2 3 4 5

количество освоенных ДЕ

процент студентов

Модельная критериальная кривая

Экспериментальная кривая




Сравнение с обобщенными результатами по данной структуре



Кафедра

• Освоение разделов дисциплины для различных образовательных программ

• Освоение дисциплины в целом для различных образовательных программ



Оценка освоения разделов дисциплины студентами разных специальностей

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ


0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ


0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ


Кафедра



Кафедра

0

20

40

60

80

100

50%

ООП



Результаты освоения дисциплины в целом для образовательных программ кафедры



Факультет (деканат)

060400060500

060600060700

061000061100

061500061800


КСЕ

60% 60%

85%

48%46%

40%

59%

86%

39% 41%

60%

38%

8%

48%

12%

67%

25%34%

24%

9%15%

47%52%

90%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100% Математика

Информатика

КСЕ

Результаты тестирования по циклу ЕН для группы

специальностей



Ректор

•Показатели освоения дисциплин для ООП вуза

•Сравнение показателей освоения дисциплин с результатами других вузов

•Мониторинг результатов оценки базового уровня подготовки студентов вуза



Диаграмма упорядочения результатов освоения дисциплин для специальностей вуза

0

20

40

60

80

100

50%

ООП



0

20

40

60

80

100

50%

ООП



0

20

40

60

80

100

50%

ООП




Отечественная история

0

20

40

60

80

100

50%

ООП



Философия



0

20

40

60

80

100

06

18

00

06

11

00

06

21

00

06

05

00

06

06

00

06

15

00

06

07

00

35

13

00

06

04

00

06

22

00

06

08

00

06

10

00

50%

ООП


контролируемые ДЕ ГОС

x 1/4

M

x 3/4

• Сравнение показателей освоения дисциплины с результатами других вузов.

• Мониторинг результатов освоения базового уровня подготовки по дисциплине

Ректор



Две актуальные задачи при проведении самообследования:

• оценка освоения дисциплин на соответствие требованиям ГОС

• мониторинг результатов этой оценки для образовательных программ (не менее 3-х лет)



Информация1 раз в 5 лет

Процедуры оценки освоения ГОС

Процедуры, дополнительныек сессионному контролю

Процедуры, встроенные всессионный контроль

Разовые(1 раз в 5 лет)

Самообследование иаттестационная

экспертиза (АПИМ)

Регулярные(1 раз в семестр)

Внутренний (и/иливнешний)

независимыйконтроль (АПИМ)

1 уровень: Контроль на

базовом уровне(АПИМ)

2 уровень: Контроль на

повышенном уровне(процедуры,

принятые в вузе)

Мониторинг освоения ГОС

Двухуровневый экзамен

Дл

я о

це

нки

ОО

П

Дляоценки

студента

Контроль освоенияГОС студентами ООП

Контроль освоенияГОС студентами ООП



Особенности контроля знаний студентов для целей аккредитации

1. По объекту оценивания – учебные достижения группы, курса, всех студентов ООП (но не индивидуальные достижения!)

2. По виду контроля – после изучения дисциплины (цикла дисциплин)

3. По содержанию контроля – оценка всех элементов содержания дисциплины (цикла дисциплин) на уровне, заданном в ГОС (базовый уровень)

4. По шкале оценивания – бинарная оценка (усвоил – не усвоил)

5. По характеру процедуры – массовое оценивание в ограниченные сроки (технологический подход)



Основные черты критериально-ориентированного подхода к оценке

учебных достижений

• Детально описанная область содержания

• Перечень основных знаний и умений • Внешний критерий оценки освоения учебного

материала



Программа оценки содержанияи качества подготовки студентов

при самообследовании

1. Все аттестуемые ООП

2. Все циклы дисциплин по каждой ООП

3. Важнейшие дисциплины цикла:

• не менее 3-х по циклам ГСЭ и ЕН

• не менее 5-и по циклам ОПД и СД

4. Студенческие группы, завершившие изучение дисциплины не позднее чем за 1 год до самообследования



Приблизительная оценка объема выборки дисциплин

Число дисциплин

в ООП

Число контролируемых дисциплин

= 0,90 – 0,95

= 0,8 – 0,9 = 0,7 – 0,8

30 23 14 9

40 29 16 9



Нормативное обеспечение использования результатов ФЭПО при самообследованииРаспоряжение руководителя Федеральной службы по надзору в сфере образования и науки В.А. Болотова 17.07.2006 N 1192-05

1. Управлению лицензирования, аттестации и аккредитации Рособрнадзора (В.И. Круглову), Национальному аккредитационному агентству в сфере образования (В.Г. Наводнову) в срок до 01.09.2006 разработать методику использования технологии Интернет-тестирования по циклам общих гуманитарных и социально-экономических дисциплин, а также общих математических и естественнонаучных дисциплин при проведении аттестации образовательных учреждений по образовательным программам высшего профессионального образования. 2. Рекомендовать вузам (филиалам) использование технологии Интернет-тестирования, разработанной Национальным аккредитационным агентством в сфере образования, по указанным в п.1 циклам дисциплин при проведении самообследования.



Результаты Интернет-тестирования: •Позволяют делать разностороннюю диагностику содержания и уровня подготовки студентов•Являются основой для сравнения результатов освоения требований ГОС студентами других вузов и ООП •Позволяют проводить мониторинговые исследования базового уровня подготовки студентов•Могут эффективно использоваться во внутривузовских системах менеджмента качества при внешней оценке базового уровня подготовки•Отвечают всем требованиям, предъявляемым к результатам оценки освоения требований ГОС при самообследовании вуза



Спасибо за внимание!

Александр Степанович Масленников

Тел: 8-(8362) 68-60-63, 41-61-94e-mail: [email protected]

Documents

Использование результатов Интернет – тестирования в вузе