Взаимное оценивание студентов: от идеи к реализации (Семинар 2016-11-21)

Взаимное оценивание студентов:от идеи к реализации

Незнанов Алексей Андреевич, доцент департамента анализа данных и искусственного интеллекта ФКН НИУ ВШЭМаксименкова Ольга Вениаминовна, старший преподаватель департамента программной инженерии ФКН НИУ ВШЭКоломиец Андрей Ильич, студент бакалаврской программы «Программная инженерия» ФКН НИУ ВШЭ

© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 1

Кто мы такие и чем занимаемся?• Ольга Максименкова

• Департамент Программной инженерии, ФКН НИУ ВШЭ, Москва, Россия

• E-mail: [email protected]• Web-site: http://hse.ru/staff/maksimenkova• Blog: http://stoptoscale.blogspot.ru (RU)

• Алексей Незнанов• Департамент Анализа данных и искусственного интеллекта, ФКН НИУ ВШЭ, Москва, Россия

• E-mail: [email protected]• Web-site: http://hse.ru/staff/aneznanov• Blog: http://siberianshamanssongs.blogspot.ru (RU)

• Коломиец Андрей Ильич• Образовательная программа «Программная инженерия» ФКН• E-mail: [email protected]


mailto:[email protected]

http://hse.ru/staff/maksimenkova

http://stoptoscale.blogspot.ru


http://hse.ru/staff/aneznanov

http://siberianshamanssongs.blogspot.ru


Что мы будем делать?•Методы активного обучения

• Технологии активного обучения• Взаимное оценивание в курсах различных областей• Представление PASCA (нашей программы)

• Изучение документации и репозитория• Пробный прогон

• Познание себя в роли преподавателя• Создание сессии взаимного оценивания• Создание оценочного листа

• Познание себя в роли студента• Что может пойти не так?

3© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ

Идея и методологииФормы активного обученияТехнологии и компьютерная поддержкаВзаимное оценивание


Активное обучение:Идея и методологии• Центрированный на ученике подход

• Ученик активно участвует в формировании собственных знаний, умений, навыков, компетенций…

• В качестве учебных используются задачи из профессиональной практики

• Использование и обучение коллаборативным техникам

• Адаптивная организация учебных материалов и учебного процесса


Клод Адриан Гельвеций(1715-1771)

Вильгельм фон Гумбольдт(1767-1835)J. M. Carroll (ed.), Innovative Practices in Teaching Information Sciences and Technology,

DOI 10.1007/978-3-319-03656-4_1

Активное обучение:Формы


Работа в парахДебаты

Взаимное оценивание

Работа в группах

Самооценивание

Активное обучение:Взаимное оценивание• Плюсы

• Повышение вовлечённости студентов в учебный процесс• Формирования навыков конструктивной критики

• Минусы• Ресурсоёмкость при организации в ручном режиме• Необходимость уточнения соглашений об оценивании между студентами и преподавателями

• Читинг• Подробности:

• Falchikov N, Goldfinch J. Student Peer Assessment in Higher Education: A Meta-Analysis Comparing Peer and Teacher Marks. Review of Educational Research, 70(3), 2000. pp. 287-322


Взаимное обучение в программировании:О компетенциях разработчиков ПОПрограммист должен:• Уметь самостоятельно проводить анализ кода (code review)• Уметь работать в команде при проведении анализа кода небольших компонентов

• Применять разнообразные стратегии отладки и тестирования программ

• Анализировать степень соответствия чужого кода документации и профессиональным стандартам разработки

Computer Science Curricular 2013 “Software development fundamentals” (SDF)


Взаимное обучение в программировании: ВО при обучении разработчиков ПО• Плюсы усиливаются

• Будущие программисты учатся писать текст на естественном языке• Формируются навыки работы с чужим кодом• Вырабатываются навыки анализа кода [code review]• Формируются навыки командной работы

(при групповом взаимном оценивании)• Повышается объективность обратной связи

(в анонимизированном варианте)


Взаимное оценивание:Обзор КПСУН для взаимного оценивания• Cистема с открытым кодом MyPeerReview, разработанная для обучения компьютерным наукам (computer science)

• Hamalainen, H., Hyyrynen, V., Ikonen, J., and Porras, J. Applying peer-review for programming assignments. International Journal on Information Technologies & Security, 1 (2011), 3-17.

• Одна из наиболее популярных систем Aropӓ, успешно применяется в курсах компьютерных наук.

• Hamer J, Purchase H, Denny P, Luxton-Reilly A. Quality of Peer Assessment in CS1. 5th International Workshop on Computing Education Research, Berkeley, 2009. pp. 27-36.

• ...


Взаимное оценивание:Проблемы существующих КПСУН•Методологические

• Как правило, ограничивают оценочные листы некоторым «достаточным» минимумом, не допуская полёт фантазии при создании схем оценивания

• Процедурные• Массово не поддерживают анонимизацию• Требуют дополнительной аутентификации и авторизации студентов и преподавателей

• Хотя сейчас наблюдается прогресс в интеграции web-служб поддержки учебного процесса

• Технологические• Расширяют стек используемых технологий• Не поддерживают передачу комплексных артефактов


Никто не виноват, но что делать?!

Основные терминыБизнес-процессы и подводные камниНекоторые интересные решения


Основные термины:Взаимное оценивание• Взаимное оценивание [Peer Assessment (PA)] – процедура оценивания, организованная в форме рандомизированного взаимного рецензирования [Peer Review (PR)] артефактов, трактуемых как результат выполнения учебного задания с предварительно формализованной схемой оценивания

• Сессия взаимного оценивания (СВО) [PA session] – процессвзаимного оценивания результатов одного задания, то есть одного артефакта

• Оцениваемый артефакт может быть комплексным• Например, результат курсового проектирования в виде набора артефактов проектирования и конструирования ПО


Основные термины:Оцениваемые артефакты• Артефакт [Artifact] –

• В общем: сущность, созданная человеком с определённой целью

• В нашем случае:сущность, созданная студентом с целью получить рецензию?J


Основные термины:Роли1. Преподаватель [Teacher] – любой организатор

взаимного оценивания, имеющий полный доступ к данным текущей СВО

2. Студент [Student] – любой студент, потенциально имеющий возможность участвовать в текущей СВО

3. Автор [Initial Author] – студент, зарегистрированный в качестве будущего отправителя артефакта в текущей СВО

4. Податель [Submitter] – студент, направивший артефакт на рецензирование в рамках СВО

5. Рецензент [Reviewer] – студент, отославший валидыйоценочный лист в рамках СВО


Основные термины:Элементы данных СВО1. Параметры СВО [PA parameters] – набор параметров СВО2. Оценочный лист [PR form] – таблица, специфицирующая поля

рецензии для конкретного типа артефакта и конкретного задания; содержит понятные рецензенту описания полей, примеры заполнения и правила валидации значений полей

• Адекватный оценочный лист всегда содержит дополнительное текстовое поле «свободный комментарий» для неформальных впечатлений рецензента

3. Подача [Submission] – артефакт, направленный на рецензирование конкретным Подателем

4. Рецензия [Review] – заполненный оценочный лист, отосланный Рецензентом

5. Обратная связь [Feedback] – любая дополнительная информация от Студента, отличная от Подачи и Рецензии


Основные стадии сессии ВО:Начало и конец каждой стадии№ Объект рассмотрения Начальное событие Конечное событие

1 Подготовка сессии Создание новой сессииОкончание

конфигурирования сессии

2 Сбор подач Рассылка заданияДедлайн «Окончание

подачи» [Submission_end]

3 Сбор рецензий Рассылка артефактов рецензентам

Дедлайн «Окончаниерецензирования»

[Review_end]

4Анализ и рассылка

результатовСбор итоговых рецензий

Дедлайн «Получениерезультатов» [Result_msg]

5[Дополнительно]Организация обратной связи

Отправка первого сообщения в рамках обратной связи

Завершение курса/блока/модуля


Основные стадии сессии ВО:BPMN-диаграмма


Основные стадии сессии ВО:Акценты на действиях преподавателя

• Установка параметров сессии• Подготовка задания• Рассылка задания

• Сбор подач• Рассылка подач рецензентам

• Сбор рецензий• Оценивание подач через оценивание и усреднение рецензий• Рассылка оценок и обратной связи



Peer-Assessment Sytem for Complex Artifacts PASCAАрхитектураТребованияВозможностиРазвитие


PASCA:Где лежит?• Открытый репозиторий PASCA

(https://bitbucket.org/SiberianShaman/pasca)• Документация в формате Wiki

(https://bitbucket.org/SiberianShaman/pasca/wiki/ru/About)• Эта презентация (http://www.slideshare.net/alexneznanov)


https://bitbucket.org/SiberianShaman/pasca

https://bitbucket.org/SiberianShaman/pasca/wiki/ru/About

http://www.slideshare.net/alexneznanov

Требования к ПО:Основание разработки и приоритеты• Основание разработки очевидно из вышеизложенного• При разработке PASCA авторами были поставлены приоритеты:

1. Поддержка произвольных оцениваемых артефактов2. Поддержка формализованных оценочных листов [peer-review form]

любой сложности1. Автоматическое вычисление общей оценки по оценочному листу2. Автоматическая валидация оценочного листа

3. Минимизация взаимодействия студента с новым ПО4. Минимизация влияния инструментов взаимного оценивания на

смежные бизнес-процессы с точки зрения преподавателя


Требования к ПО:Базовые функциональные требования• Простое импортирование исходного списка студентов• Автоматическое преобразование и рассылка файла с описанием задания

• Поддержка нескольких адресов одного студента• Базовая анонимизация артефактов• Ослепление участников СВО для поддержки двойного слепого рецензирования

• Рандомизация рецензентов• Независимая подготовка оценочных листов любой сложности• Интегрированная валидация оценочного листа (перед отправкой рецензии)

• Автоматический расчёт первичного балла по формализованным полям оценочного листа

• Автоматическая подготовка отчётов по состоянию СВО и финального отчёта


Требования к ПО:Некоторые нефункциональные требования• Использование только стандартных компонентов Microsoft

Office 2010+ или Office 365 на клиентах• Поддержка серверных технологий:

• IMAP-совместимых почтовых серверов• Microsoft Exchange


Требования к компьютеру:Преподаватель• Установлен Microsoft Office 2010+ или развёрнут клиент

Microsoft Office 365• Необходимые компоненты: Excel, Word, Outlook

• В Microsoft Office разрешён запуск макросов• В Microsoft Outlook настроен необходимый почтовый ящик


Требования к компьютеру:Студент• Возможность:

• Работы с электронной почтой• Чтения PDF-файла• Редактирования Excel-файла (*.xlsm) для версии Microsoft Office 2007+

þMicrosoft Office на компьютере студента не обязателен!


PASCA: Главный лист рабочей книги


Основные стадии (начало)

Точка в стадии!Общие настройки

PASCA: Практические проблемы и перспективы• Организационные

• Интеграция с учебными планами, программами, процессами, отчётами….• Технологические

• Интеграция КПСУН взаимного оценивания с существующими средствами поддержки учебного процесса

• Как минимум – с Microsoft OneNote Class Notebook (https://www.onenote.com/classnotebook)

• Проблемы в контексте обучения разработчиков ПО• Составные схемы оценивания (rubric + grading rule + scale)• Отсев однозначно неверных работ (не компилируются, завершаются аварийно)

• Как направить (поддержать) студентов при проверке работ?• Как поставить итоговую оценку?

• Формализация перехода от первичного балла к итоговой оценки• Что делать с «халтурщиками»?

• Особенно «халтурными» рецензиями. Вариант – межсессионная связь


https://www.onenote.com/classnotebook

PASCAВсе стадии одной сессии взаимного оценивания


1. Стадия подготовки сессии:Сценарии1.1. Подготовка задания (файл описания задания)1.2. Подготовка оценочного листа с правилами валидации и

критериями оценивания • Варианты: чек-лист [check-list], список шкал [scale list], рубрика [rubric], другое

1.3. Подготовка исходного списка участников СВО (Авторов) с адресами электронной почты

1.4. Заполнение параметров сессии и её расписания1.5. Анонимизация участников СВО и построение

схемы рандомизации Подач и Рецензий • Отображение пар < Податель, Рецензент > в пространство идентификаторов рецензий


1. Стадия подготовки сессии:Список студентов (авторов)


Идентификатор участника СВО

1. Стадия подготовки сессии:Параметры сессии


1. Стадия подготовки сессии:Оценочный лист (PR-Form)


1. Стадия подготовки сессии:Оценочный лист: анонимизация


Идентификатор рецензии

1. Стадия подготовки сессии:Оценочный лист: валидация рецензии


Сообщение об ошибке заполнения

2. Стадия сбора артефактов:Сценарии2.1. Рассылка файла описания задания Авторам2.2. Отслеживание присылаемых Подач до даты окончания

подачи2.3. [Необязательно] Переопределение отображения Авторов и

Рецензентов после анализа поступивших Подач• Контроль числа Подач (% от числа Авторов)• Ручная проверка соответствия пар < Податель, Рецензент >и имеющихся Артефактов

• [в работе] Адаптивные алгоритмы отбора будущих Рецензентов


3. Стадия сбора рецензий:Сценарии3.1. Рассылка оценочных листов

• По имеющемуся отображению Авторов и будущих Рецензентов3.2. Отслеживание присылаемых Рецензий до даты окончания

рецензирования3.3. Подсчёт первичного балла по присланным Рецензиям и

проверка статуса всех Авторов• Правила:


Mark Sense-3 Invalid PR form (by ValidateForm func)-2 Invalid call to assessment func (AssessmentResult func)-1 Invalid calculation inside assessment func

>=0 Result of normal execution of assessment func

4. Стадия анализа и рассылки результатов:Сценарии4.1. Рассылка результатов СВО студентам4.2. Получение дополнительной обратной связи от студентов4.3. Построение итогового отчёта


4. Стадия анализа и рассылки результатов:Письмо с результатом рецензирования


4. Стадия анализа и рассылки результатов:Первичные баллы после автоматической обработки рецензий


Постоянно-доступные сценарии

• Проверка состояния СВО• Отчёт о Подачах• Отчёт о Рецензиях

• Рассылка информационных писем студентам• С комментариями к заданию• С запросом обратной связи• Произвольные письма

• Архивирование:• Почтового ящика• Загруженных артефактов и рецензий


Но это ещё не конец?!Спасибо за внимание!

Контакты:• Алексей Незнанов

• Департамент Анализа данных и искусственного интеллекта, Факультет компьютерных наук, НИУ ВШЭ, Москва, Россия

• E-mail: [email protected]• Web-site: http://hse.ru/staff/aneznanov• Blog: http://siberianshamanssongs.blogspot.ru (RU)

• Ольга Максименкова• Департамент Программной инженерии, Факультет компьютерных наук, НИУ ВШЭ, Москва, Россия

• E-mail: [email protected]• Web-site: http://hse.ru/staff/maksimenkova• Blog: http://stoptoscale.blogspot.ru (RU)



http://hse.ru/staff/aneznanov

http://siberianshamanssongs.blogspot.ru


http://hse.ru/staff/maksimenkova

http://stoptoscale.blogspot.ru