Del evaluation-14

Как оценить качество обучения

Проф. Кухаренко В.Н.Национальный технический университет

«Харьковский политехнический институт»

Принципы обеспечения качества

• Поощрение контактов между студентами и преподавателем.

• Развитие сотрудничества студентов. • Использование активных средств обучения. • Быстрая обратная связь.• Эффективное использование времени. • Высокая мотивация. • Учет способностей студентов и использование

индивидуальных маршрутов обучения.

Проблемы • Чем больше структурирована окружающая среда,

тем больше структура необходима учащимся.• Чем больше задач решено, тем больше учащиеся

ожидают от нас решений.• Чем больше мотивации мы обеспечиваем, тем

меньше ее у учащихся.• Чем больше ответственность за обучение мы

пытаемся переложить на учащегося, тем меньше они берут на себя.

• Чем больше контроля мы предлагаем, тем больше учащиеся сопротивляются.

Оценивание

• Оценивание - приблизительное измерение (когда нет инструментов)

• Оценивание – классификация. Отнесение объекта к одному из классов, на основании значений совокупности показателей и установленного критерия.

• Множественность оценки – ситуация, когда одно и тоже событие (объект) оценивается по-разному разными людьми

Почему важна оценка

• оправдать выделение бюджета; • продолжить использование обучающей

программы; • улучшения обучающих программ в

будущем.

Что оцениванием• Учебные достижения• Работу учащегося• Работу тьютора• Результативность обучения• Качество программы• Качество курсаФричо (система тестирования)• Оценка деятельности по 37 показателям

Пример измеряемых показателейУчебные программы Измеряемые параметры

Обучение методам ведения продаж

Объем продаж, лояльность покупателей, продолжительность цикла продажи,  доходность каждой продажи

Обучение техническим навыкам

Число звонков в «справочный стол», время на составление отчетов, форм или заданий, уверенное пользование программным обеспечением или оборудованием

Обучение методам повышения качества

Сокращение числа дефектов.

Обучение технике безопасности

Сокращение количества несчастных случаев

Принцип научения: «Чтобы учить, надо знать, чему учить».

Проектирование ADDIE • анализ (Analyzing) потребностей

организации; • проектирования (Designing) системы для

потребностей организации; • развитие (Developing) системы с

использованием анализа исходных данных; • выполнение (Implementing) процессов

системы; • оценка (Evaluating) проекта создания и

выполнения. 8

Анализ (analyze) • Анализ целевой группы;• Анализ деятельности специалиста;• Анализ заданий;• Анализ/декомпозиция умений;• Анализ знаний, на которых базируются

умения;• Общие задачи обучения;• Задания на деятельность.

Результат • Какие качества обучаемого надо оценить• Изменение поведения - деятельность

Проектирование (design) • Последовательность содержания

обучения;• Выбор методов обучения (на базе

бихевиоризма, конструктивизма, андрагогики, коннективизма - отвественность);

• Выбор (или создание) средств обучения;• Проектирование учебной программы.

Результат

• Какие есть варианты оценивания?• Бихевиоризм – тест, выполнение операций,

алгоритмов (исполнительность)• Конструктивизм – конструирование

процедур и алгоритмов, принятие решения, работа в команде, коммуникативность (творчество)

• Коннективизм – ПУС, персональное управление знаниями

• Для сотрудничества, творчества нужны другие способы оценки

• Сотрудничество включает в себя умение слушать, учет различных точек зрения, делиться идеями с другими

http://www.maggiehosmcgrane.com/2012/01/testing-is-dead-rip.html

Развитие (development) • План занятий;• Презентация курса;• Учебные средства;• Упражнения;• Контроль (в том числе, тесты) знаний и

умений.

Результат

• Как будем оценивать?– Оценка качества выполненных операций– Сроки выполнения– Самооценка– Оценка коллегами– Вес для оценки операций– Итоговое испытание

Исполнение (implement) • проводится обучение с выбранной

аудиторией. Промежуточные результаты план выполнения. ‑

Оценка (evaluation) • План текущей оценки;• Список необходимых действий для

текущей оценки;• План итоговой оценки;• Результаты итоговой оценки

Критерии

• Соответствие целям обучения• Уровень компетентности• Уровень обучаемости (учится учиться)• Самооценка

Цель обучения

- Это то поведение, те знания, умения и навыки, которые должен продемонстрировать студент, чтоб его можно было назвать “компетентным”.

- это описание ожидаемых результатов обучения, а не сам учебный процесс

19

Ясная цель обучения это основа для

• Определение содержания учебного материала, источников и методов обучения

• оценки результатов обучения• активизации учебной работы студентов,

превращение их в сознательных участников учебного процесса

20

Определение цели обучения

• Исполнение. Что сможет делать студент?• Условия. При каких условиях он это сможет

делать?• Критерии. Как хорошо он это сможет

делать?

21

Иерархии познавательных целей обучения в таксономии Блума

22

Таксономия Блума

http://www.celt.iastate.edu/teaching/RevisedBlooms1.html

Помощник формулирования целей

http://www.byrdseed.com/differentiator/

Таксономия Блума и рефлексия• Вспоминание. Что же я сделал?• Понимание Что важно? Я достиг цели?• Применение: Где я могу использовать это

снова?• Анализ: Какие я вижу формы и отношения в

том, что я сделал?• Оценка: Как хорошо я выполнил работу? Что

получилось? Что мне нужно улучшить?• Создание Что делать дальше? Каков мой

план/проект? http://www.peterpappas.com/2010/01/taxonomy-reflection-critical-thinking-students-teachers-principals.html

Цикл Колба

практика

Метапознание

Принципы учебной аналитики

• Алгоритмы должны быть открытыми, настраиваемыми для связи

• Должна быть доступна студенту• Аналитика как платформы: открыта для

всех исследователей и организаций• Интеграция с существующими открытыми

инструментами • Модульная и расширяемая

Измерение интерактивности в курсах дистанционного обучения

• Правила оценки (четыре элемента) интерактивных свойств курсов дистанционного обучения (Роблер и Эхальм, 2000)

Переменные интерактивности

• 1: Социальные цели интерактивностиустановление доверия, увеличение сотрудничества.

• 2: Учебные цели интерактивностивовлечение в дискуссии по разделам и концепциям курса, влиянию дизайна курсов на получение обратной связи от студентов.

• 3: Типы и использование технологий• 4: Влияние интерактивности на изменения в

поведении учащихся

Дискуссия “Функции тьютора”

https://topaz.ad.uow.edu.au/SNAPP/getsnappresults.html

Дискуссия «Планирование деятельности ученика»

Четыре уровня Киркпатрика

• оценка реакции• оценка обучения• оценка поведения• оценка результатов

Процесс оценки по методу кейсов (Бринкерхоф)

• Выберите область для оценивания и напишите план оценки.

• Создайте модель воздействия, которая определит возможные результаты и выгоды.

• Напишите вопросник и проведите оценку, чтобы измерить общий успех против неуспешных.

• Проведите глубокие интервью выбранных людей, показавших хорошие результаты и тех, кто показал плохой результат.

• Сформулируйте выводы, рекомендации, ценность (тренинга) и ROI.

http://premiumconsult.blogspot.com/2010/08/5.html

Комплексный подход к оценке 1

1. Проведите оценку стратегических потребностей и оцените стратегические разрывы, которые мешают достичь поставленных компанией целей.

2. Планируйте проведение оценки во время всего времени проведения обучения, на каждой стадии.

3. Создайте модель воздействия, которая будет являться «точным портретом предполагаемых выходов тренинговой программы» (Бринкерхоф).

4. Разработайте и проведите обучение, при этом документируйте все расходы, которые идут на обучение.

http://premiumconsult.blogspot.com/2010/08/5.html

Комплексный подход к оценке 2

5. Соберите данные о результатах деятельности до проведения обучения.

6. Проведите пилотное обучение. Проведите суммирующую оценку обучения путем оценки по первому уровню Киркпатрика и сбора данных о результатах деятельности обучающихся после обучения.

7. Проведите изменения в обучающей программе по результатам пилота.

8. Проведите полномасштабное обучение. 9. Спроектируйте и проведите оценку по методу кейсов

Комплексный подход к оценке 3

10. Проведите интервью с «отличниками» и «двоечниками»

11. Соберите данные по 4-му уровню Киркпатрика.12. Сравните, сопоставьте и соберите результаты

интервью по методу кейсов и бизнес-результаты по уровню 4 Киркпатрика для того чтобы сделать точные выводы об успехе проведенного обучения.

13. Рассчитайте стоимостную оценку выгод. 14. Сообщите результаты заинтересованным лицам.

Представьте ROI.15. Через год после проведения обучение, проведите

подтверждающую оценку.

Можно ли провести итоговый контроль успеваемости студентов, используя:

• а) только тестовые задания (ТЗ) закрытого типа?

• б) ТЗ отрытого типа?• в) ТЗ со свободно-конструируемым

ответом?• г) адаптивное тестирование?

Онлайновые системы тестирования

• экономия времени;• сокращение времени реализации обратной связи;• уменьшение необходимых ресурсов;• упрощение ведения протокола тестирования;• большее удобство в доступе: студенты могут

получить доступ к системе тестирования в любое удобное для них время и в любом количестве;

• В некоторых необходим "эксперт предметной области"

Валидность теста• очевидно валидный - складывается впечатление,

что он измеряет именно то, что имеется в виду• Конкурентная валидность оценивается по

корреляции результатов данного теста с результатами других тестов, валидность которых установлена.

• Содержательная валидность применяется, в основном, по отношению к тестам достижений. Если задания теста отражают все аспекты исследуемой области поведения, то тест является, по сути, валидным

Выводы• Невозможно сделать оценку, которая бы

удовлетворяла все потребности одновременно

• Часто, приближенная оценка, достаточно эффективна. А точная практически недостижима.

Спасибо!

КоординатыE-mail kukharenkovn@gmail.comhttp://dl.kharkiv.eduskype: kukharenkovnTwitter @kukharenko