Оценка результатов обучения (тренинга)

ОБУЧЕНИЕ ПЕРСОНАЛА6. Оценка результатов обучения персонала

Д.П.Соловьев

ЦИКЛ ОБУЧЕНИЯ

Вопросы темы

Главное:

определить – достигнутали цель обучения!

Но:

степень достиженияцели может быть разной

1. Классификация критериев оценки2. Оценка реакции слушателей3. Оценка научения4. Оценка поведения5. Оценка результатов работы6. Факторы, влияющие на результаты

обучения7. Темы докладов на семинаре

ОЦЕНКА РЕЗУЛЬТАТОВОБУЧЕНИЯ

1. Классификация критериев оценки2. Оценка реакции слушателей3. Оценка научения4. Оценка поведения5. Оценка результатов работы6. Факторы, влияющие на результаты

обучения7. Темы докладов на семинаре

1. Классификация критериев оценки

1. КЛАССИФИКАЦИЯ КРИТЕРИЕВ ОЦЕНКИ(Дональд Киркпатрик, опубликовано в 1959 году)

Почему нужно проводить оценку? Три основных причины:

1. Оправдать существование отдела обучения, показав, какой вклад делает этот отдел в достижение целейорганизации;

2. Принять решение о том, продолжать или прекратитьконкретную программу обучения;

3. Получить информацию о том, как улучшить обучающуюпрограмму (содержание, методы, тренер и др.) вбудущем.

Киркпатрик: «В большинстве случаев оценка проводится для того, чтобыпонять, как повысить результаты обучения, какими способами можноего улучшить». Критерии (группы показателей) оценки: Рис.

1. КЛАССИФИКАЦИЯ КРИТЕРИЕВ ОЦЕНКИ(Дональд Киркпатрик, опубликовано в 1959 году)

Критерии (группы показателей) оценки: Текст

Оценкарезультатов

обучения

1. КЛАССИФИКАЦИЯ КРИТЕРИЕВ ОЦЕНКИ(Дональд Киркпатрик, опубликовано в 1959 году)

Критерии для оценкирезультатов обучения(и/или):

1. Реакция (Reaction), 2. Научение (Learning),3. Поведение (Behavior), 4. Результаты (Results). 5. Филипс: ROI6. ДПС: для открытого тренинга - Связи

2. Реакция

Three Steps to Effectiveness Jim and Wendy Kirkpatrick - 11/4/10

ОЦЕНКА РЕЗУЛЬТАТОВОБУЧЕНИЯ

1. Классификация критериев оценки2. Оценка реакции слушателей3. Оценка научения4. Оценка поведения5. Оценка результатов работы6. Факторы, влияющие на результаты

обучения7. Темы докладов на семинаре

2. ОЦЕНКА РЕАКЦИИ СЛУШАТЕЛЕЙ

1. Оценочная анкета вконце тренинга??????

2. Опросы участниковтренинга, сделанныеруководствомкомпании

1. Реакция участников2. Мнение участников

(понравилось или непонравилось)

1. Реакция(удовлетво-рённостьпотребите-лей)

Способы и методы оценкиОцениваемыепараметры

Предметоценки

Фрагмент анкеты

Реакция должна оцениваться с акцентом на ПОЛЕЗНОСТЬ!

2. ОЦЕНКА РЕАКЦИИ СЛУШАТЕЛЕЙ

взаимодействие преподавателя с группойдоступность изложения материала

Содержание курса:соответствие обучения поставленным целямЦели обучения:

качество раздаточных материаловсоотношение теории и практики в данном курсераскрывает ли содержание обучения заявленную тему

Работа преподавателя:

качество и полнота ответов на вопросы……………………………

Оценка(от 1 до 5)

Коммен-тарииПараметры оценки

Диаграммы увеличенные

Традиционная анкета (фрагмент)

2. ОЦЕНКА РЕАКЦИИ СЛУШАТЕЛЕЙ

Киркпатрик: «Позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означаетуменьшение вероятности научения».

«Эффект Хоторна»

2. ОЦЕНКА РЕАКЦИИ СЛУШАТЕЛЕЙ

Возможное искажение оценки по критерию«реакция» – «Эффект Хоторна»

Причины использования «листков для улыбок»

Средство повышения объективности оценки –выявление 2-х видов реакции:

А) эмоциональной (сразу после обучения),Б) осознанной (через неделю после обучения).

2. ОЦЕНКА РЕАКЦИИ СЛУШАТЕЛЕЙ

Использование анкет по окончании обучения –преобладающая практика оценки результатов обучения.

Более сложная и глубокая оценка не проводится, потому что:

организаторы не считают её срочной или важной,

никто не знает, как её провести,

руководство не требует этого,

организаторы обучения чувствуют себя в безопасности ине видят нужды "копать" глубже,

есть много вещей, которые для них более важны иликоторыми они предпочитают заниматься.

Киркпатрик: «Эти анкеты – "листы для улыбки" (smile-sheets). Чаще всегоучастники используют анкеты для выражения благодарности».

2. Научение

ОЦЕНКА РЕЗУЛЬТАТОВОБУЧЕНИЯ

1. Классификация критериев оценки2. Оценка реакции слушателей3. Оценка научения4. Оценка поведения5. Оценка результатов работы6. Факторы, влияющие на результаты

обучения7. Темы докладов на семинаре

3. ОЦЕНКА НАУЧЕНИЯ

1. Самоанализ, самооценка участни-ков обучающей программы обизменениях знаний и навыков

2. Анкетирование3. Наблюдения тренера во время

обучения, анализ измененийучастников тренинга к концу

обучения и их описание в отчетепо результатам проведениятренинга.

Знания, навыки, установки

2. Научение(уровеньусвоенияновыхзнаний инавыков)

Способы и методы оценкиОцениваемыепараметры

Предметоценки

Продолжение таблицыПОЛЕЗНОСТЬ!!!

3. ОЦЕНКА НАУЧЕНИЯ

3. Контрольныеупражнения вконце или во времятренинга на усвоение ииспользованиеполученных знаний.

4. Наблюдения руководстваза изменениямиучастников тренингапосле обучения.

5. Цифровые замеры

Любыеизмененияперсонала, способствующиеэффективнойработе.

2. Научение(уровеньусвоенияновыхзнаний инавыков)

Способы и методы оценкиОцениваемыепараметры

Предметоценки

4. Оценка поведения

ОЦЕНКА РЕЗУЛЬТАТОВОБУЧЕНИЯ

1. Классификация критериев оценки2. Оценка реакции слушателей3. Оценка научения4. Оценка поведения (деятельности – Д.С.)5. Оценка результатов работы6. Факторы, влияющие на результаты

обучения7. Темы докладов на семинаре

4. ОЦЕНКА ПОВЕДЕНИЯ

1. Наблюдения руководства заработой сотрудника, прошедшегообучение (на рабочем месте).

2. Оценка примеров эффективногои неэффективного поведения приисполнении должностныхобязанностей.

3. Анализ анкеты клиента илизаписей в книге жалоб ипредложений.

3. Регулярная аттестация

Измененияповедения нарабочем месте:

рост уверен-ности в себе;

ростлояльности;

повышениесплоченностикоманды

3. Поведение(системноеприменениеполученных натренингезнаний инавыков)

Способы и методы оценкиОцениваемыепараметры

Предметоценки

Киркпартик: «Отсутствие измененийв поведении участников не означает, что тренинг был нерезультативным.Условия изменения поведения: УсловияПОЛЕЗНОСТЬ !!!

4. ОЦЕНКА ПОВЕДЕНИЯ

5. Результаты

Условия изменения поведения после научения:

Желание участников изменить поведение,

Возможность использовать полученные знания инавыки делать,

Наличие соответствующего социально-психологического климата,

Поощрение участников за изменение поведения.

Киркпатрик: «Единственный способ создания позитивного климата– вовлечение руководителей в разработку учебных программ».

ОЦЕНКА РЕЗУЛЬТАТОВОБУЧЕНИЯ

1. Классификация критериев оценки2. Оценка реакции слушателей3. Оценка научения4. Оценка поведения5. Оценка результатов работы6. Факторы, влияющие на результаты

обучения7. Темы докладов на семинаре

5. Оценка результатов

5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ

1. Анкета клиента(удовлетворенностьобслуживанием)

2. Заказное исследованиеоб имидже компании.

3. Личные наблюдения, расчеты руководства.

4. Отслеживание уровнятекучести кадров

5. Данные оперативногоучёта результатовработы

1. Изменениерезультатовдеятельности

2. Изменениекачественныхпоказателей

3. Изменение коли-чественных пока-зателей (продажи;доля рынка; массаприбыли; рента-бельность …)

4. Результаты

Способы и методы оценкиОцениваемыепараметры

Предметоценки

Графики Деминга: 1. Начинающий менеджер

5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ

Графики Деминга: 2. Опытный менеджер

До обучения После обучения

Средние еженедельные результаты работы НАЧИНАЮЩЕГО менеджерапо продажам. Верхний и нижний контрольные пределы для Хср рассчитаныпо карте размахов (Деминг Э. Элементарные принципы статистического контроля качества(Elementary Principles of the Statistical Control of Quality), Японский союз ученых и инженеров, Токио, 1950, с. 22.)

ВКП и НКП означают верхний и нижний контрольные пределы для Хср.

5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ

До обучения После обучения

Средние еженедельные результаты работы ОПЫТНОГО менеджера попродажам до и после обучения.

Менеджер достиг состояния статистической управляемости еще до началаобучения. Соответственно, обучение оказалось неэффективным.

Верхний контрольный уровень

Нижний контрольный уровень

Значение управленческого учета - График

5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ

Извест

ное правило логики:

«после не зн

ачит по причине».

Извест

ное правило практики:

«нужен хороший управленческ

ий учет».

Факторы, влияющие на динамику результатов работы

5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ

Сравнение результатов работы экспериментальной и контрольной групп

Снижение цены

Появление нового актуального товара

Реклама

Сезонность

Новое оформление товара, выкладка (мерчендайзинг)

Факторы, влияющие на динамику результатов работы:

5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ

Возможное искажение оценки – 5 уровней …

Измерение

3«120»

Обучение

Измерение

2«102»

Отсутствиеобучения

Измерение

1 «100»

Контроль-ная группа

Измерение

2«120»

Обучение

Измерение

1«100»

Экспери-менталь-

ная группа

5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ

Возможное искажение оценки –

ПЯТЬ УРОВНЕЙ ФОРМИРОВАНИЯ НАВЫКА:

1. Общее представление о сфереприменения навыка,2. Понимание технологии навыка,3. Единичный опыт применениянавыка на практике,4. Начальная автоматизация навыка, которая нарушается при изменениивнешних условий,5. Полная автоматизация навыка.

Формируются впериод обучения

Формируютсячерез несколькомесяцев послеобучения

Пути объективного выявления результата

5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ

Практические рекомендации для объективной оценкирезультатов:

если возможно, использовать контрольную группу (непроходившую обучение),

проводить оценку через некоторое время, чтобы результатыстали заметны,

проводить оценку до и после программы (если этовозможно),

провести оценку несколько раз в ходе программы,

сопоставить ценность информации, которую удастсяполучить с помощью оценки и стоимость получения этойинформации (проведение оценки на 4 уровне не всегдацелесообразно в связи с ее высокой стоимостью).

Модели, которые базируются на модели Киркпатрика

5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ

Модели, которые базируются на модели Д.Киркпатрика:

1. Целевой подход Тайлера (Tyler’s Objectives Approach);

2. Прикладная теория Поля Кирнса (Paul Kearns);

3. Модель Скривенса;

4. Модель Стафлебима (CIPP, системная модель);

5. Модель CIRO, разработанная Бердом;

6. Натуралистический подход Губа (Guba’s NaturalisticApproach);

7. Модель Брюса АаронаОт чего зависит результат обучения

ОЦЕНКА РЕЗУЛЬТАТОВОБУЧЕНИЯ

1. Классификация критериев оценки2. Оценка реакции слушателей3. Оценка научения4. Оценка поведения5. Оценка результатов работы6. Факторы, влияющие на результаты

обучения7. Темы докладов на семинаре

6. Факторы, влияющие результаты обучения

6. ФАКТОРЫ, ВЛИЯЮЩИЕ НА РЕЗУЛЬТАТЫ ОБУЧЕНИЯ

От чего зависит результат обучения (США, 2004)

6. Факторы, влияющие результаты обучения

6. ФАКТОРЫ, ВЛИЯЮЩИЕ НА РЕЗУЛЬТАТЫ ОБУЧЕНИЯ

От чего зависитрезультатобучения

(HRM.ru 2011)

7. Темы докладов на семинаре

ОЦЕНКА РЕЗУЛЬТАТОВОБУЧЕНИЯ

1. Классификация критериев оценки2. Оценка реакции слушателей3. Оценка научения4. Оценка поведения5. Оценка результатов работы6. Факторы, влияющие на результаты

обучения7. Темы докладов на семинаре

7. Темы докладов

7. ТЕМЫ ДОКЛАДОВ НА СЕМИНАРСКОМ ЗАНЯТИИ

1. ROI: Разбор ситуации-упражнения «Эффективность проекта пообучению персонала»

2. Целевой подход Тайлера (Tyler’s Objectives Approach);

3. Прикладная теория Поля Кирнса (Paul Kearns);

4. Модель Скривенса;

5. Модель Стафлебима (CIPP, системная модель);

6. Модель CIRO, разработанная Бердом;

7. Натуралистический подход Губа (Guba’s Naturalistic Approach);

8. Модель Брюса Аарона

Конец

СПАСИБО

ЗА ВНИМАНИЕ!

ЛИТЕРАТУРА

УДАЛЕННЫЕ СЛАЙДЫ:

5. ОЦЕНКА РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

5. ОЦЕНКА РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

Обучение от простого к сложному

Усложнение задач

5. ОЦЕНКА РЕЗУЛЬТАТОВ ОБУЧЕНИЯ