Проект оценки качества образования методом анализа приобретенных компетенций студентов.

Диагностика Диагностика инженерных инженерных компетенций при компетенций при моделировании моделировании организации организации производства в производства в формате деловых формате деловых игригр

Общие сведения по проекту

Сроки проведения: с16.11.2010 по 26.11.2010 – 10 дней.Количество участников – 48 человек.Интернет ресурсы проекта – игровой портал + сервер компетенций - nuclear-sprint.ru

Программа была проведена под руководством учебного департамента НИЯУ (МИФИ) сотрудниками «Образовательное бюро Солинг» в рамках программы создания технологий новых образовательных форматов, базирующихся на компетентностном подходе и деятельностных практиках. Перед  проектом стояли следующие задачи:

снятие инженерных компетенций (в стандартах ФГОС 3-его поколения) в рамках технологии «социального тренажера»;

изучить возможность использования электро-механических конструкторов и 3D-станков для   диагностики инженерных компетенций и  моделирования тех или иных игровых кейсов;

Список профессиграмм для работы и мониторинга:

1. 080116 «Математические методы в экономике».

2. 40400 (553100) «Техническая физика»

3. 230100 (552800) «Информатика и вычислительная техника»

4. 080502 (060800) «Экономика и управление на предприятии (по отраслям)»

5. 140306 (200600) «Электроника и автоматика физических установок»

6. 140309 (073400) «Безопасность и нераспространение ядерных материалов»

7. 220200 (550200) «Автоматизация и управление»

8. 080500 (521500) «Менеджмент»

Статистика

Количество профессиограмм 8

Количество студентов 48

Количество прецедентов (событий) 350

Количество оценок поставленных по компетенциям

5000

Количество павильонных игровых сессий 4

Количество сессий городской игры (лабораторий)

5

Количество игровых дней 10

Количество он-лайн контента (записей и комментариев сделанных участниками во время игровых сессий)

1800

Финансовых игровых операций в 3х валютах 31850

Количество номенклатур (товаров разных позиций отличающихся друг от друга разыми характеристиками)

138

Компаний и фирм владеющие и управляющие разными производственными мощностями.

30

Экспертная поддержка разработок:Модели карт компетенций ФГОС 3 поколения, профессиограммы ФГОС 3(2) поколения, предельные сценарии процессов - МГИМО

Модели инноваций, карты изобретений – МИФИ НИЯУПроцедуры диагностирования – «Солинг»

1. 080116 «Математические методы в экономике».2. 40400 (553100) «Техническая физика»3. 230100 (552800) «Информатика и вычислительная техника»4. 080502 (060800) «Экономика и управление на предприятии (по отраслям)»5. 140306 (200600) «Электроника и автоматика физических установок»6. 140309 (073400) «Безопасность и нераспространение ядерных материалов»7. 220200 (550200) «Автоматизация и управление»8. 080500 (521500) «Менеджмент»

1. Архитектор систем автоматизации2. Инженер конструктор электроники и

автоматики3. Инженер по безопасности я-э

установок4. Инженер по научным разработкам в

области р.б.5. Инженер по эксплуатации э. и а.ф.у.6. Инженер разработчик технических

систем7. Инженер-конструктор в области р.б.8. Инженер-технолог9. Инженер-технолог в области р.б.10. Менеджер по стратегическому

управлению11. Менеджер по кризисному управлению

12. Менеджер по персоналу13. Прикладной программист14. Программист аппаратной части15. Программист систем автоматизации16. Разработчик прикладных систем

автоматизации17. Разработчик программных комплексов18. Разработчик систем безопасности я-э

установок19. Разработчик теории систем

автоматизации20. Управляющий безопасностью я-э

установок21. Экономист аналитик22. Экономист-управленец23. Эксперты Росконтроля

8 профессиограмм – раскладываются на 23 профессиональных профиля

Цели и задачи инновационного учебного комплекса метаигр.

Формирование и мониторинг проявлений компетенций в мероприятиях образовательного комплекса в НИЯУ МИФИ.

Проведение социальных тренажеров в НИЯУ МИФИ.

Создание методик контроля уровня образования, через мониторинг развития компетенций студентов НИЯУ.

Мониторинг качества образования на базе компетенционного стандарта ФГОС. Сравнительный анализ результатов по разным группам одного курса по компетенциям.

Работа по инновационным методикам развития компетенций с фокус-группами по различным отраслевым специальностям.

Апробация методик моделирования тренажеров по различным профессиональным направлениям обучения НИЯУ - Экономике и международной политике инженерным специальностям.

Мониторинг инженерных компетенций Использование 3D оборудования и ПО и проведение модулей для мониторинга проявленных студентами компетенций.

Создание и внедрение в учебный процесс компетенционной системы оценки с возможностью фиксации прецедентов и динамики развития компетенций учащегося, формирования и представления вовне компетенционной карты учащегося.

Работа с профессиограммами будущих специалистов. Разработка профессиограм по направлениям обучения в НИЯУ согласно образовательному стандарту ФГОС, а так же разработка компетенций, специфичных для НИЯУ.

Профессиограммы

Диаграмму профессиональных компетенций каждого участника можно сравнить с различными профессиограммами, что позволяет определить степень их соответствия

220200 (550200) «Автоматизация и управление»

080116 Математические методы в экономике ФГОС

Представления компетенционных карт у различных предприятий

Профиль личностных компетенций по должности "Оператор спец. водоочистки"

А

А

А

А

А

А

А

А

А

А

А

А

А

А

А

А

Б

Б

Б

Б

Б

В

А

0 1 2 3 4 5 6 7

ИСП

КО

ОЗН

ЭКСП

ЗПО

ОБ

ОТВ

КР

ТЩ

СТВ

ОДР

АМ

МВ

РД

ИНФ

ОПЕР

СРД

Со

кра

щё

нн

ые

на

зва

ни

я к

ом

пе

тен

ци

й и

шка

л

Уровень выраженности шкал компетенций

А

Б

В

Профиль личностных компетенций по должности "Инженер ОЯБ"

А

А

А

А

А

А

А

А

А

А

А

А

А

А

А

А

Б

Б

Б

В

В

В

А

0 1 2 3 4 5 6 7

АМ

ПИНФ

ДИР

КО

РД

ИСП

ОТВ

ЗПО

МВ

СТВ

ОДР

ТЩ

РКОМ

ПП

ПО

ИНФ

ЭКСП

ОБ

Со

кра

щё

нн

ые

на

зва

ни

я к

ом

пе

тен

ци

й и

шка

л

Уровень выраженности шкал компетенций

А

Б

В

«ИНЖЕНЕР ОЯБ».

Профиль личностных компетенций по должности "Инженер-метролог"

А

А

А

А

А

А

А

А

А

А

А

А

А

А

А

А

А

Б

Б

Б

Б

Б

Б

ВГ

А

0 1 2 3 4 5 6 7

МВ

ЭКСП

АМ

ИСП

ОДР

ПИНФ

ИНФ

РД

ПО

ОТВ

СРД

ВОЗД

ПП

ООП

КР

СР

ТЩ

АК

ОБ

Со

кра

щё

нн

ые

на

зва

ни

я к

ом

пе

тен

ци

й и

шка

л

Уровень выраженности шкал компетенций

А

Б

В

Г

«ИНЖЕНЕР-МЕТРОЛОГ»

«ОПЕРАТОР СПЕЦВОДООЧИСТКИ»

ПРОФЕССИОГРАММЫ ДОЛЖНОСТЕЙ ЭНЕРГОАТОМА

Инженер-Технолог

朼 Техническая физика

朼 Экономика и управление на

предприятии

ПРОФЕССИОГРАММЫ НИЯУ МИФИ ФГОС 3-его поколения.

Гибкость системы

Программа позволяет работать с разными моделями компетенций (деревьями).

Социальный тренажер –

Студенты участвуют в реальных событиях, игра совмещает функциональные модели и социальный контекст. Программные модули обеспечивают прозрачность, связность, динамику игровых действий, экспертные оценки.

не компьютерная игра

Сетевые информационные ресурсы

Павильонная игра, 3-4 часа

Павильонная игра

Павильонная игра

Игры реального времени, рефлексии в

сети. 3-7 дней

Подведение итогов. Фиксация результатов. тестирование участников

Павильонные игры (3-4 часа на игру). Игровой образовательный модуль.

Полигонные игры – возможно, одна промежуточная игра в Мета-Игре

Игры реального времени – возможные игровые действия в период между павильонными играми.

Сетевые игры – процессы, отражающие в сети игровые ситуации, события, рефлексии, действия участников

ЧТО и КАК можно оценивать

Коммуникационных – по действиям игроков (через мастеров павильонных игр)

После игры – по всем методам оценить результативность, применимость, удобство.

Уровень знаний - в зависимости от нагрузки образовательных модулей в игре. Оценивается – через мониторинг игровых действий участников.

Уровень компетенций

Аналитических – по логам участников в сетевом пространстве, оценивается мастерами виртуального поля

Системных – по логам, по действиям игроков в пространствах Метаигры, оценивается всеми группами мастеров

Инженерных – с использованием 3D станков и специального софта.

Карты компетенций: рейтинг участников по профессиограммам

В выдаче списка можно выбрать группы оценщиков, посмотреть разные варианты ранжирования, перейти от общего списка к личным результатам.

Рейтинг участников по профессиограмме 080502 Экономика и управление на предприятии

Карты компетенций: индивидуальная карта

Оценки выставляются по каждой компетенции отдельно

Распределенная оценка выставляется на группу участников

Диаграмма и глубокий анализ

В индивидуальном профилеможно посмотреть самооценку и «фокус» игрока

Возможность посмотреть составляющие оценки (события)

У каждого события есть свидетели Событие не обязательно должно быть

игровое, это и обычный семинар, и конференция и доклад.

Возможность оценивать «флэш-группу» и сложившуюся команду.

Карты компетенций: составляющие компоненты оценки

Возможность посмотреть список событий в которых проявлялись компетенции студентов и увидеть любое событие (любую оценку) в подробностях.

Карты компетенций: описание события

В индивидуальном профиле можно посмотреть общий список и «фокус» игрока

Возможность исключить из оценки группы событий или группы оценщиков позволяет проверить объективность (особенно интересно на больших выборках)

Доступно описание каждого события, по которому выставлена оценка

Каждому событию можно присвоить набор компетенций

Участники события могут оценить друг друга. (аналог метода 360)

Сервер компетенций имеет большое количество «аплетов» (приложений) позволяющих подробно работать с событиями, их оценкой «флеш-группами» участников.

Профессиограммы разных групп

Группа МИФИ НИЯУ «Ф7-02а»

Группа МИФИ НИЯУ «Ф7-01»

Группа МИФИ НИЯУ «А7-05»

140309 (073400) «Безопасность и

нераспространение ядерных

материалов»

40400 (553100) «Техническая

физика»

140306 (200600) «Электроника и

автоматика физических установок»

080116 Математические

методы в экономике ФГОС

080116 Математические

методы в экономике ФГОС

230100 (552800) «Информатика и вычислительная

техника»

М Е Т А И Г Р А (соц. Тренажер)

Компетенционный анализ, как контроль качества уровня образования

Сравнительный анализ разных групп студентов по одной профессиограмме

Оценка качества образования

В итоге формируется ОЦЕНКА КАЧЕСТВА образования, выполненная в КОМПЕТЕНТНОСТНОЙ парадигме, позволяющая оценить

ЭФФЕКТИВНОСТЬ проводимой ОБРАЗОВАТЕЛЬНОЙ РАБОТЫ с соответствующими УЧЕБНЫМИ ГРУППАМИ

Анализируем наборы

компетенций для профессиограмм

Сравниваем достижения студентов разных групп

Индивидуальные профили компетенций

Анализируем рейтинг студентов по профессиограммам

Портал социального тренажера

Модули подключенные к порталу (сервер компетенций, экономический модуль, «война мифов», база данных участников).

Медийный конструируемый портал

Макроэкономическая карта

Аналитика в экономическом модуле

В игровой экономики нами была разработана аналитика, для удобства пользователей оценивать эффективность своих и чужих производственных мощностей. Можно посмотреть статистику производства любой номенклатуры.

Можно следить за продажами товарных позиций и смотреть доли освоенного рынка на каждую категорию товара каждой компании.

Автоматика

Энегретика

Модуль – «Банк»

Интерфейс перевода денежных средств, создание счетов и работы с историей транзакций

Информация о курсах валют

Интерфейс работы с юр-лицами

Моделирования структуры атомной отросли

Количество типов номенклатур требующихся для постройки одного энергоблока

29

Количество товаров присутствующих в каждом энергоблоке

1081

Количество энергии требующиеся для постройки одного энергоблока

3825

Количество компаний и фирм выпускающих различные товары

30

Моделирование инженерной части соц-тренажера

Была разработана специальная система модульных тренажеров, способных снимать инженерные компетенции с использованием фрезерных 3D-станков на основе конструктора «Кулибин», а так же индустриальной линии конструкторов FischerTechnik или его аналогов. Это было сделано для мониторинга компетенций по инженерным профессиограммам ФГОС. Разработана и апробирована методика решения типовых задач с использованием программного обеспечения при работе с электромеханическими конструкторами разных производителей.

Развитие инженерных компетенций

Удаленную коммуникацию для передачи технической информации и обмена документацией в формате ЕСКД.

Проявление компетенции работы со сложной и незнакомой техникой

Обеспечение безопасности и ее контроль

Внедрение новых образцов продукции Проявление аналитических способностей.

Учет ресурсов и возможностей для выполнения инженерной задачи

Разбивку сложной задачи на последовательные шаги

Управление в условиях аварийной и нестабильной работы оборудования

Модернизацию производственного процесса

Согласование работы различных по свойствам систем

Модуль по работе с инженерными компетенциями имел несколько

задач:

Социальный тренажер

Мониторинг и диагностика компетенций учащихся

Массовая технология, сотни человек, актуальные личные профили (данные не устаревают)

Тренажер – перевод ЗУНов в компетенции (знать, чтобы делать)

Межпредметный синтез формирование комплексного, синтетического мышления

Мотиватор. Создает студенту образ будущего (какие знания и качества развивать)

Новый психотип специалиста

«Закрывающие»технологии

Стратегия и тактика

Межпредметныесвязи

Высокийтемп

Глобализация

Давлениеинформации

Анализ и синтез

Решения и ответственность

Проектнаялогика

Креативность

Динамичность

Межпредметныйсинтез

Диалоговаякультура

Формирование индивидуальной образовательной траектории – тестирование

В «Электронном тьюторе» - участник выбирает свои профессии

.. Затем он получает рекомендации по ролям, которые его будут развивать…

… и обычным учебным курсам, для дополнительных знаний по профессии.

Системное решение для определения индивидуальной образовательной

траектории.

Электронный тьютор - самооценка

Самооценка нужна только чтобы предварительно сориентировать и

замотивировать участника, узнать о его склонностях и приоритетах.

Формирование индивидуальной образовательной траектории - фокусировка

Фокусировка Нельзя

развивать все сразу.

вы можете выбрать более важные компетенции (например, те которые для профессии важны, а по самооценке – отсутствуют)

Примеры результатов рекомендательной системы «Электронного тьютора» по ролям и по учебам

Обучающие семинары, разработанные учебные курсы и распределение участников

игры по ролям.

Электронный тьютор- итоги

Формирование индивидуальной образовательной траектории – навигация по образовательным мероприятиям.

Индивидуально ориентированная образовательная стратегия студента.

Планируемые и фактические результаты учебного образовательного комплекса

Планируемый результат - Проведение комплекса из 2-х социальных тренажеров учебного комплекса по развитию компетенций и мониторингу качества образования в 2010 – 2011 году для студентов НИЯУ МИФИ.

Фактически – Проведен 1й (из 2х) соц.тренажер. Планируемый результат - Создание фокус-групп в 30 человек и проведение этих групп через

комплекс (3х игр) и с измерением динамической компетенционной карты для каждого участника.

Фактически – Начат мониторинг компетенций 48 человек (3 учебные группы Ф7-01; А7-05; Ф7-02а). По всем участникам имеется индивидуальный профиль компетенций и рейтингование по 8и профессиограммам.

Планируемый результат - Создание «прозрачной» системы прецедентов он-лайн. Фактически – начато создание банка оценок и прецедентов (350 прецедентов и 4900 оценок

на 48 участников). Планируемый результат - Отработка моделей по специализации – экономика,

международные отношения, производство, управление предприятиями. Фактически – разработано 6 различных модулей деловых и он-лайн игр для работы. Планируемый результат - Получения ранжирования профессиограм для студентов 5х курсов

и фокус-групп и мониторинг соответствия компетенционных карт студентов профессиограммам специалистов НИЯУ.

Планируемый результат - Разработка дерева компетенций для фокус-групп студентов НИЯУ, доработка дерева компетенций ФГОС стандарта.

Фактически – ведется работа с профессиограммами и компетенциями ФГОС стандарта 3его поколения на 1010-11 год.

Планируемый результат - Приведение в соответствие профессиограмм на базе компетенций ФГОС 2-го поколения и компетенционными картами ФГОС 3-го поколения. Оценка уровня подготовки студентов разных фокус-групп в динамики.

Образовательный комплекс

Социальный тренажерДиагностика компетенций. Первичное тестирование в начале учебного года.Мотивация, образ будущего (для студентов создать образ области применения компетенций)

1

Социальный тренажерПовторный анализкомпетенций.Тестирование в концеГода – сравнениерезультатов.3

Социальный тренажерПеревод ЗУНовв компетенции. (Знать, чтобы делать)Диагностика2

БЛОКИ ЗУНовОбразовательнаяпрограмма ВУЗа

Динамичная образовательная система

Компетентность

Удешевлениенаставнической работы

Конструктор индивидуальных учебных траекторий

Мотивациястудентов, Образ будущего

Сервер управления компетенциями