Разработка тестов, результаты которых имеют значение

Алексей Корольков

Что должны измерять тесты?

Проверка / закрепление знаний в курсе1

2 Проверка возможности выполнять рабочие обязанности

Цель тестированияМожет ли сотрудник на самом деле выполнять те действия, которым его обучили?

Какими должны быть тесты?

Валидными

Если тест сдают все, то тест не самый лучший

Надежными

Дифференцирую-щими

0

1250

2500

3750

5000

0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80 82 84 86 88 90 92 94 96 98

Ненормальное распределение

Тесты не дифференцируют руководителей и обычных сотрудников

Статистика по 2000 тестов от более чем 10 компании, более 300 000 тестовых сессий

Тесты плохо дифференцируют

Руководителей и сотрудников

Людей с различным стажем работы в компании

Сотрудников разного возраста

Процесс разработки тестирования

Определить цели

Написать вопросы

Review вопросов

Тестирование на пилотной группе

Проверка теста

(статистика)

Определение весов вопросов

Определение проходного балла

Публикация теста

Анализ результатов

Ошибки проектирования тестов

Некорректное планирование тестирования

Плохое тестирование может разрушить всю СДО

Отсутствие экспертизы вопросов

Отсутствие проверки теста на пилотной группе

Плохо составленные

тестовые вопросы

Ошибки конструирования

тестаСлабый анализ результатов

Очень простые вопросы

60%

Слишком простые вопросы

40%

Вопросов

ВопросовБолее

30%

Слишком высокая дисперсия вариантов ответов (плохие дистракторы)

Вопросов

Более

20-30%

Низкий (<0.1) или отрицательный коэффициент корреляции между правильным ответом на вопрос и успешным прохождением теста

Вопросов

25%

Длина правильного ответа превосходит среднюю длину дистракторов на 30 символов и более.

Вопросов

Для вариантов ответов не используется перемешивание

Вопросов50%Более

Вопросов70%

Правильный ответ содержится в одном из 2-х первых вариантов ответа(первый вариант в 40%

случаев)

МАГИЧЕСКОЕ ЧИСЛО

Проходной балл определяется

неизвестным науке способом

80

Как создать правильный тест?

Изучайте науку о тестировании1Используйте аналитику в вашей СДО

Постройте правильный процесс создания тестов

2

3

akor@websoft.ruАлексей Корольков