41
Алла Викторовна Щепилова Современные средства оценивания результатов обучения 15.03 / 5.04 / 15.04 Наши темы лекций Типология контроля и современные тенденции его развития Тестирование как форма контроля Тестирования языковых навыков и речевых умений Единый государственный экзамен как форма оценки уровня подготовки выпускников по иностранному языку Уровневое оценивание иноязычной коммуникативной компетенции Языковой портфель как новая форма контроля и самоконтроля в обучении иностранным языкам Модульно-рейтинговая форма обучения и контроля Требования к зачету: Форма отчетности – портфолио по данному курсу. Оценивается по опр. критериям. Заполненные бланки ответов на тесты текущего контроля (они уже будут у педагога, не в портфолио) Тестовые задания разных типов – лексических, грамматических навыков и прочего Рекомендации по подготовке учащихся к разным разделам ЕГЭ Глоссарий основных методических терминов на изучаемом языке Мое самое удачное выполненное задание на языке с комментарием Самоанализ – что освоили, что хотелось бы Анализ тем курса – насколько это было интересно или нет Факультативная часть + полезные инструменты в дальнейшем o Аннотации по вопросам контроля, не входящие в основной список литературы o Презентация одного из международных сертификационных экзаменов o Описание своего уровня владения ИЯ по европейским шкалам

Алла Викторовна Щепилова лекции

  • Upload
    -

  • View
    182

  • Download
    32

Embed Size (px)

Citation preview

Page 1: Алла Викторовна Щепилова лекции

Алла Викторовна Щепилова

Современные средства оценивания результатов обучения

15.03 / 5.04 / 15.04

Наши темы лекций

Типология контроля и современные тенденции его развития Тестирование как форма контроля Тестирования языковых навыков и речевых умений Единый государственный экзамен как форма оценки уровня подготовки выпускников по

иностранному языку Уровневое оценивание иноязычной коммуникативной компетенции Языковой портфель как новая форма контроля и самоконтроля в обучении

иностранным языкам Модульно-рейтинговая форма обучения и контроля

Требования к зачету:

Форма отчетности – портфолио по данному курсу. Оценивается по опр. критериям.

Заполненные бланки ответов на тесты текущего контроля (они уже будут у педагога, не в портфолио)

Тестовые задания разных типов – лексических, грамматических навыков и прочего Рекомендации по подготовке учащихся к разным разделам ЕГЭ Глоссарий основных методических терминов на изучаемом языке Мое самое удачное выполненное задание на языке с комментарием Самоанализ – что освоили, что хотелось бы Анализ тем курса – насколько это было интересно или нет Факультативная часть + полезные инструменты в дальнейшем

o Аннотации по вопросам контроля, не входящие в основной список литературыo Презентация одного из международных сертификационных экзаменовo Описание своего уровня владения ИЯ по европейским шкалам

Page 2: Алла Викторовна Щепилова лекции

Содержание курса

Педагогическое тестирование и его реализация в процедуре ЕГЭ по ИЯ Прочее выше

Содержательные позиции тем курса

Объяснение приоритетного развития форм и средств оценивания (вопросы философии образования)

Их позитивные и проблемные стороны Их функции Их содержание Критерии оценивания (что именно и каким образом – адекватный выбор теста) Предпочтительное использование средств, форм, критериев оценивания (на каких этапах что)

Типология проблем контроля

Контроль – неотъемлимая часть обучения

Выделяют:

Проверка (обратная связь учитель <-> ученик)o Выявлениеo Измерение

Оценивание (процесс)o Оценка (результат процесса)

Количественная (формализированный вид 5, 4, 3…) Качественная (оценочные суждения – хорошо, удовлетворительно; «тема

раскрыта полностью», «высказывание грамматически корректно») Ей присвоен количественный балл

Качество образования – характеристика системы образования, отражающая степень соответствия реальных, достигаемых образовательных результатов, нормативным требованиям, социальным и личностным ожиданиям. Качество это и процесс, и результат.

Общество заинтересовано в качестве системы образования.

Процесс должен соответствовать представлениям о том, «каким должно быть качественное образование» из нормативных документов.

Государство – комплексный мониторинг качества образования – наблюдение за деятельностью государственных учреждений.

Утверждение стандартов образования (норм и требования, определяющий обязательный минимум содержания образовательных программ, уровень подготовки учащихся по данным программам и требования к обеспечению образовательного процесса);

Разработка критериев, по которым можно судить о достижении стандарта Сбор данных о деятельности учреждений Оценка результатов работы образовательных учреждений

Page 3: Алла Викторовна Щепилова лекции

Прием соответствующих мер, для того чтобы образовательный процесс соответствовал стандартам.

Государство также принимает карательные меры.

Традиционные и нетрадиционные формы оценивания и контроля.

Типология контроля 1

Оценивание

Знание, умение, навык Способность, компетентность (оценивание извне – некие действия в реальных условиях)

В последние годы эти формы оценивания имеют тенденцию объединения.

Типология контроля 2

Контроль

Знания, навыки Умения

Типология контроля 3

Оценивание

Нормативное (рейтинговый отбор)

Критериальное (оценивается только испытуемый, ЕГЭ)

Типология контроля 4

Контроль

Периодическийo Тематическийo Текущий (изучили и можем проверять)

Разовый (контрольный, экзамен)o Рубежный (несколько умений)

Ошибка центральной тенденции – не ставит 2 и 5

Ошибка ореола – учится нормально первые курсы, на последних – бросает, но педагог продолжает ставить хорошие оценки.

Психологические качества и свойства личности не должны коррелировать с успеваемостью.

Типология контроля 5

Контроль

Обучающе-диагностический (периодический)

Page 4: Алла Викторовна Щепилова лекции

Результирующий, суммирующий

Типология контроля 6

Контроль

Прямой (непосредственный – собеседование; монологи, полилог и диалог.) Косвенный (для рецептивных видов деятельности: чтение, понимание текста - тесты)

Типология 7

Контроль

Уровневый (А1, А2 …) Внутри уровневый (оценивание)

Типология 8

Контроль

Внешний контроль Самоконтроль (рефлексия над своим обучением через самооценивание, самокоррекцию.

Цель как никогда актуальна сегодня.)

Задача образования – развитие качественного умения к самообразованию.

Типология 9

Холистический (целостный) – основан на общем впечатленииo Эмпирическое сознание – субъективный контроль

Аналитический – на анализе составляющих речевого продукта испытуемого по определенным критериям. У экзаменатора есть шкала, требования, дескриптор ответа и баллов.

o Объективный контроль.

Обеспечение объективности при контроле

1. Тщательно выделять объекты оценивания2. Разработать шкалу оценивания3. Косвенное предпочитать прямому4. Предпочтение коллективного оценивания или автоматизированной обработки результатов5. Жестко регламентировать процедуру контроля (четко заранее)6. Проверять качество оценивания путем сравнения результатов с результатами, полученными с

помощью других форм контроля

Тенденции развития контроля

Изменение философских подходов к контролюo Авторитарность контроля должна уступить место партнерским отношениям между

учеником и учителем – обоюдная ответственность

Page 5: Алла Викторовна Щепилова лекции

o Цель контроля - помощь, а не санкции Изменение в содержании и объектах контроля

o Контроль компетентности, профессиональных качеств – это не нужно Изменения в организационных требованиях к процедуре контроля

o Должно быть прозрачно – учащийся должен знать, что, когда и по каким критериям будет проверяться

o Баланс устных и письменных форм контроля Изменения в функциях контроля

o Слово контроль заменяется словом мониторинг – странная тенденция, ведь мониторинг – постоянное, регулярное наблюдение.

o Контролирующая функция отходит, теперь важна функция диагностики и самодиагностики, планирования и управления, а также обучающая и развивающая функция

Изменения в системе оцениванияo Прозрачность объектов и критериев, процедур контроляo Смещение в сторону уровневого контроляo Не оценивать, сравнивая работы между собойo Учащиеся должны быть ознакомлены с критериямиo Иногда оценивание можно поручить группе учащихся

Тестирование как форма контроля

Тест – проба, проверка, испытание (англ), ввели в конце 19 века. Дж. Кеттлер ввел. В других источниках называют Торндайка, французы – Бине. Тест имеет психологические корни.

Тест появился как психологическая проба, реакция индивида на разные раздражители. Затем тесты проникли в социологию, в педагогику, в медицину.

Тестология – изучение тестов с точки зрения формы, структуры, эффективности.

Тест (лингводидактический) – это совокупность заданий, который предъявляется испытуемому с целью определения уровня или степени развития его речевой или языковой компетенции.

Характеристики

1. Подготовлен в соответствии с разработанными правилами2. Прошел предварительную экспериментальную проверку (подтвердить качество)3. Имеет достаточные характеристики своей эффективности4. Отличается формализацией ответов испытуемого5. Его результаты поддаются критериальной оценке (заранее подготовленные критерии)6. Предполагает последующий анализ, обработку, интерпретацию результатов7. Проводится в равных для всех условиях

Тест в узком смысле – форма контроля, в широком – совокупность всех процедурных этапов: планирование, выделение КИМов (контрольно-измерит материалов), составление, апробация, обработка результатов, интерпретация, улучшение теста, подготовка инструкций, ключей, проведение теста, анализ результатов.

Page 6: Алла Викторовна Щепилова лекции

Классификация тестов

1. По цели примененияa. Диагностирующие (где проблема)b. Констатирующие (усвоен материал или нет)c. Прогностические (готов человек к этому курсу или нет)

2. По виду контроляa. Текущего контроляb. Рубежного контроляc. Итогового контроляd. Заключительного контроля

3. По статусу контролирующей программыa. Стандартизированные (зарегистрированы официально в инстанциях, созданы

коллективом специалистов, иногда целым институтом, апробированы на большом количестве испытуемых)

b. Не стандартизированные (составлены преподами внутри учебного заведения, составлены для конкретных задач)

4. По объекту контроляa. Измеряющие знания (например социокультурные реалии)b. Измеряющие навыки – языковые, лингвистическиеc. Измеряющие умения – коммуникативные

5. По направленности тестовых заданийa. Дискретные (одноаспектные тесты, конкретный языковой материал;

сформированность конкретного речевого умения – только аудирование, например)b. Глобальные (несколько или все аспекты проверки владения ИЯ)

6. По соотнесению с нормами и критериямиa. Нормативно-ориентированные (сравнительный план, рейтинг тестируемых)b. Критериально-ориентированные (определяется уровень обученности по некоторому

критерию) более объемные, чтобы включить требования ГОСТа7. По структуре и способу оформления ответа (относится к нашей практике)

a. Избирательныеb. Со свободно конструируемым ответом

8. По характеру выборочных ответов (к избирательному из пункта 7)a. Альтернативныеb. Множественного выбораc. Перекрестного выбораd. На установление последовательности

9. По гомогенности (схожести) заданийa. На скорость (кто больше заданий сделал, тот и молодец, задания очень похожи)b. На сложность (тут – качественная характеристика, задания разного уровня

сложности: простые, средние и сложные в конце)

Характеристики теста

1. Валидность – пригодность для той цели, ради которой и происходит тестирование.

Page 7: Алла Викторовна Щепилова лекции

a. Внешняя - определяется мерой доверия, которое тест имеет у пользователя.b. Содержательная – соответствие теста объекту тестирования, который заявлен.c. Конструктная – адекватность формы теста (задания должны быть понятны с первого

раза, выполнимы, если заданы очень жесткие временные рамки, напрягающие учащихся)

2. Надежность – тестируется объект, он проверяется с помощью предварительного выполнения. Избирательный тест наиболее надежный. Чем больше альтернатив, тем тест надежнее. Точно объяснены особенности заполнения (в ЕГЭ из-за этого могут быть двойки просто из-за заполнения).

3. Экономичность – возможность дать максимум информации при минимальных затратах усилий и времени. Качество выполнения заданий.

4. Аутентичность – использование аутентичных текстов; ситуации общения должны соответствовать реальности. У составителей ЕГЭ часто есть проблемы с совмещением опыта испытуемого и аутентичностью ситуаций. Ситуация – купить машину, а человек не сталкивался.

Структура теста

1. Информационная часть – инструкция, четкая, понятная, с формулировкой указаний к заданиям.

2. Операционная часть:a. Текст-основа (для чтения; в глобальных тестах) или стимулирующий рисунок (для

говорения)b. Само задание

i. Ответы для выбора - альтернативы (ключ – верный, дистрактор - неверный)ii. Пустое поле для заполнения вместо альтернатив

c. Контрольный листок – бланк для помет.3. Ключи или схемы оценивания – основные требования: только один абсолютно верный ответ.4. Рекомендации по интерпретации тестовых результатов

a. Таблица с оценками за каждую возможно присутствующую часть тестаi. Присутствие необходимых частей работы

ii. Правильность формулированияiii. Логичность высказыванияiv. Оформление высказываний, структураv. Адекватная интерпретация фраз

vi. Формулирование своей точки зрения

Рекомендации – разные для разных видов тестов. Примеры:

1. Суммировать правильные и неправильные ответы2. Расположить работы в ранговом порядке3. Распределить работы на равные группы, если нужно количественно оценить работы

Два последних пункта не показываются испытуемым.

Процедура составления:

1. Определение целей тестирования

Page 8: Алла Викторовна Щепилова лекции

a. Например – лексические навыки и их контроль2. Анализ объектов тестирования

a. Может быть знание самой лексемы, может быть – знание перевода, может – сочетаемости с другими словами; орфографии данного слова – варианты могут быть очень разными.

3. Выбор типа теста зависит от вышенаписанного. Если знание перевода – то множественного выбора.

4. Отбор материала: текст, задание, дистракторы.a. Неверные ответы должны быть правдоподобными, отвлекать от правильных.b. Нужно проводить апробацию, чтобы выявить неактивность дистракторов, отбрасывать

их. Слишком правдоподобные дистракторы тоже нужно убирать.c. Выбор тестового задания

i. Задания закрытой формы – просто подсчитывать ответы (1 ответ – 1 балл)1. Альтернативного выбора, например, - только два варианта.

Используется нечасто, им стоит проверять лишь один элемент. Особенности – задания формулируются в утвердительной форме. Ответ всегда есть в тексте-основе. В то же время, ответ не должен совпадать с текстом на 100%. Утверждение должно быть абсолютно (не)правильным. Никакой двусмысленности. Достоинства – просто выполнить и подсчитать ответы. Недостатки – легко угадать не думая; усложняет тест третий вариант «в тексте не указано». Можно также формулировать задание в отрицательной форме. «Не» сильно сбивает.

2. Множественного выбора широко используется, подходит для проверки абсолютно разных навыков. Вероятность угадывания тут ниже, проблема – трудно подобрать равноценные дистракторы. Требования – правильные и неправильные ответы должны быть примерно одинаковыми по структуре, форме и содержанию. Правильный ответ не должен быть всегда на одном месте. Ни один из дистракторов не должен быть частично верным, есть исключения. Одно задание, выполненное верно, не должно быть ключом к выполнению следующего.

3. Тест перекрестного выбора. Включает в себя две колонки – авторы и их произведения, например. Требования. Колонки нумеруются по-разному, внизу составляется пояснение (или как-то иначе). Предлагаемые множества должны быть гомогенными. Дистракторы должны быть равновероятными. В одной из колонок элементов должно быть на 1 больше, чем во второй – усложнение (чтобы избежать метода исключения). Балл начисляется за каждый правильно найденный ответ.

4. На установление правильной последовательности. ii. Задания открытой формы

1. Задания с кратким ответом – мы вписываем какое-то слово или предложение, дополняем пр-я словами или словосочетаниями. Ответы должны быть однозначными без вариантами. Могут быть опоры в тесте, чтобы можно было вспомнить четко ответ.

Page 9: Алла Викторовна Щепилова лекции

2. Задания с развернутым ответом – чтобы проверить умения говорения или письма.

5. Составление ключей и инструкций6. Апробация7. Коррекция

Сложность заданий определяется в процентном соотношении. Процентом тех, кто его сделал правильно. Допустим, 45% сделали задание верно. Значит трудность теста – 0,45. Чем ниже значение, тем сложнее задание (например, 0,16 – лишь 16% учеников ответили верно).

Page 10: Алла Викторовна Щепилова лекции

Лекция 5 апреля

Тестирование речевых навыков и умений

Чтение, что требуется при проверке чтения

Прогнозирование Понимание фактов Причинно-следственные связи

Объективное тестирование лексических навыков

Что нужно знать тестируемому:

Формуo Наиболее подходит тест множественного выбора

Анализ типичных ошибок: например – слова на ИЯ, три варианта, звучат одинаково, но пишутся по разному и имеют различное значение (глаголы voit, voie, voix во французском); выбор определенного вида части речи из ряда слов (найти существительное)

Значение Употребление ЛЕ

Нужно владеть навыками оперирования ЛЕ.

Знание ситуации общения:

Фразу «Я сожалею» можно произнести в разных ситуациях, приводятся варианты таких ситуаций.

Лексический навык – операция вызова слова, операция сочетаемости слова.

Лексический навык. Чтобы проверить операцию вызова слова, можно применять тесты множественного выбора типа «какое слово является лишним» на выбор неподходящего слова в ряду. Что касается операции сочетаемости – найти дополнение к глаголу, соответствующее существительное и прилагательное и пр. Обычно тут используются тесты перекрестного выбора, нахождение соответствия в двух столбцах.

Для рубежного контроля эти объекты тестирования слишком мелкие. Для проверки лексических навыков в рубежном тестировании или ЕГЭ используют текст-основу, в который надо вставить предлагаемые варианты ответа (Lückentext с вариантами пропусков). Тест получается комплексным – и вызов, и сочетаемость слова.

Грамматические навыки

Знать:

Формуo Тест множественного выбора – найти глагол, который стоит в нужном наклонении и

т.д. Значение

Page 11: Алла Викторовна Щепилова лекции

o Тоже тесты множественного выбора – выбрать грамматическую форму для перевода подчеркнутого слова. В основном на узнавание.

Употребление грамматического явленияo Употребительны тесты с закрытой формой – вставить служебное слово, глагол в

нужной форме.

Владеть – навыками оперирования грамматическим материалом.

Навыки оперирование грамматическим материалом – узнавание и понимание + выбор структуры и ее оформление

Навыки могут тестироваться при помощи реконструкции предложений – восстановление структуры предложения из разрозненных слов. Как и в лексике каждый из навыков может тестироваться как отдельно, так и вместе. Если вместе, то используется текст-основа с пропусками.

Аудирование и чтение

Оба вида детятельности внутренне активные. Их объединяют общие психические механизмы – внутреннее проговаривание и пр. При аудировании важны условия восприятия на слух – темп, тембр. Тем не менее, комплекс умений примерно одинаков.

Чтобы определить объект тестирования, нужно выделить уровни понимания текста.

Уровни понимания текста

Общее понимание (ознакомительное чтение) Извлечение нужной информации Детальное понимание

o Те же стратегии, что и на более низких уровнях. На этом уровне просто больше стратегий.

Рецептивное умение чтения и аудирования подразделяется в соответствии с видами смысловой информации на:

Содержательно-фактуальную информацию (факты, события, процессы, явления)o На уровне общего пониманияo На уровне избирательного понимания

Содержательно-концептуальная информация (понимание причинно-следственных связей, отношений между явлениями)

o На уровне детального понимания Содержательно-подтекстовая информация (самая сложная, имплицитная, скрытая, не

выраженная прямо – авторское отношение, мораль текста – читатель извлекает сам)o Также детальный уровень понимания

Объекты оценивания на уровне общего понимания

Понимание темы текста Понимание основных фактов Выделение ключевых слов, опираясь на которые (а также на заголовок) можно понять текст Понимание главной мысли, идеи, проблемы

Page 12: Алла Викторовна Щепилова лекции

Понимание логической последовательности событий и установление логико-смысловых связей между фактами текста.

Объекты оценивания на уровне детального понимания

Отделять главные факты от второстепенных Детальное понимание информации вплоть до второстепенной информации – пояснения,

уточнения, дополнения Обобщать содержащиеся в тексте факты Выделять информацию, составляющую аргументацию – аргумент, контраргумент Понимать эмоционально-оценочные компоненты Понимать подтекст Делать выводы на основе полученной информации, оценивать ее новизну, проблемность –

интерпретировать информацию и определять собственное отношение к ней

Трудность – лингвистическая и содержательная.

Лингвистическая трудность – незнакомая лексика, сложная грамматика.

Тексты с незнакомой лексикой брать можно (решается проблема языковой догадки, процент незнакомой лексики ограничен), а незнакомую грамматику брать нет смысла. Чем сложнее задание, тем меньше незнакомой лексики должно быть в тесте (если на подробное понимание текста, например). Тексты с простыми заданиями могут содержать большое количество незнакомой лексики.

Содержательная трудность текста:

Тип и характер текстаo Трудными являются аутентичные тексты книжно-письменной и официальной речи,

описания. К среднему уровню трудности – методически адаптированные устно-разговорные материалы неофициального характера и литературные тексты (несколько адаптированные), описательно-повествовательные диалоги, монологи. Легкие – тексты устной разговорной речи.

o Для звучащего текста есть закономерности В аудировании легче воспринимается монологическое высказывание, в

монологе не нужно переключаться на тембры голоса разных собеседников. В аудировании не принято предлагать юмористические тексты.

Характер выражения ключевой информацииo Эксплицитный – вербально выраженный

Если берем газетно-журнальный текст, легче текст, в котором проблема выражена вербально, нежели извлекать проблему на основании понимания.

o Имплицитный – не выраженный Тема сообщения

o Текст должен сочетаться с жизненным опытом тестируемого. Если содержание текста не входит в его жизненный опыт, мы усложняем его задачу. Скажем, тексты о выборе профессии в 6 классе.

Социокультурная информация

Page 13: Алла Викторовна Щепилова лекции

o Нужно помнить, что насыщенность реалиями, событиями, наличие имен собственных, дат, не связанных с жизненным опытом тестируемого – всё это сильно усложняет понимание.

Требования к тексту-основе

Текст не должен быть избыточным – потенциально содержать дословные ответы на вопросы к тексту. Их надо модифицировать.

Не должен быть большим по объему – 25-30 строк для средней/старшей школы. Не быть известным – вдруг кто-то знает текст лучше, чем другие.

Что такое аудитивная трудность текста (текста для аудирования)

Объем звучащего текста – посмотреть в ГОСТе, в каком классе какого объема тексты. В 9 классе – 1,5/2 минуты звучащего текста.

Темп речи – чем быстрее человек говорит, тем труднее понимать. Также трудно понимать замедленную речь, ее трудно удержать в кратковременной памяти. Нужно помнить, что каждый язык имеет свой темп. Примерный темп – 100-150 слов в минуту.

Число предъявлений текста – цель-понимание информации с первого раза. В жизни информацию никто не повторяет.

Говорение:

Диалогo Реактивен – первая реплика – стимул. Ответ – реакция.o Ситуативенo Иллокутивен – мы говорим друг с другом, намерение – коммуникация.

Монологo Не реактивенo Развернут – опирается на внутренний план высказыванияo Логиченo Локутивен – доминирует передача содержания, нежели смена коммуникативных

намерений.

Есть общие моменты – представление о том, что будет говорить человек-содержание. Это локутивный акт, пропозиция.

Диалогическая речь ситуативна. Чтобы диалог состоялся, нужно создать ситуацию.

Моделирование коммуникативной ситуации:

Обстановка – место действия, время Социальный и коммуникативный статус партнеров – одноклассник, член семьи, продавец Цель общения – кореллирует с функциями общения Предмет общения – покупки, мода, спорт Эмоции – удивиться, обрадоваться

Функции общения

Информативная – разъяснение чего-то, объяснение

Page 14: Алла Викторовна Щепилова лекции

Регулятивная – воздействовать на собеседника, приказать, посоветовать, отказаться Эмоционально-оценочная – выражение отношения, сомнения, например Этикетная – служит для реализации принятых в обществе форм общения, например,

поздравление, соболезнование и пр.

Чтобы возник диалог – нужна ситуация, чтобы монолог – нужен стимул. У обеих форм говорения есть свои объекты.

Специфические умения диалога:

Умение взаимодействовать – начать беседу, поддерживать ее с соблюдением очередности при обмене репликами, побуждать партнера к продолжению разговора, проявлять инициативу при смене темы, восстанавливать беседу в случае сбоя коммуникации.

Умение высказываться согласно ситуации общения и коммуникативной задаче. Умение отбирать адекватные средства для решения задачи.

Специфические умения монолога

Умение структурировать связное высказывание таким образом, чтобы оно включало введение, сообщающее информацию о предмете речи, основную часть и заключение или выводы

Умение высказываться соответственно коммуникативной задаче, то есть продуцировать устный текст определенного типа (описание, повествование, рассуждение, аргументация), соответствующий теме высказывания

Связность, логичность, последовательность изложения

Всегда нужно выбирать фразы в диалоге соответственно ситуации общения.

Формулируется коммуникативная задача с развернутым видом – в комплексном тестировании важна реализация различных умений.

Как можно оценивать продуктивные виды речевой деятельности?

Есть множество параметров – нужно оценивать решение коммуникативной задачи, умение выбрать адекватное средство, применять социо-лингвистическую компетенцию.

Критерии оценивания диалога.

Умение решить коммуникативную задачу Умение взаимодействовать с собеседником Лексическое оформление речи Грамматическое оформление речи Произношение

Например, по 3 балла за критерий.

Дескриптор умения решить коммуникативную задачу:

3 балла – задание полностью выполнено – логично и связно ведет беседу.

2 балла – задание полностью выполнено – в целом логично и связно ведет беседу.

Page 15: Алла Викторовна Щепилова лекции

1 балл – задание выполнено частично – неспособен логично и связно вести беседу.

0 – задание не выполнено – цель общения не достигнута, не может поддерживать беседу.

Дескрипторы нужны на все критерии.

Письмо – нужно рассматривать на нескольких уровнях – уровень каллиграфии, уровень орфографии и пунктуации, далее – умения письменной речи – синтаксиса и стилистический уровень.

Требования ГОСТа ни разу не менялись за последние 5 лет.

Объекты контроля умений письма

Композиционно структурировать текст Соблюдение логики текста, владение средствами логической связи

o Есть требование к делению текста на абзацы, оно не менялось 5 лет, но оно не имеет отношения к оцениванию письма. Это архитектоника текста.

Уровневое оценивание иноязычной коммуникативной компетенции

Международная сертификация

В конце 20 века в Европе начался процесс глобализации и стали появляться экономические мигранты. Возникла проблема оценивания знаний людей в ИЯ. Кроме того, в каждой стране свои особенности преподавания.

Система подходов к преподаванию ИЯ Стандартизация оценок уровней владения языком.

o Уровни вне зависимости от места изучения человеком языка A – элементарное владение A1|A2 – уровень выживания B – самостоятельное владение B1|B2 C – свободное владение C1|C2

o Система уровней + их описание

Деятельностный подход – ведущий в Европе. Суть – научить деятельности вне деятельности нельзя.

Совет Европы инициировал разработку проекта, который привел к созданию документа «Общеевропейске компетенции владения ИЯ: изучение, преподавание, оценка», который решил вышеописанные 2 проблемы.

Page 16: Алла Викторовна Щепилова лекции
Page 17: Алла Викторовна Щепилова лекции

Составляющие общей компетенции человека

Общая компетенция – предыдущий опыт, полученный человеком. Умения и знания из жизни – эмпирические, из школы – академические.

Знания Умения – способ успешного выполнения действия

o Первичные, несовершенныеo Вторичныеo Ценности, отношенияo Когнитивные – умение учиться

Ценности, отношение Умение учиться

Структура коммуникативной компетенции человека

Коммуникативная компетенция

Языковая – знание и владение аспектами языка – лексика, грамматика, фонетика Речевая, дискурсивная – умение порождать коммуникативно-приемлемую речь, корректно

интерпретировать речь на ИЯ. Умение выбирать форму общения в зависимости от ситуации. Социокультурная Компенсаторная – умение компенсировать недостаток языковых средств невербальными

средствами

Речевая деятельность – применение коммуникативной компетенции в определенной сфере общения в процессе порождения или восприятия устных или письменных текстов, направленное на выполнение конкретных коммуникативных задач.

Традиционно выделяют виды речевой деятельности:

Чтение Письмо Говорение Аудирование

На немецком.

Hörverstehen Leseverstehen Hören Schreiben

Виды речевой деятельности

Рецепция (чтение, аудирование) Продукция (монолог, письмо) Интеракция (диалог, переписка) Медиация (перевод, интерпретация, пересказ 3 лицу)

Типы речевых действий

Устная продукция:

Краткие публичные

выступления

Развернутые

монологи

(выступление,

рассказ)

Page 18: Алла Викторовна Щепилова лекции

Письменная продукция

Заполнение

формуляров и анкет

Написание статьи

Создание объявлений

и афиш

Конспектирование

Запись под диктовку

Устная рецепция

Телевидение, видео,

кино

Спектакли

Мультимедиа

Письменная интеракция

Обмен письмами

Чаты

Сфера общения – широкий спектр общественной жизни, в котором осуществляется социальное

взаимодействие. Сфер общения всего 4. Каждый пункт имеет свои темы речи. Есть общий ряд тем

(личность, дом, быт, досуг и отдых, путешествия, взаимодействие, общение), каждая тема имеет

подтемы (досуг – интересы, кино-музеи-выставки, спорт, пресса).

Образовательная

Профессиональная

Общественная

Личная

Стратегия – это выбираемый человеком курс действий, направленный на решение задач. Принятие

линий поведения, которое обеспечивает максимальную эффективность выполнения задач.

Для каждого вида речевой деятельности характерны свои стратегии:

Планирование

Выполнение

Ревизия

Коррекция

Page 19: Алла Викторовна Щепилова лекции
Page 20: Алла Викторовна Щепилова лекции

Проблема шкал оценивания

Page 21: Алла Викторовна Щепилова лекции

Степень детализации оценочных шкал

Коммуникативная компетенция

Вид речевой деятельности

Специфические умения в видах речевой деятельности

Речевое действие/речевой акт

Page 22: Алла Викторовна Щепилова лекции

Лекция 19 апреля

Языковой портфель

Новая форма контроля и самоконтроля

Учебный портфель возник в США в 80-е гг XX века – период развития системы образования. Идея

пакета документов, которые представляют человека и его деятельность. Иначе это называется

портфолио.

Языковой портфолио - это форма и процесс организации (коллекция, отбор, анализ) образцов и

продуктов учебно-познавательной деятельности обучающегося, предназначенных для

последующего их анализа, количественной и качественной оценки объема работы и спектра

достижений ученика в области изучения языка, динамики овладения языком в его различных

аспектах, опыта учебной деятельности учащегося. Чрезвычайно важен процесс рефлексии ученика в

процессе сбора своего портфолио. Без рефлексии портфель – это просто папка для бумаг, не

выполняющая свои функции.

Смещение акцента с того, что учащийся не знает и не умеет, к тому, что он знает и умеет по данной

теме, в данной области; перенос педагогического ударения на самооценку.

Есть огромное количество видов портфолио, это целый раздел в методике обучения языка. Лидеры

в этой области – американцы.

Типология языковых портфелей

Show case - языковой портфель как инструмент демонстрации учебного продукта – результат

овладения иностранным языком;

Language learning portfolio – как инструмент автономного/рефлексивного изучения

иностранного языка;

Feedback language portfolio – как инструмент обратной связи в учебном процессе по

иностранному языку;

Self-assessment language portfolio – как инструмент самооценки достижений учащегося в

процессе овладения им иностранным языком и уровня владения иностранным языком.

Self - assessment language portfolio

В Европе очень озаботились моментом изучения ИЯ с начала эпохи глобализации.

Языковой портфель европейца: задачи

Page 23: Алла Викторовна Щепилова лекции

документировать языковое образование обладателя портфеля по любому количеству языков;

давать информацию работодателям об уровне владения языками обладателя портфеля;

предоставлять возможность образовательным учреждениям понятно и полно сообщать о

программах обучения, которые освоил обладатель портфеля и его аттестации;

усиливать заинтересованность человека в обучении на протяжении всей жизни;

повышать способность обучающихся планировать, контролировать процесс обучения и

самостоятельно оценивать уровень своих знаний.

Разделы портфеля европейца

языковой паспорт

o как изучался язык, где, как он использовался

языковая биография

o сюда помещаются разные анкеты, которые заполнялись человеком о том, как он

учился, уровневые шкалы

досье

o сертификаты, документальные свидетельства об успехах человека в изучении языков

Применения языкового портфеля европейца

увеличение личной ответственности учащегося за результаты его обучения

повышение мотивации к изучению и использованию языков

обеспечение преемственности изучения языков в системах довузовского, вузовского и

послевузовского образования

o копии аттестатов, документов об окончании курсов и пр.

Language learning portfolio

Часто прилагается в комплектах к учебникам. Этот портфель составляется методистами или

авторами учебника.

Структура портфеля достаточно вариативна.

Задачи портфеля-дневника (language learning)

самооценка учащимся своего уровня владения ИЯ;

развитие способности к самостоятельному управлению процессом овладения и

совершенствования изучаемого языка и систематическому мониторингу своего продвижения

в уровне владения ИЯ;

Page 24: Алла Викторовна Щепилова лекции

средство обратной связи.

Структура такого портфолио

сведения о пользователе

o резюме личных данных и языкового опыта

страницы самооценки и целеполагания, встречается редко

o в начале года портфолио содержит тест, который нужно выполнять; если тест

выполнен – ученик может учиться по данному учебнику – точка отсчета прогресса

деятельности; анкеты, которые принято включать в портфели-дневники – мотивация

ученика к изучению языка, к постановке новых целей обучения

страницы личностной самооценки

o тесты, направленные на осознание своих личных особенностей – когнитивного стиля,

обработки информации

рекомендации по самостоятельной работе

o в занимательной форме шарад, загадок, или в форме советов развиваются учебные

приемы учащихся – научить читать без использования словаря, подготовиться к

публичному выступлению, к контрольной работе, как лучше запоминать слова и т.д.

средства самостоятельной диагностики и оценки

o анкеты типа: я научился, я умею/я не умею – что было включено в уроки данного

учебника + оценочные шкалы

задания по видам речевой деятельности

страницы для создания личных справочных материалов

o страницы для недостаточно усвоенной лексики, страницы для грамматических

пометок

страницы итоговой самооценки

o шкалы уровневого оценивания

Результат использования таких портфелей

Постепенное осознание учащимся себя как субъекта учебной деятельности, овладение учебными

приемами и стратегиями, развитие учебной автономии.

Show case ( репрезентативная функция )

Учитель часто задает позиции, которые должны быть в таком портфеле

Page 25: Алла Викторовна Щепилова лекции

Его функции: накапливать и представлять образцы речевых произведений, опыта, иноязычного

речевого общения, использования языка в различных ситуациях, творческие работы учащегося.

Содержание такого портфеля

1. краткая история успехов ученика по иностранному языку

анкета или рассказ в свободной форме

2. лист целей, которых учащийся хотел бы достичь после изучения темы, по окончанию

четверти/года

3. домашние работы

лишь самые удачные, творческие, или по одному за блок обучения

4. контрольные, самостоятельные работы, тесты

что именно нужно получить от ученика – по определенному принципу – самую

удачную и самую неудачную с исправлением ошибок

5. работы, выполненные сверх учебной программы

чаще у старшеклассников

6. индивидуальные и групповые проекты

лишь если учитель работал с групповыми проектами в классе

7. рефераты социокультурного содержания по пройденным темам

8. наглядные пособия

сделанные своими руками, чаще младшими учениками

9. любимая работа с комментариями (момент рефлексии)

10. копии статей из журналов, газет, с интернет-сайтов, компьютерных энциклопедий,

прочитанных по изучаемым темам

11. доклады, сделанные на конференциях

12. описание ситуаций, когда учащийся использовал ИЯ для общения/получения знаний

13. копии работ с внешкольных конкурсов, олимпиад

14. дипломы, поощрения, награды

15. листы оценок учителя по работам учащегося с комментариями

16. письменная рецензия независимого рецензента

иногда дается родителям

Систематизации такого портфеля show case

заранее известные требования к созданию и оформлению портфеля

обязательное оглавление с перечислением элементов

датировка каждого элемента содержания

Page 26: Алла Викторовна Щепилова лекции

личные комментарии к каждому элементу содержания

самоанализ и «взгляд в будущее»

В школьном журнале в последнем номере дается аннотация статей за прошедший год, часто инфа о

школьном портфеле.

Принципы строения такого портфеля show case

всесторонность, самооценка результатов овладения всеми составляющими

коммуникативной, социокультурной компетенции

систематичность и регулярность самомониторинга

спланированность, изначальная структуризация материалов портфеля

информативность, логичность, лаконичность письменных пояснений и комментариев

o значимое для учителя, ученика, администрации

целостность и тематическая завершенность представленных материалов;

аккуратность и эстетичность оформления портфеля.

Проблемы оценивания

проблема обязательного минимума и необязательного максимума элементов

o до какого предела нужно включать элементы

проблема распределения веса оценки между элементами

o «какие элементы сколько должны стоить»

o качество элементов, значимость

противоречие между философией количественно-качественной оценки портфолио и

требованиями школьной администрации выводить стандартную количественную отметку

Система оценивания портфолио

Последовательность шагов:

выделения количества категорий содержания

o обязательные – 40%

o поисковые – 30%

доклады

проекты

o ситуативные – 15%

использование ИЯ в общении

o описательные 10%

Page 27: Алла Викторовна Щепилова лекции

o внешние 5%

определение критериев качества исполнения

o прогресс в сформированности речевых умений

o адекватное применение данных умений на практике в целях аутентичной

коммуникации и поиска информации

o сформированность умений самомониторинга, самоконтроля и самооценки

o стремление к совершенствованию умений путем выполнения дополнительных задач

o умение применять современные технические и мультимедийные средства

o эстетичность оформления портфолию

составление обобщенных дескрипторов

o самый высокий уровень дескрипторов:

Портфолио данного уровня полностью соответствует количественным

показателям и критериям качества. Содержание такого портфолио

свидетельствует о больших приложенных усилиях и очевидном прогрессе

учащегося, наличии умений самооценки и творческом отношении к предмету. В

содержании и оформлении портфеля проявляется индивидуальность ученика.

o высокий уровень

хороший прогресс в языковых навыках, умениях, социокультурных знаниях и

умениях самостоятельного обучения; могут отсутствовать некоторые элементы

из необязательных категорий, может ощущаться недостаточно творческий

подход к составлению и оформлению портфолио; может быть нарушено

процентное содержание категорий портфолио – снижена доля поисковых

работ.

o средний уровень

основной акцент сделан на обязательной составляющей, по которой можно

судить о сформированности программных умений; отсутствуют свидетельства

творческого и прикладного применения полученных умений; личные

комментарии лишь эпизодические и слабые – учащийся слабо владеет

приемами самоконтроля и самооценивания

o слабый уровень

по портфолио трудно судить, что учащийся над собой работал, не зафиксирован

прогресс учащегося в речевых и учебных умениях; представлены отрывочные

задания из разных категорий, содержание бессистемно.

Page 28: Алла Викторовна Щепилова лекции

Недостатки этой технологии «языковой портфель»

проблема учебного времени

o затрачивается учебное время, хоть раз в неделю надо уделить внимание составлению

портфолио

организационные трудности

o сдача, защита, хранение

нечеткость в определении состава и объема портфолио

o нужно продумывать, что нужно получить на выходе, учителю приходится объясняться с

разными сторонами

отсутствие четкой ориентации при оценке

трудоемкость процесса проверки

неготовность принимать инновацию

Преимущества языкового портфеля

органичное интегрирование преподавания, учения и оценивания

реализация философии педагогики сотрудничества с целью оценки достижений,

приложенных усилий, прогресса в обучении

замена оценивания на самооценивание и взаимооценивание

портфель – это средство воспитания ответственности за свое обучение, привычки к

постоянному самомониторингу

дает возможность учащемуся проследить динамику своего уровня владения ИЯ

это более аутентичная форма оценивания (творческий продукт получает оценку) –

оценивается решение реальных коммуникативных и учебных задач, продукты креативной

учебной деятельности

легкая интеграция в профессиональные и служебные системы оценивания

Модульно-рейтинговая форма обучения и контроля

Эта система возникает практически на наших глазах и связана с переходом на

бакалавров/магистров. Образовательная программа должна быть мобильна и вариативна.

Модульное обучение

Авторы: Skinner B.F., Goldshmid B., Curch C., Russell J.D., Owens G., Юцевичене П.А.

Модульные программы позволяют:

Page 29: Алла Викторовна Щепилова лекции

гибко строить содержание обучения из сформированных единиц учебного материала (блоков

и модулей)

интегрировать различные методы и формы обучения

выбирать наиболее подходящие из них для определенной аудитории обучающихся

самостоятельно работать с предложенной индивидуальной учебной программой в удобном

темпе

установить междисциплинарные связи, систематизировать знания

На этапе старшей школы робко появляются модульные программы – углубленные в определенные

области.

Цель – создание гибких по содержанию и организации обучения образовательных структур,

гарантирующих удовлетворение индивидуальных познавательных потребностей, нового

возникающего интереса.

Части таких программ называются модулями.

Модуль как единица государственного учебного плана по специальности

Модуль как организационно-методическая структура, который представляет набор тем или

разделов из разных учебных дисциплин

Модуль как организационно-методическая структурная единица в рамках одной учебной

дисциплины

Модуль как организационно-методическая структурная единица в рамках одной учебной

дисциплины:

относительно завершенный по содержанию элемент обучения

автономная единица в спланированном ряду видов учебной деятельности

блок информации, включающий в себя логически завершенную единицу учебного материала,

целевую программу действий и методическое руководство, обеспечивающее достижение

поставленных дидактических целей

Порядок модульной структуризации

1. выделение целей

2. выделение содержания модулей

3. разработка системы контроля и самоконтроля

4. составление методического руководства по овладению содержанием модулей

Дидактическая таксономия целей

Page 30: Алла Викторовна Щепилова лекции

Цели обучения

по уровням

o общепедагогические цели

в конце ГОСТа их можно найти – квалификационные характеристики, модели

личности выпускника

o учебные цели предмета

o оперативные цели видов занятий, видов деятельности – формирование навыков и

умений, после этого цели группируются по функциям

интегрирующие (общие)

частные

по функциям

o познавательные

o операционные

Таксономия целей обучения ИЯ

Коммуникативная компетенция

языковая

o грамматические умения и навыки

виды и подвиды

o лексические умения и навыки

виды и подвиды

o фонетические умения и навыки

виды и подвиды

речевая

o умение чтения

виды и подвиды

o письма

o говорения

o аудирования

социокультурная

o знания (виды)

o умения (виды)

Пример модульной программы

Page 31: Алла Викторовна Щепилова лекции

Профильно-ориентированное чтение

интегрирующая цель

o формирование умения чтения (и говорения/письма)

частные цели

o глобальное понимание текста

поиск информации

o детальное понимание текста

составление тезауруса

o создание понятийных статей

составление аннотаций

Содержание обучения ИЯ (По И.Л. Бим)

Идеальный аспект

o сферы, темы, проблемы, предметы речи, коммуникативные роли и намерения

Материальный аспект

o единицы языка и речи от звука/буквы до целого текста

Процессуально-деятельностный аспект

o речевые действия с единицами языка и речи в целях решения учебно-познавательных

и коммуникативных задач в процессе говорения, аудирования, чтения, письма

Мотивационный/ценностно-ориентационный аспект

o чувства и эмоции, вызываемые взаимодействием выделенных компонентов

содержания и создающие благоприятную обучающую среду

Критерии отбора содержания обучения для модульных программ

автономность содержания модуля

необходимость и достаточность отобранного содержания для решения поставленных целей

возможность усвоения содержания обучения при определенных условиях обучения, в первую

очередь – количества часов, отводимых на изучение модуля

некоторая избыточность содержания модуля для обеспечения каждому обучающемуся

возможности достичь поставленной цели своим индивидуальным путем

направление содержания на учебную самостоятельность учащихся

проблемность подачи содержания в модуле

Принципы структурирования содержания модульной программы по ИЯ

Page 32: Алла Викторовна Щепилова лекции

принцип целостности содержания модуля, единство

o учебного материала

o методических средств

o комплексов контрольных заданий

o средств оценивания

принцип вариативности содержания

o уровневая дифференциация содержания

o создание условий для определения индивидуальной траектории обучения

o создание условий для индивидуального выбора средств обучения

Инфобанк модуля по ИЯ (его создание – 2 шаг)

тексты или указания на местонахождение текстов

теоретическая информация

Рейтинговая технология

учет накапливаемых оценок в баллах за текущие работы

последовательное суммирование оценок по предмету в течение определенного периода

системный подход к изучению дисциплины – регулярная, сдаваемая в определенные сроки

отчетность об индивидуальной работе

Блок рейтингового оценивания

база контрольных заданий

оценочные шкалы

рейтинговые учетные журналы

Рекомендации – см фото

Последовательность конструирования модульной программы

определение потребности аудитории и цели программы

материал учебной дисциплины

определение частных целей изучения каждого модуля

для каждого блока – банк исходной информации

разработка информации и помещение ее в инфобанк

разработка инфобазы + банка контрольных заданий

составление методических рекомендаций

Page 33: Алла Викторовна Щепилова лекции

Другие см на фото

Рейтинговая система оценивания

Рейтинг очень популярен

Возможные объекты контроля

контрольные работы

тесты, в т.ч. компьютерные

сочинения

устные выступления на семинарах

выполнение домашних работ

рефераты

презентации

доклады

аннотации к прочитанному