3 стороны точности ответа на вопрос и три инструмента для его оценки

Гатауллина Н.А., НИУ ВШЭ СПб, Департамент иностранных языков

Использование модели SCORE развитии умения оценить вопрос и грамотно ответить на него

Содержание Три стороны и три инструмента,

Этапы проекта,

Предварительный тест и оценка результатов,

Теория подхода,

Практика на занятиях,

Предварительная оценка результатов,

Выводы

3 стороны точности ответа на вопрос и три инструмента для его оценки

1. Соответствие ответа вопросу, 2. Соответствие ответа академическому стилю,3. Соответствие ответа общему процессу развития

продуктивных навыков (speaking, writing) ВШЭ.

4. SCORE (Situation / problematic situation (S) or Cause of situation (C) or Outcomes of the situation (O) or Effects after reaching the outcomes (E) or Resources (R),

5. Position,6. Полнота ответа: 3 аргумента, развитие ответа «from

General to Specific».

Этапы проекта

1. Предварительное тестирование, 2. Теория, 3. Анализ своих работ,4. Сквозное напоминание о критериях 1, 2 модуль,5. Промежуточное устное тестирование,6. Тестирование письменное,7. Экзамен 2 модуля,8. Поддержание идеи 3-4 модуль,9. Экзамен 4 модуля.

Этап 1. 2Q Test

What are the roots of international conflicts? (10 минут)

How can international conflicts influence the life of a person? (10 минут)

Оцените по пятибалльной системе сложность вопроса: 1. 2. 3. 4. 5.

Комментарий: требование 3х развернутых аргументов.

Протестированы Студенты 1 курса: 2

группы А, 1 группа В Студенты 2 курса: 1

группа А, 1 группа В 1 Группа В – контрольная,

остальные – фокус группы

Этап 1. Оценка результатов Критерии оценки результатов

Обработка результатов, Excel Результаты на LMS

SCORE Position Completeness (from General to Specific)

0; 0,5; 1 0; 0,5; 1 0; 0,5; 1

0, 1, 2 0, 1, 2 0, 1, 2

Этап 1. Оценка результатов

   Final

Aspect  Both Q,

averageThe final

R+CThe

average  0,6 6

Сокращения Q- question / questions D- difficulty P – position R- relevance C - Completeness 0, 5 – 50%

  Question 2  

Aspect D SCORE P R C2nd Q,

averageThe average 2,6 0,7  0,6  0,7   0,4 0,6 

  Question 1  

Aspect DSCOR

E P R C1st Q,

average

The average 2,5 0,6 0,6 0,6 0,2  0,5

Этап 2. Обучение студентов. Позиция восприятия

Теория, критерии Position (Who is the subject? From what position are you going to answer?) : I, you, we, they (he, she, it), society.

Examples: - Position 1 (I): What should I do to solve the problem?- Position 2 (you): What can you do to solve the problem?- Position 3 (they, it, he, she or society): What should they/he/she do to solve the problem? What should the society do to solve the problem? - Position 4 (we= I + you or I+them, or I + he+she, or I+you+them), or society): What should we do to solve the problem? What should our society do to solve the problem?

Этап 2. Обучение студентов. SCORE

  CausesПричины

State or problem stateТекущее состояние или проблема

Outcomes Желаемое состояние, цели, задачи

Effects Эффекты от достижения целей, реализации задач

ResourcesНеобходимые ресурсы

Future

What may cause future problems with studying foreign languages?

What problems will students have in studying foreign languages in 10 years?

How may goals in learning foreign languages change in 10 years?

How may / will the person’s life change if he/she has learned a foreign language?

What resources may students need in the future to reach their goals?

Present

What causes the problems that students have in studying foreign languages?

What problems do students have in studying English?

What goals do you have in learning English?

How does / can a person’s life change if he or she reaches the goals?

What resources do you/students need to reach your goals?

Этап 2. Обучение студентов. Полнота ответа (Completeness)

1. Development You should develop your answer, showing your ability to see at least three sides of the coin: - Three arguments,- Three examples, - Three features of an object or a process,- Three explanations why… Remember, you should go from more general points to more specific, developing each side.

2. General to specific Complete answer: - You have developed three arguments from general to specific.- You have developed two arguments from general to specific and one argument only generally. Half-complete answer: - You have developed three arguments only generally,- You have developed only one argument from general to specific and one argument only general issues are mentioned.Incomplete answer:Less development

Этап 3-4. Обучение студентов. Практика на занятии

Просмотр видео и оценка по критериям ответов и вопросов, Анализ своей работы, Файл с критериями на каждом уроке + LMS, Периодическое напоминание о релевантности и полноте, обращение к

критериям при оценке и самооценке работ (параграфов, эссе, ответов на вопросы),

Промежуточный 2Q test, Финальный 2Q test, Занятие по подготовке к экзамену: карточка + ответ на вопросы, Экзамен.

Этап 5. Промежуточная оценка результатов

   Final

Aspect  Both Q,

averageThe final

R+CThe

average  0,8 8

Сокращения Q- question / questions D- difficulty P – position R- relevance C - Completeness 0, 5 – 50%

 Question (Группы А, 1 курс, ноябрь, устные ответы)

 

Aspect D SCORE P R C1st Q,

average

The average

3 0,9 0,9 0,9 0,7  0,8

Question 2 (Preliminary test)

 The average 2,6 0,7

 0,6

 0,7   0,4 0,6 

Этап 3. Предварительные результаты

Повышение оценки за ответ по критериям ВШЭ на 1,5 балла, на 2 балла по критериям «точность»,

Изменение в понимании вопроса и структуры ответа,

Студенты сознательно оценивают релевантность и полноту ответов (дискуссия, полнота ответа, внимание к недостаточности развития аргумента в сильных группах А).

Выводы Что сделано:- Уточнена структура

работы,- Уточнены требования

для студентов, - Структурирована работа

в течение модуля, - Студенты обратили

внимание на важность точности,

Что очевидно важно сделать

- Адаптация критериев.

Как результаты работы можно использовать: Компактный рабочий инструмент Потенциально: Оценка релевантности и полноты

ответа на экзамене, пересмотр критериев конкретно для оценки вопросов,

Отдельный блок, обучение студентов ответам на вопросы,

Краткосрочные дополнительные курсы, готовящие к дискуссиям, дебатам, переговорам,

Для групп В – компактность критериев

Thank you for you attention!