3 стороны точности ответа на вопрос

и три инструмента для его оценки

Гатауллина Н.А., НИУ ВШЭ СПб,

Департамент иностранных языков

Использование модели SCORE

развитии умения оценить вопрос

и грамотно ответить на него

Содержание

Три стороны и три инструмента,

Этапы проекта,

Предварительный тест и оценка

результатов,

Теория подхода,

Практика на занятиях,

Предварительная оценка результатов,

Выводы

3 стороны точности ответа на вопрос и три

инструмента для его оценки

1. Соответствие ответа вопросу,

2. Соответствие ответа академическому стилю,

3. Соответствие ответа общему процессу развития продуктивных навыков (speaking, writing) ВШЭ.

1. SCORE (Situation / problematic situation (S) or Cause of situation (C) or Outcomes of the situation (O) or Effects after reaching the outcomes (E) or Resources (R),

2. Position,

3. Полнота ответа: 3 аргумента, развитие ответа «from General to Specific».

Этапы проекта

1. Предварительное тестирование,

2. Теория,

3. Анализ своих работ,

4. Сквозное напоминание о критериях 1, 2 модуль,

5. Промежуточное устное тестирование,

6. Тестирование письменное,

7. Экзамен 2 модуля,

8. Поддержание идеи 3-4 модуль,

9. Экзамен 4 модуля.

Этап 1. 2Q Test

What are the roots of

international conflicts? (10

минут)

How can international conflicts

influence the life of a person? (10

минут)

Оцените по пятибалльной

системе сложность вопроса: 1.

2. 3. 4. 5.

Комментарий: требование 3х

развернутых аргументов.

Протестированы

Студенты 1 курса: 2

группы А, 1 группа В

Студенты 2 курса: 1

группа А, 1 группа В

1 Группа В – контрольная,

остальные – фокус группы

Этап 1. Оценка результатов

Критерии оценки результатов

Обработка результатов, Excel

Результаты на LMS

SCORE Position Completeness (from

General to Specific)

0; 0,5; 1 0; 0,5; 1 0; 0,5; 1

0, 1, 2 0, 1, 2 0, 1, 2

Этап 1. Оценка результатов

Final

AspectBoth Q,

average

The final

R+C

The

average 0,6 6

Сокращения

Q- question / questions

D- difficulty

P – position

R- relevance

C - Completeness

0, 5 – 50%

Question 2

Aspect D SCORE P R C

2nd Q,

average

The

average 2,6 0,7 0,6 0,7 0,4 0,6

Question 1

Aspect D SCORE P R C

1st Q,

average

The

average 2,5 0,6 0,6 0,7 0,2 0,5

Этап 2. Обучение студентов.

Позиция восприятия

Теория, критерии

Position (Who is the subject? From what position are you going to answer?) : I, you, we, they (he, she, it), society.

Examples:

- Position 1 (I): What should I do to solve the problem?

- Position 2 (you): What can you do to solve the problem?

- Position 3 (they, it, he, she or society): What should they/he/she do to solve the problem? What should the society do to solve the problem?

- Position 4 (we= I + you or I+them, or I + he+she, or I+you+them), or society): What should we do to solve the problem? What should our society do to solve the problem?

Этап 2. Обучение студентов. SCORE

Causes

Причины

State or problem

state

Текущее

состояние или

проблема

Outcomes

Желаемое

состояние, цели,

задачи

Effects

Эффекты от

достижения

целей,

реализации задач

Resources

Необходимые

ресурсы

Future What may cause

future problems

with studying

foreign languages?

What problems

will students have

in studying

foreign languages

in 10 years?

How may goals in

learning foreign

languages change

in 10 years?

How may / will the

person’s life change

if he/she has

learned a foreign

language?

What resources

may students

need in the

future to reach

their goals?

Present What causes the

problems that

students have in

studying foreign

languages?

What problems do

students have in

studying English?

What goals do you

have in learning

English?

How does / can a

person’s life change

if he or she reaches

the goals?

What resources

do you/students

need to reach

your goals?

Этап 2. Обучение студентов.

Полнота ответа (Completeness)1. Development

You should develop your answer,

showing your ability to see at least three

sides of the coin:

- Three arguments,

- Three examples,

- Three features of an object or a

process,

- Three explanations why…

Remember, you should go from more

general points to more specific,

developing each side.

2. General to specific

Complete answer:

- You have developed three arguments from general to specific.

- You have developed two arguments from general to specific and one argument only generally.

Half-complete answer:

- You have developed three arguments only generally,

- You have developed only one argument from general to specific and one argument only general issues are mentioned.

Incomplete answer:

Less development

Этап 3-4. Обучение студентов. Практика на

занятии

Просмотр видео и оценка по критериям ответов и вопросов,

Анализ своей работы,

Файл с критериями на каждом уроке + LMS,

Периодическое напоминание о релевантности и полноте, обращение к

критериям при оценке и самооценке работ (параграфов, эссе, ответов на

вопросы),

Промежуточный 2Q test,

Финальный 2Q test,

Занятие по подготовке к экзамену: карточка + ответ на вопросы,

Экзамен.

Этап 5. Промежуточная оценка

результатов

Final

AspectBoth Q,

average

The final

R+C

The

average 0,8 8

Сокращения

Q- question / questions

D- difficulty

P – position

R- relevance

C - Completeness

0, 5 – 50%

Question (Группы А, 1 курс, ноябрь, устные ответы)

Aspect D SCORE P R C

1st Q,

average

The

average

3 0,9 0,9 0,9 0,7 0,8

Question 2 (Preliminary test)

The

average 2,6 0,7 0,6 0,7 0,4 0,6

Этап 3. Предварительные результаты

Повышение оценки за ответ по критериям ВШЭ на

1,5 балла, на 2 балла по критериям «точность»,

Изменение в понимании вопроса и структуры ответа,

Студенты сознательно оценивают релевантность и

полноту ответов (дискуссия, полнота ответа,

внимание к недостаточности развития аргумента в

сильных группах А).

Выводы Что сделано:

- Уточнена структура работы,

- Уточнены требования для

студентов,

- Структурирована работа в

течение модуля,

- Студенты обратили

внимание на важность

точности,

Что очевидно важно

сделать

- Адаптация критериев.

Как результаты работы можно

использовать:

Компактный рабочий инструмент

Потенциально:

Оценка релевантности и полноты ответа

на экзамене, пересмотр критериев

конкретно для оценки вопросов,

Отдельный блок, обучение студентов

ответам на вопросы,

Краткосрочные дополнительные курсы,

готовящие к дискуссиям, дебатам,

переговорам,

Для групп В – компактность критериев

Thank you for you attention!