1

1

神戸学院大学グローバル・コミュニケーション学部学術講演会招待講演. 神戸学院大学にて

2月20日（火）13:00-15:00

英語テストの作り方と検証方法

小泉 利恵 (Rie KOIZUMI)

順天堂大学

rkoizumi@juntendo.ac.jp

一部資料Webに掲載http://www7b.biglobe.ne.jp/~koizumi/Koiz

umiHP.html

Overview

• 1. はじめに

• 2. 英語テストの作り方

• 3. 英語テストの検証方法

• 4. まとめ

2

2

1. はじめに

• 英語教員にとって、授業での小テストや定期テスト、また入学試験としてのテストを作る機会は多い。

• しかし、テストの作り方やそれが適切に作れたかを調べる方法については、あまり知られていない。

• 英語テストへの関心の高まり

• 教室内テスト、大学入試でのテスト

3

テスト作成で参考になる本

• 神奈川県立国際言語文化アカデミア（2015） 『高等学校英語教員のための定期テスト作成 簡易マニュアル』

– 聞くこと、語彙、文法、読むこと、書くこと の作り方と具体例

• 上山（2014）

• 根岸（2017）

• 笠原・佐藤（2017）

• 正頭（2017）

4

3

教員養成・研修での必須の知識

• 中・高等学校教員養成課程 外国語 (英語) コア・カリキュラム (東京学芸大学, 2017)

• 「学習評価の基礎」

• 中・高等学校教員研修 外国語 (英語) コア・カリキュラム

• 「評価に関する専門的知識」を身につけることが目標

• 小テストや定期テストなどを自分で作成

• 既存のテストを適切に選び、結果を有効に活用も求められる

既存のテストを適切に選び、結果を有効に活用

• 中・高等学校教員研修 外国語 (英語) コア・カリキュラム

• 「英語の外部資格・検定試験 (4技能型) を活用した英語力の自己モニター」

• 教員自身が、民間試験を受けて自分自身の英語力の伸びをたどる。自身の英語力向上のために、適切なテストを選び、そのテスト結果を有効活用することが必要。

• 入試関係者も、説明責任を果たすために、英語4技能テストを適切に選ぶことが必要

4

大学入試改革 • 高校学習指導要領改訂（2022年から）

–主体的・対話的で深い学び（アクティブ・ラーニング）の導入。思考力の育成重視

• 思考力・判断力・表現力を育成し、入試で測る方向。大学入試全般で変革が求められている

• 大学入試センター試験→大学入試共通テスト （2020年から）

–選択式に加えて記述式の導入（国語・数学）

–選択式に多様な解答形式導入（全教科）

共通テストにおける英語テスト

• 民間資格・検定試験（民間試験）の4技能

（RLWS）テスト活用

• 2020～2023年

• パターンA：共通テストRL

• パターンB：共通テストRL＋民間試験WS

–国立大学。私大にもこのパターンを取るように呼びかけあり（加点20点か出願資格）

• パターンC：民間試験RLWS

• 2024年～ パターンC：民間試験RLWS

5

私大での検討事項

• 一般入試での英語をどうするか（4技能（民間試験 or 独自開発）、現状のまま、若干修正？）

• 共通テストで民間試験を活用するか（するかしないか、するならどう活用するか）

• 特に、民間試験を複数使う場合、CEFRの6

レベルしかなく、日本人英語学習者のレベルは2レベルほどに固まる。詳細な識別ができない。どう活用するか

テストについて知る

• 教室内テストの作成は避けて通れない

• 大学入試では、テストを選ぶことになる

– 英語4技能化には賛否両論あり、活発な議論がなされている

• テストの作り方・作られ方・検証方法を知る必要がある

• テストへの誤解を解消する

• 言語評価についてのリテラシー(language

assessment literacy) が必要

10

6

言語テストへのよくある誤解 (小泉, in

pressより。Bachman & Palmer, 2010に基づく)

• 誤認識1：言語テストへ過度な期待をする

• 誤認識2：言語テストの専門家へ過度な依存をする

• 誤認識3：言語テストを１つの質の良し悪しだけで判断する

• それに対する対策

11

言語テストが持つべき性質

• 妥当性：テスト作成者がテストで測りたいと思う力が測れて、使用目的に合っていること

• 信頼性：テストを受けた状況や採点者、質問に関わらず、テスト結果が一致していること

• 実現可能性：コストや労力の面などで、テストが行いやすいこと

• このうちのどれか1つだけの質で判断すると、バランスが崩れてしまうこともある

12

7

2. テストの作り方 • テスト作成の手順

• １）テストの設計図（細目）を作る

–指導前に作るのが理想

• 細目の中身

• A）テスト目的・測りたい能力

–授業目標・内容と一貫させる

• B）対象者、テスト範囲、テストの構成

13

テスト作成の手順

• １）テストの設計図（細目）を作る

• C）タスク形式、実例

–多様な形式を使うようにうる

– RLでは、多肢選択式、真偽判定、組み合

わせ、並び替え、空所補充、情報転移、短文解答

– SWでは、制限産出型タスク形式と、自由産出型タスク形式

14

8

• 小泉他, 2017 SWの形式

• 制限

• 強 ①音読 (reading aloud)

• ②文復唱 (sentence repetition)

• 中 ③フレーズへの反応 (reacting to phrases)

• ④提示した文を操作して会話

• ⑤反論

• ⑥内容判断を伴う模倣 (elicited imitation)

• ⑦事実に関する短い質問

• 弱 ⑧話す内容を日本語で提示して英語で話す

• ⑨絵の描写

• なし ⑩スピーチ，プレゼンテーション（Show & Tell等）

• ⑪インタビュー

• ⑫ロールプレイ

• ⑬ディベート，ディスカッション

15

スピーキングテスト形式の変遷

16

同じ場所 → 別な場所 直接形式 → 半直接形式（録音後で採点） 面接型 → 学習者対話側 テクノロジーの利用

9

スピーキングテストの望ましい手順 （Brown & Abeywickrama, 2010)

• １）最初に簡単な質問 (warm-up)

• ２）受験者のレベルに合った質問 (level-check)

• ３）受験者の能力の上限を確かめるために、難しめの質問 (プローブ、突き上げ、probe)

• ４）受験者が楽に答えられる質問で終える (ワインドダウン、wind-down)

• 受験者が話しやすくなり、実力を最大限に発揮できるようにwarm-upを入れ、最後に受験者がある程度話せたと充実した気持ちで終えられるように、wind-downを入れる

17

RL向け 多肢選択式の長所と短所

(小泉他, pp. 99-100） • 長所

• 1. 採点が容易

• 2. 高い信頼性が期待できる

• など他3つ

18

• 短所

• 1. 受容的能力のみ測定可能

• 2. 当て推量の影響あり

• など他4つ

10

多肢選択式問題の作成ガイドライン (小泉他, pp. 99-100)

• 20項目の中で、特に重要な4項目

• 3. ひっかけ問題を避ける。

• 6. 正答が一つに決まるようにする。立場によって，正誤が変わるような問題を避ける。

• 7. 問われている内容が明確に分かるようにする。選択肢から推測しなくても済むようにする。

• 9. 正確な分かりやすい表現とし，不必要な専門用語や難解な語句は用いない。文法や句読点等，正確な表現を用いる。

19

テスト作成の手順

• １）テストの設計図（細目）を作る

• D）実施・採点方法 等

–採点形式：総合的か分析的か

–評価基準（ルーブリック）：タスク達成度のみか、流暢さ、やり取りの自然さ等を加えるか

–判定基準：何段階にするか

• ２）テスト細目に沿ってテストを作る。解いて改良する

20

11

テスト作成の手順

• ３）実施・採点する

– SWの場合には、ここに時間をかける

–実施者・採点者に対する事前打ち合わせ

–採点中の適度な休憩

–採点後の再採点と採点の振り返り

– 2名の採点者が別々に採点（double rating; 一部可）

• ４）テスト結果を生徒にフィードバック・授業等改善する

21

教室内スピーキングテストの例 授業目標：コミュニケーション能力 (Celce-

Murcia, 2007) の対話能力の育成

• 言語能力 (文法・語彙・発音等)

• 談話能力 (2文以上を理解・産出)

• 方略能力 (問題を解決、計画・評価)

• 社会文化的能力 (状況に合わせた表現使用)

• 定型表現に関する能力

• 対話能力 (やり取りの中で言語でどう伝

えるか。例：会話を開始・終了する、相手と協力して会話を発展させる、説得する)

22

12

対話能力の現状：日本語で

• 意見が違った時の対応 (2016年)

• 「なるべくことを荒立てないで収めたい」61.7% (増加傾向)、「納得がいくまで議論したい」24.9% (国語に関する世論調査、2017年

9月22日読売新聞第13面)

• 分担を決めた後に、別な人が担当と異なる分野を調べたとき、注意を促す (正解：13.7%) より、褒める回答が多い (平均17.5%) (PISA・協同問題解決能力調査、15歳対象

、2015年)

23

対話能力の現状：英語で (Koizumi, In’nami, & Fukazawa, 2017)

• 日本人大学生に向けたペア型対話テスト (11個タスク。ロールプレイ・議論)

• テストで使った機能を分析 – 反対する15% 説得する10%

– 会話を修復する19%

– 相手の発言に関連して述べる17%

• グループ活動をしていると対話 (実質的な意見交換) が起こるように思えるが、そうでもない。意識的な指導・評価が必要

24

13

25

ペア型会話タスク 生徒を2名ずつ別室で実施。同時採点

期末テスト

課題：①今まで扱った会話トピックすべての中から1つ、②応用問題（初見） http://freeillustration.net/women-talk-d-01/

http://01.gatag.net/tag/%E9%9B%86%E5%9B%A3%E

F%BC%88%E3%82%B0%E3%83%AB%E3%83%BC

%E3%83%97%EF%BC%89/page/2/

課題 (『ガイド, p. 124』

• 旅行に行くものを4つ決める

26

14

評価基準（学生に事前提示）

27

学習者対話型テスト

(Ockey & Li, 2015)

• 対話能力をより測れる形式。統制がゆるいために、対等な力関係での会話が引き出せる

• 一方で、他の受験者の性格などの要因の影響を受けやすい

28

15

学生の自己・相互評価

• 評価観点を意識して対話をし、振り返っていることがわかるコメントがあった

• やりとりの自然さで、相手の意見に基づいて自分の意見を言うことができなかった – [交互に適切に話しながらやり取りをしている。相手が言ったことに基づいて、応答している]

• 自分の意見は言えるが、相手の意見を理解した上で譲歩とかコメントを言うのは難しい

• (相手に対し) 私が言ったことをしっかり聞いて応答しているが、時々話がかみ合わない

29

「テストの検証方法」

言語テストが持つべき性質

• 妥当性：テスト作成者がテストで測りたいと思う力が測れて、使用目的に合っていること

• 信頼性：テストを受けた状況や採点者、質問に関わらず、テスト結果が一致していること

• 実現可能性：コストや労力の面などで、テストが行いやすいこと

30

16

妥当性の捉え方の変遷 (Messick, 1989)

• 妥当性は１つ

• その中に複数の要素がある

• 必要な要素を調べて、その証拠を示す 31

妥当性の要素

• 1. 【内容的要素】

• 2. 【実質的要素】

• 3. 【構造的要素】

• 4. 【一般化可能性的要素】

• 5. 【外的要素】

• 6. 【結果的要素】

32

17

論証に基づく妥当性検証 (Kane, 2006)

• 必要な証拠提示を、段階を踏んで妥当性を主張する

• Knoch & Chapelle (in press) の論証構造

(Toulmin, 2003に基づく)

• 観測→観測得点→ 期待得点→ 構成概念→

目標得点→ 意思決定とスコア報告→ プラスの波及効果

• 証拠を提示して、それぞれの推論（→の部分）をつなげていく

33

一般化推論における証拠提示例

• 前提：③採点プロセスにおいて、テスト状況または採点の実施条件等のために、スコアに構成概念とは無関係な要因の影響が入り込んでいない

• 方法：採点プロセス・条件の定期的な観察

• 研究例：TOEFL iBT Sの採点と疲労の関係

(Ling, Mollaun, & Xi, 2014）

34

18

説明推論における証拠提示例

• 前提：①検証対象のテストスコアは、構成概念に無関係の要素に大きく影響されない

• 方法：相関分析、共分散分析

• 研究例：TOEFL iBT Wのタイピング力の影響 (Barkaoui, 2014）

35

決定・波及効果推論における証拠提示例

• 決定推論の前提：②スコアレポートのレイアウトはスコア報告に適している 専門家判断

• 波及効果推論の前提：①テスト使用者は、スコアレポートと関連するフィードバックを解釈できる 教員・生徒へのインタビュー

• 研究例：GTEC for STUDENTSと英検のスコアレポート検証 (Sawaki & Koizumi, 2017）

36

19

TSSTの妥当性検証例 • 観測→観測得点→ 期待得点→ 構成概念→

目標得点→ 意思決定とスコア報告→ プラスの波及効果

• （小泉・アルク教育総合研究所, 2017）

37

4. まとめ • テスト作成：テスト細目を作って、形式・採点基準を検討

• テスト検証方法：様々な要素があり、それぞれの場合に応じて、必要な証拠を出して、以下のような形で主張する

– 「○○のスコアは、△△能力の構成概念と、目標言語使用領域での言語使用を反映し、使用目的に適し、英語指導・学習に有用である」

• 自分のテストを検証、改善

• 既存のテストに対して、証拠を求めていく 38

20

さらにご興味のある方へ

• 小泉利恵 (2018, 4月8日予定). 『英語4

技能テストの選び方と使い方―妥当性の観点から―』 東京：アルク

• 第1章：テスト選択・使用の悩みと誤解

• 第2章：妥当性理論と妥当性検証

• 第3章：4技能テストの妥当性検証

• 第4章：テストを適切に選び、使う方法

39

引用文献 • Bachman, L., & Palmer, A. (2010). Language

assessment in practice. Oxford University Press.

• Barkaoui, K. (2014). Examining the impact of L2

proficiency and keyboarding skills on scores on TOEFL-

iBT writing tasks. Language Testing, 31, 241–259.

doi:10.1177/0265532213509810

• Brown, H. D., & Abeywickrama, P. (2010). Language

assessment: Principles and classroom practices (2nd

ed.) White Plains, NY: Pearson.

• Celce-Murcia, M. (2007). Rethinking the role of

communicative competence in language teaching. In E.

Alcón Soler & M. P. Safont Jordà (Eds.), Intercultural

language use and language learning (pp. 41-57).

Heidelberg, Germany: Springer Netherlands. 40

21

引用文献 • Kane, M. T. (2006). Validation. In R. L. Brennan (Ed.),

Educational measurement (4th ed., pp. 17–64). Westport,

CT: American Council on Education and Praeger.

• 上山晋平 (編著) (2014). 『英語テストづくり＆指導 完全ガイドブック』 明治図書

• 神奈川県立国際言語文化アカデミア (2015). 『高等学校英語教員のための定期テスト作成簡易マニュアル』 Retrieved from www.pref.kanagawa.jp/uploaded/attachment/789937.pdf

• 笠原究・佐藤臨太郎 (2017). 『英語テスト作成入門：効果的なテストで授業を変える!』 金星堂

• Knoch, U., & Chapelle, C. A. (in press). Validation of

rating processes within an argument-based framework.

Language Testing. doi:10.1177/0265532217710049

41

引用文献 • 小泉利恵 (2018予定). 『英語4技能テストの選び方と使い方

―妥当性の観点から―』 東京：アルク

• 小泉利恵・アルク教育総合研究所 (2017). 『Telephone

Standard Speaking Test (TSST) の妥当性検証』(アルク英語教育実態レポート, Vol. 10) アルク教育総合研究所 以下から閲覧可能：https://www.alc.co.jp/company/report/

• 小泉利恵・印南洋・深澤真 (編) (2017). 『実例でわかる英語テスト作成ガイド』 大修館書店

• Koizumi, R., In’nami, Y., & Fukazawa, M. (2017, June).

Examining the construct of paired oral tasks through

analysis of elicited speech functions. Presented at the

4th International Conference of the Asian Association for

Language Assessment (AALA), National Taiwan

University, Taipei, Taiwan.

42

22

• Ling, G., Mollaun, P., & Xi, X. (2014). A study on the

impact of fatigue on human raters when scoring speaking

responses. Language Testing, 31, 479–499.

doi:10.1177/0265532214530699

• McNamara, T. F. (1996). Measuring second language

performance. Essex, U.K.: Addison Wesley Longman

Limited.

• Messick, S. (1989). Validity. In R. L. Linn (Ed.).

Educational Measurement (3rd ed., pp. 13–103). New

York, NY: National Council on Measurement in

Education/American Council on Education.

• 根岸雅史 (2017). 『テストが導く英語教育改革「無責任なテスト」への処方箋』三省堂

• Ockey, G. J. (2017). Approaches and challenges to

assessing oral communication on Japanese entrance

exams. JLTA Journal, 20, 3–14. doi:10.20622/jltajournal.20.0_3

Retrieved from https://www.jstage.jst.go.jp/article/jltajournal/20/0/20_3/_article/-char/en 43

• Ockey, G., & Li, Z. (2015). New and not so new methods

for assessing oral communication. Language Value, 7,

1–21. doi:10.6035/LanguageV.2015.7.2 Retrieved from

http://lib.dr.iastate.edu/engl_pubs/74/

• Sawaki, Y., & Koizumi, R. (2017). Providing test

performance feedback that bridges assessment and

instruction: The case of two standardized English

language tests in Japan. Language Assessment

Quarterly, 14, 234–256.

doi:10.1080/15434303.2017.1348504

• 正頭英和 (2017). 『英語テストづくり＆指導アイデアBOOK』 明治図書

• 東京学芸大学 (2017). 「文部科学省委託事業『英語教員の英語力・指導力強化のための調査研究事業』平成28年度報告書」 以下から閲覧可能：http://www.u-

gakugei.ac.jp/~estudy/report/ 44