外国語教育研究と

直交表を用いた

実験計画

概要

• 外国教育研究における背景

• 直交表を用いた分析

• 研究事例紹介（川口・草薙，発表予定）

• まとめ

草薙邦広 kusanagi@nagoya-u.jp

@メソ研あきた 2013

2013/10/26

外国語教育研究における

背景

外国語教育研究における背景

教育実践

実験

アクションリサーチ

ケーススタディ

日々の データの蓄積

教師の ナラティヴ 質問紙調査

指導・干渉型実験 直感

テスティング

心理言語学的実験

生理学的実験

数理的理論

現実的 観察的

理想的 干渉的

外国語教育研究における背景

教育実践

実験

アクションリサーチ

ケーススタディ

日々の データの蓄積

教師の ナラティヴ 質問紙調査

指導・干渉型実験 直感

テスティング

心理言語学的実験

生理学的実験

数理的理論

現実的 観察的

理想的 干渉的

外国語教育研究における背景

• 学習者自体を対象にする実験的研究

–標本サイズが得にくい

→検定力が低く統計的に望ましくない

→微小の効果量を検出できない

–干渉による不公正さ

→望ましい実験のデザインが無理な場合もある

–厳密な実験では負担が多すぎる

→データ自体が限られる

外国語教育研究における背景

• 理想的実験環境を目指すあまり…

–多元配置分散分析

• 一般に三要因交互作用があることは少ない

• 実際に存在しそうにないものまで取り上げる

• その為に実験の負担は増え検定力は下がる

• 多水準も場合によっては解釈が困難

外国語教育研究における背景

• といっても

普通は興味のある要因は多数…

• 例：第二言語の文処理 – 個別言語的要因

• 領域：統語・形態・意味・音韻・語用論… • 特性：構造・卓立性・典型性・頻度・規則性… • 項目：∞

– 言語間要因 • 類型論的相違

– 言語観察における適合・不適合性（congruency） – 規則上の包含性（例：部分集合の原理）

– 学習者要因 • 先天的要因：年齢・学習開始年齢・環境・適性… • 後天的要因：熟達度・動機づけ・信念…

– 課題要因 • 課題のモード：産出・受容 • 課題の即時性：オフライン・オンライン • 課題：∞

– 処遇の要因 • 干渉的要因：∞

• 例：第二言語の文処理 – 個別言語的要因

• 領域：統語・形態・意味・音韻・語用論… • 特性：構造・卓立性・典型性・頻度・規則性… • 項目：∞

– 言語間要因 • 類型論的相違

– 言語観察における適合・不適合性（congruency） – 規則上の包含性（例：部分集合の原理）

– 学習者要因 • 先天的要因：年齢・学習開始年齢・環境・適性… • 後天的要因：熟達度・動機づけ・信念…

– 課題要因 • 課題のモード：産出・受容 • 課題の即時性：オフライン・オンライン • 課題：∞

– 処遇の要因 • 干渉的要因：∞

ひええ

外国語教育研究における背景

• 要因・モデルは極めて複雑

• 一方，それを表現し得るリッチなデータは得難い

• でもそもそも，教育研究における一般化の難しさを考えれば，そん

なに単発実験の精度が重要…？メタ分析は？追行研究は？

• 多要因の高度で複雑な交互作用による知見が理論的に必須…？

• 寧ろ記述的で，広範囲に渡る「当たり前の教育データ」の記述とその共有こそが，精緻な知見に対して併存する形で望ましくもある

→実験計画の効率化

直交表を用いた分析

• 直交表？

–直交表自体は直交性（後述）のある配置を整理したもの

–実験計画法のひとつとみなせる

–実験の「一部実施法」

• Cf. ラテン方格法，グレコ・ラテン方格法

• Cf. 品質工学（タグチメソッド）

直交表を用いた分析

• 直交性（orthogonality）？

–説明変数同士のベクトルの内積が0

• どの二列でも組み合わせが同回数出現

–通常の分散分析（全部実施・要因実験）でも直交性は保たれている

• 直交性は分散分析の要件の一つ

要因1 要因2

頻度 規則性 1a2a 高い 規則的

1a2b 高い 不規則

1a2a 高い 規則的 2b2b 低い 不規則

要因1 要因2 頻度 規則性

1a2a 高い 規則的 1a2b 高い 不規則 2a2a 低い 規則的 2b2b 低い 不規則

直交表を用いた分析

• うん！直交性！

1 1

1 2

2 1 2 2

1 1 1

1 1 2

1 2 1

1 2 2

2 1 1

2 1 2

2 2 1

2 2 2

2要因2水準 要因実験

1 1 1 1

1 1 1 2

1 1 2 1

1 1 2 2

1 2 1 1

1 2 1 2

1 2 2 1

1 2 2 2

2 1 1 1

2 1 1 2

2 1 2 1

2 1 2 2

2 2 1 1

2 2 1 2

2 2 2 1

2 2 2 2

3要因2水準 要因実験

4要因2水準 要因実験

直交表を用いた分析

• 直交表を用いた計画

–直交性を保ったまま，実験を一部実施する

→実験数が大幅に削減できる

例：交互作用を無視し，4要因の主効果のみ

1 1 1 1 1 1 2 2 1 2 1 2 1 2 2 1 2 1 1 2 2 1 2 1 2 2 1 1 2 2 2 2

1 1 1 1

1 1 1 2

1 1 2 1

1 1 2 2

1 2 1 1

1 2 1 2

1 2 2 1

1 2 2 2

2 1 1 1

2 1 1 2

2 1 2 1

2 1 2 2

2 2 1 1

2 2 1 2

2 2 2 1

2 2 2 2

4要因2水準 要因実験

L8(27)直交表を用いた計画例

直交表を用いた分析

• 様々な直交表

– 2水準系，3水準系：行列の大きさ

• L8(27)直交表：8行，7列，2水準

• L9(34)直交表：9行，4列，3水準

L8(27)直交表

1 2 3 4 5 6 7 1 1 1 1 1 1 1 1

2 1 1 1 2 2 2 2

3 1 2 2 1 1 2 2 4 1 2 2 2 2 1 1

5 2 1 2 1 2 1 2

6 2 1 2 2 1 2 1

7 2 2 1 1 2 2 1 8 2 2 1 2 1 1 2

直交表を用いた分析

• 相関を出すと…

L8(27)直交表

1 2 3 4 5 6 7 1 1 1 1 1 1 1 1

2 1 1 1 2 2 2 2

3 1 2 2 1 1 2 2 4 1 2 2 2 2 1 1

5 2 1 2 1 2 1 2

6 2 1 2 2 1 2 1

7 2 2 1 1 2 2 1 8 2 2 1 2 1 1 2

1 2 3 4 5 6 7

2 1 0 0 0 0 0 0

3 0 1 0 0 0 0 0

4 0 0 1 0 0 0 0

5 0 0 0 1 0 0 0

6 0 0 0 0 1 0 0

7 0 0 0 0 0 1 0

8 0 0 0 0 0 0 1

相関行列

直交表を用いた分析

• 実験因子の割り付け

–直交表の「列」に対して因子を割り付ける

–「線点図」を用いると便利

• 点に主効果，線に交互作用を付けられる

L8(27)直交表の線点図

頻度 語長 3 親密度 5 6 心像性

1 高い 長い 1 高い 1 1 高い

2 高い 長い 1 低い 2 2 低い

3 高い 短い 2 高い 1 2 低い

4 高い 短い 2 低い 2 1 高い

5 低い 長い 2 高い 2 1 低い

6 低い 長い 2 低い 1 2 高い

7 低い 短い 1 高い 2 2 高い

8 低い 短い 1 低い 1 1 低い

1

2 4

７ 3

6

５

L8(27)直交表への割り付け例

直交表を用いた分析

• 分散の分割

–通常通り平均，因子の効果，誤差に分解

• 全変動=平均変動+因子の効果+残差

• 「列毎に」集計する

• 使っていない列は誤差へ

• 「プーリング」

– 交互作用の小さいものを誤差項に回し再分析する

– 詳しくは省略

–通常と同様に分散分析をする

直交表を用いた分析

• 結果の図示と区間推定

0

100

200

300

400

500

600

700

800

高い 低い 長い 短い 高い 低い 高い 低い

反応時間（

ms）

水準

頻度

語長

親密度

心像性

直交表を用いた分析

• ポイント –実験計画の効率化

• 4要因2水準の要因実験→8つの実験（半分！）

• 4要因3水準の要因実験→9つの実験（1/9！）

–最適水準の探索と区間推定 • 交互作用がないのなら，単純に種々の主効果の水準の組み合わせがそうだと「予測」できる

• 今後の実験の数量的足がかりになる

–しかし，あくまでも探索的で，確証的ではない

直交表を用いた分析

• 特性要因図の活用

http://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:Ishikawa_Fishbone_Diagram.svg

直交表を用いた分析

• 区間推定，検定力分析との効果的併用

–母平均，母分散の信頼区間

• 再標本化法の活用も

–明日への分析

• 直交表を用いた実験による所与の効果量と，目標とする検定力，危険率→必要標本サイズ

–母分散の推定→目標とする標準誤差に対応する標本サイズの目算

直交表を用いた分析

• 教材・ソフトウェア・テスト作成

–品質工学ではバグの検出に絶大な効果

–多特性の探索的調査など

–少ない予備実験で済む

1 1 1 1 1 2 2 2 1 3 3 3

2 1 2 3 2 2 3 1

2 3 1 2 3 1 3 2

3 2 1 3 3 3 2 1

L9(34)直交表 時間制限 項目 形式 負荷

強 語彙 2択 なし

強 文法 3択 ノイズ

強 コロケーション 記述 書字混合

中 語彙 3択 書字混合

中 文法 記述 なし

中 コロケーション 2択 ノイズ

弱 語彙 記述 ノイズ

弱 文法 2択 書字混合

弱 コロケーション 3択 なし

研究事例

紹介

研究事例紹介

• 川口・草薙（発表予定，LET中部秋）

–語彙の即時的運用能力（lexical facility）を様々な語彙特性効果に対する相対的独立性から測定してみるという試み

• 例：頻度効果や語長効果は母語話者のそれよりもL2の反応時間に強く影響する

• ただ「反応時間が短くなる」ということが大事？

• もっと質的な語彙アクセスの変化を一変数として数的に表現したい！

研究事例紹介

• 概要 – ４種の語彙特性，それぞれ2水準における反応時間と正答率（LDT）を，直交表を使用することで効率的に測定する • 頻度（高・低）

• 語長（長・短）

• 親密度（高・低）

• 心像性（高・低）

– L8(27)直交表に割りつけた計画を3セット

– 対象項目24項目（擬似語24語）で各水準12ずつのMとSDが取れる

研究事例紹介

• 多角的アプローチによる即時的運用能力の数値化 –各要因における弁別力d’ （信号検出理論）

–各要因・水準毎におけるRTとCVRT

–各要因の水準間における反応時間の標準化平均差（Cohen’s d）：語彙特性効果からの独立性

–全体の課題における正答率とRT

–デモグラフィック情報 • 熟達度，各技能自己評定値

研究事例紹介

• 主眼

–熟達度が変動することで，それぞれの指標にどのように影響するか

–今後，語彙サイズ，読解力，発表語彙サイズ，聴解力などを視野に入れた構成技能アプローチを！

研究事例紹介

• 直交表を用いたソフトウェアとして

–多様な語彙特性の効果を効率的に調査し，一気に測定できる

–最終的には，高度なUIの実装，拡張性の実現，項目の精査を経て，語彙アクセスのベンチマークソフトとして開発予定！！

（2015年目標）

まとめ

• 直交表を用いた実験計画

–実験の効率化に効果

–探索的な用法

–検定力分析や区間推定との併用

–今後，教材・テスト・ソフトウェア開発などの応用にも！

参考になる文献