エッセイライティングにおける 増加語数の

時系列推移傾向は

エッセイ評価を予測するか

線形回帰モデルおよびポアソン分布への

フィッティングを用いて

本研究の内容• 学習者のライティングプロセスを 2 つのモデ

ル（線形回帰モデル／ポアソン分布）にあてはめてみた

• 学習者のプロセスは，望ましいプロセスと近似するポアソン分布よりも，線形回帰モデルに近似した

• 線形回帰モデルへの当てはまりのよさを示す指標はエッセイの評定や語彙の豊かさ指標と相関した

川口 勇作室田 大介後藤 亜希

　名古屋大学大学院

第 40回全国英語教育学会徳島研究大会

於：徳島大学　 2014/8/10

背景

研究背景• L2 ライティング研究

– 優れた書き手ほどエッセイライティングにおけるサブプロセス（計画・文章化・推敲）が明確

（ e.g., 草薙・高橋・菊池 , 2012; Manchón et al, 2009; Roca de Larios et al, 2008; Sasaki, 2000; Stevenson et al, 2006 ）

0

10

20

30

40

50

60

70

80

0 5 10 15

Wo

rds

Time (min)

研究背景• L2 ライティング研究

– 計画（ planning ）

– 文章化（ formulation ）

• 執筆時間の 60 ％を占める（ Roca de Larios et al., 2001 ）

• レベルが高い学習者ほど計画の時間が長く，文章化の時間が短い

– 推敲（ revising ）

0

10

20

30

40

50

60

70

80

0 5 10 15

Wo

rds

Time (min)計画

文章化

推敲

研究背景• L2 ライティング研究

– この知見に従えば，エッセイライティングの増加語数は• 序盤：少ない• 中盤：多い• 終盤：ほとんどみられない

というプロセスを経るはず

研究背景• 望ましいライティングプロセスは

ポアソン分布の形に近似するはず

• ポアソン分布とは？– 離散的な事象の頻度を示す分布

• 例）一定期間におけるメールの本数

–λ （ ）ﾗﾑﾀﾞ と呼ばれる一つの値で定義

0 5 10 15 20 25 30

0.0

0.4

0.8

Lambda = 1

Time

Wor

d N

umbe

r R

atio

0 5 10 15 20 25 30

0.0

0.4

0.8

Lambda = 5

TimeW

ord

Num

ber

Rat

io

0 5 10 15 20 25 30

0.0

0.4

0.8

Lambda = 10

Time

Wor

d N

umbe

r R

atio

0 5 10 15 20 25 30

0.0

0.4

0.8

Lambda = 15

Time

Wor

d N

umbe

r R

atio

0 5 10 15 20 25 30

0.0

0.4

0.8

Lambda = 20

Time

Wor

d N

umbe

r R

atio

0 5 10 15 20 25 30

0.0

0.4

0.8

Lambda = 25

TimeW

ord

Num

ber

Rat

io

研究背景• 一方

– 明確なサブプロセスを示さない書き手の存在• ライティング開始直後から終了まで一貫し

て語数が伸び続ける→ 線形のプロセス

0

10

20

30

40

50

60

70

80

0 5 10 15

Wor

ds

Time (min)

研究背景• 1 つ目の主眼

– 学習者の増加語数の時系列の推移傾向は，非線形のポアソン分布と線形回帰モデルのどちらにより当てはまるのか？

研究背景• 2 つ目の主眼

– 学習者のライティングプロセスに最も当てはまりのよい λ の値が，学習者のライティングプロセスの評価指標の一つになり得るのではないか？

RQ1. 増加語数の時系列推移傾向は線形回帰

モデル・ポアソン分布のどちらにより当てはまるのか？

2. プロセスに最も当てはまりのよい λ の値はエッセイの評定と相関するか？

調査

調査概要• 調査協力者

– 大学学部生（ n = 35 ）• 平均 TOEFL スコア： 488.03 （ SD =

44.60 ）• 法学・工学を専攻

– 川口（ 2014 ）における調査の一環として実施

調査概要• 手順

– 30 分のエッセイライティング• プロンプト：「科学技術は世界を住みよく

する」という考えに賛成か反対か？– TOEFL ライティングセクションからの出題

• 指示は日本語で行った

調査概要• 手法

– キー入力記録を用いた研究• キーの打鍵を記録• 記録した打鍵の記録を元にライティングプ

ロセスを再現（ e.g., 草薙・阿部・福田・川口 , 2013; 尾関 , 1993; Sugiura & Ozeki, 1994;

Park & Kinginger, 2010 ）

• 従来の録画などの手法に対し正確な記録・再現が可能

調査概要• 使用ツール

– ライティングプロセス記録ソフト WritingMaetriX （草薙・阿部・福田・川口 , 2013 ）• 最終的なプロダクト・エッセイライティン

グにおける語数の時系列推移を記録

調査概要• エッセイ評定

–英語教育を専門とする大学院生 3 名により評定

– TWE (Test of Written English) の評価基準に基づき 6段階で評定

– 評定者間相関： r = .72 ~ .79– 評定者間信頼性： α = .90

評定者間の散布図行列a

2.0 2.5 3.0 3.5 4.0 4.5 5.0

0.76

23

45

6

0.792.0

2.5

3.0

3.5

4.0

4.5

5.0

b

0.72

2 3 4 5 6 2.0 2.5 3.0 3.5 4.0 4.5 5.0

2.0

2.5

3.0

3.5

4.0

4.5

5.0

c

調査概要• 増加語数の時系列推移の算出

– WMX 分析シート ver.1.0 （川口・草薙 ,

2014 ）を使用– 1 分あたりの増加語数を算出

調査概要• ポアソン分布へのフィッティング

– 方法：最小二乗法–カイ二乗値

• 当てはまりのよさを示す•小さければ小さいほど当てはまりがよい

– 最も当てはまりのよい λ• 学習者のライティングプロセスの傾向を示す

調査概要• 線形回帰モデルへのフィッティン

グ• 目的変数：語数の割合（ % ）• 予測変数：時間（分）

– 傾き–切片–決定係数（ R2 ）

• 当てはまりのよさを示す• 大きければ大きいほど当てはまりがよい

調査概要• 分析方法

–以下の項目を変数とする多変量相関分析• Χ2 値， λ•切片，傾き， R2

•総語数，語彙の豊かさ（ Guiraud Index, GI ），エッセイ評定

結果

記述統計M SD Median Min Max Range SE

λ 11.89 2.98 12.71 5.60 16.32 10.72 0.50

Χ2 838.71 478.32 681.13 32.20 1838.46 1806.26 80.85

切片 0.10 0.14 0.05 -0.06 0.38 0.45 0.02

傾き 0.03 0.00 0.03 0.03 0.04 0.01 0.00

R2 0.91 0.11 0.97 0.60 0.99 0.39 0.02

Token 120.69 43.09 118.00 51.00 278.00 227.00 7.28

GI 6.64 0.94 6.54 4.67 8.70 4.03 0.16

評定 3.47 0.88 3.33 2.00 5.33 3.33 0.15

時系列データの図示

Time (min)

Ra

tio

0 5 10 15 20 25 30

0.0

0.2

0.4

0.6

0.8

1.0

全参加者

Time (min)

Ra

tio

0 5 10 15 20 25 30

0.0

0.2

0.4

0.6

0.8

1.0

代表値

Time (min)

Ra

tio

0 5 10 15 20 25 30

0.0

0.2

0.4

0.6

0.8

1.0

全参加者

Time (min)

Ra

tio

0 5 10 15 20 25 30

0.0

0.2

0.4

0.6

0.8

1.0

代表値

Time (min)

Ra

tio

0 5 10 15 20 25 30

0.0

0.2

0.4

0.6

0.8

1.0

1.2

全参加者

Time (min)

Rat

io

0 5 10 15 20 25 30

0.0

0.2

0.4

0.6

0.8

1.0

1.2

代表値

結果• RQ1 についての結果

–図示の結果から，学習者のライティングプロセスはポアソン分布よりも線形回帰モデルの方によくフィットする• 計画をせずに，開始から終了までずっと書

き続ける傾向が強い？

多変量相関分析

Lambda

0 1000

0.53 -0.82

0.026 0.036

0.28 0.55

50 150 250

0.05 0.07

2.0 3.5 5.0

610

14

0.21

010

00Fit

-0.24 -0.07 0.39 0.50 0.41 0.44

Intercept

-0.71 -0.67 -0.22 -0.20

0.0

0.2

-0.33

0.02

60.

036 slope

0.63 0.37 0.22 0.32

R2

0.37 0.30

0.6

0.8

1.0

0.40

5015

0

Token

0.73 0.80

GI

570.63

6 10 14

2.0

3.5

5.0

0.0 0.2 0.6 0.8 1.0 5 6 7 8

Rate

Lambda

0 1000

0.53 -0.82

0.026 0.036

0.28 0.55

50 150 250

0.05 0.07

2.0 3.5 5.0

610

14

0.21

010

00Fit

-0.24 -0.07 0.39 0.50 0.41 0.44

Intercept

-0.71 -0.67 -0.22 -0.20

0.0

0.2

-0.33

0.02

60.

036 slope

0.63 0.37 0.22 0.32

R2

0.37 0.30

0.6

0.8

1.0

0.40

5015

0

Token

0.73 0.80

GI

570.63

6 10 14

2.0

3.5

5.0

0.0 0.2 0.6 0.8 1.0 5 6 7 8

Rate

結果• 相関分析の結果から

– 線形回帰モデルへの当てはまりのよさを示す決定係数 R2 とエッセイ評定・総語数・語彙の豊かさとの間に正の相関（ r = .30 ~ .40 ）

• 線形回帰モデルに当てはまりがよいほどエッセイ評定が高い傾向

• 先行研究と反して，サブプロセスが明確でない学習者ほどエッセイ評定が高いという結果に

結果• 相関分析の結果から

– 一方，ポアソン分布への当てはまりのよさを示す χ2 値はエッセイの評定と正の相関（ r = .44 ）

• ポアソン分布に当てはまりがよくないほどエッセイ評定が高い傾向

• こちらも当初の予測と反する結果に

Lambda

0 1000

0.53 -0.82

0.026 0.036

0.28 0.55

50 150 250

0.05 0.07

2.0 3.5 5.0

610

14

0.21

010

00Fit

-0.24 -0.07 0.39 0.50 0.41 0.44

Intercept

-0.71 -0.67 -0.22 -0.20

0.0

0.2

-0.33

0.02

60.

036 slope

0.63 0.37 0.22 0.32

R2

0.37 0.30

0.6

0.8

1.0

0.40

5015

0

Token

0.73 0.80

GI

570.63

6 10 14

2.0

3.5

5.0

0.0 0.2 0.6 0.8 1.0 5 6 7 8

Rate

Lambda

0 1000

0.53 -0.82

0.026 0.036

0.28 0.55

50 150 250

0.05 0.07

2.0 3.5 5.0

610

14

0.21

010

00Fit

-0.24 -0.07 0.39 0.50 0.41 0.44

Intercept

-0.71 -0.67 -0.22 -0.20

0.0

0.2

-0.33

0.02

60.

036 slope

0.63 0.37 0.22 0.32

R2

0.37 0.30

0.6

0.8

1.0

0.40

5015

0

Token

0.73 0.80

GI

570.63

6 10 14

2.0

3.5

5.0

0.0 0.2 0.6 0.8 1.0 5 6 7 8

Rate

結果• λ とエッセイ評定の関係

–弱い相関（ r = .21 ）

– ポアソン分布への当てはまりがよくないため今回は議論が難しい？

– RQ2 に対する結論は保留

偏相関係数の無向グラフ1 λ

2 ポアソン分布への当てはまりのよさ

3 線形回帰モデルに当てはめたときの切片

4 線形回帰モデルに当てはめたときの傾き

5 線形回帰モデルへの当てはまりのよさ

6 総語数

7 語彙の豊かさ

8 エッセイ評定

結果• 偏相関係数から

– エッセイ評価と直接的な関係を示すのは総語数のみ•総語数がエッセイの評定を予測する？

–その他の変数との相関は擬似相関の可能性もある

総括

総括• 本研究の結果から

– 本研究の調査参加者のライティングプロセスを可視化した場合，望ましいとされるポアソン分布のような非線形ではなく，むしろ線形を描く傾向

総括• 本研究の課題

– 標本の偏り•今回は同一大学よりサンプリングしたため，偏りが見られた？

•パラグラフ・ライティングについての知識がない学習者の存在

–参加者の熟達度の問題• より高い熟達度の学習者の場合の検証

総括• 本研究の課題

– 大規模データでの再調査• 多様な熟達度の学習者を対象に•パラグラフ・ライティング経験の有無など，様々なデモグラフィック情報との関係

• WritingMaetriX コーパス（石井・石井・草薙・阿部・福田・川口 , 2014 ）を用いたさらなる調査の継続を

総括• 今後の展望

– 明示的な指導が学習者のライティングプロセスに与える影響の検証

– 学習者のライティングプロセスの評価に寄与する精緻な指標の開発

参考文献石井雄隆・石井卓巳・草薙邦広・阿部大介・福田純也・川口勇作（ 2014 ）「ライティ

ング・プロダクトからライティング・プロセスへ―Writing MaetriX Corpus

Project― 」外国語教育メディア学会第 54 回全国研究大会公募シンポジウム .

川口勇作（ 2014 ）「 e ラーニング教材を活用した語彙学習方略が学習者のライティングに与える影響」『中部地区英語教育学会紀要』 43, 9 –14.

川口勇作・草薙邦広（ 2014 ）「 WritingMaetriX によるライティングプロセス研究の手引き―データの収集・表計算ソフトを援用した分析・今後の展望―」『外国語教育メディア学会中部支部外国語教育基礎研究部会 2013年度報告論集』 43 – 52.

草薙邦広・髙橋改太・菊池優希（ 2012 ）「キー入力記録システムを用いた英語学習者のライティングプロセス分析―語数・推敲回数・正確さの時系列推移―」『第 52

回外国語教育メディア学会全国研究大会発表要項』 172–173.

草薙邦広・阿部大輔・福田純也・川口勇作（ 2013 ）「キー入力記録システムを援用したライティングプロセスの可視化：自律的学習を促すフィードバック環境構築に向けて」 第 81 回外国語教育メディア学会中部支部春季研究大会 . 東海学園大学 .

参考文献Manchón, R. M., Roca de Larios, J., & Murphy, L. (2009). The temporal dimension and

problem-solving nature of foreign language composing processes: Implications for theory. In R. M. Manchón (Ed.) Writing in Foreign Language Context: Learning, Teaching, and Research (pp. 102–129). Multilingual Matters.

Roca de Larios, J., Manchón, R., Murphy, L., & Marin, J. (2008). The foreign language writer's strategic behaviour in the allocation of time to writing processes. Journal of Second Language Writing, 17, 30–47.

Roca de Larios, J., Marin, J., Murpjy, L. (2001). A temporal analysis of formulation processes in L1 and L2 writing. Language Learning, Language Learning, 51, 497–538.

Sasaki, M. (2000). Toward an empirical model of EFL writing processes: An exploratory study. Journal of Second Language Writing, 9, 259-291.

Stevenson, M., Schoonen, R., & de Glopper, K. (2006). Revising in two languages: A multi-dimensional comparison of online writing revision in L1 and FL. Journal of Second Language Writing, 15, 201–233.

お問い合わせ先　名古屋大学大学院

川口 勇作y.kawaguchi@nagoya-u.jp

• 学習者のライティングプロセスは，望ましいプロセスと近似するポアソン分布よりも，線形回帰モデルに近似した

• 線形回帰モデルへの当てはまりがよいほどエッセイの評定が高く，語彙も豊かな傾向がみられた

https://sites.google.com/site/kwsk3939/