32
Meiji University Title � -�ET�- Author(s) �,�, �,�, �,Citation �, 9(1): 31-61 URL http://hdl.handle.net/10291/20641 Rights Issue Date 2017-03-31 Text version publisher Type Departmental Bulletin Paper DOI https://m-repo.lib.meiji.ac.jp/

日本語プレイスメント・テストの開発と問題項目の分 URL DOI...2014)が述べるように,「到達度型のテスト(achievement test)の場合は,事前に学習シラバ

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

  • Meiji University

     

    Title日本語プレイスメント・テストの開発と問題項目の分

    析 -国際日本学部のET日本語科目における試み-

    Author(s) 小森,和子, 柳澤,絵美, 安高,紀子

    Citation 明治大学国際日本学研究, 9(1): 31-61

    URL http://hdl.handle.net/10291/20641

    Rights

    Issue Date 2017-03-31

    Text version publisher

    Type Departmental Bulletin Paper

    DOI

                               https://m-repo.lib.meiji.ac.jp/

  • 31

    Ⅰ はじめに

     国際日本学部は,2011 年度より,英語で学位をとるコース(English Track,以下,ET)を

    開設し,そのコースの中に,日本語未習者や初級者向けの日本語科目として「Introductory Jap-

    anese」(以下,入門日本語)および「初級日本語」を設置した。ET 開設以前の 2008 年から

    2011 年までは,日本語で学位をとるコース,いわゆる日本語トラックコース(Japanese

    Track,以下,JT)しか開講されておらず,入学してくる正規留学生や交換留学生は,日本語能

    力試験 N1 程度の高い日本語力を有する者ばかりであった。そのため,学部内の日本語科目は「上

    級日本語」(なお,「上級日本語」は 2016 年度からの名称変更によるもので,それ以前は「日本

    語Ⅰ」,「日本語Ⅱ」と称されていた)しか開講されていなかったが,ET が開設されてからは,

    初級レベルと上級レベルの日本語科目が開講となった。

     しかし,ET の正規留学生や ET 交換留学生の中には,日本語未習者だけでなく,中級レベル

    の日本語力を有する者もおり,学部内に中級レベルの日本語科目の開設が強く要望されるように

    なってきた。こうした状況を踏まえ,国際日本学部では 2016 年度から「中級入門」,「中級」,「中

    上級」,「上級入門」という四つのレベルの日本語科目を増設し,入門日本語から上級日本語まで

    の 7 レベルをそろえた,一貫した日本語教育を提供することとなった。

     学部内に新たに中級レベルの日本語科目を開設するために,筆者らは,各レベルの到達目標の

    設定,カリキュラムやシラバスの設計,教科書の選定,教授法の決定,プレイスメント・テスト

    【研究論文】

    日本語プレイスメント・テストの開発と問題項目の分析―国際日本学部の ET 日本語科目における試み―

    The Development and the Item Analysis of the Japanese Language Placement Test: Preliminary Study of the English Track Japanese Language Courses

    in School of Global Japanese Studies

    小 森 和 子KOMORI,Kazuko

    柳 澤 絵 美YANAGISAWA,Emi

    安 高 紀 子ATAKA,Noriko

  • ( 238 )( 239 )『明治大学国際日本学研究』第 9 巻第 1 号32

    (以下,プレテ)の作成など,様々な検討と準備を重ねてきた。その一環として,小森・柳澤(2016)

    では既存の 2 レベル(入門日本語,初級日本語)のプログラムの妥当性検証を行った。具体的に

    は,(1)プレテの段階で初級日本語レベルにプレイスされた者と,実際に入門日本語を終了した

    者とでは,同程度の日本語レベルか否か,および(2)学期終了時には,入門日本語は N5 合格相当,

    初級日本語は N4 合格相当に達していると言えるか否か,について検討した。この検討に当たっ

    て,2015 年度の春学期の学期開始時点と学期終了時点の 2 回,入門日本語と初級日本語の受講

    生に日本語能力試験 Can-do 自己評価リストで自己判定をしてもらった。その結果,入門日本語

    の終了時点と初級日本語開始時点とで Can-do 評価の値がほぼ同程度であったことから,初級日

    本語にプレイスされている受講生の日本語力が入門日本語終了レベルであると推定できることを

    確認した。また,入門日本語と初級日本語のそれぞれの受講者の Can-do 評価が,JLPT の N5,

    N4 合格者の自己評価の値に近似していることから,入門日本語終了で N5 相当,初級日本語終

    了で N4 相当であることを確認した。こうして,既存の 2 レベルのプログラムの妥当性を確認す

    ることができた。このことから,既存の 2 レベルについては,プレイスのレベル,カリキュラム,

    教材などについては,中級 4 レベルが開設された後も踏襲できると判断した。

     そこで,筆者らは,次なる課題として,新設の中級 4 レベルに学生を適切にプレイスするため

    には,どのようなプレテを開発するべきか検討した。プレテは,テスティング理論においては診

    断的評価として位置づけられるテストで,「学習者がその時点で習得し,実際にその外国語を用

    いた言語行動が可能かどうかを診断して,適切な水準,および内容のクラスに配置する」ための

    テストである(野口・大隅 2012:344)。つまり,適切なプレイスを行うことは,各レベル相当

    の受講生を適切に配置して各レベルの水準を保ちながらコース運営する上で,極めて重要だとい

    うことである。しかし,実際には,新規に開発するプレテが,最初から完璧なプレイスを行う道

    具になるとは言えない。テストの開発は,開発,実施,検証,改訂,そして実施と繰り返しなが

    ら,徐々に精緻化されていくものである。また,どのようにして作成されたプレテによって学習

    者をプレイスしているかは,教育の質という点からも重要な情報である。

     よって,本稿では,今回新たに開発した試用版とも呼ぶべきプレテの開発の過程,実施の概要,

    テストの項目分析の結果を報告する。これらの分析を経て,筆者らは 2016 年度の秋学期にはテ

    ストに修正を加えていく予定である。また,一定の信頼性と妥当性が確認できるまで,継続して

    分析を行っていきたいと考えている。ただし,プレテは一定程度の機密性を有するものであるた

    め,本稿において,テストのすべてを公開することはできないが,本文中において,その一部を

    紹介していく。

     なお,プレテの開発の基本となる,新設の 4 レベルを含めた入門日本語から上級入門日本語ま

    での,コース概要,到達目標,プレイスレベル,カリキュラムについては,別稿の柳澤・渡辺・

    岩元・菊池・奥原・小森(2017)にて詳述するので,そちらを参照されたい。

  • ( 238 )( 239 ) 日本語プレイスメント・テストの開発と問題項目の分析 33

    Ⅱ テストの構成

     本章では,プレテの構成について解説する。プレテは,これまでと同様に,筆記テスト(文字

    語彙,文法,読解の 3 科目)と会話テストから成る。文字語彙と文法は言語知識を測るための試

    験であり,読解と会話は日本語を使った課題遂行能力を測るための試験として位置づけている。

     プレテにおける会話テストの位置づけは,筆記テストだけでは測ることができない口頭でのコ

    ミュニケーション能力を測り,筆記テストの結果との齟齬がないかを確認すること,が主たる目

    的である。

    1. 筆記テスト

    1- 1.科目と構成概念

     上述したように,筆記テストは,文字語彙,文法,読解の 3 科目である。将来的にテストをウ

    エブ化する計画があるため,文法の一部を除いて,多肢選択式で作成した。

     各科目の構成概念は,入門日本語から上級入門日本語までの 6 レベルの到達目標で代用するこ

    ととした。これは,各レベルへの配置を決定するということは,そのひとつ下のレベルのコース

    が終了済みであるということ,すなわち,ひとつ下のレベルの到達目標に達していることと考え

    られるため,プレテは到達度テストとしての側面を持っていることによる。野口・大隅(2012,

    2014)が述べるように,「到達度型のテスト(achievement test)の場合は,事前に学習シラバ

    スが提示されているため,構成概念はそのシラバスに基づき定義される」(野口・大隅,2014:

    43)べきものである。よって,本プレテにおいても,各レベルのカリキュラムに即した到達目標

    を各科目の構成概念とするのが妥当であると判断した。各レベルの到達目標の詳細は表 1 の通り

    である。詳細は,別稿の柳澤・渡辺・岩元・菊池・奥原・小森(2017)を参照されたい。また,

    各レベルで使用している主教材は表 2 の通りである。

     次に,各レベルの到達目標を各科目のテストにどのように具体化するかを検討する必要がある。

    今回は,各レベルで使用する教材で提出されている,あるいは,学習項目として取り上げられて

    いる語彙,漢字,文法形式,文型をリストアップした上で,当該レベルに配置するには必須と思

    われる語彙,漢字,文型を選定し,さらにテストの所要時間も考慮して,何を出題するか,問題

    項目数はいくつにするか,決定した。その結果,文字語彙は 42 問,文法 40 問,読解 20 問(文

    章は 6 種類)となった。次節以降で,文字語彙,文法,読解の 3 科目の詳細を述べるが,全体の

    構成は表 3 の通りである。

  • ( 236 )( 237 )『明治大学国際日本学研究』第 9 巻第 1 号34

    [表 1] 各レベルの到達目標(=構成概念)

    レベル 到達目標=構成概念

    入門日本語簡単な指示や会話が理解でき,自分に関する事柄について簡単な日本語で話したり,書いたりできる。

    初級日本語日常場面の簡単な日本語が理解でき,家族や自分の町などについて簡単な日本語で話したり,書いたりできる。

    中級入門日本語日常的な場面や状況についての話が理解でき,相手や場面を意識しながら話すことができる。また,書き言葉と話し言葉に注意しながら短い文章を読んだり作文を書いたりすることができる。

    中級日本語

    話す相手や場面に合わせた適切な言葉遣いで話すことができ,よく知っている物事の説明やフォーマルな場でのスピーチができる。また,書き言葉と話し言葉を区別しながら事実文や説明文の大意を取ったり,短い説明文や意見文を書いたりすることができる。

    中上級日本語

    関心のある社会的・文化的テーマについての話や抽象的な事柄を含む文章をだいたい理解することができ,同様のテーマについて,ディスカッションをしたり簡単な発表をしたりすることができる。また,自分で読んだり調べたりして集めた情報を比較・整理し,まとめることができる。

    上級入門日本語

    やや専門性や時事性のある話や文章の意見や主張を論理展開をおさえながら理解することができ,同様のテーマについてのディスカッションや調査発表ができる。また,関心があるテーマについて,情報を収集・整理・分析し,自分の意見や主張を示しながら文章にまとめることもできる。

    [表 2] 各レベルの主教材

    レベル 総合クラスの主教材 漢字クラスの主教材

    入門日本語 『げんき Ⅰ』 『げんき Ⅰ 』(読み・書き編)

    初級日本語 『げんき Ⅱ』 『げんき Ⅱ 』(読み・書き編)

    中級入門日本語 『中級へ行こう』 『Basic Kanji Vol. 2』L23~L32

    中級日本語 『中級を学ぼう』 『Basic Kanji Vol. 2』L33~L45

    中上級日本語 『私の見つけた日本』 『Intermediate Kanji Vol. 1』

    上級入門日本語 『日本への招待』 『Intermediate Kanji Vol. 2』

    注:教材の名称は略称である。教材の情報は巻末参照のこと。

  • ( 236 )( 237 ) 日本語プレイスメント・テストの開発と問題項目の分析 35

    1- 2.テストの構成と測定形式

    1- 2- 1.文字語彙

     文字語彙は,三つの大問から成る。それぞれの大問が測る知識は,大問 1 は漢字の読みの知識,

    大問 2 は漢字の表記の知識,大問 3 は文脈により規定される意味を表す語の知識,である。いず

    れも四肢選択式である。

     出題語は,それぞれのレベルの教材で提出されている漢字,および語の中から,筆者らが選定

    した。選定にあたっては,当該語が習得できていなければ,当該レベルを終了したとは言えない

    と考えられる,当該レベルの代表的な語を選定するようにした。

     設問の形式は,大問 1 の漢字読みは,漢字で表記される出題語(漢語および和語)を文脈無し

    で提示した。例えば,「図書館」,「習う」のようである。大問 2 の漢字表記は,文の中にひらが

    な表記で出題語を提示した。例えば,「てんきがわるいですね」のようである。さらに,大問 3

    の文脈規定は,空所補充形式とした。例えば,「田中さんは赤いスカートを(    )います」

    のようにした。

     出題語の数,すなわち設問数は,大問 1 は各レベル 2 問ずつ,大問 2 も各レベル 2 問ずつ,大

    問 3 は各レベル 3 問ずつである。よって,各レベルにつき 7 問を出題語として選定したことになる。

     誤答選択肢の作成は,大問によって,また,出題語によって異なるが,おおむね,以下のよう

    にした。まず,大問 1 の漢字読みの場合には,清濁の対立,直音・拗音の対立,長音・短音の対

    立,意味的に関連のある語などで作成した。例えば,「貴重」では,「きじゅう」,「きんじゅう」,

    [表 3] 筆記テストの全体構成

    科目 大問 出題内容 項目数

    文字語彙

    1 漢字読み 漢字表記語の読み方を問う 12 問(各レベル 2 問)

    2 漢字表記 設問文中の語の漢字表記を問う 12 問(各レベル 2 問)

    3 文脈規定文脈によって規定される概念を表象する語を問う

    18 問(各レベル 3 問)

    文法

    1 活用設問文において,文法的,語用論的に適切な語の活用形式,接続形式を問う

    12 問(入門・初級レベル)

    2 文型設問文において,文法的,語用論的に適切な文法形式や表現を問う

    28 問(初級~上級入門レベル)

    読解

    1 手紙文 手紙文(約 600 文字)の読解(丁寧体) 3 問(初級レベル)

    2 エッセイ エッセイ(約 600 文字)の読解(常体) 3 問(中級入門レベル)

    3 エッセイ エッセイ(約 650 文字)の読解(常体) 3 問(中級レベル)

    4 エッセイ エッセイ(約 600 文字)の読解(常体) 3 問(中級レベル)

    5 論説文 論説文(約 950 文字)の読解(常体) 4 問(中上級レベル)

    6 論説文 論説文(1,250 文字)の読解(常体) 4 問(中上級~上級レベル)

  • ( 234 )( 235 )『明治大学国際日本学研究』第 9 巻第 1 号36

    「きんちょう」を誤答選択肢にしたり,「図書館」では,「とうしょうかん」,「としゅうかん」,「と

    うしゅうかん」を誤答選択肢にした。また,「悲しい」の誤答選択肢には,「たのしい」,「うれし

    い」,「くるしい」を選んだ。大問 2 の漢字表記の場合には,音韻的に関連のある漢字や意味的に

    関連のある漢字を誤答選択肢に入れた。例えば,「てんきがわるいですね」では,「電気」,「元気」,

    「空気」とした。また,「すみません,このドアをひいてくださいませんか」の場合には,「押い

    て」,「閉いて」,「開いて」を誤答選択肢とした。大問 3 の文脈規定の場合には,意味的に関連の

    ある語を誤答選択肢に入れるようにした。例えば,「田中さんは赤いスカートを(    )い

    ます」では,「きて」,「かぶって」,「して」を誤答選択肢に入れた。

    1- 2- 2.文法

     文法は,二つの大問から成る。大問 1 は,設問文において,文法的・語用論的に適切な語の活

    用や接続形式を問う問題で記述式,大問 2 は,設問文において,文法的・語用論的に適切な文法

    形式や表現を問う問題で四肢選択式である。

     出題文型・表現は,各レベルの総合クラスの教科書で提出されている文型・表現の一覧を作成

    し,その中から筆者らが選定した。出題文型・表現の選定にあたっては,当該文型・表現が習得

    できていれば,当該レベルを終了していると考えられるものを選んだ。

     大問 1 の出題語は,動詞や形容詞など,語尾が活用する語である。入門レベル,初級レベルで

    習得するべき語形を問う問題である。出題語は,短文,または,短い会話文の中で提示し,文脈

    に合う適切な形に直し,下線部に書き入れる記述式の問題である。記述式としたのは,(1)入門

    レベルや初級レベルの学習者は,日本語の表記が十分に定着していない可能性があるが,清濁や

    特殊拍の有無なども含めて,どの程度日本語の文字が正確に書けるか,音と表記の対応は正しく

    習得できているかを確認するため,また,(2)活用などに誤答があった場合に,その間違え方によっ

    ても学習者の日本語力を判断することができるため,である。以下に大問 1 の例を示す。

    例)A:もう昼ひる

    ごはんを食た

    べましたか。

      B:いいえ,まだ(食た

    べます)           。

     大問 2 は,短文,または,短い会話文を提示し,文脈により規定される言語形式や文型・表現

    を,四つの選択肢の中から選ぶ多肢選択式の問題である。大問 2 の選択肢には,当該文型・表現

    が十分に定着していなければ間違えやすい文型項目や混乱しやすい文型・表現などを用いており,

    受験者が文意や前後関係などを正しく理解し,適切な選択肢を選べているかどうかが測れるよう

    にした。以下に大問 2 の例を示す。

    例)今け

    朝さ

    ,電でん

    車しゃ

    で隣となり

    の人ひと

    に足あし

    を       とても痛いた

    かった。

      (1)踏ふ

    んで   (2)踏ふ

    まれて   (3)踏ふ

    ませて   (4)踏ふ

    まされて

  • ( 234 )( 235 ) 日本語プレイスメント・テストの開発と問題項目の分析 37

     大問 1,大問 2 ともに,すべての設問文と選択肢の漢字にルビを振った。これは,文法テスト

    が学習者の漢字の力を測ることを目的としておらず,漢字が読めないことが原因で本来は答えら

    れるはずの文法問題に答えられないといったことを避けるためである。

     出題数は,入門~初級レベルの問題で構成された大問 1 が 12 問,初級~上級入門レベルの問

    題で構成された大問が 28 問の合計 40 問である。大問 1,大問 2 ともに,問題項目は難易度の低

    いものから高いものへと段階的に配置し,受験者には答えられるところまで解答するように指示

    した。

    1- 3- 3.読解

     読解は,主として,中級入門以上のレベルを識別する目的で作成した。六つの文章による六つ

    の大問から成る。大問 1 は初級日本語レベルの語彙や文法による,書き下ろしの手紙文(約 600

    文字)である。大問 2 は中級入門レベルのエッセイ(約 600 文字)である。なお,大問 2 から大

    問 5 までは,出典の文章の一部について,レベル相当の語や表現に書き換えを行っている。大問

    3 と大問 4 は中級レベルのエッセイ(約 650 文字,約 600 文字)である。大問 5 は中上級レベル

    の論説文(約 950 文字)で,大問 6 は中上級から上級入門レベルの論説文(約 1,250 文字)である。

     文章,および設問には,当該レベル以上の漢字にルビを振った。また,当該レベル以上の語や

    表現については,平易な語や表現に書き換えたが,書き換えが困難な場合には,二つまで注を付

    けた。

     設問数は,大問 1 から大問 4 までは 3 問ずつ,大問 5 と大問 6 はそれぞれ 4 問である。いずれ

    の大問でも,下線部についての理解を問うような局所的な読解能力を測る問題と,筆者の意見や

    主張などを文章全体から読み取る統合的な読解能力を測る問題が含まれており,大問が進むにつ

    れて,後者の統合的な理解力を測る問題の比率が高くなるように作成されている。

    2.会話テスト

    2- 1.構成概念

     本プレテには,課題遂行能力を測るテストとして,会話テストが含まれる。会話テストによっ

    て,口頭によるコミュニケーション上の課題遂行能力が測定できると考えるからである。

     口頭によるコミュニケーション能力(本稿では,以下,口頭能力と称す)の構成要素は,研究

    者によって,また,依拠する理論によって,さまざまに定義され得るが,言語テストという文脈

    においてよく引用されるのは,Canale & Swain (1980),Canale (1983),Bachman & Palmer

    (1996)であろう。これらの知見には異なる点はあるものの,口頭能力を構成する要素について

    は,類似した見解を示している。具体的には,文法や語彙などの言語形式に関する「文法能力」,

    話す相手や話題,場面や状況に応じた言語の使用の背景となる「社会言語学的能力」,会話に一

    貫性や結束性を持たせる「談話能力」,コミュニケーションの困難を補償するための言語的,非

    言語的ストラテジーである「方略的能力」などである。なお,これらの能力は,コミュニケーショ

  • ( 232 )( 233 )『明治大学国際日本学研究』第 9 巻第 1 号38

    ンの遂行においては,産出的側面だけでなく,受容的側面も必要となる。

     TOEFL や TOEIC のような大規模テストの中の Speaking Section や Speaking Test,さらに

    口頭能力を測ることに特化した OPI(後述)などでは,こうした理論に依拠しながら構成概念を

    設定し,その構成概念に基づいて,具体的な能力判定基準を決めた上で,受験者の口頭能力を総

    合的に測定,判定する。しかし,本プレテにおける会話テストは,前述のように,筆記テストの

    結果に基づく暫定レベルと口頭能力に齟齬がないかを確認するために実施するものであるため,

    会話テストにおける構成概念も,基本的には,筆記試験と同様に,表 1 に示した各レベルの到達

    目標に準じるものだと考える。すなわち,本プレテにおける会話テストの構成概念は,各レベル

    のカリキュラムで習得が期待されている言語形式が,文法的に正確に受容・産出できること,ま

    た,社会文化的にも,言語機能としても,適切に受容・産出できること,さらには,言語的な困

    難に遭遇した場合には当該レベルとして適切な方略を用いることができること,であると考える。

     ただし,こうした要素から成る口頭能力を,筆記テストのようにディスクリート・ポイント・

    テストとして測定するのではなく,パフォーマンス・テストとして,総合的に評価するべきだと

    考える。ディスクリート・ポイント・テストとは,「言語能力の重要な特性,もしくは構成要素

    を洗い出して,それらに対応する測定項目からなるテスト」(野口・大隅,2012:350)であり,

    パフォーマンス・テストとは,「学習者が獲得した言語知識を取り出して問うのではなく,実際

    にその言語を使って他者とコミュニケーションができる程度,いわば,言語行動の文脈に沿って

    『使える』程度を測定することを目的としている」(同上)ものである。大規模テストがそうで

    あるように,本会話テストも,課題遂行能力を測定するという立場であることから,評価の観点

    からは,パフォーマンス・テストとして位置づけられる。

     このように位置づけられる本会話テストでは,筆記テストだけでは測ることができない口頭能

    力を測るためにいくつかのタスクを設定し,実施した。

    2- 2.OPI の概要と本会話テストの概要

     本節では,口頭能力を測定するテストとして,言及,参照されることが多い OPI がどのよう

    なテストであるかを紹介し,OPI との違いにも言及しながら,本会話テストの位置づけとその概

    要について論じる。

    2- 2- 1.OPI

     OPI とは,Oral Proficiency Interview の略称で,全米外国語教育協会(The American Coun-

    cil on the Teaching of Foreign Language,以下,ACTFL)によって開発された「外国語学習

    者の会話のタスク達成能力を,一般的な能力基準を参照しながら対面のインタビュー方式で判定

    するテスト」(牧野他,2001)である。テストは試験官と受験者が 1 対 1 で対面し,試験官から

    の質問に受験者が返答する双方向のダイアローグ形式で行われる。インタビューの質問項目は,

    事前に決められたものではなく,試験官が,受験者が何をどのくらいできるのかを,対話の中で

  • ( 232 )( 233 ) 日本語プレイスメント・テストの開発と問題項目の分析 39

    判断しながら,受験者の口頭能力に応じて,その場で質問を考え,受験者に応答を求めていく。

    テスト時間は受験者のレベルによって異なり,15 分~30 分程度である。OPI が試験官と受験者

    が直接対面し,ダイアローグ形式で行われるのに対し,他の口頭能力測定テストでは,試験官が

    存在しないことが多い。例えば,TOEFL や TOEIC の Speaking Section や Speaking Test では,

    タスクや質問項目がコンピュータの画面に表示されたり,音声で与えられたりする。また,アル

    クが行っている日本語の会話テストの JSST(Japanese Standard Speaking Test)は,電話を用

    いて行われる方法で,ランダムに質問項目が選ばれ,それが自動音声で流れる形式である。これ

    らのテストでは,試験官などの対話者が不在であるため,受験者はコンピュータや電話の音声に

    返答する非対面のモノローグ形式で実施される。また,非対面のため,テストの質問や課題はあ

    らかじめ設定され,どの受験者に対しても同質のタスクが実施されるという点でも,OPI とは異

    なっている。

     OPI のレベル判定は「言語の運用能力を実生活で起こり得る状況でどれだけ効果的に,そして

    適切に言語を使うことができるか」(『ACTFL-OPI 試験官養成用マニュアル』1999:11)という

    観点から評価を行い,判定レベルは,初級,中級,上級,超級,卓越級の五つあり,さらに,初

    級,中級,上級に関しては,それぞれ,上・中・下という下位レベルがある。よって,全部で

    11 レベルである。

     なお,OPI で用いられる質問やタスク,評価方法などについては,Ⅲの 2 - 2 - 1 で詳述する。

    2- 2- 2.本会話テスト

     プレテ(「文字語彙」,「文法」,「読解」,「会話」)は,2 日に分けて行っており,1 日目は,「文

    字語彙」「文法」「読解」の筆記テストを,2 日目は会話テストを実施した。そして,会話テスト

    の位置づけは,筆記テストの結果を基に判定した受験者の暫定的なプレイスレベルが適切である

    かどうかを確認するためのテストであった。したがって,OPI と本会話テストでは,以下に挙げ

    るような相違点が認められる。

     まず,OPI は,カリキュラムや教材に左右されない熟達度テスト(proficiency test)である。

    しかし,本会話テストは,「2 - 1.構成概念」で述べたように,当該学習者が産出した発話を通

    して,文法力・語彙力・談話構成力などが本学部の日本語コースで設定しているどのレベルまで

    到達しているかを確認する到達度テスト(achievement test)であるといえる。次に,テストの

    進め方として,OPI は,受験者が産出した発話に応じて,その受験者のレベルを判断しながら質

    問項目や内容を決めていく非構造化インタビューであるが,本会話テストでは,事前にレベルご

    とに,当該レベルに相応の文型・表現,またその機能に関する知識の有無が測れるような質問内

    容やタスクを設定し,そのタスクの達成度によって受験者をどのレベルにプレイするかを決定す

    る。また,OPI では,会話テストを始める前に受験者の学習歴などに関する情報を持たないこと

    を前提とし,テストを進める中でそのような情報も確認しながら進めていくが,本会話テストは,

    受験者の母語や学習歴などの情報や筆記テストの結果などを事前に把握した上で会話テストを実

  • ( 230 )( 231 )『明治大学国際日本学研究』第 9 巻第 1 号40

    施している。プレテでは,多数の受験者に対して試験を実施するため,事前に受験者の日本語レ

    ベルなどに関するデータがあることで,当該受験者のレベルに適した課題を無駄なく実施するこ

    とができるといえる。最後に,判定については,OPI では,熟達度で考えた際の「初級」,「中級」,

    「上級」の各レベルの中でさらに上・中・下の下位分類が設けられており,この上に「超級」と

    「卓越級」を加えた全 11 レベルのどのレベル相当の口頭能力があるかを判定している。一方,

    本会話テストでは,本学部の日本語コースで設定した「入門」,「初級」,「中級入門」,「中級」,「中

    上級」,「上級入門」の 6 レベル(あるいは,それ以上)のどのレベルに学習者をプレイスするの

    が適当かを判定し,筆記テストの結果に基づく暫定レベルとの齟齬がないかを確認している。

     このように,OPI が熟達度に基づいてどのくらいの会話能力があるかを測るテストであるのに

    対して,本会話テストは,筆記テストによって判定した暫定レベル相当の口頭能力を受験者が持っ

    ているかどうかを確認するテストであり,その目的を達成するために設計されたテストであると

    いえる。

     本会話テストは,筆記テストによる暫定的レベルに基づいて,上位(中級~上級入門)と下位

    (入門~中級入門)の二つのグループに分けて実施した。テストの形式は,「一問一答の対話形式」

    と「モノローグ形式」の 2 種類であり,前者の形式ではタスク一つ,後者の形式ではタスク四つ

    の合計五つのタスクで構成されている。受験者に対しては,プレテの結果に基づき,それぞれの

    レベルに相当する課題を実施した。

    2- 2- 2- 1.課題

     本会話テストでは,受験者の口頭能力を測るために,以下の五つのタスクを実施した。タスク

    は,(1)から(5)に進むにつれて,おおむね,困難度が高くなるように配置されている。

    ( 1)一問一答

     主に入門レベル~初級レベルを判定することを目的として,当該レベルの語彙や文型を使った

    質問を聞き取って理解し,口頭で質問に適した内容の返答ができるかどうかを確かめるための一

    問一答形式のタスクを実施した。具体的な質問は,「どこから来ましたか」,「今,どこに住んで

    いますか」,「〇〇さんの趣味は何ですか」などである。評価においては,「どこに」,「いつ」,「ど

    のくらい」などの疑問詞を理解しているか,質問に適した内容の返答ができるか,自分の言いた

    いことを単語だけでなく,文で生成できるかなどを評価の基準とした。

    ( 2)道案内

     主に初級レベル~中級入門レベルを判定することを目的として,地図を見ながら目的地までの

    行き方を説明するタスクを実施した。タスクの実施においては,面接官には地図が見えないよう

    に受験者に地図を提示し(受験者には地図の表を提示し,面接官には地図の裏の白紙しか見えな

    い状態),面接官現在地から目的地までの行き方を教えてほしいという教示を与え,受験者に目

    的地までの行き方を説明してもらった。このような手続きを取ったのは,受験者と面接官が対面

    して着席しているため,両者にとっての左右が逆転することが,受験者の発話を困難にする可能

  • ( 230 )( 231 ) 日本語プレイスメント・テストの開発と問題項目の分析 41

    性があることや,両者が共通の地図

    を見ていると,「ここで」,「そこから」

    などの指示詞だけで話を進めてしま

    う可能性があることなどを考慮した

    ためである。

     評価においては,ランドマークと

    なり得る「郵便局」,「銀行」などの

    語が言えるか,「前」,「後ろ」,「隣」,

    「向かい」などの位置を表わす語を

    使って説明できるか,「~と(例:まっ

    すぐ行くと,右へ曲がると)」や「~

    て(まっすぐ行って,角を曲がって)」

    を使って説明できるか,などを評価

    の基準とした。

    ( 3)4コマのストーリーテリング

     主に中級~中上級を判定することを目的として,4 コマで構成されたイラストを見ながら,ど

    のようなことが起こっているかを説明するタスクを実施した。図 1 に 4 コマのストーリーテリン

    グに用いたイラストを示す。タスクの実施においては,イラストを見て,どんなことが起こって

    いるか説明してほしいという教示を与え,受験者に,イラストからわかるストーリーを説明して

    もらった。評価においては,受身形や「V てしまう」などの文法形式を適切に使用できているか,

    また,女性または男性のどちらか一方に視点を定めて説明できるかどうか,さらに,「そして」,

    「それから」などの接続表現を用いて,結束性のある談話を展開することができるか,などを評

    価の基準とした。

    ( 4)代表的な行事の描写・説明

     主に中級~中上級を判定することを目的として,受験者の出身国・地域の代表的な行事につい

    て紹介するタスクを実施した。タスクの実施においては,面接官が受験者の国・地域の代表的な

    行事について説明してほしいという教示を与え,受験者に自分で選んだ行事について紹介しても

    らった。評価においては,トピックについて具体例などを挙げながら,ある程度まとまりのある

    談話を構成することができているか,相手が持っていない情報を過不足なく提示しながら,一貫

    性のある話ができるかどうか,などを評価の基準とした。

    ( 5)意見の表明

     主に中上級~上級入門を判定することを目的として,あるテーマについて二つの相反する立場

    を提示し,いずれかの立場に立って自分の意見を表明するタスクを実施した。タスクの実施にお

    いては,まず,面接官が短い文章と指示文が書かれたプリントを受験者に渡して,黙読するよう

    に指示した。そして,そのテーマについての自分の立場とその立場を取る理由を述べてほしいと

    [図1] 4コマのストーリーテリングに用いたイラスト

  • ( 228 )( 229 )『明治大学国際日本学研究』第 9 巻第 1 号42

    いう教示を与えた。受験者には,考えをまとめる時間を与えた後,自分の意見を述べてもらった。

    評価においては,自分の立場を明確にし,理由を挙げながら適切な語や文法を使って,分かりや

    すく,一貫性のある意見を述べられるかどうかを評価の基準とした。

    2- 2- 2- 2.実施方法と評価方法

     会話テストでは,前節の 2 - 2 - 2 - 1 で述べた五つのタスクのうち,主に,「一問一答」と「道

    案内」の二つのタスクを下位グループ(入門~中級入門)の学習者を対象に,「道案内」~「意

    見の表明」までの四つのタスクを上位グループ(中級~上級入門)の学習者を対象に実施した。

    なお,下位グループの中で中級以上にプレイスされる可能性がある受験者には,確認のために「4

    コマのストーリーテリング」や「代表的な行事の描写・説明」のタスクも実施した。また,上位

    グループの会話テストにおいてもウォーミングアップの目的で,「一問一答」の質問をいくつか

    用いた。会話テストは,受験者ができるタスクまで行い,当該タスクが十分に遂行できていない

    と面接官が判断したところで終了した。

    ( 1)会話テストの実施方法

     会話テストは,6 名の教員で行った。入門~中級入門レベルの授業を担当する教員 2 名が下位

    グループ,中級~上級入門レベルの授業を担当する教員 2 名が上位グループの面接官を担当し,

    面接官を担当しない残り 2 名の教員は下位グループ,上位グループそれぞれの会話テストの様子

    を観察しつつ,プレイスレベルの判定が困難な学生や個別に話を聞く必要がある学生の対応を

    行った。

     会話テストに要した時間は受験者の日本語能力によって異なるが,一人当たり最長で 15 分程

    度とした。会話テストの音声は,すべて IC レコーダーで録音し,レベル判定で迷った際などに

    必要に応じて聞き直しを行った。

     会話テストの実施においては,事前に次の点を面接官の間で共有した。まず,受験者が会話テ

    ストの質問を理解できなかった場合は,同じ質問を繰り返したり,発話速度を遅くしたりしても

    構わないこととした。また,語や表現が難しく質問が理解できなった場合は,やさしい語や表現

    に言い換えることも可とした。ただし,頻繁に言い換えが必要な場合は,その旨をメモしておく

    こととした。次に,下位グループの受験者に対しては,日本語の質問が理解できなかった場合に

    は英語で質問することを認め,その質問に日本語で答えられるかどうかを確認することとした。

    さらに,受験者の言いたいことがわからなかった場合は,その説明をさらに明確にするために,

    「もっと詳しく教えてください」,「〇〇〇とは何ですか」などの追加質問をしても構わないこと

    とした。ただし,面接官が話しすぎないように注意し,受験者から発話を引き出すように心がけ

    た。最後に,上位グループと下位グループの境目のレベルである中級入門と中級のどちらにプレ

    イスするか迷った場合には,当該レベルの前後の質問やタスクをするなどして,レベル判定の参

    考とすることとした。

  • ( 228 )( 229 ) 日本語プレイスメント・テストの開発と問題項目の分析 43

    ( 2)評価方法と評価基準

     本会話テストは,前述のとおり,筆記テストの結果を基に判定した受験者の暫定的なプレイス

    レベルが適切であるかどうかを確認する目的で実施したため,評価の方法は OPI とは異なって

    いる。

     本会話テストの評価は,専用の評価シートを用いて行った。評価シートを図 2 に示す。評価シー

    トは,受験者一人につき一枚用意してあり,受験者の情報として,氏名,属性(正規生,または,

    交換留学生),および,筆記試験の結果に基づく暫定レベルが示されている。さらに,評価に必

    要な情報として,タスクの一覧,課題達成度の評価枠,評価の尺度,および,メモ欄が示されて

    いる。

     本会話テストの評価は,二人一組の面接官が行い,各タスクにおける課題達成度を 5 段階で評

    価した。なお,前述のとおり,面接官は,入門レベル~中級入門レベルの授業を担当する教員が

    下位グループ,中級レベル~上級入門レベルの授業を担当する教員が上位グループを担当した。

    評価の基準は,暫定レベルに口頭能力が合致しているか否か,また,各レベルの担当教員が自分

    が担当するレベルに当該受験者を配置できるかどうかを基本とした。

     評価の尺度は,「1」は当該タスクが全くできておらず,一つ下のレベルに配置するべき,「2」

    は不完全ではあるが当該タスクが全く達成できていないわけではないため当該レベルかその一つ

    下かで迷う,「3」は当該タスクはだいたい達成できているため当該レベルに配置してよい,「4」

    は当該タスクは上手に達成できているため当該レベルかその一つ上か迷う,「5」は当該タスクの

    [図2] 本会話テストに用いた評価シート

  • ( 226 )( 227 )『明治大学国際日本学研究』第 9 巻第 1 号44

    達成度は非常に高いため一つ上のレベルに配置してよい,とした。

     レベルの見極めをするにあたっては,最初の数人の会話テストをしてみたところで面接官同士

    で判定を照合し,相互に判定基準の整合性を確認した。ただし,評価シートを記入する際には,

    面接官同士で相談せずに,行うこととした。そして,会話テスト終了後のレベル判定会議におい

    て,それぞれの評価を照らし合わせたり,各受験者の事情(単位互換に関わるプレイスレベルの

    制限など)を考慮したりした上で,最終的なレベル判定を行った。

    Ⅲ テストの分析結果

    1.受験者

     2016 年 4 月のプレテ受験者(全科目受験者)は 45 名であった。このうち 21 名は ET 正規留

    学生,残りは ET,および JT 交換留学生である。また,45 名中,漢字圏学習者(中国大陸,台湾)

    は 10 名,準漢字圏と位置づけられる韓国語母語の学習者は 3 名,その他はアメリカ,オースト

    ラリア,イギリス,フランス,オーストリア,ドイツ,オランダ,カザフスタン,セルビア,ベ

    トナム,インドネシアなどの非漢字圏学習者である。

     なお,完全な未習者 2 名は筆記テストは受験せず,ひらがなテストしか受験していない。また,

    上級日本語以上のレベルであることがわかり,プレテが不要となった者などについては,会話テ

    ストは受験させていない。よって,本稿において分析対象としたのは,筆記テストは 43 名分,

    会話テストは 42 名分のデータである。

    2.分析結果

    2- 1.筆記テストの分析結果

     採点は 1 問 1 点とし,各科目について正答数得点を求めた。次節以降で各科目の分析結果を述

    べる。

    2- 1- 1.文字語彙

     まず,文字語彙(全 42 項目)の記述統計は表 4 の通りである。

    [表4] 文字語彙の得点の記述統計

    N Min Max M SD 信頼性係数

    42 0 42 24.69 14.21 0.98注:N は項目数,Min は最低点,Max は最高点,M は平均,SD は標準偏差を示す.

     42 項目中の平均点が 24.69 であったということは,平均正答率は 58.78% で,約 6 割というこ

    とになる。また,信頼性係数にはクロンバックの α 係数を用いた。信頼性係数とは,テストの

    測定精度を示す指標である。「α係数は能力テストの場合には,一般に,0.8 を超える値が望ま

  • ( 226 )( 227 ) 日本語プレイスメント・テストの開発と問題項目の分析 45

    しいとされている」(野口・大隅,2012:345)が,今回の文字語彙では 0.98 と非常に高い値を

    示している。ただし,プレテの場合には幅広いレベルの受験者を適切にプレイスしていく必要が

    あり,テスト項目がワンパターンであると,適切にプレイスできない可能性もある。よって,プ

    レテの場合には,このα係数の値をあまり重視しすぎない方が良いと筆者は考える。

     次に,大問ごとに困難度と識別力を示す。困難度の指標には通過率(正答率)を用いる。通過

    率とは「正答者の受験者全体に対する比率で,全員が誤答であれば 0,全員が正答であれば 1 で

    あり,それ以外の場合は 0 と 1 の間の値をとる」(野口・大隅,2012:343)。よって,0 に近い

    値であれば,困難度が高い,すなわち,当該受験者には難しい項目であったと考えられる。反対

    に,1 に近い値であれば,受験者にとって易しい項目であったと考えられる。また,識別力の指

    標には点双列相関係数を用いる。識別力とは「各項目が測定対象とする能力に対して受験者間の

    水準の違いをどの程度正確に反映できるかを表わし,(中略)1 に近い方が当該項目が受験者間

    の能力水準の違いをよく反映し,0 に近いか負の値を示す項目はそのテストが測定目的としてい

    る能力を全く反映していないことを表わす」(野口・大隅,2012:343)と言われている。なお,

    識別力は一般に 0.4 を下回った場合には留意する必要があるとされる。また,マイナスの値の項

    目は,成績上位者ほど誤答した項目ということになるため,削除する必要がある。

     今回の文字語彙の困難度と識別力について求めた結果,以下の表 5 から表 7 の通りとなった。

    [表5] 大問1の項目分析結果

    大問 番号 困難度 識別力

    大問1 

    漢字読み

    1 .745 .844

    2 .804 .821

    3 .549 .702

    4 .804 .839

    5 .686 .877

    6 .627 .830

    7 .745 .850

    8 .706 .891

    9 .333 .498

    10 .706 .812

    11 .667 .889

    12 .549 .722

    合計 .660 .798

    [表7] 大問3の項目分析結果

    大問 番号 困難度 識別力

    大問3 

    文脈規定

    1 .471 .5662 .529 .5913 .667 .7774 .686 .7995 .745 .7936 .451 .6767 .706 .8278 .314 .5209 .745 .86010 .392 .60011 .667 .83312 .471 .51213 .627 .76414 .412 .55415 .510 .70016 .178 .36217 .510 .50018 .667 .803

    合計 .517 .669

    [表6] 大問2の項目分析結果

    大問 番号 困難度 識別力

    大問2 

    漢字表記

    1 .725 .801

    2 .647 .701

    3 .608 .813

    4 .745 .828

    5 .706 .864

    6 .569 .743

    7 .647 .879

    8 .608 .656

    9 .355 .379

    10 .569 .726

    11 .490 .683

    12 .412 .432

    合計 .590 .709

  • ( 224 )( 225 )『明治大学国際日本学研究』第 9 巻第 1 号46

     複数の項目で識別力がやや低かったが,特に問題となりそうなのは,大問 2 の 9 番の項目で識

    別力が 0.379 と 0.4 を下回っている。また,大問 3 の 16 番の項目で困難度が 0.178 と非常に高く,

    また,識別力も 0.362 と低い。この 2 項目は以下のような項目であった。

     【大問 2-9】

     父は銀行につとめています。

     (1)勤めて   (2)務めて   (3)労めて   (4)働めて

     【大問 3-16】

     A 社と B 社は,交こう

    渉しょう

    がうまくいかなくて,予定していた合がっ

    併ぺい

    を(     )ことになった。

     (1)見送る   (2)振り返る   (3)思いきる   (4)聞き入れる

     この二つの項目について,受験者がどの選択肢を選んでいたか確認してみると,まず,大問

    2-9 では,正答の「勤めて」と同程度に「務めて」を選んでいる者が多い(表 8)。また,大問

    3-16 では,正答の「見送る」よりも誤答選択肢の「振り返る」や「思い切る」の方が選択者率

    が高い(表 9)。

    [表 8] 大問2-9の選択肢分析

    勤めて 務めて 労めて 働めて 無答 合計

    選択者数 16 15 4 5 3 43

    選択者率 37.21% 34.89% 9.30% 11.63% 6.98% 100.00%注:2 名がひらがなテストのみの受験者で,本科目は受けていない.

    [表 9] 大問3-16の選択肢分析

    見送る 振り返る 思い切る 聞き入れる 無答 合計

    選択者数 8 15 10 2 8 43

    選択者率 18.61% 34.89% 23.26% 4.65% 18.61% 100.00%注:2 名がひらがなテストのみの受験者で,本科目は受けていない.

     なお,これらの項目を削除するべきか否かを検討するために,プレイス後の各レベルにおける

    当該項目の正答率を確認したところ,以下の表 10,表 11 の通りとなった。

  • ( 224 )( 225 ) 日本語プレイスメント・テストの開発と問題項目の分析 47

    [表 10] 大問2-9のレベル別正答率

    レベル 正答者数 正答率

    入門 1 11.11%

    初級 1 33.33%

    中級入門 1 33.33%

    中級 3 37.50%

    中上級 6 66.67%

    上級入門 3 25.00%

    上級以上 1 100.00%

    全体 16 35.56%

    [表 11] 大問3-16のレベル別正答率

    レベル 正答者数 正答率

    入門 0 0.00%

    初級 0 0.00%

    中級入門 1 33.33%

    中級 2 25.00%

    中上級 2 22.22%

    上級入門 2 16.67%

    上級以上 1 100.00%

    全体 8 17.78%

     大問 2 - 9 については,入門と中上級を除いては,ほぼ横ばいである。ただし,出題語の「勤

    める」は中上級レベルの漢字語彙であるため,考慮するべきは,上級入門に正答者が少ないこと

    である。上級入門にプレイスされた者の中で,漢字の知識が不十分な学生がいる可能性が推測さ

    れる。

     また,大問 3-16 の「見送る」も中上級レベルの語であるが,中級入門から上級入門まで,1 名,

    あるいは 2 名しか正答していない。複合動詞は習得が困難な語であることは予想していたが,各

    レベルで 1,2 名の正答者しかおらず,プレイスに寄与していると言えるかどうか,検討が必要

    である。

    2- 1- 2.文法

     次に,文法(全 40 項目)の記述統計は表 12 の通りである。

    [表 12] 文法の得点の記述統計

    N Min Max M SD 信頼性係数

    40 0 39 23.25 13.87 0.98注:N は項目数,Min は最低点,Max は最高点,M は平均,SD は標準偏差を示す.

     40 項目中の平均点が 23.25 であったということは,平均正答率は 58.12%で,文字語彙とほぼ

    同程度の約 6 割ということになる。また,信頼性係数は 0.98 で,高い。

     次に,大問ごとに困難度と識別力を示す。

     まず,大問 1 の活用については,表 13 の通りとなった。大問 1 は,主として,入門レベルの

    初歩的な活用形について,正しく習得できているか否かを記述式によって測定しているが,いず

    れの項目も識別力が高く,プレイスに有効であることが推測される。なお,8 番,10 番,12 番

    の問題項目は,上級も含めて 0.4 の困難度であるから,決して易しい問題項目とは言えない。こ

    の 3 問は,「いいえ,まだ(食べていません)」,「富士山に(登ったことが)ありますか」,「あし

    たの授業は(休みだ)そうです」であった(カッコの部分が正答)。それぞれの誤答として多かっ

  • ( 222 )( 223 )『明治大学国際日本学研究』第 9 巻第 1 号48

    たのは,「いいえ,まだ(食べません)」,「富士山に(登ることが)ありますか」,「あしたの授業

    は(休み)そうです」であった。これらは,文脈上,正用とは言いにくいものである。

     次に,大問 2 の文型については,表 14 の通りとなった。

    [表 13] 大問1の項目分析結果

    大問 番号 困難度 識別力

    大問1 

    活用

    1 .822 .778

    2 .844 .731

    3 .756 .732

    4 .489 .716

    5 .822 .807

    6 .711 .785

    7 .667 .784

    8 .400 .676

    9 .667 .825

    10 .400 .493

    11 .711 .785

    12 .400 .658

    合計 .641 .731

  • ( 222 )( 223 ) 日本語プレイスメント・テストの開発と問題項目の分析 49

    [表 14] 大問2の項目分析結果

    大問 番号 困難度 識別力

    大問2 

    文型

    1 .647 .7162 .549 .7253 .451 .4974 .510 .6255 .756 .7926 .451 .4777 .529 .7668 .489 .7779 .756 .84410 .711 .90011 .667 .77812 .733 .74013 .294 .61314 .529 .77415 .689 .80216 .378 .55517 .711 .82718 .756 .79519 .644 .69920 .689 .84821 .392 .65522 .667 .68223 .689 .80424 .356 .56825 .311 .50826 .451 .75027 .353 .61028 .392 .655

    合計 .555 .707

     大問 2 は,提示された文脈によって規定される概念を表わす語形を選択肢から選ぶ問題である。

    困難度にばらつきがあり,また,識別が非常に良い。文字語彙よりも,文法での識別がプレイス

    に有効であることが示唆される。

     ただし,項目の後半に行くにつれて,難易度が高くなるように配置したにもかかわらず,困難

    度が 0.6 を超える,比較的易しい項目が後半にも少なくない。

     特に易しかったのは,17 番,18 番であろう。以下のような項目である。

     【大問 2-17】

     買か

    った(     )の傘かさ

    をなくしてしまった。

  • ( 220 )( 221 )『明治大学国際日本学研究』第 9 巻第 1 号50

     (1)とたん   (2)すぐ   (3)ばかり   (4)ところ

     【大問 2-18】

     A:木き

    村むら

    さんはもう帰かえ

    りましたか。

     B:ええ,たぶん帰かえ

    ったと(      )。もうかばんがありませんから。

     (1)思おも

    いますよ  (2)思おも

    いましたよ  (3)思おも

    っていますよ  (4)思おも

    っていましたよ

     この 2 問について,各レベルの正答率を確認したところ(表 15,表 16),中級以上ではほぼ全

    員が正答していることがわかった。全体のバランスを見て,これらの項目を削除するか否か,検

    討したい。

    [表 15] 大問2-17のレベル別正答率

    レベル 正答者数 正答率

    入門 2 22.22%

    初級 0 0.00%

    中級入門 1 33.33%

    中級 7 87.50%

    中上級 9 100.00%

    上級入門 12 100.00%

    上級以上 1 100.00%

    全体 32 71.11%

    [表 16] 大問2-18のレベル別正答率

    レベル 正答者数 正答率

    入門 2 22.22%

    初級 1 33.33%

    中級入門 2 66.67%

    中級 8 100.00%

    中上級 8 88.89%

    上級入門 12 100.00%

    上級以上 1 100.00%

    全体 34 75.56%

    2- 1- 3.読解

     最後に,読解(全 20 項目)の記述統計は表 17 の通りである。

     20 項目中の平均点が 8.51 であったということは,平均正答率は 42.55%で,文字語彙や文法に

    比べてやや低い。信頼性係数は 0.92 で,文字語彙や文法よりはやや低いが,0.9 を超えており,

    十分な値である。[表 17] 文法の得点の記述統計

    N Min Max M SD 信頼性係数

    20 0 18 8.51 5.93 0.92注:N は項目数,Min は最低点,Max は最高点,M は平均,SD は標準偏差を示す.

     次に,大問ごとに困難度と識別力を示す(表 18~表 23)。

  • ( 220 )( 221 ) 日本語プレイスメント・テストの開発と問題項目の分析 51

    [表 18] 大問1の項目分析結果

    大問 番号 困難度 識別力

    大問1

    1 .490 .609

    2 .647 .783

    3 .647 .707

    合計 .595 .700

    [表 19] 大問2の項目分析結果

    大問 番号 困難度 識別力

    大問2

    1 .510 .506

    2 .588 .798

    3 .549 .676

    合計 .549 .660

    [表 20] 大問3の項目分析結果

    大問 番号 困難度 識別力

    大問3

    1 .176 .214

    2 .235 .447

    3 .510 .759

    合計 .307 .473

    [表 21] 大問4の項目分析結果

    大問 番号 困難度 識別力

    大問4

    1 .608 .623

    2 .529 .811

    3 .588 .683

    合計 .575 .706

    [表 22] 大問5の項目分析結果

    大問 番号 困難度 識別力

    大問5

    1 .222 .411

    2 .314 .632

    3 .216 .531

    4 .294 .574

    合計 .262 .537

    [表 23] 大問6の項目分析結果

    大問 番号 困難度 識別力

    大問6

    1 .255 .592

    2 .412 .653

    3 .431 .740

    4 .314 .646

    合計 .353 .657

     識別力が低い項目としては,大問 3 の 1 や 2,また,大問 5 の 1 などである。いずれも識別が

    悪いだけでなく,困難度も非常に高い。プレテの問題項目は公開していないため,ここで読解の

    文章は例示しないが,各レベルの正答率をそれぞれ以下に示す(表 24~表 26)。いずれを見ても,

    中級入門よりも中級の方が正答率が低く,また,中上級と上級入門が横ばいである。これらにつ

    いては,今後精査し,修正を加える必要があると思われる。

  • ( 218 )( 219 )『明治大学国際日本学研究』第 9 巻第 1 号52

    [表 24] 大問3-1のレベル別正答率

    レベル 正答者数 正答率

    入門 1 11.11%

    初級 0 0.00%

    中級入門 3 100.00%

    中級 1 12.50%

    中上級 1 11.11%

    上級入門 3 25.00%

    上級以上 0 0.00%

    全体 9 20.00%

    [表 25] 大問3-2のレベル別正答率

    レベル 正答者数 正答率

    入門 0 0.00%

    初級 0 0.00%

    中級入門 2 66.67%

    中級 2 25.00%

    中上級 3 33.33%

    上級入門 4 33.33%

    上級以上 1 100.00%

    全体 12 26.67%

    [表 26] 大問5-1のレベル別正答率

    レベル 正答者数 正答率

    入門 0 0.00%

    初級 1 33.33%

    中級入門 1 33.33%

    中級 1 12.50%

    中上級 3 33.33%

    上級入門 4 33.33%

    上級以上 0 0.00%

    全体 10 22.22%

    2- 2.会話テストの分析結果

     前述したように,最終的なプレイスは,筆記テストの結果を中心に,単位互換の必要性とそれ

    に関わる手続き上の問題の有無(交換留学生の場合),過去の日本語学習歴,会話テストでのパ

    フォーマンスなどの要因を加味して,総合的に決定される。そのため,プレテ時の会話テストで

    は,当該レベルの担当教員が面接官となり,筆記テストの暫定レベルの通りに当該学生をプレイ

    スして良いか否かという観点から,評価を行った。

     つまり,本会話テストは,純粋な口頭表現能力を測るテストではない。しかし,テストの妥当

    性を検証する上で,より客観的な指標で口頭表現能力を測定し,それがプレイスレベルとどのよ

    うな関係にあるかを検証しておく必要があると考える。

     そこで,本研究においては,プレイス終了後に,OPI の評価基準を援用し,会話テストのデー

    タを用いて,受験者の口頭能力を再分析することとした。以下で,その分析結果と考察について

    論じる。

    2- 2- 1.判定方法と判定結果

     本判定は,会話テストで受験者が産出した発話を,OPI テスターの資格を有する筆者の一名が

    IC レコーダーに録音した音声を聞き,OPI の評価基準に基づいて行った。当該筆者は,会話テ

    ストの面接官を務めておらず,受験者の発話を聞くのは,これが初めてである。また,受験者の

    最終プレイスレベルは,発話を聞く時点では知らされていない。

     OPI の判定は,インタビューで抽出された発話に対して,「総合的タスク・機能」,「場面・話題」,

    「正確さ」,「テキストの型」という四つの評価基準に基づいて総合的に行われる。「総合的タスク・

    機能」とは,言語を使って何ができるかということであり,テストでは,質問に答えられるか,

    叙述・描写ができるか,意見が述べられるかなどのタスクを通して確認される。「場面・話題」は,

    そのタスクの場面設定や話題が日常的か抽象的かというものである。「正確さ」には,文法,語彙,

  • ( 218 )( 219 ) 日本語プレイスメント・テストの開発と問題項目の分析 53

    発音,流暢さ,社会言語学能力,語用論的能力の六つの要素がある。「テキストの型」は,産出

    される発話の量,そして,その発話が単語,文,段落,複段落のどの型を成しているかというこ

    とであり,発話について,これら四つの評価基準に基づいて評価を行う。

     以上のような OPI の評価基準に基づき,本会話テストの受験者一人ひとりの口頭能力を,初級,

    中級,上級,超級,卓越級,さらに下位レベルを含めた全 11 レベルのいずれかに判定した。判

    定の結果は,表 27 の通りである。なお,今回は超級以上に判定される者はいなかった。

    [表 27] 本会話テストのOPI 判定結果

    判定不能 初―下 初―中 初―上 中―下 中―中 中―上 上―下 上―中 上―上 合計

    人数 4 3 3 2 3 3 10 6 7 1 42

    2- 2- 2.判定に関する考察

     本会話テストでは,(1)一問一答,(2)道案内,(3)4 コマのストーリーテリング,(4)代表的な

    行事の描写・説明,(5)意見の表明,の五つのタスクが行われた。本テストの五つのタスクは,

    OPI の評価基準のひとつである「総合的タスク・機能」において初級,中級,上級が果たすこと

    ができるタスクの特徴と照らし合わせると,(1),(2)は初級レベル,(3),(4)は中級レベル,(5)

    は上級レベルの口頭能力を測定するタスクに相当する。したがって,受験者がタスクを実施し,

    産出した発話について,OPI の評価基準を用いてレベル判定が可能だと考える。

     本会話テストで実施した(1)から(5)のタスクにおいて,受験者の発話に見られた傾向を述べる。

     まず,(1)一問一答のタスクでは,中級,上級と判定された受験者は,面接官からの質問に対

    して,ほぼ正確に返答できていたが,初級と判定された受験者は,質問が理解できず,質問の内

    容に合った返答ができないことがあり,自分が日本語で言えること,知っていることを一方的に

    述べたり,文を作ることができずに単語レベルで返答したりする傾向が見られた。

     (2)道案内のタスクは,初級レベルの受験者には難易度が高く,中級,上級レベルと判定され

    た受験者でも,目的地までの道筋を伝えるというタスクは達成できていたものの,正確さの面に

    おいて,(1)一問一答では見られなかった文法の間違いが目立った。道案内は,初級後半で提出

    される確定条件の「~と,……」の導入の後に,順次動作の「~て,……」とともに練習するこ

    とが多いタスクである。しかし,地図を見ながら,複雑な道順を説明することは,中級レベル以

    上の受験者でも,容易でなかったようだ。

     (3)4 コマのストーリーテリング,(4)代表的な行事の描写・説明では,「テキストの型」の点で,

    中級レベルと判定された受験者の発話には,上級とは認めることができない特徴が見られた。上

    級レベルの特徴は,段落を維持して話すことができることであるとされている。ここで言う段落

    とは,談話の長さではなく「発話における内的な完結性」(『ACTFL-OPI 試験官養成用マニュア

    ル』1999:39)のことであり,段落を維持して話せるということは,「ビデオ映像のように,時

  • ( 216 )( 217 )『明治大学国際日本学研究』第 9 巻第 1 号54

    間の流れや聞き手への配慮という点から結び付けられた,連続した,一続きのまとまりとして発

    話することができる」(同上)とされている。ところが,(3)4 コマのストーリーテリングは,4

    枚の絵を見て,ストーリー展開を語るタスクであるが,中級と判定された受験者の発話は,4 枚

    の絵を一連のものとしてではなく,1 枚 1 枚の絵を描写するような発話であったため,ストーリー

    としての連続性に欠けていた。(4)代表的な行事の描写・説明に関しても,中級と判定された受

    験者は行事について,断片的にその様子を伝えることはできても,行事全体がどのようなもので

    あるのかまとまりを持った発話を産出することができず,面接官がその行事をイメージすること

    が難しかった。

     (5)意見の表明のタスクでは,上級と判定された受験者の発話は,自分がどのような立場であ

    るかを明示し,意見を述べてはいるものの,その理由が個人的な志向や表面的な見解で,意見を

    裏付ける根拠としては不十分であったり,発話の量が少なかったりした。また,文法や語の誤り

    が目立ち,発話の質が低下する言語的な挫折が見られることもあった。

     本会話テストで実施された(1)から(5)のタスクは,上述の通り,OPI の評価基準である「総合

    的タスク・機能」において,初級,中級,上級が果たすことができる能力を測定するためには適

    切なタスクであり,受験者の口頭能力を測定するタスクとして機能していると思われる。しかし,

    タスクを行う際,面接官によって教示に差があり,それが受験者の発話に影響を及ぼしたのでは

    ないかと思われる点があった。例えば,4 コマのストーリーテリングは,受験者の発話が「一連

    のまとまった話」であれば上級,「1 枚ごとの描写」であれば中級と判定されるが,面接官の中

    には,数回程度,「何が起こっているか,それぞれの絵について説明してください」と教示を行っ

    ていることもあった。受験者の中でストーリーではなく,1 枚ごとの描写を行った発話があった

    のは,こうした教示の影響によるものか,それとも,受験者が断片的な描写しかできなかったた

    めなのか,不明な場合もあった。つまり,受験者の発話が,受験者の口頭能力によるものなのか,

    面接官の教示による影響なのか,判断することが難しい場合があったということである。よって,

    複数の面接官で同一のタスクを実施し,判定を行う場合には,面接官の間で教示を統一しておく

    ことが重要であろう。

     また,OPI の判定が困難な場合もあった。それは,初級,中級,上級のそれぞれのレベル内で

    の上,中,下という下位レベルの判定についてである。OPI では 30 分という時間をかけ,イン

    タビューの中で様々なタスクを実施することによって,受験者から発話を引き出し,何ができて,

    何ができないのかの証拠を集めていく。その中で,上なのか,中なのか,下位レベルを見極めて

    いく。しかし,本会話テストでは発話量がやや不足しており,OPI の判定を行うのに必要な十分

    な証拠を見つけることは困難であった。そのため,初級,中級,上級のどのレベルかまでは,お

    およそ判定できたものの,そのレベル内の上,中,下という下位レベルの判定を行うことは容易

    でなかった。本会話テストについて OPI による判定を行うためには,また,細かいレベル分け

    を行うためには,受験者からより多くの発話を引き出す必要があるのではないかと思われる。

  • ( 216 )( 217 ) 日本語プレイスメント・テストの開発と問題項目の分析 55

    Ⅳ テストとプレイスの関係

    1.テスト結果に基づくレベル判定の方針

     本節では,筆記テストで受験者をどのようにレベル判定したかについて,述べる。なお,前述

    したように,プレイスは,筆記テストの結果に基づいて暫定的にレベルを判定した。具体的には,

    各受験者の 3 科目の合計点,各問題項目の正答誤答のパタン(各受験者の正誤判断結果と各項目

    の全受験者における正誤判断結果),および各問題項目への正誤と各レベルの構成概念(=到達

    目標)との整合性,から総合的に暫定レベルを決めていった。そこに,会話テストでのパフォー

    マンスを加味した。

     例えば,入門レベルの到達目標の中に,「て形」の習得ができていることが含まれているため,

    初級レベルに配置するか否かは,合計点よりも,文法の大問 1「活用」の「て形」ができている

    か否かを,第一次の基準とした。また,中級入門レベルは,初級の受身形,使役形の活用の知識

    が習得されている者が,その運用能力を高めるためのレベルであるため,中級入門レベルに配置

    する条件としては,文法の大問 1「活用」がほぼ正解であること,とした。さらに,筆記テスト

    の合計点では中上級レベルと判定されたが,会話テストでは上級入門相当と評価された受験者が

    いるような場合は,筆記テストのどの難易度の,どのような問題項目で誤答したのかを確認した

    上で,中上級とするか,上級入門とするかを決定した。

    2.レベル判定結果

     上述の方法によりレベル判定を行ったところ,各レベルの筆記テストの得点は表 28 の通りと

    なった。なお,会話テストの OPI 判定については,判定不能は 0,初級レベルを 1~3(初―下

    を 1,初―中を 2,初―上を 3),中級レベルを 4~6(中―下を 4,中―中を 5,中―上を 6),上

    級の 3 レベルを 7~9(上―下を 7,上―中を 8,上―上を 9)とし,それぞれを間隔尺度と見な

    して,分析した。

     まず,筆記テストについては,レベルが上がるにつれて,得点が高くなっているのが確認できる。

    各レベルの各科目の得点の差が統計的に有意であるか否かを確認するために,各科目について一

    元配置の分散分析を行ったところ,文字語彙[F(5,43)=32.93,p

  • ( 214 )( 215 )『明治大学国際日本学研究』第 9 巻第 1 号56

    [表 28] 各レベルの筆記テストの結果

    レベル 文字語彙 文法 読解 筆記合計 OPI

    入門

    M 9.89 4.44 2.89 17.22 0.89SD 8.652 4.362 3.060 15.675 0.928Min 0 0 0 0 0Max 25 10 7 42 2N 9 9 9 9 9

    初級

    M 16.00 11.67 2.00 29.67 2.67SD 3.606 5.508 1.000 6.110 2Min 13 6 1 23 1Max 20 17 3 35 4N 3 3 3 3 3

    中級入門

    M 26.33 20.33 10.67 57.33 4.75SD 9.609 5.686 4.041 16.166 2Min 16 14 7 40 3Max 35 25 15 72 8N 3 3 3 3 3

    中級

    M 31.13 25.50 9.63 66.25 5.88SD 3.044 3.586 3.462 6.431 0.64Min 26 20 5 53 5Max 36 32 15 73 7N 8 8 8 8 8

    中上級

    M 34.22 31.33 12.11 77.67 7.00SD 2.587 3.082 3.296 5.292 0.71Min 30 27 8 72 6Max 38 35 17 89 8N 9 9 9 9 9

    上級入門

    M 37.00 35.00 13.83 85.83 7.18SD 1.758 2.594 2.406 4.896 1.25Min 33 30 11 77 5Max 39 39 17 93 9N 12 12 12 12 10

    上級以上

    M 42.00 37.00 18.00 97.00 ―SD ― ― ― ― ―Min 42 37 18 97 ―Max 42 37 18 97 ―N 1 1 1 1 ―

    全体

    M 24.69 21.16 8.51 61.60 5.09SD 14.208 13.873 5.934 28.194 2.692Min 0 0 0 0 0Max 42 39 18 97 9N 45 45 45 45 42

    注:Mは平均,SD は標準偏差,Min は最低点,Max は最高点,Nは人数を示す。

  • ( 214 )( 215 ) 日本語プレイスメント・テストの開発と問題項目の分析 57

    において中級レベルか中上級レベルと判定されたが,本人との協議の上,中級入門に配置するこ

    ととなった。なおこの 1 名の得点が,3 名しかいない中級入門の結果に大きく影響したことは否

    定できない。

     このような背景を踏まえて,全体的に見てみると,筆記テストの 3 科目のいずれにおいても,

    中級と中上級の差,中上級と上級入門の差が小さいことがわかる。現在のプレテの問題項目では,

    これらのレベル間が適切に識別できていない可能性が示唆される。特に,読解は上位 3 レベルを

    識別することを狙って作成したにもかかわらず,あまり有効に機能していない。よって,筆記テ

    ストについては,上のレベルを識別するために,問題項目の修正や追加を検討する必要がある。

     次に,各レベルに配置された受験者が,OPI でどのレベルに判定されたかの結果について,表

    [表 29] 統計的に有意でなかったレベル間

    文字語彙中級入門⇔中級,中級入門⇔中上級,中級入門⇔上級入門,中級⇔中上級,中上級⇔上級入門

    文法

    入門⇔初級,中級入門⇔中級,中級入門⇔中上級,中級⇔中上級,中上級⇔上級入門

    読解

    入門⇔初級,中級入門⇔中級,中級入門⇔中上級,中級入門⇔上級入門,中級⇔中上級中上級⇔上級入門

    OPI

    入門⇔初級,初級⇔中級入門,中級入門⇔中級,中級⇔中上級,中級⇔上級入門,中上級⇔上級入門

    [表 30] 各レベルのOPI 判定結果�

    判定不能 初―下 初―中 初―上 中―下 中―中 中―上 上―下 上―中 上―上 合計

    入門 4 2 3 0 0 0 0 0 0 0 9

    初級 0 1 0 1 1 0 0 0 0 0 3

    中級入門 0 0 0 1 2 0 0 0 0 0 3

    中級 0 0 0 0 0 2 5 1 0 0 8

    中上級 0 0 0 0 0 0 2 5 2 0 9

    上級入門 0 0 0 0 0 1 3 0 5 1 10

    合計 4 3 3 2 3 3 10 6 7 1 42

    (単位:人数)

  • ( 212 )( 213 )『明治大学国際日本学研究』第 9 巻第 1 号58

    30 に示す。

     OPI による判定では,中上級の平均が 7.00,上級入門の平均が 7.18 と近似した値であったが,

    具体的な人数を見てみると,中上級では「上の下」の 7 に判定される者が多く,上級入門では「上

    ―中」の 8 に判定された者が多かった。また,上級入門にプレイスされた者のうち,4 名は「中

    ―中」と「中―上」に判定され,また,1 名は「上―上」と判定されている。前者のうちの 2 名

    は中国語を母語とする留学生で,筆記テストにおいては非常に高得点であった。一方,後者の 1

    名は日本の高校で学んだ経験のある者であった。

     今回の結果では,中上級と上級入門の差が非常に小さかったが,これは今学期の受験者の傾向

    に基づくものなのか,それとも,会話テストが不十分であったのか,あるいは,会話テストは

    OPI の判定に不向きであったのか,今後,継続して分析を行い,検討していきたい。

    3.テストの改良

     本節では,以上の分析を経て,どのようにテストを修正していくべきかについて,筆記テスト

    の各科目,および会話テストについて,それぞれ検討する。

     まず,文字語彙については,大問 1 の漢字読みが困難度が全般的に低めで,上位レベルを識別

    するのが困難であった。そこで,困難度が低すぎる項目は削除し,困難度の高い問題項目を追加

    する必要がある。大問 2 の漢字表記についても,もう少し困難度の高い項目を追加した方が良い

    であろう。さらに,大問 3 の文脈規定は困難度のばらつきは良いが,上位の 3 レベルを高精度に

    識別するためには,やはり困難度の高い問題項目を加えたり,意味だけではなく用法の知識も問

    うような新たな問題形式を加えるなどの工夫が必要である。

     次に,文法については,大問 1 の活用は初級レベルの活用の知識の正確さを問う問題であるの

    で,特に大きな変更の必要はないと思われる。しかし,今後のテストのウエブ化を視野に入れて,

    現段階から,一部,多肢選択式の問題項目に代えていくべきであろう。大問 2 については,困難

    度がよくばらついており,識別力も高いので,このような作成方法を維持しつつも,上位レベル

    を識別するために,困難度の高い項目の追加を検討した方が良い。

     最後に,読解テストについては,いずれの大問についても,より精度を高める必要がある。特

    に,大問 3 は識別力が 0.2 台の項目が 1 問,0.4 台の項目が 1 問と,識別が良くない。一方,大

    問 5 は,識別は悪くないものの,困難度が高すぎて,上のレベルを細かく弁別するには不向きで

    あろう。ただし,今回の分析では全受験者を対象に行ったが,読解は特に上位レベルのプレイス

    を行うための科目であるため,今後は,上位の 3 レベルだけで分析を行い,どのような項目が上

    位レベルの識別に有効か,精査する必要がある。

     一方,会話テストについては,タスクの教示,タスクの問題案に改良すべき点がある。まず,

    タスクの教示については 2 点ある。1 点目は,判定の精度を上げるために,テスト開始時に「な

    るべくたくさん話してください」と受験者に伝え,レベル判定の材料となる受験者の発話量を増

    やすことである。2 点目は,面接官の間での教示の統一である。Ⅲの 2 - 2 - 2 で述べた通り,

  • ( 212 )( 213 ) 日本語プレイスメント・テストの開発と問題項目の分析 59

    教示の違いが発話内容,さらには判定結果に影響を及ぼす可能性があり,どの受験者にも同一の

    教示を行うことが重要である。また,タスクの問題案については,同一タスクに複数のトピック

    を用意し,受験者自身がいずれかのトピックを選択できるようにすることである。今回,(5)意

    見の表明において提示したトピックに対して,「それについて,あまり考えたことがない」と言い,

    発話が止まってしまった受験者がいた。この要因として,一つは,受験者自身の言語的挫折によ

    る回避,もう一つは,受験者の言葉通り,トピックの親近性が原因であった可能性が考えられる。

    特に,自分の意見を述べる課題では,そのトピックに関する既有知識の有無が影響する。したがっ

    て,(5)意見の表明のタスクについては,複数のトピックを用意し,受験者自身が選べるように

    するのが理想的だと考える。

    Ⅴ おわりに

     本稿では,新たに作成したプレテを計量的に,また記述的に分析した。その結果,全般的に言

    えることとしては,上位の