中畝菜穂子・五島譲司・熊谷龍一

＇新潟大学（

新潟大学で必要とされる理数系学力を測定するためのCBTシステムの開発

背景

なぜ，このようなプロジェクトを立ち上げたのか？

⇒大学入学者の学習履歴の多様化

高校での科目履修の多様化

大学入試の多様化

⇒入口のところの学力レベルが不透明

入口のところでの客観的な学力測定が必要

目的

大学で教育を受けるために必要な理数系の能力・知識が身に付いているかどうかを客観的に測定する学習レディネステストを開発

⇒学士課程教育に役立てる

学生，教員の双方にとって，紙筆式のテストと比較し，負担の少ない形で実施可能とする

＇CBT : Computer-based Testing（

客観的な指標

教員やテスト問題の品質に左右されない

共通の“ものさし”による測定

最新のテスト理論＇ニューラルテスト理論＇NTT : Neural Test Theory（（等を活用

客観的な指標の導入の意義 学生・・学習の目標が明確になる

教員・・教育プログラムの客観的な効果について

把握することが可能となる

テストの設計思想その1

(a) 大学で必要とされる理数系学力

新潟大学に入学後，授業を受講するに当たって必要＇前提（とされる理数的な学力，とりわけ数学的な知識や考え方であると定義

(b) テストの出題範囲

上記の定義に基づき，新潟大学開講科目のシラバスにおいて科目登録のための条件として明記されている数学学力について調査

結果を踏まえ，テストの出題範囲は，中学卒～大学で専門基礎教育を受けられる程度＇高校数学の全領域をほぼカバー（とする

テストの設計思想その2

(c) 対象者

文系・理系を問わず，理数系能力を必要とする学部学生とする

(d) テスト形式

コンピュータを用いた形式とする

測定内容

＜代数＞ ＜幾何＞ ＜解析＞ ＜確率・統計＞ ＜計算機＞ ＜基礎論＞

方程式と不等式

図形と計量 二次関数 場合の数と確率 数値計算とコンピュータ

集合と論理

式と証明 平面図形 いろいろな関数

統計とコンピュータ

数列 図形と方程式

微分・積分の考え

確率分布

行列とその応用

ベクトル 極限 統計処理

式と曲線 微分法

積分法

取り扱わない

問題のフォーマット

解答＇数値，マイナス（を解答ボックスに入力し，正誤をチェック

一つの問題の解答すべてに正答してはじめて正解とする

テスト開発過程

問題作成上の留意点

原則として，各領域の下位領域をほぼカバーする

標準的な問題を中心に，基礎的なもの，発展的なものも含む

各下位領域においてポイントと思われる問題を含める

教科書，参考書等を参考にした場合，著作権に注意する

開発体制

新潟市内の高校教諭4名

代数 幾何 解析 確率・統計

A 先生 50 問 50 問

B 先生 50 問 50 問

C 先生 50 問 50 問

D 先生 50 問 50 問

問題のチェック

一次チェック＇正誤＆妥当性（

二次チェック＇作成部分の版権（

三次チェック＇正誤＆版権＆妥当性（

最終チェック＇問題文フォーマットの整形（

→電子データ化

一次チェック

正誤＆妥当性＇同一分野の担当者間（

代数 幾何 解析 確率・統計

A 先生 50 問 50 問

B 先生 50 問 50 問

C 先生 50 問 50 問

D 先生 50 問 50 問

二次チェック

作成部分の版権

代数 幾何 解析 確率・統計

A 先生 50 問 50 問

B 先生 50 問 50 問

C 先生 50 問 50 問

D 先生 50 問 50 問

三次チェック

ＴＡ＇大学院生（3名

幾何，解析，確率・統計の各分野をそれぞれ1名が担当

最終チェック

問題文フォーマットの整形

→フォーマット＇字句の使い方，解答形式のチェック（

→電子データ＇画像ファイル（化してシステムに投入

テスト理論による分析

• 古典的テスト理論 (Classical Test Theory)

• 項目反応理論 (Item Response Theory)

• ニューラルテスト理論＇Neural Test Theory : NTT)

予備テストなどによりデータを収集し，分析を行う

データ数をそれなりに確保しなければならない！ 17

本プロジェクトにおける課題

• 一つのテスト冊子に含められる項目数が15題程度＇60分（。

• 一冊子＇各項目（に解答する受験者数＇データ数（は数百名必要。

• 100問 ÷ 15 × 4分野 ＝ 28 冊子＇「等化」などを考慮すると 1.5倍は必要（

コスト＇時間，人，お金（を考慮すると＇本プロジェクトでは（不可能！

18

さて，どうするか…

簡易型適応型テスト

ある問題項目に

正答したら，難しい項目を

誤答したら，易しい項目を

提示する。

視力検査と同じ仕組み19

項目の易しさ，難しさ

通過率＇正答率（

IRTの項目困難度

・・・

データがない！

人間による評定を行おう！

20

評定者による困難度評価

一つの項目につき複数の評定者＇5人（で評定。

評定軸を決めるために，既にデータ分析が行われた項目＇15項目程度（を提示。

評定段階は5段階。21

データ分析

基本統計量

一次元性の確認

IRT分析

ニューラルテスト理論による段階分け

22

分析による困難度基準作成

15項目程度＇1冊子分（につき，200名以上のデータを収集し，通過率，ＩＲＴ＇2PL（の困難度，ＮＴＴの困難度＇後述（を算出。

23

ＮＴＴによる困難度指標

0.0

0.5

1.0

R1 R2 R3 R4 R5

正答率

ランク

24

各困難度指標の関係＇解析（

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

0 1 2 3 4 5 6

通過率

ランク

r=-.96

25

各困難度指標の関係＇解析（

-3.0

-2.5

-2.0

-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

0 1 2 3 4 5 6

I

R

T

困難度

ランク

r=.90

26

スコアリング＇得点化（その1

正答数得点

×＇未等化のため（

IRTによる潜在特性尺度値

×＇データ不足により項目母数が未推定（

本プロジェクトでの得点表示は…27

スコアリング＇得点化（その2

能力が高い人は，難しい項目にたくさん解答する。能力が低い人は，易しい項目にたくさん解答する。

難易度を５＇難（～１＇易（として，「解答した項目の難易度の期待値」

※ 「正答」した項目数ではない！

28

スコアリングその3

難易度 解答数 正答数 正答率５ ２ １ 50％４ ４ ３ 75％３ ３ ２ 67％２ １ １ 100％１ ０ ０ 0％

（５×２ ＋ ４×４ ＋ ３×３ ＋ ２×１ ＋ １×０）

÷ １０ ＝ ３．７※実際は多少の補正をかけています

29

妥当性の検証その1

基準テストの作成

過去5年間＇H17～H21（の大学入試センター試験＇数学（から，4領域に当てはまる問題を抽出。

問題量は，各領域とも30分で解ける程度の量。

紙筆式。

30

妥当性の検証その2

基準テスト＇紙筆（とCBTを同時に受験。

受験者数

幾何 72名 代数 74名

解析 73名 統計 64名

＇紙筆→CBT と CBT→紙筆 に分けて実施（

31

妥当性の検証その3

基準テストの採点形式はセンター試験と同様＇ただし，配点は考慮せず，全て1点（。

32

各テストの平均＇標準偏差（

ＤＮＣ 満点値

幾何 20点 代数 19点

解析 23点 統計 17点 33

幾何 代数 解析 統計7.71 7.74 8.77 9.19

( 3.86 ) ( 3.59 ) ( 5.10 ) ( 2.89 ) 2.50 2.53 2.25 2.73

( 0.85 ) ( 0.80 ) ( 1.03 ) ( 0.74 )

DNC

CBT

妥当性の検証その4

両テストの相関係数，散布図

34

0

2

4

6

8

10

12

14

16

18

1 2 3 4 5

DN

C

CBT

幾何 r = .64

妥当性の検証その5

両テストの相関係数，散布図

35

0

2

4

6

8

10

12

14

16

18

1 2 3 4 5

DN

C

CBT

代数 r = .68

妥当性の検証その6

両テストの相関係数，散布図

36

0

5

10

15

20

25

1 2 3 4 5

DN

C

CBT

解析 r = .75

妥当性の検証その7

両テストの相関係数，散布図

37

0

2

4

6

8

10

12

14

16

1 2 3 4 5

DN

C

CBT

統計 r = .37

妥当性の検証その8

「統計」以外は，妥当な相関係数が得られた。

「統計」の相関が低かった理由

センター試験の出題範囲

基準テストがやや簡単

38

妥当性の検証その9

問題の解説の作成

現在はテストを受験し，結果を確認するだけ

解答状況の確認画面から，解説を参照できるようにするため，問題の解説を作成中

特色

大学での数学学力を測定する適応型のCBTシステムを開発

高校数学までの一通りの内容について，

「代数」，「幾何」，「解析」，「統計」の領域別に，到達度の速やかな診断が可能な仕組みを整備

他の領域にも適用可能

展望

理数系の基礎科目のツール 入学時，プログラム開始前・後での診断等

＇先例：本学の全学英語で実施しているTOEIC-IP（

自学自習オンライン教材 入学前導入教育＇補習等（

「適応型」参考書・問題集

内容＇領域（の拡充＇拡大（ 大学専門基礎レベルの数学や物理等

課題

「大学で教育を受けるために必要な理数系の能力・知識」とは？ コンセンサスはない

大学教育プログラムの実質化 プログラムの特色は生かしつつも，大学卒業時の学力について，ある種の standard はあってよいのでは＇単位の実質化，学士力（

コンテンツの充実 単独で開発するのは大変コストがかかるので，大学間の提携＇教材の共有等（も考えられる