16
以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 1 以知識結構為基礎之適性測驗選題策略 強韌性探究 吳慧珉 台灣師範大學教育心理與輔導學系 摘要 本研究沿用國科會計畫「國小數學科電腦化適性診斷測驗(I)(II)(III」中方 法,以現行國小五、六年級上學期之數學課程所包含的數學概念為範例,研究「以 知識結構為基礎之適性測驗」選題策略是否可推廣應用到數學領域的各個單元,估 計預測精準度與節省施測題數間的穩定性並探究該適性測驗選題策略之強韌性。 根據實驗結果可知,在預測精準度為 0.95 時,康軒版與南一版五年級上學期各 單元平均節省 50%以上的施測題目,康軒版與南一版六年級上學期各單元平均節省 40%以上的施測題目;在預測精準度為 0.9 時,康軒版與南一版五年級上學期各單 元平均節省 76%以上的施測題目,康軒版與南一版六年級上學期各單元平均節省 60%以上的施測題目。故可知「以知識結構為基礎之適性測驗選題策略」對於不同 版本教材的不同單元,皆在預設預測精準度下能節省大量施測題數,故此適性測驗 選題策略強韌性佳,可用於不同版本教材的不同單元。 關鍵詞:電腦化適性測驗、試題順序理論

以知識結構為基礎之適性測驗 選題策略 · 根據實驗結果可知 ,在預測精準度為 0.95 時,康軒版與南一版五年級上學期各 ... 因此本章將探

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    以知識結構為基礎之適性測驗選題策略

    強韌性探究

    吳慧珉

    台灣師範大學教育心理與輔導學系

    摘要

    本研究沿用國科會計畫「國小數學科電腦化適性診斷測驗(I)(II)(III) 」中方 法,以現行國小五、六年級上學期之數學課程所包含的數學概念為範例,研究「以

    知識結構為基礎之適性測驗」選題策略是否可推廣應用到數學領域的各個單元,估

    計預測精準度與節省施測題數間的穩定性並探究該適性測驗選題策略之強韌性。

    根據實驗結果可知,在預測精準度為 0.95時,康軒版與南一版五年級上學期各 單元平均節省 50%以上的施測題目,康軒版與南一版六年級上學期各單元平均節省 40%以上的施測題目;在預測精準度為  0.9 時,康軒版與南一版五年級上學期各單 元平均節省  76%以上的施測題目,康軒版與南一版六年級上學期各單元平均節省 60%以上的施測題目。故可知「以知識結構為基礎之適性測驗選題策略」對於不同 版本教材的不同單元,皆在預設預測精準度下能節省大量施測題數,故此適性測驗

    選題策略強韌性佳,可用於不同版本教材的不同單元。

    關鍵詞:電腦化適性測驗、試題順序理論

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    A Study of Exploring the Robustness of Knowledge Structure based Adaptive Test 

    HueyMin Wu Department of Educational Psychology and Counseling, 

    National Taiwan Normal University 

    Abstract 

    In  this  research,  the  robustness  of  knowledge  structure  based  adaptive  testing (KSAT)  is  evaluated  by  using  41  units  of  two  different  versions  of  the  fifth  grade  and sixth grade mathematics textbooks. The result shows that the algorithm is robust in all 41 units,  and  the number of administrated  items can be  reduced at  least 40% by using  this algorithm. 

    Keywords: computerized adaptive testing, item ordering theory

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    壹、研究動機與目的

    由於電腦科技的發達,在過去數十年間,許多測驗進行的方式已逐漸由紙筆測

    驗轉變成電腦化測驗,用於評估學生的學習成效或者學生的學習歷程等方面上。其

    中有些僅是單純的將測驗電腦化,而有些則是適性化測驗。電腦化適性測驗可分為

    二大類:一類是以試題反應理論(item response theory, IRT)為基礎(Wainer, 2000) , 另一類則是以知識或試題結構為基礎(Appleby, Samuels, & Treasure, 1997; Brown & Burton, 1978; Chang, Liu, & Chen, 1998; VanLehn, 1988; Wenger, 1987) ,電腦適性測 驗的優點為能依據學生不同學習狀態,適當給予不同試題來進行測驗,如此不僅可

    以有效的節省測驗題數,亦可縮短測驗時間,更能符合「因材施測」的原則。

    根據研究結果顯示,國科會計畫 「國小數學科電腦化適性診斷測驗 (I)(II)(III) 」 (郭伯臣,2003,2004,2005)所開發的適性測驗系統可以快速有效診斷學生學習 情形,但相關研究皆是以一、二單元或主題為例,來說明所開發系統之成效,此系

    統是否可以廣泛運用於其它單元或主題則仍是未知,本研究主要目的在於探討此測

    驗系統所使用之適性選題策略其強韌性,亦即用於其它單元或主題時,是否同樣可

    以達到節省測驗題數與精確預測學生學習情形的目的。

    貳、文獻探討

    本研究旨在探討以知識結構為基礎之適性測驗(knowledge  structure  based adaptive testing,簡稱 KSAT)選題策略強韌性,主要是參考國科會計畫「國小數學 科電腦化適性診斷測驗(I)(II)(III) 」 (郭伯臣,2003,2004,2005)的演算法, 因此本章將探討「以知識或試題結構為主的電腦適性測驗」 、 「試題結構理論」與

    「KSAT之選題策略」之相關文獻。

    一、以知識或試題結構為主的電腦適性測驗 Diagnosys 是由 Appleby et al. (1997)所開發出來的,是一種基於知識結構為

    基礎的數學概念之電腦化診斷測驗,其中同時考慮了專家及學生的知識結構。學生

    的結構的擷取乃透過專家知識結構編製的紙筆測驗進行預測,並根據下列的方式所

    建構出來的。

    假設兩題試題 A與 B間的次數分配如表 1所示,如果  B A B A  f f >> ,則視試題 A 為試題 B之上位試題(或概念),即如果正確作答試題 B,則必能正確作答試題 A, 反之則不一定成立。此種情形於本研究中標示成  B A → ,如果 

    B A B A B A AB  f f f f + >> + , 則試題 A與試題 B,兩者可視為等價,於本研究中標示 成  B A ↔ ,Diagnosys 藉由將試題(概念)結構引入電腦測驗中來達到適性的效果, 並縮短施測時間,但此一建立結構之方法並非操作型定義,且文中並未提及此方法

    之具體成效或數據。

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    表 1 試題 A、B次數分配表 試題  B對 試題 B錯

    試題  A對  AB f  B A f 試題  A錯  B A f  B A f 

    Chang, Liu, & Chen (1998)曾以直流電路為例,設計一診斷迷思概念之測驗 系統,做為教師補救教學之參考。在題庫建立方面,該研究參考相關文獻,訂出  9 個關於直流電路的迷思概念 ,再根據這 9 個迷思概念,請專家們出了 20 個題目, 每一題目之選項被要求儘可能跟迷思概念有所關連。該研究的重點在於假設有一份

    試卷,每題的選項除正確選項之外,其餘選項皆被設計成與某一種迷失概念有關,

    如圖 2 所示。因此,今天若學生 A 作答第 4 題時,選擇 4a 即可判斷學生可能擁有 某一迷失概念且與第 6 題有關,故必須再進行第 6 題的測驗來繼續作答。此時若學 生面對的選項為  6a、6b、6c,且這三者分別代表不同的迷失概念  M1、M2、M3, 因此即可判斷出學生所擁有的迷失概念為何。若學生選擇的是 4b,則可對應到迷失 概念M4,唯有選擇到 c時才能確定學生沒有 M1至 M4這四種迷思概念,該研究之 施測結構以圖一表示。此方法優點如下: 1. 根據受試者作答之選項來決定下一題試題,可達到適性化之效果。 2. 由受試者作答之選項來推論迷思概念,如果題目夠多,將可精確診斷出每一位受

    試者之迷思概念,達到個別化之需求。

    儘管優點是很明顯的,不過我們也發現幾個問題,例如: 1. 每條適性測驗路徑皆須精心設計以避免重複並精確診斷出相對應之迷失概念。 2. 出題時需考慮選項及迷失概念間關係,困難度高。 3. 當試題具有可猜測性時,不易完成精確診斷。

    圖一  Diagnosys 之選題策略

    二、試題結構理論 Airasian & Bart (1973)的「順序理論」 (ordering theory, OT)及 Takaya (1991)

    第 4題

    選項 4a  選項 4b  選項 4c 

    第 6題 迷思概念M4  正確選項

    選項 6a  選項 6b  選項 6c 

    迷思概念M1  迷思概念M2  迷思概念M3

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    的「試題關聯結構法」 (item relationship structure analysis, IRS)是常用來定義試題間 結構的方法。茲將此二理論敘述於下:

    令  ) , , , (  2 1  n X X X X  L = 表示一個向量包含 n個二元試題成績變數,每一個受試者 作答 n題得到一個 0與 1的向量  ) , , , (  2 1  n X X X X  L = 之後,試題 j跟 k的聯合與邊界 機率(joint and marginal probabilities)如表所示。

    表 2 試題  j與試題 k之聯合與邊界機率 Item  k 

    1 = k X  0 = k X  Total 1 = j X  ) 1 , 1 ( = =  k j  X X P  ) 0 , 1 ( = =  k j  X X P  ) 1 ( = j X P 

    0 = j X  ) 1 , 0 ( = =  k j  X X P  ) 0 , 0 ( = =  k j  X X P  ) 0 ( = j X P Item j 

    Total  ) 1 ( = k X P  ) 0 ( = k X P  1 

    在順序理論 OT中,令  ) 1 , 0 ( * = = =  k j jk  X X P ε 表違反試題  j為試題 k之下位試題之 機率,當 ε ε

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    國科會計畫「國小數學科電腦化適性診斷測驗(I)(II)(III) 」 (郭伯臣,2003, 2004,2005)所開發的系統主要是利用試題結構來進行適性測驗,藉以節省施測題 數,茲以圖二說明如下:

    圖二 利用知識或試題結構如何節省施測題數

    假設要瞭解學生學習某單元後之剖面圖(profile)需要以試題 A到 I進行測量, 在傳統紙筆測驗中試題 A 到 I(共九題)皆需施測。假設有一試題順序結構如圖五 所示,其中 B→A 表示試題 A 為試題 B 之上位試題,如果答對試題 A 則試題 B 也 會答對,以試題順序結構為基礎之適性測驗流程中,如受試者答錯 A試題則需進一 步測量試題 B、C及其子試題,以診斷學生之真正迷思概念。如 C 對 B錯,則認定 C下之所有試題蘊含的概念皆已精熟,不必再測,僅需再施測 D、E,可節省 F、G、 H、I四題。

    參、研究方法

    本研究將以康軒版及南一版國小五年級及六年級上學期數學領域課程進行上述

    適性測驗選題策略強韌性探究,其中五年級上學期康軒版及南一版各包含九及十一

    個單元,六年級上學期康軒版及南一版各包含九及十二個單元。主要研究步驟如下:

    首先根據教材設計每一個單元之專家知識結構,而後根據專家知識結構編製紙筆診

    斷測驗並進行預試,蒐集學生的作答資料,接著利用自行研發之軟體進行選題結構

    之估計及模擬適性測驗,本研究擬探討預測精準度 0.95 與 0.9 時,各單元所能節省 施測題數之比例。所謂適性測驗「預測精準度」係指由適性測驗選題策略所預測之

    學生作答情形與實際紙筆測驗結果相同之程度。當系統設定之預測精準度高時,則

    適性測驗所能節省試題數較少;反之,適性測驗所能節省試題數較多。

    一、設計專家知識結構 由數學教育學者及數名現職國小教師根據教學學理以及教學經驗,共同分析各

    個數學單元施測範圍內的知識概念,再根據學生的學習歷程、概念發展順序及其概

    念間上下位關係整理而成的結構關係,建立一組完整且具有階層性概念的數學知識

    結構,即是專家(教材)知識結構,專家的知識結構並非唯一且絕對,不同的成員

    可能討論出不同的的專家知識結構。設計專家知識結構時有幾點原則,茲詳列如下:

    (一)每一節點為單一概念。

    (二)了解上位節點則推論受試者了解其所有下位節點。 

    B  C 

    D  E  F  G  H  I

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    (三)同層節點難度可能不一。

    (四)注意數字大小對難度所造成的影響。

    (五)注意文字題及非文字題的不同。

    (六)當無法明確界定節點間順序性時,宜定義為無次序性。

    最後依據專家知識結構檢核表,逐一檢視該專家知識結構是否符合規定,如表 3 所示。以康軒版第九冊第八單元統計圖表及南一版第十一冊第八單元怎樣列式為 例,下列圖三、圖四分別為此二單元之專家知識結構。

    表3 專家知識結構檢核表 項目 檢核內容 是 否

    一 每一個節點是否都是單一概念?

    二 上位節點和下位節點的次序性是否明確合理?

    三 節點的設定是否有考慮到數字位數大小的問題?

    四 節點的設定是否有考慮到文字題和非文字題的不同?

    五 節點的敘述是否清楚明確?

    六 節點的設定是否有符合課程資料的教學目標?

    二、根據專家知識結構命題 各學科專家根據專家知識結構參考課本及習作的相關範例,各自設計一份測驗

    後,再透過學科專家會議修改成適當的題目,編製成一份診斷測驗。每一試題編製

    時都必須建立試題檢核表,針對試題內容、誘答選項設計、預估之試題參數逐一說

    明,並紀錄專家修審意見、預試結果及預試審查意見,讓每一道試題從產生到收入

    題庫都有完整的紀錄,表 4 為試題檢核表範例,每一道題目最後須經命題檢核表, 以確定其專家效度,詳細有關出題與施測流程簡述如下:

    (一)閱讀教材。

    (二)擬定知識結構初稿。

    (三)專家會議審查知識結構。

    (四)依據專家知識結構出題。

    (五)專家會議審查題目、修題、選題。

    (六)填寫試題檢核表。

    (七)建立預試試卷。

    (八)專家會議審查卷。

    (九)印製試卷、分裝試卷、寄送試用學校。

    (十)試用學校施測。

    (十一)回收、資料整理成電子檔。

    (十二)預試紙筆測驗資料分析,據以修改試題。

    (十三)建立學生知識結構。

    (十四)試題與知識結構入庫。

    三、預試並分析所蒐集之資料 為求樣本的有效性,預試人數皆在 600 人以上,施測後回收試卷針對學生作答

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    情況進行分析。根據國小數學領域電腦適性化測驗系統之建製(郭伯臣等,2005) 指出,OT 的演算法與其他演算法比起來,其對樣本大小較不敏感,因此就以試題 順序結構為基礎適性測驗的來說,OT 似乎是一個較好的選擇,試題順序結構分析 軟體之輸出,請參閱圖五。

    四、估計節省施測題數 根據試題順序結構分析所得的學生知識結構作為電腦化適性測驗的選題策略,

    依個別受試者不同的作答情形而給予適當的試題,藉以節省大量的試題並可對學生

    的剖面圖得到精確的估計。

    圖三 康軒版 2005年第九冊第八單元「統計圖表」之專家知識結構

    認識省略

    符號

    了解橫軸所代表的意義

    用省略符號

    繪製折線圖

    繪製折線圖

    解讀折線圖

    報讀折線圖

    報讀一般長條圖(直線圖)

    報讀二維表格

    解讀二維表格

    報讀票

    價表

    解讀

    票價

    解讀一般

    長條圖

    (直線圖)

    報讀立

    體橫列

    長條圖

    報讀雙上下連

    接變形長條圖

    (直條圖)

    解讀雙條變

    形長條圖

    (直條圖)

    用省略符號繪製長條圖

    解讀立

    體橫列

    長條圖

    繪製一般

    長條圖

    (直線圖)

    解讀雙上下連

    接變形長條圖

    (直條圖)

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    圖四 南一版 2005年第十一冊第八單元「怎樣列式」之專家知識結構

    圖五 試題順序結構分析軟體

    在生活情境中理解等式

    兩邊同減一數,等式仍

    然成立

    寫出含有未知量的式子

    解決含有變量的加法

    算式

    解決含有變量的減法

    算式

    解決含有變量的乘法算式 解決含有變量的除法

    算式

    在生活情境中理解等

    式兩邊同加一數,等

    式仍然成立

    在生活情境中理解等

    式兩邊同除一數,等

    式仍然成立

    在生活情境中理解等

    式兩邊同乘一數,等

    式仍然成立

    解決含未知數的

    連乘應用問題

    解決含未知數的

    +、×應用問題

    解決含未知數的

    -、×應用問題

    解決含未知數的

    +、÷應用問題 解決含未知數的

    -、÷應用問題

    寫出含有變量的加法

    算式

    寫出含有變量的減法

    算式

    寫出含有變量的乘法算式 寫出含有變量的除法

    算式

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    10 

    表 4 試題檢核表範例 出題者 出題時間 年 月 日 5年級 第 9冊

    £康軒 單元: 知識結構編碼: £南一 單元: 知識結構編碼: 知識結構節點名稱:

    ( )2.如下圖,自強號列車和莒光號列車同時從台北巿開出,開了一小 時後,自強號到達台中巿,莒光號到達苗栗縣。想一想,以下哪 個說法對? 

    (1) 自強號比莒光號快  (2) 自強號比莒光號慢 (3) 莒光號比自強號快  (4) 莒光號和自強號一樣快

    選項 選項 1  選項 2  選項 3  選項 4 錯誤

    類型

    正確答案 誤以為距離遠就

    是慢

    同選項 2  概念沒有學會

    關鍵

    預估答對率:£0.5以下 £0.5~0.7  £0.7以上 預估鑑別度:

    前 1/4高能力組考生答對率:£0.3~0.6  £0.6~0.8  £0.8以上 後 1/4低能力組考生答對率:£0.3以下 £0.3~0.6  £0.6~0.8 試題鑑別度(): £0.3以下 £0.3~0.5  £0.5以上

    預試測驗編號:

    預試答對率: 預試鑑別度: IRT 參數:  a=                      , b=                    ,    c= 專家審查意見:(請審題委員審查後填答) £良好試題直接採用 £修正後方可採用  (請簡述理由並列出修正後試題內容) £不宜採用  (請簡述理由) 

    預試審查意見:

    £良好試題直接採用 £修正後方可採用  (請簡述理由並列出修正後試題內容) £不宜採用  (請簡述理由) 

    肆、研究結果

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    11 

    一、康軒版及南一版之五上數學領域 以康軒版及南一版之五上數學領域為例,所有單元的試卷 Cronbach's alpha信

    度皆在 0.8 以上,屬於信度佳測驗,表 4 為康軒版五上數學領域各單元施測後資料 分析表,如表 5 所示,第九冊第一單元整數四則的施測人數共有 662 人,紙筆測驗 所需測驗的題數為 32題,而該單元的試卷 Cronbach's alpha信度為 0.891,受試者 的平均通過率為  82.551,若以電腦適性測驗選題策略,僅需要施測  15 題就能達到 0.95 的預測精準度,相較於紙筆測驗可以節省 17 題,也就是 55.13%的題數,若欲 達到 0.9的預測精準度,則僅需施測 6題,相較於紙筆測驗可以節省 26題,也就是 81.25%的題數。表 6則為南一版五上數學領域各單元施測後資料分析表。

    由表 5可知,在預測精準度為 0.95時,康軒版的九個單元平均可以節省約 57% 的試題數,在預測精準度為 0.9 時,康軒版的九個單元平均可以節省約 81%的試題 數;由表 6可知,在預測精準度為 0.95時,南一版的十一個單元平均可以節省約 47% 的試題數,在預測精準度為 0.9 時,南一版的十一個單元平均可以節省約 72%的試 題數。

    由研究結果(郭伯臣、何政翰,2004;郭伯臣等,2005)可知,學生試題結構 強則可節省較多試題,康軒版教材平均可以節省的試題數比例高於南一版教材平均

    可以節省的試題數比例;此結果顯示,使用康軒版五年級數學教材的學生,教學後,

    其數學概念間有較強的結構性;使用南一版五年級數學教材的學生,其數學概念間

    的結構性則較弱。

    二、康軒版及南一版之六上數學領域 以康軒版及南一版之六上數學領域為例,所有單元的試卷 Cronbach's alpha信

    度皆在 0.85以上,屬於信度佳測驗,表 7及表 8分別為康軒版、南一版六上數學領 域各單元施測後資料分析表。

    由表 7可知,在預測精準度為 0.95時,康軒版的九個單元平均可以節省約 48% 的試題數,在預測精準度為 0.9 時,康軒版的九個單元平均可以節省約 72%的試題 數;由表 8可知,在預測精準度為 0.95時,南一版的十二個單元平均可以節省約 55% 的試題數,在預測精準度為 0.9 時,南一版的十一個單元平均可以節省約 79%的試 題數。

    由研究結果(郭伯臣、何政翰,2004;郭伯臣等,2005)可知,學生試題結構 強則可節省較多試題,南一版教材平均可以節省的試題數比例高於康軒版教材平均

    可以節省的試題數比例;此結果顯示,使用南一版六年級數學教材的學生,教學後,

    其數學概念間有較強的結構性;使用康軒版六年級數學教材的學生,其數學概念間

    的結構性則較弱。

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    12 

    表 5 康軒版五上數學領域各單元施測後資料分析 康軒版五年級

    預測精準度=0.95  預測精準度=0.9 單元 名稱

    施測

    人數 題數 信度

    平均

    通過率 施測

    題數

    節省

    題數

    節省

    百分比

    施測

    題數

    節省

    題數

    節省

    百分比 0901  整數四則  662  32  0.891  82.551  15  17  53.13%  6  26  81.25% 0902  重量和容量  627  34  0.911  86.338  13  21  61.76%  5  29  85.29% 0903 數列與圖形序列  664  35  0.843  77.837  16  19  54.29%  8  27  77.14% 0904  分數的乘法  659  37  0.92  84.232  17  20  54.05%  7  30  81.08% 0905  三角形  660  36  0.842  81.25  14  22  61.11%  6  30  83.33% 0906  因數與倍數  657  31  0.903  81.6  15  16  51.61%  7  24  77.42% 0907  時間的計算  660  36  0.929  85.875  15  21  58.33%  6  30  83.33% 0908  統計圖表  663  29  0.843  86.924  8  21  72.41%  5  24  82.76% 0909  體積和表面積  663  32  0.881  83.016  15  17  53.13%  7  25  78.13% 

    表 6 南一版五上數學領域各單元施測後資料分析 南一版五年級

    預測精準度=0.95  預測精準度=0.9 單元 名稱

    施測

    人數 題數 信度

    平均

    通過率 施測

    題數

    節省

    題數

    節省

    百分比

    施測

    題數

    節省

    題數

    節省

    百分比 0901  概數與概算  648  32  0.891  84.134  15  17  53.13%  6  26  81.25% 0902  快慢和時間  652  35  0.923  77.509  21  14  40.00%  13  22  62.86% 

    0903 垂直、平行和

    四邊形  653  38  0.845  67.353  25  13  34.21%  16  22  57.89% 0904  小數和乘法  652  37  0.923  80.849  20  17  45.95%  9  28  75.68% 0905  統計圖  623  33  0.804  76.988  16  17  51.52%  9  24  72.73% 0906  立方公分  625  32  0.888  71.272  13  19  59.38%  7  25  78.13% 0907  因數與倍數  614  36  0.916  75.089  22  14  38.89%  14  22  61.11% 0908 長方體和正方體  653  30  0.889  80.683  16  14  46.67%  8  22  73.33% 0909  容量  649  33  0.905  79.897  16  17  51.52%  8  25  75.76% 0910 多邊形和內角和  644  34  0.912  82.152  15  19  55.88%  7  27  79.41% 0911  怎樣計算  649  35  0.926  81.894  20  15  42.86%  8  27  77.14%

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    13 

    表 7 康軒版六上數學領域各單元施測後資料分析 康軒版六年級

    辨識率=0.95  辨識率=0.9 

    單元 名稱 施測

    人數 題數 信度

    平均

    通過率 施測

    題數

    節省

    題數

    節省

    百分比

    節省

    題數

    節省

    百分比 

    1101  數的十進結構  654  32  0.89  85.681  15  17  53.13%  7  25  78.13% 

    1102  因數與倍數  662  32 0.93 1  80.756  19  13  40.63%  10  22  68.75% 

    1103 平面與立體圖形  659  28 0.90 3  88.066  9  19  67.86%  2  26  92.86% 

    1104  分數的加減  665  33 0.92 3  70.591  22  11  33.33%  14  19  57.58% 

    1105  分數的乘法  662  29 0.92 1  74.793  17  12  41.38%  11  18  62.07% 

    1106  小數的乘法  661  31 0.92 3  83.442  16  15  48.39%  9  22  70.97% 

    1107  面積  664  28 0.87 5  80.071  14  14  50.00%  7  21  75.00% 

    1108 比、比值與

    成正比  650  31 0.88 4  76.661  17  14  45.16%  10  21  67.74% 

    1109  分數的除法  631  35 0.93 5  80.129  16  19  54.29%  8  27  77.14% 

    表 8 南一版六上數學領域各單元施測後資料分析 南一版六年級

    辨識率=0.95  辨識率=0.9 單元 名稱

    施測

    人數 題數 信度

    平均

    通過率 施測

    題數

    節省

    題數

    節省

    百分比

    施測

    題數

    節省

    題數

    節省

    百分比 1101  十萬以上的數  642  40  0.859  81.533  19  21  52.50%  10  30  75.00% 1102  因數與倍數  630  31  0.869  83.932  13  18  58.06%  6  25  80.65% 1103  形體的性質  643  32  0.865  86.666  10  22  68.75%  4  28  87.50% 1104  分數的加減  641  35  0.914  80.246  16  19  54.29%  9  26  74.29% 1105  圖形的面積  641  31  0.856  80.029  13  18  58.06%  9  22  70.97% 1106  小數  641  34  0.88  86.103  14  20  58.82%  4  30  88.24% 1107  容量和重量  646  30  0.91  89.207  14  16  53.33%  4  26  86.67% 1108  怎樣列式  644  31  0.887  80.29  13  18  58.06%  7  24  77.42% 1109  分數的乘法  641  26  0.938  85.327  11  15  57.69%  5  21  80.77% 1110  土地的面積  640  33  0.928  84.679  16  17  51.52%  6  27  81.82% 1111  小數的乘法  645  31  0.915  81.574  16  15  48.39%  9  22  70.97% 1112  比和比值  641  29  0.914  81.083  15  14  48.28%  7  22  75.86%

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    14 

    伍、結論

    根據實驗結果可知,在預測精準度為 0.95時,康軒版與南一版五年級上學期各 單元平均節省 50%以上的施測題目,康軒版與南一版六年級上學期各單元平均節省 40%以上的施測題目;在預測精準度為  0.9 時,康軒版與南一版五年級上學期各單 元平均節省  76%以上的施測題目,康軒版與南一版六年級上學期各單元平均節省 60%以上的施測題目。故可知「KSAT 選題策略」對於不同版本教材的不同單元, 皆在預設預測精準度下能節省大量施測題數,故此適性測驗選題策略強韌性佳,可

    用於不同版本教材的不同單元。

    致謝

    本論文延續國科會研究計畫「國小數學科電腦化適性診斷測驗(I)(II)(III) 」, NSC912520S142001, NSC922521S142003,NSC932521S142004之方法, 及參考國立台中教育大學、亞洲大學與階梯數位科技股份有限公司建教合作計畫 「以

    試題結構理論為基礎之國小五、六年級數學領域電腦適性診斷測驗系統與題庫建置」

    之部分成果。

    參考文獻

    中文部分

    南一文教事業(2005) 。國民小學數學教學指引第九冊五上。台北巿。 南一文教事業(2005) 。國民小學數學教學指引第十一冊六上。台北巿。 康軒文教事業(2005) 。國民小學數學教學指引第九冊五上。台北巿。 康軒文教事業(2005) 。國民小學數學教學指引第十一冊六上。台北巿。 教育部(2003) 。數學學習領域課程綱要。台北巿。 郭伯臣(2003) 。國小數學科電腦化適性診斷測驗(I) 。行政院國家科學委員會專題

    研究計畫成果報告(計畫編號:NSC912520S142001) 。 郭伯臣(2004) 。國小數學科電腦化適性診斷測驗(II) 。行政院國家科學委員會專

    題研究計畫成果報告(計畫編號:NSC922521S142003) 。 郭伯臣(2005) 。國小數學科電腦化適性診斷測驗(III) 。行政院國家科學委員會專

    題研究計畫成果報告(計畫編號:NSC922521S142004) 。 郭伯臣、何政翰(2004) 。國小數學領域電腦適性化測驗系統之建製。二○○四數位

    生活與網際網路科技研討會論文集,成功大學,2004年 6 月 2426日。 郭伯臣、謝友振、張峻豪、蔡坤穎(2005) 。以結構理論為基礎之適性測驗與適性補

    救教學線上系統。台灣數位學習發展研討會,國立台灣師範大學,2005年 5月 67日。

    英文部分 

    Appleby,  J.,  Samuels,  P,  &  Treasure,  J.  T.  (1997).  DianosysA  Knowledgebased

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    15 

    Diagnostic  Test  of  Basic  Mathematical  Skills.  Computers  and  Education,  28(2), 113131. 

    Airasian, P. W. & Bart, W. M. (1973). Ordering theory: A new and useful measurement model. Educational Technology, 5, 5660. 

    Brown,  J.  S.  &  Burton,  R.  (1978).  Diagnostic  models  for  procedural  bugs  in  basic mathematical skills. Cognitive Science, 2:155192. 

    Chang,  K.  E.,  Liu,  S.  H.,  &  Chen,  S.  W.  (1998).  A  testing  system  for  diagnosing misconceptions in DC electric circuits. Computers & Education, 31, 195210. 

    Takeya. (1991). New item structure theorem. Waseda University, Tokyo. VanLehn. K.(1988). Student Modeling. In M.C. Polson and J.J Richardson. Foundations 

    of Intelligent Tutoring Systems. Lawrence Erlbaum. Hillsdale. Wenger, E. (1987). Artificial Intelligence and Tutoring Systems. Morgan Kaufmann, Los 

    Altos, CA 94022. Wainer, H. (Ed.) (2000). Computerized adaptive testing: A primer (2nd ed.).Hillsdale, NJ: 

    Lawrence Erlbaum Publishers.

  • 以知識結構為基礎之適性測驗選題策略強韌性探究 測驗統計年刊 第十四輯 

    16