TASA組題與測驗公平性之探討

| 林宜臻

【文 / 測驗及評量研究中心助理研究員 林宜臻】

本研究旨在探討TASA2006TASA2007小六數學試題特性與組題之間的關係,提供日後組題者之參考。

相對於古典測驗理論的題目參數會受到受試者能力影響,試題反應理論的題目參數,理應具有估計不變性(余民寧,1992;陳柏熹,2006)。MeyersMiller Way2009)發現,在大型的州測驗中,試題擺放位置影響單參的難度值(Rasch item difficulty),試題反應理論的題目參數的不變性受到考驗。

HohensinnKubingerReiffHolocher-ErtlKhorramdelFrebort2008) 發現利用等化設計(test equating)編制測驗題本的大型測驗,其定錨用相同題的IRT難度值,非完全來自於內容,受到試題擺放位置的影響,形成參數的偏誤(bias),而少數是受疲勞因素(fatigue effect)影響。

TASA2007相同題隸屬於定錨區塊,定錨區塊全數放置於各題本之前。相較於此,相同題在TASA2006未必置放於前。本研究也發現試題擺放位置,造成參數的偏誤(bias)的現象。歸納因素如下:

1) 試題排序於前,將提高鑑別度與通過率

TASA200788%相同題,其IRT鑑別度高於TASA2006TASA200781%相同題,其通過率高於TASA2006,兩者通過率相差6%以上者達27%

2) 試題的前置試題難度平均值高,將提高難度值

TASA2006區塊13的第8題與TASA2007區塊1的第7題,屬於相同題目。前者難度值1.72,而後者難度值高達0.96,兩者難度數值相差高達0.76TASA2006區塊138題,其前7IRT平均難度值為0.48;相較於此,TAS A2007區塊1的第7題,其前6題平均難度0.12。相同題前的試題難度平均值,造成相同題兩者的IRT難度值,相差高達0.76

3) 試題位於題本及簡單區塊最後,位前之區塊難度高,將大幅降低試題鑑別度值

TASA2006區塊11的第8題與TASA2007 區塊1的第16題,屬於相同題目。前者鑑別度值0.59,而後者鑑別度值高達1.24,兩者鑑別度數值相差高達0.65。究其因在於TASA2006區塊11的第8題,是題本7及第3簡單區塊的最後一題,前一區塊813區塊中第2難的區塊,會因時間不足無法作答,以猜測代之,造成鑑別度僅0.59;而TASA2007定錨區塊的16題相同題,全數置放於各題本之前16題,因此無因時間不足未能作答的現象,所以鑑別度高達1.24

4) 選項正確答案位置或無或過於集中

學生不知如何作答時,傾向選擇某一順位的特定選項。TASA2006 TASA2007的正確答案位置,有些區塊某些選項序號完全沒有。TASA2006的題本S12,其正確答案位置集中於同一序號高達50%。TASA2007的題本S1S5,其正確答案位置集中於同一序號達37.50%,而題本S5有些選項序號只佔8.33%。

本研究建議組題之際宜:(1)區塊內試題由易至難;(2)區塊與區塊間的難度由易至難;(3)正確答案位置的序號分配應大致相等。否則容易形成通過率、鑑別度、難度,以及猜測度的偏差現象,否則容易造成測驗的不公。