國家教育研究院電子報 / TASA小四小六數學學習成就標準設定之省思―評量架構宜與PLD政策性定義一致

TASA小四小六數學學習成就標準設定之省思―評量架構宜與PLD政策性定義一致

| 林宜臻

【文 / 測驗及評量研究中心助理研究員林宜臻】

臺灣學生學習成就評量資料庫設置的目的在於：(1)分析臺灣國小四年級、六年級、國中二年級、高中及高職二年級學生之學習成就表現及其關聯因素；(2)探討學生學習成就之表現差異與學習變遷之趨勢，進而檢視目前課程與教學實施成效。本研究旨在執行小四、小六TASA數學領域學習成就標準設定，設定基礎(basic)、精熟(proficient)、進階(advanced)三個層級的決斷分數，以便將學生劃分為基礎以下、基礎、精熟及進階等四個能力區塊，確保通過某一層級表現的應試者，確實具備該層級的表現水準；而未能通過者，確實未達該表現水準。據此得以根據標準設定結果，描述受試者能力以及達到該層級所具備的知識與技能，藉此瞭解受試者落於何種層級，得以示責、激勵與善誘。本文藉由小四、小六TASA數學領域學習成就標準設定的妥適性之省思，以為爾後國內類似之大型測驗評量執行標準設定之參考。

Loomis & Bourque(2001)認為標準設定方法適當與否，甚於是否最佳，並提出判斷標準設定方法的適切性準則，允許參與者思考更複雜的各個面向。本研究主要藉由執行TASA2009小四、小六數學領域學習成就的標準設定，瞭解小四與小六學生在不同層級的表現。本研究發現：標準設定過程雖具妥適性，但標準設定結果不足以反映學生在不同層級表現。原因在於目前尚有若干值得改善的空間，倘若於設定之前條件就已具足，將更能反映學生在不同層級的表現，裨益於檢視教育實施成效。本文先就「評量架構與表現層級描述(performance level description, PLD)政策性定義」環節省思。

標準設定結果發現小四及小六進階層級比率有相當偏低現象。Reckase 與 Bay(1999) 雖曾指出Yes/No Angoff法，容易把較低層級的決斷分數設得過低，而把較高層級的決斷分數設得過高。但對照國際評比TIMSS2007我國小四學生的數學頂標層級表現佔24%(Olson, Martin, & Mullis, 2008)，兩者差距甚大，而美國小四學生在其國內測驗NAEP 2009數學的進階層級也達6%，究其因在於TASA屬於進階層級的題數相當少。美國NAEP2009認為學生的數學學習表現若屬進階層級須「能統整過程的知識與瞭解概念，並將其應用於解決NAEP五大領域內容的真實世界的非例行性複雜問題。」，以及「能精確使用四種功能的計算機、直尺與幾何繪製用品；能提出邏輯的結論及解釋為什麼足以證明答案，並解釋如何完成解決的過程；能清楚且簡潔地解釋及溝通他們的思維。」(National Center for Education Statistics, 2009: 18)。換言之，NAEP2009對進階層級學生的要求是必須能應用該年級所學，而且解決的是非例行性問題，而非一般性問題。此外，NAEP 2009數學架構的主要評量向度除了內容領域外，另一向度則是對認知的要求(cognitive demands)，要求的是低、中、高三種的數學複雜度 (mathematical complexity)，並與基礎、精熟、進階三個層級相互匹配(National Assessment Governing Board,2008; National Center for Education Statistics ,2009, September 30)。

相較於NAEP要求複雜度，我國TASA2009國小數學評量架構中的認知要求是「概念理解」、「程序執行」與「解題與思考」。TASA依此評量架構設計評量題，PLD的政策性定義卻又參照NAEP設定的基礎、精熟、進階三個層級，而試題又未能與數學複雜度相互匹配。由於評量架構要求的向度不同，造成各個層級題數不均現象，所以屬於進階層級題數不足，造成拉高該層級決斷分數的現象。若又未能分散置於不同題本，將造成即便已達進階層級者，無相對題目可以作答的現象；而未具此能力者，亦因此導致總答對題數偏少的現象。

研究建議：TASA標準設定之際，若PLD的「政策性定義」繼續參照NAEP設成基礎、精熟、進階三個層級基礎，評量架構除內含內容領域向度外，另一認知要求的向度宜兼顧數學低、中、高等不同的複雜度。

【參考文獻】

Loomis, S. C., & Bourque, M. L. (2001). From tradition to innovation: Standard setting on the National Assessment of Educational Progress. In G. J. Cizek (Ed.). Standard setting: Concepts, methods, and perspectives (pp. 175-217). Mahwah, NJ: Erlbaum.

National Assessment Governing Board (2008). Mathematics Framework for the 2009 National Assessment of Educational Progress. Washington, DC: Author.

National Center for Education Statistics (2009). The Nation's Report Card: Mathematics 2009 (NCES 2010–451). Washington, DC: Institute of Education Sciences, U.S. Department of Education.

National Center for Education Statistics (2009, September 30). What Does the NAEP Mathematics Assessment Measure? Retrieved from http://nces.ed.gov/nationsreportcard/mathematics/whatmeasure.asp

Olson, J., Martin, M., & Mullis, I. (2008). TIMSS 2007 technical report. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.

Reckase, M. D., & Bay, L. (1999). Comparing two methods for collecting test-based judgments. Paper presented at the meeting of the National Council on Measurement in Education, Montreal, Quebec, Canada.