TASA小四小六數學學習成就標準設定之省思―評量架構宜與PLD政策性定義一致

| 林宜臻

【文 / 測驗及評量研究中心助理研究員 林宜臻】

臺灣學生學習成就評量資料庫設置的目的在於:(1)分析臺灣國小四年級、六年級、國中二年級、高中及高職二年級學生之學習成就表現及其關聯因素;(2)探討學生學習成就之表現差異與學習變遷之趨勢,進而檢視目前課程與教學實施成效。本研究旨在執行小四、小六TASA數學領域學習成就標準設定,設定基礎(basic)、精熟(proficient)、進階(advanced)三個層級的決斷分數,以便將學生劃分為基礎以下、基礎、精熟及進階等四個能力區塊,確保通過某一層級表現的應試者,確實具備該層級的表現水準;而未能通過者,確實未達該表現水準。據此得以根據標準設定結果,描述受試者能力以及達到該層級所具備的知識與技能,藉此瞭解受試者落於何種層級,得以示責、激勵與善誘。本文藉由小四、小六TASA數學領域學習成就標準設定的妥適性之省思,以為爾後國內類似之大型測驗評量執行標準設定之參考。

Loomis & Bourque(2001)認為標準設定方法適當與否,甚於是否最佳,並提出判斷標準設定方法的適切性準則,允許參與者思考更複雜的各個面向。本研究主要藉由執行TASA2009小四、小六數學領域學習成就的標準設定,瞭解小四與小六學生在不同層級的表現。本研究發現:標準設定過程雖具妥適性,但標準設定結果不足以反映學生在不同層級表現。原因在於目前尚有若干值得改善的空間,倘若於設定之前條件就已具足,將更能反映學生在不同層級的表現,裨益於檢視教育實施成效。本文先就「評量架構與表現層級描述(performance level description, PLD)政策性定義」環節省思。

標準設定結果發現小四及小六進階層級比率有相當偏低現象。Reckase Bay(1999) 雖曾指出Yes/No Angoff法,容易把較低層級的決斷分數設得過低,而把較高層級的決斷分數設得過高。但對照國際評比TIMSS2007我國小四學生的數學頂標層級表現佔24%(Olson, Martin, & Mullis, 2008),兩者差距甚大,而美國小四學生在其國內測驗NAEP 2009數學的進階層級也達6%,究其因在於TASA屬於進階層級的題數相當少。美國NAEP2009認為學生的數學學習表現若屬進階層級須「能統整過程的知識與瞭解概念,並將其應用於解決NAEP五大領域內容的真實世界的非例行性複雜問題。」,以及「能精確使用四種功能的計算機、直尺與幾何繪製用品;能提出邏輯的結論及解釋為什麼足以證明答案,並解釋如何完成解決的過程;能清楚且簡潔地解釋及溝通他們的思維。」(National Center for Education Statistics, 2009: 18)。換言之,NAEP2009對進階層級學生的要求是必須能應用該年級所學,而且解決的是非例行性問題,而非一般性問題。此外,NAEP 2009數學架構的主要評量向度除了內容領域外,另一向度則是對認知的要求(cognitive demands),要求的是低、中、高三種的數學複雜度 (mathematical complexity),並與基礎、精熟、進階三個層級相互匹配(National Assessment Governing Board,2008; National Center for Education Statistics ,2009, September 30)

相較於NAEP要求複雜度,我國TASA2009國小數學評量架構中的認知要求是「概念理解」、「程序執行」與「解題與思考」。TASA依此評量架構設計評量題,PLD的政策性定義卻又參照NAEP設定的基礎、精熟、進階三個層級,而試題又未能與數學複雜度相互匹配。由於評量架構要求的向度不同,造成各個層級題數不均現象,所以屬於進階層級題數不足,造成拉高該層級決斷分數的現象。若又未能分散置於不同題本,將造成即便已達進階層級者,無相對題目可以作答的現象;而未具此能力者,亦因此導致總答對題數偏少的現象。

研究建議:TASA標準設定之際,若PLD的「政策性定義」繼續參照NAEP設成基礎、精熟、進階三個層級基礎,評量架構除內含內容領域向度外,另一認知要求的向度宜兼顧數學低、中、高等不同的複雜度。


【參考文獻】

Loomis, S. C., & Bourque, M. L. (2001). From tradition to innovation: Standard setting on the National Assessment of Educational Progress. In G. J. Cizek (Ed.). Standard setting: Concepts, methods, and perspectives (pp. 175-217). Mahwah, NJ: Erlbaum.

National Assessment Governing Board (2008). Mathematics Framework for the 2009 National Assessment of Educational Progress. Washington, DC: Author.

National Center for Education Statistics (2009). The Nation's Report Card: Mathematics 2009 (NCES 2010–451). Washington, DC: Institute of Education Sciences, U.S. Department of Education.

National Center for Education Statistics (2009, September 30). What Does the NAEP Mathematics Assessment Measure? Retrieved from http://nces.ed.gov/nationsreportcard/mathematics/whatmeasure.asp

Olson, J., Martin, M., & Mullis, I. (2008). TIMSS 2007 technical report. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.

Reckase, M. D., & Bay, L. (1999). Comparing two methods for collecting test-based judgments. Paper presented at the meeting of the National Council on Measurement in Education, Montreal, Quebec, Canada.