借鏡NAEP思索TASA報告釋出尺度

| 林宜臻

【文 / 測驗及評量研究中心助理研究員 林宜臻】

美國的「全國教育進展評估(National Assessment of Educational Progress, NAEP)」被視為大規模教育評量的典範之一，一直扮演著重要教育資料的來源與方法論的革新(methodological innovation) (Carr, 2004) 。美國教育部專員Francis Keppel於1962年向國會呼籲建立評鑑學生基本知識與技能體系，獲得支持後，於1963 ~1969年間開始規劃相關事宜註1。啟動之初，原將評估結果定位於促進各州與學校之教育改革，由於擔心評估結果用於不當的州之間與校之間比較，除了由美國各州教育協會(Education Commission of the States, ECS)執行外，採取不突出的區塊設計(unfocused block designs)，不以州為單位，改以針對美國之西北部、東南部、西部及遠西部等四地區的教會學校、私立學校和公立學校的所有學生，並將調查對象以年齡鎖定註2，概灠其學習表現。此外，以p值(p-values)檢驗群組之間有否顯著差異；彌封行政部門(taped administrations)；以抽樣替代全體施測等之措施下，方於1969年正式實施。1970年代初期，美國國會要求教育部減少對NAEP的財政預算，有些年，經費僅200萬美金，而且只有三位技術專家分析及執行NAEP的報告(Carr, 2004)。因此，在教育部專員Sydney P. Maraud的主張下，NAEP的監督由國家教育資源發展中心(National Centre for Education Resource Development, NCERD)移轉至國家教育統計中心(National Center for Education Statistics, NCES)，NAEP從此由教育研究轉變成資料的蒐集與分析。

1983年，美國測驗服務社(Educational Testing Service, ETS)取得NAEP的指導與管理合同之後，NAEP邁入精進設計的第二階段，外部技術顧問的心理測量師(psychometricians)和統計人員在NAEP的技術上發揮重要和關鍵的角色。該階段採用平衡不完全區塊設計(balanced incomplete block designs)、試題反應理論(item response theory models)、近似能力值(plausible values)等更複雜的矩陣抽樣(matrix sampling)設計與非古典的計分方式。

1988年，公法(Public Law 100-297註3)的重新授權下，為 NAEP建立一個新的管理結構。NCES保留運作與分析技術之責，而由國家評量指導委員會(National Assessment Governing Board , NAGB)負責選擇學科領域進行評估，以及NAEP各學科領域評量架構（Lazer, 2004），NAGB並被賦予報告及NAEP施測結果解說之責 (Elliot & Phillips, 2004)。NAGB藉由更明確化的內容框架與成就維度(achievement levels)將NAEP推向標準參照系統(Carr, 2004)。

1989年George Herbert Walker Bush總統出席與全國州長協會(National Governors Association, NGA)的教育會議後，發表聯合聲明，要求對個人、學校和各州的教育進展進行測試。國會授權下，於1990年展開試行性州級的8年級生的數學測試，而1992年測試數學(4、8年級生)、閱讀(4年級生)，1994年測試閱讀(4年級生)，州級NAEP經由試行性階段方於1996年正式實施數學(4、8年級生)與科學(8年級生)測試。

NAEP於2000年總統候選人的辯論，開啟另一新階段。候選人都將NAEP列為優先的教育議題，但他們不將NAEP的角色單一化，而思索幾個可能的新角色及與州參與者的新關係。州級NAEP原被懷疑能否持續，更不用說蓬勃發展。然事實上，對NAEP評估的需求甚至發展至大型學區也自願參加2002年城市地區試驗性評估(Trial Urban District Assessment) (Carr, 2004)。

2001年「沒有落後孩子(No Child Left Behind)」的法案規範下，願意參加兩年一次州級NAEP(State NAEP) 4、8年級的閱讀和數學評估的州與學區，可獲得聯邦政府補助註4，而是否參與州級NAEP的科學、寫作或其他評估，可依意願。美國國會為此擴增NAEP的預算，提供一年超過100萬美元的經費，支付州 NAEP的相關費用。因此，NAEP有近3000名測試管理員，並在每一個州有NAEP州協調員。

透明化是NAEP第三階段之特色。在1980年代初，只有極少數的分析者能瞭解NAEP，而真正瞭解NAEP的複雜數據分析技術者為數更少。但因NAEP網站即時提供釋放的試題與所有NAEP報告，以及提供使用者容易操作的線上數據分析工具，讓大多數非技術型的使用者也可以自行產出州及州內部學生群體表現的圖表，讓使用者能隨時有所發現註5。

NAEP建立之初，不以州為單位，並將調查對象以年齡鎖定、彌封行政部門等措施，避免任何州層面、社群層面註6，以及任何學生個人層面之相關比較。2001年「沒有落後孩子(No Child Left Behind)」法案，讓NAEP由全國性的「主要NAEP (Main NAEP)」 與「長期趨勢NAEP(long-term trend NAEP)」，擴展至與州級NAEP (State - NAEP) ，甚至是NAEP城市地區試驗性評估。因此，經費由當初一年200萬美金擴增至超過1000萬美元。此外，NAEP也由評量技術掛帥階段，邁向資訊透明化，以發揮最大的影響力。我國TASA的工具研發、抽樣、施測、計分等技術毫不遜於NAEP，然目前報告及試題的釋出尺度，雖可遏止縣市間之不當比較及益於趨勢比較，卻也致使政策決策者及教育相關人員無法充分運用TASA資料於制度、課程、教學、評量等之改進。我國TASA宜借鏡NAEP讓挹注的經費用於訊息透明化，以發揮最大的影響力。


【註解】

註1  規劃評量的目的、研發工具、抽樣以及資料搜集等事宜。

註2  9 、13 與17 歲為對象。

註3  指第100 期國會所制定的法案中，美國總統所簽署公布的第297條法律。該條公共法要求每年須向總統及國會，針對教育指標進行報告。

註4  Title I funding。

註5  詳見 http://nces.ed.gov/nationsreportcard/about/naeptools.asp

註6  例城市、市郊、農村等。