大型測驗方法與資料分析國際研討會與會心得
| 蕭嘉偉
【文、圖／測驗及評量研究中心博士後研究員 蕭嘉偉】
此次研討會目的在介紹大型教育成就調查所運用的方法以及資料分析技術，內容為國際大型教育評比調查（如TIMSS、PIRLS或PISA等）所應用的研究方法與資料分析技術，並提供國內、外相關領域研究人員一個公開討論與交流的場合。大會所邀請的三位講師，均為國內、外負責國際大型教育成就調查研究的資深研究員，包括美國教育測驗服務社(Educational Testing Service, ETS)研究員Dr. Eugenio Gonzalez、澳洲維多利亞大學教授Dr. Margaret Wu以及國立臺灣師範大學科學教育中心任宗浩研究員。
此研討會在以類似工作坊（Workshop）的性質進行，與會者向主講者學習實際運作處理大型測驗資料所需的技術及方法，本院測驗及評量研究中心謝佩蓉助理研究員、蕭儒棠助理研究員皆全程參與。目前在臺灣學生學習成就評量資料庫（Taiwan Assessment of Student Achievement, TASA）的規劃期程正處於抽樣及組卷的部分，藉由本研討會參考國外大型測驗的做法，以及臺灣參加歷屆TIMSS的經驗，對未來國教院在TASA抽樣的規劃及執行上，具有相當的參考價值。
研討會共舉辦四天，第一天由任宗浩研究員介紹大型教育測驗調查所應用的抽樣技術，包含抽樣權重的計算、抽樣誤差的估計以及重複抽樣權重的產生方法與使用，任老師也分享了他如何改善TIMSS 2011的抽樣設計，及其與Margaret Wu博士合寫的一篇抽樣分層能降低抽樣誤差的著作，對以往僅用各區域或縣市等行政區域來抽樣的概念，是一個創新且有效的做法，並在2011年的抽樣結果上得到驗證。第二天由Margaret介紹大型國際評比中所運用到的量尺化技術與測驗誤差的估計，內容包括試題反應理論（Item Response Theory, IRT）的介紹、似真值（plausible value, PV）的產生與使用。第三天由Eugenio Gonzales博士介紹在對大型教育調查研究資料進行二次分析時，相關的議題以及常見的錯誤，Eugenio也同時介紹了IEA開發IDB Analyzer分析軟體。
IDB的全名是IEA International Database（IDB）Analyzer，是用在國際大型測驗資料庫的分析軟體，像是TIMSS、PIRLS等資料都相當適合用IDB來分析，舉例來說，TIMSS、PIRLS的資料都是每個國家一個SPSS檔，一般研究者在使用資料時，需要有一個國家代碼對照表，才能找到相對應的資料來分析，但使用IDB時，可以直接用搜尋的功能，快速找到所要分析的國家資料，或是其它所需要的變項資料，並且可以合併不同年份、不同年級的資料來分析，在分析的選項上，也考量了大型測驗分析上所常見的權重及PV值，IDB的分析會輸出SPSS資料檔及語法檔，在分析上的便利性及正確性也會提高許多。
經過這次的研討會，對三位研究員有更深的認識，他們在講解課程上由淺入深，循序漸進引導在座者瞭解他們過去所處理的資料、遇到的問題及解決方法，也對提問者的問題詳盡的回答，讓我感受到大師及學者風範，期許自己未來也能向前輩效法學習，朝此領域繼續鑽研精進。