TOEIC全球研發總監Dr. Feng Yu分享「TOEIC測驗信效度的研究管理」
| 詹家怡
【文、圖 / 測驗與評量研究中心 詹家怡研究助理】
本院測驗及評量研究中心非常榮幸邀請ETS負責現任TOEIC全球研發管理的總監Dr. Feng Yu蒞臨本院，分享ETS在TOEIC測驗研發與執行過程中，關於信效度驗證與質量控管的嚴謹經驗。
各國對英語能力之要求程度，和國家經濟發展密切相關。TOEIC的設計理念十分符合國際英語需求，其強調測驗之信度、效度、公正性與數據驗證的循環要求，更是TOEIC廣受世界信賴的原因。Dr. Feng Yu提到，測驗的設計必須回溯性的思考，先思考要得到甚麼樣的訊息，再思考需透過甚麼樣的證據，接著以考題作為證據蒐集的方法。題型的選擇，和施測的目的息息相關，在能達成目的的前提下，應選擇簡單的題型。
TOEIC在設計前，會和需求對象(如企業、校長等)面談，瞭解其需求與關注點，再去思考試題研發的方向與內容。此外，TOEIC要求研究人員嚴格遵循出題藍本，避免加大變量，作為控制信效度的起點。Dr. Feng Yu也不斷強調，ETS團隊非常重視測驗的執行過程，所有研發人員均須實際參與測驗的執行過程，俾便調整試題的研發；因為，不佳的試題品質，即便擁有再佳的數學模型，都無法產出具信效度的結果。
在閱卷方面，為嚴格掌控公正性與獨立閱卷，TOEIC團隊在閱卷者的資格要求上，除需大學畢業外，亦須教過外國人的英語；接著透過培訓與考試，確保閱卷者的閱卷品質。值得一提的是，每位閱卷者每天早上閱卷前皆須通過閱卷考試，未通過者，隔日再來閱卷，以排除主觀情緒等因素對閱卷的影響。閱卷過程中亦會設計相關環節，檢測閱卷者是否達標準，環環把關下所得的分數，再進行結果分析。在結果分析方面，Dr. Feng Yu指出，數據的比較必須植基於同一方法上，當然，樣本多樣性是非常重要的。
再者，ETS考評組每3年會針對考試進行1次完整的嚴格考評，確保每項考試的品質。針對高風險考試之預試不易狀況，Dr. Feng Yu建議可朝兩方面思考：以非正式的小樣本去蒐集預試數據；嚴格遵循出題藍本，減少誤差。ETS官方網站上的ETS standards，可供測評相關人員參考。
正如同Dr. Feng Yu所言，考試是對大腦思維的抽樣，考試科學化是重要目標，尤其測驗研發，必須重視在現實的執行與應用性。以TOEIC在全球90多個國家施測的穩定性，其團隊在研發、閱卷、結果分析之信效度的嚴格管理，實值得我國大型考試借鏡與學習。