TOEIC全球研發總監Dr. Feng Yu分享「TOEIC測驗信效度的研究管理」

| 詹家怡

【文、圖 / 測驗與評量研究中心 詹家怡研究助理】

本院測驗及評量研究中心非常榮幸邀請ETS負責現任TOEIC全球研發管理的總監Dr. Feng Yu蒞臨本院,分享ETSTOEIC測驗研發與執行過程中,關於信效度驗證與質量控管的嚴謹經驗。

各國對英語能力之要求程度,和國家經濟發展密切相關。TOEIC的設計理念十分符合國際英語需求,其強調測驗之信度、效度、公正性與數據驗證的循環要求,更是TOEIC廣受世界信賴的原因。Dr. Feng Yu提到,測驗的設計必須回溯性的思考,先思考要得到甚麼樣的訊息,再思考需透過甚麼樣的證據,接著以考題作為證據蒐集的方法。題型的選擇,和施測的目的息息相關,在能達成目的的前提下,應選擇簡單的題型。

TOEIC在設計前,會和需求對象(如企業、校長等)面談,瞭解其需求與關注點,再去思考試題研發的方向與內容。此外,TOEIC要求研究人員嚴格遵循出題藍本,避免加大變量,作為控制信效度的起點。Dr. Feng Yu也不斷強調,ETS團隊非常重視測驗的執行過程,所有研發人員均須實際參與測驗的執行過程,俾便調整試題的研發;因為,不佳的試題品質,即便擁有再佳的數學模型,都無法產出具信效度的結果。

在閱卷方面,為嚴格掌控公正性與獨立閱卷,TOEIC團隊在閱卷者的資格要求上,除需大學畢業外,亦須教過外國人的英語;接著透過培訓與考試,確保閱卷者的閱卷品質。值得一提的是,每位閱卷者每天早上閱卷前皆須通過閱卷考試,未通過者,隔日再來閱卷,以排除主觀情緒等因素對閱卷的影響。閱卷過程中亦會設計相關環節,檢測閱卷者是否達標準,環環把關下所得的分數,再進行結果分析。在結果分析方面,Dr. Feng Yu指出,數據的比較必須植基於同一方法上,當然,樣本多樣性是非常重要的。

再者,ETS考評組每3年會針對考試進行1次完整的嚴格考評,確保每項考試的品質。針對高風險考試之預試不易狀況,Dr. Feng Yu建議可朝兩方面思考:以非正式的小樣本去蒐集預試數據;嚴格遵循出題藍本,減少誤差。ETS官方網站上的ETS standards,可供測評相關人員參考。

正如同Dr. Feng Yu所言,考試是對大腦思維的抽樣,考試科學化是重要目標,尤其測驗研發,必須重視在現實的執行與應用性。以TOEIC在全球90多個國家施測的穩定性,其團隊在研發、閱卷、結果分析之信效度的嚴格管理,實值得我國大型考試借鏡與學習。