測驗及評量研究中心 | 陳冠銘 助理研究員
「國際學生能力評量計畫」(Programme for International Student Assessment, PISA)為「經濟合作暨發展組織」(Organisation for Economic Co-operation and Development, OECD)由西元2000年開始,每3年舉行一屆之國際大型教育評比調查,主要針對參加國或地區15歲學生的科學、數學、閱讀學科素養進行調查,臺灣由2006年(即PISA 2006,表示主要調查年為2006年)開始即持續參加至今。一般而言,臺灣學生歷來於科學、數學均維持高表現水準,但在閱讀表現上則可觀察到大幅變動:由PISA 2006的496分、PISA 2009的495分進步到PISA 2012的523分,然至PISA 2015卻又下滑至497分。如此成績的大幅變動引發對臺灣學生閱讀表現的關注,本文探討學生閱讀素養無法持續精進,何以先成長後下降的可能因素?
每屆PISA為了同時測得三學科的素養表現,又必須顧及測驗時間、學生疲勞等限制,在實務上會於每屆輪流採取其中一學科作為主測,另兩學科作為副測之策略。例如:PISA 2009的主測學科是閱讀,PISA 2012、PISA 2015的主測學科則分別為數學、科學,PISA 2018閱讀則再次成為主測學科。因此,PISA的單一學科每3屆(即9年)成為主測一次。主測學科試題數較多且測量的構念涵蓋較廣;副測學科則試題數較少,且是由上一次該學科作為主測時的所有試題中選取部分試題進行施測,並藉由相同試題跨屆等化之計量技術,使成績得以跨屆比較。實際上,因為PISA 2012和PISA 2015的閱讀均為副測學科,因此閱讀試題是由PISA 2009主測閱讀的100題試題中,各自挑選44題和43題進行施測,且PISA 2012和PISA 2015彼此之間只有三題相同試題。
多數人對於試題普遍存有一個觀念:同樣的試題對所有學生的難度應該是一致的,因此應考試題完全相同的同一份考卷,該考卷對所有學生的難度應該也是完全相同。但事實上,相同試題對不同背景或特性的學生有可能難度並不相同。一位愛運動的學生,在遇到和運動有關類型的題目,在答題上可能會較具優勢。這種因受測者背景或特性等不同因素而導致試題難度產生差異的現象,稱之為「差異試題功能」(Differential Item Functioning, DIF)。參加PISA的國家眾多,每個國家因其社會、文化、生活背景等不同因素,導致PISA試題必然存在對不同國家試題難度有所差異的現象。某些試題對A國較難,就會有另外一部分試題對A國較簡單;對A國而言所有試題難易程度的分布狀況,對B國可能又不一樣。然而,PISA會將全部試題對所有參加國的平均難易程度控制為一致,所以整體而言各國學生的平均表現並不受個別試題DIF的影響。若以PISA 2009主科閱讀全部100題試題的國際平均難度作為基準線,經分析後其中49題試題對臺灣學生而言難度較國際平均高,另外47題試題則對臺灣學生的難度較低。然就整體平均而言,這100題試題對臺灣學生的平均難度等於國際平均難度。
由於PISA 2012和PISA 2015的閱讀屬副測學科,在實作上試題是由PISA 2009閱讀作為主測時的試題中各選出44題和43題進行施測。經由觀察這三屆試題難度的分布,發現PISA 2012的44題多數為PISA 2009的100題中對臺灣學生難度較國際平均低的題目,然而PISA 2015的43題較多屬PISA 2009中對臺灣學生難度較高的題目。換言之,PISA 2012臺灣學生面對的閱讀試題較為簡單,所以對成績較有利;反之,PISA 2015臺灣學生考的閱讀試題較難,所以成績相對而言較不利。若考慮這兩屆閱讀副測因挑題產生的試題難度差異值並予以校正,則PISA 2012臺灣學生的閱讀素養成績應為503分,PISA 2015臺灣學生的閱讀素養成績則為513分(圖1)。
圖1、臺灣PISA閱讀素養成績校正前、後趨勢圖
PISA的閱讀試題分為三類認知任務:檢索與擷取、統整與詮釋、省思與評價。本研究進一步劃分不同試題認知任務類型,藉以檢視對臺灣學生試題難度和國際平均的差異狀態。結果顯示「檢索與擷取」類型的試題對臺灣學生而言難度較低故能力較佳,但「統整與詮釋」以及「省思與評價」類型的試題則難度偏高,所以能力表現較低。
由於閱讀為PISA 2009的主測學科,對PISA 2012、PISA 2015而言則為副測學科,故試題是由PISA 2009全部100題試題中各挑44題和43題以進行施測。雖然PISA 2009整體閱讀試題對臺灣學生的平均難度等於國際平均難度,但在PISA 2012和PISA 2015試題挑選的結果卻在試題難度分布上產生偏態:PISA 2012的整體試題難度對臺灣學生較有利,PISA 2015的整體試題難度則對臺灣學生較不利。在經過分數校正後,可觀察到自PISA 2006至PISA 2015臺灣15歲學生的閱讀素養整體而言呈現上升趨勢,此和我國長久以來閱讀教育政策的推廣效益一致,具有正向鼓勵效果。而經由閱讀試題表徵的認知任務類型對臺灣學生所產生的難度差異分析結果來看,未來我國閱讀教育政策應更著重學生跨越文本段落的統整與詮釋,以及超越文本範疇的省思與評價等高層次閱讀能力。PISA作為國際大型教育評比調查,重視國際比較以供了解全球教育政策的整體趨勢與成效。然而,經由個別國家資料的二次分析,可以發現如本研究的試題難度因文化、社會、國情、認知任務類型等特性不同而產生的差異,並回饋教育政策與學術研究。
陳冠銘、任宗浩(2020)。試題難度差異對臺灣學生PISA閱讀素養趨勢分析之影響與閱讀教育政策意涵。教育研究月刊,316,106-123。doi:10.3966/168063602020080316007。