试题分析的方法课件

1、试题分析的方法课件试题分析的方法课件傳統試題和 IRT試題分析的方法傳統試題分析的方法IRT試題分析的方法試題分析的解釋傳統試題和 IRT試題分析的方法傳統試題分析的方法試題分析（item analysis） 一、前言二、試題分析功能三、測驗試題分析試題分析（item analysis）一、前言一、前言信度與效度是測驗二項的重要特徵，二項特徵均須視試題品質優劣而定，而試題品質則可藉由試題分析而提高。 一、前言信度與效度是測驗二項的重要特徵，二項特徵均須視試題品前言試題分析包括：（1）依試題內容與形式做品質分析（2）依試題統計特性做量化分析。前言試題分析包括：品質分析 可由試題的內容審查、有效命

2、題原則、教學目標進行邏輯的分析，即可達到目的。品質分析 可由試題的內容審查、有效命題原則、教學目標進行邏輯量化分析 量化的目的主要在分析每題試題所具備三大統計特徵：難度、鑑別度、誘答力。於考試完後做試題的分析，以便將內容效度適切的、鑑別力高的與難度適中的題目保留下來以建立題庫。量化分析 量化的目的主要在分析每題試題所具備三大統計特徵：難二、試題分析功能（一）提供回饋給學生，作為學生改進學習方法 的參考。（二）提供回饋給教師，作為實施補救教學的依 據。（三）提供改進課程建議的依據。（四）增強教師編製測驗的技巧。（五）增進測驗題庫運用的效能。（六）可縮短測驗長度，節省測驗時間，提高信 度與效度。二

3、、試題分析功能（一）提供回饋給學生，作為學生改進學習方法三、測驗試題分析常模參照測驗試題分析分為三種分析：（1）難度（2）鑑別力（3）誘答力。三、測驗試題分析常模參照測驗試題分析分為三種分析：三、測驗試題分析試題量的分析步驟難度分析鑑別力分析難度與鑑別力的關係 選擇題選項誘答力分析 效標參照測驗試題分析三、測驗試題分析試題量的分析步驟試題量的分析步驟根據原始分數的高低依序排列。從最高分往下取總人數的25%33%為高分組再從最低分往上取總人數的25%33%為低分組。(註一)分別計算高分組與低分組在每一道題答對人數與百分比。計算每題的難度指數。 計算每題的鑑別指數。檢查每一題所列選項回答人數以確定

4、誘答力。試題量的分析步驟根據原始分數的高低依序排列。註一：Kelley(1939)當測驗分數是常態分配時，以27%分組試題的鑑別力最可靠。當百分比低於27%時可靠性較低，而百分比太大時，會影響題目的鑑別作用。對教師而言，合理的分組百分比可在25%到33%之間。註一：Kelley(1939)當測驗分數是常態分配時，以2難度分析通過百分比分析等距量尺分析試題難度與測驗分數的分配 難度分析通過百分比分析通過百分比分析計算全體受試者答對每題的人數百分比，這百分比稱為難度指數。如下：【公式1】 P = R / NP：難度指數R：答對的人數N：總人數優點：簡單易行。缺點：無法顯示試題區別功能，到底是高分組

5、答 對較多或低分組。通過百分比分析計算全體受試者答對每題的人數百分比，這百分比稱通過百分比分析【公式2】 P = P H P L / 2 P ：難度指數P H：高分組答對的人數P L：低分組答對的人數優點：（1）答對百分比表示難度，其數值愈大，題目愈簡單。（2）使用次序量尺，可以指出題目的等級順序或相對難 度。缺點： （1）無法指出各難度間差異大小。（2）單位不相等，即P1P2P2P3通過百分比分析【公式2】 P = P H P L 難度分析採用等距量尺分析 =13+4z ：難度 z：值難度分析採用等距量尺分析试题分析的方法课件難度公式的比較通過百分比分析等距量尺分析公式=13+4z代表意義數

6、字愈大，代表題目愈容易數字愈大，代表題目愈困難難度的比較順序量尺，難度間的差異並不相等，不能直接比較等距量尺，難度可直接做比較難度公式的比較通過百分比分析等距量尺分析公式=13+4z代試題難度與測驗分數的分配 難度P值0 P 1 （1）P 0.5（難度適中），分配型態為 常態分配。（2）0.3 P 0.7（難度適當）（3）P 0.7（試題較易），分配型態為負 偏分配。（4）P 0.3（試題較難），分配型態為正偏分 配。試題難度與測驗分數的分配 難度P值0 P 1 鑑別力分析內部一致性分析 外在效度分析鑑別力分析的目的在於確定題目是否具有區分高下的作用。依分析時所依據的標準可有兩種方式 鑑別力分

7、析內部一致性分析 鑑別力分析的目的在於確定題目是否具內部一致性分析 內部一致性分析旨在瞭解各個試題的功能是否和整個測驗的功能相符合一致。公式如下：DP H P L D ：鑑別力指數P H：高分組答對的百分比P L：低分組答對的百分比內部一致性分析 內部一致性分析旨在瞭解各個試題的內部一致性分析（1）-1 D 1 D 0，無鑑別度。 試題太簡單，高分組與低分組學生全部答對 （P H P L 0）。 試題太困難，高分組與低分組學生全部答錯 （P H P L 0）。（2）D + 1， 高分組學生全部答對，低分組學生全部答錯。 （P H 1， P L 0）。（3）D 1， 低分組學生全部答對，高分組學

8、生全部答錯。 （P H 0， P L 1）。內部一致性分析（1）-1 D 1 內部一致性分析美國學者伊博（1979）的評鑑標準鑑別指數 試題評鑑 0.40以上 非常優良 0.300.29 優良，但可能需修改 0.200.29 尚可，但通常需修改 0.19以下 劣，須淘汰或修改 內部一致性分析美國學者伊博（1979）的評鑑標準鑑別指數 試外在效度分析 外在效度分析旨在檢驗題目是否具有預定的某種鑑別作用（簡茂發，民67）。分析學生在試題上的反應與在效標上表現之間的關係，目的在試題反應與測驗的外在效度變得最大，用來增強效標關聯效度。根據學生在某題試題的反應答對或答錯與測驗總分相關係數，此一相關係數即

9、用來表示試題鑑別度指標。其常用的方法有：點二系列相關、二系列相關。外在效度分析 外在效度分析旨在檢驗題目是否具有預定的某種鑑別難度與鑑別力的關係 題目難度適中，P=0.5時，鑑別指數最大D1；P=1或0時，鑑別指數最大D0，當試題平均鑑別力愈高時，測驗的信度愈高。選擇題目時，除了顧及難度與鑑別度外，亦應考量選出試題之分配比例是否和雙向細目表符合一致。難度與鑑別力的關係 題目難度適中，P=0.5時，鑑別指數最大運用試題分析的數據資料1234漏做難度(p)鑑別指數(D)點二系列相關212445216+4.16.00-.062244056+00.56.67.4823076+12120.76.50.4

10、524428+28328.28-.17-.12251612072+0.72-.17-.2926045244+0.44.00-.112792+0800.92.33.4528868+0204.68.83.6129241256+80.56.50.463088+0084.88.17.313168+124160.68.170.521.00.733381660+160.60.00.06342020852+0.52.83.593580+00416.80.50.43運用試題分析的數據資料1234漏做難度(p)鑑別指數(D)點選擇題選項誘答力分析 分析選擇題是否具誘答性，只要分析高低組

11、學生在每個學生在每個試題選答的次數分配，加以判斷即可。國內郭生玉教授提出判斷原則：（1）每一錯誤選項至少有一低分組學生選 擇。（2）選擇錯誤選項的低分組學生應比高分 組學生還高。選擇題選項誘答力分析 分析選擇題是否具誘答性，只要分析高低組選目的有效性分析-試題的選目分析組別選項DPAB *CD未答高分組216110 0.40 0.60低分組58430此題的選目均屬於合理有效。選目的有效性分析-試題的選目分析組別選項DPAB *CD未答選目的有效性分析-試題的選目分析組別選項DPA*BCD未答高分組140060 0.10 0.65低分組120800選目B沒有誘答力修改選目D可能意義不清、有2個正

12、確答案或受試 者作答不小心修改選目的有效性分析-試題的選目分析組別選項DPA*BCD未答高選目的有效性分析-試題的選目分析組別選項DPABC *D未答高分組901010 0.20 0.40低分組54650選目A和C在正確性不夠清楚修改使之只有 一個正確答案或最佳答案。每個選項的選答都非常接近，對低分組都有誘 答力，可能是低分組缺乏知識所致。選目的有效性分析-試題的選目分析組別選項DPABC *D未答選目的有效性分析-試題的選目分析組別選項DPAB *CD未答高分組56450 0.05 0.28低分組45560高分組選答各個選項的次數都很接近，顯受試 者可能盲目的猜測檢討或修改。選目的有效性分析

13、-試題的選目分析組別選項DPAB *CD未答選目的有效性分析-試題的選目分析組別選項DPABCD *未答高分組36380 -0.20 0.50低分組314120高分組選答正確答案的次數反而比低分組少， 顯示此題為反向題檢討原因加以修正或淘汰 不用。選目的有效性分析-試題的選目分析組別選項DPABCD *未答選目的有效性分析-試題的選目分析組別選項DPAB *CD未答高分組0101000 0.10 0.45低分組28820題目的選項分析顯示不合理而須要修改，但是 在修改前應仔細研究是否是題目本身的缺陷或 學生反應上的錯誤所致。選目的有效性分析-試題的選目分析組別選項DPAB *CD未答試題選擇的

14、標準先做試題分析評鑑試題優劣(考慮難度、鑑別力)考慮選出試題的比例是否與雙向細目表一致試題編排 增加受試者做測驗動機 少數較易題目放前面 使能力高者感到具有挑戰性 選幾題較難的全測驗的試題宜力求0.50的平均難度 試題選擇的標準先做試題分析效標參照測驗的試題分析效標參照測驗所使用的試題通常會比常模參照測驗所使用者容易些，因為教師多半期望大多數的學生在測驗上都有良好的表現，獲得好成績，教師若仍沿用常模參照測驗的試題分析方法，則高分組與低分組學生在試題上的答對百分比值都會接近1，而鑑別度指標值趨近於0。由此可見效標參照的試題分析方法異於常模參照使用的試題分析分法，方能避免試題分析產生無法解釋的效果

15、。效標參照測驗的試題分析效標參照測驗所使用的試題通常會比常模參試題難度一般來說，效標參照測驗難度指標分析是沒有必要進行的，因為它的測驗目的不同於常模參照所致。常模參照測驗中，測驗的目的是在區分學生成就的高低，因此教師所期望的最佳難度指標是.50左右最好。效標參照測驗試題的難度指標，應和教學前預設定的通過標準(精熟標準一致)。例如，假設以80%的試題答對率或通過分數為精熟標準時，則理想的難度指標應訂為.80左右，教師可不必參考常模參照測驗的試題選擇標準，而是依據教材內容和實際教學情況，做為判斷精熟標準或難度指標。試題難度一般來說，效標參照測驗難度指標分析是沒有必要進行的，教學敏感度指標Cox和V

16、argas(1996)提出了一種同一組受測者在教學前進行前測和教學後進行後測的方法D=P後-P前-1.00 D 1.00正常教學前後指標值大約是介於.10到.60之間D接近0，代表該試題的鑑別度指標越低，不能反映出預期的教學效果D接近1，代表該試題的鑑別度指標越高，對教學效果的敏感度越大，代表該試題的品質越佳 反映出命題很成功D是負值，代表該試題是個反向作用題，反映出教學效果是有問題的，代表該試題品質極不良 應予淘汰教學敏感度指標Cox和Vargas(1996)提出了一種同一標準參照測驗試題的鑑別力分析精熟組與非精熟組的差異：DPPPf D ：鑑別力指數 PP：精熟組的答對比率 Pf：非精熟組

17、的答對比率題目難度會影響鑑別力，且標準參照測驗是預期多數學生能精熟內容，故鑑別力將比常模參照的低。標準參照測驗試題的鑑別力分析精熟組與非精熟組的差異：標準參照測驗試題的難度分析前面的難度分析方法可用於標準參照測驗。不過，解釋上和常模參照測驗不同： 1.希望學生在教學後能精熟教材，故教學有效時，多數題目的難度指數（通過百分比）均很大。（難度指數反映的教學品質多於題目的品質）。 2.標準參照測驗的難度應和事先設定的相同，例如：以85為精熟標準時，理想的難度指數應訂在0.85左右。標準參照測驗試題的難度分析前面的難度分析方法可用於標準參照測教學敏感度分析試題P前P後教學敏感度指標說明11.000.0

18、01.00教學前學生均錯，教學後學生均對，試題與教學都是有效的。20.800.800.00這個試題過於簡單，學生的表現受教學影響不大，無法測量出教學效果。30.150.150.00這個試題過於困難，學生的表現受教學影響不大，無法測量出教學效果。40.001.00-1.00試題相當不好，顯示教學本身有問題50.600.100.50正常教學下有效的常態試題，教學與試題均屬有效。教學敏感度分析試題P前P後教學敏感度指標說明11.000.0現代測驗理論現代測驗理論的特點：就是以概率表示受試能力與項目的關係。其中P（）表示能力的受試答對某試題的機率P。 現代測驗理論現代測驗理論的特點：就是以概率表示受試

19、能力與項目IRT試題分析參數試題特徵曲線難度參數鑑別力參數猜測參數試題訊息函數 IRT試題分析參數試題特徵曲線試題特徵曲線（item characteristic curve，ICC）P（）就是試題反應函數，將試題反應函數用平面座標圖表示出來即稱為試題特徵曲線。 試題特徵曲線（item characteristic cu試題特徵曲線說明座標的縱軸是答對機率，P（），也就是具某能力的受試答對某題的機率。機率介於0.00至1.00之間。橫軸代表能力或潛在特質。潛在特質為一連續體，由左而右表最低的無限小至最高的無限大。如圖一 試題特徵曲線說明座標的縱軸是答對機率，P（），也就是具某能常態肩形ICC

20、最理想的試題特徵曲線就是常態肩形，多一點能力就增加一些答對機率。如S形常態分配累積次數曲線，左下方與右上方都無法真正達到0.00或1.00。 如圖一 常態肩形ICC 最理想的試題特徵曲線就是常態肩形，多一點能力難度參數 難度參數就是能力量尺上的落點，又稱落點參數。ICC的起點靠近左側表示題目較容易，反之靠近右側題目較困難。 難度參數 難度參數就是能力量尺上的落點，又稱落點參數。IC難度參數的意義 難度參數又稱b參數，以決定一個題目在潛在特質連續體的位置。題目愈難，所需的能力愈高，ICC越偏右，一般能力的受試者答對機率較低，反之，題目越容易，所需能力越低，ICC越偏左，一般能力的受試者答對該題的

21、機率也會較高。 難度參數的意義 難度參數又稱b參數，以決定一個題目在潛在特質難度參數、能力與機率的關係 要分析難度參數、能力與機率的關係，最容易的比較方法就是能力減難度b，因b參數與能力量尺性質一樣，故可相減。當b0或b時，答對機率 P（）0.5，也就是能力與難度相等時，答對機率為一半。當b時，答對機率超過一半。當b時，答對機率低於一半。圖四表示能力、難度與機率三者的關係。 難度參數、能力與機率的關係 要分析難度參數、能力與機率的關係回上頁回上頁回上頁回上頁鑑別力參數鑑別力參數又稱a參數，是能力變化時，答對機率變化的程度。試題特徵曲線中，a參數表示曲線陡峭的程度。a參數愈高，ICC曲線愈陡，試

22、題愈具有良好的分辨能力；a參數愈低，ICC曲線愈平坦，試題愈無法明顯有效的分辨出受試者的能力水準。理論上，a參數介於與之間；一般以0至2之間為多，但以0.8與1.25之間最為有效。鑑別力參數鑑別力參數又稱a參數，是能力變化時，答對機率變化猜測參數猜測參數又稱c參數，是指試題特徵曲線的左下漸進線，為能力極低時仍有的答對機率。c參數只出現在三參數或四參數對數模式中，單參數和雙參數模式將其假定為0或近於0。c值愈小題目愈有效，一般均以0.3為選題重點，c值超過0.3的項目不是理想的項目。猜測參數猜測參數又稱c參數，是指試題特徵曲線的左下漸進線，為猜測的原因 使用利於猜測的命題方式。測驗計分方式有利猜測。測驗指導語鼓勵猜測。題目太難或受試能力偏低。題目本身為另一題提供線索，違反局部獨立假定。選項或誘答選項配置不當。猜測的原因 使用利於猜測的命題方式。試題訊息函數公式：試題訊息函數公式：a,b,c參數在試題訊息函數中扮演的角色 當b值愈接近時，訊息量較大；反之，b