IRT在量表(测验)编制上的应用.ppt

IRT在量表(測驗)編製上的應用 陳柏熹 台灣師大心輔系 大綱 IRT的概念與發展 IRT在測驗編製上的應用 IRT在電腦化適性測驗上的應用 MIRT在多向度測驗上的應用 一、IRT的概念與發展 j 為考生 j 的能力， bi 是試題 i 的難度， Pij是受測者答對某個題目的機率 試題反應理論(item response theory; IRT) 的基本概念 試題反應理論(IRT)與古典測驗理論(CTT)比較 試題反應理論傳統測驗理論 模式 特性 試題的作答反應模式。 不同IRT模式適用不同 測驗。 測驗總分的模式。 各種測驗都使用同一套模式。 試題 參數 題目參數估計不變性。題目參數會受到受試者能力影響 能力 量尺 能力估計不變性。 根據概似函數估計程度 ，理論基礎強。 可直接參照題目或發展 參照標準來解釋分數 可算出等距量尺。 受試者能力受到題目特性影響。 各題目配分直接加總，缺乏理論 基礎 需發展參照標準才能解釋分數。 群體為常態分布才能算出等距量 尺。 信度測量精確度(訊息量)隨著受試 者能力以及所接受的題目特性 而不同。 接受同一測驗的所有受試者其測 量精確度(信度)都相同。 應用編製測驗(量表)、分數等化， 編製題庫、電腦化適性測驗、 組合測驗 編製測驗(量表) 整體 評估 優點： 能力估計不變性、具有題目參 數估計不變性、測量精準度的 概念較合理、應用層面較廣。 缺點： 不易理解、能力估計與試題參 數估計較麻煩，須仰賴電腦軟 體來分析 優點： 模式簡單易理解，能力與試題參 數容易計算。 缺點： 等測量標準誤假設不合理、應用 較狹隘，受試者程度受題目特性 影響、題目參數受受試者特性影 響。 試題反應理論(IRT)與古典測驗理論(CTT)比較(續) 二元計分模式 lRasch模式 常見的IRT模式 二元計分模式 二參數模式 二元計分模式 三參數模式 多元計分模式 部份給分模式 多元計分模式 評定量尺模式 單向度 l測驗中的所有題目主要都是測量相同的某一項特質 ，或是受試者在測驗題目上的答題反應主要是受到 單一項特質所影響 。 局部獨立性 l相同能力水準的受試者，在各個題目上的答對機率 是互相獨立的。 IRT的基本假設 評量系統公司 當代IRT的發展 向度 數量 計分 方式 參數個數模式提出者適用軟體 單向度二元 計分 單參數模式 (Rasch模式) Rasch(1960)Bigstep, BILOG, BILOG-MG 二參數模式Lord(1952) 三參數模式Birnbaum(1968) 多元 計分 類別反應模式 (nominal response model) Bock(1972)MULTILOG, ConQuest 等級反應模式 (grade response model) Samejima(1969) 部份給分模式 (partial credit model) Wright ML) 貝氏最大後驗法(maximum a posteriori, MAP) 貝氏期望後驗法(expected a posteriori, EAP) 尋找概似函數最佳解的方法： 1.最大概似法(Maximum Likelihood; ML) 找出能使受試者的反應概似函數最佳化的能力值，為了 加速找到最佳解，通常使用牛頓-約佛森(Newton-Raphson) 法進行疊代： 2.貝氏最大後驗法(maximum a posteriori, MAP) 以受試者的事前能力分布作為加權值，形成事後機率密度 函數，並找出能使此事後機率密度函數最大化的能力值。 3.貝氏期望後驗法(expected a posteriori, EAP) 與2.類似，但所尋找的能力值是事後機率密度函數的期望 值(相當於平均數)，而不是最大值(相當於眾數) 。 試題分析 反應概似函數（likelihood function） 常見的試題參數估計法 聯合最大概似法(joint maximum likelihood; JML) 先假設試題參數已知 (設定所有題目的難度為0)，估計 受試者的暫時程度值；再把題目難度設定為未知，利 用暫時的能力估計值來估計題目參數 邊際最大概似法(marginal maximum likelihood; MML) 估計題目參數時，考慮受試者背後常模的分布型態 條件最大概似法(conditional maximum likelihood; CML) 用答對題數來估計受試者能力值，接著再用受試者能 力值來估計試題參數 測驗訊息量與測量誤差 題目訊息量(item information)： 測驗訊息量為題目訊息量總和。 測量誤差： 檢視資料的符合性 一、基本假設的檢定 單向度：1.受試者反應型態的合理性 2.計算內部一致性信度 3.進行主成分分析 4.使用線性或非線性的因素分析 5.殘差值分析 局部獨立性：依能力高低分成若干組別，分別在每個組別中 算出各題得分的相關矩陣，看各題目得分是否有顯著相關 二、模式符合度的檢驗 題目符合度：ICC曲線、Bock(1972)的2值、多模式的概率比 受試者符合度：能力估計誤差、受試者符合度指標 以IRT編製測驗的範例 (1) 、能力測驗的編製 九十四年第一次國中基測驗數學科，共有33題。資料來源為 作者向國中基本學力測驗推動工作委員會申請，該單位僅提 供5000筆供研究用。此處僅使用其中500筆。 ConQuestConQuest程式寫法：程式寫法： datafile math941a.prn; format response 1-33; codes A B C D ; key DDABCBCBBACDBBADCDBACDCCAABCADBAB !1; set constraints=cases; model item; estimate ! converge=0.01; itanal math941.itn; show math941.shw; show cases ! estimates=mle math941.mle; show cases ! estimates=eap math941.eap; reset; 以IRT編製測驗的範例(2) 二、人格與態度量表的編製 作者自行發展的生活品質量表(陳柏熹，1999)。該量表主要測量 受試者在身體、心理、獨立性、社交、環境、心靈等層面的生活 品質感受，以及整體生活品質感受。每個題目都是以非常像我 、大致像我、不太像我、非常不像我等四點計分 。本節僅使用身體層面的生活品質感受題目為例進行分析。 ConQuestConQuest程式寫法：程式寫法： datafile whodata.dat; format id 1-11 response 12-23; score (1,2,3,4)(0,1,2,3); set constraints=cases; model item+step; estimate ! converge=0.01; itanal whodata.itn; show whodata.shw; reset; TdP9M6I2F;Byv)rBx=t(q%mZjVfSbO8K4H0D.zw+s*p!lYhUeQaN6J3F:Cyv)rBx=t(q$mZiVfRbO8K4H0D.zw-s*o!lXhUdQaN6J3F:Czv-s*o!lXhUdQaM6J2F:Bzv-sByv-rByv)rBx=t(q$mZiVfSbO8K4H0D.zw-s*o!lYhUeQaN6J3F:Czw-s*o!lXhUdQaM6J2F:Czv-sBzv-rByv)rBx=t(q$mZjVfSbO8K4H0D.zw-s*p!lYhUeQaN6J3F:Czv-sBzv-rByv)rBx=t(q%mZjVfSbO8K4H0D.zw+s*pXgTdQ9M6I2F;Byv)rBx=u(q%mZjVfSbO8K4H0D.zw+s*p!lYhUeQaN6J3F:Cyv)rBx=t(q$mZiVfRbO8K4H0D.zw-s*o!lXhUdQaN6J3F:Czv- s*o!lXhUdQaM6J2F:Bzv-sByv-rByv)rBx=t(q$mZiVfSbO8K4H0D.zw-s*o!lYhUeQaN6J3F:Czw- s*o!lXhUdQaM6J2F:Czv-sBzv-rByv)rBx=t(q$mZjVfSbO8K4H0D.zw-s*p!lYhUeQaN6J3F:Czv-sByv)rBx=u(q%mZjVfSbO8K4H0D.Aw+s*p!lYhUeQaN6J3F:Cyv)rBx=t(q$mZiVfRbO8K4H0D.zw-s*o!lXhUeQaN6J3F:Czv-s*o!lXhUdQaM6J2F:Bzv-sByv-rByv)rByv)rBx=t(q$mZjVfSbO8K4H0D.zw-s*o!lYhUeQaN6J3F:Czv- sBzv-rByv)rBx=t(q%mZjVfSbO8K4H0D.zw+s*p!lYhUeQaN6J3F:Czv- sByv-rBx=u(q%mZjVfSbO8K4H0D.Aw+s*p!lYhUeQaN6J3G:Cyv)rBx=t(q$mZiVfRbO8K4H0D.zw- s*o!lXhUeQaN6J3