普心实验测量统计-课件chapter6-item analysis

第六章项目分析ItemAnalysis2023/1/15THY,CCNU2何为项目分析？项目分析就是根据试测结果对组成测验的各个题目（项目）进行分析，从而评价题目好坏、对题目进行筛选的程序。项目分析包括质的分析和量的分析两个方面表6.12023/1/15THY,CCNU3表6.1研究生入学考试英语近3年数据对比分析

2023/1/15THY,CCNU4学习目标掌握难度的估计方法。了解测验难度水平的确定依据。掌握项目区分度的求法及区分度对测验质量的影响。了解难度与区分度的关系。2023/1/15THY,CCNU51项目难度定义估计难度的方法选择题的难度修正项目难度的等距量表测验难度的确定2023/1/15THY,CCNU61.1难度与难度分析难度测验项目的难易程度。能力测验：项目的难易水平非能力测验：“通俗性”或者“流行性”水平(popularitylevel)难度分析对项目的难度进行估计以确定适宜的难度。2023/1/15THY,CCNU71.2项目难度的估计方法测验的计分方法不同，项目难度的估计方法也不同。二值记分项目的难度多值记分项目的难度2023/1/15THY,CCNU81.2.1二值计分项目的难度通过率二值计分项目的计分只有答对和答错两种情况，计为1或0通过率：以答对百分比（或比率）当项目以1、0计分时，难度等于通过率2023/1/15THY,CCNU9例如在200个学生中，答对某题的人数为120人，则该项目的难度为2023/1/15THY,CCNU101.2.1二值计分项目的难度极端分组法当项目以1、0计分，且人数较多时，难度等于总分上高分组与低分组通过率的平均数27%规则一般情况下，取上下25%~33%均可样本少时，可以取50%2023/1/15THY,CCNU11例假设有370个被试，取其中成绩最高的27%（100）人定为高分组，成绩最低的27%（100）人定为低分组，对于某一道试题，若高分组有60人答对，低分组有30人答对。则：Ph=60/100=0.60Pl=30/100=0.30所以该题的难度为P=(0.6+0.3)/2=0.452023/1/15THY,CCNU121.2.2多值计分项目的难度当项目以多值计分时，难度等于平均分与满分之比。2023/1/15THY,CCNU13例设某一问答题满分是20分，全体考生在该题上所得的平均分为10分。则该题的难度为：P=10/20=0.502023/1/15THY,CCNU141.2.2多值计分项目的难度当测验不是二值记分，且受测者人数很多时，难度等于总分上高分组与低分组平均分之和与2倍满分之比。2023/1/15THY,CCNU151.3选择题的难度修正在选择题测验中，猜测的成功概率受项目备选答案数目的影响P猜测成功=1/k为平衡猜测概率对难度的影响，需要对选择题的难度系数进行修正。2023/1/15THY,CCNU16矫正公式：如果要比较两个选项数目不同的项目难度，必须运用以上矫正公式分别将两个项目的难度进行矫正，然后才能进行比较分析。2023/1/15THY,CCNU17例一个五选一的项目难度系数为0.50，一个四选一的项目难度系数为0.53，问哪一项目难度更大？五选一的项目矫正后难度系数为CP=KP-1/K-1=5×0.50-1/5-1=0.375四选一的项目矫正后难度系数为CP=KP-1/K-1=4×0.53-1/4-1=0.373可知，和未矫正前相反，五选一的项目更难一些。2023/1/15THY,CCNU181.4项目难度的等距量表通过率是以何种量表水平表示难度的？使用项目难度等距量表的理由测题的难度一般用答对某题的人数比率或百分比表示。百分量表是等级量表，不是等距量表。因此不能比较题目之间的具体差异。难度量表是反序而行的，难度系数越大，项目越容易，转换成等距量表后更清晰明了。2023/1/15THY,CCNU191.4.2难度系数转换为等距量表的方法查标准正态分布表，将以等级量表表示的P值转换成具有相等单位σ的等距量表Z值。P值作为正态曲线下面积时，要从右向左而行。转换好的Z值在平均数以下是负数。为了避免负号出现的情况，使用Δ

。2023/1/15THY,CCNU20例题在正态分布中，平均数之上或之下一个标准差的距离约占全体人数的34%如果在一个测验中某项目A通过率为84%，那么这项目的难度为-1σ。如果某项目B的通过率只有16%，则这个项目的难度为+1σ。若某题C恰好有50%的人通过，则此题的难度为0。2023/1/15THY,CCNU21ΔΔ=13+4ZΔ为常态化等距难度指标13为平均数4为标准差Z为以σ为单位的Z值例(后一页)2023/1/15THY,CCNU22例上面所举的例中，各题的Δ难度值为：题目A：通过率P=0.84Z=-1Δ=13+4×(-1)=9题目B：通过率P=0.16Z=1Δ=13+4×1=17题目C：通过率P=0.50Z=1Δ=13+4×0=132023/1/15THY,CCNU23例(续)如果一个题目几乎所有被试都通过，通过率为99.8%则其Z=-3,Δ=13+4×(-3)=1如果一个题目答对的人很少，通过率为0.13%则其Z=3,Δ=13+4×3=252023/1/15THY,CCNU241.5测验难度水平的确定项目难度的确定测验难度的水平的确定2023/1/15THY,CCNU251.5.1项目难度的确定难度分析的主要目的是筛选项目，项目的难度水平取决于以下因素：测验的目的测验的作用项目形式2023/1/15THY,CCNU26项目难度确定的影响因素(1)测验目的教育工作中，若测验的目的是为了了解被试在某方面知识技能掌握的情况，可以不必过多的考虑难度。大多数测验希望能较准确地测量个体之间的差别，选择题目时，最好使试题的平均难度接近0.50，而各题难度在0.50±0.20之间。2023/1/15THY,CCNU27项目难度确定的影响因素(2)测验的作用一般能力测验和成就测验的平均难度在0.50左右比较合适。筛选性测验（选拔性，竞争性测验）则要采用难度接近录取率的项目。2023/1/15THY,CCNU28项目难度确定的影响因素(3)项目形式对于选择题而言，P值一般应大于猜测概率水平对于是非题而言，其难度值应该为0.75最为合适对于四择一题目，其难度值约为0.63时最为合适2023/1/15THY,CCNU291.5.2测验难度水平的确定整个测验的难度取决于组成这个测验的各个试题的难度。整个测验难度水平的确定，需要根据测验分数的分布作出。正偏态负偏态正态假如在难度中等（P为0.50）并且项目组间相关为零的条件下，分数的分布将为正态。2023/1/15THY,CCNU312项目区分度区分度的定义区分度的估计方法区分度的相对性2023/1/15THY,CCNU322.1区分度的定义项目区分度itemdiscrimination指测验项目对于所测量的心理属性的鉴别能力和区分程度，也称鉴别力。2023/1/15THY,CCNU332.2区分度的估计方法鉴别指数法相关法方差法2023/1/15THY,CCNU342.2.1鉴别指数法比较测验总分高和总分低的两组被试在项目通过率上的差别。2023/1/15THY,CCNU35例题某高中物理测验，高分组在第5题上的通过率为0.75，低分组的通过率为0.35，则该项目的鉴别指数为：D=0.75-0.35=0.402023/1/15THY,CCNU36续1965年，美国测验专家伊贝尔(L.Ebel)根据长期的经验提出了用鉴别指数评价项目性能的标准，如下表所示：2023/1/15THY,CCNU37项目区分度与难度关系密切2023/1/15THY,CCNU38项目特征曲线itemcharacteristiccurve,ICC项目特征曲线描述了效标分数不同的被试在该项目上的通过率。曲线坡度越陡，鉴别力越好，预测的误差越小。2023/1/15THY,CCNU392023/1/15THY,CCNU402023/1/15THY,CCNU412023/1/15THY,CCNU422.2.2相关法以项目分数与效标分数或测验总分的相关作为项目区分度的指标。2023/1/15THY,CCNU452.2.3方差法2023/1/15THY,CCNU46续当n<30时，属于统计上的小样本，改用实际进行项目分析时，被试不能少于30人，提到该公式是由于练习的需要。2023/1/15THY,CCNU472.3区分度的相对性不同的计算方法样本容量的大小分组标准被试样本的同质性2023/1/15THY,CCNU493项目分析流程步骤对选择项的反应模式分析项目分析实例2023/1/15THY,CCNU503.1步骤

选取有代表性的样本370人，按规定的程序，进行预测工作；把370份试卷按测验总分的高低次序排列，然后从最高分数的人开始向下取足27%(100人)为高分组，再从最低分数的人开始向上取足27%(100人)为低分组；计算高分组与低分组通过每一题的比率，分别以Ph和Pl表示；2023/1/15THY,CCNU513.1步骤(续)按照区分度与难度的公式，分别求出每一测题的难度与鉴别力指数；比较高分组、低分组在测题不同答案上的反应；根据测题统计分析的结果，修改测题或选择适当的测题。2023/1/15THY,CCNU523.2对选择项的反应模式分析如果正确的备选答案被所有的受测者选择，说明该项目太容易，或者可能是项目中提供某种暗示，使正确答案过于明显。如果某个错误答案没有任何被试选择，说明该选项不具有迷惑性，错得过于明显，除了增加阅读时间外，不起任何作用。如果所有被试都选择了同一个错误答案，可能是编制测验时把正确答案搞错了，也可能是在教学中发生了错误。2023/1/15THY,CCNU533.2对选择项的反应模式分析(续)如果高分组被试的选择集中在两个答案上，二者选择率相近，说明该题可能、本来就有两种正确答案，或者在某种意义上另一个选择项也有一定道理。如果高分组对正确答案的选择率与低分组相等或低于后者，说明该题所考查的东西与被试水平无关，即不具有鉴别力。如果一个题目被试未作答的人数较多（速度性测验除外），或者选择各个备选答案的人数相等，说明该项目可能过难或题意不清，被试无法作答或凭猜测作答。2023/1/15THY,CCNU543.3项目分析实例2023/1/15THY,CCNU56项目分析步骤(1)区分度

取舍题目时，首先看区分度，低区分度的题目不能有效鉴别被试。难度P值一般在0.35到0.65之间为好，但就整个测验而言，难度为0.5的测题应占多数，同时也需要一些难度较大或者较小的题目。2023/1/15THY,CCNU57项目分析步骤(2)选项分析

第一题：正误答案配比较好。第二题：除C答案缺乏鉴别能力外，其余都不错。第三题：未答的人数比例过大，且答案B、C、D均属于负向的。第四题：A项选答的人数较少，D项也有负向性。2023/1/15THY,CCNU58项目分析步骤(3)找出原因，对各题进行修改。

不要轻易丢弃不符合要求的项目，因为：用内部一致性分析所求得的鉴别力不一定能代表试题的效度。鉴别力指数低的试题不一定表示该试题有缺点。课堂测验的项目分析资料的有效性是随时空而变化的，并非固定不变。有研究表明，编制新的项目需要的时间几乎比修订现存项目长5倍。2023/1/15THY,CCNU59补充：标准参照测验的项目分析在标准参照测验中，无须考虑项目的难度和区分度，只要项目的内容很重要就行。也可以通过比较教学或训练的前测和后测结果来进行项目分析，用来说明教学或训练的效果以及项目编制是否适当。2023/1/15THY,CCNU60补充：项目-团体的相互作用具有不同性质（性别、种族、职业等）的团体，在测验得分上也存在差异，即同样的项目可能有不同的难度。2023/1/15THY,CCNU61项目-团体的相互作用(续)如果测验要求对所有个体都相对“公平”，那么，就应该排除那些有利于或不利于不同性质的亚团体的项目；如果测验的目的就是为了考察不同亚团体的差异，那么，就应选择使团体差异尽可能大的题目。2023/1/15THY,CCNU62补充：有效性与可靠性的矛盾同质性