第五章 测验的项目分析

第五章测验的项目分析

(Itemanalysis)

第一节项目难度分析第二节项目的区分度分析第三节猜测问题和猜测率第四节多重选择题的项目分析本章提要：．测验项目难度的意义，难度指标的计算及项目难度对测验的影响。．测验项目区分度的意义，区分度的求法、区分度对测验质量的影响。．测验猜测问题的纷争。．多重选择题的项目分析方法。项目分析就是根据试测结果对组成测验的各个题目（项目）进行分析，从而评价题目好坏、对题目进行筛选。包括质的分析和量的分析，如下表表

研究生入学考试英语近3年数据对比分析项目1999年2000年2001年平均分43.1056.6145.31标准差12.0013.5013.10难度0.430.570.45第一节测验的难度一、难度的意义二、难度的计算三、难度水平的确定四、难度的等距转换五、难度对测验的影响一、难度的意义项目难度（ItemDifficulty）指测验项目的难易程度。定量刻画被试作答一个题目所遇到的困难程度的量数，就叫难度系数，也叫难度值，常用P表示。能力测验：项目的难易水平非能力测验：“通俗性”或者“流行性”水平（popularitylevel）。难度分析,是对项目的难度进行估计以确定适宜的难度。

二、难度的计算测验的计分方法不同，项目难度的计算方法也不同。

（一）二分法记分项目的难度1．通过率以答对或通过该项目的人数的百分比来表示：P=R/N（5．1）式中，P代表项目难度，N为全体被试数，R为答对通过该项目的人数。

例1，在200个学生中，答对某项目的人数为120人，则该项目的难度是多少？例2，100人参加某一测验，其中第2题和第6题通过的人数分别为20人和30人，求第2题和第6题的难度。

2．极端分组法

具体步骤如下：第一步：先依测验总分的高低，按由高到低的顺序，依次排列试卷；第二步：从得分最高的一份试卷开始依次向下选出全部试卷的27％，作为高分组第三步：从得分最低的一份试卷开始依次向上选出全部试卷的27％，作为低分组第四步：按下列公式计算难度P=（PH+PL）/2或P=1/2（RH/NH+RL/NL）式中PH,PL分别表示高分组和低分组的通过率；RH,RL表示高分组和低分组通过该项目的人数；NH,NL分别代表高分组和低分组的人数。

例如，在370名被试中，选为高分组和低分组的被试各有100人，其中高分组有70人答对第1题，低分组有40人答对第1题，则第1题的难度是多少？（二）非二分法记分项目的难度当项目以多值计分时，难度等于平均分与满分之比。例如：设某一问答题满分是20分，全体考生在该题上所得的平均分为10分，则该题的难度为：P==10/20=0.50三、测验难度水平的确定

了解被试在某方面知识技能的掌握情况，可以不必过多地考虑难度。选拔录用人员，项目的难度应控制在接近录取率左右。四、难度的等距变换通过率是以何种量表水平表示难度？1、使用项目难度等距量表的理由

第一，测题的难度一般用答对某题的人数比率或百分比表示。百分量表是等级量表，不是等距量表。因此不能比较题目之间的具体差异。第二，难度量表是反序而行的，P值越大，项目越容易，转换成等距量表后更清晰明了。2、转换为等距量表的方法查标准正态分布表，将以等级量表表示的P值转换成具有相等单位σ的等距量表Z值。

P值作为正态曲线下面积时，要从右向左而行。转换好的Z值在平均数以下是负数。为了避免负号出现的情况，使用Δ

。先将某题的通过率视作正态曲线下的面积，然后查正态分布表找出正态曲线右侧的面积所对应的Z分数。这一Z分数就可视为该题的标准难度。16%84％-3320-2-1134%例，某题的通过率为84％，求该题的标准难度。练习：请同学们计算一下上述三个项目的标准难度转换好的Z值在平均数以下是负数。为了避免负号出现的情况，使用Δ

。△＝13＋4·Z（6．4）式中，△表示题目难度，Z表示由P值转换得来的标准分数。

Δ=13+4ZΔ：常态化等距难度指标，13为平均数，4为标准差，Z为以σ为单位的Z值。如，上面所举的例中，其Δ难度值为：题目A：通过率P=0.84Z=-1Δ=13+4×(-1)=9

题目B：通过率P=0.16Z=1Δ=13+4×1=17

题目C：通过率P=0.50Z=0Δ=13+4×0=13

如果一个题目几乎所有被试都通过（99.8%）,

则其Z=-3,Δ=13+4×(-3)=1

如果一个题目答对的人很少（0.13%）,

则其Z=3,Δ=13+4×3=25对一般教师来说，只要计算出P值即可。但如果要作更精确的统计分析，则就需要计算出具有等距量表性质的△值。

五、难度对测验的影响

难度分析的主要目的是筛选项目，项目的难度水平取决于：测验的目的测验的作用项目形式测验目的教育工作中，若测验的目的是为了了解被试在某方面知识技能掌握的情况，可以不必过多的考虑难度。大多数测验希望能较准确地测量个体之间的差别，选择题目时，最好使试题的平均难度接近0.50，而各题难度在0.50±0.20之间。一般能力测验和成就测验的平均难度在0.50左右比较合适。筛选性测验（选拔性，竞争性测验）则要采用难度接近录取率的项目。测验的作用对于选择题而言，P值一般应大于概率水平对于是非题而言，其难度值应该为0.75最为合适对于四择一题目，其难度值约为0.63时最为合适项目的形式五、难度对测验的影响整个测验的难度取决于组成这个测验的各个试题的难度。整个测验难度水平的确定，需要根据测验分数的分布作出。（一）测验难度影响测验分数的分布形态

难度大，正偏态

难度低，负偏态（二）测验难度影响测验分数的离散程度测验过难或过易，分数全距缩小，信度降低。P=0.50时最佳第二节测验的区分度一、区分度的定义二、区分度的估计方法三、区分度和难度的关系四、区分度的相对性一、区分度的意义项目区分度（itemdiscrimination）是指测验项目对于所测量的心理属性的鉴别能力和区分程度，也称鉴别力。项目的区分度是测验是否有效的“指示器”。二、区分度的估计方法

（一）鉴别指数法（二）相关法（三）项目特征曲线（一）项目鉴别指数法这种方法较适合于二分法记分的测验项目。1．鉴别指数的计算当效标成绩是连续变量时，可以从分数分布的两端各选择27%的被试，分别计算出每道题目上的各自的通过率，二者之差就是鉴别度指数（D），即：D=PH一PL式中PH与PL分别为高分组与低分组在该项目上的通过率。例如：高分组在某一项目的通过率为0.75，低分组的通过率为0.35,则该项目的鉴别指数是多少？例，某高中物理测验，被试共18人，高分组和低分组各取总人数的27％，则两组各为5人，第五题高分组5人全部答对，低分组只有1人答对，计算该题的鉴别指数。

D值是鉴别项目测量有效性的指标，D值越高，项目越有效。1965年，美国测验专家R.L.Ebel根据长期经验提出用鉴别指数评价题目性能的标准如下表所示。

2．极端组的划分27%规则一般情况下，取上下25%~33%均可。样本少时，可以取50%注意：由于计算机的方便使用，可以上下50%作为划分高低组的标准，或者多分几组，对区分度和难度作详细分析。因为只取上下两端，只利用了一部分资料，浪费了很多信息，有可能得出错误结论。（二）相关法1．点二列相关(Pointbiserialcorrelation)适用资料：两列变量中，有一列为等距或等比的数据而且其总体分布为正态，另一列变量只是名义上的变量，按事物的性质划分为两类；有时一个变量是双峰分布也可以划分为二分名义变量。计算点二列相关的公式是：（公式3－6）rpb：点二列相关系数；

:答对该题的被试在总分上（或效标分数上）的平均得分；

:答错该题的被试在总分上（或效标分数上）的平均得分；St：全体被试的总分（或效标分数）的标准差；P：为答对该题的人数百分比；q：答错该题的人数百分比，q=1-p。点二列相关系数的显著性检验：对与进行差异的t检验，如果差异显著，表明相关系数显著；如果差异不显著，表明相关系数不显著。如果样本容量较大（n>50），也可以用下面的近似方法：时，认为在.05水平上显著；时，认为在.01水平上显著。例：下表有20个学生语文测验总分以及在作文题和一个选择题上的得分情况，假设作文37分（包括37分）算通过，试计算作文题的区分度。

解：2．二列相关(biserialcorrelation)两个变量都是正态连续变量，其中一个变量被人为地分成两类。测验总分或效标分数、某个测验项目的分数都是连续变量，其中一个变量被人为地分成两类，可以是测验总分或效标分数被人为地分成两类，也可以是某个项目的分数被人为地分成两类。点二列相关和二列相关的区分是，二分的变量总体是否为正态，正态则用二列相关，非正态则用点二列相关。计算二列相关的公式是：（公式3－7）

rb：二列相关系数；

:答对该题的被试在总分上（或效标分数上）的平均得分；

:答错该题的被试在总分上（或效标分数上）的平均得分；St全体被试的总分（或效标分数的标准差）；p为答对该题的人数百分比；q答错该题的人数百分比，q=1-p；y为正态分布下答对百分比所在位置的曲线高度。

二列相关的显著性检验：用Z检验。

（公式3－8）

例如：根据上例的资料，计算选择题的区分度。解：3．φ相关

φ相关的统计方法适用于两个变量是二点分配的资料，即两个变量都是二分名义变量。在用φ系数作为区分度指标时，要求项目反应与效标变量都是二分状态。一般是根据效标成绩或测验总分的高分组和低分组，通过和未通过某一项目的人数列成的四格表来计算。计算公式为：rφ=(ad-bc)/式中rφ为φ的相关系数，a,b,c,d分别为四格表中四项所包含的人次数。例用表6.2数据为资料，测验总分以60分以上为升级，60分以下者为留级，就可以归类为下列的2×2表。假设以升学情况作为效标，此题对于学生的区分度为多少？4．积差相关

对于论文式测验题目，因得分具有连续性，在被试团体较大时，可以认为项目分数服从正态分布。可将项目得分与效标分数求积差相关系数以得到项目的区分度。（三）项目特征曲线（itemcharacteristiccurve,ICC）项目特征曲线描述了效标分数不同的被试在该项目上的通过率。曲线坡度越陡，鉴别力越好，预测的误差越小。率概的目项答回确正1.000.000.50低中高能力鉴别力较好低中