第九章测验质量分析

第九章测验质量分析

[本章提要]通过本章的学习，掌握题目难度和区分度的概念和计算方法，了解题目难度和区分度的之间的关系，理解题目难度、区分度与测验质量之间的关系。理解测验信度与效度的含义，掌握测验信度与效度的基本估计方法，了解影响测验信度与效度的因素。​

第一节题目难度的概念和计算方法

一、题目难度的概念和意义（一）题目难度的含义题目难度是指被试完成试题的难易程度。（二）题目难度与测验的关系题目难度影响测验的难度分布和平均难度，从而影响测验的信度、效度以及测验结果区分被试水平高低的能力。​二、难度的计算（一）二值记分法题目的难度计算当题目分数是二分变量(即答对为1，答错为0，如选择题)时：式中：P为题目难度值，R为答对或通过该题的人数，N为全体考生数。例题1：在一测验的某道选择题上，100名被试中选择正确答案的有37名。则该题难度为：​

（二）非二值记分法题目的难度计算

当题目分数是多分值时，难度是全体被试在该题上的平均数与该题满分的比例：式中：P题目难度值，为全体被试平均得分，Xmax是题目满分。​例题2：一组被试在某道题上得分分别为2，5，9，10，4，8，7，5，3，0。该题满分为10分。则该题难度为：​三、测验难度的选择一般常模参照测验题目难度分布近似正态。特定的测验题目难度的分布应该根据测量的任务而定。​第二节区分度的概念和计算方法一、区分度的含义区分度是指试题能区分被试水平能力的程度。二、区分度的计算（一）区分度的相关计算法它是求试题分数与总分的相关系数作为区分度的指标。​或​例如：根据下表数据求区分度。序号 XY Xp Xq 1 87 1 87

2 85 0

85 3 82 1 82

4 80 0 80 5 80 0 80 6 78 0 78 7 78 1 78 8 75 0 75 合计 645 3 247 398 平均

数 82.379.6 标准差3.67 ​解题步骤：..\区分度.xls​（二）区分度的分组计算法它是首先将全体被试按总分高低进行排队；然后，将得分较高的27%的被试作为“高分组”，将得分较低的27%的被试作为“低分组”；最后求两组在试题上得分率的差。即：D=PH-PL式中：D为区分度；PH为高分组的得分率；PL为低分组的得分率。​例如：某班40名学生，“高分组”做对第一题的有8人，“低分组”做对的有4人，那么，该题的区分度为：D=PH-PL=8/11-4/11≈0.36

​三、区分度的评价区分度的取值范围–1≤D≤1。当用分组计算法得到的题目区分度大于0.4时，区分度的分组计算法被认为是性能良好的试题。​

第三节测验的信度

一、信度的概念信度是指测验结果的可靠程度。二、信度的统计学原理rxx=S2T/S2X式中：rxx表示信度系数；S2T表示真分数方差；S2X表示实得分数方差。有关系式：X=T+E其中，X为实得分数；T为真分数。​三、信度系数的估计方法1．稳定性系数（再测信度）它是同一被试总体用同一试卷间隔一段时间后两次测验所得数据的一致性程度。通常用相关系数作为其估计值。​2．等值性系数（复本信度）它是同一被试总体用两份等值的试卷，在间隔很短的时间内先后两次测验所得数据的一致性程度。通常用相关系数作为其估计值。​3．内部一致性系数（1）分半信度系数

在测验没有复本且只能实施一次的情况下，可将测验项目分成对等的两半，根据学生在这两半测验中所得的分数计算相关系数rhh，然后用斯皮尔曼-布朗（Spearman-Brown）公式对其值加以校正，即得分半信度。式中：rtt为分半信度系数；rhh为两个“半测验”的相关系数。​例：用一个由100题构成的试卷测试10名学生，测试结果如下表，求测验的分半信度系数。学号奇数题总分偶数题总分138372373733836441395403963634738388393994039103536​解题步骤如下：

1、先求两分测验的相关系数rhh

。

..\分半信度.xls

学号奇数题总分偶数题总分138372373733836441395403963634738388393994039103536

0.84​

2、然后求分半信度系数rtt。

​（2）α系数若测验中各个题目得分相关较高时，不论题目的内容或形式有何差别，测验都为同质；相反，即使所有题目看起来都好像是测量同一特性，但题目得分之间的相关很低，测验仍然是异质的。测验越同质，同质性信度的值也越大，则说明试题的内部一致性程度越高。因而，同质性信度又称作内部一致性系数。计算同质性信度的方法可用克龙巴赫（Cronbach）所创的α系数公式：​式中，N为题目数；Si2为各被试在第i题得分的方差；St2为各被试测验总分的方差。​例:5名被试参加一个包含6道试题的测验，测验结果如下表，求该测验的信度系数。题号被试Si2ABCDE1711811113.042697891.3636106892.5648116836.965711811113.046711811113.04合计416343575420

70.24​解题步骤如下：

1、求各被试在第i题得分的方差Si2

。2、求各被试各自的总分。3、求方差Si2的和ΣSi2，以及各被试总分的方差St2

。..\α系数.xls4、求α系数​4．评分者信度系数对于无法完全客观记分的测验，评分者的主观因素对测验结果的影响是很大的，因此需要控制评分误差和研究评分者信度。评分者信度的估计可以分为两种情况：（1）2人同时评多份相同的试卷这种情况可以用2人评分的相关系数作为评分者信度的估计值。​例如:两位教师评三份试卷，求其评分者信度系数试卷教师X教师YDD2112-112211133300合计

2​​（2）多人同时评多份相同的试卷当由多个评分者同时评多份相同的试卷时，需用肯德尔和谐系数（Kendallcoefficientofconcordance）W作为评分者信度的估计值，其计算公式有两个。①无重复评定等级的W系数​式中：S为各题等级之和的离差平方和，即或Ri为各试卷评定等级之和；K为评分者的人数；N为试卷的份数。​②有重复评定等级的W系数式中：n是相同等级的个数。​例如：三位教师评四份试卷，所评等级如下表，问该测验的评分者信度如何？教师试卷1234A3142B2141C2232Ri74115​解题步骤：

（1）先计算ΣRi和ΣRi2ΣRi=7+4+11+5=27ΣRi2=72+42+112+52=211（2）计算S​（3）计算ΣT​（4）代入公式W​（5）查表，检验W的显著性因为，K=3，N=4时，临界值S0.05≈64.4，由于S＜S0.05，所以，W不显著性，即表明三位教师的评分者信度较低。（K在3——20之间，N在3——7之间时，查附表5求临界值S0.05或临界值S0.01；若N＞7，检验W的显著性用χ2=K（N-1）W，按df=N-1查χ2值表进行比较。）参考书目：1.王汉澜主编《教育测量学》2.宋岭梅主编《教育测量学》​四、影响信度的因素被试样本的影响。题目数量的影响。测验难度的影响。测验内容同质性的影响。评分客观性的影响。​

第四节测验的效度

一、效度的概念效度是测验能实际测量出其所要测量特性的程度。二、效度的统计学原理rxy=S2v/S2X式中，S2v潜在真分数方差；S2x实得分数方差。有关系式：X=T+E=V+I+E其中，V为潜在真分数；I为系统误差。​三、估计效度的方法1．内容效度(Contentvalidity)

内容效度指的是测验题目对有关内容或行为取样的适当性。（1）专家判断法采用专家判断法可以按下面的步骤进行：①定义好内容总体的范围；②确定考查内容或行为的细目；③列出双向细目表；④制订评定量表。​（2）统计分析法统计分析法又称克龙巴赫估计法。克龙巴赫曾提出估计内容效度可以从同一教学内容范围的总体中抽取两套独立的测验试题，这两套测验试题对同一组考生分别进行两次测验，如测验得分求得的相关系数高，就可推论内容效度高；若相关系数低，这两套试题中至少有一套测验试题缺乏内容效度。

​（3）再测法这种方法是，先对一组考生进行先期测验，这一组学生必须是对测验的内容知之甚少，然后对这一组学生进行有关内容的教学与训练活动，经过一段学习时间后，再进行后期测验，这样可以看出测验是否测量出深堂上所进行的教学与训练的效果。如果后期测验成绩好，就说明该测验对课程内容范围是有效的。

​2.效标关联效度(Criterionrelatedvalidity)

效标关联效度指的是测验分数与效标分数之间的一致性程度。效标（criterion)。效标实际上是指本测验所想测量或要预测的特性和功能。

效标关联效度分为两种：效标与本测验分数同时获得的，称为同时效度或并存效度(concurrentvalidity)；效标在本测验之后相当时间获得的，称为预测效度(predictivevalidity)。​预测效度和同时效度有两点区别：(1)从进行本测验到获得效标的间隔时间不同。同时效度的效标测验几乎与本测验同时举行；预测效度的效标则在本测验之后相当长的时间(几个月，到几年）才获得。(2)目的和作用不同。同时效度主要用来查明自编测验的效度，以便有效地研制和使用新测验；预测效度主要用来评价本测验的预测能力。​估计效标关联效度的主要方法有：

（1）相关法它是以相关系数作为效度系数（validitycoefficient）的估计值。​（2）命中率法当测验是用作决定取舍标准的根据时,其有效性的指标可以看作正确决定的比例，该比例越高，说明测验越有效。①取舍的正确性一般各级学校的招生考试或各企事业单位选聘人员的录取聘用，都可以采用这种方法。为了得到取舍正确性指标，必须将原测验分数与效标资料都采用二值划分，这是最简单的一种划分方法。

​例如，原测验分数可以分成录取和不录取两类，效标资料可分为成功与失败两类，这样全部被试可分为四个组，如下表所示：

效标成绩失败成功测验成绩录取失误(A)命中(B)不录取命中(C)失误(D)​上表中，在测验分数中录取的正确决定为命中，不正确决定为失误，取舍正确性的指标，可用以下公式求得：式中：PCT为取舍正确性比率，也称总命中率。​例如：

效标成绩失败成功测验成绩录取75(A)15(B)60不录取175(C)152(D)23​将表中各数据代入公式：

取舍正确性比率为0.85，说明测验有比较高的预测效度。​

②正命中率(录取正确率)

一般情况，录取单位所关心的是已被录取的学生或工作人员，希望他们录取后努力学习或工作，而对那些未录取者并不关心，因而需要用正命中率指标来表示其有效性。其公式为：式中Ppc为正命中率。

​例如：将上表中各数据代入公式：

录取学生的正命中率为0.8，说明入学测验的预测度性较高。​3．结构效度结构效度指的是测验分数能够说明心理的某种结构或特征的程度。（1）逻辑推理法它是通过对心理某种结构或特性与测验的吻合性进行逻辑分析的方法。例如比奈(A．Binet)首先应用逻辑分析方法研究智力行为的心理结构，认为智力不单纯是智力行为的很多不同方面的总和，而是一种连锁性的过程，其中包括判断、解决问题和推理作用。如果根据这种理论编制的智力测验，确实能测量出应试者的判断、理解和推理能力，就可以认为所编制的测验具有结构效度。​例如：以智力测验来说。先要建立关于智力的一套理论，如智力的定义、结构、与遗传环境的关系，与年龄的关系，与性别的关系……等等。根据这些理论，提出有关智力测验的若干假设，如：(1)测验分数在16岁以前随年龄而增加；(2)一种智力测验的分数与其他智力测验的分数有正相关，(3)测验分数能区别智力水平，(4)测验分数受教学的直接影响不大等。然后收集材料(这里主要是通过智力测验获得)来验证假设。如果假设得到支持，则可以认为所编制的智力测验的结果与智力的理论结构符合，即有结构效度。如果假设没有得到测验结果的支持，则测验结果缺乏结构效度，或者是智力结构的理论有缺陷。​（2）统计分析法把自己所编制的测验的施测结果，与另一性质相同而被公认具有较高结构效度的测验结果比较。例如把新编制的智力测验的结果与斯坦福一一比奈智力量表的测验结果相比较，若两种测验结果的相关高，可以认为新编测验也具有较高的结构效度。​（3）考察实验因素法因素分析的主要作用在于从相关的许多因素中，找出潜藏在其中的对某种现象起决定作用的基本因素。这种方法是利用实验前后的结果变化，来说明测验的结构效度。​四、影响效度的因素测验难度的影响。题目数量的影响。测验实施的影响。评分客观性的影响。要求测验标准化的其他因素的影响。被试样本的影响。所选效标的影响。​五、效度与信度的关系1.高信度不一定又高效度S2XS2T2.高效度一定有高信度S2XS2TS2vS2IS2ES2vS2IS2E​难度、区分度、信度、效度估计方法一览表公式名称公式形式难度二分法计分公式p=r/n非二分法计分公式p=/Xmax区分度相关计算法r“高”、“低”分组法D=PH-PL信度分半信度系数α系数肯德尔和谐系数效度相关法r命中率法​练习题一、在一测验的某道选择题上，50名被试中选择正确答案的有30名。该题难度为多少？

二、一组被试在某道题上得分分别为2，5，9，10，4，8，7，5。该题满分为12分。则该题难度为多少？

​三、根据下表数据求区分度。

学号总分第二题得分17512650380046805791687078818901992110960​四、某班60名学生，“高分组”做对第一题的有16人，“低分组”做对的有4人，那么，该题的区分度为多少？​五、根据下表数据求分半信度。被试奇数题总分偶数题总分1353523435333364323553233630307292882828​六、两位教师评六份试卷，求其评分者信度系数。试卷教师A教师B112221333445554666​七、通过某项测验从80名候选人中选出30名聘为学生助理，一年后进行考核表明，其中有24人胜任工作，6人不胜任。问原测验的预测效度如何？​生活中的辛苦阻挠不了我对生活的热爱。10月-24