第九章测验质量

第九章测验质量分析

[本章提要]通过本章的学习，掌握题目难度和区分度的概念和计算方法，了解题目难度和区分度的之间的关系，理解题目难度、区分度与测验质量之间的关系。理解测验信度与效度的含义，掌握测验信度与效度的基本估计方法，了解影响测验信度与效度的因素。

第一节题目难度的概念和计算方法

一、题目难度的概念和意义（一）题目难度的含义题目难度是指被试完成试题的难易程度。（二）题目难度与测验的关系题目难度影响测验的难度分布和平均难度，从而影响测验的信度、效度以及测验结果区分被试水平高低的能力。二、难度的计算（一）二值记分法题目的难度计算当题目分数是二分变量(即答对为1，答错为0，如选择题)时：式中：P为题目难度值，R为答对或通过该题的人数，N为全体考生数。例题1：在一测验的某道选择题上，100名被试中选择正确答案的有37名。则该题难度为：

（二）非二值记分法题目的难度计算

当题目分数是多分值时，难度是全体被试在该题上的平均数与该题满分的比例：式中：P题目难度值，为全体被试平均得分，Xmax是题目满分。例题2：一组被试在某道题上得分分别为2，5，9，10，4，8，7，5，3，0。该题满分为10分。则该题难度为：三、测验难度的选择一般常模参照测验题目难度分布近似正态。特定的测验题目难度的分布应该根据测量的任务而定。第二节区分度的概念和计算方法一、区分度的含义区分度是指试题能区分被试水平能力的程度。二、区分度的计算（一）区分度的相关计算法它是求试题分数与总分的相关系数作为区分度的指标。或例如：根据下表数据求区分度。序号 XY Xp Xq 1 87 1 87

2 85 0

85 3 82 1 82

4 80 0 80 5 80 0 80 6 78 0 78 7 78 1 78 8 75 0 75 合计 645 3 247 398 平均

数 82.379.6 标准差3.67 解题步骤：..\区分度.xls（二）区分度的的分组计计算法它是首先先将全体体被试按按总分高高低进行行排队；；然后，，将得分分较高的的27%的被试试作为““高分组组”，将将得分较较低的27%的的被试作作为“低低分组””；最后后求两组组在试题题上得分分率的差差。即：：D=PH-PL式中：D为区分度；PH为高分组的得得分率；PL为低分组的得得分率。例如：某班40名学生，，“高分组组”做对第一一题的有8人人，“低分分组”做对的的有4人，那那么，该题的的区分度为：：D=PH-PL=8/11-4/11≈≈0.36三、区分度的的评价区分度的取值值范围–1≤D≤1。。当用分组计计算法得到的的题目区分度度大于0.4时，区分度度的分组计算算法被认为是是性能良好的的试题。第三节测验验的信度一、信度的概念信度是指测验验结果的可靠靠程度。二、信度的统计学学原理rxx=S2T/S2X式中：rxx表示信度系数数；S2T表示真分数方方差；S2X表示实得分数数方差。有关系式：X=T+E其中，X为实实得分数；T为真分数。三、信度系数的估估计方法1．稳定性系数（（再测信度）它是同一被试试总体用同一一试卷间隔一一段时间后两两次测验所得得数据的一致致性程度。通通常用相关系系数作为其估估计值。2．等值性系数（（复本信度））它是同一被试试总体用两份份等值的试卷卷，在间隔很很短的时间内内先后两次测测验所得数据据的一致性程程度。通常用用相关系数作作为其估计值值。3．内部一致致性系数（1）分半信信度系数在测验没有复复本且只能实实施一次的情情况下，可将将测验项目分分成对等的两两半，根据学学生在这两半半测验中所得得的分数计算算相关系数rhh，然后用斯皮皮尔曼-布朗朗（Spearman-Brown）公式对其其值加以校正正，即得分半半信度。式中：rtt为分半信度系系数；rhh为两个“半测测验”的相关关系数。例：用一个由由100题构构成的试卷测测试10名学学生，测试结结果如下表，，求测验的分分半信度系数数。学号奇数题总分偶数题总分138372373733836441395403963634738388393994039103536解题步骤如下下：

1、先先求两分测验验的相关系数数rhh。..\分半信信度.xls学号奇数题总分偶数题总分138372373733836441395403963634738388393994039103536

0.842、然后求分分半信度系数数rtt。（2）α系数数若测验中各个个题目得分相相关较高时，，不论题目的的内容或形式式有何差别，，测验都为同同质；相反，，即使所有题题目看起来都都好像是测量量同一特性，，但题目得分分之间的相关关很低，测验验仍然是异质质的。测验越越同质，同质质性信度的值值也越大，则则说明试题的的内部一致性性程度越高。。因而，同质质性信度又称称作内部一致致性系数。计算同质性性信度的方方法可用克克龙巴赫（（Cronbach）所创的的α系数公式：：式中，N为为题目数；；Si2为各被试在在第i题得得分的方差差；St2为各被试测测验总分的的方差。例:5名被被试参加一一个包含6道试题的的测验，测测验结果如如下表，求求该测验的的信度系数数。题号被试Si2ABCDE1711811113.042697891.3636106892.5648116836.965711811113.046711811113.04合计416343575420

70.24解题步骤如如下：1、求各被试在第第i题得分分的方差Si2。2、求各被试各自自的总分。。3、求方差Si2的和ΣSi2，以及各被被试总分的的方差St2。..\α系系数.xls4、求α系系数4．评分者信度度系数对于无法完完全客观记记分的测验验，评分者者的主观因因素对测验验结果的影影响是很大大的，因此此需要控制制评分误差差和研究评分者信度度。评分者信度度的估计可可以分为两两种情况：：（1）2人人同时评多多份相同的的试卷这种情况可可以用2人人评分的相相关系数作作为评分者者信度的估估计值。例如:两位教师评评三份试卷卷，求其评评分者信度度系数试卷教师X教师YDD2112-112211133300合计

2（2）多人人同时评多多份相同的的试卷当由多个评评分者同时时评多份相相同的试卷卷时，需用用肯德尔和和谐系数（（Kendallcoefficientofconcordance）W作为评分分者信度的的估计值，，其计算公公式有两个个。①无重复评评定等级的的W系数式中：S为为各题等级级之和的离离差平方和和，即或Ri为各试卷评评定等级之之和；K为评分者者的人数；；N为试卷的的份数。②有重复评评定等级的的W系数式中：n是相同等等级的个数数。例如：三位位教师评四四份试卷，，所评等级级如下表，，问该测验验的评分者者信度如何何？教师试卷1234A3142B2141C2232Ri74115解题步骤：：

（1））先计算ΣΣRi和ΣRi2ΣRi=7+4+11+5=27ΣRi2=72+42+112+52=211（2）计算算S（3）计算算ΣT（4）代入入公式W（5）查表表，检验W的显著性性因为，K=3，N=4时，临临界值S0.05≈64.4，由于S＜S0.05，所以，W不显著著性，即表表明三位教教师的评分分者信度较较低。（K在3———20之之间，N在在3——7之间时，，查附表5求临界值值S0.05或临界值S0.01；；若N＞7，，检验W的的显著性用用χ2=K（N-1）W，，按df=N-1查查χ2值表进行比比较。）参考书目：：1.王汉汉澜主编《《教育测量量学》2.宋岭梅梅主编《教教育测量学学》四、影响响信度的因因素被试样本的的影响。题目数量的的影响。测验难度的的影响。测验内容同同质性的影影响。评分客观性性的影响。。第四节测测验的效度度一、效度的概念念效度是测验验能实际测测量出其所所要测量特特性的程度度。二、效度的统计计学原理rxy=S2v/S2X式中，S2v潜在真分数数方差；S2x实得分数方方差。有关系式：：X=T+E=V+I+E其中，V为为潜在真分数数；I为系统误误差。三、估计效效度的方法法1．内容效效度(Contentvalidity)内容效度指指的是测验验题目对有有关内容或或行为取样样的适当性性。（1）专家家判断法采用专家判判断法可以以按下面的的步骤进行行：①定义好内内容总体的的范围；②确定考查查内容或行行为的细目目；③列出双向向细目表；；④制订评定定量表。（2）统计计分析法统计分析法法又称克龙巴赫估估计法。克克龙巴赫曾曾提出估计计内容效度度可以从同同一教学内内容范围的的总体中抽抽取两套独独立的测验验试题，这这两套测验验试题对同同一组考生生分别进行行两次测验验，如测验验得分求得得的相关系系数高，就就可推论内内容效度高高；若相关关系数低，，这两套试试题中至少少有一套测测验试题缺缺乏内容效效度。（3）再测测法这种方法是是，先对一一组考生进进行先期测测验，这一一组学生必必须是对测测验的内容容知之甚少少，然后对对这一组学学生进行有有关内容的的教学与训训练活动，，经过一段段学习时间间后，再进进行后期测测验，这样样可以看出出测验是否否测量出深深堂上所进进行的教学学与训练的的效果。如如果后期测测验成绩好好，就说明明该测验对对课程内容容范围是有有效的。2.效标关关联效度(Criterionrelatedvalidity)效标关联效效度指的是是测验分数数与效标分分数之间的的一致性程程度。效标（criterion)。效标实实际上是指指本测验所所想测量或或要预测的的特性和功功能。效标关联效效度分为两两种：效标标与本测验验分数同时时获得的，，称为同时时效度或并并存效度(concurrentvalidity)；效标在在本测验之之后相当时时间获得的的，称为预预测效度(predictivevalidity)。预测效度和和同时效度度有两点区区别：(1)从进进行本测验验到获得效效标的间隔隔时间不同同。同时效效度的效标标测验几乎乎与本测验验同时举行行；预测效效度的效标标则在本测测验之后相相当长的时时间(几个个月，到几几年）才获获得。(2)目的的和作用不不同。同时时效度主要要用来查明明自编测验验的效度，，以便有效效地研制和和使用新测测验；预测测效度主要要用来评价价本测验的的预测能力力。估计效标关联效度的主要要方法有：：（1）相关关法它是以相关关系数作为为效度系数数（validitycoefficient）的的估计值。。（2）命中中率法当测验是用用作决定取取舍标准的的根据时,其有效性性的指标可可以看作正正确决定的的比例，该该比例越高高，说明测测验越有效效。①取舍的正正确性一般各级学学校的招生生考试或各各企事业单单位选聘人人员的录取取聘用，都都可以采用用这种方法法。为了得得到取舍正正确性指标标，必须将将原测验分分数与效标标资料都采采用二值划划分，这是是最简单的的一种划分分方法。例如，原原测验分分数可以以分成录录取和不不录取两两类，效效标资料料可分为为成功与与失败两两类，这这样全部部被试可可分为四四个组，，如下表表所示：效标成绩失败成功测验成绩录取失误(A)命中(B)不录取命中(C)失误(D)上表中，，在测验验分数中中录取的的正确决决定为命命中，不不正确决决定为失失误，取取舍正确确性的指指标，可可用以下下公式求求得：式中：PCT为取舍正正确性比比率，也也称总命命中率。。例如：

效标成绩失败成功测验成绩录取75(A)15(B)60不录取175(C)152(D)23将表中各各数据代代入公式式：取舍正确确性比率率为0.85，，说明测测验有比比较高的的预测效效度。②正命中中率(录录取正确确率)一般情况况，录取取单位所所关心的的是已被被录取的的学生或或工作人人员，希希望他们们录取后后努力学学习或工工作，而而对那些些未录取取者并不不关心，，因而需需要用正正命中率率指标来来表示其其有效性性。其公式为为：式中Ppc为正命中中率。例如：将将上表中中各数据据代入公公式：录取学生生的正命命中率为为0.8，说明明入学测测验的预预测度性性较高。。3．结构效度度结构效度度指的是是测验分分数能够够说明心心理的某某种结构构或特征征的程度度。（1）逻逻辑推理理法它是通过过对心理理某种结结构或特特性与测测验的吻吻合性进进行逻辑辑分析的的方法。。例如比比奈(A．Binet)首先先应用逻逻辑分析析方法研研究智力力行为的的心理结结构，认认为智力力不单纯纯是智力力行为的的很多不不同方面面的总和和，而是是一种连连锁性的的过程，，其中包包括判断断、解决决问题和和推理作作用。如如果根据据这种理理论编制制的智力力测验，，确实能能测量出出应试者者的判断断、理解解和推理理能力，，就可以以认为所所编制的的测验具具有结构构效度。。例如：以智力测测验来说说。先要要建立关关于智力力的一套套理论，，如智力力的定义义、结构构、与遗遗传环境境的关系系，与年年龄的关关系，与与性别的的关系………等等等。根据据这些理理论，提提出有关关智力测测验的若若干假设设，如：：(1)测验分分数在16岁以以前随年年龄而增增加；(2)一一种智力力测验的的分数与与其他智智力测验验的分数数有正相相关，(3)测测验分数数能区别别智力水水平，(4)测测验分数数受教学学的直接接影响不不大等。。然后收收集材料料(这里里主要是是通过智智力测验验获得)来验证证假设。。如果假假设得到到支持，，则可以以认为所所编制的的智力测测验的结结果与智智力的理理论结构构符合，，即有结结构效度度。如果果假设没没有得到到测验结结果的支支持，则则测验结结果缺乏乏结构效效度，或或者是智智力结构构的理论论有缺陷陷。（2）统统计分析析法把自己所所编制的的测验的的施测结结果，与与另一性性质相同同而被公公认具有有较高结结构效度度的测验验结果比比较。例例如把新新编制的的智力测测验的结结果与斯斯坦福一一一比奈奈智力量量表的测验结结果相比比较，若若两种测测验结果果的相关关高，可可以认为为新编测测验也具具有较高高的结构构效度。。（3）考考察实验验因素法法因素分析析的主要要作用在在于从相相关的许许多因素素中，找找出潜藏藏在其中中的对某某种现象象起决定定作用的的基本因因素。这这种方法法是利用用实验前前后的结结果变化化，来说说明测验验的结构构效度。。四、影影响效度度的因素素测验难度度的影响响。题目数量量的影响响。测验实施施的影响响。评分客观观性的影影响。要求测验验标准化化的其他他因素的的影响。。被试样本本的影响响。所选效标标的影响响。五、效度度与信度度的关系系1.高信信度不一一定又高高效度S2XS2T2.高效效度一定定有高信信度S2XS2TS2vS2IS2ES2vS2IS2E难度、区区分度、、信度、、效度估估计方法法一览表表公式名称公式形式难度二分法计分公式