第四章 测验的信度与效度.ppt

1、第四章 测验的信度与效度,任滨海,2,提纲,信度概述 信度的类型 影响信度的因素 效度概述 效度的类型 影响效度的因素,3,第一节 信 度,一、信度定义 1、通俗的定义 信度是指同一被试者在不同时间内用同一测验重复测量，所得结果的一致程度。即测量的可靠性或一致性，多次测量结果保持一致。,4,2、测量学定义： 信度为一组测量分数的真分数方差和总方差（实得分数的方差）的比率。 信度乃是一个被试群体的真分数与实得分数的相关系数的平方。 信度乃是一个测验X与它的任意一个平行测验Y的相关系数。 信度只受随机误差影响，系统误差不影响信度,5,二、信度的三种指标 信度以信度系数为指标，常用相关系数表示，表示

2、实得分数的变异数中有多少比例是由真分数的变异决定的，例如 rxx=0.9意指实得分数的变异90来自真分数。 1、信度指数 信度指数的平方就是信度系数 2、信度系数 真分数与实得分数的一致程度 3、测量标准误 测验分数的变异量，信度越高，标准误越小；信度越低，标准误越大。,6,信度指数(rxT)与信度系数(rXX),实得分数 x2,真实分数 T2,rxx 信度系数(百分比),rOT2信度指数 (实得分数与真实分数的相关）,rxx = rxT2,百分比 = r2,7,信度定理： 定理 1：如果满足独立性条件(即误差分数与真分数无关)时，真分数方差与观察分数方差之 比(信度系数)等于真分数与观察分数

3、之间的相关系数的平方。 定理 2：如果满足平行测验条件 时，真分数方差与观察分数方差之比(信度系数)等于两个平行测验的观察分数之 间的相关系数 。,补充：信度系数、信度指数、测定系数的讨论 Baidu 测定系数 信度系数 搜索。,8,三、信度的评估方式 （一）重测信度 （二）复本信度 （三）内在一致性信度 （四）评分者信度,9,（一）重测信度 1、定义：用同一个测验对同一组被试在不同时间施测两次所得结果的一致性程度，其大小等于同一组被试在两次测验上所得分数的皮尔逊积差相关系数。又称稳定性信度、再测信度、施测再施测信度、跨时间一致性。,10,施测 时间间隔 再施测 相关系数,图1 重测信度图式,

4、10名学生幸福感调查的两次施测分数,重测信度的计算举例,12,2、注意事项： 所测量的心理特性必须是稳定的。 遗忘和练习的效果基本上是相互抵消的。 在两次施测的间隔时期内，被试在所要测验的心理特质方面没有获得的更多的学习和训练。 易受练习和记忆的影响，两次测试的时间间隔要适当，一般是24周较宜，间隔时间最好不超过6个月。,13,（二）复本信度 1、定义：又称等值性系数，是以两个等值但题目不同的测验（复本）来测量同一群体，然后求得被试者在两个测验上得分的相关系数。 2、方法：为排除施测顺序的影响，在实施时，可将被试先分为两组，一组人先作A型测验，再作B型测验；另一组人则反之。,14,施测型 最短

5、时距 施测型 相关系数,图2 复本信度图式,10名学生创造力的复本测验结果,复本信度的计算举例,16,3、注意事项 要构造真正的平行测验 复本测验必须在题目的内容、数量、形式、难度、区分度、指导语、时限以及所用的例题、公式、测验其它方面都相同或相似。 被试有条件接受两个测验。,17,（三）内部一致性信度 1、定义： 反映的是题目之间的关系，表示测验能够测量相同内容或特质的程度。 2、方法： (1)分半信度: 通常是先把一份测验按题目的奇偶顺序或其它方法分成两个尽可能平行的半份测验，然后计算两半之间的相关，即得到分半信度系数。,18,两半变异数相等： 积差相关 斯皮尔曼布朗公式校正,19,变异数

6、不相等： 弗朗那根（Flanagan）公式： 卢伦（Rulon）公式：,20,(2)同质性信度: 测验内部所有题目间的一致性。用每个题目和其它题目平均数的相关。当各测题得分有较高的正相关时，即为同质；相反，测题间相关很低或为负相关则为异质。 0、1计分项目（库德(Kuder) -理查逊(Richardson)方法） 非0、1计分项目（系数或克伦巴赫(Cronbach)公式 ）,21,注意事项 在一个测量多种特质的问卷中，不同的因子的同质性信度应该分开计算。 克伦巴赫系数相当于计算了所有项目间的一致性程度，避免了分半信度由于分半方式不同所造成的分半系数不一致的问题。,22,（四）评分者信度 1、

7、定义：用于测量不同评分者之间所产生的误差。是由多个评分者给一组测验结果评分，所得各个分数之间的一致性。 对于客观性试题，评分所引起的误差或忽略不计 对于主观性题目来说，不同评分人员对相同被试的评分存在差异。如心理测量中的投射测验，学业测验中的高考作文，职业选拔中的面试等。 一般要求在成对的受过训练的评分者之间平均一致性达0.90以上，才认为评分是客观的。,23,2、计算 当评分者为2人时，可以积差相关或等级相关 当评分者多于2人时，可以使用肯德尔和谐系数,24,如有A、B、C三位专家给6位应聘者的面试评分，结果如下，试求评分者信度。,25,=14+7+13+18+8+3=63 =142+72+

8、132+182+82+32=811,由题意知 K=3, N=6, 将上述值代入公式有: W= =0.95 如在评定中有相同的等级时，用下式校正。其中n为相同等级的个数,26,四、信度对测验分数的意义 1、解释真实分数与实得分数的相关 信度系数可以解释为测验的总变异中，真分数造成的变异占百分之几。如，当rxx=0.90时，我们可以说实得分数中有90%的变异是真分数造成的，仅10%来自测验的误差。rxx=1.00，则表示完全没有测量误差，所有的变异均来自真实分数；同样，信度系数也告诉测量的误差比例是多少。,27,2、确定信度可以接受的水平 一个测验究竟信度多高才合适，才让人满意呢？当然，最理想的情

9、况是rxx=1.00，但实际上是办不到的。根据多年的研究结果，一般的能力测验和成就测验的信度系数都在0.90以上，有的可以达0.95；而人格测验、兴趣、态度、价值观等测验的信度一般在0.800.85或更高些。一般原则是：当rxx0.70时，测验不能用于对个人做出评价或预测，而且不能作团体比较；当0.70rxx0.85时，可用于团体比较；当rxx0.85时，才能用来鉴别或预测个人成绩或作为。,28,3、解释个人分数的意义（区间估计） 从信度可以解释个人分数的意义，这就是测量标准误的应用。它有两个作用其一是估计真实分数的范围；其二是了解实得分数再测时可能的变化情形。,29,由于误差的存在，一个人通

10、过测量得到的分数很难等于真分数。理论上，我们可以对一个人施测无数次，然后求得所得分数的平均数和标准差。在这个假设的分布里，平均数就是这个人的真分数，标准差则为误差大小的指标。,30,31,在实际工作中，我们用一组被试（人数足够多）两次施测的结果来代替对同一个人反复施测，以估计测量误差的变异数。此时，个人在两次测验中的分数差异就是测量误差。据此可制成误差分数的分布。这个分布的标准差（误差分布的标准差）我们称之为测量的标准误，是表示测量误差的大小的指标，其计算公式为： （公式54） 式中SE表示测量的标准误，即误差分布的标准差；Sx表示一次测量分数的标准差；rxx表示信度系数。,32,我们可以用测

11、量的标准误来估计个人测验的真分数的大小。 如果选用95的可靠性水平（置信水平），即显著性水平（a值）为.05，真分数有95的可能落入X 1.96SE ，即X 1.96 SE的范围之内，也可以写成X1.96SE T X1.96 SE，SE则用公式54代入。或有5的可能落入这范围之外。这实际上也表明了再测时分数改变的可能范围。,33,例1，已知WISC-R的标准差为15，信度系数为0.95，对一名12岁的儿童实施该测验后，IQ为110，那么他的真分数在95的可靠度要求下，变动范围应是多大？,34,=,103.4 116.6,35,注意几点： （1）SE对真分数做的是区间估计，不可能由此得到一个确切

12、的点。这就是说，测验分数不是一个定点，而是具有一定的分布范围。因此，两次测验分数之间存在差异是很正常的。 （2）置信水平确定后，估计的精度主要取决于SE，SE越小，范围越小，估计就越精确，反之也然。 （3）真分数不能等同于真正能力或心理特质，真分数中包括了系统误差。,36,4、比较不同测验分数的差异 测量标准误和测验信度在评价两个不同测验的分数是否有明显差异时也非常重要。这种比较包括两个人不同分数的差别和同一被试在两个测验上的差别。,37,我们可以用“差异的标准误”来检验差异的显著性。 差异的标准误的公式为： （公式55） 为差异的标准误，S为相同尺度的标准分数的标准差，Z分数为1，T分数为1

13、0。 、 分别为两个测验的信度系数。 先将原始分数化成标准分数，然后将两个标准分数的差异与1.96SEd（0.05显著性水平）进行比较，如果其绝对值大于此值，则差异显著，否则差异不显著。,38,例题,某被试在韦氏成人智力测验中言语智商为102，操作智商为110。假设言语测验和操作测验的信度分别为0.87和0.88，则该被试的操作智商与言语智商有显著性差异吗？ 解答一：,标准分数差异的范围（95%）： -1.967.51.967.5 -14.714.7 所以被试的操作智商与言语智商无显著性差异,39,解答二,40,例，某校五年级进行了两次数学测验，小张第一次考了85分，此次数学测验年级平均分是7

14、7分，标准差是8分，此次测验的信度系数是0.84；第二次考了95分，此次数学测验年级平均分是81分，标准差是10分，此次测验的信度系数是0.91；问小张这两次数学测验的成绩是否有显著差异？,41,五、影响信度的因素 样本的影响 样本团体的异质性高，信度就高 样本团体平均能力水平的影响 测验长度的影响 可以通过增加测验长度的方式提高信度值。 新增项目必须与试卷中的原有项目同质。 新增项目的数量必须适度。,42,如由50题组成的儿童心理学测验，其信度系数为0.72，若再增加30个与原测验难度相近且同质性的题目，问长度增加后的测验系数是多少？,= 0.80,43,例：有一个包括10个题目的测验，信度

15、为0.50，若把测验增加到50个题目，其信度将增加到多少？,44,用同样方法可以算出题目数量继续增加时相关系数的值见下表 表 题目数量对相关系数的影响,45,由表可以看出，增加题目数量可以提高信度，但并非多多益善。测验过长是得不偿失的：（1）测验过长，编制测验要浪费较多的时间和精力，施测时浪费受测者的时间和精力，花费大。（2）测验过长会引起被试的疲劳和反感，从而降低可靠性。为了节省时间和精力，有时还需要将过长的测验适当缩短，而不使其对信度有大的损害。,46,测验难度的影响 测验太难或太容易，则分数的范围会缩小，从而降低信度。应该有一个适当的难度水平，以产生最广的分数分布。 各类选择题的理想平均

16、难度：五择一测题，0.70；四择一测题，0.74；三择一测题，0.77；是非题，0.85.,47,100 75 50 25 0,1 2 3,分數,評量次數,難度太小,難度太大,適當難度,平均數（M）：85 21 60 標準差（) ：3.9 4.2 12.4 信度（KR21）：0.43 0.46 0.90,分數之分散度和難度與信度之間的關係,48,时间间隔的影响 只对重测信度有影响,49,1.对5个学生进行某种测验，得分分别为14、11、13、16、15。为了考察这个测验的信度，在20天后用原量表再次测验，得分分别为13、12、14、15、16。试计算稳定性系数，并解释之。,小测验,50,2.有

17、16人参加的一项测验，本拟再测一次以估计信度，但因学生毕业离校，无法再测，现把各人奇数题得分和偶数题得分分列后，请估计测验结果的信度。,51,3.4位教师评阅5份试卷，所评等级如下表，问评分是否一致？,52,4. 有一种包含7个论文式题目的测验，对6个应试者施行，得分见下表，试求该测验的信度。,53,第二节 效度,“龙生龙，凤生凤，老鼠的儿子会打洞”。 “老子英雄儿好汉，老子反动儿混蛋” 。,54,ENGLISH,55,江苏一老母鸡独爱游泳 喜欢和鹅鸭混在一起,56,鹅鸭喜欢在水中嬉戏本是天性。但老母鸡也喜欢泡在水里自由来去，你见过吗？在镇江润州区金山乡焦西滩水产养殖基地，就有这样一只喜欢游泳

18、的老母鸡。 昨天下午，当记者赶到焦西滩时，一大群鹅、鸭都上了岸。但一只老母鸡却浮在水面上，划来划去十分自在快活。就在众人“啧啧”称奇之际，老母鸡掉头向水的更深处划去。,57,水产养殖户孙某告诉记者，焦西滩是长江中尚未开发的湿地，只有他及少数几家水产养殖户在滩上居住，饲养的家禽也不是很多，主要是养鹅鸭之类喜水家禽，养鸡不多，这样可以节约饲养成本，饲养管理也很粗放，这只老母鸡已养了两年多，但它和其它鸡不同，平时很喜欢和鹅鸭等搅在一起。 孙某回忆，大概是在今年开春，他第一次看到这只老母鸡在水中自由来去，当时也觉得十分好玩、奇怪。他将老母鸡喜欢游泳，归结为两点：首先是近水加上饲养粗放，给老母鸡提供了试

19、水的机会；再者就是它喜欢和鹅鸭搅在一起，不知不觉中也就以身试水，直至现在每天都要下水。,58,一、效度的定义 1、效度的通俗定义 效度指的是测量的正确性，即一个测验或量具能够测量出其所要测量的东西的程度。 效度是科学测量工具最重要的必备条件，一个测验若无效度，则无论具有其他任何优点，一律无法发挥其真正的功能。,59,2、效度的理论定义：一组测量中，与测量目标有关的真实方差与总方差的比率。 效度除受随机误差影响外，还受系统误差的影响。,60,二、效度的性质 1、效度具有相对性 相对某一目标的有效性 2、效度具有连续性 只有程度上的不同，而没有“全有或“全无”的区别 反映有效性程度高低,61,三、

20、效度评估的三种方法 （一）内容效度 （二）结构效度 （三）实证效度,62,（一）内容效度 1、定义：指测验题目对欲测内容或行为取样的适当程度，从而确定测验是否是所欲测量的行为领域的代表性取样 2、确定内容效度的方法 （1）专家判断法：内容效度又称“逻辑效度”,63,逻辑分析法 （1）明确欲测内容的范围，包括知识范围和能力要求两个方面。 （2）确定每一个题目所测的内容，并与测验编制者所的双向细目表对照，逐题比较自己的分类与编制者的分类，并做记录。 （3）制定评定量表。,64,雙向細目表 表格左方表示教學所欲達成的目標，上方表示教材內容範圍，並逐一檢視每一試題以考驗整份測驗之內容效度,65,（2）

21、统计分析法 克伦巴赫（Cronbach）提出内容效度的统计分析方法。 从同一个教学内容总体中抽取两套独立的平行测验，用这两个平行测验来测同一批被试，求其相关。若相关低，则两个测验中至少有一个缺乏内容效度；若相关高，则测验可能有较高的内容效度（除非两个测验取样偏向同一个方面）。 再测法 在被试学习某种知识之前作一次测验，在学过该知识之后再作同样的测验。这时，如果后测成绩显著的优于前测成绩，则说明所测内容正是被试新近所学内容。 （3）经验法 这种效度是通过实践来检验效度，如儿童发展量表是否有效，经过对不同年龄阶段的儿童进行调查，然后分析其结果。,66,注意：内容效度的特性 内容效度与所有效度的性质

22、一样，不是普遍适用的，而是根据具体情况分析得来。如果测验分析者和测验使用者定义的内容范围相同，则编制者报告的内容效度对使用者而言是有意义的，否则就没有意义。 内容效度经常与表面效度（face validity）混淆。表面效度是由外行对测验作表面上的检查确定的，它不反映测验实际测量的东西，只是指测验表面上看来好像是测量所要测的东西；而内容效度是由够资格的判断者（专家）详尽地、系统地对测验作评价而建立的。,67,（二）构想效度 1、定义：结构效度是指一个测验实际测到所要测量的理论结构和特质的程度，或者说它是指测验分数能够说明所要测量的理论结构和特质的程度，或者说它是指测验分数能够说明心理学理论的某

23、种结构或特质的程度。 2、实际操作步骤： （1）先从某一建构的理论开始 （2）提出各项心理功能或行为的基本假设 （3）据以设计和编制测验问卷 （4）以相关分析、因素分析等方法来检测结果是否符合理论之见解,68,确定构想效度的基本步骤示例： 从一般智力理论，提出下面假设： 智力随年龄增长 智力与学业成就有密切的关系 根据上面的假设编制智力测验，对测量数据进行以下分析。 测试者的分数随年龄的相关 智力与学业的相关,69,（三）实证效度（效标效度） 1、定义：什么是效标效度 实证效度是指一个测验对处于特定情境中的个体的行为进行评估的有效性。也就是说，一个测验是否有效，应该以实践的效果来作为检验标准

24、被预测的行为是检验测验效度的标准，简称效标。,70,在检验一个测验的效标效度时，难点在于找到合适的效标。因此效标的选择至关重要，一个好的效标必须具备以下条件： 、效标必须能最有效地反映测验的目标，即效标测量本身必须有效； 、效标必须具有较高的信度，稳定可靠，不随时间等因素而变化； 、效标可以客观地加以测量，可用数据或等级来表示； 、效标测量的方法简单，省时省力，经济实用。,71,例如： 高三模拟考试，果然能恰当地反应大学联考成绩，说明此模拟测验效度预测效度好。 用高考成绩预测大学生的学习能力和成就 用职业测验预测工作能力 用人格测验预测哪种人容易得精神病等。 用智力测验来预测其最近的学业成绩,

25、72,2、种类： 同时效度：测验分数与效标同时验证 例如: 智力测验以学生当时的学业成绩为效标； 预测效度：测验分数与将来的效标资料进行验证 例如：测量健康行为对未来健康状态预测之有效程度； 两者的差异，源自测验目的。前者与用来诊断现状的测验有关，后者与预测将来结果的测验有关。,73,3、效标效度的确定方法 相关法 区分法 被试接受测验后，让他们工作一段时间，再根据工作成绩的好坏来分成两组。这是再回头来分析两组被试原先接受测验的分数差异情况。若差异显著，则说明该测验有较高的效度。,74,四、效度的功能 1、预测误差：决定系数，标准误 效度系数的实际意义常常以决定性系数来表示，意旨相关系数的平方

26、，它表示测验正确预测或解释的效标的方差占总方差的比例。 另一种表达方法是估计的标准误，估计的标准误可如同其他标准误一样解释。 2、预测效标分数 如果X与Y两变量呈直线相关，只要确定出二者间的回归方程，就可以从一个变量推估出另一个变量。,75,五、影响效度的因素 1、测验本身的因素 测验取材的代表性、测验长度、试题类型、难度、区分度以及编排方式等都会影响效度。要保 证测验具有较高效度，要做好以下几点： 1测验材料必须对整个内容具有代表性； 2测题设计时应尽量避免容易引起误差的题型（如是非题）； 3测题难度要适中，具有较高的区分度； 4测验长度要恰当，即要有一定的测题量； 5测题的排列按先易后难顺

27、序。,76,2、测验实施中的干扰因素 、主试的影响因素 测验实施过程中主试的因素会影响效度。例如，是否遵从测验使用手册的各项规定进行标准化的实施，指导语是否统一正确，测验的时限是否一致，评分是否合理，都会影响测验的效度。 被试的影响因素 被试在测验时的兴趣、动机、情绪、态度和身心状况、健康状态以及是否充分合作与尽力而为等，都会影响被试在测验情境中的反应，因而影响测验结果的效度。被试的反应定势也会降低测验的效度。,77,3、样本团体的性质 、样本团体的异质性 如果其他条件相同，样本团体越同质，分数分布范围越小，测验效度就越低；样本团体越异质，分数分布范围越大，测验效度就越高。其中有几种情况会影响

28、样本团体的异质性。 选拔标准太高，样本团体的同质性增加，降低了测验的效度。,78,、干涉变量 样本团体的性质对效度的影响还表现在：对于不同性质的团体，同一测验的效度会有很大的不同。这些性质包括年龄、性别、教育水平、智力、动机、兴趣、职业和任何有关的特征。由于这些特征的影响，使得测验对于不同的团体具有不同的预测能力，故测量学上称这些特征为干涉变量（moderator variable）。 对于如何确定干涉变量，表面上的泛泛分析和观察很难发现，美国心理学家吉赛利（E. E. Ghiselli）提出的如何找出干涉变量的一套方法，供参考：,79,1用回归方程求得每个人的预测效标分数，将该分数与实际效标

29、分数相比较，获得差异分数D。如果D的绝对值很大，说明测验中可能存在干涉变量。 2根据样本团体的组成分析，找出对照组，分别计算效度，从而象上述关于出租汽车司机的例子一样，找出干涉变量。 3对于欲测团体，根据某些易见的干涉变量将其区分为预测性高和预测性低的两个亚团体。对于预测性高的团体，获得的测验效度会有所提高。,80,4、效标的性质 效标效度是以测验分数与效标测量的相关系数来表示的，因此效标的性质如何，在评价测验的效度时是值得考虑的。,81,六、提高效度的方法 1、精心的编制测验，避免出现较大的系统误差。 2、妥善组织测验，控制随机误差。 3、创设标准的应试情境，让每一个被试都能整茶馆南的发挥自

30、己的水平。 4、选好正确的效标，正确的使用有关公式。,82,六、效度和信度的关系,XT+E,83,六、信度与效度的关系 有效的测验，必须是可信的测验；但可信的测验，则未必是有效的测验（效度高是测验之终极目标） * 信度低 效度必低 * 信度高 效度未必高 * 效度低 信度未必低 * 效度高 信度必高,84,第三节 信效度的spss实现,一、信度 量表信度的考驗方法為 Cronbach 係數，判定係數之準則如下： 所有問卷題目一起執行計算 Cronbach 係數。 每個因素構面針對其所屬問卷題目，執行計算Cronbach 係數。 範例一,85,某研究設計一份有關“商店服務屬性”之問卷初稿，為慎重

31、起見，選取30位受測者進行前測（結果如資料檔:服務屬性前測.sav）。請問這些題項在測試結果後，是否具備內部一致性？ 1.點選Analyze/scale/reliability analysis 2.程式操作 3.分析結果,86,範例一,2.程式操作,87,分析結果,88,分析結果,係數=0.7984，代表十五道題目測量結果之內部一致性具高可信度。若是想要再提高信度，可由”Corrected Item-Total correlation”及”Cronbach Alpha if item Deleted”兩欄數字來判斷刪除那些題目可提高內部一致性，價格的”Corrected Item-Total correlation”數字 -0.0693 表示價格與總分間的相關非常的低，如果將之刪除，則可提高係數至0.8156。,89,二、效度 建構效度 建構效度(或稱構念效度)指問卷或量表能測量到理論上的構念或特質之程度。建構效度有兩類：收斂效度與區別效度。而檢測量表是否具備建構效度，最常使用之方法為因素分析法。同一因素構面中，若各題目之因素負荷量(facto