第五章 测量效度

第五章测量效度

第一节效度概述

第二节效度的估计

第三节提高测量效度的方法

第一节效度的概述一、效度所要回答的问题

二、效度的含义三、效度和信度的关系四、效度验证与效度概化

一、效度所要回答的问题

（1）一个测验测量了什么特性？（2）它对所要测量的特性测得有多准？二、效度的含义

效度是指测量的有效性，一个测验实际所能测出其所要测量的心理特质的程度。

效度与测验目的有关的有效SV2和实得SX2

的比值

效度检验的实质实际的测量结果测量目标

两者关系注意：1.效度是一个相对的概念。具有连续性。

★针对某种特定的测量目的

★只有程度上的差异2.效度是测量的随机误差和系统误差的综合反映。3.判断一个测量是否有效要从多方面搜集证据。三、信度与效度的关系1.信度是效度的必要而非充分条件

ST2

SV2SI2SE2Sx2

下面哪种情况不可能存在？高信度，高效度高信度，低效度低信度，高效度低信度，低效度ST2SX2ST2SX2ST2rxyrxx

rxyrxx

rxyrxx

↑↓↑↑↓↓SX22.效度受信度的制约，信度系数规定了效度系数的上限。根据信度和效度的定义（）可以得到，

四、效度验证与效度概化效度验证：收集大量资料和证据来检验效度的工作过程。效度概化：是指在某一种情境中所做的效度研究能否推广到其他情景。效度概化方法-----交叉效度评定、元分析第二节效度的估计

1974年美国心理学会在《教育心理测验值标准》中将效度分为三大类：

1．内容效度（ContentValidity）内容效度指测验实际测到的内容与所要测量的内容之间的吻合程度。

2．实证效度(CriterionrelatedValidity)

实证效度是指一个测验对处于特定情景中的个体的行为进行估计的有效性

3．结构效度(ConstructValidity)

结构效度是指测验对于被称作构想的某一理论概念或特质测量的程度。一、内容效度（一）含义

内容效度是指一个测验实际测到的内容与所要测量的内容之间的吻合程度。

一个测验要有内容效度必须具备两个条件：1.要有定义得完好的内容范围

20以内的加减法

中小学生的心理健康的特点和表现。

2.测验项目应是已界定的内容范围的代表性样本

如果把所有的内容视为一个总体，那么测验项目可以视为一个样本，这个样本要具有代表性，这个样本能够代表总体的程度就是内容效度。内容效度与表面效度的区别1）表面效度是由外行对测验做表面上的检查确定的，而内容效度是由够资格的判断者（专家）详尽地、系统地对测验评价而建立的。

例如，MMPI中有这样的题目：“我的喉咙里总好象有一块东西堵着似的。”2）表面效度不是效度的客观指标，但能对受测者的动机产生影响，因而也会影响到效度。

最高行为测验要求有较高的表面效度，典型行为测验却要求较低的表面效度。（二）估计方法

1.专家判断法

2.统计法

复本法

（克龙巴赫法）再测法

内容效度比

专家评定法这是一种定性分析的方法，由专家对测验项目与所涉及的内容范围进行符合性判断。我们以教育测验为例来说明应遵循的程序。1.确定所要测量的全部内容范围。比如要考察某一学科测验是否有效度，就要根据教材和教学大纲列出这门课程的全部知识点。2.根据教育目标的要求，将测验目的具体化为不同层次的测验目标。教育测验目标一般采用布鲁姆教育目标分类学中的分类标准，将测验目标分成识记、理解、应用、分析、综合、评价六个层次。按不同层次的测验目标对知识点进行分类。3.确定每一层次目标在整个测验项目中所占的比重。4.编制测验双向细目表。5.请专家对双向细目表以及测题是否符合双向细目表的内容要求、测题的形式是否合适等进行评定。6.对测题进行必要的修改，直至多数专家对测验的内容效度感到满意为止。最后，报告专家评定的情况，这个评定结果可以作为内容效度。无良好的数量指标描述这种符合性的程度；不同专家对同一测验内容效度的判断可能不一致；不同专家对内容范围会有不同的理解

局限克伦巴赫法克伦巴赫认为，内容效度可由一组被试在取自同样内容范围的两个测验复本上得分的相关来作数量上的估计。当相关高时，可以推论测验具有较高的内容效度。缺点：如果相关低，至少一个测验缺乏内容效度，但不能确定哪个测验缺乏内容效度。如果相关高，也可能两个测验存在相同的偏差，两者效度都不高。再测法在教学或训练之前施测某一测验，经过一段时间的学习或训练后再次施测，如果后测的成绩显著高于前测，则可以认为测验能很好地反应学习或训练的效果，测验具有较高的内容效度。前测后测

被试经过预测知识的教学内容效度比让本专业的专家对取样的代表性进行分析，评价某一测验项目是否具有代表性，统计出专家中认为某一项目能代表所要测量的内容范围的人数，再用公式计算出内容效度之比

式中CVR表示内容效度比，ni表示专家中认为某项目具有代表性的人数，N表示参加评定的专家的总人数。根据内容效度比，删除内容效度比低的项目。计算全部项目的内容效度比的平均数，作为内容效度的指标。（三）应用和评价内容效度适合于测验所要测量的内容总体能够明确界定的情况。因此尤其适合对成就测验的效度的考察。内容效度对各种用于人员选拔和安置的职业测验也是适用的。职业测验关心的是被试是否具有从事某项职业的知识、技能等，那么要明确某项职业所需的全部知识和技能，再对这些知识和技能进行取样，取出一个有代表性的样本。内容效度不适合用于能力倾向测验和人格测验。缺点：缺乏理想的数量指标，因而妨碍了信息交流和各测验的相互比较。二、实证效度（效标关联效度）（一）效标关联效度的含义、种类及作用

定义：是指一个测验对处于特定情景中的个体的行为进行估计的有效性。以实践的效果作为检验标准被估计的行为是检验测验效度的标准，简称效标。根据效标资料搜集的时间差异，实证效度可以分成同时效度和预测效度两种。有人把二种效度都称为预测效度，并把测验称作预测源。

（二）效标

效标就是衡量一个测验是否有效的外在标准，它是独立于测验并可以从实践中直接获得的我们所感兴趣的行为。如，我们可以用飞行员的工作表现作为验证飞行员选拔测验的效标用于心理病理测量的人格量表可以用医生的临床诊断结果作为效标效标污染

效标污染是指由于评定者知道被试测验的原分数而使被试的效标分数受到影响的情况。

最好的预防方法是不让评分者看到原来测验的分数，保证效标分数和原测验分数的独立性。观念效标与效标测量阿斯丁把效标分为两个层次：一是理论描述水平的“观念效标”，二是操作定义水平的“效标测量”。理论定义与操作定义。所谓观念效标指从概念上确定所要选择的测验效标是什么。

。常用的观念效标有：实际工作表现、学业成就、临床诊断、行为的等级评定、专门的训练成绩、对团体的区分能力以及其他现成的有效测验，等等。

效标测量，指将观念效标进行量化操作。一种观念效标可以有多种不同的效标测量。如实际工作表现的效标测量可以采用的数量指标有：产品数量和质量、销售额、收入、职位、薪水提高的幅度、领导评定、同事评定等等。又如，学业成就的效标测量可以采用的数量指标：单元考试成绩、期中期末的考试成绩、老师评价、同伴评定、获奖情况、发表作品情况等等。好的效标测量应符合以下几个条件：（1）有效性效标测量与观念效标必须是高度一致的。

（2）可靠性效标测量必须正确可靠。也就是说要具有较高的信度。

（3）客观性效标测量必须客观，避免偏见。如，当效标测量是主观评定时，一定要尽量避免主观偏见。（4）实用性在保证有效性的前提下，效标测量必须尽可能简单、省时、花费少。（三）实证效度的确定步骤：①明确观念效标；②确定效标测量；③考查测验分数与效标测量的关系。（四）确定方法

一般可以通过统计分析得到一个数量指标，因此有人将它称为统计效度。常用的估计方法有相关法、区分法、命中率法等。1.相关法

最常用的计算效标关联效度的方法，测验分数与效标间的相关系数称为效度系数。测验分数与效标分数的数据性质不同，计算相关系数的方法不同。

如：假设有10名男性经职业兴趣测验而被选定作为推销员，其测验分数下表第一行，而第二行是经过若干年后他们某段时间内销售金额总量(以万元为单位)。现问该测验的效度如何?

如，对某个群体进行心理病理方面的人格测验，以是否患精神疾病为效标。如，对初中生进行学习能力测验，以是否考上重点中学为效标。总结：

相关系数的平方表示一个变量的变异数由另一个变量的变异数决定的百分比（决定系数）。因此，当rxy=0．50时，我们可以说效标分数中有25％(0．502=0．25)的变异数是来自预测源分数的变异，或者说有25％的变异数为两个测量所共同拥有。假如效标中有一半的变异数能由预测源分数的变异来解释，则效度系数必须为0．71。以相关法求效度的优点是：(1)提供了一个统计指标以总结预测源与效标间的关系；(2)可利用回归方程式来预测每个人的期望效标成绩；(3)效度系数（相关系数）为大家广泛使用，便于比较研究。2、区分法

看预测源的分数是否可区分由效标测量所定义的团体。

例：某工厂通过测验录用了一批工人，过一段时间后，根据工作成绩（如产品的数量、质量）将他们分成成功的和失败的两组，然后回过头来检查他们的测验分数。

假如：成功组有60人，失败组有40人；成功组的平均数为6.05，标准差为2.02；失败组的平均数为4.25，标准差为1.3。3．命中率法含义：依据测验分数对被试作出的分类与根据被试的实际工作表现所做出的分类的一致性程度。（取舍正确率）用途人才选拔方法正确决策的结果正确接受正确拒绝

预测源与效标都是二分的总命中率关心录取者中合格的人数与淘汰者中不合格的人数的比率。正命中率只关心录取者中有多少合格的人，不关心淘汰者是否有合格的人。以取舍正确性作为测验效度的指标，主要优点：与实际生活联系更紧；计算方法简单并容易为一般人所理解。缺点：它对分数刚刚低于临界分数的人不公平。三、构想效度（一）含义构想效度（constructvalidity），又称构念效度、结构效度。构想：心理学理论中所涉及到的抽象而假设性的概念或特质，如智力、焦虑等，它们往往用某种操作定义来定义、可以用测验来测量。

构想效度是指一个测验实际测到所要测量的理论结构和特质的程度，或者说测验分数能够说明某一理论概念或特质的程度。（二）验证构想效度的方法

假设我们要检验一个智力测验的结构效度1、寻找测验依据的理论定义。

智力代表了一个人获得、保持知识的能力，推理能力，及适应环境的能力。2、根据理论定义提出假设。

智力不同于后天获得的知识，因此与遗传因素有关，切更为稳定；智力会随着人的生理变化而发展变化；智力会影响人的学习成绩和事业成功。3、搜集资料，验证假设。﹠计算同卵双生子、异卵双生子、其他同胞、非同胞间的智商的相关，看相关系数是否依次降低；

﹠看智商与学业成绩间是否有高相关；

﹠智力是否随着年龄的增长而逐渐提高，在某一阶段又是相对稳定的。（三）估计方法1.测验内方法

内容效度

分析被试解答测题时的反应过程

测验的同质性—内部一致性系数

2.测验间方法

相容效度（congruentvalidity）

区分效度（discriminantvalidity）因素分析（factorialvalidity)

3.效标关联法

4.多种特质——多种方法矩阵法1、测验内部寻找证据法（1）确定内容效度作为结构效度的证据（2）分析被试的答题过程

例如，人格测验中有这样一个题目：“我喜欢在别人面前说另一个人的缺点。”一个被试回答“否”，问他是怎么考虑