心理测量学教学课件2014年版第4章

心理测量学通化师范学院第四章效度第一节效度概述第二节效度的种类与估计第三节影响效度的因素第四节效度的应用通化师范学院案例一

美国杜克能源公司某蒸气站被12名黑人雇工告上了法庭，缘由是该公司把他们都当勤杂工使用，每天的任务就是扫地和清洁，他们原本指望能被提升到像运煤工这样层次更高的岗位上，但公司说他们的智力测验分数不够，而该公司的14个黑人员工中有13个做勤杂工，诉讼的理由是智力测验有种族歧视。而公司说没有任何歧视，岗位安排完全根据测验结果来定，没有歧视黑人。

法庭要求公司提供测验对职位胜任的预测力。通化师范学院案例二

某大学学生期终考试后向校方提出质疑，说教授给出的考试范围是教科书中的1—10章，但考试内容却都集中于前三章，这样的考试无法检验真实的学习成绩，也就是考试并没有提供一个让我展现所学全部知识的机会。通化师范学院第一节效度概述一、效度所要回答的问题二、效度的含义三、效度与信度的关系通化师范学院一、效度所要回答的问题信度减少随机误差，就能获得比较一致的结果通化师范学院效度所要回答的问题（1）测验测量的是什么东西?或者说，测验测到了它要测的东西吗?（2）测验对它所测量的东西测量到什么程度?通化师范学院一、效度的定义效度（validity）就是一个测验对其所要测量的特性测量到什么程度的估计

。

效度反映是测量的准确性。通化师范学院通化师范学院与测验目的有关的有效SV2和实得SX2

的比值效度效度的操作定义S²X=S²V+S²I+S²E通化师范学院2.效度的性质（1）效度是针对测验结果的（2）效度是针对某种特定的测验目的的（3）效度只有程度上的差别只有程度上的差别，没有全或无的差别。（4）效度是测量的随机误差和系统误差的综合反映（5）判断一个测量是否有效要从多方面收集证据通化师范学院三、效度与信度的关系根据公式S2X=S2V+S2I+S2E，可以得到信度与效度的关系如下：1、信度高是效度高的必要而非充分条件2、测验的效度受它的信度制约通化师范学院S²E↓，S²T↑，rxx↑信度高，给S²V增加提供可能能否提高效度，再看S²I大小信度高不一定效度高效度要高，S²V须占较大比重，S²T↑效度高，信度必高ST2信、效度关系通化师范学院SV2SI2SE2SV2SI2SE2SV2SI2SE2ST2SX2ST2SX2ST2rxyrxx

rxyrxx

rxyrxx

↑↓↑↑↓↓SX2通化师范学院2.测验的效度受它的信度制约信度系数的平方根是效度系数的最高界限根据效度和信度的定义（r2xy=S²V/S²X，

rxx=S²T/S²X）以及S²T=S²V+S²I可得r2xy=（S²T-S²I）/S²X=

rxx-S²I/S²X）

S²I>0

r2xy<rxx通化师范学院第二节效度的估计

要确定测验在解决某方面问题时的效度，需要收集充分的客观事实材料和证据，这种收集大量资料和证据来检验测验效度的工作过程就叫做效度验证。

1966年美国心理学会在《教育心理测验值标准》中将效度分为三大类：

1．内容效度（ContentValidity）内容效度指测验实际测到的内容与所要测量的内容之间的吻合程度。

2．结构效度(ConstructValidity)

结构效度是指测验对于被称作构想的某一理论概念或特质测量的程度。

3．实证效度(CriterionrelatedValidity)

实证效度是指一个测验对处于特定情景中的个体的行为进行估计的有效性通化师范学院一、内容效度定义：内容效度指测验实际测到的内容与所要测量的内容之间的吻合程度。（测验题目对所要测量的内容范围的代表性程度，考验题目样本是否代表了内容总体）适用于成就测验、选拔和分类的职业测验，不适于能力倾向测验和人格测验。注意与表面效度的区分通化师范学院内容效度的两个要点测题对测量对象的有效性全部测题对测量对象的涵盖程度通化师范学院能力积极的行为指标同情心及敏感性形成使病人安全的气氛；严肃地对待病人，对其医疗保密；快速理解病人的情绪和心情；沟通技巧显示主动倾听的技能；不是以恩人的态度出现；在方法上有信心；临床专业技术相信你的临床判断；临床能力；提供预想的照顾；医生职业要求通化师范学院内容效度与表面效度的区别（1）表面效度是由外行对测验做表面上的检查确定的，而内容效度是由够资格的判断者（专家）详尽地、系统地对测验评价而建立的。例如，MMPI中有这样的题目：“我的喉咙里总好象有一块东西堵着似的。”（2）表面效度不是效度的客观指标，但能对受测者的动机产生影响，因而也会影响到效度。最高行为测验要求有较高的表面效度，典型行为测验却要求较低的表面效度。通化师范学院内容效度的评估方法1.逻辑分析法2.统计分析法3.再测法通化师范学院含义专家按测题和假设内容范围作出的符合度判断操作与程序明确欲测内容的范围与双向细目表对比；制定评定量表；

局限

-没有量化指标;-对内容效度的判断不一致;-教育思想或心理学观点不同,所以对内容范围的理解也不同。1.逻辑分析法通化师范学院双向细目表（举例）一、教学目标(以橫轴表示)

以Bloom所提的认知领域六个教学目标为依据：知识、理解、应用、分析、综合、评价。二、教材內容(以纵轴表示)

以出题的范围，表示出包含几个不同的单元。通化师范学院以台湾学校教育文科为例内容/要求知识理解应用分析综合评价总和唐诗88442228文言文64642224新诗86442226散文64622222总和2822201488100通化师范学院信度指标——复本信度r高：内容效度r低：至少一个缺乏内容效度3.再测法前测———后测2.统计分析法复本1复本2被试团体被试经过预测知识的教学通化师范学院内容效度的评价

内容效度不但是评价学绩测验的最适合的方法，而且编制任何测验都要加以考虑的方面。它的主要缺点是缺乏理想的数量指标，因而妨碍了信息交流和各测验间的相互比较。通化师范学院二、结构效度（一）定义：结构效度是指一个测验实际测到所要测量的理论结构或特质的程度。构想或结构是指用来解释人类行为的理论框架或心理特质，它是心理学中抽象的假设性的概念、特性或变量，例如：智力、创造力、动机以及焦虑等。主要用于智力测验、人格测验通化师范学院（二）验证结构效度的方法假设我们要检验一个适应行为测验的结构效度1.寻找测验依据的理论定义：

全美智力落后协会（AAMD）对适应行为的定义是：个体实现人们所期待的与其年龄和文化群相适应的个人独立与社会职责的程度和功效。2.根据理论定义提出假设：

比如，随着年龄增长，适应行为得分应逐步提高；弱智儿童和正常儿童相比，前者的适应行为显著弱于后者；儿童的适应行为表现与其所处的社会经济、文化背景有关。3.搜集资料，验证假设

通化师范学院

结构效度无单一的效度指标，要从多方面的资料来源，经过长期的、艰苦的搜集和积累证据资料的过程，才能逐步验证测验的结构效度。常用于搜集结构度资料的方法有如下几种。1.测验内部寻找证据法2.测验之间寻找证据法3.考察测验的实证效度法4.多种特质——多种方法矩阵5.发展水平的变化6.实验操作（三）搜集结构效度资料的方法通化师范学院1.测验内部寻找证据法（1）确定内容效度作为结构效度的证据例如，编制语文能力测验时，编制者将总体内容描述为对词汇下定义、对语言做类比推理、以及在句子中正确运用文字的能力，这在实际上就是给“语文能力”的构想下了定义。（2）分析被试的答题过程例如，在人格测验上有这样一些题目：“当事情不顺我意时，我时常动怒。”“我总避免批评别人的言行。”（3）通过计算测验的同质性信度来检验结构效度通化师范学院2.测验之间寻找证据法（1）相容效度（2）区分效度（3）因素分析

此方法特点是同时考虑几个测验间的相互关联，考察这些测验是否在测量同一心理结构。通化师范学院（1）相容效度含义测相同结构的各种测验间应有较高的相关。求一个新编测验与另一已知结构测验间的相关。斯坦福——比奈量表、韦氏智力测验是世人公认有效的智力测验，后人编的智力测验大多与此量表作比较，如果相关高，便说明新编测验有效。通化师范学院（2）区分效度含义新编测验的分数与已知测量不同结构的测验分数的相关若相关高，说明新测验的效度有问题已知：瑞文标准推理测验新编：道德感测验通化师范学院（3）因素分析

1904年，英国心理学家斯皮尔曼发表专题论文《客观决定和测量一般智力》，用因素分析的技术研究智力结构，并提出智力的二因素论，这也标志着因素分析方法的诞生。运用这一方法心理学家们先后提出了多种智力理论。如：桑代克的多因素论，瑟斯顿群因素论和吉尔福特智力理论等等。通化师范学院基本原理一种多变量统计分析方法。根据相关性大小把变量分组，使得同组内的变量间相关较高，不同组变量间的相关较低；每组变量聚合成群，即因素（又称潜变量）。意义找出变量间内在本质联系的一种多元统计方法。通过缩减变量的方法，用反映变量本质联系的少数几个基本因素（或公共因素）来说明先前需要用较多变量才能说明的原因或特性。通化师范学院100名学生在9个不同学科间的相关系数通化师范学院通化师范学院通化师范学院通化师范学院两个假想测验的因素效度及其变异来源测验共同因素负荷信度系数作用比例言语数字推理言语数字推理特殊误差算术推理0.40.550.600.900.160.300.360.080.10乘法0.100.700.300.850.010.490.090.260.15通化师范学院3.考查测验的实证效度法其一，根据效标把人分成两类，考查其得分。其二，根据测验得分把人分成高分组和低分组，考察这两组人在所测特质方面是否确有差异。通化师范学院（4）多种特质——多种方法矩阵法坎贝尔和费司克（1959）实质上是相容效度法和区分效度法的综合运用原理是若用多种极不相同的方法测量同一种特质相关很高，则说明测量效度较高（相容效度即属此类）。通化师范学院从理论上看，测验的结果应与其所要测的特质有显著相关而与其他不相干的特质无关。以相同方法测量相同特质所得的分数之间应具有最大的相关，以不同方法测量相同特质所得的分数之间应具有次大的相关，以相同方法测量不同特质所得的分数之间的相关应较低，以不同方法测量不同特质所得的分数之间的相关应最低。若合乎上述的情形，即表示这套测验同时兼有相容效应和区分效度，这是考验构想效度的新途径。通化师范学院言语测验操作测验教师评定语文理解数学推理一般常识通化师范学院资料来自于Mosher（1968）的一项研究报告，他假设了三种不同结构，名为“性罪恶感”、“敌对罪恶感”和“道德良心”，使用了是非判断、迫选和完成句子多种测验方法对62名女性被试样本施测。通化师范学院通化师范学院

一个测验要有效必须具备以下几点：

1）效度系数显著地大于0，即同一特质的各种不同测量应有正相关；

2)以不同方法测量同一特质的相关必须高于不同的特质用同一方法来测的相关。也就是说，特质的差异必须比方法的差异更重要；

3)效度系数必须高于不同特质用不同方法测量所得之相关。通化师范学院其他考察结构效度的方法（5）发展水平的变化许多智力量表的效度验证都使用了智力的年龄差异这一特点。通化师范学院（6）实验操作根据不同测验具有不同的特性，我们可以预期经过某种实验处理之后将会发生哪些变化，以此推测测量某个心理结构的测验的结构效度。比如说，我们可以预期，将某个人放在容易产生焦虑的环境中，其焦虑测验得分会有所变化。如果预期得到证实，就说明这个测验有结构效度。这种方法实际是要比较实验处理前后测验得分的差异。通化师范学院对结构效度的评价结构效度是个有争议的概念优点：其贡献在于把着眼点放在提出假设、检验假设上，因此使心理测验不再只是作实际决定的辅助工具，同时还成为发展心理学理论的重要工具，从而使测验有了更广阔的发展前景。缺点：有些构想概念模糊，缺乏一致的定义。确定效度时没有明确的操作步骤与程序。结构效度是通过对测验测量什么、不测量什么的证据加以积累确定的，因而没有单一的数量指标来描述有效的程度。通化师范学院三、实证效度（一）实证效度的含义、种类及作用

定义：实证效度是指一个测验对处于特定情景中的个体的行为进行估计的有效性。也称为效标关联效度。被估计的行为是检验测验效度的标准，简称效标。根据效标资料搜集的时间差异，实证效度可以分成同时效度和预测效度两种。有人把二种效度都称为预测效度，并把测验称作预测源。通化师范学院（二）效标

效标就是衡量一个测验是否有效的外在标准，它是独立于测验并可以从实践中直接获得我们所感兴趣的行为。需注意的知识点：观念效标效标测量效标的特性：多样性、复杂性、特殊性和时间性在测验手册中报告实证效度时，不但要说明使用说明作为效标，还要说明这些效标来自说明团体。通化师范学院效标污染效标污染是指由于评定者知道被试测验的原分数而使被试的效标分数受到影响的情况。最好的预防方法是不让评分者看到原来测验的分数，保证效标分数和原测验分数的独立性。通化师范学院各类测验的可用效标测验类型常见效标成就学年平均分，教师评定结果，学习量，知识应用力，评判知识的批判力，自学能力…智力学科成绩，教师评定结果，学生总成绩能力倾向特殊课程或训练成绩，工作或学习成绩职业兴趣从业者的实际成绩或工作表现人格主试主观标准，被试以后行为，临床资料通化师范学院（三）实证效度的确定方法步骤：①明确观念效标；②确定效标测量；③考查测验分数与效标测量的关系。通化师范学院（三）实证效度（效标关联效度）的确定方法1.相关法最常用来建立实证效度的方法是求测验分数与效标测量间的相关。在测验手册中，一般用它来报告测验对每种效标的效度。2.区分法3.命中率4.功利率通化师范学院（1）积差相关系数当预测分和效标分都是连续变量时，可采用积差相关系数的计算方法来求得测验的效度系数。例：假设有10名男性经职业兴趣测验而被选定作为推销员，其测验分数下表第一行，而第二行是经过若干年后他们某段时间内销售金额总量(以万元为单位)。现问该测验的预测效度如何?通化师范学院通化师范学院（2）二列相关系数当X与y两个常态连续变量中有一个变量由于某些理由被人为地分为两个类别，如，考试成绩的通过与失效，学校分为重点和非重点等，而另一变量为连续变量时，计算出的相关系数就叫二列相关系数。在效度系数的计算中，通常是把效标变量分为两类，而预测变量仍为连续变量。通化师范学院通化师范学院通化师范学院当测验成绩是连续变量，而效标是等级评定时，可用贾斯朋公式计算多系列相关。四分相关适用于计算两个变量都是连续变量，且每个变量的变化都被人为地分成两种类型这样的测量数据之间的相关。皮尔逊余弦π

法通化师范学院总结：相关系数的平方表示一个变量的变异数由另一个变量的变异数决定的百分比（决定系数）。因此，当rxy=0．50时，我们可以说效标分数中有25％(0．502=0．25)的变异数是来自预测源分数的变异，或者说有25％的变异数为两个测量所共同拥有。假如效标中有一半的变异数能由预测源分数的变异来解释，则效度系数必须为0．71。通化师范学院以相关法求效度的优点是：(1)提供了一个统计指标以总结预测源与效标间的关系；(2)可利用回归方程式来预测每个人的期望效标成绩；(3)效度系数（相关系数）为大家广泛使用，便于比较研究。此种方法的缺点是：(1)假如预测源与效标的关系不是直线性的，则必须采用特殊的相关方法；(2)测验结果不能提供有关取舍正确性的指标。通化师范学院2.区分法——t检验看预测源的分数是否可区分由效标测量所定义的团体。例：某工厂通过测验录用了一批工人，过一段时间后，根据工作成绩（如产品的数量、质量）将他们分成成功的和失败的两组，然后回过头来检查他们的测验分数。运用t检验看看两组在测验上的平均分数是否有显著性差异。假如：成功组有60人，失败组有40人；成功组的平均数为6.05，标准差为2.02；失败组的平均数为4.25，标准差为1.3。试问两组的平均数有无显著差异？通化师范学院

已知成功组、失败组的均数、标准差、样本规模，独立样组的t检验公式是：通化师范学院

所以，两组分数有极其显著性差异，即该测验确实可以预测工作上的成败。通化师范学院3．命中率法含义：正确决策的比例用途人才选拔方法正确决策的结果正确接受正确拒绝

通化师范学院通化师范学院通化师范学院通化师范学院以取舍正确性作为测验效度的指标，其主要优点是与实际生活联系更紧。另一个优点是计算方法简单并容易为一般人所理解。这种方法有时也受到人们的批评：有人批评它对分数刚刚低于临界分数的人不公平。通化师范学院4.功利率为了确定测验的功效，人们还常常对使用测验所花掉的费用与得到的利益进行比较，看是否利大于弊。此种效度指标，叫功利率。可用下列公式计算：U=B（NS）-C（NU）-SU代表功利率，B代表用一个成功的工人所产生的平均利润，C代表录用一个不合格的工人所造成的损失，NS和NU分别代表所录用的人中成功和不成功的人数，S代表整个选人程序的费用。当费用与收益可以转换成确切的价值(例如折合成货币)时，功利率的好处是将效度变成了对决策者有意义的信息。通化师范学院测验的功利率说明了这样一个事实：一个测验如果简单易做，省时省钱，不经过特殊训练的人也能掌握，又适合于团体施测，那么既使效度低一些，也会有人采用。反之，一个测验若过于复杂，编制、施测花费大，需要有受过专门训练的测验者或使用昂贵的仪器，并且只能个别施测，那么，只有效度极高，能给人带来较大好处时，人们才会使用它。所以在编制测验时一定要考虑功利率和实用性。通化师范学院对效度估计方法的总结根据不同的需要，一个测验可以采用不同的效度。如对于智力测验来说，既可以有实证效度（预测将来的行为）和结构效度（对组成智力的各个因素测的如何），也可以有内容效度（对于智力的各个方面的取样是否适当）。又如对于高考来说，大学关心的是预测效度；中学关心的是内容效度；而心理学家关心的是结构效度（测量了哪些能力与技能）。

通化师范学院效度的验证通常是测验编制好之后进行的工作，但效度的基本指导思想在测验编制过程中始终起着主导作用。效度的观念与测验编制过程是紧密关联的，它比信度更为重要，测验的最终目的还在于效度，从一开始编制测验就应该注重提高测验的效度。通化师范学院一、影响效度的因素1.测验的构成2.测验的实施过程3.接受测验的被试4.所选效标的性质5.测量的信度第三节效度的影响因素通化师范学院项目能否代表预测内容或结构；

题目语意、指导语、题目难度及题目数量。一般而言，增加测验的长度可以提高测验的信度，进而为提高测验的效度提供了可能。通化师范学院3.接受测验的被试就个体而言，易造成随机误差就团体而言，如果缺乏必要的同质性，可能得到不恰当的效度资料。通化师范学院4.所选效标的性质效标和测验分数的关系类型

皮尔逊相关的前提是假设两个变量的关系在总体上是线性的、均匀的。因此，在计算效度系数之前，必需知道预测源与效标测量之间是否呈直线关系，如果两个变量不呈直线关系，则会低估相关的大小。通化师范学院通化师范学院二、提高测量效度的方法1.精心编制测验量表，避免出现较大的系统误差2.妥善组织测验，控制随机误差3.创设标准的应试情境，让每个被试都能发挥正常水平4.选好正确的效标，定好恰当的效标测量，正确地使用有关公式通化师范学院第四节效度的应用一般认为，效度的高低要看测验的性质和所采用的效度类型而定。能力测验的效度多半比人格测验的效度要高。大致采用实证效度时，其效度应在0.30以上。效度的标准问题通化师范学院第四节效度的应用1.效标分数的预测知道了一个人的测验分数和测量的效度系数，就可以预测他的期待效标分数。效度系数越高，预测便越正确。当预测变量与效标变量之间呈线性关系时，可以用最小二乘原理对它们之间的关系进行估计。通化师范学院但是，测验分数对效标分数的预测有一定误差，所以效标分数的预测实际上是有一定范围的，统计上称为置信区间，可以用预测误差（Sest）加以估计。通化师范学院2.预测误差效度系数是以测验分数和效标分数之间的相关系数来表示的，这就意味着，效度系数(相关系数)的平方表示由测验分数所能说明的效标测量方差的比例，即效标分数中由测验分数造成的变异数的百分比。如：高考英语测验成绩(测验分数X)与入大学后第一学年英语课考试成绩(Y)的相关为rxy＝0．60，则r2xy

＝0．36，由此可知，入大学后第一学年英语课考试成绩(效标分数)中有36％的方差可以由高考英语成绩加以解释。

通化师范学院

根据测验分数对效标得分进行预测总会存在一定的误差，不可能预测得完全准确。这个误差分布的标准差就称为预测误差，而前面提到r2xy表示效标的变异可以用预测的变异来解释的百分比．那么，1-r2xy就表示与预测变量引起的变异无关的变异数，也就是误差所引起的变异数在效标变量的总变异中所占的比例，即：通化师范学院通化师范学院同一观念效标可能会有不同的效标测量预测源观念效标效标测量智力测验现实生活中表现出高智慧行为学业成绩教师评定选拔性测验工作成功产品数量产品合格率出勤率章节练习题1.在编制测验时，效度是要考虑的重要特性。如果编制最高行为测验，除了内容效度，也要求有（

）。（A）较高的表面效度（B）较好的专家判断（C）较好的外行判断（D）主观性2.效标效度的主要评估方法有（

）。（A）命中率法（B）区分法（C）失误法（D）相关法3.在测验理论中，效度被定义为在一组测量中。与测量目标有关的真实方差与（）的比率。（A）系统误差