硕二心理测量课件第二次第五章效度

第五章测量的效度一个现实的问题1997年1月，北京市政府宣布从社会各界公开招聘56名厅、局级干部(均为副职)。经过各种测验与测评，57名干部从2000多名候选者中脱颖而出，如期上任。其中使用的测验技术包括：结构化面试，评价中心，纸笔考试（专业知识）等。你从测验学的角度将如何看待这一举措？不考虑政治因素。根据测验分数作出推断的例子得这个分数的人能顺利完成医学院的训练得这个分数的人可能成为最令人满意的工程师得这个分数的人极有可能从工厂里偷东西第一节效度概述一、什么是效度：一种推断和预测效度（validity）是指一个测验或量表实际能测出其所要测的心理特质的程度（符合程度、准确性）。心理测验的准确性心理测验的有效性在编制或修订心理测验时，效度研究是必须的环节，效度资料是测验手册里必备的测量学指标。在使用心理测验时，没有效度资料的测验也不能使用。真分数理论

观测分数的变异(SX2)为真分数的变异(ST2)和测量误差的变异之和

(SE2)

SX2

=ST2+SE2真分数的变异(ST2)

分解为测量目的有关的变异（SV2）、与测量目的无关但却稳定的变异（SI2）变异之和,即

ST2=SV2+SI2

合并两式

SX2

=SV2+SI2+SE2效度：实测分数变异中由所测量的特性造成的变异所占的百分比

Val

=SV2/SX2

=r2xy

r2xy表示测量的效度系数。效度的数学定义如何理解效度的概念效度是一个相对的概念。效度是相对于一定的测量目的而言的。心理测量不可能达到100%准确，只是某种程度上的准确。效度是随机误差和系统误差的综合反映。判断一个测量的效度要从多个方面收集证据。二、效度与信度的关系SE2SI2与测量目的无关SV2与测量目的有关SX2ST2

图示和例子：算术测验Sv2SI2SE2SX2二、效度与信度的关系信度高是效度高的必要而非充分的条件一个测验效度高，其信度也必然高；但一个测验信度高，其效度不一定高。测验的效度受它的信度制约rXY≤rXX一个测验的信度必然比效度高，至少相等。（信度系数的平方根为信度指数，即：效度系数的最高限度是信度指数）内容效度（contentvalidity）构想或结构(constructvalidity)效标关联或实证效度(criterion-relatedorempirical

validity)第二节效度的估计构想内容效标关联

表面效度（facevalidity）不能算是一种效度；它并不是指测验实际上所要测量的东西，而只是测验表面上看起来所要测量的东西。是指对于参加测验者、决定采用测验的管理人员、以及其它未经专门训练的旁观者来说，测验是否“看起来有效”。表面效度高的测验，有利于促进被试的测验动机。

表面效度表面效度的定性或定量分析：被试、对心理测量感兴趣的非专业人员来评定测验对于其用途的适用性。如何提高测验的表面效度？修改测验项目的措辞，使它在应用测验的特定情境中看起来相关或合理。成就测验、职业兴趣测验：要求有较高的表面效度人格测验：不要求过高的表面效度。

1.你是否以伤害你所喜欢的人而感到快乐

2.你是否认为结婚制度过时了，应该废止

3.你是否觉得人们为了未来有保障而办理储蓄和保险所花的时间太多

一、内容效度

内容效度的性质内容效度（contentvalidity）是指测验题目对有关内容或行为取样的适当程度，即一个测验实际测到的内容与所要测量的内容之间的吻合程度。一个测验要有内容效度必须具备两个条件：要有定义完好的内容范围测验题目应是所界定的内容范围的代表性取样。内容效度的评估方法1.逻辑分析法：专家判断专家根据自己的知识经验对量表的有效性（逻辑性）作出判断，也称逻辑效度。1.定义好测验内容的总体范围；2.编制双向细目表，确定内容的具体细节各自所占的比例；3.由每位评判者在评定量表上作出判断。双向细目标：

例：小学自然常识测验编题计划知识理解应用分析综合评价合计生物世界35632120资源利用23311010动力与机械23420112物质与能量56832125气象24322013宇宙25410012地球2221108合计1828301388100③制定一个相应的评定量表来评价效度，以考察项目对所定义的内容范围的覆盖率、判断题目的难度与能力要求之间的差异，还要考察各种题目数量和分数的比例以及题目形式对内容的适当性，对整个测验的有效性作出总的评价。内容效度的评估方法2、统计分析法计算两个评分者之间评定的一致性（评分者信度）两个测验复本上得分之相关（复本信度）再测法也可用于内容效度的评估（测验-学习-再测验）如果后测成绩优于前测成绩，说明该测验具有一定的内容效度。3、经验推测法这种效度是通过实践来检验效度内容效度的特点和评价适用范围内容效度主要应用于成就测验，也适合于某些用于选拔和分类的职业测验。但不适用于能力倾向测验和人格测验。缺乏理想的数量指标内容效度不是表面效度表面效度（surfacevalidity）：被试或外行人对某个测验从表面上看好像是测某种心理特质的程度。并不是一种真正的效度。（非凡少年）人格测验要求表面效度不宜过高。（学校招生——家长）二、构想效度构想效度的定义是指一个测验实际测到所要测量的理论结构或特质的程度，或者说测验分数能够说明心理学理论的某种结构或特质的程度。

特点具有不同理论构思的测验，结构效度无法比较；结构效度有时很难获得；结构效度没有单一的指标，是由各方面的证据累积起来进行评价的。构想或结构：指心理学理论所涉及到的抽象而属假设性的概念或特质如智力、人格、抑郁以及焦虑等，它们通常用某种操作来定义，用测验来测量。举例：韦克斯勒将智力定义为个体有目的地行动，理智的思考以及有效地应对环境的整体的或综合的能力。根据这一定义，他将智力分为言语智力和操作智力，采用不同的测验来测量。言语智力：常识、数字广度、词汇、算术、理解、类同操作智力：填图、图片排列、积木图案、物体拼凑、数字符号。构想的特点：本质上是某些规律性的抽象总结与具体、可观察到的存在和事件有关如引力：看不见的一种力；和落下的苹果。心理学构念总是直接或间接地与行为和经验联系在一起构念明确化心理测量过程基于具体、可观察的行为；心理测验能否提供对抽象构念的量度？必须首先将构念用具体行为加以翻译，在具体行为和抽象构念之间建立关系的翻译过程就称为“构念明确化”，步骤如下：找出与测量构念相关联的行为；找到与测量构念有关或无关的其它构念；找出与其它构念相关的行为；再根据构念间的关系，确定这些行为与测量构念的关系“攻击性”构念明确化过程构念效度图通过明确化过程，建立构念关系图：虽然我们仍不能准确定义“攻击性”；但我们可以描述攻击性儿童怎样行为；因而通过观察儿童行为，我们可以测量儿童的攻击性水平程度。评估构念效度：如果测验分数和行为测量之间关系模式与构念关系图所预期的那样，则该测验的构念效度就高攻击性构念效度评估某注意力的理论,注意有如下特征:1.稳定性2.集中性3.转移性4.分配5.范围

保持性注意几种常用评估构念效度方法求构念测验分数与其它测验分数的相关；如上例。因素分析（因素与变量的关系）；因素相当于构念，变量对应行为。实验法验证构念具体方法：测验内部寻找证据法1、对测验本身的分析测验的内容效度测验的内部一致性指标分析被试者对题目的反应特点（口头报告）2、测验之间寻找证据法相容效度：新老测验之间的相关（两测验测的是同一心理特质）。若相关高，说明新测验可能有较高的效度。区分效度：新老测验之间的相关（两测验测的不是同一心理特质），若相关低，说明新测验可能有较高效度。因素分析法：得出的因素符合理论构思，说明效度高。3、考察测验的实证效度法根据效标把被试分组，考察其得分差异。根据测验得分差异把被试分组，考察其所测特质（行为表现）的差异。搜集某些变异上的证据智力随年龄变化而变化4、多种特质-多种方法矩阵法（Multitrait-MultimethodApproach）——用多种方法（测验、观察、老师评价）测量多个构念（智力、诚实、攻击性）：同一构念不同方法的分数应当高相关（聚合效度）不同特质测量分数应当低相关（区分效度）同一方法不同构念间的相关应当低；如果较高，则反映出方法偏差（Methodbias）A1B1C1A2B2C2A3B3C3A10.90B10.500.89C10.350.410.81A20.580.250.100.95B20.210.590.090.630.91C20.140.130.500.570.530.85A30.550.200.130.690.320.300.93B30.110.600.190.200.680.290.500.96C30.150.200.700.210.190.670.530.510.92信度汇聚效度区分效度会聚效度

(convergentvalidation)会聚效度：如果用不同方法测量同一种构想，那么这些分数应有高相关。这些同一构想的不同度量称为“效度对角线”(validitydiagonal)。区分效度

(discriminantvalidity)确定区分效度的方法有三种1、由不同方法度量的不同特质之间应大于或小于由不同方法度量同一种特质之间的相关？小于。比较MMM中的三角形看一下实线白色三角形，三种特质之间的相关模式是否不因测量方法是1还是2而发生变化，保持一致？再看一下虚线三角形三角形。相关模式相同吗？一个是用1法度量三种特质间的相关，另一个是2法度量。区分效度2、如果方法都是无偏差的，用同一种方法测量的不同特质之间的相关应大于还是小于由不同方法测量的同一种特质之间的相关？小于！3、如果方法都是无偏差的，不管如何测量三个特质，三种特质之间的相关是否应具有相似的模式？是！区分效度：小结有三种区分效度不同方法测量不同特质之间的相关应小于效度对角线同一方法测量不同特质之间的相关应小于效度对角线可比三角形中应表现同一相关模式MMM原理对构想效度的评价有些构想概念模糊，缺乏一致的定义没有明确的操作步骤与程序没有单一的数量指标内容效度与构念效度的异同内容效度依赖于测验项目的代表性；构念效度则有赖与测验分数的关系是否与构念关系相符合。内容效度评估具体领域测验，如课堂测验；构念效度则用来评估抽象构念测验，如攻击性。两者结合起来能够提供更强的效度证据：内容效度使测验看起来有效；构念效度使测验用起来有效。三、实证效度实证效度的定义实证效度是指一个测验对处于特定情境中的个体的行为进行估计的有效性。被估计的行为是检验测验效度的标准，简称效标。所以，实证效度又称效标关联效度（criterion-relatedvalidity）。效标：衡量一个测验是否有效的外在标准，是独立于测验并可以从实践中直接获得的我们所要预测的行为。观念效标：概念如：大学学习的“成功”或“失败”效标测量：对观念效标的数量化如：大学的学习成绩如果没有效标测量，观念效标就毫无用处。效标的特性多样性：一个测验可能有不同的观念效标，同一个观念效标又可能有不同的效标测量。复杂性：几乎每一种效标行为都由多种特质构成，包含复杂的成分。特殊性和时间性：在一种情况下有效，在另一种情况下未必有效。常见的效标：学业成就、等级评定、临床诊断、特殊训练的成绩、实际工作表现、对团体的区分、其他有效的测验

实证效度的确定方法（1）相关法测验分数与效标测量之间的相关系数。（2）区分法测验→工作效标测量（工作成绩）→分析测验分数按工作成绩分高低两组，如工作成绩高，测验得分也高；工作成绩低，测验得分也低，说明该测验是有一定效度的。（3）同时效度和预测效度分组儿童鉴别人事决策区分法区分法是检验测验分数能否有效地区分由效标所定义的团体的一种方法公式（t检验公式）

t检验统计量XH高分组平均值XL低分组平均值SH2高分组方差SL2低分组方差NH高分组样本人数NL

低分组样本人数举例：用能力倾向测验给工作成功（N=60）和工作失败（N=40）两组工人测试，工作成功组平均得分6.05，方差为3.31；工作失败组平均得分4.25，方差为1.69，问两组得分差异是否具有显著意义？虚无假设：假设两组得分的差异是由抽样误差所造成自由度(df)=NH+NL－2=60+40－2=98查t值表：t(0.01)=2.66，本例5.79>2.66，所以p<0.01结论：虚无假设成立的概率<0.01，差异有非常显著意义。

实证效度的确定方法（1）相关法（2）区分法（3）同时效度和预测效度分组儿童鉴别（非凡少年）人事决策人事决策下沉-漂浮策略（sink-swimstrategy）代价临界值（cutoffscore）选拔中的偏差选拔中的偏差X（测验分数）Y（工作绩效）简单散点图选拔中的偏差XY有准则截线（Yc）的散点图选拔中的偏差XY有预测测验截线（Xc)的散点图选拔中的偏差XY四格散点图正确接受错误接受正确拒绝错误拒绝三个历史悠久的术语基础率：在总体中自然存在着的合格人员的比例。录取率：采用测验作为筛选工具时被选拔以填补现有空职的比例（录取率的确定——确定一个临界分数）录取率=录取人数/总人数正命中率（录取正确率）：选中且成功的受测者比例（被录取者中成功的人数/录取人数）基础率=？录取率=？测验分数准则失败成功成功错误拒绝（22）正确接受（38）失败正确拒绝（33）错误接受