效度和系统误差

1、关于效度与系统误差第一张，PPT共四十一页，创作于2022年6月一个现实的问题 1997年1月，湖北省政府宣布从社会各界 公开招聘36名厅、局级干部(均为副职)。 经过各种测验与测评,36名干部从4000 多名候选者中脱颖而出,如期上任。 其中使用的测验技术包括：结构化面试,评价中心,纸笔考试(专业知识)等。 你从测验学的角度将如何看待这一举措？不考虑政治因素。一. 效度的概念第二张，PPT共四十一页，创作于2022年6月你如何解释下述现象？一个很聪明的孩子,测得智商是80分一个学习很好的学生,考试成绩为60分一个人缘很好的人,人际关系测量低于常模值第三张，PPT共四十一页，创作于2022年6

2、月根据智力测验分数作出推断的例子 得这个分数的人能顺利完成医学院的学业 得这个分数的人可能成为最令人满意的工程师 得这个分数的人极有可能从工厂里偷东西第四张，PPT共四十一页，创作于2022年6月测量效度=测量的准确性、有效性效度是一个测验能够测量其所要测量的特质的准确程度(the extent or degree to which the test measures what it was designed to measure)。 或根据测验分数做出的推断的正确性。 即：这个测验测的是什么？ 这个测验测得准不准？ 一个测验的效度不止一个,不存在一个一般的效度,因为一个测验可能测的是一个非常

3、宽泛的概念,如智力,根据测验分数可以做出许多推断。第五张，PPT共四十一页，创作于2022年6月效度的概念理解1、效度是一个相对的概念。 效度是相对于一定的测量目的而言的。 效度不是一个全或无的概念。 2、效度是系统误差和随机误差的综合反映。3、效度不是直接可以测量到的，判断一个测验是否有效要从多方面搜集证据，从证据去推论测验的效度 (犹如法庭上收集证据一样) 。 第六张，PPT共四十一页，创作于2022年6月测量学中的效度概念 与测量目的有关的真实变异(或有效变异)在实测值变异中的比例即 rXY=SV2/SX2第七张，PPT共四十一页，创作于2022年6月对同一测验之有效与无效的推断 使用M

4、MPI你可以对患有心理障碍的人做出有效推断，但不能对“正常人”做出有效推断。 尺子可以用来度量长度,但不能用来度 量重量,即便每次度量的结果都完全一样。第八张，PPT共四十一页，创作于2022年6月效度与信度关系(1)高效度,高信度 (2)高信度,低效度 (3)低信度, 低效度信度是效度的必要而非充分条件 rXY=SV2/SX2 =(SX2- SI2 - SE2)/ SX2 =1- SI2 / SX2 - SE2 / SX2 = rXX - SI2 / SX2 SI2 0 rxy rxx第九张，PPT共四十一页，创作于2022年6月信度的平方根为效度的最高限 即 rXYmax=rXY/(rXX

5、*rYY)1/2 1.0rXY/(rXX*rYY)1/2 rXY(rXX*rYY)1/2 rXY(rXX)1/2一个测验的效度总是受它的信度所制约第十张，PPT共四十一页，创作于2022年6月效度的种类证明一个测验是有效的(validation),必须保证在以下三方面均是有效的 内容(content) 效标关联或实证(criterion-related or empirical) 构想或结构(construct)不能只独立地保证一方面。 构想效标关联 内容第十一张，PPT共四十一页，创作于2022年6月1.内容效度(Content Validity)及其估计 内容效度指测验实际测到的内容与所要

6、测量的内容之间的吻合程度。 基本前提: 测验试题应为所欲测内容或行为范围的有效性样本。 基本条件： 1)每个试题应与所界定内容或行为范围有适度相关 2)测验内容应能确切涵盖所界定对象之范围 3)试题分配应能反映范围内各种变项或成分所应占 的比重 4)保证有一定的题量 主要用于建构或评价成就测验 依赖专家判断(基于逻辑)定性分析 其他估计方法: 复本法 再测法 经验法二. 效度的估计第十二张，PPT共四十一页，创作于2022年6月内容效度与表面效度Face validity: 表面看起来测验内容与测验目的的一致性程度。市井或通俗测验多有高的表面效度，但它不能保证测量的正确性。对表面效度的要求 最

7、高水平测验: 高; 典型行为测验: 低提高表面效度可以起到“包装”的作用内容效度适用于领域参照测验 成就测验 职业(选拔与分类)测验不适用：智力与人格为什么?基于任务目标的分析第十三张，PPT共四十一页，创作于2022年6月2.构想效度(construct Validity)及其估计 构想效度是指测验对理论上的构想或特质的测量程度。例如: 一个测验在多大程度上测量了“幸福感”(责任感、自主性等等)？这个面试(interview)测量了人际技能了吗？第十四张，PPT共四十一页，创作于2022年6月构想效度估计方法:假设验证与实验操作内容效度和效标关联效度都体现了构想效度考察已知组别的分数测验内法

8、 如,将一个艺术能力测验施测两组人,艺术系和法律系学生。二者的差别？考察一个新测量与测量同一构想的现有测量的关系测验间法 如，计算两个艺术能力测验的相关 发展(年龄)变化 如,艺术能力随年龄而变吗? 实验(干预)研究 如,力图提高艺术能力的干预措施确实提高了 在艺术能力测量上的分数了吗？第十五张，PPT共四十一页，创作于2022年6月一组度量的因素分析 如，有20个艺术能力测验,但这些测验只测量了艺术能力的两个共同特质：创造力和灵巧性。这些共同特质称为因素相容(聚合)效度(convergent validation) 如，一个艺术能力测验与其他艺术能力测验、创造力测验以及去当地艺术博物馆的频率

9、等有高相关区分效度(discriminant validation) 如，一个艺术能力测验与耐力(力量)测验或与去体育馆的频率等没有相关第十六张，PPT共四十一页，创作于2022年6月因素分析(Factor analysis, FA)一种多变量统计法。目的是降维,即用更少量的因素概括解释许多相互关联的变量。(科学的吝啬率)例如：假设你有一个包括四个部分的成就测验 阅读理解 词汇 数学计算 数学推理你可能猜想,阅读理解和词汇都测量了言语技能,数学计算和数学推理都测量了数学技能。要知道你的想法是否正确,你首先需要计算他们彼此之间的相关。第十七张，PPT共四十一页，创作于2022年6月多特质-多方法

10、矩阵 (multitrait-multimethod matrix) 例证P74Campbell & Fiske(1959)提出的方法,它将相容效度和区分效度两种方法结合起来验证构想效度的方法。假设我们测量了三种心理特质： A：人格的支配性 B：社会敏感性 C：成就动机假设我们测量这些心理特质使用了四种不同的方法 方法1：自陈量表 方法2：投射测验 方法3：同伴评定 方法4：情境问卷这样就可以获得一个9*16的相关矩阵：参见教材P74第十八张，PPT共四十一页，创作于2022年6月多种特质-多种方法的矩阵说明：实线三角形对角线上的相关系数是采用相同方法测量相同特质，是两次测量的信度系数；在虚线

11、三角形对角线上的相关系数，是采用不同方法测量相同特质（相容效度），它们的数值越大说明测量的效度越好；实线三角形中的相关系数是采用相同方法测量不同特质的结果（区分效度），它们的数值越小说明测量的效度越好；虚线三角形中的相关系数，是采用不同方法测量不同特质的结果。一个结构效度良好的测验，矩阵的相关系数情况应该是：信度系数相容效度系数区分效度系数虚线三角形中的相关系数。如果有相反的情况，表明结构效度不佳。第十九张，PPT共四十一页，创作于2022年6月3.实证效度(效标关联效度) (Criterion-related validation) 指一个测验对处于特定情境中的个体的行为预测的准确性。即将测

12、验分数与希望做出推断的行为联系起来(求相关)。 希望做出推断的行为或被预测的行为是检 验测验有效性的标准,简称效标(Criterion) 测验=预测源 行为=效标 效标效度是基于数据的( data based) 一个选拔测验与工作绩效的相关 一个成就测验与年级的相关 一个诚实测验与偷窃的相关第二十张，PPT共四十一页，创作于2022年6月两种效标关联效度 预测效度(predictive validity)： 测验对未来表现预测得有多好 如:他会患焦虑症吗？ 同时效度(concurrent validity)： 测验对目前表现预测得有多好 (现有状态) 如:他患有焦虑症吗？二者的一个重要差别 是

13、进行测验(即预测源)与进行效标测量之间的时间 不同时间=预测效度 同一时间=同时效度第二十一张，PPT共四十一页，创作于2022年6月方法不同 预测效度 学生参加高考,有些人上了北师大 以后,将他们的平均学业成绩与高 考分数求相关这个相关称为效度系数 如果二者相关很高,那么高考成绩 对预测大学平均学业成绩来说有高 效度 同时效度 已经上了北师大的学生参加高考,同时收集他们的平均学业成绩计算测验分数与学业表现的相关 二者的差别 时间 被测验的人群 动机和经验第二十二张，PPT共四十一页，创作于2022年6月终极效标和实际效标 预测源(predictor)是指用于预测效标的任何东西(如高考,认知能

14、力测验) 终极效标(ultimate criterion)是你要测量的东西(如在大学中的潜力,胜任工作) 实际效标(actual criterion)是你实际测量的东西(如专门针对高考的学习策略上的技能加上大学中的潜力,每周的产量与次品率)理想状况：实际效标=终极效标第二十三张，PPT共四十一页，创作于2022年6月常见的效标学业成就： 学科成绩,学历,获奖 等级评定： 临床诊断 特殊训练成绩培训 实际的工作表现 产量、治愈率、违规次数等 对团体的区分(人口统计学变量) 年龄,种族,疾病类型 其他现成的测验第二十四张，PPT共四十一页，创作于2022年6月效标和效标测量 效标的定义 效标测量:

15、 观念效标和效标测量 好的效标测量应符合以下几个条件： 1）有效性（关联性） 2）可靠性 3）客观性（抗偏性）：产生效标测量中偏差的主要 原因在于效标污染 4）实用性（可得性）第二十五张，PPT共四十一页，创作于2022年6月效标效度的估计方法 相关法 分组法 预期表法 命中率法 功利率法第二十六张，PPT共四十一页，创作于2022年6月常用方法：1、相关法 测验分数与效标分数之间的相关系数 （1） （2） （3） 选择团体 获得测验分数 获得效标分数根据分数性质不同采用不同相关计算法（1）积差相关系数（2）二列相关系数（3）四分相关系数（4）相关系数（5）列联相关系数（4）求相关系数第二十七

16、张，PPT共四十一页，创作于2022年6月2、分组法根据被试的效标行为表现，将他们分为不同的组别（团体），如果这些组在测验分数上有显著性差异，则说明该测验的效度高。第二十八张，PPT共四十一页，创作于2022年6月3、预期表预期表法是将预测源分数和效标分数制成双维图表，并将每个变量按水平分成若干档次，这个经验型的预期表可以不用计算相关系数或其他统计数据，而只要有频数和百分比。第二十九张，PPT共四十一页，创作于2022年6月例：下表是由若干个工作候选人在职业选择测验中得分的联合频数分布构成，表中还呈现了其工作领导在雇员他们6个月之后给这些候选人的等级评定。第三十张，PPT共四十一页，创作于20

17、22年6月预期表绩效评定职业选择测验分数1234567896100100/167/29195100/282/536/48690100/194/850/333/411/28185100/485/1048/722/54/17680100/688/1263/1631/134/2第三十一张，PPT共四十一页，创作于2022年6月4、命中率法 决策 结果 决策过程关于个体的信息策略接受拒绝将会成功将会失败可能成功可能失败第三十二张，PPT共四十一页，创作于2022年6月成功失败真正的表现水平拒绝（预测失败）接受（预测成功）命中（正确的消极）命中（正确的积极）失误（错误的消极）失误（错误的积极）第三十三张

18、，PPT共四十一页，创作于2022年6月总命中率（基率，base rate ） 表示被认为潜在成功的人的百分比 命中/（命中+失误）*100%正命中率（选择比率，selection ratio） 表示决策制定者在其决策中的选择程度 正确的积极/预测成功人数*100%当测验用于提高工作或学习效率时，应重视正命中率；当强调维护社会公平时，则应重视总命中率。第三十四张，PPT共四十一页，创作于2022年6月5、功利率法 对使用测验的投入和产出进行比较，这种效度指标叫功利率。 U=B(Ns)-C(Na)-S U:效度 B:录用一个合格的人所产生的平均利润 C:录用一个不合格的人所造成的损失 Ns,Na：录用合格和不合格的人数 S：整个选拔过程的费用第三十五张，PPT共四十一页，创作于2022年6月 三种效度的比较效度类型含义考察的关系确定的方法内容效度指测验题目对所要测量的内容范围的代表性程度考察测验题目与测量内容范围之间的关系逻辑分析法、教学前测与后测法效标关联效度以测验分数与效标测量分数之间的关系表示的效度 考察测验分数与效标测量分数之间关系相关法、区