效度与系统误差

关于效度与系统误差第1页，讲稿共41页，2023年5月2日，星期三一个现实的问题•1997年1月，湖北省政府宣布从社会各界公开招聘36名厅、局级干部(均为副职)。经过各种测验与测评,36名干部从4000

多名候选者中脱颖而出,如期上任。•其中使用的测验技术包括：结构化面试,评价中心,纸笔考试(专业知识)等。•你从测验学的角度将如何看待这一举措？不考虑政治因素。一.效度的概念第2页，讲稿共41页，2023年5月2日，星期三你如何解释下述现象？一个很聪明的孩子,测得智商是80分一个学习很好的学生,考试成绩为60分一个人缘很好的人,人际关系测量低于常模值第3页，讲稿共41页，2023年5月2日，星期三根据智力测验分数作出推断的例子

•得这个分数的人能顺利完成医学院的学业•得这个分数的人可能成为最令人满意的工程师•得这个分数的人极有可能从工厂里偷东西第4页，讲稿共41页，2023年5月2日，星期三测量效度=测量的准确性、有效性效度是一个测验能够测量其所要测量的特质的准确程度(theextentordegreetowhichthetestmeasureswhatitwasdesignedtomeasure)。•或根据测验分数做出的推断的正确性。即：这个测验测的是什么？这个测验测得准不准？•一个测验的效度不止一个,不存在一个一般的效度,因为一个测验可能测的是一个非常宽泛的概念,如智力,根据测验分数可以做出许多推断。第5页，讲稿共41页，2023年5月2日，星期三效度的概念理解1、效度是一个相对的概念。效度是相对于一定的测量目的而言的。效度不是一个全或无的概念。2、效度是系统误差和随机误差的综合反映。3、效度不是直接可以测量到的，判断一个测验是否有效要从多方面搜集证据，从证据去推论测验的效度(犹如法庭上收集证据一样)。第6页，讲稿共41页，2023年5月2日，星期三测量学中的效度概念•与测量目的有关的真实变异(或有效变异)在实测值变异中的比例•即

rXY=SV2/SX2第7页，讲稿共41页，2023年5月2日，星期三对同一测验之有效与无效的推断•使用MMPI你可以对患有心理障碍的人做出有效推断，但不能对“正常人”做出有效推断。•尺子可以用来度量长度,但不能用来度量重量,即便每次度量的结果都完全一样。第8页，讲稿共41页，2023年5月2日，星期三效度与信度关系(1)高效度,高信度(2)高信度,低效度(3)低信度,低效度信度是效度的必要而非充分条件

•rXY=SV2/SX2=(SX2-SI2-SE2)/SX2=1-SI2/SX2-SE2/SX2=rXX-SI2/SX2•SI2≥0•rxy≤rxx第9页，讲稿共41页，2023年5月2日，星期三信度的平方根为效度的最高限即

•rXYmax=rXY/(rXX*rYY)1/2•1.0≥rXY/(rXX*rYY)1/2•rXY≤(rXX*rYY)1/2•rXY≤(rXX)1/2一个测验的效度总是受它的信度所制约第10页，讲稿共41页，2023年5月2日，星期三效度的种类证明一个测验是有效的(validation),必须保证在以下三方面均是有效的

•内容(content)•效标关联或实证(criterion-relatedorempirical)•构想或结构(construct)不能只独立地保证一方面。

构想效标关联内容第11页，讲稿共41页，2023年5月2日，星期三1.内容效度(ContentValidity)及其估计

内容效度指测验实际测到的内容与所要测量的内容之间的吻合程度。•基本前提:测验试题应为所欲测内容或行为范围的有效性样本。•基本条件：

1)每个试题应与所界定内容或行为范围有适度相关

2)测验内容应能确切涵盖所界定对象之范围

3)试题分配应能反映范围内各种变项或成分所应占的比重

4)保证有一定的题量•主要用于建构或评价成就测验•依赖专家判断(基于逻辑)—定性分析•其他估计方法:复本法再测法经验法二.效度的估计第12页，讲稿共41页，2023年5月2日，星期三内容效度与表面效度Facevalidity:表面看起来测验内容与测验目的的一致性程度。市井或通俗测验多有高的表面效度，但它不能保证测量的正确性。对表面效度的要求

最高水平测验:高;典型行为测验:低提高表面效度可以起到“包装”的作用内容效度适用于领域参照测验成就测验职业(选拔与分类)测验不适用：智力与人格为什么?——基于任务目标的分析第13页，讲稿共41页，2023年5月2日，星期三2.构想效度(constructValidity)及其估计

构想效度是指测验对理论上的构想或特质的测量程度。例如:

一个测验在多大程度上测量了“幸福感”(责任感、自主性等等)？这个面试(interview)测量了人际技能了吗？第14页，讲稿共41页，2023年5月2日，星期三构想效度估计方法:假设验证与实验操作内容效度和效标关联效度都体现了构想效度考察已知组别的分数—测验内法如,将一个艺术能力测验施测两组人,艺术系和法律系学生。二者的差别？考察一个新测量与测量同一构想的现有测量的关系—测验间法如，计算两个艺术能力测验的相关•发展(年龄)变化如,艺术能力随年龄而变吗?•实验(干预)研究如,力图提高艺术能力的干预措施确实提高了在艺术能力测量上的分数了吗？第15页，讲稿共41页，2023年5月2日，星期三一组度量的因素分析如，有20个艺术能力测验,但这些测验只测量了艺术能力的两个共同特质：创造力和灵巧性。这些共同特质称为因素相容(聚合)效度(convergentvalidation)

如，一个艺术能力测验与其他艺术能力测验、创造力测验以及去当地艺术博物馆的频率等有高相关区分效度(discriminantvalidation)

如，一个艺术能力测验与耐力(力量)测验或与去体育馆的频率等没有相关第16页，讲稿共41页，2023年5月2日，星期三因素分析(Factoranalysis,FA)一种多变量统计法。目的是降维,即用更少量的因素概括解释许多相互关联的变量。(科学的吝啬率)例如：假设你有一个包括四个部分的成就测验阅读理解词汇数学计算数学推理你可能猜想,阅读理解和词汇都测量了言语技能,数学计算和数学推理都测量了数学技能。要知道你的想法是否正确,你首先需要计算他们彼此之间的相关。第17页，讲稿共41页，2023年5月2日，星期三多特质-多方法矩阵

(multitrait-multimethodmatrix)例证P74Campbell&Fiske(1959)提出的方法,它将相容效度和区分效度两种方法结合起来验证构想效度的方法。假设我们测量了三种心理特质：

A：人格的支配性

B：社会敏感性

C：成就动机假设我们测量这些心理特质使用了四种不同的方法方法1：自陈量表方法2：投射测验方法3：同伴评定方法4：情境问卷这样就可以获得一个9*16的相关矩阵：参见教材P74第18页，讲稿共41页，2023年5月2日，星期三多种特质-多种方法的矩阵说明：实线三角形对角线上的相关系数是采用相同方法测量相同特质，是两次测量的信度系数；在虚线三角形对角线上的相关系数，是采用不同方法测量相同特质（相容效度），它们的数值越大说明测量的效度越好；实线三角形中的相关系数是采用相同方法测量不同特质的结果（区分效度），它们的数值越小说明测量的效度越好；虚线三角形中的相关系数，是采用不同方法测量不同特质的结果。一个结构效度良好的测验，矩阵的相关系数情况应该是：信度系数>相容效度系数>区分效度系数>虚线三角形中的相关系数。如果有相反的情况，表明结构效度不佳。第19页，讲稿共41页，2023年5月2日，星期三3.实证效度(效标关联效度)(Criterion-relatedvalidation)

指一个测验对处于特定情境中的个体的行为预测的准确性。即将测验分数与希望做出推断的行为联系起来(求相关)。

•希望做出推断的行为或被预测的行为是检验测验有效性的标准,简称效标(Criterion)•测验=预测源

•行为=效标

•效标效度是基于数据的(databased)

一个选拔测验与工作绩效的相关一个成就测验与年级的相关一个诚实测验与偷窃的相关第20页，讲稿共41页，2023年5月2日，星期三两种效标关联效度

•预测效度(predictive

validity)：

测验对未来表现预测得有多好

如:他会患焦虑症吗？

•同时效度(concurrent

validity)：

测验对目前表现预测得有多好

(现有状态)

如:他患有焦虑症吗？二者的一个重要差别是进行测验(即预测源)与进行效标测量之间的时间•不同时间=预测效度•同一时间=同时效度第21页，讲稿共41页，2023年5月2日，星期三方法不同

•

预测效度

学生参加高考,有些人上了北师大

以后,将他们的平均学业成绩与高

考分数求相关

这个相关称为效度系数

如果二者相关很高,那么高考成绩

对预测大学平均学业成绩来说有高

效度•同时效度

已经上了北师大的学生参加高考,同时收集他们的平均学业成绩计算测验分数与学业表现的相关•二者的差别时间被测验的人群动机和经验第22页，讲稿共41页，2023年5月2日，星期三终极效标和实际效标•预测源(predictor)是指用于预测效标的任何东西(如高考,认知能力测验)•终极效标(ultimatecriterion)是你要测量的东西(如在大学中的潜力,胜任工作)•实际效标(actualcriterion)是你实际测量的东西(如专门针对高考的学习策略上的技能加上大学中的潜力,每周的产量与次品率)•理想状况：实际效标=终极效标第23页，讲稿共41页，2023年5月2日，星期三常见的效标

•学业成就：

学科成绩,学历,获奖

•等级评定：

•临床诊断

•特殊训练成绩培训•实际的工作表现

产量、治愈率、违规次数等•对团体的区分(人口统计学变量)

年龄,种族,疾病类型•其他现成的测验第24页，讲稿共41页，2023年5月2日，星期三效标和效标测量

效标的定义效标测量:观念效标和效标测量

好的效标测量应符合以下几个条件：

1）有效性（关联性）

2）可靠性

3）客观性（抗偏性）：产生效标测量中偏差的主要原因在于效标污染

4）实用性（可得性）第25页，讲稿共41页，2023年5月2日，星期三效标效度的估计方法

相关法分组法预期表法命中率法功利率法第26页，讲稿共41页，2023年5月2日，星期三常用方法：1、相关法测验分数与效标分数之间的相关系数（1）（2）（3）选择团体获得测验分数获得效标分数根据分数性质不同采用不同相关计算法（1）积差相关系数（2）二列相关系数（3）四分相关系数（4）φ相关系数（5）列联相关系数（4）求相关系数第27页，讲稿共41页，2023年5月2日，星期三2、分组法根据被试的效标行为表现，将他们分为不同的组别（团体），如果这些组在测验分数上有显著性差异，则说明该测验的效度高。第28页，讲稿共41页，2023年5月2日，星期三3、预期表预期表法是将预测源分数和效标分数制成双维图表，并将每个变量按水平分成若干档次，这个经验型的预期表可以不用计算相关系数或其他统计数据，而只要有频数和百分比。第29页，讲稿共41页，2023年5月2日，星期三例：下表是由若干个工作候选人在职业选择测验中得分的联合频数分布构成，表中还呈现了其工作领导在雇员他们6个月之后给这些候选人的等级评定。第30页，讲稿共41页，2023年5月2日，星期三预期表绩效评定职业选择测验分数1234567896~100100/167/291~95100/282/536/486~90100/194/850/333/411/281~85100/485/1048/722/54/176~80100/688/1263/1631/134/2第31页，讲稿共41页，2023年5月2日，星期三4、命中率法决策结果决策过程关于个体的信息策略接受拒绝将会成功将会失败可能成功可能失败第32页，讲稿共41页，2023年5月2日，星期三成功失败真正的表现水平拒绝（预测失败）接受（预测成功）命中（正确的消极）命中（正确的积极）失误（错误的消极）失误（错误的积极）第33页，讲稿共41页，2023年5月2日，星期三总命中率（基率，baserate）表示被认为潜在成功的人的百分比命中/（命中+失误）*100%正命中率（选择比率，selectionratio）表示决策制定者在其决策中的选择程度正确的积极/预测成功人数*100%当测验用于提高工作或学习效率时，应重视正命中率；当强调维护社会公平时，则应重视总命中率。第34页，讲稿共41页，2023年5月2日，星期三5、功利率法对使用测验的投入和产出进行比较，这种效度指标叫功利率。

U=B(Ns)-C(Na)-SU:效度

B:录用一个合格的人所产生的平均利润

C:录用一个不合格的人所造成的损失

Ns,Na：录用合格和不合格的人数

S：整个选拔过程的费用第35页，讲稿共41页，2023年5月2日，星期三

三种效度的比较效度类型含义考察的关系确定的方法内容效度指测验题目对所要测