第五章 测量效度

第五章测量效度第五章测量效度

第一节效度概述效度所要回答的问题：(1)测验测量的是什么？(2)对它所测量的东西测量到什么程度？一、效度的概念CTT认为，效度(validity)是指一个测验或量表实际能测出其所要测的心理特质的程度。第五章测量效度

第一节效度概述（一）对效度概念的理解1效度是一个相对的概念：(1)效度是相对于一定的测量目的而言的(2)心理测验只能达到某种程度上的准确。2效度是测量的随机误差和系统误差的综合反映。3判断一个测量是否有效要从多方面收集证据第五章测量效度

第一节效度概述（二）效度的数学定义及其基本原理回顾前面介绍的CTT的内容：一组测验分数的总变异(S2X)包括三部分：真实的（稳定的）、与测量目的有关的变异(S2V)真实的、但出自无关来源的变异(S2I)

随机误差的变异(S2E)第五章测量效度

第一节效度概述（二）效度的数学定义及其基本原理三者关系如下：S2X=S2V+S2I+S2ECTT将测量效度定义为：在一列测量中，与测量目的有关的真实变异数（由所要测量的变因引起的有效变异数）与总变异数（实得变异数）的比率。val.=S2V/S2X=r2XY第五章测量效度

第一节效度概述二、效度与信度的关系根据公式S2X=S2V+S2I+S2E，可以得到信度与效度的关系如下：（一）信度是效度的必要条件而非充分条件。信度高效度不一定高，效度高则信度一定高；信度低，效度不可能高，效度低，信度有可能高。（二）测验的效度受它的信度制约,效度以信度为上限。第五章测量效度

第二节效度的估计一、内容效度：用测量的内容来说明目的二、结构效度：用心理学上某种理论结构来说明目的三、实证效度：用工作实效来说明目的第五章测量效度

第二节效度的估计一、内容效度（一）含义及应用范围1内容效度(contentrelatedvalidity)，又称内容关联效度，是指一个测验实际测到的内容与所要测量的内容之间的吻合程度，也即测验项目在多大程度上表示了所要测定的特征范畴。如，如果要从一批待业人员中挑选机床工，所用的测验项目就应该能表明机床操作能力的范畴。第五章测量效度

第二节效度的估计一、内容效度（一）含义及应用范围2内容效度通常包括欲测的知识范围，以及该范围内各知识点所要求掌握的程度两个方面。一般以双向细目表的形式呈现。双向细目表是一个测量的内容材料维度和行为技能所构成的表格，它能帮助成就测量工具的编制者决定应该选择哪些方面的题目以及各类型题目应占的比例。第五章测量效度

第二节效度的估计一、内容效度（一）含义及应用范围2要想使测验的内容效度高，必须有两个条件：内容的范围或行为总体必须界定明确；测验题目应该是所界定的内容范围的代表性样本。第五章测量效度

第二节效度的估计一、内容效度（一）含义及应用范围3内容效度的应用成就测验教育测量中的标准(目标)参照测验职业测验不适合用于能力倾向测验和人格测验第五章测量效度

第二节效度的估计一、内容效度（一）含义及应用范围4内容效度与表面效度表面效度(surfacevalidity)：指一个测验看起来好像是测量所要测的东西的程度。不是一种客观指标，但会影响被试测验动机。适当的表面效度最佳行为测验表面效度高，其他测验则希望表面效度低。第五章测量效度

第二节效度的估计一、内容效度（二）内容效度的确定方法1逻辑分析法：请有关专家对测验题目与原定内容范围的吻合程度作出判断，具体步骤是：（1）明确欲测内容的范围，包括知识范围和能力要求两个方面；（2）确定每个题目所测的内容，并与测验编制者所列的双向细目表对照对照；（3）制定评定量表，考察一系列指标，对整个测验的有效性作出总的评价；第五章测量效度

第二节效度的估计一、内容效度（二）内容效度的确定方法1逻辑分析法的特点缺点：①无法量化；②指标判断不一致；③由于教育思想不同，所以判断内容范围时不一致。第五章测量效度

第二节效度的估计一、内容效度（二）内容效度的确定方法2内容效度的统计分析方法：Cronbach提出，两测验的相关法3再测法：处理后的重测法第五章测量效度

第二节效度的估计二、实证效度（一）实证效度的含义、种类及作用1含义：实证效度是指一个测验对处于特定情境中的个体的行为进行估计的有效性。即以实践的效果来作为检验标准，所以也叫效标关联效度。被估计的行为是检验测验效度的标准，称为效标。一个测验，用于预测夫妻间的婚姻状况是幸福美满还是离异。婚姻状况就是效标第五章测量效度

第二节效度的估计二、实证效度（一）实证效度的含义、种类及作用实证效度可以用测验分数和效度标准之间的相关系数，来表示测验效度的高低，所以又称之为统计效度。又由于实证效度主要重视那些与测验独立的效标行为，而不太注重测验内容或结构，也称效标关联效度。第五章测量效度

第二节效度的估计二、实证效度（一）实证效度的含义、种类及作用2实证效度的种类和作用同时效度表达的是测验与同时进行的效标之间的效度关系。如学习障碍测验和学校表现，这里学习障碍测验的施测和效标的测量是同时进行的，因为测验的目的是要解释个体现在为什么在学习上有困难。测验可能会提供诊断性的信息帮助我们制定指导个体的学习计划。同时效度用于诊断现状。第五章测量效度

第二节效度的估计二、实证效度（一）实证效度的含义、种类及作用2实证效度的种类和作用预测效度表达的是测验与将来进行的效标之间的效度关系。预测效度用于预测某个个体将来的行为。第五章测量效度

第二节效度的估计二、实证效度（一）实证效度的含义、种类及作用2实证效度的种类和作用“某人具有这种能力吗？”“某人会有这种能力吗？”“某人的心理正常吗？”“某人会出心理问题吗？”“某人有资格当优秀飞行员吗?”“某人具备成为优秀飞行员的必要条件吗？”第五章测量效度

第二节效度的估计二、实证效度（二）效标1即效度标准(validitycriterion)，是衡量一个测验是否有效的外在标准。它独立于测验结果，并可以从实践中直接获得我们感兴趣的行为，也称效标行为。例：企业的招聘考试可以用工作人员的工作成绩作为效标，因为二者是独立评定的，且后者反映了前者的目的;医生的临床诊断不能依据被试人格测验的分数。效标污染(CriterionContamination)，评定者由于知道了被试的测验分数而影响了对其效标分数的评定。第五章测量效度

第二节效度的估计二、实证效度（二）效标2观念效标与效标测量观念效标是效标的理论定义。效标测量是效标的操作定义，效标测量必须能真正反映观念效标。第五章测量效度

第二节效度的估计二、实证效度（二）效标2观念效标与效标测量选择效标时首先要进行逻辑分析，判断被试的某种行为表现与所要测量的心理特质间是否有对应关系，如果所测特质是该行为表现的决定因素或主要影响因素，则这一行为表现就可作为相应测验的效标。观念效标确定后就要将其数量化，即以具体的测量指标表示效标行为水平的高低，这就是效标的测量。第五章测量效度

第二节效度的估计二、实证效度（二）效标3效标的特性：①多样性:同一个观念效标可以有多个效标测验；②复杂性每一种效标都由多种特质构成，因此效标测量是件极为复杂的事。比如，产品的数量这一效标就包含着专业知识、熟练程度、反应速度以及体力状况等多种成分。另外，个体之间的差异更增加了效标的复杂性。在效标成分复杂的情况下，应采取分析的方法，找出几种主要成分，并给予不同的权重，进而确定测验的合成效度。第五章测量效度

第二节效度的估计二、实证效度（二）效标3效标的特性：③特殊性在具体情境条件下形成的效标具有其特殊性。，以大学四年的学习成绩作为高考测验的效标，由于不同的学校、不同的专业、不同的老师、不同的教材以及不同的考试命题，会使同一种高考测验获得很不一致的效果。为了克服效标的特殊性，必须通过科学、合理的取样增强其普遍性，形成统一的标准和要求，以获得有代表性的效标资料。④时间性从时间上可以将效标分为近期效标和最终效标。比如，对于一个营销能力测验，我们可以用市场营销专业学生在校的成绩作为效标，这是近期效标；而最后效标是毕业生从事实际工作时的销售业绩。第五章测量效度

第二节效度的估计二、实证效度（二）效标4效标测量的条件通常把测验效度报告为测验分数与该效标的直接的、独立的测量之间的相关系数。条件：①有效性效标测量能真实地反映观念效标的重要侧面②可靠性如果效标本身不稳定，经常随时间和环境的改变而改变，就不能与测验分数形成稳定的相关，很难说明测验的真正效度。

③客观性减少偏见和效标污染。④实用性在保证有效性的前提下，效标测量必须尽可能简单、省时、花费少。第五章测量效度

第二节效度的估计二、实证效度（二）效标5常用的效标：学业成就(academicachievement)等级评定(ratings)特殊训练课程成绩(performanceinspecializedtraining)实际工作表现(jobperformance)对照组(contrastedgroups)精神病诊断((psychiatricdiagnosis)先前己有的测验((previouslyavailabletests)第五章测量效度

第二节效度的估计二、实证效度（三）实证效度的确定方法1三步骤：①明确观念效标；②确定效标测量；③考察测验分数与效标测量的关系。第五章测量效度

第二节效度的估计二、实证效度（三）实证效度的确定方法2从效度估计的方法看，可以用以下方法：①相关系数法计算测验分数与效标测量的相关系数。第五章测量效度

第二节效度的估计二、实证效度（三）实证效度的确定方法2从效度估计的方法看，可以用以下方法②区分法或分组检验法思路：被试接受测验后，让他们工作一段时间，再根据工作成绩(效标测量结果)分为两个极端组（成功与不成功，合格与不合格），然后检验这两组被试原来的测验分数是否具有统计学上的差异显著性。第五章测量效度

第二节效度的估计二、实证效度（三）实证效度的确定方法③命中率或取舍正确性命中率的计算方法是：先根据测验的临界分数将被试分为成功与不成功的两类，再根据效标将被试分为成功与不成功的两类。这样被试就分成了四类：在测验分数上成功而在效标分数上也成功的（A）；在测验分数上成功而在效标分数上不成功的（B）；在测验分数上不成功而在效标分数上成功的（C）；在测验分数和效标分数上都不成功的（D）四类。第五章测量效度

第二节效度的估计二、实证效度（三）实证效度的确定方法③命中率或取舍正确性第五章测量效度

第二节