心理测量课件 第7章 效度

心理测量

第七章效度CONTENTS目录概述内容效度和结构效度效标效度影响效度的因素效度的应用12345附录效度的统计检验方法——因素分析PART01第一节概述01第一节概述一、效度所要回答的问题效度的基本问题是什么呢？任何测验都有它所要测量的目标，偏离这个测量目标，测验则无效。例如，在一项英语成就测验中，教师本来打算考查学生的语法知识，但是，大量的测验题目是关于动词短语的，因此造成了这样一个系统误差。也许前后两次测量结果的一致性很高，但这项测验并没有真正测量到学生掌握语法知识的程度，所以，该测验是低效的。另一方面，如果这个测验有效，那么它对于所测量的东西又能测量到什么程度呢？这两个问题是信度所不能研究的，它们就是测验效度的基本问题：一是测验测量的是什么东西？或者说，测验测到了它要测的东西吗？二是测验对它所测量的东西能测量到什么程度？效度（Validity）即有效性，是测量的有效性程度，是测量工具能测出其所要测量特质的程度，或者简单地说，是指一个测验的准确性、有用性。第一节概述二、效度的含义（一）效度的含义

效度就是一个测验对其所要测量的特性测量到什么程度的估计（效度的操作定义）。（一）效度的含义效度是针对测验结果的2.效度是针对某种特定的测验目的的3.效度具有连续性第一节概述三、效度的种类（一）内容效度

内容效度（contentvalidity）就是测验用的测题对整个测验内容范围的代表性程度。成就测验特别要注意内容效度。（一）内容效度在心理学中有许多假设性地构建出来的结构，比如说智力、内向—外向等，它们都是科学想象的产物，是用来对某些可直接观测的行为加以分类和描述的观念。心理结构是不能直接观测到的，就比如智力的测量，不同的测验编制者要根据一定的理论来编制智力测验。编制出来的测验是否真正体现了最初所依据的理论结构，以及体现该理论结构的程度就是该测验的结构效度。第一节概述三、效度的种类（三）效标效度效标效度（criterionrelatedvalidity）也称经验效度或统计效度，曾译为准则关联效度，用测验分数和效标分数之间的相关系数rXY来表示，它实质上是指测验分数对某一行为表现的预测能力的高低。根据获取校标资料时间的不同，效标效度又可分为同时效度和预测效度。第一节概述四、效度与信度的关系（一）高信度是高效度的必要条件，而不是充分条件高信度并不一定能保证高效度（高信度≠高效度），但如果测验具有高效度，就可以肯定它具有高信度（高效度=高信度），所以说信度高是效度高的必要条件，而不是充分条件。（二）信度系数的平方根是效度系数的最高限度测验的效标效度与测验本身的信度和效标测量的信度有关，如果这两个信度低，则效度系数就会降低，从而低估了测验的真实效度，这时要对效度系数进行矫正。PART02第二节内容效度和结构效度02一、内容效度（一）含义

效度研究的目的是要评估测题是否充分代表了所要测量的内容范围，即测验题目对有关内容或行为范围取样的适当性，它所关注的是测验的内容方面。（二）验证和提高内容效度的方法

专家评定是一种确定内容效度的典型程序，它要求一组独立的专家（他们不是测验的编制者，但都非常熟悉所测量的内容领域）判断测验题目对所研究的领域的取样是否具有代表性，通过这些评定资料来确定一个测验的内容效度。确定测验的内容效度是效度验证过程中的事情。在测验编制之前要做的第一步便是尽可能明确而详尽地规定应测量的领域，编写出双向细目表。在评估内容效度时，还必须考虑到国家、种族、性别差异等因素是否与内容效度的判定有关。第二节内容效度和结构效度一、内容效度（三）表面效度在讲内容效度时，必须区分内容效度和表面效度。表面效度是指测验使用者或被试的主观认识上觉得有效的程度。顾名思义，表面效度就是一个测验在使用者或被试看来，直觉地被认为它在测量什么，是否测到了测验所要测量的东西。这种认识是主观的。严格来说，表面效度不算是效度，它只是表面上的东西。第二节内容效度和结构效度二、结构效度（一）定义如前所述，结构效度是测验能说明心理学上的理论结构或特质的程度，或用心理学上某种结构或特质来解释测验分数的恰当程度。其中，结构（construct）是指用来解释人类行为的理论框架或心理特质，它是心理学中抽象的假设性的概念、特性或变量。（二）验证结构效度的方法

结构效度的验证就是要考查一个测验测量到其所拟测量的结构与特质的程度。与内容效度的验证不同，结构效度的验证首先要求对所研究结构或特质进行界定（建立理论框架），说明该结构或特质的心理学意义，它与其他结构或特质之间的关系；再依据理论框架，提出各种可能的有关的假设；然后检验假设是否成立。第二节内容效度和结构效度二、结构效度（三）搜集结构效度资料的方法

1.测验内方法这种方法主要是通过研究测验内部构造（如测验的内容、对测题反应的过程，以及项目间或分测验间的关系）来分析测验的结构效度。它主要包括内容效度、被试解答测题时的反应过程和测验的同质性三个方面。（1）内容效度。（2）被试解答测题时的反应过程。（3）测验的同质性。2.测验间方法这一方法的特点是同时考虑几个测验间的相互关联，考查这些测验是否在测量同一心理结构。测验间方法有多种，如相容效度、会聚效度、区分效度及因素分析第二节内容效度和结构效度二、结构效度3.不同类型信度的特点测验可以具有多种类型的信度，由于测验所测的特质或结构不同，这些信度的取值也应表现出不同的特点。4.效标效度的研究在本章第一节中介绍了效标效度，它反映了测验对效标的预测力的高低。既然测验能够预测效标，那么效标的性质和种类也就可以作为测验所欲测量的结构的指标。5.发展水平的变化许多智力量表的效度验证都使用了智力的年龄差异这一特点。6.实验操作有些测验（如成就测验）很容易受到特殊训练的影响，而另一些测验（如智力测验）得分则不易受特殊训练的影响。根据不同测验具有不同的特性，可以预期经过某种实验处理之后将会发生哪些变化，以此推测测量某个心理结构的测验的结构效度。第二节内容效度和结构效度PART03第三节效标效度03一、效标（一）效标的含义

效标效度的实质是要检验测验分数与准则（标准）之间的相关和一致性，也即利用测验分数来推断效标的取值能够有多准确。（二）效标的测量效标要为效度的验证提供参考标准，其确定与测量必须科学，才能为效度的验证指引正确的方向。除了对效标下操作定义外，效标还必须具有如下几个特点。第一，效标应能代表理论上测验有效性的主要方面，跟所研究的问题真正相关。第二，效标测量与效标要有较高的相关性。第三，效标测量必须测量误差小，具有高信度。第三节效标效度二、效标效度的估计方法（一）效度系数1.积矩相关系数当预测分和效标分都是连续变量时，可采用积矩相关系数的计算方法来求得测验的效度系数。2.二列相关系数计算效度系数还有一种方法是二列相关的方法。第三节效标效度（二）组的分类1.基本思想如果根据被试在效标上的行为表现，将他们分为不同的组别，那么，这些组在预测分数上也应该有显著性差异。如果这些显著性差异确实存在，那么，就说这个预测的效度是较高的。二、效标效度的估计方法2.重叠量的计算

运用“组的分类”方法表示效度，要检验平均数之间的差异，就要用到均数之差的标准差，而均数的标准误SX=SXn，因此，它与样组容量的平方根成反比。均数之差的标准差也存在这种关系，那么，当样组规模n很大时，SX保持不变，则n越大，均数之差的标准误越小，这样就使得t值增大，增加了拒绝虚无假设的机会，这就意味着作出“两组具有显著性差异”这一结论的可能性提高了。也就是说，组间平均数差异在统计上的显著性取决于团体的大小，当参加测验的人数增加，则平均数之间的差异即使比较小，但在统计上也将会变得显著。要避免这一缺点，可以求出这两个分布的重叠量。第三节效标效度三、对效标效度、内容效度和结构效度的几点总结

第一，效度问题的研究基本上是两个问题：一是测量什么东西，即测验所测量的变量的性质是什么？二是测验对它所测量的东西达到何种程度，并在帮助取舍决定上效果如何（这一点将在本章第五节中加以介绍）？

第二，任何一个测验都需要各式各样的效度证据，关键在于效度是由一定的测验目的规定的，不同测验偏重于不同种类的测验效度。

第三，效度的验证通常是测验编制好之后进行的工作，但效度的基本指导思想在测验编制过程中始终起着主导作用。第三节效标效度PART04第四节影响效度的因素04一、测验本身的因素（一）测题中所用词汇和句型应简单易懂

测题中的词汇和句型应适于被试的文化水平。（二）测题的意思应表述清楚

题意含糊，容易产生歧义，以致被试产生误解，也会降低测验的效度。（三）所编制的测题应该适合所要测量的学习结果如果所要测量的是数学推理能力，但测题却是过去做过的练习，则所测量到的是记忆力而不是数学推理能力，这就降低了测验的效度。（四）测题中不能提供额外线索若测题为被试提供了额外线索，就无法确认测题是否真正测量到了所欲测量的学习结果。第四节影响效度的因素一、测验本身的因素（五）测题的编制要合理一般地，测题以由易到难的顺序排列。（六）选择题的正确答案不能有明显的组型如果测验正确答案的位置有明显的规律，学生有可能因发现规律而答对一些原本较难的题目，从而影响测验结果的效度。（七）测题数目增加测题的数目（即增加测验长度）通常可以提高测验的信度，而效度系数的最大值是信度系数的平方根（即信度指数），因此，增加测题数目也能提高测验的效度。（八）测题的难度要适当1.常模参照测验。2.标准参照测验第四节影响效度的因素二、测验实施和计分方面测验情境，如场地的布置、材料的准备等都会影响到测验的效度。此外，在实施测验的过程中，是否遵照测验使用手册的各项规定进行标准化的施测，指导语是否已将答题方式说明清楚，是否按要求进行时间限制等，也会影响到测验的效度。如果没有按照标准化的程序进行施测和客观地评分，就必然会使测验效度降低。第四节影响效度的因素三、被试的主观方面被试的兴趣、动机、情绪、态度和身体健康状况以及是否充分合作与尽力而为等，都会影响到测验结果的可靠性和正确性，即效度和信度。四、进行效度化所依据的有关效标效标效度是用测验分数与效标间的相关表示的。五、样组方面（一）样本的代表性测验是针对某一特定团体而言的，也即确认效度时所依据的样组，必须确实能够代表所要测量的对象。（二）样本规模样本的规模越大，测量误差就越小。因为测量误差随样本规模的增加有相互抵消的趋势，从而使信度得以增大。信度又是效度的必要条件，所以，信度的增加对效度的提高也有影响。（三）样本的异质性如果一个团体的测验分数完全相同，即样本具有同质性，则这个团体测验分数与效标分数的相关为0，也就是效度系数为0。因此，如果其他条件相等，样组分数全距越大，则效度系数越高。第四节影响效度的因素PART05第五节效度的应用05一、效标分数的预测及预测误差（一）效标分数的预测大家在统计学中学过回归方程：Y∧=a+bX。当预测变量与效标变量之间呈线性关系时，也就可以用最小二乘法原理对它们间的关系进行估计（二）预测误差

效度系数是以测验分数和效标分数之间的相关系数来表示的，这就意味着，效度系数（相关系数）的平方表示由测验分数所能说明的效标测量方差的比例，即效标分数中由测验分数造成的变异数的百分比。根据测验分数对效标得分进行预测总会存在一定的误差，不可能预测得完全准确。这个误差分布的标准差就称为预测误差。第五节效度的应用二、效度与人才选拔（一）基本概念1.基础率在总体中自然存在着的合格人员的比例叫作基础率。2.录取率录取率指采用测验作为筛选工具时所录取人员的比例。

第五节效度的应用（二）各比率值之间的关系第一，截点分数越高，正命中率也越高，但录取率却低。第二，随着录取率的增加，取舍正确率先增后减。

第三，截点分数的中间范围内取舍正确性比率最高。

附录效度的统计检验方法——因素分析一、因素分析方法的研究简史

1904年，英国心理学家斯皮尔曼发表了专题论文《客观决定和测量一般智力》（GeneralIntelligence，ObjectivelyDeterminedandMeasured），用因素分析的技术研究智力结构，并提出智力的两因素论，这也标志着因素分析方法的诞生。继斯皮尔曼之后，心理学家们进行了大量研究，采用因素分析的技术来探索智力结构的问题。

20世纪60年代后期，统计学家波克（R.D.Bock）、巴格曼（R.Bargmann）及乔纳斯柯格（K.G.Jreskog）在研究因素分析模型中参数的假设检验问题时，发展出验证性因素分析的方法。附录效度的统计检验方法——因素分析二、因素分析简介（一）基本概念

因素负荷指某一测验（或变量）与某一因素的相关。因素负荷越大，测验（或变量）与因素的相关越高。因此，因素负荷的平方相当于决定系数，也即该因素对某一测验（或变量）的方差贡献大小。各分测验与两个因素的相关值这一部分则称作因素负荷矩阵。（二）因素负荷矩阵的转换因素分析的过