测量的信度与效度

第三章测量的信度与效度第一节测量的信度第二节测量的效度第一节信度（reliability）一、什么是信度定义：指的是测量结果的稳定性程度（或叫可靠性）。也指同一被试在不同时间内用同一测验（或用另一套相等的测验）重复测量，所得结果的一致程度。1、理论定义：传统的信度理论认为，每一个测验的实得分数（X）总是由真实分数（T）和误差（E），两个部份构成的，公式为：X=T+E讨论一组测验分数的特性时，可用方差导标具体分数，公式：（测验实得分数的方差）Sx2＝（测验真分数的方差）ST2＋（测验误差的方差）SE22、操作定义：定义1：一组测量分数的真分数变异数（方差）与总变异数（总方差、实得分数的方差）的比率，或者是真实分数方差占总方差的的百分比。计算公式：rxx=ST2/SX2定义2：信度乃是一个被试团体的真分数与实得分数的相关系数的平方。即rxx=ptx2定义3：信度乃是一个测验X（A卷）与它的任意一个“平行测验”X/（B卷）的相关系数。即rxx=pXX`2二、信度的指标（一）信度系数：大部分情况下，信度是信度系数为指标，它是一种相关系数。理论上说就是真分数方差与实得分数的方差的比值，公式是：rxx=ptx2（二）信度指数：是真分数标准差与实得分数的标准差的比值，公式是：信度指数的平方就是信度系数rxx=ST2/SX2（三）标准误：指出个人测验分数的变异量。信度系数表示一组测量的实得分数与真分数的符合程度，标注误表示个人测验分数的变异量。用一组被试两次测量结果来代替同一个人反复实测，有了信度的另一个指标：测量标准误。测量的标准误与信度之间呈反比关系：标准误越小，信度越大；标准误越大，信度越低。三、信度与测验分数的解释（一）解释真实分数与实得分数的相关：信度系数可以解释为总的方差中有多少比例是由真实分数的方差决定的，也就是测验的总变异中真分数造成的变异占百分之几。（二）比较信度可以接受的水平：一般的能力测验和成就测验的信度系数都在0.90以上；人格测验、兴趣、态度、价值观等测验的信度一般在0.80-0.85。一般原则是：当<0.70时，测验不能用于对个人作出评价或预测，而且不能作团体比较；当0.70≤<0.85时，可用于团体比较；当≥0.85时，才能用来鉴别或预测个人成绩或作为。（三）解释个人分数的意义：从信度可以解释个人分数的意义，这是测量标准误的应用。它有两个作用：一是估计真实分数的范围；二是了解实得分数再测时可能的变化情形。例题：假设在一个智力测验中某个被试的IQ为100，这是否反映了他的真实水平？如果再测一次他的分数将改变多少？已知该智力测验的标准差是15，信度系数为0.89，则其IQ的测量标准误和可能范围分别为：SE=15=5.0Q＝100±1.96x5＝100±9.8≈90～110我们可以说这个被试的真实IQ有95％的可能性落在90与110之间。即若再测一次，他的智商低于90、高于110的可能性不超过5％。（四）比较不同测验分数的差异：测量标准误和测验信度在评价两个不同测验的分数是否有明显差异时也非常重要。这种比较包括两个人不同分数的差别和同一被试在两个测验上的差别。例题：某被试在韦氏成人智力测验中言语智商为102，操作智商为108。已知两个分数都是以100为平均数，15为标准差的标准分数。假设言语测验和操作测验的分半信度分别为0.97和0.93。问其操作智商是否显著高于言语智商呢？首先计算出差异分数的标准误：在统计上，经常要求两个分数的差异程度达到0.05的显著水平，才能承认不是误差的影响。因此，将差异标准误（4.74）乘以1.96，结果为9.29，这表明个体在韦氏测验两半得分的差异高于大约10分，才能达到0.05显著水平。上述被试的分数差异（108-102＝6）是不显著的。四、信度的类型及估计方法（一）重测信度（再测信度）（test-retestreliabity)1、含义与计算：又称稳定性系数。他的计算方法是采用重测法，即使用同一测验，在同样条件下对同一组被试前后施测两次测验，求两次得分间的相关系数。例：用同一个算术四则的速度测验，对小学五年级的12个学生先后施测两次。结果如下，试求其信度。学生序号123456X202021222323Y202121202323学生序号789101112X232425262627Y2325262627292、使用的前提条件（1）所测量的心理特性必须是稳定的。（2）遗忘和练习的效果基本上相互抵消。（3）在时间间隔中没有学习另外的与测验有关的东西，或者说每人学习其他东西的程度都一样。3、优缺点：优点：它最符合重复测验的涵义，是重复测验最简单最明确的方式（2）首测和再测只需要一套测验题目，省时、省力（3）同一套题目无论施测几次，所测的属性是完全相同的。缺点：（1）同一组被试对同一个测验先后两次作答相互之间是不独立的。（2）如果两次施测时间间隔较长，在此期间被试的身心发展，新知识的获得，都会使两次测验结果不相同。（3）同一个被试对现一个测验先后两次作答，对测验的兴趣不同，影响测验结果。（4）两次施测的环境不同，也是产生测量误差的因素。4、使用重测信度要注意的问题:（1）最适宜的时距随测验的目的、性质和被试特点而异，一般是两周到四周较宜，间隔时间最好不超过六个月。（2）再测验适用于异质性测验（3）再测信度适用于速度测验或人格测验，而不适用于难度测验（4）应注意提高被试的积极性。（二）复本信度

（Alternate-formreliability）1、含义与计算：含义：又称等值性系数。它是以两个平行或复本的测验（等值但题目不同）来测量同一群体，然后求得被试在两个测验上得分的相关系数，这个相关系数就代表了复本信度的高低。复本信度反映的是测验在内容上的等值性，故称等值性系数。复本信度的高低关键取决于复本测验的选择。2、使用的前提条件：（1）要两份或两份以上真正平行的测验（2）被试要有条件接受两个测验。主要取决于时间、经费等几方面。复本等值要符合下列条件：各份测验测量的是同一种心理特性。各份测验具有相同的内容和形式。各份测验的题目不应重复。各份测验题目数量相等，难度和区分度大体相同。各份测验的分数分布（平均数和标准差）大致相等。复本编好后，应再测一次，以确保各份测验的等值。3、优缺点：优点：（1）一个测验的复本使得测验数目的增加，对于所欲测量的属性相联系的行为总体代表性强，因此，一个测验的两个复本在两三天至一周对同一组被试施测时，获得的复本信度系数是相当准确的。（2）测验的两个复本，如果在不同时间使用，其信度不仅可以反映在不同时间的稳定性，而且还可以反映对于不同测题的一致性。（3）两个复本在同时使用时，可以避免再测验信度的缺点。缺点：（1）编制两个完全相等的测验是很困难的，（2）复本法只能减少而不能完全排除练习和记忆的影响。（3）被试同时接受性质相似的两个测验可能减少完成测验的积极性。4、适用范围（1）如果两个复本的施测相隔一段时间，则称稳定与等值系数。稳定与等值系数既考虑了测验在时间上的稳定性，也考虑了不同题目样本反应的一致性，因而是更为严格的信度考察方法，也是应用较为广泛的方法。（2）在实际应用时，为了抵消施测顺序的效应，应该有半数的被试先作A本再作B本，另一半被试先作B本再作A本。（3）复本测验不仅适用于难度测验，也是估计速度测验信度的最好方法。（三）分半信度（split-halfreliability）1、含义与计算指采用分半法估计所得的信度系数。这种方法估计信度系数只需一种测验形式，实施一次测验。通常是在测验实施后将测验按奇、偶数分为等值的两半，并分别计算每位被试在两半测验上的得分，求出这两半分数的相关系数。常见的是将测题按其序列号的奇偶分，这种分法的前提是：测题并非随机排列，而是按某种顺序（如难度）排列；如果随机排列的题目，则必须是所有题目平等的（要么难度相等，要么性质一样）；如果测验有多个分量表，应该在分量表内部排好顺序，再把各分量表分两半组合起来求相关。2、计算（1）两半测验分数的变异数相等（方差齐性）先计算两半测验的积差相关系数，再进行校正。常用的修正公式是：斯皮尔曼－布朗公式：（2）两半测验分数的变异数不等（方差不齐），可采用：弗朗那根公式或卢伦公式中的任一一个。例题：被试010203040506070809101112131415奇数题（x）2018232117182017161314131288偶数题（Y）2022192218151417151614121076[解]：计算两个“半测验”得分的积差相关系数为：0.86。代入校正公式得：0.92。所以，该测验的分半信度系数为0.92。3、使用条件及范围分半信度通常是在只能施测一次或没有复本的情况下使用。而且，在使用斯皮尔-布朗公式时要求全体被试在两半测验上得分的变异数要相等。当一个测验无法分成对等的两半时，分半信度不宜使用。4、注意的问题：（1）如遇到有牵连的项目或一组解决同一问题的项目时，这些项目应放在同一半，否则将会高估信度的值。（2）当试卷中存在选题或试卷为速度测验时，不宜采用分半法。作业：

1、用某量表测验14名学生,得分记为X.为了考察测量结果的可靠性,于16天后用原量表对这14名学生再测一次,得人记为Y,如表中所示,问测验结果是否可靠?被试1234567X60625357594948Y62807765675358被试891011121314X41465851557874Y67656868695858作业：2、设有14名学生，经过一项测验，成绩如下表：本拟再测一次以估计其信度，由于学生放假离校，不便再测。现拟估计其测验结果的信度。用什么方法估计？测验的信度系数如何？

14名学生某项测验成绩如表（四）同质性信度

（homogeneityreliability）1、含义：指测验内部所有题目间的一致性。题目的一致性有两层含义：其一是指所有题目都测的是同一种心理特质；其二是指所有题目之间都具有较高的正相关。总之，同质性信度就是一个测验所测内容或特质的相同程度。2、测量同质性的基本公式：3、库德-理查逊公式：适用于客观性试题（0、1记分）3、克伦巴赫系数（多重记分测验）例,用6个论文题的测验对5个学生施测,其结果如表所示,试估计测验的内在一致性信度.学生n=5题序(K=6)总分Xt123456134321417263454628313124516462215319553124217例题：某态度量表共7题，100个被试在各题上的得分方差分别是0.81,0.82,0.79,0.83,0.85,0.76,0.77,测验总分的方差为14.00，则此测量的的信度为多少?4、注意：当各个测题的得分有较高的正相关时，不论题目的内容和形式如何，测验即为同质的；若所有题目看起来好像测量的是同一特质，但相关很低或为负相关时，测验即为异质的。对于一些复杂的、异质的心理学变量，采用单一的同质性测验是不行的，因而常常采用若干相对异质的分测验，并使每个分测验内容具有同质性，这样每个分测验就能用来预测异质效标的某一方面。（五）评分者信度（scorerreliability）1、含义与计算：指的是多个评分者给同一批人的答卷进行评分的一致性程度。是用于测量不同评分者之间所产生的误差。式中W为和谐系数，K为评分者的人数，N为被评对象数，RI为每一对象被评的等级总和。例子：假设有三位专家给六篇论文评等级，结果如表所示，试计算此次评分者的评分者信度。专家123456124156323415623351462Ri8133141872、注意的问题：为了衡量评分者之间的信度高低，可随机抽取若干份测验卷，由两位评分者按评分标准分别给分，然后再根据每份测验卷的两个分数计算相关，即得评分者信度。一般要求在成对的受过训练的评分者之间平均一致性达0.90以上，才认为评分是客观的。当多个评分者评定多个对象，并以等级法记分时，可采用肯德尔和谐系数作为评分者信度的估计。五、标准参照测验的信度估计1、对相关法信度系数进行校正为了对标准参照测验的信度做出较为准确的估计，利文斯顿提出了对相关法信度系数的校正公式：2、用决策的一致性作为信度指标

林德曼与梅伦达的一致性公式：C为一致性，n为在两次施测中均未达到标的人数，b为在两次施测中均已达标的人数，f为只在第一次施测中达标的人数，s为只在第二次施测中达标的人数，v为f或s中较小的值。六、各种信度系数相应误差方差的来源信度系数类型误差方差来源重测信度时间取样复本信度（连续施测）内容取样复本信度（间隔施测）时间和内容取样分半信度内容取样同质性信度内容的异质性评分者信度评分者之间的差异七、影响信度的因素（一）样本的特征：信度常用信度系数来表示，信度系数就是相关系数，相关系数受样本团体得分分布、样本是否异质及样本团体平均能力水平的影响。1、样本团体分数分布的影响：当分布范围增大时，其信度估计就较高；当分布范围减小时，相关系数随之下降，信度值则较低。2、样本团体异质性的影响：若获得信度的取样团体较为异质的话，往往会高估测验的信度，相反则会低估测验的信度。3、样本团体平均能力水平的影响：对于不同水平的团体，题目具有不同的难度，每个题目在难度上的微小差异累计起来便会影响信度。（二）测验的长度：1、测验越长，测验的测题取样或内容取样越有代表性。2、测验越长，被试的猜测因素影响就越小。3、测验的项目越多，在每个项目上的随机误差就可以相互抵消。例如:由50题组成的儿童心理学测验,其信度系数0.72,若再增加30个与原测验相近且同质性的题目,问长度增加后的测验信度系数是多少?例如,原测验的信度系数为0.75,现将信度提高到0.90,问测验的长度要增加到原测验长度的多少倍?（三）测验的难度：难度对信度的影响只存在于某些测验中，如智力测验、成就测验、能力倾向测验等。如果一个测验对某团体而言太容易，会使所得分数都集中在高分端；当题目太困难时，得分就会集中在低分端。两种情况均会使信度样本的分数范围变窄，从而使测验变得不够可靠。从理论上说，只有难度水平为50％时，才能使测验分数分布范围最大，求得的信度也最高。（四）测验的时间间隔：以再测法或复本法求信度，两次测验相隔时间越短，其信度系数越大；间隔时间越久，其它变因介入的可能性越大，受外界的影响越大，信度系数便越低。作业3、对4个学生以由5道论述题组成的测验，其成绩如下表，试估计测验的内在一致性信度。学生序号题目总分1234516768532243534193243211244545422总和161918181485作业4：5位评分者对5个学生的摄影比赛的排列名次如下表，试估计评分者之间的信度。学生序号评分者12345111212243121324434432543555355作业5:力学测验的信度为0.80,欲将信度提高为0.95,问测验的长度最低限度应增加到原测验长度的多少倍?第二节测验的效度在测量活动中，测量者对所使用的测量工具非常信任，他会采取复测行为以判断测量有无误差；如果测量者对所使用的测量工具发生怀疑，那他往往会去找一公认非常准确的测量工具对先前的测值进行检验。这种在原测量工具之外寻求新的证据来肯定或否定某一测量工具准确性的做法就是在研究测量的效度问题。心理测量是一种间接测量，心理测量更重视测量的效度研究。一、效度（validity）（一）定义：效度是指所测量的与所要测量的心理特点之间符合的程度，或者简单地说是指一个心理测验的准确性。或是指一个测验或量表实际能测出其所要测的心理特质的程度。1、关于效度的概念，我们要特别注意以下几点：（1）效度是一个相对的概念。这种相对性表现在两个方面：①效度是相对于一定的测量目的而言的。②心理特质是较隐蔽的特性，只能通过他的行为表现来进行推测，因此，心理测量不可能达到百分之百的准确，而只能达到某种程度的准确。（2）效度是测量的随机误差和系统误差的综合反映。任一误差的存在，测量的效度都会受到影响（3）判断一个测量是否有效要从多方面收集证据2、在测验理论中，效度被定义为在一组测量中，与测量目标有关的真实方差（或称有效方差，由所要测量的变因引起的有效变异）与总方差(实得变异数)的比率，即3、一组测验分数的总方差等于真实方差与误差方差之和，而真实方差又可分为两部分，即有关的方差和无关的但稳定的方差，后者也就是所谓系统误差带来的方差SX2=SV2+SI2+SE2由于有效方差是一个理论值，无法测量，所以效度和信度一样是一个理论上的概念。二、效度和信度的关系（一）信度是效度的必要而非充分条件。当随机误差的变异数（）减小时，真实分数的变异数（）增加，测验的信度随之提高。信度的提高只给有效变异数（的增加提供了可能）至于是否能提高效度，还要看系统误差变异数的大小，可见信度高效度不一定就高。但一个测验要想效度高，真分数的变异数必须占较大的比重，即测验的信度必须高。效度高必然信度高，而信度高并不一定保证效度高，说明信度高只是效度高的必然条件，并不是效度高的充分条件。（二）效度是受信度制约的：信度系数的平方根是效度系数的最高限度，可见，一个测验的效度总是受它的信度所制约。二、效度的类型及评估方法（一）内容效度(ContentValidity)1、定义：指的是项目对欲测的内容或行为范围的取样的适当程度。也即测验题目对有关内容或行为取样的适用性，从而确定测验是否是所欲测量的行为领域的代表性取样。一个测验要具备较好的内容效度必须满足两个条件：（1）要确定好内容范围，并使测验的全部项目均在此范围内。所谓内容范围可以是具体知识或技能，也可以是复杂的行为。要对所测量的心理特性有个明确的概念，并划定出哪些行为与这心理特性有关。（2）测验题目应是所界定的内容范围的代表性取样。2、内容效度的评估方法：（1）专家判断法：请有关专家对测验题目与原定内容的符合性作出判断，看测验的题目是否代表规定的内容，这种估计效度的方法，是一个逻辑分析的过程，所以内容效度有时也可称为“逻辑效度”。具体方法是：①定义好内容总体，并描绘出有关知识与技能的轮廓；②划分细纲目，并根据重要性规划好各个纲目的加权比例，作出尽可能详细的描述；③确定每道题所测的知识和技能，将自己的分类与测验编制的纲目作比较；④制订评定量表，从各方面对测验作出评定。（2）统计分析法A、复本法出了描述性语言外，内容效度的确定也可采用一些统计分析方法，符合程度越高越能反映测验的内容效度。克伦巴赫提出，内容效度可由一组被试在独立取得自同样内容范围的两个测验复本上得分之相关来作数量的估计。B、再测法也可用于内容效度的评估，被试学习某种知识之前作一次测验，在学过该知识后再作同样的测验。若成绩显著提高，则说明所测内容正是被试新近所学的内容，进而证明该测验对这部分内容而言具有较高的内容效度。（3）经验推测法：通过实践来检验效度。如果通过率是随着年龄的增加而增加，就可以推测该测验有内容效度。3、内容效度的应用（1）是编制任何测验应加以考虑的基本方面。（2）较适用于评价教育成就测验和职业选拔测验。（3）对标准参照测验更为重要，是因为在标准参照测验中我们主要关心的是被试对一定范围的知识、技能掌握得如何。（4）注意内容效度与表面效度的关系：经常混淆。表面效度是由外行对测验作表面上的检查确定的，它不反映测验实际测量的东西，只是指测验表面上看来好像是所要测的东西。表面效度只考虑题目与测量目的之间的明显的、直接的关系，内容效度则考虑到题目与测量目的和内容总体之间逻辑的微妙关系。在编制测验时，表面效度是一个必须考虑的特性，最高作为的测验通常要求有较高的表面效度；典型行为测验要求有较低的表面效度。（5）它缺乏可靠的数量指标，因而妨碍了各测验间的相互比较。（二）构想效度（constructValidity）1954年提出，有人翻译为构思效度，也有叫结构效度。它是指测验能够测量到理论上的构想和特质的程度，即测验的结果是否能证实或解释某一理论的假设、术语或构想，解释的程度如何。1、构想效度的特点：（1）其大小首先取决于事先假定的心理特质理论（2）当实际测量的资料无法证实我们的理论假设时，并不一定就表明该测验结构效不高，因为还有可能是理论假设不成立，或者该实验设计不能对该假设作适当的检验等情况，当然这就使得结构效度的获取更为困难。（3）结构效度通过测量什么、不测量什么的证据累积起来给以确定，因而不可能有单一的数量指标来描述结构效度。结构效度主要应用于智力测验、人格测验等一些心理测验方面。2、结构效度的确定方法：（1）提出理论假设，并把这一假设分解成一些细小的纲目，以解释被试在测验上的表现。（2）依据理论框架，推演出有关测验成绩的假设。（3）用逻辑和实证的方法来验证假设。3、构想效度的估计方法：（1）测验内法（对测验本身的分析）：A、测验的内容效度可以作为构思效度的证据；B、测验的同质性指标可以推断测验是测量单一特质还是测量多种特质，从而为评估测验构思效度提供证据；C、分析被试对题目的反应特点也可以作为构思效度的证据。（2）测验间的相互比较：①相容效度②区分效度③因素效度：①相容效度通过分析几个测验间的相互关系，找出其共同之处，进而推断这些测验测量的特质是什么，也可以确定这些测验的构思效度。最简单的是计算两种测验之间得分的相关，其中一个测验是待研究效度的，另一个是已有效度证据的成熟的测验，但两者测量的是同一种心理特质。两测验的相关系数的平方即是两组测验分数所共同解释的变异大小，所以称这一相关为相容效度，相容效度是构思效度的一个证据。②区分效度是构思效度的又一个证据。③因素效度：通过对一组测验进行因素分析，找到影响测验分数的共同因素，每个测验在共同因素上负荷量即每个测验与共同因素的相关，称作测验的因素效度。因素分析法也是建立构思效度的常用方法，通过对一组测验进行因素分析，可以找到影响测验分数的共同因素，这种因素可能就是我们要测量的心理特质（构思）。（3）效标关联法，效度的研究证明：一个测验若效标度理想，那么该测验所预测的效标的性质和种类就可以作为分析测验构思效度的指标，另一种证实构思效度的方法是心理特质的发展变化。（4）实验法和观察法证实：观察实验前和实验后分数的差异是验证构思效度的方法。3、对构想效度的评价（1）构想效度促使研究者把着眼点放在提出假设上、检验假设上，使得测验成为理论研究的重要工具，而不再只是实际决策的辅助工具，从而使测验有了更广阔的发展情景。（2）主要缺点是，有些构想概论模糊，没有一致的定义，确定效度时没有明确的操作步骤，没有单一的数量指标来描述有效程度。（三）效标效度1、定义：又称实证效度，反映的是测验预测个体在某种情境下行为表现的有效性程度。被预测的行为是检验效度的标准，简称效标。由于这种效度是看测验对效标预测如何，所以叫效标效度。这种效度需在实践中检验，所以又称为实证效标。2、分类：根据效标资料是否与测验分数同时获得，又可分为同时效度和预测效度两类。同时效度即测验所得分数可与效标同时验证，通常与心理特征的评估及诊断有关。所谓的效标就是衡量一个测验是否有效的外在标准，它是独立于测验并可以从实践中直接获得的我们感兴趣的行为。一个好的效标必须具备以下条件：（1）必须能最有效地反映测验的目标，即效标测量本身必须有效；（2）效标必须具有较高的信度，稳定可靠，不随时间等因素变化；（3）效标可以客观地加以测量，可用数据或等级来表示；（4）效标的测量的方法很简单，省时省力，经济实用。3、效标和效标测量：效标，即衡量测验有效性的参照标准，指的是可以直接而且独立测量的我们感兴趣的行为。效标可以分为两个层次，其一是理论水平的观念效标，其二是操作定义水平的效标测量。4、常用的效标包括：○1学业成就；○2实际工作表现：是最满意的效标测量，为一般智力测验、人格测验和一些能力倾向测验的效标；○3特殊训练成绩：是能力倾向测验常用的效标，其中也包括中间效标和最后效标的问题；○4精神病诊断；○5等级评定：是观察者根据测验欲测量的心理特质在被试身上的表现而作出的一种个人判断；○6效标团体的比较：即找出两个在效标表现上有差别的团体，比较他们在测验分数上的差别；○7先前有效的测验：一个新测验与先前有效的测验的相关也经常作为效度检验的证据。5、效标效度的表示方法（1）相关法：效度系数是最常用的效度指标，尤其是效标效度。它是以皮尔逊积差相关系数来表示的，主要反映测验分数与效标测量的相关。当测验成绩是连续变量，而效标资料是二分变量时，计算效度系数可用点二列相关公式或二列相关公式；当测验分数为连续变量，效标资料为等级评定时，可用贾斯朋多系列相关公式计算。（2）区分法：是检验测验分数能否有效地区分由效标所定义的团体的一种方法。算出t值后，便可知道分数的差异是否显著。若差异显著，说明该测验能够有效地区分由效标定义的团