心理测量的信度1.ppt

第五章 心理测量的信度,第一节 什么是信度 第二节 估计信度的方法 第三节 影响信度系数的因素,一、信度的意义 二、信度系数的作用 back,一、信度的意义 信度即测验的可靠性，指的是测量的一致性程度。 信度受随机误差的影响，随机误差越大，信度越低。 在测量学中，信度被定义为：一组测量分数的真变异数与总变异数（实得变异数）的比率。即 （公式51） 式中 代表信度系数， 代表真分数的变异数， 代表实得分数的变异数，即总变异数。,根据公式51，信度还可以表示为： （公式52）,这个定义有两点要注意： （1）信度是一组测量分数的特性，不是某个测量分数的特性。是对一个人测量多次或对一个群体进行测量得到一组测量分数的特性 （2）真分数的变异数不能直接测量，因此信度是一个理论上构想的概念，只能根据一组实得分数进行估计。,对于信度系数，还应该注意以下几点： （1）在不同的情况下，对于不同的样本，采用不同的方法会得到不同的信度系数，因此一个测验可能不止一个信度系数。 （2）信度系数只是对测量分数不一致程度的估计，并没有指出不一致的原因。 （3）获得较高的信度系数并不是心理测量有效的充分条件，只是一个必要条件。 back,1.评价测验 信度系数是衡量测验好坏的一个重要的技术指标。 一般能力与学绩测验的信度系数为0.90以上，有的可以达到0.95；标准智力测验的信度系数应达到0.85以上，个性和兴趣测验的信度系数可稍低，一般应达到0.700.80，（也有人认为兴趣、性格、价值观等人格测验的信度系数，通常在0.800.85或更高些）。当信度系数小于0.70时，不能用测验来对个人进行评价，也不能用来进行团体间的比较；当信度系数大于0.70时，可用来进行团体间的比较；大于0.85时，可以用来鉴别个人。,2.用来估计个人的测验分数（真分数） 由于误差的存在，一个人通过测量得到的分数很难等于真分数。理论上，我们可以对一个人施测无数次，然后求得所得分数的平均数和标准差。在这个假设的分布里，平均数就是这个人的真分数，标准差则为误差大小的指标。,在实际工作中，我们用一组被试（人数足够多）两次施测的结果来代替对同一个人反复施测，以估计测量误差的变异数。此时，个人在两次测验中的分数差异就是测量误差。据此可制成误差分数的分布。这个分布的标准差（误差分布的标准差）我们称之为测量的标准误，是表示测量误差的大小的指标，其计算公式为： （公式54） 式中SE表示测量的标准误，即误差分布的标准差；Sx表示一次测量分数的标准差；rxx表示信度系数。,我们可以用测量的标准误来估计个人测验的真分数的大小。 如果选用95的可靠性水平（置信水平），即显著性水平（a值）为.05，真分数有95的可能落入X SE ，即X 1.96 SE的范围之内，也可以写成X1.96SE T X1.96 SE，SE则用公式54代入。或有5的可能落入这范围之外。这实际上也表明了再测时分数改变的可能范围。,例1，已知WISC-R的标准差为15，信度系数为0.95，对一名12岁的儿童实施该测验后，IQ为110，那么他的真分数在95的可靠度要求下，变动范围应是多大？,注意几点： （1）SE对真分数做的是区间估计，不可能由此得到一个确切的点。这就是说，测验分数不是一个定点，而是具有一定的分布范围。因此，两次测验分数之间存在差异是很正常的。 （2）置信水平确定后，估计的精度主要取决于SE，SE越小，范围越小，估计就越精确，反之也然。 （3）真分数不能等同于真正能力或心理特质，真分数中包括了系统误差。,3.用来对两种测验分数进行比较 来自不同测验的原始分数是无法直接进行比较的，只有将它们转换成相同尺度的标准分数才能进行比较。 如，某班期末考试，小明的数学成绩是80分，语文成绩是70分。另外，已知小明所在班级的数学平均成绩是70分，标准差是10分，语文平均成绩是60分，标准差是7分 。,我们可以用“差异的标准误”来检验差异的显著性。 差异的标准误的公式为： （公式55） 为差异的标准误，S为相同尺度的标准分数的标准差，Z分数为1，T分数为10。 、 分别为两个测验的信度系数。 先将原始分数化成标准分数，然后将两个标准分数的差异与1.96SEd（0.05显著性水平）进行比较，如果其绝对值大于此值，则差异显著，否则差异不显著。,例2，某校五年级进行了两次数学测验，小张第一次考了85分，此次数学测验年级平均分是77分，标准差是8分，此次测验的信度系数是0.84；第二次考了95分，此次数学测验年级平均分是81分，标准差是10分，此次测验的信度系数是0.91；问小张这两次数学测验的成绩是否有显著差异？ back,一、再测信度 二、复本信度 三、等值稳定性系数 四、内部一致性系数 五、评分者信度 总结 练习 back,再测信度(Test-Retest Reliability) ，也叫重测信度，也叫稳定性系数。用同一个测验，对同一组被试前后施测两次，对两次测验分数求相关，其相关系数就叫再测信度。其计算公式（皮尔逊积差相关公式的变式）为： （公式56） 式中X1、X2为同一被试的两次测验分数， 、 为全体被试两次测验的平均数，S1、S2为两次测验的标准差，N为被试人数。 再测法的模式是：施测 适当时距 再施测,例2：假设有一份主观幸福感调查表，先后两次施测于10名学生，时间间隔为半年，结果如表所示，求该测验的重测信度。（为了便于理解和计算，本章估计信度的例子都是小样组，实际应用时应采用大样组。） 表51 某幸福感调查表的两次测试结果,计算再测信度必须注意几个问题： （1）所测量的特性必须是稳定的。当然绝对的稳定是不可能的，但应该是比较稳定的。 （2）遗忘和练习的效果基本上相互抵消。 在做第一次测验时，被试可能会获得某种技巧，但只要间隔时间适度，这种练习的效果会基本上被遗忘掉。 再测信度要考虑时间间隔的问题。到底多长合适呢？一般来说，无论对于那种被试，初测与再测的间隔最好不要超过六个月。 （3）再测法适用于速度测验而不适用于难度测验。 （4）应注意提高被试者的积极性。 back,复本信度（Alternate Form Reliability），也称等值性系数（Coefficient of Equivalence） 用两个平行（等值）的测验对同一组被试施测，得到两组测验分数，求这两组测验分数的相关系数，这就是复本信度。因为这反应了两个测验的等值程度，因此又称等值性系数。计算方法与再测法是一样的。 复本信度的模式是：复本A 最短时距 复本B,例3：假设用A、B两型创造力复本测验对初中一年级10个学生施测。结果见表52。请同学们自己计算。 表52 某创造力复本测验测试结果,复本信度应用时应注意以下几点： （1）复本信度的关键在于两个量表必须等值，即必须具有相同的难度、区分度、长度、题型等。 （2）两次测验的时距应尽可能短促，以便避免知识的积累、练习效应等因素的影响。 （3）由于量表的两个复份在许多方面近似，所以信度系数有稍稍偏高的倾向。,（4）被试易出现疲劳、失去积极性等反应，还会出现迁移。这些称为顺序效应，为了抵消顺序效应，可随机分配一半被试先做复本A再做复本，另一半被试先做复本再做复本A，以平衡顺序效应。 （5）复本法只能减少而不能完全排除练习和记忆的影响。 （6）对于许多测验来说，建立复本是相当困难的。 back,三、等值稳定性系数 等值稳定性系数是用两个平行的（等值的）测验，间隔适当时距施测于同一组被试得到两组测验分数，求这两组测验分数的相关，其相关系数就是等值稳定性系数。 等值稳定性系数的模式是： 测验A 适当时距 测验B 计算方法同稳定性系数和等值性系数。 等值稳定性系数也是采用复本对被试施测，但等值性系数的测验要求两次测验的时间间隔尽可能短，而计算等值稳定性系数的两次测验却要求有一个适当的时距。,优点： （1）因两次测试有适当的时间间隔，减少了复本法中的练习、疲劳效应。 （2）只要时间间隔适当，可用于计算稳定性不高的心理特质的测验的信度。 注意： 等值稳定性信度系数的值一般要比等值性系数和稳定性系数要低。 等值稳定性系数是测验信度的最严格的考察，得到的是信度系数的下限。 back,利用一次测验所获得的资料来计算信度系数。这样计算出来的信度系数反应的是测验内部的一致性，即测验项目的同质性，叫做内部一致性系数或同质性系数。 （一）分半法（分半信度） （二）其它计算内部一致性系数的方法 back,分半信度（Split-half reliability）:分半信度就是将测验题目分成等值的两半，分半求出量表题目的总分，再计算两部分总分的相关系数。 分半的方法很多，常见的方法是把一个量表按题目番号分为两半，一半是奇数题，另一半数偶数题。求出每个人的奇数题的总得分和偶数题的总得分，然后求出奇数题总得分和偶数题总得分的相关系数，最后对相关系数进行校正。,校正公式有： （1）斯皮尔曼布朗（Spearman-Brown）公式 （公式57） 式中， 是两半测验分数的相关系数，为整个测验的信度估计值。,采用斯皮尔曼布朗（Spearman-Brown）公式进行校正时，假定两半测验等值，亦即两半测验具有相同的平均数和标准差。当假定不能满足时，可以采用下面两个公式来估计信度。 弗朗那根公式： （公式58） 式中， 、 分别为两半测验分数的变异数， 为测验总分的变异数。r为信度值。,卢伦公式： （公式59） 式中， 为两半测验分数之差的变异数， 为测验总分的变异数。r为信度值。,例4：有一个由100题构成的量表施测于10个高三学生。测验一次后，应试者即毕业离校。现在怎样评介测验结果的信度？ （1）计算出每个应试者的奇数题总分（X1）和偶数题总分（X2），见表53。,采用分半信度应注意以下几个问题： （1）若用分半法时，以按奇数题和偶数题分半为宜。 （2）在使用斯皮尔曼布朗公式时要求全体被试在两半测验上的得分的变异数相等。当一个测验不宜分成对等的两半时分半信度不宜采用。 （2）当试卷中存在任选题时，不宜采用分半法。速度测验也不宜采用分半法。因为速度测验中试题的难度低，被试得分的多少主要是看答题的多少，分半法易使得分相同，从而夸大分半法的信度估计。,（3）如遇到有牵连的项目或一组解决同一问题的项目时，这些项目应放在同一半，否则会高估信度的值。 （4）将一个测验分成两半的方法很多（如，按题号的奇偶性分半、按题目的难度分半、按题目的内容分半等），因此，一个测验可以有多个分半信度值。提供分半信度值时，要说明分半的方法。 back,分半法实际上是对测验内部一致性的一个粗略估计。但对于同一个测验分半的方法是很多的，而且用不同的分半方法求出的分半信度都不一样，因此分半信度不是最好的内部一致性的估计。为了弥补分半法的不足，可以采用其它的方法。,1.库德理查逊公式（KR20公式） 库德（Kuder）、理查逊（Richardson）针对分半法的不足，提出以项目统计量为转移，利用项目统计量来计算信度。称为K-R20公式。 （公式510） 式中k表示构成测验的题目数，pi为通过第i题的人数比例，qi为未通过第i题的人数比例， 为测验总分的变异数。,例5：有一种包含6个问题的测验，10个应试者的得分如表54（答对得1分，答错得0分），试估计应试者反应的一致性程度。,2. 库德理查逊另一公式（KR21公式） 当测验项目难度接近时可以采用库德理查逊提出的简便公式，称为KR21公式。 KR21公式为： （公式511） 式中k表示构成测验的题目数， 为测验总分的平均数， 为测验总分的变异数。,3.克伦巴赫（Cronbach）的系数 库德理查逊公式只适用于两级记分的测验，而对多级记分的测验，则可以采用克伦巴赫（Cronbach）的系数，克伦巴赫的系数对两级记分的测验也是适用的。其计算公式为： （公式511） 式中，K为测验的题目数， 为某一测验题目分数的变异数， 为测验总分的变异数。,例6：有一种包含6个论文式题目的测验，对5个应试者施行，得分见下表55，试求该测验的信度。,表 5-5 被试在测验上的得分,五、评分者信度（Scorer Reliability） 评分者信度：随机抽取部分试卷，由两个或多个评分者独立按评分标准打分，然后求其间的相关，所得的相关系数即为评分者信度。,评分者信度的计算： 1.评分者为两个人时 若是连续变量的评分，且分布是正态则计算皮尔逊积差相关系数（可用计算机直接计算）。 若是等级评定或虽是等距或等比的数据但分布非正态，则计算斯皮尔曼等级相关。 斯皮尔曼等级相关公式： （公式512） 式中D为各对偶等级之差， 是各D平方之和，N为等级数目。,当有相同的等级出现时，计算斯皮尔曼等级相关的公式为： （公式513） ， ； ， 式中，N为成对数据数目，n为相等等级数目。,例7：甲乙两位教师评阅10份试卷，他们对每一试卷各自所评的分数列入下表56，问这两位教师评分的一致性如何？ 表 56 两位教师对10份试卷的评分,2.评分者为多个时 采用肯德尔和谐系数（Kendall coefficient of concordance）来估计信度系数 （公式514） 式中，W为和谐系数，K为评分者人数，N为被评对象数，Ri为每一对象被评的等级之和。,出现相同等级时采用下面的公式： （公式515） 式中，W为和谐系数，K为评分者人数，N为被评对象数，Ri为每一对象被评的等级之和，n为相同等级数目。,例8：六位教师各自评阅相同的五篇作文，每位教师给每一篇作文都评了等级（共五等），并列入下表57。求六位老师所评等级的一致性程度。,表5-7,例9：三位教师评阅四份试卷，所评等级列入下表58。他们所评的等级的一致性程度怎样？,3.肯德尔和谐系数W的检验 （1）当3 N 7时，查心理与教育统计学的附表10，肯德尔W系数显著性临界 值表，用 值查表。 （2）当N 7，将所得W值代入下式 （公式516） 查卡方分布表。 back,总结： 再测信度：估计信度中跨时间的一致性 复本信度：估计测验跨形式的一致性 等值稳定性系数：估计测验跨时间和形式的一致性 内部一致性系数：估计测验跨项目或两个分半测验之间的一致性 评分者信度：估计测验跨评分者的一致性 各种方法具有不同的意义，每一种信度系数不能代替其他的信度系数，所以编制或使用测验时，应该尽可能收集各种信度证据。 back,一、分数分布范围的影响 相关系数受分数分布范围的影响，图51表明了分数范围对相关系数的影响。,第一次测验,验测次二第,其分数范围越广，信度系数就越大。反之也然。,上述关系也可从公式 中看出，一个测验的误差变异主要来自主试、施测环境、评分的客观性、被试等因素，当除被试外的另一些因素固定后，受测团体越是异质，所得分数变异越大，信度系数越大。因此，信度系数与团体的异质性有关。,由于信度系数与被试团体的异质性有关，因此，如果一本测验手册中，所报告的信度系数是从全体中、小学生的样本中得到的，我们不能认为把该测验用于小学五年级的团体时也能得到同样高的信度。当一个测验用于比常模更同质的团体时，要重新确定测量的信度。,团体异质性不同，分数的标准差亦不同。当将测验用于标准差不同的团体时，可用下面的公式（克莱公式）推算出新的信度系数： （公式517） 式中S0为信度系数已知的分布的标准差，Sn为信度系数未知的分布的标准差，r00为原团体的信度，rnn为异质程度不同的团体的信度。,例10：一记忆力测验实施于某市全体初中生，其分数的标准差为10，信度系数为0.90，若将该测验施测于初二年级，其分数的标准差为6。求初二年级的信度系数的估计值。,由于信度系数与被试样本的异质程度有关，因此，在编制测验时，应把常模团体按年龄、性别、文化程度、职业、爱好等分为更为同质的亚团体，并分别报告每个亚团体的信度系数，这样测验才能适用于各种团体。,二、测验长度的影响 测验的长度，即题目的数量，也是影响信度系数的一个因素。一般说来，在一个测验中增加同质的题目，可以使信度提高。因为增加测验的长度可以加大分数的范围。对此问题可以这样理解： （1）题目数量多，在每个题目上的随机误差互相抵消。 （2）测验题目数量增多，可以改进项目取样的代表性，从而能更好地反应受测者的真实水平。,增加测验长度的效果可以用斯皮尔曼布朗公式的通式来计算： （公式518） 式中K为改变后的长度与原来长度之比，为原测验的信度， 为测验长度是原来的K倍时的信度估计。,例11：有一个包括10个题目的测验，信度为0.50，若把测验增加到50个题目，其信度将增加到多少？,用同样方法可以算出题目数量继续增加时相关系数的值见表59 表59 题目数量对相关系数的影响,由表5-9可以看出，增加题目数量可以提高信度，但并非多多