心理测量学的相关教学课件

心理测量学的相关教学课件第一节信度的涵义第二节测量误差的来源第三节信度的种类与估计第四节影响信度的因素第五节信度的应用心理测量学的相关教学课件第一节信度的涵义一、信度的定义信度（reliability）是指测量结果的稳定性和可靠性程度。

即：相同被试在不同时间或场合下，重复使用同一测量工具或等价工具测量所得结果的一致性。心理测量学的相关教学课件真分数理论所谓真分数就是一个测量工具在测量没有误差时，所得到的纯正值。其操作定义是：经过无数次测量所得到的测量结果的平均值。真分数的定义表明，一个人在一个测验上所得的分数，即是它的真分数的函数，也是测量误差的函数，用公式表示如下：

X=T+E心理测量学的相关教学课件需要说明的是，这里的测量误差（E）指的是引起测量不一致性的变因产生的效应，即指随机误差，不包括系统误差，后者不引起分数的改变，因而包含在真值中。在公式中E可能是正的，也可能是负的。即一个人的实得分数可能大于真实量，也可能小于真实量，总是围绕真值上下波动。心理测量学的相关教学课件真分数理论的三个假设误差分数的平均数是零

误差分数与真分数相互独立,没有任何相关

两次测量的误差分数之间的相关为零

心理测量学的相关教学课件经典测量理论的假设

式中，X为观察分数，T为一般真分数，E为随机误差分数，V为目标真分数，I为非目标真分数（系统误差）。心理测量学的相关教学课件信度的定义测量追求的初步目标：T占X的比例越大越好。测量追求的终极目标：V占X的比例越大越好。

当T占X的比例很大时，那么测值就会是稳定的。一般来说，稳定的测值是可靠的、可信的，因此，信度可被认为是测量结果的稳定性程度。心理测量学的相关教学课件心理测量学的相关教学课件心理测量学的相关教学课件测量分数=真分数+误差分数误差之和为零测量分数的平均数=真分数的平均数测量分数的方差等于真分数的方差与误差方差之和心理测量学的相关教学课件在经典测量理论中，信度被定义为：一组测验分数的真变异数与总变异数（实得变异数）的比率。即

rxx=ST2/Sx2

式中rxx代表测量的信度，ST2代表真分数的变异数，

Sx2代表是实得分数的变异数，即总变异数。心理测量学的相关教学课件心理测量学的相关教学课件该定义有两点需要注意：第一、信度指的是一组测验分数或一列测量的特性，而不是个人分数的特性；第二、真分数的变异数是不能直接测量的，因此信度是一个理论上构想的概念，只能根据一组实得分数做出估计。信度涉及的主要问题是对测验分数意义的概化能力，即从一次测量来推论总体能达到何种正确程度。心理测量学的相关教学课件二、描述信度的指标1.经典测量理论的信度系数信度系数是表示测量结果的稳定性程度的指标。记为：信度系数的值域：[0,1]没有百分之百可靠的测量，因此，rXX=1只是理论上的值，实际当中是不会存在的。心理测量学的相关教学课件1.经典测量理论的信度系数（1）重测信度（test-retestcoefficients），是指用同一个量表对同一组被试施测两次所得结果的一致性程度，其大小等于同一组被试在两次测验上所得分数的相关系数。（2）复本信度（alternative--formcoefficients），是指两个平行的测验测量同一批被试所得结果的一致性程度，其大小等于同一批被试在两个复本测验上所得分数的相关系数。（3）内部一致性系数（internalconsistencycoefficients）也叫同质性信度（homogeneityreliability），是指测验内部所有题目间的一致性程度。心理测量学的相关教学课件2.经典测量理论的测量标准误

测量标准误差（standarderrorofmeasurement）是测量误差的假设分布的标准差。用下列公式能够容易地计算测量标准误差：式中，St表示测验分数的标准差，rtt表示信度系数。3.概化理论的概化系数（generaliabilitycoefficients）4.IRT的测验信息函数（testinformationfunction）心理测量学的相关教学课件第二节测量误差的来源一、误差的概念及种类概念：心理测量中所指的误差就是在测量中与目的无关的变因所产生的不准确或不一致的效应。种类：抽样误差、系统误差、随机误差。心理测量学的相关教学课件心理测量学的相关教学课件系统误差

是由与测验目的无关的因素所引起的恒定的、系统的、有规律的变化，存在于每次测量中，故又称恒定误差。它直接影响着测量的准确性，与效度有关。因为它们在测验中不引起测量结果的不一致性，所以与信度无关。心理测量学的相关教学课件

随机误差是使用测量工具进行心理测量所造成的误差，又称测量误差、观察误差、偶然误差。它是由与测验目的无关的偶然因素引起，使得几次测量结果不一致，且这种不一致是无系统的、随机的。随机误差与信度及效度都有关系，信度则完全受随机误差影响。心理测量学的相关教学课件二、测量误差的来源1测验本身引起的误差（1）测题取样不当（2）测题格式不妥（3）测题难度不适（4）测题或指导语用词不当（5）测验时限过短2施测过程引起的误差（1）物理环境（2）主试者方面（3）意外干扰（4）评分不客观、计算、登分失误等心理测量学的相关教学课件二、测量误差的来源3受测者本身引起的误差（1）测验动机（2）焦虑水平（3）生理因素（4）学习、发展和教育（5）测验经验（6）练习效应（7）反应风格心理测量学的相关教学课件提高测验信度的常用方法规范施测程序统一施测环境适当增加测验的长度控制试题的难度分布努力提高每道题的区分度维持测验的同质性被试样本的选取与构成保证被试有充裕的作答时间严格控制评分误差心理测量学的相关教学课件测验长度的增加与信度的提高不是等比例的心理测量学的相关教学课件第三节信度的种类及估计方法信度是一个理论上构想的概念，在实际应用时，通常以同一样本所得的两组资料的相关，作为测量一致性的指标。因为测验分数的误差来源不同，估计信度的方法也不同，故每一种信度系数只能说明信度的不同方面，因而具有不同的意义。下面介绍四种估计信度的方法。心理测量学的相关教学课件（一）定义与计算１．定义用同一种测验，对同一组受试者，前后施测两次，再根据受试者两次测验分数计算其相关系数，即得再测信度。即测验

时距（天、月）

再测验此种信度能表示两次测验结果有无变动，反映测验分数的稳定程度，故又称稳定性系数。

一、重测信度（稳定性系数）心理测量学的相关教学课件２．计算方法（P147-148）

计算使用皮尔逊积差相关公式的变式：

∑Ｘ１Ｘ２－∑Ｘ１∑Ｘ２／Ｎ

rxx=Ｓ１Ｓ２

式中Ｘ１、Ｘ２为同一被试的两个分数，Ｓ１、Ｓ２为两次测验的标准差，Ｎ为被试人数。心理测量学的相关教学课件心理测量学的相关教学课件（二）误差来源

1.测验本身：测验所测的特性本身就不稳定，例如情绪。

2.被试方面：成熟、知识的发展并非人人都等量增长，且练习因素、记忆效果也存在个体差异。

3.施测情境：偶发因素的干扰，如计时错误，情绪波动，健康状况，动机变化等。心理测量学的相关教学课件

（三）计算重测信度的几个假设１．所测量的特性必须是稳定的；２．遗忘与练习的效果相同；３．两次施测期间被试的学习效果没有差别。

心理测量学的相关教学课件

（四）使用重测信度的优缺点１．（优点）能提供有关测验结果是否随时间而变异的资料，可作为预测受测者将来行为的依据。２．（缺点）容易受练习和记忆的影响，前后两次施测间隔的长短必须适度;第一次尝试所发现的错误也可能导致第二次反应的变化而增加误差变异;耗时耗精力,被试不好找。心理测量学的相关教学课件（五）注意事项１．两次测验的时间间隔要适当。最适宜的时距随测验目的、性质及被试特点而异；２．此方法适用于速度测验或人格测验，不适于难度测验；３．注意提高被试的积极性。心理测量学的相关教学课件

（一）定义与计算

1.定义

根据一组被试在两个平行（等值）测验上的得分计算相关系数。即测验复份A测验复份B

因为它反映的是两个测验之间的等值程度，故又称等值系数。如果两个版本间隔一段时间施测称为稳定性等值系数

最短时距二、复本信度（等值系数）心理测量学的相关教学课件

2.计算方法

rxx

=∑ＸAＸB／Ｎ－ＸAＸB

ＳAＳB

式中ＸA、ＸB为同一被试在两个测验复份A、B上的分数，ＸA

、ＸB为A、B两型测验的平均分数，ＳA、ＳB为A、B两型测验的标准差，N为被试人数。

心理测量学的相关教学课件（二）误差来源

1.测验两种形式是否等值：（1）测题取样是否匹配；（2）格式是否相同；（3）内容、题数、难度、平均数、标准差是否一致。

2.被试方面情绪波动、动机变化等。

3.测验情境的变化,偶发因素的干扰。

心理测量学的相关教学课件（三）等值测验应符合的条件等值测验可避免重测法的缺点，但所使用的必须是真正的复本。复本应符合以下条件：

1.各份测验测量的是同一种心理特性；

2.各份测验具有相同的内容和形式；

3.各份测验的题目不应有重复的地方；

4.各份测验题目数量相等，并且有大体相等的难度、区分度；

5.分数分布（平均数和差异度）大致相等。

心理测量学的相关教学课件（四）注意事项

1.两个测验必须在项目的内容、形式、数量、难易、时限、指导语等方面相同或相似；

2.两次测验的时间间隔要适当，若太短，由于测验太相似被试可能厌倦，若太长可能又会因新的学习而产生干扰。心理测量学的相关教学课件（五）使用复本信度的局限

1.只能减少但不能完全消除练习和记忆的影响；

2.由于第二个测验只改变了题目的具体内容，已经掌握的解题原则，可以很容易地迁移到同类问题。

3.对许多测验来说，建立复本是十分困难的。心理测量学的相关教学课件（一）同质性的含义所谓同质性指的是测验内部题目的一致性。即测验里各题得分为正相关（测验里各题得分相关为零叫异质）。题目内部的一致性主要受两方面变异的影响：

1．内容的一致性；

2．所研究的行为的同质性。三、内部一致性（同质性）信度心理测量学的相关教学课件（二）分半的方法

要计算分半信度，首先是如何将测验分半，以便得到最接近的可比较的两半。通常采用奇偶分半法。使用此方法应注意：

1．一组解决同一问题或互相有牵连的题目应尽量安排在同一半内。

2．当试卷中有任选题时不宜使用分半法，速度测验也不宜用。心理测量学的相关教学课件校正公式分半法求得的相关仅是半个测验分数相关，应使用“斯皮尔曼—布朗”公式加以校正，藉以估计整个测验的信度。

1.斯皮尔曼—布朗公式

rxx=2rhh/（1+rhh）其中，rhh为两半分数的相关系数，rxx为测验在原长度时的信度估计。此法假设：两半测验分数的变异性相等，但实际资料未必符合此假设。当两半不等值时，即上述假设不满足时，可采用下面两公式之一：心理测量学的相关教学课件2．弗朗那根公式：

rxx=2[1-（Sa2+Sb2）/Sx2]

其中Sa2和Sb2分别表示两半测验分数的变异数，Sx2表示测验总分的变异数。

3．卢伦公式：

rxx=1-(Sd2/Sx2)

其中Sd2表示两半测验分数之差的变异数，Sx2表示整个测验分数的变异数。心理测量学的相关教学课件（三）同质性信度的其他计算

1．库德—理查逊公式：（1）K-R20公式：

rkk=[K/(K-1)][（Sx2-∑piqi)/Sx2)]

式中K表示整个测验的题数，pi为项目通过率，qi为项目未通过率，Sx2表示测验总分的变异数（方差）。心理测量学的相关教学课件

（2）K-R21公式，适用于各题难度相近的情况：

rkk=[K/(K-1)][(Sx2-Kpiqi)/Sx2]pi为题目的平均通过率，qi为1-pi。

K-R21公式计算较为简单，但求得的信度系数有低估的倾向，当题目难度相差大时偏差更大。公式K-R20和K-R21只适用于0，1记分的测验。心理测量学的相关教学课件2．克伦巴赫α系数适用于非0，1记分的一种内在一致性系数。其公式如下：

α=[K/(K-1)][1-（∑Si2/Sx2）]

其中Si2为每一项目分数的变异数，其他字母意义与K-R20相同。上面这些公式均不适用于速度测验，因为只有每个人都做完全部题目时，题目的变异数才是准确的。心理测量学的相关教学课件内在一致性系数的使用局限性只适合于同质性的测验特别不适合于速度测验心理测量学的相关教学课件评分者信度是由多个评分者给一组测验结果评分，所得各个分数之间的一致性。

一般要求在成对的受过训练的评分者之间平均一致性达到以上，才认为评分是客观的。

四、评分者信度心理测量学的相关教学课件

当多个评分者评多个对象，并以等级法记分时，可用肯德尔和谐系数作为评分者信度的估计：

W=[∑Rt2-（∑Ri)2/N]/[(1/12)K2(N3-N)]

其中，K是评分者人数，N是被评的对象数，Rt是每一个对象被评等级的总和。心理测量学的相关教学课件评分误差存在的严重性严重到什么程度？历史教授的答案被评阅为“不及格”高考作文《一幅漫画的启示》，67位评阅者，6至25分都有，最高分与最低分相差19分1984年，高考作文评分调查，438位老师，4篇作文，。最高得分为，最低分为，标准差为。1985年，对1984年的四篇作文再研究，347位老师（有部分年参加研究的老师），最高得分为，最低分为，标准差为。心理测量学的相关教学课件评分误差产生的原因试题原因评分者原因专业知识水平不够评判能力不够个性倾向心理状态客观效应“名片”、“光环”、“对比”、“先后”环境、组织管理的原因心理测量学的相关教学课件控制评分误差的方法控制试题作答反应方向与范围预先制订好评分细则阅卷人员要选择、要培训流水作业分因素评分组织复查要求评分者自觉防止各种客观效应的影响大规模阅卷可考虑采用统计手段控制心理测量学的相关教学课件估计信度的方法与测验复本的数目以及施测次数的关系所需要的施测次数

所需复本的数目一二一二

分半信度

同质性信度

评分者信度再测信度

复本信度（连续施测）

复本信度（间隔施测）几种信度估计方法的总结比较心理测量学的相关教学课件

各种信度系数相应的误差来源信度系数的类型

误差变异的来源

再测信度时间取样

复本信度（连续施测）内容取样

复本信度（间隔施测）时间与内容取样

分半信度内容取样

同质性信度内容的异质性

评分者信度评分者间的差异心理测量学的相关教学课件第四节影响信度的因素

一、分数分布范围二、测验长度三、测验的难度四、间隔时间心理测量学的相关教学课件

误差变异越大，信度越低。除前面谈到的几种误差来源外，还有以下几个因素会影响信度系数的大小：一、被试样本（分数分布范围）（一）团体的异质性信度系数受分数的分布范围（全距）的影响，而分数范围与被试团体的异质程度有关。一个团体越异质，其分数范围越大，信度系数也就越高。相反，相对同质的团体分数则较为均匀。如图所示:心理测量学的相关教学课件

图中大方框显示的是一个较大的异质团体在两次施测中的分数分布,显然有很高的正相关.在小方框中显示的是一个高度同质的亚团体,两次分数几乎呈随机变化,相关接近于零。心理测量学的相关教学课件

（二）团体的平均水平对于不同的团体，题目具有不同的难度。每个题目在难度上的微小差异积累起来便会影响信度。例如，同一量表对不同年龄，不同IQ水平的被试，信度则不尽相同。因此，我们在编制测验量表，抽选被试时，往往要考虑选取不同层次的被试，以使得测验团体呈异质性，从而使得信度提高。反之，当需要同质团体的信度时，就应该尽量选取同一层次的被试。心理测量学的相关教学课件

二、题目的数量一般说来，在一个测验中增加同质的题目，可以使信度提高。即测验越长，信度越高。这是因为测验加长，加大了分数分布的范围，可能改进项目取样的代表性，从而能更好地反映受测者的真实水平。即测验的项目越多，在每个项目上的随机误差就可以互相抵消。心理测量学的相关教学课件

增加测验长度的效果可以用斯皮尔曼—布朗的通式来计算：

rkk=Krxx/[1+(K-1)rxx]

式中K为改变后的长度与原来长度之比，rxx为原测验的信度，rkk为测验长度是原来的K倍时的信度估计。一般来说，题目数量对相关系数的影响是递增的。如表所示：题目数量相关系数50100200300400500心理测量学的相关教学课件

但增加测验长度的效果遵循报酬递减率，测验过长是得不偿失的，可以通过下式确定一个测验究竟要增长多少才能达到理想的信度水平：

K=rkk(1-rxx)/rxx(1-rkk)

应注意一点，只有当新题目是与原题目选自同一总体，增长测验才能改进信度。心理测量学的相关教学课件三、测验难度要使信度达到最高，能产生最广分数分布的难度水平方为合适。通常这个难度为。洛德提出选择题的理想平均难度是：五选题、四选题、三选题、是非题。四、间隔时间间隔时间越短，信度系数越大；间隔时间越长，受外界影响越大，信度系数越小。心理测量学的相关教学课件第五节信度的应用1.信度是评价测验质量的重要指标之一。测验类型信度系数低中高学业成就测验0.660.920.98学术能力测验0.560.900.97特殊能力倾向测验0.260.880.96人格测验0.460.850.97兴趣测验0.420.840.93态度测验0.470.790.98注：表中数据来源，LewisR.Aiken:Psychologicaltestingandassessment(eighth