02-测量信度与随机误差控制

1、第二章第二章 测量信度与随机误差控制测量信度与随机误差控制 高等教育出版社 心理测量学心理测量学 高等教育出版社高等教育出版社 v误差的基本知识误差的基本知识一致性与准确性一致性与准确性 v随机误差与系统误差随机误差与系统误差 v （1） （2） （3） 1 1 1 1 1 1 1 11111 11111 11111 11111 心理测量学心理测量学 高等教育出版社高等教育出版社 第二章第二章 测量信度与随机误差控制测量信度与随机误差控制 信度概述信度概述 1 信度的种类及评估方法信度的种类及评估方法 2 测量的随机误差控制测量的随机误差控制 3 心理测量学心理测量学 高等教育出版社高等教育出

2、版社 第二章第二章 测量信度与随机误差控制测量信度与随机误差控制 信度概述信度概述 1 心理测量学心理测量学 高等教育出版社高等教育出版社 信度概述信度概述 v什么是信度什么是信度? 相同被试在不同时间或不同场合下重复用同一测量工具 或等价等价（equivalent）工具测量所得结果的一致性一致性 （consistency）程度。 信度反映了测量结果中，由于随机误差因素所带来的方差 变异大小。 信度越高，随机误差方差越小，测量结果越稳定。 心理测量学心理测量学 高等教育出版社高等教育出版社 信度概述信度概述 v 什么是信度什么是信度? 经典测量理论经典测量理论（classical test t

3、heory, CTT）假设： 个体在某个测量上获得的分数结果是由真分数真分数（true score）和 随机误差分数组成的。 一群被试的观察分数方差等于他们的真分数方差加上随机误差 方差。证明 为观察分数方差； 为真分数方差； 为随机误差方差。 222 ETX 2 X 2 T 2 E XTE 心理测量学心理测量学 高等教育出版社高等教育出版社 信度概述信度概述 v什么是信度什么是信度? 测量的信度被定义为观察分数方差中由真分数方差所解 释的比例，由下式表示：证明 为测量的信度，由上式定义可以知道，测量的信度是 一个0.00到1.00的非负值 2 2 X T XX r xx r 心理测量学心理测

4、量学 高等教育出版社高等教育出版社 信度概述信度概述 v什么是信度什么是信度? 然而，由于真分数方差无法直接计算得到，因此，需要 通过前面两个公式，推导出在观察分数方差中误差方差 所占的比例，或者叫真分数方差未解释的比例，以计算 信度，如下式： XX X E r1 2 2 心理测量学心理测量学 高等教育出版社高等教育出版社 信度概述信度概述 v信度的作用信度的作用 信度反映了不同测量情境因素对测量结果的影响大小； 情境因素对测量结果影响甚大，表明观察分数的随机误差 就很大，测量结果偏离真值的程度也就偏大 。 信度可以用来评价个体分数的稳定性程度。 信度越低表明个体分数的随机误差越大，也就是说，

5、个体 观察分数偏离真分数越远，这样的测量工具得到的分数也 就越不稳定。 心理测量学心理测量学 高等教育出版社高等教育出版社 第二章第二章 测量信度与随机误差控制测量信度与随机误差控制 信度的种类及评估方法信度的种类及评估方法 2 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v重测信度重测信度 含义 同一个测量工具在两个不同时间对同一组被试施测所得结 果的一致性程度。 重测信度主要考察了一个测量工具是否能够保证在不同时 间测量结果的一致性，他反映了测量工具的结果受到时间 间隔因素影响的大小。 一般来说，重测的时间间隔越短，那么各种施测情境的变 化就越小，重测信度

6、系数就会越大。 重测信度系数较大时，说明该测量工具前、后两次的测量 结果比较一致。结果具有较好的跨时间上的稳定性。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v重测信度重测信度 评估方法 重测信度的大小可以通过计算测量工具的重测系数重测系数（test- retest coefficient）或叫稳定性系数稳定性系数（coefficient of stability） 来标志。具体来说，就是求取同一组被试在两个不同时间 施测同一个测量工具所得结果分数的相关系数。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v重测信度重测信度

7、使用的条件 测量工具所测量的个体心理特质在时间上应该是相对稳定 的。 测量工具所测量的个体心理特质应该不存在明显的练习效 应和遗忘效应。 在两次施测间隔期间不应该进行专门的训练和培训，以保 证重测信度反映的是随机因素的影响效应。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v使用重测信度时需要注意的问题使用重测信度时需要注意的问题 两次施测时间间隔的长短会影响重测信度系数估计值的 大小，因此，在报告重测信度系数时应该报告间隔的时 间长度。 应该根据已有的相关研究结论考虑所测心理特质本身的 稳定性程度，以确定前后两次施测时间的间隔究竟应该 多长比较合适时，不应该

8、随便选择间隔时间的长短， 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v复本信度复本信度证明证明 含义 两个平行的测验（复本测验）测量同一批被试所得结果的 一致性程度。 复本信度反映了由于题目的不同以及时间间隔所导致的测 量误差。 平行测验或复本测验指的是两个在题目内容、数量、形式、 难度、区分度、指导语、时限以及所用的例题、公式和测 验等其他方面都相同或相似的测验。也就是用不同的题目 测量同样的内容而且其测验结果的平均值和标准差都相同 的两个测验。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v复本信度复本信度 评估方法 复

9、本信度的估计过程就是计算同一批被试在两个平行的复 本测验上所得分数的相关系数，也叫作等价系数等价系数 （coefficient of equivalence）。 测试设计：同时测试和延时测试。 同时测试是在同一个时间段内进行测试，而延时测试则是 在两个时间段进行测试，同时测试可能会存在作答疲劳的 效应，而延时测试则可能会存在学习或培训效应。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v复本信度复本信度 使用的条件 要构造出两份或两份以上真正平行的测验; 计算复本信度需要对同一批被试测试两份平行测验，这就 需要掌握一个合理的时间安排。 应该尽量在测试结果报告中

10、，详尽地说明两次测试的时间 间隔、测试顺序安排、测试过程中被试的有关测验经历等。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v内部一致性信度内部一致性信度 内部一致性信度主要评价了测验各随机组成部分之间是 否测量了相同的心理特质，因此，它反映的是题目内容 的抽样一致性程度。 具体估计方法主要包括分半信度评估法、库德-理查森信 度评估法、克龙巴赫Alpha系数评估法。 与重测信度和复本信度不同，在估计测验的内部一致性 信度时，只要用同一个测验对一批被试测试一次。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v内部一致性信度内部

11、一致性信度 分半信度 含义 我们总是可以把一个测验的所有题目随机地划分成对半的两 个部分，然后估计所有被试在这两个部分题目上得分的一致 性程度，这样得到的测验一致性估计称为分半信度。 分半信度评价了测验两个随机组成部分的题目是否测量了相 同的心理特质。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v内部一致性信度内部一致性信度 分半信度计算 评估方法 计算出被试在测验两个随机组成部分的题目上得分之间的相 关系数. 由于在用分半测验得分计算相关系数时，测验题量被缩短， 信度系数需要通过以下这个公式对分半相关系数进行矫正而 得到。 为两个分半测验之间的相关系数，

12、为完整长度测验的信 度系数估计值。 hh hh xx r r r 1 2 hh r xx r 课堂练习课堂练习 v已知某量表的分半信度为已知某量表的分半信度为0.69，请算出原长度的，请算出原长度的 信度系数。信度系数。 v已知某个测验的信度为已知某个测验的信度为0.70，要使该测验的信度，要使该测验的信度 达到达到0.80，必须增加多少题目？，必须增加多少题目？ v测验有测验有20道测题，其信度仅为道测题，其信度仅为0.56，若把测题增，若把测题增 加到加到80题，信度能达到多少？增加到题，信度能达到多少？增加到160题呢？题呢？ 心理测量学心理测量学 高等教育出版社高等教育出版社 心理测量

13、学心理测量学 高等教育出版社高等教育出版社 0.817 1.714 0.836 0.911 测量信度的种类及评估方法 v内部一致性信度内部一致性信度 分半信度 评估方法 另外一个估计分半信度系数的方法是Rulon公式，他只需要 计算所有被试在两部分测验上得分之差的方差以及总分方差： 式中， 为完整测验的信度估计值， 为被试在两部分测验上 得分之差的方差， 为完整测验总分方差。 Rulon公式中分子方差反映了由于题目不同等条件带来的误 差方差，他与总方差之比反映了误差方差在总方差中所占的 比例。 2 2 1 d xx x S r S xx r 2 d S 2 x S 心理测量学心理测量学 高等教

14、育出版社高等教育出版社 测量信度的种类及评估方法 v内部一致性信度内部一致性信度 分半信度 使用时需注意的问题 在估计测验的分半信度时，虽然要求把一个测验的所有题目 随机地划分成对半的两个部分，但是在实践中对测验分半时， 为了尽量减少无关因素的影响，通常需要考虑题型、题分、 题目测试先后顺序等因素的平衡问题，比如按照题目顺序奇 偶分半就是一个经常选择的方法。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v内部一致性信度内部一致性信度 库德-理查森信度 含义 在估计分半信度时，把一个测验的题目分成两半的方式是非 常多的。而每种分半方式得到的信度估计值总会存在一些

15、差 异，但我们无法知道究竟哪种分半结果所得到的信度估计值 是最合适的。 估计所有可能的分半信度系数的平均数，作为完整测验的内 部一致性最佳估计值。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v内部一致性信度内部一致性信度 库德-理查森信度 评估方法：所有分半信度系数的平均数的估计方法 K-R 20 K-R 21 2 1 )1 ( 1 1s pp k k r k i ii xx 2 )( 1 1ks XkX k k r xx 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v内部一致性信度内部一致性信度 库德-理查森信度 使用的条

16、件 Kuder-Richardson信度系数的估计只能针对1、0记分题型， 对于其他题型需要使用更加一般化的估计方法。 K-R 21公式假设测验中所有项目的难度是相同的。 Kuder-Richardson信度反映的是项目间一致性程度，他会严 重地受到测验所测行为特质的同质性程度的影响。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v内部一致性信度内部一致性信度 Cronbachs Alpha系数 含义 是一种比Kuder-Richardson方法更加一般化的信度估计方法， 它可以针对各种记分方式的题型进行估计。 心理测量学心理测量学 高等教育出版社高等教育出版

17、社 课堂活动：解释Cronbachs Alpha系数的计算公式 v 内部一致性信度内部一致性信度 Cronbachs Alpha系数 评估方法 公式中， 是测验题目个数， 是被试在题目 上得分的方差， 是被试测验总分方差。 2 1 2 1 1 t k i i s s k k k 2 i si 2 t s 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v内部一致性信度内部一致性信度 Cronbachs Alpha系数 使用的条件 可以估计各种记分方式的测验内部一致性信度系数，是更一 般化的测验内部一致性信度系数估计方法。 心理测量学心理测量学 高等教育出版社高等教

18、育出版社 测量信度的种类及评估方法 v评分者信度评分者信度 含义 在评价通过主观评分方式得到的分数时，我们必须了解不 同的评分者在评价被试作答反应时给的分数值的一致性程 度（信度）。 一般的客观型题目在评分时很少出现误差，然而，对于诸 如作文测验、语言类测验、以及其他的评价性测验（如人 格特质评级、投射测验评分等），这些测验类型的评分过 程就显得非常主观。 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v评分者信度评分者信度 评估方法 两个评分者时：计算这两个评分者评定分数之间的相关系 数。 多个评价者评价同一批被试：计算和谐系数和谐系数 心理测量学心理测量学

19、高等教育出版社高等教育出版社 测量信度的种类及评估方法 v 信度系数及其估计方法总结信度系数及其估计方法总结 测试次数和测试卷份数与信度系数估计方法 测试次数 测试卷份数 1份 2份 1次 分半信度、 Kuder- Richardson信度、 Alpha系数 复本信度（同时测 试） 2次 重测信度 复本信度（延时测 试） 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v 信度系数及其估计方法总结信度系数及其估计方法总结 各种信度估计方法的误差方差来源 复本信度（延时测试） 复本信度（延时测试） 重测信度 复本信度（同时测试） 复本信度（延时测试） 分半信度 Ku

20、der-Richardson 和Alpha系数 评分者信度 时间间隔 题目内容 时间间隔与题目内容 题目内容 题目内容与心理行为特质的同质性 评分者间差异 心理测量学心理测量学 高等教育出版社高等教育出版社 测量信度的种类及评估方法 v 信度系数及其估计方法总结信度系数及其估计方法总结 各种心理评估工具的信度系数 测验类型 信度系数 低中高 学业成就测验0.660.920.98 学术能力测验0.560.900.97 特殊能力倾向测验0.260.880.96 人格测验0.460.850.97 兴趣测验0.420.840.93 态度测验0.470.790.98 心理测量学心理测量学 高等教育出版社

21、高等教育出版社 第二章第二章 测量信度与随机误差控制测量信度与随机误差控制 测量的随机误差控制测量的随机误差控制 3 v对分课堂第对分课堂第1讨论题：讨论题： v讨论四种信度的变异来源是什么？讨论四种信度的变异来源是什么？ v对分课堂第对分课堂第2讨论题：讨论题： v用用spss实现分半信度和克龙巴赫阿尔法系数计算实现分半信度和克龙巴赫阿尔法系数计算 v对分课堂第对分课堂第3讨论题：讨论题： v克龙巴赫阿尔法系数为什么与重测信度等价？克龙巴赫阿尔法系数为什么与重测信度等价？ 心理测量学心理测量学 高等教育出版社高等教育出版社 心理测量学心理测量学 高等教育出版社高等教育出版社 测量的随机误差控

22、制 v测量标准误与信度测量标准误与信度 测量标准误 信度系数越低，测量标准误就越大。 x 1 exx ssr 课堂练习课堂练习 v假设韦克斯勒儿童量表中国修订版的信度为假设韦克斯勒儿童量表中国修订版的信度为0.96， 标准差为标准差为15，请算出其标准误。，请算出其标准误。 v某测验的被试为某测验的被试为25年级的小学生，已知信度是年级的小学生，已知信度是 0.87，标准差为，标准差为9，现欲知道仅用于，现欲知道仅用于4年级时信度年级时信度 是多少，是多少，4年级的标准差是年级的标准差是7。 心理测量学心理测量学 高等教育出版社高等教育出版社 3 0.79 课堂练习课堂练习 v如果已知某被试斯坦福如果已知某被试斯坦福-比纳量测定比纳量测定IQ为为110，信，信 度为度为0.75，标准差为，标准差为16，那么真分数在，那么真分数在95%的的 可靠度要求下变动范围是多少？可靠度要求下变动范围是多少？ v（当（当T一定时，一定时，X的标准差即为的标准差即为E的标准差）的标准差） 心理测量学心理测量学 高等教育出版社高等教育出版社