第二章教育测量与评价的质量特性ppt课件

1、第二章 教育丈量与评价的质量特性第一节 教育丈量与评价的信度第二节 教育丈量与评价的效度第三节 教育丈量与评价中工程的难度第三节 教育丈量与评价中工程的区分度.第二章 教育丈量的质量特性衡量教育丈量的质量，可采用四个目的： 信 度 主要对整个检验而言。 效 度 难 度 主要对检验工程而言。 区分度 .一、什么是信度 指丈量结果的稳定性或可靠性程度。普通地说，一个好的丈量必需具有较高的信度，也就是说，一个好的丈量工具，只需遵守操作规那么，其结果就不应随工具的运用者或运用时间等方面的变化而发生较大的变化。第一节 教育丈量与评价的信度.对信度的了解 信度指实测值X和真值T相差的程度； 调查信度系数时

2、，经常采用相关系数作为信度目的，检验结果之间的相关程度越高，信度就越高。采用不同的方式计算相关系数，就得到不同类型的信度系数。 心思检验的信度值在0-1.00之间，当信度系数等于1.00时，表示检验完全可靠；当信度系数等于0时，那么表示检验根本不可靠。.问题一个才干检验用于人才招聘，经检验它的信度为0.70，如何了解这个信度系数的含义。了解：0.70的信度系数阐明，在不同的招聘候选人之间进展比较，候选人检验分数的70%差别是由于个体之间真实的才干差别所导致的，而30%差别是由于随机误差所导致。.二、信度的种类及估计方法采用不同的方法来计算相关系数，就会得到不同类型的信度目的：重测信度、复本信度

3、、分半信度、同质性信度、评分者信度。五种信度的含义和计算方法各异，我们在运用时要特别留意每一种信度的特定内涵和适用范围。.一重测信度 指同一个量表对同一组被试施测两次所得结果的一致性程度。其大小等于同一组被试在两次检验上所得分数的相关系数，普通采用皮尔逊积差相关的公式来计算。施测再施测相关系数时间间隔.重测信度的计算X：第一次检验的实得分数；Y：第二次检验的实得分数； N：被试人数。统计学上，我们通常把对同一组被试实施的两次等值检验的成果的相关系数作为这一检验的信度。.例一用一个算术四那么的速度检验12个小学生，得分记为X，为了调查丈量结果的可靠性，于3个月后再测一次，得分记为Y，问检验结果能

4、否可靠？学生序号 1 2 3 4 5 6 7 8 9 10 11 12X 20 20 21 22 23 23 23 24 25 26 26 27Y 20 21 21 20 23 23 25 25 26 26 27 29.在运用重测法计算信度值时，应留意以下问题：1、信度的取值范围为0，1，当信度值较大时，阐明前后两次丈量结果比较一致；2、两次检验之间的时间间隔要适宜。应由检验的性质、测题类型、测题数量和被试特点所决议；3、重测法适用于速度检验而不适用于难度检验；4、应留意提高被试者的积极性。.重测信度与时间间隔两次丈量之间的间隔时间不同，重测信度也不同。 间隔时间太短，存在记忆效应；间隔时间太

5、长，影响丈量的干扰要素添加。普通而言，时间间隔越长，信度系数越低。适宜的间隔时间因检验性质、被试特点而异。 如：对儿童丈量时间间隔相对短一些成人丈量时间间隔可以长一些。普通以2周到4周较宜，最好不超越6个月。报告重测信度时要明确阐明两次检验之间的时间间隔，并且，一个经过良好评价的检验该当具有多个时间间隔的重测信度。.二复本信度指两个平等的检验丈量同一批被试所得结果的一致性程度。其大小等于同一批被试在两个复本检验上所得分数的相关系数。所谓复本检验是指在性质、内容、题型、题数、难度等方面都一致或相等的两份或多份检验。施测A型施测B型相关系数延续施测或间隔施测.例二以A、B两型英语复本检验对初中三年

6、级10个学生施测，为防止由检验施测顺序所呵斥的误差，其中5个学生先做A型检验，休憩15分钟后，再做B型检验；而另5个学生先做B型检验，休憩15分钟后，再做A型检验。10个学生A型检验结果记为X，B型检验结果记为Y，其检验的复本信度如何？学生序号 1 2 3 4 5 6 7 8 9 10X 19 19 18 17 16 15 15 14 13 12Y 20 17 18 18 17 15 13 15 12 12.复本信度的优缺陷表现：优点：1、检验的两个复本，假设在不同的时间运用，其信度既可以反映在不同时间的稳定性，又可以反映对于不同测题的一致性；2、两个复本在同时运用时，可以防止再测信息的一些缺

7、陷，如首测时再测在记忆、练习、效果的影响，间隔期间获得新知识的影响，两次施测的环境不同和被试客观形状不同的影响，以及为了应付检验所作训练的影响等。.复本信度缺陷：1、编制两个完全相等的检验是很困难的，假设两个复本过分类似，那么变成再测方式，而过分不类似，又使等值的条件不存在；2、两个复本检验有能够在某种程度上丈量了不同的性质，这就会低估检验的信度；3、被试同时接受性质类似的两个检验，能够减少完成检验的积极性；4、虽然两个复本检验的标题资料不同，但被试一旦掌握了解题的某一方式，就能触类旁通，有能够失去复本的意义。.三同质性信度同质性信度 也称内部一致性信度，指检验内部一切标题之间的一致性程度。两

8、层意思： 检验一切标题测的能否为同一种心思特质； 检验一切标题得分之间能否具有较高的正相关。根本假设：当一个检验具有较高的同质性信度时，阐明检验主要测的是某一个单一心思特质，由于众多标题测试了同一心思特质，那么实测结果就是该特质程度的反映。.估计方法分半信度p49库德-理查逊信度p50克龙巴赫系数系数，p52荷伊特信度p52.分半信度将检验分半，再求被试在每一半检验上所得分数的相关系数。首先根据内容、方式、题数、平均数、规范差、难度、测题间相关以及分布形状相等的原那么，将试题分成两半，或者将从易到难陈列的测题，按照测题序号，奇数测题为一组，偶数测题为一组，分成两半；然后计算每个被试在两个分半检

9、验分数的相关系数，再用斯皮尔曼布朗公式加以校正：p49.分半信度只需求一种检验方式，实施一次检验，它比重测信度和复本信度的操作更简便。留意：当一个检验无法分成对等的两半时，不宜运用分半信度。.分半信度的计算方法1、当两个半检验分数的方差相等时，计算两个“半检验之间的皮尔逊积差相关系数，然后用斯皮尔曼-布朗公式校正。rxx=2rhh/(1+rhh) 其中rxx是整个检验的分半信度，rhh是两个半检验之间的相关系数。.2、当两个半检验分数的方差不相等时， 采用弗朗那根公式和卢仑公式。弗朗那根公式：rxx=21-(s2a+s2b)/s2x卢仑公式：rxx=1-s2d/s2x 其中： rxx：检验的分

10、半信度， s2a、s2b：两半检验上得分的方差， s2x：整个检验上得分的方差， s2d：两半检验上得分之差的方差。.例三对初中一年级学生进展地理成果检验，每答对1题得1分，答错1题得0分，其检验结果如下表，试估计该检验的分半信度？学生序号 题 序 1 2 3 4 5 61 1 0 0 0 0 02 0 0 0 1 0 03 1 0 1 0 0 04 1 1 0 0 1 05 1 0 0 1 0 06 1 1 1 0 1 17 1 1 1 1 0 18 1 1 0 1 1 09 0 1 1 0 0 110 1 1 1 1 1 1.四评分者信度评分者信度 指多个评分者给同一批被试作答情况评分的一

11、致性程度。它主要用于客观性作品的评价过程中，如论述题评分，作文题评分、歌唱竞赛的评分，设计作品的评分等。.评分者信度的计算方法1、当评分者人数=2时，评分者信度等于两者评分的相关系数。2、当评分者人数大2时，评分者信度采用肯德尔调和系数计算。.五规范参照检验的信度分析1、百分比一致性目的PA ， p54 2、一致性系数p553、 指数p55.总结和比较1：五种信度的误差来源信度种类误差来源重测信度复本信度（同时测试）复本信度（延时测试）分半信度Kuder-Richardson 和Alpha系数评分者信度 时间间隔题目内容时间间隔与题目内容题目内容题目内容与心理行为特质的同质性评分者间差异 .总

12、结和比较2： 测试次数、测试卷份数与信度系数测试次数测试卷份数 1份 2份 1次 分半信度Kuder-Richardson信度Alpha系数 复本信度（同时测试） 2次 重测信度 复本信度（延时测试） .作业1、用某量表检验10名学生，得分记为X，为了调查结果的可靠性，于15天后用原量表对这10个学生重测一次，得分记为Y，问检验结果能否可靠？学生序号 1 2 3 4 5 6 7 8 9 10X 8 10 9 6 10 7 5 7 9 4Y 9 10 10 6 10 8 4 8 9 4.2、对10名应试者先进展某种检验X，隔适当时间后半年，再进展内容、范围、难度类似的第二次检验Y，试求检验的复本

13、信度？应试者 1 2 3 4 5 6 7 8 9 10X 9 10 10 6 10 8 4 8 9 4Y 4 9 7 9 4 3 5 3 2 4.3、有一个由100题构成的量表施行于10个高三学生分数见下表。检验一次后，学生即毕业离校，现怎样评价检验结果的信度？学生序号 1 2 3 4 5 6 7 8 9 10奇X 38 37 38 41 40 36 38 39 40 35偶Y 37 37 36 39 39 34 38 39 39 36.信度的作用1、信度是确定检验工具好坏的目的之一。测验类型 信度系数 低中高学业成就测验0.660.920.98学术能力测验0.560.900.97特殊能力倾向

14、测验0.260.880.96人格测验0.460.850.97兴趣测验0.420.840.93态度测验0.470.790.98注：表中数据来源，Lewis R. Aiken: Psychological testing and assessment (eighth edition), Allyn and Bacon, Inc, 1994.判别原那么：多年的研讨结果，普通的才干检验和成就检验的信度系数都在090以上，有的可以达095；而人格检验、兴趣、态度、价值观等检验的信度普通在080085或更高些。R原有的同类检验或类似检验。 .2、信度是丈量过程中随机误差大小的反映。3、信度可以直接解释真分

15、数与实得分数之间的关系，明确告知检验误差的大小丈量规范误可作为丈量误差大小的客观目的4、下结论说某检验比较可靠，必需根据情境，并经多次证明。5、信度可以解释、预测个人分数的意义。.三、提高信度的方法一影响丈量信度的主要要素 1、被试方面 2、主试方面 3、施测情境方面 4、丈量工具方面 5、两次施测的间隔时间方面.二提高丈量信度的常用方法1、适当添加检验的长度2、检验的难度要适中3、检验的内容应尽量同质4、检验的程序应一致5、检验的时间要充分6、检验的评分要尽量做到客观化，减少评分误差.一、什么是效度 指丈量结果的准确性和有效性的程度。也可以说是丈量能否到达了预期的目的。1、效度是一个相对的概

16、念。1丈量的效度是相对一定的丈量目的而言的2丈量的效度是相对丈量的结果而言的2、一种丈量的效度只是高或低的问题丈量结果总是有一定效度的，只是效度高低不同罢了。第二节 教育丈量与评价的效度.根据丈量目的的不同，对丈量工具进展效度验证的方法主要有三种：内容效度基于所测内容的效度验证方法构造效度基于所测心思构造的效度验证方法准那么关联效度基于效标关联性的效度验证方法二、效度的估计.1、什么是内容效度 指检验标题样本对应测内容及行为领域的代表性程度。假设是教学情境下的成就检验，那么其内容效度就是看检验标题样天性表达教学目的与教材要求的程度。例如，教师给学生做一份语文成就检验，假设该检验的标题涵盖了语文

17、教学所到达的各工程标及教材的重要内容，那么我们便说该检验具有较高的内容效度。为了使检验的内容具有有效性，成为所欲丈量内容的一个具有代表性的行为样本，在编制检验时，就要思索建立内容效度的问题。一内容效度.2、内容效度的估计1逻辑分析法其任务思绪是请有关专家对检验标题与原定内容范围的吻合程度作出判别。以考试内容效度分析来说，就是依托专家来分析一份试卷的一切标题，把一切标题按考试内容分布和调查目的分布进展双向分类，构成实践的“标题双向分类表；基于这个“标题双向分类表的分析，然后由专家对这次考试丈量的内容效度的称心程度作出等级判别或评语描画。 这里无妨先提供一份检验的命题双向细目表参见表3-9，p62

18、，以添加读者的感性认识。2量化分析法p63.内容效度主要运用于成就检验、学科检验、选拔和分类职业检验。内容效度不适宜用于才干倾向和人格检验。.二构造效度构造Construct是指心思学或社会学上的一种实际想象或特质。它本身察看不到、并且也无法直接丈量到，但学术实际假设它是存在的，以便可以来解释和预测个人或团体的行为表现。 例如，智力就是心思学中的一种构造构造效度，指的就是检验可以丈量到实际上通常是心思学或社会学所定义的某一心思构造或特质的程度。 .二构造效度构造效度检验对于人的心思特性或实际概念丈量到的程度。通常用某种操作来定义，并用检验来丈量。例如：人的发明力可以分解为人的思想流畅性、灵敏性

19、和发明性三大特性，并根据这三大特性编制检验，假设有足够的证据来证明该检验确实可以测到这些特性，那么以为该检验是个构造效度较高的发明力检验。.1、构造效度的特点构造效度的大小完全取决于事先假定的心思特质实际，一旦人们对同一种心思特质有着不同的定义或假设，那么会使得关于特质检验的构造效度的研讨结果无法比较。当实践丈量的资料无法证明我们的实际假设时，并不一定就阐明该检验构造效度高。由于还有能够出现实际假设不成立，或者该实验设计不能对该假设作适当的检查等情况，这就使得构造效度的获取更为困难。.2、建立构造效度的步骤A、提出实际假设；B、根据假定构造拟定测题，编制检验；C、以检验结果为根据来验证假设构造

20、中的各种要素能否成立。.3、构造效度的估计1要素分析法其目的是把一些具有错综复杂关系的要素归结为数量较少的几个综合要素或称共同要素，并以此检验所测之特质对检验分数作出解释。2多元特质多重方法矩阵法是由肯贝尔和菲斯克1959年提出的最受欢迎的一种构造效度的评价方法。这种方法的想象：假设采用两种方法以上的方法去丈量两种以上的特质，那么这些丈量结果之间可以构成一个多元特质多重方法矩阵。.从实际上说，以不同方法丈量同一特质的相关该当为最高；以一样方法丈量不同特质的相关次之；以不同方法丈量特质的相关为最低。与内容效度不同，构造效度主要用于智力检验、人格检验等一些心思检验方面。.三效标关联效度是以检验分数

21、和效标之间的相关系数来表示检验效度高低的方法。例如：某年全国高考物理学科的检验效度，可用大学一年级物理学科的检验分数为效标，然后求同一组学生高考物理得分与大一物理得分之间的相关，此相关系数就是该年高考物理检验的效标关联效度系数。当这个相关系数与总体零相关有显著性差别时，相关系数的值正值越大，效度就越高；相关系数的值越小，效度就越低。.效标不仅随检验的种类不同而不同，而且能够随时间而改动，如今是一个好的胜利的效标，未来就不一定是。所以，为某个检验选择一个最有效的效标，这是最重要的事情。教育检验的效标，可采用各学科成果和教师评定的结果；智力检验的效标，可采用学科成果、教师评判的结果、学生总成果、受教育年限、年龄以及其他事物；.才干倾向检验的效标，可采用特殊课程或特殊训练的成果；职业兴趣检验的效标，可采用从业人员实践效力成果或记录；人格检验的效标，可采用编制者的客观规范，或以被试以后行为或临床资料。.效标关联效度的估计方法1、相关法由于检验分数和效标分数这两个变量的类型不同，二者相关系数的计算方法也就不同。1积差相关法：适用于两个变量为延续变量进展显著性检验：自在度df=N-2，检验的是两个变量，都减去2；置信度取0.05，查相关系数界值表，寻觅临界值；结论：r临界值，阐明显著相关，效度高；r0为正区分，D0为