第四章教育测量的质量指标效度

第四章教育测量的质量指标效度第一页，共五十六页，编辑于2023年，星期一第二节效度一、效度的意义二、效度的统计定义及其与信度的关系三、效度的分类及估计四、提高效度的方法第二页，共五十六页，编辑于2023年，星期一一、效度的意义效度（Validity）测量结果的准确性和有效性的程度一个测验或量表实际能测出其所要测量的特性的程度记为：rxy第三页，共五十六页，编辑于2023年，星期一一、效度的意义第一，效度始终是针对一定的测量目的而言的。第二，效度是针对测量结果而言的。第三，效度只有高或低的程度上的差异。第四，评价一个测量是否有效要多角度、多方面地收集证据。第五，教育测量中，效度问题比在其他领域的测量中更为重要。第四页，共五十六页，编辑于2023年，星期一一、效度的概念这是因为：⑴教育测量的对象大多是精神现象，只能通过对其具有可测性的外部表现（如语言或动作等）的测量，以间接认识其心理活动、心理特征或知识水平等。⑵学生的心理活动、心理特征与其外部表现之间，一般仅具有相关关系而无函数关系，外部行为并不能准确无误地反映某种心理状态。⑶教育测量的对象不是物而是有主观能动性的人。人能有意识地调节自己的外部行为，掩盖自己的内心活动，这就增加了认识其精神现象的难度。第五页，共五十六页，编辑于2023年，星期一二、效度的统计定义及其与信度的关系

1、效度的统计学原理在实际测量中，影响效度的主要因素是系统误差。因而在讨论效度时，还必须把真分数方差分解为两个部分，一是潜在真分数方差（σV2），另一部分是系统误差分数方差（σI2），它与由随机误差引起的变异（σE2）不同。第六页，共五十六页，编辑于2023年，星期一第七页，共五十六页，编辑于2023年，星期一2、效度与信度的关系σV2σI2σE2σV2σI2σE2σV2σI2σE2根据公式（2-2）和（2-3），可将效度与信度的关系图解于后：根据分析，可得结论如下:1)高信度是高效度的必要条件，而非充分条件。2)效度系数不会大于信度系数的平方根。可以用下式表示：高效度、高信度低效度、高信度低效度、低信度第八页，共五十六页，编辑于2023年，星期一三、效度的类别与分析验证法1974年美国心理学会发行的《教育和心理测量的标准》一书将效度分为三大类：内容效度：侧重于测验题目取样的代表性，考查这些题目对所欲测量的内容和行为反应测量的有效程度。结构效度：侧重于一个测验的能够测量到心理学和教学理论上的抽象概念和特质的程度。效标效度：侧重于测验分数预测我们所关心的外在行为的准确程度。第九页，共五十六页，编辑于2023年，星期一三、效度的类别与分析验证法琳恩和格朗兰德提出效度的四个向度，即内容内容效度、效标关联效度、构想效度和结果效度。第十页，共五十六页，编辑于2023年，星期一（一）内容效度及其分析方法内容效度（Contentvalidity）又称合理效度或逻辑程度，是指测验内容或行为取样的代表性和适当程度；即实测内容和预定测验内容之间的一致性程度。估计内容效度的方法：逻辑分析法（定性的方法）统计分析法（定量的方法）第十一页，共五十六页，编辑于2023年，星期一（一）内容效度及其分析方法逻辑分析法（定性的方法）依据教材内容、教学大纲的范围以及教学目标分析测验内容，检查测验内容究竟在体现教材内容和教学目标方面达到多大程度对每一道题目逐一进行审查，以此形成“题目双向细目表”与“命题双向细目表”加以对照，以确定试卷的效度统计分析法（定量的方法）克龙巴赫法（两套测验试题，对相同被试实施测试后，计算得分的相关系数）评分一致性考查法（不同评分者之间评分的一致性程度，即考查评分者信度）前后测对比法（根据前后两次测验的差异显著性，确定测验的内容效度）第十二页，共五十六页，编辑于2023年，星期一（二）结构效度的验证方法结构效度是指一个测量能实际测量出理论上的构想或心理特性的程度。它的目的在于用心理学的概念来说明分析测验分数的意义，也就是说从心理学的理论观点就测验的结果加以解释和探讨。这里的结构的含义是心理学理论所涉及的抽象而属假设性的概念、构想、特性或变量，如智力、焦虑、机械能力倾向、成就、动机等。第十三页，共五十六页，编辑于2023年，星期一（二）结构效度的验证方法建立理论框架从理论框架出发，提出各种假设根据假设编制测验以逻辑及实证的方法，检验结果是否符合心理学的理论框架及其假设比如：中学生数学能力的研究数学能力由分析能力、综合能力、归纳和演绎能力、运算能力、空间想象能力构成；数学能力与早期教育有关；数学能力与智力正相关。编制测验，施测并收集测验结果分析测验结果，考查测试的结构效度，考查测验结果是否支持理论构想第十四页，共五十六页，编辑于2023年，星期一（三）效标关联效度的估计方法效标：检验测验效度的外在的、客观的标准，即效度的标准效标效度，也称为效标关联效度，也称为实证效度验证方法是指一个测验对处于特定情境中的个体行为进行预测时的有效性例：高考成绩预测大学学习成绩能力倾向测验预测工作成效第十五页，共五十六页，编辑于2023年，星期一（三）效标关联效度的估计方法分类：同时效度：测验分数与效标资料的取得约在同一时间内连续完成，这两种资料的相关系数即为同时效度目的：诊断现状用全国高考的成绩作为效标来检验高中毕业生会考的成绩，计算两者之间的相关系数就是会考的同时效度预测效度：测验分数取得一段时间后才获得效标资料，计算这两种资料间的相关系数目的：预测某个个体将来的行为而用大学一年级的成绩作为效标来检验高考的成绩，计算两者的相关系数就是高考的预测效度。第十六页，共五十六页，编辑于2023年，星期一效标效度的估计方法相关法直接计算测验分数与效标分数的相关系数积差相关、等级相关、二列相关等显著差异法根据效标测量将被试分为两个极端组，检验这两个组测验分数是否具有统计学上的差异显著性命中率当测验用作取舍决策时，常使用命中率相关概念：总命中率、正命中率、负命中率总命中率高，则测试的效度高例：70人参加的考试，通过测验选取了50人，淘汰了20人；选出的人中有40人合格，淘汰的人中有8人不合格。该测验的总命中率、正命中率和负命中率分别是多少？第十七页，共五十六页，编辑于2023年，星期一1、用积差相关系数的方法估计效度

积差相关，是计算两个变量线性相关的一种方法，由英国统计学家皮尔逊提出，因此也称为皮尔逊(Pearson)相关。要使用积差相关必须同时具备如下几个条件：①两个变量都是由测量获得的连续性数据，即等距或等比数据。②两个变量的总体都呈正态分布，或接近正态分布，至少是单峰对称分布，当然样本并不一定要正态。③必须是成对的数据，而且每对数据之间是相互独立的，即各自互不影响，本条件是难以检验的。④两个变量之间呈线性关系。一般用描绘散点图的方式来观察，最好是先各自转化为Z分数，单位会统一些。第十八页，共五十六页，编辑于2023年，星期一例：某中学数学教研组的教师积多年的教学法经验，认为刚入高中的学生学习立体几何感到困难的主要原因是空间想像力弱。为了证明这个论点，他们让刚入高中的103名学生作10道题，测量其空间想像力。为避免知道了某些学生的刚入高中时的成绩影响以后考试的评分，试卷暂不评阅。立体几何学完后，进行考试，按得分多少把成绩分为五等（A、B、C、D、E）分别得5、4、3、2、1分。这时才评阅入学时的试卷，统计出期末得5、4、3、2、1分者在入学测验中分别答对1道题至10道题的人数（见表2-1）。就现有资料，用什么方法可以判断教师们的意见是否正确？第十九页，共五十六页，编辑于2023年，星期一表2-1：（答对的题数）12345678910所评的等级ABCDE543211310542168843124598311321111211第二十页，共五十六页，编辑于2023年，星期一解：（1）设期末考试的等第为y，空间想像力测验答对的题数为x，列出二重交叉次数分布表：X（答对的题数）12345678910Y所评的等级ABCDE54321131054216884312459831132111121125313296合计241014202017952103第二十一页，共五十六页，编辑于2023年，星期一（2）用积差相关系数公式计算效度系数：第二十二页，共五十六页，编辑于2023年，星期一第二十三页，共五十六页，编辑于2023年，星期一第二十四页，共五十六页，编辑于2023年，星期一二列相关适用于两个变量就其实际含义而言是等距或等比数据，它们服从正态分布，其中一列人为地划分为两类。第二十五页，共五十六页，编辑于2023年，星期一点二列相关

适用于一列数据为等距或等比且总体服从正态分布（实际上只需要单峰对称分布，如Ｔ分布），另一列变量是按事物的性质划分为两类的变量，也可以是一个双峰分布，人为划分为两类，如文盲与非文盲。这种相关系数多用于测验中评价题目的区分度。对选择题、判断题在整个测量中作用作出判断。基本计算公式：第二十六页，共五十六页，编辑于2023年，星期一例：有一位教师自编了一套测验题，用来预测学生一年后的某科成绩，自编测验按百分制评分，一年后考试评分只把学生分为及格者和不及格者。试就所获资料估计自编测验的预测效度。解：1)把两次测验成绩成对排列：被试者1

2

3

4

5

6

7

8

9

10

11

12

13

14自编测验的成绩（X）67

10

204460436110262330183523一年后考试成绩（Y）111001101001112)计算出二列相关公式所需统计量：第二十七页，共五十六页，编辑于2023年，星期一第二十八页，共五十六页，编辑于2023年，星期一四、提高效度的方法（一）各种效度系数的要求（二）影响效度的因素（三）提高效度的方法：

1、控制系统误差

2、精心编制量表

3、妥善组织测验

4、扩充样本的容量和代表性

5、合理处理效度和信度的关系

6、适当增加测验的长度第二十九页，共五十六页，编辑于2023年，星期一表2.1测验长度与信度和效度的关系题数与原测验题数之比信度系数效度系数1020306012014048012361214480.3000.4620.5620.7200.8370.9110.9540.4000.4960.5480.6190.6680.6790.713第三十页，共五十六页，编辑于2023年，星期一第三节难度及其计算一、难度的概念1、难度是指测量试题的难易程度。在教育测量中，客观题的难度一般用正确回答试题的人数与参加测验的总人数的比值来表示。其公式为：例如：在100个学生中，答对第一题的30人，答对第二题的60人，这两道题的难度分别是多少？第三十一页，共五十六页，编辑于2023年，星期一2、难度对测验的影响1）测验难度影响分数的分布形态。难度值越接近0，测验的难度就越大，测验分数就越是集中在低分端，其分数分布越呈现正偏态；反之，难度值越接近1.00，其难度就越小，测验分数越集中在高分端，分数分布呈负偏态。2）测验难度影响测验分数的离散程度测验难度过大过小，都会造成测验分数偏离正态分布，从而使分数的全距缩小，使测验分数的离散程度变小。3）测验难度影响测验的鉴别能力在测验中，考生之间相互配对比较的可能性越多，就越有利于准确地鉴别考生的不同能力。第三十二页，共五十六页，编辑于2023年，星期一3、测验的适宜难度难度在0.50左右的试题能组成考生之间最多的配对比较次数，能使测验分数的离散指数达到最大值，并能有效地造成测验分数的正态性。这有两层意思：一是测验中的各试题的难度，均应在0.50左右；二是测验中的试题的难度在0.2-0.8之间，平均难度应在0.50左右。第三十三页，共五十六页，编辑于2023年，星期一二、难度的计算（一）计算难度的基本公式3、整个试卷的难度计算试卷的难度是指一份试卷的总体难易程度，其由试卷中每道题的难度决定。其计算办法为：将每道题目的难度与满分值相乘的积相加，然后将其总和除以试卷的满分值，所得的商即为整个试卷的难度。第三十四页，共五十六页，编辑于2023年，星期一二、难度的计算（一）计算难度的基本公式1、客观题难度的计算2、主观题难度的计算P表示难度指标，N表示参加考试的总人数，R表示答对某道客观题的人数。第三十五页，共五十六页，编辑于2023年，星期一（二）用极端分组法计算试题的难度1、用极端分组法计算客观题的难度具体步骤如下：1）先按测验总分的高低，按由高到低的顺序依次排列试卷。2）从得分最高的一份试卷开始依次向下选出全部试卷的27%作为高分组；从得分最低的一份试卷开始依次向上选出全部试卷的27%作为低分组。3）按计算公式计算难度第三十六页，共五十六页，编辑于2023年，星期一例题：在100名学生中，高分组与低分组各有27人。其中高分组答对第一题的有20人，低分组答对第一题的有10人。这道题的难度为多少？

第三十七页，共五十六页，编辑于2023年，星期一计算解：依据客观题极端分组法计算公式第三十八页，共五十六页，编辑于2023年，星期一2、用极端分组法计算论文试题难度步骤如下：1）按测验得分排列试卷，确定高分组与低分组，各占总人数的25%（方法同前）。2）分别为高分组、低分组编制每道试题的分析表。3）按下列公式计算难度，第三十九页，共五十六页，编辑于2023年，星期一例：某道论文题，高分组得分总和为40分，低分组得分总和为15分，有40人参加考试，这道题最高得分为8分，最低得分为2分，则此题的难度为多少？（0.125）第四十页，共五十六页，编辑于2023年，星期一计算解：依据主观题极端分组法计算公式

=0.125第四十一页，共五十六页，编辑于2023年，星期一第四节区分度及其计算一、区分度的意义（一）区分度（Discrimination）是指测验对考生实际水平的区分程度，用符号D表示。又叫鉴别力，它是评价试题质量，筛选试题的主要指标与依据。区分又分为正（或积极）区分（D＞0），零区分（D＝0）和负（或消极）区分（D＜0）。区分度的高低直接影响到测验的信度和效度。第四十二页，共五十六页，编辑于2023年，星期一（二）区分度与测验信度、难度的关系1、区分度与信度的关系（见下表2.2）这里是假定全部试题的难度均为0.50时所预测的信度系数。区分度指的是平均值。可见，要想达到理想的测验信度，提高区分度是一个好办法。区分度信度0.12250.160.200.300.400.500.000.420.630.840.9150.949第四十三页，共五十六页，编辑于2023年，星期一（二）区分度与难度的关系表2.3

D的最大值与试题难度的关系

由上表可知，难度适中，可使区分度达到最大值。难度区分度的最大值1.00.90.70.50.30.10.00.00.20.601.00.60.2000第四十四页，共五十六页，编辑于2023年，星期一二、区分度的计算（一）用极端分组法计算区分度1、客观题区分度的计算：

D＝PH－PL注：将被试依照总分从高到低排列，然后将总分最高的27%和最低的27%的被试分别定为高分组和低分组。）2、主观题区分度的计算：第四十五页，共五十六页，编辑于2023年，星期一二、区分度的计算（一）用极端分组法计算区分度1、客观题区分度的计算：

D＝PH－PL（D为区分度，Ph为高分组通过率，Pl为低分组通过率。）（注：将被试依照总分从高到低排列，然后将总分最高的27%和最低的27%的被试分别定为高分组和低分组。）第四十六页，共五十六页，编辑于2023年，星期一二、区分度的计算（一）用极端分组法计算区分度3、整个试卷的区分度计算试卷的区分度是指一份试卷总体对学生的区分程度。其计算办法为：将每道题目的区分度与满分值相乘的积相加，然后将其总和除以试卷的满分值，所得的商即为整个试卷的区分度。第四十七页，共五十六页，编辑于2023年，星期一（二）用内部一致性系数计算区分度极端分组法分析通常只在教师编制的课堂测绘中使用。在标准化的或大规模的测验中，多采用相关法分析试题的内部一致性。由于测验总分属于连续变量，测验项目（试题）多属二分称名变量（对、错或通过、不通过），所以，用相关法计算区分度时，多采用点二列相关、二列相关、Φ系数等方法计算相关系数。第四十八页，共五十六页，编辑于2023年，星期一P80页第14题

某学科测验，10名被试得分情况如表3-20所示：

被试题目0102030405060708091012345678220200202202202002020022202000020020022057466245346554716245111491016512810131016812156151198第四十九页，共五十六页，编辑于2023年，星期一P80页第14题

某学科测验，10名被试得分情况如表3-20所示：1、计算第1、5题的难度与区分度；2、用高低分组法计算第2、6的难度与区分度。3、计算该测验的信度。第五十页，共五十六页，编辑于2023年，星期一P80页第14题

某学科测验，10名被试得分情况如表3-20所示：

被试题目0102030405060708091012345678220200202202202002020022202000020020022057466245346554716245111491016512810131016812156151198总分34483036501441303034第五十一页，共五十六页，编辑于2023年，星期一P80页第14题

某学科测验，10名被试得分情况如表3-20所示：

被试题目010203040506070809101522020020225746624534总分34

483036

5014413030341、计算第1、5题的难度与区分度；

P1=R/N=6/10=0.6；P5=4.6/7=(假定这道题的满分为7分)第五十二页，共五十六页，编辑于2023年，星期一

被试题目010203040506070809101522020020225746624534总分34

483036

501441303034第1题的区分度的计算：（用点二列相关法）第五十三页，共五十六页，编辑于2023年，星期一

被试题目010203040506070809101522020020225746624534总分34

483036

501441303034第5题的区分度的计算：（用积差相关系数法）第五十四页，共五十六页，编辑于2023年，星期一P80页第