第三讲 测量的质量分析ppt课件_第1页
第三讲 测量的质量分析ppt课件_第2页
第三讲 测量的质量分析ppt课件_第3页
第三讲 测量的质量分析ppt课件_第4页
第三讲 测量的质量分析ppt课件_第5页
已阅读5页,还剩28页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、第三讲 检验的质量分析3.1 检验的信度 3.2 检验的效度3.3 检验的难度3.4 检验的区分度.3.1 检验的信度一、信度的定义二、信度系数的计算三、提高检验信度的途径. 检验的信度是指检验结果的可靠性或可靠程度。可靠性是指对同一组对象进展两次一样丈量所得结果的一致性和稳定性程度。一、信度的定义 丈量学中,信度可定义为真分数方差与实得分数方差的比率,即 3.1.1 这阐明,真分数方差 在实得分数方差 中所占的比重越大,那么信度 就越高。 由于 是未知数,所以根据误差方程 可将公式3.1.1改写为 (3.1.2)而 和 都可以从一组实得分数中计算出来,所以3.1.2式更有实践意. 从公式3.

2、1.1或3.1.2看出,假设真分数T与实得分X接近时, 和 也会接近,而误差 及 就会很小,此时信度就会增大。可见,信度是实测值与真值之间差距大小的量度。检验信度越高,误差就越小,检验的结果也越可靠。理想情况下,误差为零时,信度到达最大值 ;当信度很低,甚至降为零时,阐明检验分数中充溢误差,它比不检验还糟。 信度的值在01之间,称为信度系数。当 为0.950.99时,检验可靠性很高,但不常见; 为0.90.94是通常能得到的最好结果; 为0.80.9也比较好; 为0.70.79尚可运用, 在0.7以下,阐明误差太大,该检验不能运用。 . 实践任务中,经过对检验结果的一致性程度来计算信度的,主要

3、有三种:稳定性系数、等值性系数和内在一致性系数。 1、稳定性系数再测信度 用同一个检验,对同一组考生前后两次进展检验,两次检验分数的相关系数为再测信度.由于它能反映两次检验结果的一致性和稳定程度,也称稳定系数。其计算公式为: 3.1.3式中X1和X2为同一考生两次的检验分数, 为两次检验的平均分数,S1和S2为两次检验的规范差,N为考生人数。 二、信度系数的计算212121/SSXXNXXXX-=g. 再测信度的计算在运用时,两次检验之间的时间间隔要适宜,相隔时间不要太短,也不宜太长。再测法适用于速度检验而不适用于难度检验,同时要提高考生的积极性,使他们仔细担任的参与每次检验。2、等值性系数复

4、本信度 两个等值但详细内容不同的检验,在最短时距内,对一样考生分两次检验所得分数的相关系数即为复本信度,计算公式与3.1.3一样。所谓等值是指检验在题型、题数、难易、时限以及标题内容和方式等方面一样或类似。3、内部一致性系数 内部一致性系数是同一个检验的两部分得分的相关系数,有两种计算方法:分半信度 分半法是按正常的程序实施检验,然后将全部试题分成相等的两半通常采用奇偶分半法,根据各人在这两半检验的分数计算其相关系数。由于这样求得的只是半个检验的信度,因此要用斯皮尔曼-布朗Spearman-Brown公式较正,校正公式为: 3.1.4式中 为两半检验的相关系数, 为整个检验的信度值。 . 例1

5、 假设10名学生奇数题得分与偶数题分如下表所示,试求这份整体试卷的分半信度。 学生124567891011x3835212742141428287y303281825152221179 解:由上表可求得于是再由公式(3.1.4)得.库-理信度系数公式 库德Kuder、理查逊Richardson和克朗巴赫Cronbach因不称心半分法,从方差分析的角度提出了以试题统计量为转移的信度求法,可防止恣意两半分的误差。他们提出的适用于客观题试卷的一系列公式,较为常用的是KR20公式: (3.1.7)式中n是测题数,Pi是第i题的答对率难度指数, 为第i题的答错率,显然 , 为所取样本中考生总分的方差。此

6、外,因 ,从而使括号中的值不等于1,故乘以修正系数 以使信度估计值不致偏小。 . 例2 某省年度教育自学考试试卷由100题组成,每题答对得1分,不答或答错得0分,现分层按比例抽取50份试卷,并规定奇号题得分为x,偶号题分得为y,列表如下(表3.1),试用库理公式计算信度。 表3.1 50份试卷的奇偶题得分 学生编号12345678910 x815819151520232019y10101520221916161716学生编号11121314151617181920 x16232121242219272520y21182619222121221623学生编号2122232425262728293

7、0 x23242124232828312828y21232018261826212823学生编号31323334353637383940 x26332726273031243329y24262828292126293131学生编号41424344454647484950 x37283133363539424641y26343033373737363740. 解:先计算样本中考生的总分方差 ,再逐题计算 后求和,第1题有43人答对,答对率: 那么答错率 ,于是 一切题的 。然后由库-理公式得 库-理还提出另一公式,用来计算同质性信度时,不需求逐题计算经过率,该公式为 公式: (3.1.8)其中

8、为检验总分的平均数。 .克朗巴赫公式 克朗巴赫提出了论文式检验的信度公式系数,其根本想法是以每题得分的方差 来替代 : (3.1.10)式中n为测题数, 为所取样本的总分方差, 为样本的第 题得分方差。 例3 某校试卷由三题组成,样本容量为100,算得总分规范差 ,第一、二、三题的得分规范差 为 ,求该检验的信度。 解:根据克朗巴赫公式可算得信度为系数法能编成程序由电子计算机求得结果。.4、评分者的信度 当检验是论文式试题时,不同评分者对同一试卷的评分结果不一样,由于此时误差主要来自评分者的差别。主要计算公式为: (3.1.11)式中K为评分者人数,N为评分的试卷数, 是第 题等级和 。 例4

9、 有6位教师各自评阅五篇作文,每位教师给每篇作文都评了等级,并列入下表,向6位评分者所评等级的一致性如何?.评分者作文编号(N=5)12345A35241B35241C34152D35142E35241F35241Ri182910258解:代入公式(3.1.11),留意 ,那么 .三、提高检验信度的途径 1、适当添加题量:添加样本容量,减小抽样误差,使信度增高。加长检验后的信度计算公式为: (3.1.18) 式中 为原检验的信度, 为加长的倍数, 为加长 倍后的信度。 例6 原来由6道题组成的检验,其信度 ,如今要求信度提高到 ,需求加长到多少试题? 解:由(3.1.18)式得 加长后的题数=

10、原长 。 .2、用规范化考试:尽量减少各环节的检验误差,特别是提高命题质量,试题难度中等,区分度要大见3.14。3、消除考生焦虑心情:充分作好考前指点,试卷编排应由易到难,以利稳定考生心情使其智能得到正常发扬。4、检验内容具有同质性:不要在一个检验中按排许多性质不同的内容,这样会降低一致性,影响信度 .3.2 检验的效度一、效度的定义二、效度的估算 . 效度是指检验结果的有效性或正确性,所谓有效性,是指一种检验可以正确地丈量出它所要丈量的特性或功能的程度。一、效度的定义 丈量学中,效度被定义为有效分数方差与实得分数方差之比,即: (3.2.1)由误差方程 可知,当随机误差足够小而且不变时,系统

11、误差方差越小,那么有效分数方差就越大;亦即有效分数方差在实得分数方差中所占的比重越大,也就是说效度也就越高。 效度要处理两个问题:本检验的丈量目的是什么;本检验对于所要丈量的目的能测到什么程度。公式3.2.1对效度的定义通知我们,只需当有效分数方差在实得分数方差中所占的比重越大,那么,到达检验目的的程度也就越大,因此效度也就越高。效度的取值为 。.二、效度的估算 1、内容效度 内容效度是指检验内容对所要检验的全部内容的取样代表性程度。一个检验具备良好的内容效度应满足两个条件: 检验内容范围要明确,对学生成果检验来说,就是试题要符合教材内容和教学大纲,试题不应该超出确定的范围。 试题应是已界定的

12、内容范围的代表性样本,它应该覆盖所检验内容的主要方面,并使各部分标题所占比例适当。 确定内容效度的常用的方法是由专家对试题及所涉及的范围进展符合性判别。内容效度适宜于评价学业成果检验和职业选拔检验,对目的参照检验更为重要,由于在目的参照检验中,我们主要关怀的是考生在一定范围内的知识技艺掌握得如何。 . 2、效标关联效度 效标关联效度是指检验分数与作为效标的另一独立检验结果之间的一致性程度,普通是用本检验分数与效标检验结果之间的相关系数表示。 所谓效标,是用来检测效度的参照规范,效标关联效度可分为以下两种: 同时效度:是一种检验的结果与另一大约同时获得的检验结果即效标之间的一致程度,并用两个检验

13、结果的相关系数来估算,同时效度常用于规范化检验的建立。例如,用教师自编的检验施测之后,让考生短期内很快再参与一次被公认是规范化的检验,假设两次考试成果的相关系数很高,那么可以以为教师编制的检验也是规范化检验。 例1 取10名考生参与摸底考试与全区一致考试的成果记录于表3.3中,求摸底考试的效标关联效度。.12345678910摸底成绩x92818077716663544544区考成绩y87788075696362524638xy80046318640057754889415839062808207016726736504759744516表3.3 解:我们把区考试成果作为效标,求它与摸底考试分

14、数的积差相关系数:假设用等级相关系数公式计算,应先由表3.3中的数据按等级列表,然后计算:效标效度系数 普通应在0.4以上。. 预测效度:是指某一检验结果与另一未来获得的检验结果之间的相关程度。在这里,效标的建立远在检验之后,目的在于阐明某一检验的结果能否具有预测未来另一检验结果的功能。 例2 假定高中英语考试和大学入学英语考试的平均分数分别为92.57和64.18,规范差分别为21.01和11.13,两次考试间的相关系数为0.68,假设某生在高中英语考试中得分为114,那么他在大学入学英语考试中能够得多少分? 解:这种问题可以用回归方程来处理,设 为预测的效标分数; 和 分别为效标分数与检验

15、分数的规范差; 分别为效标分数与检验分数的平均数; 为检验所得分数,那么回归方程如下: 3.2.3将本例中数据代入上式得: 所以,这位学生在大学入学英语考试中能够得74分。.3.3 检验的难度难度及其计算 难度是衡量试题与试卷难易程度的目的,通常可以用如下方法计算难度: 1、客观性试题的难度计算 难度指数:对于采用二分法记分的标题,难度以经过率来表示: (3.3.1 )式中 为标题的经过率, 为答对或经过该标题的人数, 为全体考生。此时 值越大,难度越小; 值越小,难度越大。 极端分组法:当被试人数很多时,用经过率计算难度很费事,可以将被试按照总分从高到低陈列,然后将总分最高的27%和最低的2

16、7%的被试分别定为高分组和低分组,分别计算两组的经过率,然后用下式计算该题难度: (3.3.3) 式中 和 分别为高分组与低分组的经过率。 . 2、客观性试题的难度计算 难度指数 :设 为一切考生在某一试题上的平均分, 为该题的总分值,那么 (3.3.4)上式适用于论述题、问答题和计算题等非二分法记分的标题。 极端分组法:当被试人数很多时,客观性试题可采用下式计算难度: (3.3.5)式中 为高分组所得的总分; 为低分组所得总分, 和 分别为该题的最高和最低得分, 为考生总人数的27%。.3、难度的测前估算 首先了解影响试题难度的要素: 熟习程度:假设试题与课本中的例题、习题相近,学生熟习试题

17、内容,难度 就高。 信息数量:假设试题中的信息量大,学生要不止一次地阅读才干把握内容,增大了困难。 标题构造:标题类型、知识综合程度、计算复杂程度等,影响难度。 变化动态:迷惑干扰大的问题灵敏易引起错误,添加困难。其次把上述四个要素分成三个等级:1表示小,2表示中等,3表示大。最后估算难度:先估计试题各要素的等级并作为各要素的点数,累加各要素的点数;然后,参照表3.5估计试题的难度: 等级CB1B2B3A累加点数4567799101112难度0.30.40.40.50.50.650.650.750.75.4、试卷的难度 是指一份试卷的总体难易程度,用下式计算: (3.3.6)式中 是试卷的总分

18、值值, 和 分别为第 道题的难度和总分值值, 是试卷标题的总数。试卷难度与平均分数之间满足如下关系: (3.3.7) 也可以以为试卷难度等于试卷平均分 与试卷总分值之比,即: (3.3.8) 由上式可知,试卷的难度并不等于各试题难度的平均值。我们也可以把难度 转换成正态量 来处置,先查正态分布表,由各题的难度 查出对应的正态量 ,那么试卷的平均值 为: 。再查正态分布表,由 值求出试卷的难度 。.3.4 检验的区分度一、区分度及其计算 区分度是检验试题对考生实践程度的区分程度,区分度的取值范围介于-1.00和+1.00之间。下面引见几种主要的计算方法: 1、极端分组法 客观性试题的区分度计算公

19、式为: (3.4.1),其中 分别为高、低分组的经过率。美国丈量专家伊贝尔(L.Ebel)把 称为鉴别指数,它对评价标题性能的规范如表3.7所示: 鉴别指数D题目评价0.4以上0.30.390.200.290.19以下很好良好,修改会更佳尚可,仍需修改差,必须淘汰 表 3.7. 客观性试题的区分度计算公式为: (3.4.2)式中 为高分组总分, 为低分组总分, 为该题最高分 , 为该题最低分, 为考生总人数的27%。 2、相关法 相关法是以某试题的得分与效标分数的相关系数作为该题的区分度目的。普通情况下,效标分数不易得到,那么以检验总分替代,求试题得分与该检验总分的相关系数。相关越高,那么试题

20、区分度越高。由于总分是延续变量,而试题得分有延续变量和二分变量的不同情况,所以求相关系数可分以下几种情况: . 积差相关 当试题得分与检验总分都属延续变量时,可以采用积差相关法计算区分度,其公式为: 3.4.3式中 为考生某题得分, 为考生检验总分; 为考生总数。 二列相关 二列相关适用于两个延续变量,但其中有一个被人为分为两个类别,其公式为: 3.4.4 3.4.5. 式中 为考生答对某题的平均分, 为考生答错某题的平均分; 和 分别为全体考生检验得分的平均数和规范差; 为答对组人数与总人数之比, 为答错人数与总人数之比;而且 ; 为 与 交界处正态曲线的高度。计算二列相关时,要求二分变量的分布在延续丈量时必需是正态分布。对延续变量的分布,虽不要求是正态,但必需是单峰而且要对称。 点

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论