第八章化学测量工具的评价刘妍

1、第八章 化学测量工具的评价 刘妍第一节 试题质量的初步评价1、测验分数的分布状态1）正态分布分数频数2）正偏态分布分数频数试题难度偏高，难度较大的项目比例偏大3）负偏态分布分数频数试题难度偏低，难度较低的项目比例偏大4）双峰形分布分数频数难度偏高和难度偏低的项目较多，中等难度项目偏少5）平坡型分布分数频数试题中各种难度的项目比例接近，梯度较大6）陡峭型分布分数频数中等难度项目较多，梯度偏小2、平均分根据平均分的数值，可直接判断试题的平均难度，看是否与预期试题难度一致。平均分过高或过低，说民试题过易或过难，不适应被测学生实际水平；只有当平均分值与预期吻合或相当接近时，测量目的才有可能实现，试题质

2、量才可能符合测试目的的要求。1NiiXXN3、标准差利用标准差数据帝试题质量做初步分析时，主要看学生测验分数离散情况是否与学生学习成绩的实际分布一致。只有当标准差表明的测验分数离散情况与被测学生集体实际情况一致，试题质量才有可能合格。21()niiXXSN第二节 试题的信度1、相关系数：表示两列变量之间相关程度的一种统计量数。不仅表示两列变量之间相关的方向，还表示相关程度的大小，用r表示。（-1.00r1.00）r0，正相关r0，负相关r0，零相关当两列变量均为等距变量且都来自于正态总体时，相关系数可以用皮尔逊积差相关公式计算：1() ()XYSSNiiiX YXMYMN 如果直接从两列变量的

3、原始数据计算相关系数可用以下公式：11122221111111()()iNNNiiiiiiiNNNNiiiiiiiX YXYNXXYYNN 例题8-2某班28个学生的教师技能与课程教学论两门课学习成绩如图所示，试描述该班学生这两门课学习成绩的关系将原始数据各统计量代入：11122221111111()()iNNNiiiiiiiNNNNiiiiiiiX YXYNXXYYNN 计算得 =0.7790，表示该班学生教师技能与课程教学论两门课存在正相关2、信度反映测量工具可靠性的指标。常见试题信度多用相关系数表示，即用同一组被测学生样本对两组项目的反应之间的相关，作为反应两组项目测量一致性的指标，成为

4、信度系数，简称信度。 XXVXSEXRE对一个被测群体，测量分数的离散程度可用变异数或方差表示。利用变异数具有可加性这一性质，可将测验分数（实际分数）的总变异数（ SX）分解为有效变异数（ SV）、系统变异数（ SSE）和随机变异数（ SRE） 信度实际上只是理论构想概念，测量理论认为，学生在测试中得到的实际分数（X）由有效分数（XV）、无效分数（XSE）和随机误差（XRE）构成：rXX SVSE SX SXSVSSESRE信度系数（rXX）定义为真实分数的变异数在实际分数的总变异数中所占的比例3、常用信度的意义及计算方法1）再测信度再测信度：用同一份试卷对同一组学生前后实施两次测验，计算两次

5、测验分数之间的相关系数即为再测信度。表示两次测验结果有无变化，反应测验分数稳定程度，又称稳定性系数。当测验分数具有等距变量的性质时，再测信度一般用皮尔逊积差相关公式计算11122221111111()()iNNNiiiiiiiNNNNiiiiiiiX YXYNXXYYNN 2）复本信度如果用两份等值平行的试题测量同一组学生，再求两次测验分数的相关，结果就是复本信度。局限性：由于复本之间的相似性，记忆或练习效应的影响不能完全消除，同时编制两份完全等值的复本比较困难。3）分半信度在测验没有复本且只能实施一次的情况下，可将测验分成对等的两半，根据学生两半测验中所得分数计算相关系数即为分半信度（内部一

6、致性系数）对长度不同的测验要用斯皮尔曼布朗公式对信度值加以校正：21hhXXhh 解析：先计算出两个半测验的分的积差相关系数（0.86），带入斯皮尔曼布朗公式rxx=2rhh/(1+rhh）=（20.86）/（1+0.86）=0.924）同质性信度当项目采用二分法计分时，可用库德理查逊公式计算12021RiRPiQiS xK：整个测验的项目总数Pi：项目i的通过率Qi=1PiSx：测验总分的变异数4）同质性信度当项目属于论文式类型，采用连续分数计分时，可用克隆巴赫的系数公式计算：212(1)1RiiTskks：信度系数K：项目总数Si：项目i得分的方差ST：试题总分的方差信度估计的几种方法信度

7、类型信度类型误差来源误差来源测量测量次数次数需试需试题数题数 计算方法计算方法再测信度复本信度再测复本信度分半信度同质性信度时间取样内容取样内容，时间取样内容取样内容取样 2 1 2 1 1 1 2 2 1 1求两次测验分数的相关系数求两个复本分数的相关系数同上求两半试题分数的相关系数1) 库德理查逊公式2）科隆巴赫公式第三节 试题的效度效度指测验的有效性，即一个测验能够测出其所要测量的特性或功能的程度。在测量理论中，效度的定义：在一次测量中，与测验目的有关的有效变异数有效变异数与测验总分变异数测验总分变异数的比率： 22VXYXSS常用效度及估计方法1、内容效度内容效度：根据测验目的确定的测

8、验内容所引起的预期反应达到测验目的的程度。如何判断一份化学试题内容效度：1）考察测量的目的、测量目标的分类体系，了解试题取样的依据和材料来源。2）考查试题的双向细目表，看是否符合化学教学大纲和考试目的的要求。3）逐个考察每个项目，包括项目内容、参考答案、评分标准等，并与双向细目表对照，看项目能否代表其测量目标。4）综合上述考察结果，对试题内容效度作出判断。2、构想效度构想效度指测验对预先设立的某一理论上的概念、构想或研究特性的实际测量程度。如何判断一个测验的构想效度：1）确定能够解释学生在测验上表现得理论构想2）根据理论构想推演出各种关于学生测验成绩的假设3）用逻辑分析、统计分析等方法搜集证据

9、、验证假设3、效标效度效标效度指测验分数与效标的相关程，效标是检验测验有效性的一种参照标准。效标效度的估计方法： 相关法 显著性检验法 预期表法 命中率法 类型 意义 估计方法内容效度 测验内容反映测验目的、要求的程度 逻辑分析构想效度 测验分数能用理论构想加以解释的程度 提出假设和验证假设效标效度 测验分数与校标分数之间的相关程度 计算两种测验分数之间的相关系数三种效度的意义及估计方法：第四节 项目质量评价一、项目的难度分析1、难度的意义及其计算1）通过率:PR/N（项目以二分法计分）2）用项目得分的平均值计算: 项目以连续分数计分）Xpw二、项目难度对测验结果的影响1、对分数分布形态的影响

10、2、对测验鉴别能力的影响三、项目难度的评价评价项目难度是否合适的依据，只能是测验的目的。要对测验中的项目难度比例进行合理配置，必须在测验整事实施之前就对项目难度做出准确判断，要注意的是，仅仅依靠主观经验来确定项目难度是不够的，因为项目难度不仅取决于编制水平，还与被测学生的具体情况有关。二、项目的区分度分析1、区分度意义2、区分度计算1）用内部一致性系数计算积差相关法：积差相关法：11122221111111()()iNNNiiiiiiiNNNNiiiiiiiX YXYNXXYYNN 二、项目的区分度分析点二列相关点二列相关：pbpqPqtxxsXpwXpw例题：一测验中某选择题的通过率为0.5

11、，答对者的测验总分平均76分，答错者为63分，全体被测总分标准差为16，计算这道题的区分度。76-63pb= 0.5 1-0.5 =0.4116假设被测总人数为20人，查相关系数显著性临界值表，df=20-2=18, 0.05水平临界值为0.444.因为0.410.444，所以 值不显著，此题区分度不具有统计上的显著意义，故可认为该题不够理想。pb二列相关：二列相关：b()Pqtpqxxsypqbpby对同一组资料，二列相关与点二列相关的关系：180cos1tadbc四分相关：四分相关： a（+ +） b（+ ） c（ +） d（ )及格（+）不及格（）通过（+）不通过（） 测验总分 项目分数

12、二、项目的区分度分析相关：相关：()()()()adbcab ac bd cd二、项目的区分度分析2）用极端分组法计算项目用二分法计分： D PHPL项目以连续分数计分： HLXXDHL二、项目的区分度分析3、项目区分度评价1）相对评价2）显著性检验三、选择题的反应模式分析分析选择题存在的问题及原因：1）如果难度值接近于1.0，说明项目中正确答案过于明显，或为学生提供了某种暗示，需要增加错误需要的迷惑性。2）如果某个迷惑的答案几乎没有被选择，说明该选项不具备迷惑性，错误过于明显，除增加了阅读项目的时间外，不起任何其他作用。一般来说，如果迷惑选项的选择率地狱3%，该选项就会被删除或修改。3）如果

13、某错误答案的选择率高于正确答案，就可能是编制时确定的正确的答案有误，或教师在教学中发生了错误。这时，需要找到问题的原因，或是纠正教学中的错误。4）如果规定的选择题的正确答案只有一个，而高分组学生的选择缺集中于两个答案，且两者的选择率相近，说明该项目可能存在两个答案，或是在某种意义上原定的正确答案以外的另外一个答案也存在一定的正确性。这是需要仔细分析项目内容，重新确定答案。5）如果高分组对正确答案的选择率与低分组相近甚至更低，那就说明该项目的测量内容与学生的实际水平无关。该项目在修改试题时应删除。6）如果某项目各个被选答案的选择率几乎相同或未作答的人数较多（并非由于答题时间不够），说明该项目过难或者题意不清，学生无法作答或只能凭猜测作答，这就需要适当降低项目难度或使题意更加清晰三、选择题的反应模式分析选择题的最佳反应模式：1、正确答案的选择率最高2、迷惑答案的选择率相同或相近1、试卷结构分析试卷结构分析1）题型结构分析2）内容结构分析：试卷中考察的学科各部分知识分值所占的比例。3）能力层次结构分析：试卷中不同能力层次要求的试题分值所占比例。2、试卷内容分析试卷内容分析1）选择题考试内容分析例题： 下列措施不能加快化学反应速率的是：（ ） A.用氯酸钾加热分解制氧气时加入二氧化锰 B.将食物保存在电冰箱中