第七章 地理测试命题质量分析.pdf

地理教育测量与评价 西南大学 地理科学学院 苏迎春 2011年10月 西南大学 地理科学学院 苏迎春 2011年10月 第七章 地理测试命题质量分析 第一节 试题质量的初步评价 第二节 试题的信度 第三节 试题的效度 第四节 项目质量评价 第一节 试题质量的初步评价 第二节 试题的信度 第三节 试题的效度 第四节 项目质量评价 第一节 试题质量的初步评价第一节 试题质量的初步评价 一 测验分数的分布状态 二 平均分 三 标准差 一 测验分数的分布状态 二 平均分 三 标准差 一 测验分数的分布状态一 测验分数的分布状态 1 表示形式 表示形式 频数直方图或频数多边图 频数是指在某分数段中出现测验分数的次 数 2 作用 作用 通过对测验分数分布状态的描述 可以从一个 侧面反映出试题的质量水平 3 频数直方图制作步骤 频数直方图制作步骤 第一步 求全距第一步 求全距 全距是指要处理的所有测验分数中最高分与最低分 的差 一般用R来表示 即 R 最高分数 最低分数 全距的作用 反映全部测验分数的分布范围 全距的作用 反映全部测验分数的分布范围 第二步 定组数第二步 定组数 组数一般根据全距R和测验分数的个数n来确定 用I 表示 R值越大 测验分数的个数n越多 组数就会越 多 第三步 定组距第三步 定组距 组距即为全距R与组数I相除后取整 第四步 确定组限第四步 确定组限 根据组距和全距确定每组的上限和下限 通常约定 每组只含下限 不含上限 即每组都是左闭右开区间 第五步 求组中值第五步 求组中值 即求每组的中点值 用M表示 其方法为 M 组实际下限 0 5ZR 第六步 列频数分布表第六步 列频数分布表 统计落在每个组中的测验分数的个数 即每个组的 频数 将其填入频数分布表的相应位置 第七步 根据频数分市表绘制频数直方图第七步 根据频数分市表绘制频数直方图 方法 在一个直角坐标系中 以横坐标表示测验分 数 从左到右标出各组分数的组中值 用纵坐标表示频 数 从上到下等距地标出频数数值 分别以各组的组距 为底边 以组中值作为底边的中点 频数为高 对每组 作矩形 4 频数多边形图 曲线图 制作 频数多边形图 曲线图 制作 方法与直方图类似 5 示例 示例 6 结果分析 结果分析 1 分布曲线的几种形态及其意义 分布曲线的几种形态及其意义 正态分布 表明在高分段稠低分 段的人数明显少于中间分数段的 人 说明试题设计比较合理 试 题难度 区分度分布正常 正偏态分布 低分段出现 的人数明显偏多 说明难 度偏高的题目多 试题难 度过高 呈负偏态分布 高分段出 现的人数偏多 说明难度 偏低的题较多 试题难度 偏低 呈高峰形的正态分布 中间段 分数出现的人数特别集中 学生之间的差距没有拉开 说明中等难度的题目比例过 高 试题区分度较差 平峰形的正态分布 各分 数段出现人数的差异较 小 说明试题中不同难度 题目的比例比较接近 双峰形分布 高分段和低分段出现 的人数多 而中间分数段的人数 偏少 说明难度过高和过低的题 目偏多 而中等难度的题目偏 少 试题难度梯度大 6 结果分析 结果分析 2 示例的结果分析 示例的结果分析 学生测验分数的频数直方图和频数多边图来看 基本上呈 一种负偏态分布状态 如果不考虑其他因素对学生测验分数的 影响 这次测验试题的总体难度是偏低的 中等程度的学生和 程度较高的学生没有拉开距离 二 平均分二 平均分 1 算术平均分 算术平均分 一组测验分数的总和与分数个数相除所得的 商 2 加权平均分 加权平均分 在同一次 地理测验中 如果已经知道 各个被试组测 验分数的算术 平均分 要求 计算所有考生 的平均分时 则需要用加权 平均分来计 算 三 标准差三 标准差 用于描述测验分数的离散程度 当一组测验分数的离散程度比较大时 则对应的平均 分的代表性就比较小 反之则比较大 表示测验分数离散程度的特征量数 全距 平均差 四分差 方差 标准差等等 比较常用的是标准差 第二节 试题的信度第二节 试题的信度 一 相关系数 二 信度 三 常模对照测验的信度 四 目标参照测验的信度 一 相关系数 二 信度 三 常模对照测验的信度 四 目标参照测验的信度 一 相关系数一 相关系数 1 概念 概念 相关系数 描述两个变量之间相关程度的量 2 计算模型 计算模型 3 示例及结果分析 示例及结果分析 分析 分析 在以主观性试题为主的地理测验题和以客观性试题为主地理测验 题的考试中所取得的成绩是呈高度正相关 在不考虑其他因素影响的前 提下 表明主观性试题和客观性试题这两种题型都能比较好地考查学生 对有关地理知识掌握的情况 即主观分高 客观分也高 二 信度二 信度 1 概念 概念 信度也称 可靠性 或 测验分数的稳定性 是指测量的一致性程 度 即同一个测验在不同时间上听得结果的一致性 2 常用指标及意义 常用指标及意义 相关系数作为数据指标来衡量测验的一致性程度 也称为信度 系数 信度系数的取值范围 0 1 意义 意义 值越大 测验的可信程度越高 试题的 可靠性 也就越 好 即它在多大程度上能准确地反映学生学习的真实水平 3 试题质量对信度系数的影响 试题质量对信度系数的影响 一是题目的数量 一是题目的数量 如果题目很少 则测验所得分数越容易测验 的信度就会降低 反之 则会提高测验的信度 二是题目的难度二是题目的难度 题目的难度会影响到测验分数的分布范围 从而影响测验结果的信度 如题目难度过大 考生大部分得低分 测验分数频数分布曲线形成正偏态分布 分数间的差异较小 三是题目的区分度三是题目的区分度 因为只有当题目有较好的区分度时 才能 正确反应学生的学习效果 并保证测验结果的 稳定性 和 可靠性 三 常模参照测验的信度三 常模参照测验的信度 1 重测法 重测法 重测法是指用同一份试题在不同的时间对同一 学生群体进行两次测验 以这两次测验分数之间的 相关系数作为信度系数的一种方法 用重测法求得信度系数又叫重测信度重测信度或稳定性 系数 稳定性 系数 它反映的是两次测验分数之间的一致性程 度 如果两次测验分数的相关性越好 说明测验的 信度就越高 表明试题的稳定性好 影响因素 影响因素 重测的时间间隔 间隔时间过短 易产生练习效应 过长 知识背景变化 会影响第 二次测验 2 复本法 复本法 编制一份在内容 形式 难度 区分度 评方 方法 题量 分值 测验时间等都与原题基本相同 或相似的复本 对同一学生群体进行测验 用复本法求得信度又叫复本信度复本信度 复本信度系数又称等值性系数值性系数 影响因素 时间间隔影响 总体上 复本法优于重测法 总体上 复本法优于重测法 3 折半法 折半法 1 基本原理 基本原理 将整份测试卷的全部题目分成对等的两半 然后依据考 生群体中每位考生在两半部分题目上的得分 计算积差相关 系数 积差相关 系数 最后用相应的校正公式对积差相关系数加以校正 以 求得测验或测验试卷的整体信度系数 2 折半常用方法 折半常用方法 一是完全随机分半 二是奇偶题目分半 即奇数题组成 一个部分 偶数题则为奇数题的复本 三是测验试卷分成若 干个内容块 再将各内容块的题目奇偶分半 所有奇数题和 所有偶数题各组成一个分测验 3 指标 指标 用折半法求得的测验或测验试卷的整体信度 叫折半信 度 其信度系数叫折半信度系数 4 意义 意义 折半信度主要反映的是测验或测验试卷内部所有题目之 间的一致性或同质性程度 四 目标参照测验的信度四 目标参照测验的信度 1 分阶段比较法1 分阶段比较法 1 基本原理 基本原理 分阶段比较法是对考生在前后两个阶段的目标参照测 验结果进行对照 以后一阶段的测验结果来检验前一阶段 测验的信度 通过分析 了解测验内容与实际教学中要求 掌握的肉容之间的一致性程度 测量试题内容的质量 如 果信度高 说明试题内容反映了学要求 试题质量较高 否则 试题质量低 2 具体步骤 具体步骤 第一步 对考生进行第一次测验第一步 对考生进行第一次测验 前期目标预测测验 即 对考生进行一次较低水平的目标参照测验 确定一个决断 分数 从测验中找出高出决断分数的考生 并认为这些考 生已具备进入下一阶段学习所需要的条件 第二步第二步 后期目标检测测验后期目标检测测验 让这一部分考生进入下一阶 段的学习或训练 在完成学习或训练之后 对考生进行第 二次测验 第三步 分析结果第三步 分析结果 因为这部分考生在第一次测验之后被 认为已经具备进入下一阶段学习的条件 因此在第二次测 验中能达到目标的可能性应该比较大 如果在第一次测验 中达到目标的大部分考生在第二次测验中也能达到所规定 的目标 则认为上一次测验的信度是高的 如果在第一次 测验中达到目标的许多考生花第二次测验中得分很低 没 有达到所规定的目标 则认为第一次测验的信度不高 四 目标参照测验的信度四 目标参照测验的信度 2 复本法2 复本法 1 基本方法 基本方法 用两份等值测验试卷对同一考生群体进行两次侧 验 事先确定一个决断分数决断分数 如果考生的测验分数低 于决断分数 则认为不合格 然后统计出两次测验中 均合格 两次测验都合格 人数 a 和均不合格人数 b 用两者的总数与参加测验总人数 n 的百分比 来判断测验的信度 即用两次测验合格与不合格的一 致性百分比作为测验的信度 r 2 示例 示例 第三节 试题的效度第三节 试题的效度 一 效度的概念 二 几种常用效度及估算方法 一 效度的概念 二 几种常用效度及估算方法 一 效度的概念一 效度的概念 1 效度的概念1 效度的概念 效度也称 测验的有效性 是指某次测验所能 提供的对某一特质所做预测的理想程度 即测验在 多大程度上测试了所要测的内容 它代表的是测验 的准确性准确性 2 效度的类型2 效度的类型 根据不同用途 效度通常可以分为内容效度 效标关联效度和构想效度 二 内容效度二 内容效度 1 内容效度的含义 内容效度的含义 内容效度是指测验内容反映出考生掌握相关的教学 内容和实现预期能力提高的程度 即测验的内容能否反 映所要测试的目的和要求 例 在测验考生掌握 时差 这一概念程度时 用 北京位 于东八区 东京位于东九区 当北京是2000年11月21日 晚上12点整时 东京是2000年 月 日 点 这一题目 来测试 显然要比 中国的首都是 日本的首都 是 这种测验试题更具有 内容代表性 即内容效度 更高 2 影响内容效度的主要因素 影响内容效度的主要因素 教学内容和教学目标是内容效度的两个重要因素 3 内容效度的评价方法 内容效度的评价方法 内容效度主要是通过比较地理测验内容与地理课程 标准要求的一致性程度 地理测验内容与地理课程 标准要求的一致性程度来衡量 常采用双向细目表 将测验内容对照双向细目表进 行逻辑分析和比较的方法 具体方法 1 根据想要测验的教学内容范围编制一份双向细 目表 它包括教学内容和教学目标两大维度 各维度又 分为若干个小项 列出每一项的相对比例 2 分析测验试卷的每一个题目 确定它们所涉及 的相关地理知识和技能 列出涉及同一教学内容和教学 目标的题目 并统计它们的分值及在整份测验试卷中所 占比例 3 把测验试卷的内容结构与相应的双向细目表进行 比较分析 计算测验内容对双向细目表范围的覆盖率 从而获取衡量内容效度的指标 三 效标关联效度三 效标关联效度 1 相关概念 相关概念 效标效标 被测验的内容即检验测验效度的标准 同时效度同时效度 测验分数与作为效标的分数获得的时 间间隔比较短 预测效度预测效度 测验分数与作为效标的分数获得的时 间间隔比较长 效标关联度效标关联度 指某测验对考生目前或将来的某种 能力 行为进行测试 预测的有效性 2 效标关联度评价方法 效标关联度评价方法 相关法相关法 相关法 是指用统计方法求出被测测验与效标测 验两者所得分数之间的相关系数 作为衡量效标关联 效度高低的指标 第四节 项目质量评价第四节 项目质量评价 一 平均得分率 二 难度系数 三 极端平均得分率和极端难度系数 一 平均得分率 二 难度系数 三 极端平均得分率和极端难度系数 一 平均得分率 p 一 平均得分率 p p越大 通过率越高 难度越小 反之 越