试题编制技术和试卷质量分析

1、试卷编制技术与试卷质量分析上海市真如中学、试卷编制前的准备1、命题前的思考点2、命题设计的一般原则3、试卷编制的基本程序 二、试卷编制的技术要点1、命题双向细目表设计2、几类典型题型编制要求3、命题预测的评价指标4、命题需要注意的几个问题 三、试卷质量分析与评价1、考试结果的基本分析2、质量分析报告的撰写、试卷编制前的准备命题容易又很难，一份好的命题更难。命题体会与考量： 走钢丝的艺术； 遗憾的艺术； 人文素养的考验； 科学素养的考验； 教育测量技术。规范负责的态度一定的文字功底丰富的知识储备 多研究经典试卷试卷1、命题前的主要思考点思考准备：（1）明确考试的性质 诊断性考试知识与技能的掌握；

2、 测验 常模参照考试 水平考试稳定的认知能力特质 会考 规范参照考试 学习能力考试潜在的学习能力和学术发展倾向 智力测试规范参照考试常模参照测验是指以学生团体测验的平均成绩为参照规范，说明某一学生在团体中的相对位置，将学生分类排 队。规范参照考试是指以体现教育教案目标的规范为准，看学生是否达到规范以及达成规范的程度。它主要不是用于比较个人之间的差异。常模参照考试和规范参照考试比较维度规范参照考试常模参照考试目的确定每个学生是否达到课程 目标规定的要求确定每个学生在课程开始前 后获得知识、技能、能力等 的差异，或水平的差异对学生在某一内容领域的知 识、技能、能力等进行排队 区分高分和低分的学生内

3、容严格依照课程规范，要求有 较好的覆盖面以课标描述为难度依据，要 有难度梯度，尤其是合格水 平要求充分的表达每种知识、技能等都表述为 教育目标或课程目标题目要有较好的区分度 由于时间有限可能放弃对覆盖面的要求试卷特征每个目标至少有四道试卷， 以获得适当的学生行为样 本，并且最大程度地降低偶 然因素效应 每道试卷难度是平等的 测量每个目标的试卷量一般 小于 4 道试卷的难度是变化的试卷要有比较好的区分度分数解释 通常标定合格及其他等级水 平每个学生的成绩与预先设置 的规范比较，与其他考生的 表现无关报告考生在每个测量目标方 面的学习情况考生成绩通常与其它考生成 绩比较 分数通常以百分位分数，或

4、其他规范分数表示通常总体报告学生的水平而 不分测量目标2）把握考试对教案发展的导向性反映课程改革的要求；体现学科的特点；引领学生学习3）掌握考试对象的特点与水平 学生学习与心理特点 阶段知识掌握的水平区分； 能力反映的特点。 （4）考虑足够的内容抽样代表性 与备课组交流； 抽取好、中、差学生练习与试卷； 与不同层面的学生交流。 （5）选择合适的试卷结构 试卷内容组成； 试卷编排顺序； 试卷难易控制。2、命题设计的一般原则（1）命题的目的性；（2）内容的代表性；（3）格式的规范性；（4）表述的简明性；（5）答案的确定性；（6）题目的独立性；（7）创意的公平性；（8）测试的实效性。 命题要全面考查

5、学生课程目标的达成状况 立足全面性、注重代表性、体现导向性； 考察内容的均衡性；适度的题量与难度；恰当的题型结构； 适度的自主性和开放性； 试卷呈现方式的多样化。在此基础上，综合体现：基础性原则、发展性原则、科学性原则、 时代性原则、开放性原则、规范性原则。3、试卷编制的基本程序（1）拟定命题计划各种题型的题量及分数分配； 各项考试内容的题量及分数分配； 能力考查的重点及各能力层次的分配； 考试难度及各类难度比例。（2）（根据命题计划）编制双向细目表确定考试内容要目；确定考试目标层次；确定考试要目下的权重；试卷难度预估。（3）（根据双向细目表）编制试卷并组卷 题型的选择与安排（先按题型，再按难

6、度） ； 试卷的难度控制与预估（整卷难度与分题难度，有序层进） ； 对试卷区分度的把握；开放（或探究）试卷形式与内容的探索； 一些重要的内容及方向定位（如写作题） ；答案与评分规范的制定 （4）试测并修订在保密中选取典型非我校学生进行试测；根据试测情况分析分调整命题；专家审卷；修正并定稿。二、试卷编制的技术要点1、命题双向细目表设计 目的设计试卷的蓝图，使命题者明确测验的目标，把握试卷的 比例与分量，提高命题的效率和质量。内容考查的范围、具体知识点、测试目标、题型、分值分布、 难度分布。操作确定试卷要考查的目标；明确要考查的知识内容（知识点）；根据考查目标和知识的重要程序给予不同的比重； 合

7、理安排好各部分权重，编制出双向细目表。范例 1测验目标测验内容知道理解运用分析与综合探究合计内容范围11397232内容范围3565221内容范围1534215内容范围34815内容范围1626217合计63224308100范例 2命题双向细目表考试内容（内容块）选择题简答题证明题应用题分析题合计识 记理 解识 记理 解分 析 综 合应 用应 用分 析 综 合创 造内容 12305050015内容 20334030215内容 308213900335内容 404215906535合计218717188010100范例 3试卷组合双向细目表题号内容分数能力题型难度系数记忆理解分析综合其他判断选

8、择填空计算问答其他1第一章第四节1230.62第三章第二节1120.73第七章第一节330.64第一章第四节330.7小计8311加权难 度系数总计1001000.62加权难度分数计算公式：Xx1 f 1 x2 f 2 .k. xk fxi f ixk k i 1f1， f 2. f k 为权kf 1 f 2 .f k f ii1注意：能力各栏目分数合计和题型各栏目分数合计均应为100（或 150）分。2、几类典型题型的编制要求 （1）测试卷型的分类题型客观题主观题（封闭式）（开放式）选择题提供型是配选填改名 词简计证论写设翻非对择空错解答算明述作计译题题题题题释 题题题题题题题题客观性试卷与

9、主观性试卷比较客观题（封闭式）主观题（开放式）信度较高较低效度较低较高覆盖面较宽较窄陈述性知识较适宜较不适宜程序性知识较不适宜较适宜猜测可能性测验时较大测验前较大常模的建立较易较难2）选择题的编制选择题的编制题型特征适用范围编制要领由一个“题干”和若干 “选项”所构成。 题干可用不完全陈述 或疑问句表示， 用于实 现一个问题情境；选 项，由一个正确或最佳 答案和几个似真的错 误诱答项或非最佳答 案项组成。适合用文字、 数字和图 形等不同材料编题， 可 考查记忆、理解、应用、 推理、判断、比较、分 析等多种能力。 该类题 有多种形式，如配伍 式、比较式、因果式、 组合式、类推式等，其 测量功能各

10、有侧重。题干设问明确， 表述简 要，且尽量创设新情 境；各选项的内容和形 式要相互对等， 数目尽 量一致，且用词勿重 复；正确项随机定位， 且似真非真； 干扰项似 假非假， 保证适度干扰 性；每题仅有一个测试 中心，且各题相互独 立，避免链式。编制选择题的注意要点 每题仅围绕一个测试中心题意完整，表述简明避免提供解题线索题干应尽量创设新的情境 题干尽量以正面方式叙述 各选项语词切勿重复选项只间不应相叠干扰项诱答须似是而非 各题彼此独立，避免链式 忌用“以上皆对”、“以上皆错”选项 选项数尽量一致，形式大体相同 正确工程须随机排位3）填空题的编制题型特征适用范围编制要领提供一个完整的陈述， 要求

11、被试把缺少的结 论填上，全题可留 1 2 处空格， 且多置于句中 和句尾。适宜测量词组知识、 名 称或日期、 对概念的简 单理解及记忆， 解决数 量问题的能力等。 属于 “回忆性”测量。留空处须是关键字词， 且与上下文联系密切； 空格不宜太多； 避免直 接引用教科书原句； 准 备一个正确答案和可 接受的变式的规范。4）简答题的编制题型特征适用范围编制要领由一个问句或陈述句 构成，要求学生作答时 提供适当的字词、短 语、符号、观点及结论 等。适宜测量记忆及简单 理解。可考查术语知 识、特定事实知识、原 则的知识、 方法和程序 的知识；还可考查简单 解释资料或使用数字 符号的技能。答案唯一，且简单

12、具 体，尽量采用疑问句出 题；应测学科知识的重 要概念； 不可按书原文 抄题；说明答题要求， 无需论述、论证；需以 数字作答的， 应说明表 示单位。5）论述题的编制题型特征适用范围编制要领是一种要求被试根据 题目自己立意、选材、 组织与表达。 它属于自 由反应型试卷， 包括论 述题和作文题。适合测量综合运用知 识的能力、 组织材料能 力和文字表达能力， 甚 至考核评价能力和创 造能力。可以了解学生 对问题的理解深度和 思考过程明确规定作答范围和 方法，避免题意空泛、 笼统；设置新情境，让 学生应用知识解决新 问题；题目数量需适 度；不给被试提供选答 试卷机会；备用数个 “理想”答案，评分规 范

13、具体，易操作。6）应用题的编制题型特征适用范围编制要领叙述一个具体的情境 并给出一些有关的数 据或资料， 让被试解决 所提出的问题。适合测量计算技能、 数 学和科学推理， 以及运 用知识到新情境中的 能力。该类题常用于数 学和自然科学领域的 测验。解题说明清楚、完整； 题目中应含解题所需 的一切条件； 题目内容 应采用新情境材料； 各 测题答案间互相独立； 文字简明。（7）开放性试卷的编制开放性试卷的命制条件开放型、过程开放型、结论开放型以及这三种题型的综合形式。这些形式还可以进一步细分， 如在答案开放型中， 可以再分为理论运用（知识视角）开放、论据素材（佐证事例）开放、表达方式开放和评 分要

14、求开放等。在各个学科中，其具体表现形式有所不同。方法与策略可选择作答：学生可以选择部分试卷或一个试卷中的若干小问题作答，增加答题的可选择性，有利于发挥学生的优势智能，表现学生的个性和特长。陈题新用：对传统试卷进行改造，省略去其中的部分条件，或对 问题提出不同的解决方向，或要求用尽可能的角度解决问题。从生活素材入手：选取社会热点、生活焦点和学生生活经验作为 素材来设计问题，引导学生运用所学知识独立地解决生活问题。设置黑箱：将一个事物产生、发展过程和最终结果中的过程隐藏 起来，即制造一个黑箱，让学生发挥想象力，提示黑箱的内幕。假设情景条件：在一定条件下假设某种情景，探求事物的发展状 态；或给出某种

15、确定的情景，探求由于条件的变化，可能引起什 么样的反应。例举事实：给出一定的规律或原理，要求学生搜集与之相关的现 象或事实，证明这一理论。学生自编自答：在一定背景之下，让学生根据试卷提供的素材， 自己提出问题，并分析解决问题。超越课本知识：超越课本中的字面内容，挖掘隐藏一于文字背后 的思想，考核学生的科学精神与人文思想。巧用设问：调整问题的设问指向，引导学生摆脱传统的思维方向， 寻找新的考虑问题的角度。引导推理：给出一定的材料或条件，让学生自主推导出可能产生 的结果，或者给出一定的结果，让学生反向推导出它所需要的条 件。? 补充材料或结果：给出不完整的材料或事物进程，通过学生自主想象，补充材料

16、或推测结果? 调整评分要求：评分要点充分考虑到学生答题的各种可能性；对于某些有创意的答案或要点，应该加以加分奖励，等等（8）主观题命题评分的基本要求 不要逼着或诱导学生说假话是最起码的要求； 给定规范答案，以命题者之心度学生之腹的题出了还不如不出； 主观题发挥学生的创造性，有一定开放性并不表明可以题可以随便出，答案可以随便写，清晰的评分规范是必要的； 如果测量的行为目标能够用客观题来测，就尽量不要用主观题； 挑选的材料应该与学生学习经历过的材料有类似性或是全新的材料； 应该用清晰，明确的语言表述背景材料和问题； 对材料分析题而言，设计试卷应该要求学生对材料进行分析和解释； 设计的试卷数应该与背

17、景材料的长度相匹配； 对试卷的赋分应该合理；对每个问题给恰当的时间完成。3、命题预测的评价指标（1）难度控制 定义：学生完成题目和工程任务时所遇到的困难程度。 难度值以 P 表示。公式 1：通过率 P R ,R 表示答对某题的人数， N 表示测试的总人数。 N公式 2：得分率 PWX ，X 表示某题的平均分， W 表示某题总分。注意：通常对客观题计算难度时选择公式 1；通常对主观题计算难度时选择公式 2。全卷难度用加权难度平均数公式计算。p1 f 1 p2 f2 pk f k i 1 pi f iP全f 1 f 2 . f k k fi 1 i其中 f i分别为 pi 的权数 i1、2K。高考

18、难度要求：全卷难度 0.50.6；试卷难度 0.30.7，接近正态分布；易：中：难 3:5:2容易题 P值为 0.7 以上；中档题 P值为 0.50.7；难度 P值为 0.30.5。 试卷难度计算方法：假设容易题、中档题和稍难题比例按 3:5:2 预测， 即 30%的试卷难度 P 值为 0.7 以上； 50%试卷的 P 值为 0.50.7； 20% 的试卷 P 值为 0.30.5。影响试卷难度的因素情境的熟悉性；需要提取，应用元素本身的难度，熟悉性和数量； 已知条件是否完备或冗余；先前是否存在模式能够参考； 概括程度的高低，如是否需要建立模型，以及所建模型的复杂性和 概括性程度。试卷（试卷）难

19、度控制 运用“难度相关因素表”和“难度分数对应表” ，掌握试卷难度预估与控制方法。难度相关因素表点数1234目标要求识记理解运用综合信息强度12 点3 4 点56点7 点以上熟悉程度很熟悉（常见 基本练习题）熟悉（训练过的练习题）一般（改造过的练习题）生疏（未见过 的生题新题）结构层次很简单 （结构单一、 一步到位）简单 （拐一步到位）复杂 （拐两步到位）很复杂 （拐三步到 位）难度系数对应表难度层次最易中易稍易中下中中中上稍难中难最难因素累加4-55-66-77-88-99-1010-1111-1212以上难度系数1-0.95-0.9-0.8-0.7-0.6-0.5-0.4-0.30.950

20、.90.80.70.60.50.40.3以下影响试卷难度应对策略 题目条件的复杂程度适可而止 题目条件表述的隐藏性提倡（联系实际） 解答题目所需的心智技能、不过份 是否隐含科学探究方法提倡 解答过程的数学手段不过份 需要文字表达的水平适当 以往解题经验的影响提倡新情况2）区分度的控制 区分度。区分度是反映试卷能否鉴别学生能力高低的指标， 由某题答对人数与答错人数相比较而确定。如果某个试卷，总分高的学生与部分低的学生都没有做对，或全做对，则说明该题没有区分度。假如一个试卷对总分低的学生出错的人数 比总分高的学生更多，则表明该试卷有较高的区分度。区分度计算公式为： DP高 P低其中， D 为区分度

21、， P高 和 P低 分别为高分组在某题上的难度和低分组的难度。区分度在 0.4-0.6 之间为宜。 区分度与试卷难度密切相关， 要改变试卷区分度， 即必须调整试卷难度。最难和最易的试卷的区分度都很低，区分度最大的试卷，其难度一般在 0.3-0.6。提高等级间区分度， 主要应该： 准确控制 30% 的试卷难度， 增加 0.6 的题量。对于常模参照来说，区分度 D0.4 为优； 0.39D0.3，良好； 0.29D0.2，一般； D0.2 劣，应该淘汰。对试卷难度（P）与区分度（ D ）进行总体衡量P值10.90.70.50.30.10.0D 最大值0.00.20.610.60.20.0人的多数心

22、理特征呈正态分布，一个测验的各道题目之间或多或少 存在着一定的相关；因此一般采用使题目从易到难排列，而非皆固定在 P 0.5 左右。高考要求 D0.3 区分度的计算程序将考生的部分由高到低排列（预测时是预估的）从最高分开始向下取全部试卷的 27%做为高分组； 从最低分开始向上取全部试卷的 27%做为低分组； 计算高分组、低分组在某题的难度 P高 与P低 ；主观试卷区分度DSHSLN（HL）客观题用P R 答对该题人数P N 参加测试总人数主观题用P X 该题平均得分P W 该题满分客观题区分度 D P高 P低其中 SH 表示接受测验高分组在该题上的总得分数， SL 表示低分组学 生在该题上的总

23、得分数， N 表示参加测验高分组（或低分组）人数，即 总人数的 27%， H 表示该题最高分， L 表示该题最低分。一般也可用 D XH XL ， X H ：高分组某试卷的平均分， XL：低 X满分组某试卷平均分， X满 ：某试卷的满分。整个试卷的区分度，是所有 试卷区分度的平均值，可用加权平均数求出。注意：区分度比较小并不一定说明试卷不好。首选应检查样本大小，如 果样本太小，可能会导致相关系数不稳定。其次，应该检查试 卷的难度，如果试卷难度过大或过小，都可能导致试卷的区分 度降低。第三，应检查试卷本身是否有问题，如题干表述的不 明确，题干存在某种给考生提示的线索或其他技术性错误。如 果没有上

24、述三方面的问题，那么试卷的低区分度可能揭示学校 教案或考生复习方面可能存在某些问题。3）信度的控制（暂不考虑）信度即测量结果的可信程度（稳定性程度） ，如果用同一测量工具反复测量同一特质对象，则多次测量结果的一致性程度就叫信度。信度的估计方法重测信度：用同一个测验或评价表对同一组被试施测两次所得结果的 一致性程度。用途在于估计测验结果经过一段时间后是否 仍然维持稳定、一致的特性。复本信度：是指两个平等测验测量同一批被试者所得结果的一致性程 度（同一时间或间隔一段时间进行） ，真正的平等测验非 常重要。分半信度：将一个测验分成对等两半后，所有被试在两半上所得分数 的一致性程度。按题号的奇偶分半、

25、按难度分半、按题目 的内容分半。评分者信度：多个评分者给同一批人的答卷进行评分的一致性程度。 主观题特别是作文题的评分信度值得研究。提高信度的办法：A、增加题量、提高覆盖率；B、提高区分度，准确反映考生差异；C、减少考试过程中非智力和情感因素干扰；D、提高评分的客观性和准确性。高考要求：选择题总分信度 0.9，非选择题总分信度 0.7，全卷信度0.8（4）效度控制（暂不考虑）效度是指本次考试与考试目标的相关程度，即考试内容，形式、结果对考试目标的体现情况。提高效度的方法：合理规定考试目标；科学确定考试内容；选择适宜的考试方式；提高考试信度；不得滥用考试成绩。效度包括：内容效度：试卷与教案的目的和内容相符的程度结构效度：测验的结构与目标要求相符的程度规范相关效度：测验与作为规范的测验相符的程度4、命题需要注意的内个问题（1）情境设置问题设置“情境”的本质是提供一个平台，能够让学生针对知识、技能、过 程方法等进行