试题编制技术和试卷质量分析.doc

试题编制技术与试卷质量分析上海市真如中学吴长江一、试卷编制前的准备1、命题前的思考点2、命题设计的一般原则3、试卷编制的基本程序二、试卷编制的技术要点1、命题双向细目表设计2、几类典型题型编制要求3、命题预测的评价指标4、命题需要注意的几个问题三、试卷质量分析与评价1、考试结果的基本分析2、质量分析报告的撰写一、试卷编制前的准备命题容易又很难，一份好的命题更难。命题体会与考量：规范负责的态度一定的文字功底丰富的知识储备多研究经典试题试卷走钢丝的艺术；遗憾的艺术；人文素养的考验；科学素养的考验；教育测量技术。1、命题前的主要思考点思考准备：（1）明确考试的性质测验诊断性考试知识与技能的掌握；常模参照考试会考水平考试稳定的认知能力特质标准参照考试智力测试学习能力考试潜在的学习能力和学术发展倾向标准参照考试常模参照测验是指以学生团体测验的平均成绩为参照标准，说明某一学生在团体中的相对位置，将学生分类排队。标准参照考试是指以体现教育教学目标的标准为准，看学生是否达到标准以及达成标准的程度。它主要不是用于比较个人之间的差异。常模参照考试和标准参照考试比较维度标准参照考试常模参照考试目的确定每个学生是否达到课程目标规定的要求确定每个学生在课程开始前后获得知识、技能、能力等的差异，或水平的差异对学生在某一内容领域的知识、技能、能力等进行排队区分高分和低分的学生内容严格依照课程标准，要求有较好的覆盖面以课标描述为难度依据，要有难度梯度，尤其是合格水平要求充分的表达每种知识、技能等都表述为教育目标或课程目标题目要有较好的区分度由于时间有限可能放弃对覆盖面的要求试题特征每个目标至少有四道试题，以获得适当的学生行为样本，并且最大程度地降低偶然因素效应每道试题难度是平等的测量每个目标的试题量一般小于4道试题的难度是变化的试题要有比较好的区分度分数解释通常标定合格及其他等级水平每个学生的成绩与预先设置的标准比较，与其他考生的表现无关报告考生在每个测量目标方面的学习情况考生成绩通常与其它考生成绩比较分数通常以百分位分数，或其他标准分数表示通常总体报告学生的水平而不分测量目标（2）把握考试对教学发展的导向性反映课程改革的要求；体现学科的特点；引领学生学习。（3）掌握考试对象的特点与水平学生学习与心理特点阶段知识掌握的水平区分；能力反映的特点。（4）考虑足够的内容抽样代表性与备课组交流；抽取好、中、差学生练习与试卷；与不同层面的学生交流。（5）选择合适的试题结构试卷内容组成；试卷编排顺序；试卷难易控制。2、命题设计的一般原则（1）命题的目的性；（2）内容的代表性；（3）格式的规范性；（4）表述的简明性；（5）答案的确定性；（6）题目的独立性；（7）创意的公平性；（8）测试的实效性。命题要全面考查学生课程目标的达成状况立足全面性、注重代表性、体现导向性；考察内容的均衡性；适度的题量与难度；恰当的题型结构；适度的自主性和开放性；试题呈现方式的多样化。在此基础上，综合体现：基础性原则、发展性原则、科学性原则、时代性原则、开放性原则、规范性原则。3、试卷编制的基本程序（1）拟定命题计划各种题型的题量及分数分配；各项考试内容的题量及分数分配；能力考查的重点及各能力层次的分配；考试难度及各类难度比例。（2）（根据命题计划）编制双向细目表确定考试内容要目；确定考试目标层次；确定考试要目下的权重；试题难度预估。（3）（根据双向细目表）编制试题并组卷题型的选择与安排（先按题型，再按难度）；试题的难度控制与预估（整卷难度与分题难度，有序层进）；对试题区分度的把握；开放（或探究）试题形式与内容的探索；一些重要的内容及方向定位（如写作题）；答案与评分标准的制定。（4）试测并修订在保密中选取典型非我校学生进行试测；根据试测情况分析分调整命题；专家审卷；修正并定稿。二、试卷编制的技术要点1、命题双向细目表设计目的设计试卷的蓝图，使命题者明确测验的目标，把握试题的比例与分量，提高命题的效率和质量。内容考查的范围、具体知识点、测试目标、题型、分值分布、难度分布。操作确定试卷要考查的目标；明确要考查的知识内容（知识点）；根据考查目标和知识的重要程序给予不同的比重；合理安排好各部分权重，编制出双向细目表。范例1测验目标知道理解运用分析与综合探究合计测验内容内容范围11397232内容范围3565221内容范围1534215内容范围34815内容范围1626217合计63224308100范例2命题双向细目表考试内容（内容块）选择题简答题证明题应用题分析题合计识记理解识记理解分析综合应用应用分析综合创造内容12305050015内容20334030215内容308213900335内容404215906535合计218717188010100范例3试卷组合双向细目表题号分数能 力题 型难度系数内容记忆理解分析综合其他判断选择填空计算问答其他1第一章 第四节1230.62第三章 第二节1120.73第七章 第一节330.64第一章 第四节330.7小计8311加权难度系数总计1001000.62加权难度分数计算公式：，.为权注意：能力各栏目分数合计和题型各栏目分数合计均应为100（或150）分。2、几类典型题型的编制要求（1）测试题型的分类题型主观题（开放式）客观题（封闭式）提供型选择题翻译题设计题写作题论述题证明题计算题简答题名词解释题改错题填空题选择题配对题是非题客观性试题与主观性试题比较客观题（封闭式）主观题（开放式）信度较高较低效度较低较高覆盖面较宽较窄陈述性知识较适宜较不适宜程序性知识较不适宜较适宜猜测可能性测验时较大测验前较大常模的建立较易较难（2）选择题的编制选择题的编制题型特征适用范围编制要领由一个“题干”和若干“选项”所构成。题干可用不完全陈述或疑问句表示，用于实现一个问题情境；选项，由一个正确或最佳答案和几个似真的错误诱答项或非最佳答案项组成。适合用文字、数字和图形等不同材料编题，可考查记忆、理解、应用、推理、判断、比较、分析等多种能力。该类题有多种形式，如配伍式、比较式、因果式、组合式、类推式等，其测量功能各有侧重。题干设问明确，表述简要，且尽量创设新情境；各选项的内容和形式要相互对等，数目尽量一致，且用词勿重复；正确项随机定位，且似真非真；干扰项似假非假，保证适度干扰性；每题仅有一个测试中心，且各题相互独立，避免链式。编制选择题的注意要点每题仅围绕一个测试中心题意完整，表述简明避免提供解题线索题干应尽量创设新的情境题干尽量以正面方式叙述各选项语词切勿重复选项只间不应相叠干扰项诱答须似是而非各题彼此独立，避免链式忌用“以上皆对”、“以上皆错”选项选项数尽量一致，形式大体相同正确项目须随机排位（3）填空题的编制题型特征适用范围编制要领提供一个完整的陈述，要求被试把缺少的结论填上，全题可留12处空格，且多置于句中和句尾。适宜测量词组知识、名称或日期、对概念的简单理解及记忆，解决数量问题的能力等。属于“回忆性”测量。留空处须是关键字词，且与上下文联系密切；空格不宜太多；避免直接引用教科书原句；准备一个正确答案和可接受的变式的标准。（4）简答题的编制题型特征适用范围编制要领由一个问句或陈述句构成，要求学生作答时提供适当的字词、短语、符号、观点及结论等。适宜测量记忆及简单理解。可考查术语知识、特定事实知识、原则的知识、方法和程序的知识；还可考查简单解释资料或使用数字符号的技能。答案唯一，且简单具体，尽量采用疑问句出题；应测学科知识的重要概念；不可按书原文抄题；说明答题要求，无需论述、论证；需以数字作答的，应说明表示单位。（5）论述题的编制题型特征适用范围编制要领是一种要求被试根据题目自己立意、选材、组织与表达。它属于自由反应型试题，包括论述题和作文题。适合测量综合运用知识的能力、组织材料能力和文字表达能力，甚至考核评价能力和创造能力。可以了解学生对问题的理解深度和思考过程明确规定作答范围和方法，避免题意空泛、笼统；设置新情境，让学生应用知识解决新问题；题目数量需适度；不给被试提供选答试题机会；备用数个“理想”答案，评分标准具体，易操作。（6）应用题的编制题型特征适用范围编制要领叙述一个具体的情境并给出一些有关的数据或资料，让被试解决所提出的问题。适合测量计算技能、数学和科学推理，以及运用知识到新情境中的能力。该类题常用于数学和自然科学领域的测验。解题说明清楚、完整；题目中应含解题所需的一切条件；题目内容应采用新情境材料；各测题答案间互相独立；文字简明。（7）开放性试题的编制开放性试题的命制条件开放型、过程开放型、结论开放型以及这三种题型的综合形式。这些形式还可以进一步细分，如在答案开放型中，可以再分为理论运用（知识视角）开放、论据素材（佐证事例）开放、表达方式开放和评分要求开放等。在各个学科中，其具体表现形式有所不同。方法与策略可选择作答：学生可以选择部分试题或一个试题中的若干小问题作答，增加答题的可选择性，有利于发挥学生的优势智能，表现学生的个性和特长。陈题新用：对传统试题进行改造，省略去其中的部分条件，或对问题提出不同的解决方向，或要求用尽可能的角度解决问题。从生活素材入手：选取社会热点、生活焦点和学生生活经验作为素材来设计问题，引导学生运用所学知识独立地解决生活问题。设置黑箱：将一个事物产生、发展过程和最终结果中的过程隐藏起来，即制造一个黑箱，让学生发挥想象力，提示黑箱的内幕。假设情景条件：在一定条件下假设某种情景，探求事物的发展状态；或给出某种确定的情景，探求由于条件的变化，可能引起什么样的反应。例举事实：给出一定的规律或原理，要求学生搜集与之相关的现象或事实，证明这一理论。学生自编自答：在一定背景之下，让学生根据试题提供的素材，自己提出问题，并分析解决问题。超越课本知识：超越课本中的字面内容，挖掘隐藏一于文字背后的思想，考核学生的科学精神与人文思想。巧用设问：调整问题的设问指向，引导学生摆脱传统的思维方向，寻找新的考虑问题的角度。引导推理：给出一定的材料或条件，让学生自主推导出可能产生的结果，或者给出一定的结果，让学生反向推导出它所需要的条件。补充材料或结果：给出不完整的材料或事物进程，通过学生自主想象，补充材料或推测结果。调整评分要求：评分要点充分考虑到学生答题的各种可能性；对于某些有创意的答案或要点，应该加以加分奖励，等等。（8）主观题命题评分的基本要求不要逼着或诱导学生说假话是最起码的要求；给定标准答案，以命题者之心度学生之腹的题出了还不如不出；主观题发挥学生的创造性，有一定开放性并不表明可以题可以随便出，答案可以随便写，清晰的评分标准是必要的；如果测量的行为目标能够用客观题来测，就尽量不要用主观题；挑选的材料应该与学生学习经历过的材料有类似性或是全新的材料；应该用清晰，明确的语言表述背景材料和问题；对材料分析题而言，设计试题应该要求学生对材料进行分析和解释；设计的试题数应该与背景材料的长度相匹配；对试题的赋分应该合理；对每个问题给恰当的时间完成。3、命题预测的评价指标（1）难度控制定义：学生完成题目和项目任务时所遇到的困难程度。难度值以P表示。公式1：通过率P,R表示答对某题的人数，N表示测试的总人数。公式2：得分率P，X表示某题的平均分，W表示某题总分。注意：通常对客观题计算难度时选择公式1；通常对主观题计算难度时选择公式2。全卷难度用加权难度平均数公式计算。其中分别为的权数i1、2K。高考难度要求：全卷难度0.50.6；试题难度0.30.7，接近正态分布；易：中：难3:5:2容易题P值为0.7以上；中档题P值为0.50.7；难度P值为0.30.5。试卷难度计算方法：假设容易题、中档题和稍难题比例按3:5:2预测，即30%的试题难度P值为0.7以上；50%试题的P值为0.50.7；20%的试题P值为0.30.5。影响试题难度的因素情境的熟悉性；需要提取，应用元素本身的难度，熟悉性和数量；已知条件是否完备或冗余；先前是否存在模式能够参考；概括程度的高低，如是否需要建立模型，以及所建模型的复杂性和概括性程度。试题（试卷）难度控制运用“难度相关因素表”和“难度分数对应表”，掌握试题难度预估与控制方法。难度相关因素表点数1234目标要求识记理解运用综合信息强度12点34点56点7点以上熟悉程度很熟悉（常见基本练习题）熟悉（训练过的练习题）一般（改造过的练习题）生疏（未见过的生题新题）结构层次很简单（结构单一、一步到位）简单（拐一步到位）复杂（拐两步到位）很复杂（拐三步到位）难度系数对应表难度层次最易中易稍易中下中中中上稍难中难最难因素累加4-55-66-77-88-99-1010-1111-1212以上难度系数1-0.950.95-0.90.9-0.80.8-0.70.7-0.60.6-0.50.5-0.40.4-0.30.3以下影响试题难度应对策略题目条件的复杂程度适可而止题目条件表述的隐藏性提倡（联系实际）解答题目所需的心智技能、不过份是否隐含科学探究方法提倡解答过程的数学手段不过份需要文字表达的水平适当以往解题经验的影响提倡新情况（2）区分度的控制区分度。区分度是反映试题能否鉴别学生能力高低的指标，由某题答对人数与答错人数相比较而确定。如果某个试题，总分高的学生与部分低的学生都没有做对，或全做对，则说明该题没有区分度。假如一个试题对总分低的学生出错的人数比总分高的学生更多，则表明该试题有较高的区分度。区分度计算公式为：D其中，D为区分度，和分别为高分组在某题上的难度和低分组的难度。区分度在0.4-0.6之间为宜。区分度与试题难度密切相关，要改变试题区分度，即必须调整试题难度。最难和最易的试题的区分度都很低，区分度最大的试题，其难度一般在0.3-0.6。提高等级间区分度，主要应该：准确控制30%的试题难度，增加0.6的题量。对于常模参照来说，区分度D0.4为优；0.39D0.3，良好；0.29D0.2，一般；D0.2劣，应该淘汰。对试题难度（P）与区分度（D）进行总体衡量P值10.90.70.50.30.10.0D最大值0.00.20.610.60.20.0人的多数心理特征呈正态分布，一个测验的各道题目之间或多或少存在着一定的相关；因此一般采用使题目从易到难排列，而非皆固定在P0.5左右。高考要求D0.3区分度的计算程序将考生的部分由高到低排列（预测时是预估的）；从最高分开始向下取全部试卷的27%做为高分组；从最低分开始向上取全部试卷的27%做为低分组；计算高分组、低分组在某题的难度与；客观题用P主观题用P客观题区分度D主观试题区分度D其中表示接受测验高分组在该题上的总得分数，表示低分组学生在该题上的总得分数，N表示参加测验高分组（或低分组）人数，即总人数的27%，H表示该题最高分，L表示该题最低分。一般也可用D，：高分组某试题的平均分，：低分组某试题平均分，：某试题的满分。整个试卷的区分度，是所有试题区分度的平均值，可用加权平均数求出。注意：区分度比较小并不一定说明试题不好。首选应检查样本大小，如果样本太小，可能会导致相关系数不稳定。其次，应该检查试题的难度，如果试题难度过大或过小，都可能导致试题的区分度降低。第三，应检查试题本身是否有问题，如题干表述的不明确，题干存在某种给考生提示的线索或其他技术性错误。如果没有上述三方面的问题，那么试题的低区分度可能揭示学校教学或考生复习方面可能存在某些问题。（3）信度的控制（暂不考虑）信度即测量结果的可信程度（稳定性程度），如果用同一测量工具反复测量同一特质对象，则多次测量结果的一致性程度就叫信度。信度的估计方法重测信度：用同一个测验或评价表对同一组被试施测两次所得结果的一致性程度。用途在于估计测验结果经过一段时间后是否仍然维持稳定、一致的特性。复本信度：是指两个平等测验测量同一批被试者所得结果的一致性程度（同一时间或间隔一段时间进行），真正的平等测验非常重要。分半信度：将一个测验分成对等两半后，所有被试在两半上所得分数的一致性程度。按题号的奇偶分半、按难度分半、按题目的内容分半。评分者信度：多个评分者给同一批人的答卷进行评分的一致性程度。主观题特别是作文题的评分信度值得研究。提高信度的办法：A、增加题量、提高覆盖率；B、提高区分度，准确反映考生差异；C、减少考试过程中非智力和情感因素干扰；D、提高评分的客观性和准确性。高考要求：选择题总分信度0.9，非选择题总分信度0.7，全卷信度0.8（4）效度控制（暂不考虑）效度是指本次考试与考试目标的相关程度，即考试内容，形式、结果对考试目标的体现情况。提高效度的方法：合理规定考试目标；科学确定考试内容；选择适宜的考试方式；提高考试信度；不得滥用考试成绩。效度包括：内容效度：试题与教学的目的和内容相符的程度结构效度：测验的结构与目标要求相符的程度标准相关效度：测验与作为标准的测验相符的程度4、命题需要注意的内个问题（1）情境设置问题设置“情境”的本质是提供一个平台，能够让学生针对知识、技能、过程方法等进行提取、组合、尝试、判断以及模式化等等，有时这个过程比结果更为重要。根据学科和测试目标的不同，情境的现实