命题流程与质量保障课件

命题流程与质量保障温州市教育教学研究院陈荣荣2012年3月命题流程与质量保障温州市教育教学研究院用标准提升教育质量成为国际共识■21世纪以来，世界教育进入了以提高质量为中心目标的时代，制定教育质量国家标准成为许多国家教育改革与发展的主要内容。■国际教育标准主要涉及学术内容标准和教育质量标准。其中，学术内容标准明确学生应该知道什么和能够做什么，教育质量或绩效标准明确学生如何展示他们的掌握程度。■基于标准提高教育质量、形成教育质量评估的一般模式、广泛开展教育质量监测、规范教师专业标准、加强立法保障，成为各国提升教育质量的共同举措。2012年1月31号中国教育版用标准提升教育质量成为国际共识■21世纪以来，世界教育进入了评价过程三要素确定对象开发工具评价工具评价过程三要素确定对象开发工具评价工具评价什么？评价什么？教育质量与学业质量学业质量与学业成绩学业成绩与考试成绩几个核心概念的区别与联系教育质量与学业质量几个核心概念的区别与联系教育质量的内涵

教育质量与学业质量联合国儿童发展基金会在《教育质量定义》中提出了教育质量的五个要素:学习者、教育环境、教育内容、教育过程和教育成果。从宏观层面看，教育质量即整个教育体系的质量。学习者的个体层面、教育管理与行政结构的制度层面从微观层面看，教育质量最终落在培养对象的质量上。学习者人作为质量的载体以及影响其学习质量的直接因素，其教育成果是质量的核心教育质量的内涵

教育质量与学业质量联合国儿童发展基金会在《教有质量的教育旨在将学习者培养成为兼具个体、家庭成员、社会成员和全球公民四种角色能力的人；有质量的教育构建的是知识、生活技能、态度和价值观并提供可持续发展的能力。宏观——教育质量微观——学业质量教育质量与学业质量有质量的教育旨在将学习者培养成为兼具个体、家庭成员、社会成员有质量的教育构建的是知识、生活技能、态度和价值观并提供可持续发展的能力。学业质量与学业成绩学业质量是多面体学业成绩是正视图可测性？有质量的教育构建的是知识、生活技能、态度和价值观并提供可持续历史学科试题——中日甲午战争甲午战争发生于何时何地？战争的起因是什么？战争的过程、结果如何？中国战败的原因何在？战败后中日之间签订的《马关条约》内容是什么？对中国有什么危害？历史学科试题——中日甲午战争甲午战争发生于何时何地？战争的起日本和中国一百年打一次仗。19世纪打了日清战争（我们称甲午战争），20世纪打了一场中日战争（我们叫抗日战争）。21世纪如果日本和中国开火，你认为会在什么时候？可能的原因（近因和远因）在哪里？如果日本战胜胜在什么方面？输了又是输在什么条件上？历史学科试题——中日甲午战争日本和中国一百年打一次仗。19世纪打了日清战争（我们称甲午战学业成绩与考试成绩学业成绩=考试成绩？有效性？科学性？学业质量学业成绩考试成绩学业成绩与考试成绩学业成绩=考试成绩？有效性？学业质量学业成如何评价？——量尺的开发如何评价？——量尺的开发何为健康？——概念界定世界卫生组织对健康定义:“健康不仅是没有疾病,而且是指心理上和社会上的完满状态。”具体指标？——框架构建世界卫生组织WHO新的健康标准——10条

如对一般感冒和传染病有一定抵抗力；如何检测？——工具开发

体检工具的开发与套餐的设计结果反馈？——标准的设立各项指标的标准设定健康体检何为健康？——概念界定健康体检命题流程与质量保障ppt课件学业质量——概念不清晰具体指标——框架不完善检测量尺——工具不科学结果反馈——标准不稳定

学业质量评价现状与问题？学业质量——概念不清晰学业质量评价现状与问题？如何评价——现状与问题？？？？命题需要哪些人员课程专家教研员、教师测量统计如何评价——现状与问题？？？？课程专家命题流程与质量保障ppt课件PISA简介“国际学生评价项目”(ProgrammeforInternationalStudentAssessment，简称PISA项目)是由经济合作与发展组织(OECD)启动，该项目在OECD成员国和其他部分非成员国中进行PISA简介“国际学生评价项目”(ProgrammefoPISA评价目的及内容评价目的：以15岁在校生（接近义务教育末期）为评价对象，其主要目的是了解并比较各国15岁学生为未来生活的准备情况，了解他们是否具备分析、推理和沟通能力，了解他们是否具备终身学习的能力。评价内容：主要是生活所需要的基本知识和技能:阅读素养、数学素养、科学素养以及问题解决能力，重点考查学生运用所学知识和技能解决日常生活问题的能力。此外，还收集学生的学习态度、学习策略、家庭背景以及学校因素等影响学生表现的背景信息。PISA项目是一种前瞻性评价。PISA评价目的及内容评价目的：以15岁在校生（接近义务教PISA测试形式及发展从2000年起，每隔3年进行一次每次以一个学科（数学、阅读、科学）为主，其他两门学科占1/3各参与国随机抽取4500-10000名15岁的学生.完成两个小时的纸笔测验和20-30分钟的问卷被调查学校的校长也要完成一份20分钟的问卷PISA测试形式及发展从2000年起，每隔3年进行一次数学素养一个有创新精神、关心他人及有思想的公民所应具有的数学能力：即能判断和理解数学在现实世界中的作用；能运用数学做出有充分根据的决策；能在个体生活需要时使用和渗透数学数学素养一个有创新精神、关心他人及有思想的公民所应具有的数学科学素养利用科学知识识别科学问题并能得出有根据的结论，以便能理解自然界以及人类活动造成的变化，并有助于做出相关的决策。科学素养利用科学知识识别科学问题并能得出有根据的结论，以便能阅读素养理解，使用和思考书面文本的能力，以达到个人目标，增长知识、发挥潜力并参与社会阅读素养理解，使用和思考书面文本的能力，以达到个人目标，增长命题流程与质量保障ppt课件评价三维框架评价三维框架过程维度——再现、回忆（REPRODUCTION）这部分能力主要在相对熟悉的题目中起作用，主要是要求再现练习过的知识，包括熟悉、常规的数学过程和计算。如下例：解方程7x-3=13x+15;过程维度——再现、回忆（REPRODUCTION）这部分能连接能力基于再现能力，解决的不再是简单的常规问题，是原来熟悉问题的微小扩展和超越，需要更多解释，并且要求在情景的不同表征间形成联系，或者把问题情境的不同方面联系起来以获得解题方法。如下例：等你开车开到三分之二路程时，你的油箱已由原来的满箱到只有四分之一箱，问：是否能用这些油到达终点？过程维度——连接（CONNECTION）连接能力基于再现能力，解决的不再是简单的常规问题，是原来熟悉过程维度——反思（REFLECTION）连接能力基于再现能力之上。要求学生能够综合运用知识技能分析确定具体情境下的数学要素；创造性地辨别相关的数学概念，联系相关的数学知识解决问题，并提出论据进行论证；同时还要去学生对问题解决的过程、结果、方法进行反思。过程维度——反思（REFLECTION）连接能力基于再现能力29PISA样题29PISA样题26——连接27——再现12——再现26——连接27——再现12——再现96——反思96——反思2006年PISA科学评价框架2006年PISA科学评价框架知识纬度科学探究起源（如好奇心、科学问题）、目的、实验、数据、测量、科学结果的特征（经验证的、试验性的、可验证的、可证伪的、自我校正的）科学解释种类（假设、理论、模型、科学规律）、形成（既有的知识和新的证据、创造力和想象力、逻辑）、法则（逻辑一致性、以证据为基础、以历史和当前的知识为基础）、结果（新知、新方法、新技术、新研究）显性知识隐性知识知识纬度科学探究显性知识隐性知识能力纬度能力纬度样题——酸雨下图是被称作廊台的六尊女像柱雕像，建立于2500年前的雅典卫城。雕像由一种被称为大理石的岩石雕刻而成，大理石成分为钙的碳酸盐。由于酸雨腐蚀，原始雕塑在1980年被转移到博物馆内，由复制品取而代之。问题1正常的雨水略带酸性，因为它从空气中吸收了一些二氧化碳。酸雨比正常的雨水更酸，因为它还同时吸收了如硫氧化物和氮氧化物之类的气体。空气中的硫氧化物和氮氧化物是从哪里来的？——对现象进行科学地解释样题——酸雨下图是被称作廊台的六尊女像柱雕像，建立于2500样题——酸雨问题2一片大理石薄片在被浸泡在醋里一整夜之前的质量是0.2克。隔天大理石薄片被取出并且干燥，干燥后大理石薄片的质量将会是多少？

A少于0.2克B精确的0.2克C在2.0克至2.4克之间D多于2.4克————使用科学证据问题3学生把一份大理石浸没在醋酸溶液中一夜，同时把另一份大理石放在蒸馏水中一夜，解释做后一步骤的原因。————识别科学问题样题——酸雨问题2一片大理石薄片在被浸泡在醋里一整夜之前的态度纬度态度纬度样题——酸雨——科学兴趣——科学探究样题——酸雨——科学兴趣——科学探究样题——酸雨问题6化石燃料的燃烧（煤炭、石油、天然气）导致了酸雨的量。下面给出了四个观点，选择一个和你观点最接近的答。——对资源和环境的责任A.我认为酸雨不足以构成导致我们改变使用化石燃料的问题。B.采取行动减少酸雨的量是好的，如果不影响我的生活方式的话我会支持。C.为了减少酸雨，如果每个人都这样做的话，我会减少对化石燃料的依赖性。D.为了减少酸雨，我会减少燃料化石的利用。样题——酸雨问题6化石燃料的燃烧（煤炭、石油、天然气）导TIMSS简介“国际数学和科学趋势研究”(TrendsinInternationalMathematicsandScienceStudy简称TIMSS项目)国际教育成就评价协会组织(International

Association

for

the

Evaluation

of

Educational

Achievement，简称IEA)TIMSS简介“国际数学和科学趋势研究”(Trendsin评价目的：了解各国计划数学、科学课程的实现程度评价对象：主要为四年级和八年级学生评价周期：

每4年一次1970(19个)1980(24个)

1995(40个)1999(38个)2003年有近50个国家和地区(包括中国香港、中国台北等地区)参加了TIMSS项目。TIMSS测试形式及发展评价目的：了解各国计划数学、科学课程的实现程度TIMSS测试2007年TIMSS数学测试框架2007年TIMSS数学测试框架2007年TIMSS数学测试框架——认知领域2007年TIMSS数学测试框架——认知领域2007年TIMSS数学测试框架——认知领域2007年TIMSS数学测试框架——认知领域2007年TIMSS数学测试框架——认知领域2007年TIMSS数学测试框架——认知领域2007年TIMSS科学测试框架——内容领域2007年TIMSS科学测试框架——内容领域2007年TIMSS科学测试框架——认知领域2007年TIMSS科学测试框架——认知领域2007年TIMSS——科学探究表述问题和假设设计探究过程记录表示数据分析和解释数据得出结论，进一步解释及拓展2007年TIMSS——科学探究表述问题和假设命题流程与质量保障ppt课件试卷结构要素内容维度\能力维度\情境维度单选题、多选题、封闭式简答题及开放式简答题难度结构结构决定性质，性质决定功能试卷结构要素内容维度\能力维度\情境维度结构决定性质，性质决PISA数学素养评价框架各维度的试题分布图PISA数学素养评价框架各维度的试题分布图2023/8/1752内容结构及比例（%）

TIMSS数学素养评价框架各维度的试题分布图2023/8/552内容结构及比例（%）TIMSS数学素养评2023/8/17认知维度比例（%）TIMSS数学素养评价框架各维度的试题分布图2023/8/5认知维度比例（%）TIMSS数学素养评价框架双向细目表试卷命制的布局分布图双向细目表试卷命制的布局分布图命题流程与质量保障ppt课件甲午战争发生于何时何地？战争的起因是什么？战争的过程、结果如何？中国战败的原因何在？战败后中日之间签订的《马关条约》内容是什么？对中国有什么危害？历史考题——中日甲午战争甲午战争发生于何时何地？战争的起因是什么？战争的过程、结果如日本和中国一百年打一次仗。19世纪打了日清战争（我们称甲午战争），20世纪打了一场中日战争（我们叫抗日战争）。21世纪如果日本和中国开火，你认为会在什么时候？可能的原因（近因和远因）在哪里？如果日本战胜胜在什么方面？输了又是输在什么条件上？历史考题——中日甲午战争日本和中国一百年打一次仗。19世纪打了日清战争（我们称甲午战58测试目标、测试框架、试题属性，试题内在一致性58测试目标、测试框架、试题属性，试题内在一致性案例某地区平均得分率：82.1%试题目标：理解混合运算的顺序案例某地区平均得分率：82.1%试题目标：理解混合运算的顺序某地区平均得分率：74.2%在错误的答案中，396约占40%3.某地区平均得分率：74.2%3.2023/8/1761案例2023/8/561案例2023/8/1762典型作答2023/8/562典型作答2023/8/1763典型作答2023/8/563典型作答2023/8/1764访谈了两所学校（12人），总结：

多部分学生的作答跟表中数据无关，没有利用数据做合理判断的意识；部分学生已经有了利用数据做判断的意识，但学生的理由比较模糊。2位学生从平均角度做答。反思：试题本身提问方式三年级学生利用数据做合理判断？2023/8/564访谈了两所学校（12人），总结：反思：多倍试题及学生访谈小规模试测大规模试测专家审题命题流程多倍试题及学生访谈小规模试测大规模试测专家审题命题流程小规模预测题目表述是否清晰、准确背景学生是否熟悉学生的作答，以及是否与命题预设一致选择题选项支的设置，是否有迷惑性；主观题学生作答情况等，为试题修改和评分标准的初拟提供信息。试题的有效性及科学性小规模预测题目表述是否清晰、准确试题的有效性及科学性案例考查能力：理解概念考查目标：理解数位的意义，并能比较大小案例考查能力：理解概念现状：得分比率过低，且A选项比例过高

分析：可能是学生在组合比较数据由于数量级悬殊不大，造成了学生比较的难度

建议：将数字9改成数字8。修改如下：现状：得分比率过低，且A选项比例过高

分析：可能是学生在组合69案例——PISA样题69案例——PISA样题小明用同样长的两根铁丝围成了如图的甲、乙两个图形，比较它们的面积，那么（）．A．乙比甲大

B．甲比乙大 C．一样大 D．无法比较案例小明用同样长的两根铁丝围成了如图的甲、乙案例A、B、C水平学生的平均得分率分别为：78.8%，46.9%，28.2%。A、B、C水平学生的平均得分率分别为：78.8%，46.9这是一幅南极洲地图,请利用图中的比例尺估计它的面积,并解释你是如何得到的.案例——评分标准的设计这是一幅南极洲地图,请利用图中的比例尺估计它的面积,并解释你案例——评分标准的设计案例——评分标准的设计2023/8/1774反映试卷总体难度及试题难易程度的分布学生的作答时间反映试题的质量（区分度、难度、信息量等）学生的作答结果为试题修改和评分标准的完善提供信息。大规模预测2023/8/574反映试卷总体难度及试题难易程度的分布大规案例——选择题难度区分度选项信息ABCD0.370.19百分比46.012.44.836.7点二列0.12-0.17-0.250.10案例——选择题难度区分度选项信息ABCD0.370.19百分2023/8/1776试卷质量保障命题过程力求科学规范质性分析与量化分析结合开展学生研究题库建设2023/8/576试卷质量保障命题过程力求科学规范如何评价工具？——反馈与保障如何评价工具？——反馈与保障试卷分析报告1.关注试题，忽略试卷——量尺科学性2.关注结果，忽略过程——诊断

试卷本身、学生思维障碍3.关注教学，忽略命题——导向性试卷分析报告1.关注试题，忽略试卷——量尺科学性试卷分析指标——标尺的科学性信度——一致性、可信度效度——有效性难度分数分布试卷分析指标——标尺的科学性信度——一致性、可信度2011年中考科学试卷数据分析表2011年中考科学试卷数据分析表试卷分析——2011年总分频数分布图负偏态？试卷分析——2011年总分频数分布图负偏态？试卷分析——2011试卷信息函数后5%前12%前40%试卷分析——2011试卷信息函数后5%前12%前40%试题分析指标难度区分度选项分布（采分点）点二列相关能力值试题分析指标难度试题分析指标——难度难度指标（通过率或得分率P值）试题分析指标——难度难度指标（通过率或得分率P值）案例——主观题案例——主观题案例——选择题难度区分度选项信息ABCD0.370.19百分比46.012.44.836.7点二列0.12-0.17-0.250.10案例——选择题难度区分度选项信息ABCD0.370.19百分试题分析指标——区分度87将学生能力按照测验的总分分为高分组（前25%-33%）和低分组（后25%-33%），计算两个组在某道题目上通过率或平均分数的差异：

D＝PH－PL试题分析指标——区分度87将学生能力按照测验的总分分为高分组鉴别指数将学生能力按照测验的总分分为高分组（前25%-33%）和低分组（后25%-33%），计算两个组在某道题目上通过率或平均分数的差异：

D＝PH－PL88鉴别指数将学生能力按照测验的总分分为高分组（前25%-33%案例——选择题难度区分度选项信息ABCD0.370.19百分比46.012.44.836.7点二列0.12-0.17-0.250.10案例——选择题难度区分度选项信息ABCD0.370.19百分中考科学试题难度区分度分布图中考科学试题难度区分度分布图试题分析指标——选项比例试题分析指标——选项比例案例——选择题难度区分度选项信息ABCD0.870.30百分比3.186.86.73.1点二列-0.200.37-0.20-0.21案例——选择题难度区分度选项信息ABCD0.870.30百分案例——选择题难度区分度选项信息ABCD0.370.19百分比46.012.44.836.7点二列0.12-0.17-0.250.10案例——选择题难度区分度选项信息ABCD0.370.19百分试题分析指标——采分点比例94试题分析指标——采分点比例94案例——主观题采分点难度区分度采分点01230.340.42百分比36.8%30.5%25.7%6.9%IRT难度-0.360.762.34案例——主观题采分点难度区分度采分点01230.340.42其中Xp为答对某题的人的总平均分Xq为答错某题的人的总平均分P为答对某题的人数百分比q为答错某题的人数百分比St为总分的标准差试题分析指标——点二列相关其中Xp为答对某题的人的总平均