北京市义务教育教学质量分析与评价反馈-张咏梅

北京市义务教育教学质量分析与评价反馈系统说明

张咏梅北京教育科学研究院（以小学数学语文等学科为例）

主要内容为什么建立义务教育教学质量分析评价与反馈系统？如何建立义务教育教学质量分析评价与反馈系统？义务教育教学质量分析评价与反馈系统能提供什么？为什么建立义务教育教学质量分析评价与反馈系统

义务教育阶段的教学质量是衡量教育质量的重要指标，保障义务教育课程实施的质量是政府的基本责任

政策依据

实践依据政策依据《义务教育法》明确规定了政府对义务教育阶段的质量保障承担基本责任，质量管理必然成为教育主管部门管理的核心内容。

*第一章第五条指出：“依法实施义务教育的学校应当按照规定标准完成教育教学任务，保证教育教学质量。”*第五章第三十五条指出：“学校和教师按照确定的教育教学内容和课程设置开展教育教学活动，保证达到国家规定的基本质量要求。”__________《中华人民共和国义务教育法》《北京市人民政府贯彻国务院关于基础教育改革和发展决定的意见》（京政发[2001]27号）中明确要求，全面推动基础教育教学、评价与学校管理改革，建立普及九年义务教育年度目标实施状况的监测制度、结果公报制度。《北京市建立义务教育教学质量年报制度的意见》（京教基〔2005〕7号）中明确指出，要开展对义务教育阶段教学质量的经常性检测，每年要将质量状况向社会报告。《国家中长期教育改革和发展规划纲要（２０１０－２０２０年）》

*第二部分发展任务---第四章义务教育---（八）“提高义务教育质量。建立国家义务教育质量基本标准和监测制度”。

*第三部分体制改革----第十一章人才培养体制改革---（三十三）改革教育质量评价和人才评价制度。改进教育教学评价。根据培养目标和人才理念，建立科学、多样的评价标准。开展由政府、学校、社会各方面共同参与的教育质量评价活动。实践依据从国际范围来看，发达国家的教育主管部门都对义务教育质量有严格的管理体系从国内范围来看，自2003年以来，教育部和部分省区都分别建立了义务教育阶段的质量评估项目国际实践依据-1国际实践依据-2国内实践依据-1市级监控结果——市级报告区级监控结果-区县反馈报告校级、班级、学生个体监控结果-学业报告单形象地比喻：教学质量的监测犹如体检的各种检查手段——化验、B超、CT质量监测的分析报告有如医生会诊——撰写诊断病例，设计治疗方案、开药方教研机构利用相关数据可以改变仅凭经验指导学校学科教学工作的既有局限，提高教学指导的科学性。学校、教师可以根据反馈信息改进自身的教学与管理。教育管理部门可以获得更为科学和准确的信息去合理地评价学校工作，调整工作策略，改进管理工作

主要内容为什么建立义务教育教学质量分析评价与反馈系统？如何建立义务教育教学质量分析评价与反馈系统？义务教育教学质量分析评价与反馈系统能提供什么？如何建立义务教育教学质量分析评价与反馈系统明确系统的指导原则围饶系统的核心问题确定系统的技术路线构成系统的基本要素系统实施的整体流程

如何建立系统-----明确指导原则目的要明确，要体现正确的教育价值导向测试工具要科学、完备，以有效地获得对教育教学状况的定量和定性描述分析手段要科学，对结果的分析要细致、全面，对现象的解释要合理要着眼于改进教育教学工作，提供有效的反馈信息和改进建议

如何建立系统-----明确核心问题北京市义务教育阶段：关键年级的教学质量是否达到了国家课程标准的要求？达到课程标准要求的程度是怎样的？哪些因素可能影响教学质量情况？如何根据以上情况反馈、指导、改进各层面的教学质量？学生的学业质量？为政府提供决策依据？

如何建立系统-----确定技术路线

反映教育教学质量定量研究：1.学业水平测验：标准参照测验2.问卷调查(学生、教师、学校)质性研究：1.教学视导（课堂观察）2.个案访谈3.教学叙事研究如何建立系统----基本要素

工具制定测验实施数据处理评价分析反馈指导

如何建立系统——实施流程----整体第一阶段确定思路确定研究目的及整体研究计划第二阶段项目整体准备制定学业测验方案/制定质性研究计划拟定测验细目、蓝图第三阶段项目工具研发命制预测试题及编制问卷/形成质性研究工具预测试施测预测试结果分析命制正式测验试题及调整问卷、审题第四阶段项目正式实施网上阅卷/实施质性研究（视导、个案、教学叙事）划定分数线试题、试卷质量分析测验结果分析第五阶段反馈阶段市级书面文本报告、现场反馈区县数据文本报告、现场反馈学校、学生学业报告单如何建立系统——实施流程-以学业水平测验为例学业评价测验基本环节确定测验性质，编制测验方案

（测验框架、内容标准、学业成就水平描述）测验细目及蓝图命制试题+审题+预测试数据分析+组卷实施测试网上阅卷分数线划定试题、试卷质量分析测验结果分析确定测验性质

学业水平测验：主要是依据课程标准与北京市教育教学的实际情况，采用以纸笔测验为主要形式的多种测试方式对特定年级的学生进行抽测，并在此基础上做出关于北京市学生群体学业成就水平的判断（达到课程标准程度的判断），并就教学中存在的问题提供改进建议。学业水平测试是北京市义务教育教学质量监控与评价的重要组成部分，属于标准参照测验的范畴，并具有诊断性。

确定测验性质补充：标准参照测验——常模参照测验2023/12/1623类别常模参照测验标准参照测验学生成绩的比较对象与其他同学进行比较与常模群体的平均表现进行比较与代表掌握程度的标准进行比较内容取样全面性较窄较宽泛命题的首要任务选择能够最大程度区分学生群体能力程度的试题。避免“太易”与“太难”的试题。选择能反应标准行为、关键行为的目题，难度与区分度不被关注。分数解释在已知群体中的相对位置是否达到标准，达到程度如何典型测试高考、中考会考、学业水平考试编制测验方案对国际上的基础教育教学评价与学生学业评价体系，如美国的教育进步评价计划（NAEP）、国际经合组织的PISA项目等进行深入研究由学科专家、教研员、教师组成的学科研究小组，依据《课程标准》相应学段内容、北京市学科教学的实际、不同版本教材，经过反复研究、讨论，广泛征求意见学科学业测验方案是指导学科整体测试工作的重要基础测验方案构成

测验框架

测验的内容标准

测验方式与题型

测验领域分数构成学业成就水平描述

题目示例学生学业水平测验方案编制测验方案——评价手册编制测验方案——测验框架学科学业测试框架主要由内容领域、能力领域两个主要维度构成，这两个维度不是互相独立和割裂的，而是密切联系、相互交融的整体。内容领域——所在学段应掌握的学科基本知识、基本技能能力领域——现代社会发展所要求的、所在学段必备的基本能力小学数学三年级内容领域——数与代数、空间与图形、统计与概率、

实践与综合应用能力领域——数学技能、数学思考、解决问题

编制测验方案——测验的内容标准学科学业内容标准是在学业测试框架下，对于学科《课程标准》的细致化、具体化。在制定内容标准时，以学科内容为线索、通过采用布鲁姆认知目标分类学中体现认知层次类型的行为动词来体现、渗透学科能力的要求。例

小学数学三年级内容标准了解(认识、知道、说出)能从具体事例中，知道或能举例说明对象的有关特征(或意义)；能根据对象的特征，从具体情境中辨认出这一对象。理解（会）能描述对象的特征和由来；能明确地阐述此对象与有关对象之间的区别和联系。掌握（能）能在理解的基础上，把对象运用到新的情境中。灵活运用能综合运用知识，灵活、合理地选择与运用有关的方法完成特定的数学任务。认知能力层次内容标准（部分）编制测验方案——学业成就水平描述学业成就水平等级：优秀水平、良好水平、合格水平三个等级学业成就水平是指在常态学校教育条件下，学生在学科学业测试框架中达到内容标准程度的情况。学业成就水平描述中体现了不同学业水平学生的典型行为特征，是对内容标准的进一步具体化，也是对学业测试结果进行解释的依据。学业成就水平描述与学科《课程标准》、学科评价基础框架的内容相结合，强调关键行为特征表现；注重不同年级之间的连续性，体现差异性；通常采用动词会动词加副词的形式来表示不同水平的差异性。

例

小学数学三年级学业成就水平描述（部分）如何建立系统——实施流程-以学业水平测验为例学业评价测验基本环节确定测验性质，编制测验方案

（测验框架、内容标准、学业成就水平描述）测验细目及蓝图命制试题+审题+预测试数据分析+组卷实施测试网上阅卷分数线划定试题、试卷质量分析测验结果分析例命题细目——2008年五年级数学（部分）例命题蓝图——2008年五年级数学（部分）课程标准-测验框架-细目蓝图-试卷的关系38如何建立系统——实施流程-以学业水平测验为例学业评价测验基本环节确定测验性质，编制测验方案

（测验框架、内容标准、学业成就水平描述）测验细目及蓝图命制试题+审题+预测试数据分析+组卷实施测试网上阅卷分数线划定试题、试卷质量分析测验结果分析命制试题通过制定相关管理规定，保证命题质量：命题人员选拔规则命题原则选择题编写规则主观题编写规则试卷校对规则保密协议补充：命题原则示例

注意：说明作答要求、进行题目陈述时，语言要简明、易懂，不要使用复杂

的句型，不要出现超出学生理解的词汇。强化弱化测验内容学科核心内容枝端末节内容测验结构良好结构的知识零散的知识测查能力层次概念、原理的理解与应用单纯的事实分析、综合等思维能力内容记忆测查角度学生理解了哪些不理解哪些补充：选择题编写规则示例选择题编写的基本规则编写题目的方法要求：１.采用最佳答案或正确答案的形式。２.运用前后一致的表述方式。……编写题目的内容要求：５．将每一题目建立在一个教育或教学目标的基础上。６.每一题目集中于一个问题。７.

使考生充分理解题目的内容与要求。……编写题干的基本要求：

１４.以问题的形式陈述题干，避免采用填空的形式。１５.必须运用填空形式时，将填空置于题干末尾，切不可将填空留于题干的开始或中间。

……补充：选择题编写规则示例例：2007年4月26日，北京2008年奥运会火炬接力传递计划路线及火炬发布仪式在中华世纪坛举行，“

”是北京2008年奥运会火炬接力的主题。

A．和谐之旅B．文化之旅

C．人文之旅D．绿色之旅

2007年4月26日，北京2008年奥运会火炬接力传递计划路线及火炬发布仪式在中华世纪坛举行。北京2008年奥运会火炬接力的主题是“

”。

A．和谐之旅B．文化之旅

C．人文之旅D．绿色之旅命题、审题、预测试07年预测试——非随机组共同题等值设计08年、09年预测试——随机组等值设计共同被试组设计：主要用于确定基线水平，实现年度间分数的纵向比较实施测试市教委下发测验通知由区县组织测试实施考务规格等同于普通高中会考市基教研中心组织统一阅卷网上阅卷阅卷形式：网评阅卷人员组成：大组长+学科组长+阅卷教师程序：试评、修订评分标准：抽取5-10%的试卷进行试评，制定评分手册正式阅卷特点主观题2+1（2名阅卷员+仲裁/学科组长）模式阅卷，减少主观因素造成的误差双重评分编码：提取更多信息，注重诊断性监控阅卷整体进度监控各教师的阅卷标准例：双评阅卷模式结果监控五年级数学2评题目情况例：双重评分编码解释：0A，由于未作答而得0分；0B，由于跑题而得0分；习作部分第一重编码：题目得分第二重编码：分值意义内容0A、未作答B、跑题语言2A、语言繁琐、赘述B、错别字严重例：阅卷一致性监控(作文)如何建立系统——实施流程2-以学业水平测验为例学业评价测验基本环节确定测验性质，编制测验方案

（测验框架、内容标准、学业成就水平描述）测验细目及蓝图命制试题+审题+预测试数据分析+组卷实施测试网上阅卷分数线划定试题、试卷质量分析测验结果分析分数线划定方法——Angoff方法Angoff题册（举例）Angoff记分表（举例）分数线划定方法——Bookmark方法如何建立系统——实施流程-以学业水平测验为例学业评价测验基本环节确定测验性质，编制测验方案

（测验框架、内容标准、学业成就水平描述）测验细目及蓝图命制试题+审题+预测试数据分析+组卷实施测试网上阅卷分数线划定试题、试卷质量分析测验结果分析试题、试卷质量分析理论依据：经典测量理论（CTT）项目反应理论（IRT）试题、试卷分析工具SPSS:数据检查、描述性数据统计AMOS：试卷结构效度分析WINSTEP（单参数IRT分析）：用于试题、试卷质量分析CONQUEST（单参数IRT分析）：用于试题、试卷质量分析PARSCALE（两、三参数IRT分析）：用于试题、试卷质量分析HLM（多水平线性分析）：用于多层变量之间的影响因素分析试题、试卷质量分析（1）测验（试卷）信度内部一致性信度2008年学业测试科目内部一致性α系数八年级五年级数学0.902数学0.859语文0.836语文0.856音乐（纸笔测验）0.839音乐（纸笔测验）0.856试题、试卷质量分析（2）测验（试卷）效度内容效度：由专家审题、评定确定结构效度：试题、试卷质量分析（3）测验（试卷）信息量试题、试卷质量分析（4）测验（试卷）难度与学生能力分布情况试题、试卷质量分析（5）试卷中各题目难度、区分度（部分）试题、试卷质量分析（6）试题题目功能差异试题、试卷质量分析（7）试题IRT难度：二级评分试题、试卷质量分析（10）试题项目功能差异试题、试卷质量分析（11）试题与RASCH模型的拟合度补充：采用经典测量理论进行试卷质量分析

难度整卷分数分布（偏度、峰度）信度系数（内部一致性信度－a系数）

内容效度难度题目区分度（题总相关R、鉴别指数D）作答模式分析确定分析指标－题目水平－难度

P值范围为0－1，P值越高，试卷越易难度（难度系数）：试卷的难易程度补充：采用经典测量理论进行试卷质量分析确定分析指标－题目水平－难度

难度指标

P值难度0－0.20难0.21－0.50较难0.51－0.80较易0.80-1.00易补充：采用经典测量理论进行试卷质量分析确定分析指标－题目水平－区分度区分度：是指测验题目对考生水平的区分能力。

区分度高的题目：有效区分不同水平的考生；区分度低的题目：不能有效区分考生水平，水平高和水平低考生得分接近。

补充：采用经典测量理论进行试卷质量分析确定分析指标－题目水平－区分度

区分度指标—题总相关R（题目与总分的相关系数）

—鉴别指数D

补充：采用经典测量理论进行试卷质量分析题目水平－区分度－鉴别指数D鉴别指数（D）：将学生能力按照测验的总分分为高分组（前25%-33%）和低分组（后25%-33%），计算两个组在某道试题上通过率或得分率的差异：

D＝PH－PL（取值范围：－1.00——＋1.00）

补充：采用经典测量理论进行试卷质量分析

题目水平——区分度——鉴别指数D鉴别指数D区分程度0－0.19低0.20－0.30较低0.31－0.40较高0.41-1.00高注意杜绝D、R小于0的情况补充：采用经典测量理论进行试卷质量分析请计算鉴别指数D

某道试题的答题情况如下：先将学生按整卷总分情况排队，后将处于高分端25％的学生设为高分组，其通过率情况为70％，将处于低分羰的25％学生高为低分组，其通过率情况为30%.求此题的鉴别指数D。

D＝0.70-0.30=0.40补充：采用经典测量理论进行试卷质量分析如何建立系统——实施流程-以学业水平测验为例学业评价测验基本环节确定测验性质，编制测验方案

（测验框架、内容标准、学业成就水平描述）测验细目及蓝图命制预测试题+预测试实施+预测试分析审题+组卷+施测网上阅卷分数线划定试题、试卷质量分析测验结果分析

主要内容为什么建立义务教育教学质量分析评价与反馈系统？如何建立义务教育教学质量分析评价与反馈系统？义务教育教学质量分析评价与反馈系统能提供什么？义务教育教学质量分析评价与反馈系统能提供什么？