DB50T 1623-2024 基础教育质量监测规程

CCSA18DB50重庆市市场监督管理局发布IDB50/T1623—2024 2规范性引用文件 3术语和定义 3.1教育质量监测educationqualitymonitoring 3.2学科工具subjecttools 3.3问卷工具questionnairetools 3.4预试pretest 4监测流程 5监测项目筹划 5.1成立组织机构 5.2确定监测方案 6监测工具研发 6.1学科工具 6.2问卷工具 7测前准备 7.1基础数据采集 7.2学校抽样 7.3召开样本校负责人及信息员动员会 7.4学生抽样 7.5纸质工具准备 7.6网络工具准备 7.7资料打印 7.8工作人员选派及培训 7.9测前验收 8监测项目实施 8.1领取工具 8.2组织实施监测 8.3交回工具 9监测数据处理 9.1获取客观题数据 9.2获取主观题数据 9.3数据清理 9.4成绩数据处理 9.5问卷数据前期处理 9.6单变量的数据分析 DB50/T1623—20249.7双变量的数据分析 9.8多变量的数据分析 10监测报告撰写与发布 10.1撰写报告准备 10.2设计报告框架 10.3撰写及发布报告 11结果应用 附录A（规范性）样本学校准备工作检查验收表 DB50/T1623—2024本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由重庆市教育评估院提出。本文件由重庆市教育委员会归口并组织实施。本文件起草单位：重庆市教育评估院。本文件主要起草人：刘云生、贾玲、何怀金、卢锦运、钟冬梅、陈洪余、万君、袁晓敏、谭必玉、谭万侠、谢龙建、祁可。DB50/T1623—2024基础教育质量监测规程本文件规定了基础教育质量监测的术语定义、监测流程、项目筹划、监测工具研发、监测项目测前准备、监测项目实施、监测数据处理、监测报告撰写与发布、结果应用等内容。本文件适用于基础教育质量监测的组织实施。2规范性引用文件下列文件中的内容通过文中的规范性引起而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T15834标点符号用法GB/T15835出版物上数字用法3术语和定义下列术语和定义适用于本文件。3.1教育质量监测educationalqualityassessment通过系统化的方法和工具，对教育过程和结果进行定量、定性分析和评估的过程。3.2学科工具assessmentinstruments用于测查学生的学业水平，着重用于考查学生的学科核心素养的测试卷或测试项目。3.3问卷工具questionnaires用于收集影响学生发展的学习状况、教师教学质量、教学资源配置以及学校管理情况等多方面信息的调查问卷。3.4预试pilotstudy2图1监测流程3DB50/T1623—2024d)信息填报员，由区县教育行政部门或监测评估机构、教研机构熟悉计算机操作的工作人员担任，负责数据采集、上报数据审核等工作；e)巡视员，由责任督学、区县教育行政部门、监测评估机构、教研机构有丰富考务经验的人员担任，负责监督、指导学校开展监测工作。5.1.4参与监测的学校成立校级监测实施办公室，人员包括但不限于：a)监测点主任，由校长担任，负责组织协调学校工作人员，落实要求，开展监测工作；b)监测点副主任，由副校长担任，协助监测点主任组织监测工作；c)信息员，由熟悉计算机操作的工作人员担任，负责信息上报工作；d)主监测员，由非本校的教务（教导）主任担任，负责按要求完成学科测试及各相关因素问卷填答的具体组织工作；e)监测员，由非本校学科教师担任，负责配合主监测员完成学科测试及各相关因素问卷填答的具体组织工作；f)保密员，由样本校工作人员担任，负责监测工具的领取、保管和回送等工作，对监测工具的安全、保密负具体责任；g)安保人员，由样本校保安或相关人员担任，负责测试场地周边环境的治安保卫；h)司时员，由样本校教务部门人员担任，负责按时发出报时指令；i)医护人员，由校医担任或由样本县协调卫生健康部门配备，负责学生身体不适、突发疾病等问题的临场处置和送医交接。5.2确定监测方案5.2.1确定监测时间。所有监测学校在统一时间同时实施监测。5.2.2确定监测对象，包括但不限于：a)监测对象可选择学生、教师、家长；b)对学生的监测一般不采取全样本，对学校和学生进行抽样，抽取样本应具有代表性；c)一般选取特定年级的学生（例如四年级和八年级）。5.2.3确定监测内容，包括但不限于以下内容：a)学业监测，如语文（阅读）、数学、科学、英语等；b)体质、艺术和品德监测；c)心理健康监测；d)影响学生发展的教师、家长等相关因素。5.2.4确定监测方式，包括但不限于以下方式：a)纸笔作答、在线作答、现场测试，多用于学生；b)在线填答，多用于教师和家长。6监测工具研发6.1学科工具6.1.1研发流程4是否图2学科工具研发流程6.1.2制定方案制定学科工具研发总体方案，包括背景、目标、任务、原则、流程、时间、调查受众等。6.1.3组建专家组6.1.3.1制定学科工具研发组长遴选计划，包括条件、方式等，确定学科工具研发组长。6.1.3.2制定学科工具研发组员初选计划，包括条件、方式等，确定初选教师。6.1.3.3培训学科工具研发组长及初选教师。6.1.3.4初选教师于培训后命制1～2道样题，根据样题对初选的教师进行复选，确定研发组员。6.1.4制定细目表学科工具研发专家组根据国家课程方案、课程标准及相关政策文件、教材内容、国内外学科工具研发经验、当地学生的整体学业水平等，制定细目表。6.1.5研发试题6.1.5.1学科工具研发专家组根据学科工具细目表，命制样题。6.1.5.2学科工具研发专家组研习、修订样题，熟悉命题要点和出题思路，掌握题目内容及认知维度说明、题目评分说明等。6.1.5.3根据样题讨论结果，学科工具研发专家组命制试题。6.1.5.4学科工具研发专家组对命制的试题进行修订，形成学科工具修订稿。5DB50/T1623—20246.1.6预试6.1.6.1制定学科工具预试方案。6.1.6.2对预试工具组卷，将学科工具修订稿中的所有题目平均分配到各套题本中。6.1.6.3组织预试，预试过程中，监测员记录测试过程和问题反映情况。6.1.7分析工具质量6.1.7.1对预试工具进行质量分析，分析内容包括但不限于：a)题目难度；b)题目区分度；c)选项题选项分析；d)主观题编码分析；e)主观题评分者信度。6.1.8工具修订6.1.8.1根据预试的质量分析结果，对有问题的题目进行修订、删除或者新增。6.1.8.2对修订后的题目，进行二次预试。6.1.8.3对二次预试的数据结果进行质量分析，进行再次修订和再次质量分析，直到所有数据达到标6.1.9工具审核6.1.9.1学科工具研发专家组对试题进行内部审核，确定质量较好的试题进入监测试题库。6.1.9.2邀请市外监测评估专家对试题进行外部评审，对试题库中的试题进行评估，并对需要修订的试题提出有针对性的意见。6.1.9.3学科工具研发专家组对需要修订的试题进行修订后，试题重新入库。6.1.10组卷6.1.10.1在已有试题库中选择铆题，铆题选择要求包括但不限于：a)稳定性强，多次预试的质量分析结果波动不大；b)涵盖所有题型；c)涵盖细目表中的一级维度；d)题量为一套试卷总量的20%以上。6.1.10.2在已有试题库中筛选监测题目，根据矩阵抽样技术，组成多套平行试卷。6.1.11专家论证及送审6.1.11.1学科教师及专家对多套平行试卷的题目进行评估。6.1.11.2根据评估意见进行修订完善，形成定稿。6.1.11.3定稿及试题说明经教育行政部门同意后，作为监测工具备用。6.2问卷工具6.2.1研发流程6是否图3研发流程7DB50/T1623—2024b)量表题目；c)量表的分维度划分方式；d)计分方式；e)报告的信度和效度。6.2.6.2在指标体系中对需要自行命制的题目做出标记，搜索相关文献备用。6.2.6.3问卷工具研发专家组对需要自行命制的题目和选项进行命制。6.2.6.4问卷工具研发专家组对问卷题目进行讨论和修订。6.2.6.5对问卷工具进行论证，形成初稿。6.2.7预试问卷工具预试与学科工具预试完全一致，可与学科工具同时进行预试。6.2.8分析质量6.2.8.1对问卷数据进行质量分析，包括但不限于：a)量表总体信度；b)量表分维度信度；c)量表效度；d)选项分析。6.2.8.2根据预试的质量分析结果，对有问题的题目和选项进行修订。6.2.9审核题目及送审6.2.9.1问卷工具研发专家组对问卷进行内部审核，确定质量较好的题目进入监测试题库。6.2.9.2市外监测评估专家对问卷进行外部评审，对试题库中的题目进行评估，并对需要修订的试题提出有针对性的意见。6.2.9.3问卷工具研发专家组对需要修订的试题进行修订后，试题重新入库。6.2.9.4定稿及试题说明经教育行政部门同意后，作为监测工具备用。7测前准备7.1基础数据采集区县上报工作人员名单，包括姓名、职务、手机、邮箱等信息。7.2学校抽样7.2.1抽样范围包括有监测年级学生的所有学校。7.2.2区县上报学校基本信息，包括但不限于：a)监测年级的学生人数；b)监测年级的班级数；c)学校类别；d)学校性质；e)学校地域；f)学校评价；g)流动儿童比例（%）；8DB50/T1623—2024h)是否为汉语教学学校。7.2.3确定抽样学校数量，一个区县内小学抽样数量一般不低于14所，中学抽样10所，根据区县内监测年级人数进行适当调整。7.2.4确定抽样方法，一般对学校采用PPS分层抽样。7.3召开样本校负责人及信息员动员会区县召开样本校负责人及信息员动员会，参会人员包括样本校校长、样本校副校长、样本校信息员7.4学生抽样7.4.1样本校上报监测年级所有学生、教师的基本信息。7.4.2确定每所样本校抽样学生数量，抽样不低于30名，不足30名的采用全样本。7.4.3确定抽样方法，并计算权重，对学生采用分层抽样。分层标准包括但不限于：a)班级；b)性别。7.4.4样本校根据需要，补报抽样学生信息，信息包括但不限于：a)是否缺测b)是否留守儿童；c)是否流动人口子女；d)是否特殊儿童；e)父母联系方式。7.5纸质工具准备7.5.1对纸质工具的题本进行排版，排版应符合以下要求：a)工具中标点符号的用法应符合GB/T15834的要求；b)工具中数字的用法应符合GB/T15835的要求；c)工具中的图形、表格等内容清晰、准确；d)问题和选项排在一页；e)中小学生工具中的字体以书宋体为主，小4号字；成年人工具中的字体以书宋体为主，5号字；a)题本存在单独的答题卡，应对答题卡进行设计和排版。7.5.2组织工具研发专家对排版后的工具和答题卡进行校对。7.5.3对答题卡进行试扫描，确认答题卡数据能够被识别。7.5.4印刷厂对排版校对后的工具进行保密印刷，并在规定时间将纸质工具运送到规定地点，验收数量无误后，接收工具。7.6网络工具准备7.6.1学科及问卷工具存储到数据库系统中。7.6.2根据填答对象，在数据库系统中选择相应的题目，确认后生成对应的监测工具。7.7资料打印对考务材料和资料进行打印和制作，包括但不限于：9DB50/T1623—2024a)样本学生条形码；b)样本学生名单；c)组织手册，视导员、巡视员、监测员等各类工作人员手册；d)视导员、巡视员、监测员、监测点主任等相关工作人员的挂牌。7.8工作人员选派及培训7.8.1学生抽样后，计算并反馈每所样本校所需的监测教室数量，标准的监测教室每间人数为监测题本的倍数，且不超过42人，允许尾室人数不同。7.8.2样本校根据本校的监测教室数量报送监测员，每1个监测教室报送1名主监测员、1名监测员。区县将学校报送的主监测员进行互派，互派应满足如下原则：a)就近原则：将主监测员派到就近的监测学校；b)回避原则：主监测员不应被派往曾任教的学校，不能两所学校直接互换。7.8.3各级组织机构负责对工作人员进行集中培训。7.9测前验收7.9.1监测实施前1d～2d，教育行政部门逐级进行测前验收。验收内容包括但不限于：a)人员安排及培训情况；b)场地、公示栏设置、监测室和监测办公室布置情况；c)教学秩序调整、学生组织及文具准备情况；d)保密室及保密设施准备情况；e)抽测工作人员施测技能。7.9.2验收人员按照附录A的要求验收监测点，如实记录，并督促整改。8监测项目实施8.1领取工具工具应在监测正式开始前1h到校，工具领取要求包括但不限于：a)车程超过2h的样本校，经区县监测工作领导小组同意并备案后，可于测试前一天下午领取本校监测工具；b)监测点主任或监测点副主任与巡视员同时到场才能领取；c)领取时需清点工具包数量，确认无误后，在工具领取单上签字、领取工具；d)为确保工具的安全及保密，领取人员运送工具回学校的途中必须保证袋不离手；e)到校后，领取人员应立即将监测工具放入保密柜，确保双人双锁，有专人看管。8.2组织实施监测8.2.1巡视员拆封学生名册密件，检录学生。8.2.2监测员领取监测工具到达监测教室，分发纸质监测工具给学生。分发应满足以下要求：a)多套题本按S型循环发放；b)题本和答题卡分离，应保证学生拿到的题本和答题卡对应。8.2.3监测员宣读测试生守则，讲解答题须知及例题。8.2.4监测员指导学生填涂基本信息、粘贴学生条形码。8.2.5监测结束后按规定顺序收取监测工具。DB50/T1623—20248.3交回工具8.3.1监测员核对数量无误后，在卷袋上签名并留下手机号，立即送达保密室交给巡视员。8.3.2巡视员再次检查数量无误后，封袋、粘贴密封签、骑缝处加盖样本学校公章、签名、入保密柜。8.3.3监测结束，收齐所有工具，巡视员即刻护送工具返回领取点，履行交接登记手续，交回巡视员手册。9监测数据处理9.1获取客观题数据9.1.1根据纸质工具制定扫描模板，每个模板试扫描5%的数据，进行随机抽检。9.1.2正式扫描完后，需要检查每所学校扫描的试卷数量与实际数量是否相等，如果不相等，进一步检查是否漏扫或者重复扫描，对相应情况进行处理。9.2获取主观题数据9.2.1学科工具研发专家组浏览试卷，根据学生的实际作答情况，检查编码评分规则是否存在问题并调整修订，确保所有学生答案均可获得适合的编码。9.2.2最终确定的编码评分规则录入阅卷平台，进行双评阅卷。9.2.3招募阅卷人员，阅卷人员应具有学科专业知识。9.3数据清理对监测数据进行清理，清理内容包括但不限于：a)处理缺失值；b)拆分多选题；c)处理测谎题；d)有效被试判断。9.4成绩数据处理9.4.1学科工具质量数据分析，包括但不限于：a)学科工具的单一性假设；b)模型拟合度（ItemResponseModelFit）；c)判别系数（DiscriminationCoefficients）。9.4.2运用IRT项目反应理论，估计学生的学科总量尺分数，并进行等值。9.4.3对学科分数进行表现水平划定，划定方法可选择Angoff（安戈夫）方法。9.5问卷数据前期处理9.5.1找出问卷中需要合成数据的量表，以及每个量表所涉及的所有变量，对变量进行合成，生成新变量。9.5.2找出问卷中需要对数据进行重新编码的变量，进行重新编码，生成新变量。9.6单变量的数据分析9.6.1对于离散型数据，统计分析不同选项的选择频数及百分比。9.6.2对于连续型数据，根据以下不同目的