上海学生学业质量绿色指标提出的背景内容及目前的进课件

上海市教委教学研究室上海市教委基础教育质量监测中心2014年3月4日上海市“绿色指标”评价实践

操作程序及要点

上海市教委教学研究室上海市“绿色指标”评价实践

操作程序及上海绿色指标评价改革目标与任务总体目标：一是形成富有时代特色、地方特点、科学多元的中小学教育质量综合评价体系，推动上海基础教育转型发展和素质教育全面落实。二是发挥科学评价的指挥棒作用，以中小学教育质量评价改革实验推动教育教学诸领域的变革，形成区域改革实验成果，逐步辐射有效经验。具体任务：1.形成比较完善的中小学教育质量评价指标体系。2.形成比较科学的中小学教育质量评价办法。3.形成比较健全的中小学教育质量评价制度。上海绿色指标评价改革目标与任务总体目标：具体任务：上海绿色指标评价改革实践方案教育质量评价体系评价指标质量标准学科测试背景调查数据分析教育质量数据库分析报告反馈与改进教育决策教学研究课堂教学系统反思修改、完善评价工具上海绿色指标评价改革实践方案教育质量评价体系评价指标质量标准绿色指标操作程序及要点评价指标的内容工具研发报告撰写数据处理结果应用考务工作评价指标的设计依据阅卷评分绿色指标操作程序及要点评价指标的内容工具研发报告撰写数据处理评价指标的设计1评价指标的设计1评价指标的设计依据1、上海基础教育发展过程中亟待解决的问题

上海15岁学生参加PISA2009、2012测试，在阅读、数学、科学三个方面均取得了第一名的成绩。2009上海学生每周课内外上课时间的总量（34.8小时）位居参与国（地区）第12位。2012上海学生每周作业时间11.8小时。评价指标的设计依据1、上海基础教育发展过程中亟待解决的问题2、学业质量的上海理解学业水平：考试的结果、达标的程度；学业质量：学业水平+结果的品质；

水平结果+取得水平结果的路径、代价；

学业质量概念的构成性、关联性与发展性。评价指标的设计依据2、学业质量的上海理解评价指标的设计依据3、国际大规模测试的关注点

如PISA、TIMSS和NAEP等都采用背景问卷的方式来了解影响学生学业成就的因素。这些因素一般分为学习者、课程教学、学校及教育制度四个维度。学习者层面主要包括性别、家庭社会经济背景、自我认知、学习动机以及教育期望等；课程教学层面包括教学策略、课堂气氛、教师支持等。评价指标的设计依据3、国际大规模测试的关注点评价指标的设计依据4、历年学业质量调查的实证数据基础

自2006起，一直参与教育部基础教育课程教材发展中心“建立中小学生学业质量分析、反馈与指导系统”项目，从该项目的调查结果中提炼出与学业成绩密切相关的因素，如睡眠时间、作业时间、师生关系、教师教学方式等。评价指标的设计依据4、历年学业质量调查的实证数据基础评价指标的设计依据评价指标的内容2评价指标的内容2评价指标的内容学生学业水平指数：标准达成+高层次思维+成绩均衡学生学习动力指数：学习自信心+学习动机+学习压力+对学校认同度指数学生学习负担指数：负担综合指数+负担分项指数。师生关系指数：尊重学生，平等对待学生，信任学生教师教学方式指数：教师自评指数+学生评价指数校长课程领导力指数：决策计划+组织实施+管理评价学生社会经济背景对学业成绩的影响指数学生品德行为指数：自尊、尊重、诚信、责任、公德身心健康指数：近视率、肥胖率、身体素质、幸福感跨年度进步指数：学习动力+师生关系+学业负担变化评价指标的内容学生学业水平指数：标准达成+高层次思维+成绩均评价指标的数据获取方式学科测试卷：学生学业水平指数背景调查问卷：学生品德行为指数学习动力指数学业负担指数师生关系指数

学生社会经济背景对学业成绩的影响指数教师教学方式指数校长课程领导力指数

学生体质健康测试：身心健康指数评价指标的数据获取方式学科测试卷：学生学业水平指数评价对象评价对象：学生（小学四年级、初中九年级）、教师、校长调查时间：每年10月份（1）由于调查时间安排在10月份，实际上学科测试的内容为小学3年级和初中8年级的内容。（2）教师：该年级被调查学科的任课教师。评价对象评价对象：学生（小学四年级、初中九年级）、教师、校长工具研发3工具研发3工具研发基本流程组建相关研发团队（学术基础、团队、工作意向）工作程序（1）研发测试框架

（2）试题征集（3）30人试测、6名学生口语报告（6套）（4）300人试测（6套）（5）试题评审（4套）（6）正式测试卷（2套）工具研发基本流程组建相关研发团队（学术基础、团队、工作意向）工具研发学科测试框架学科能力语文积累与运用读准字音认清字形理解词义积累和运用常见古诗文阅读获取信息整体感知；提取信息；形成解释合理使用信息并做出评价获得文学体验完成任务写作能根据表达需要，选取恰当作文材料能有条理地安排文章的结构能具体明确、文从字顺表达自己意思工具研发学科测试框架学科能力读准字音认清字形理解词义积累和运工具研发学科测试框架学科内容能力数学数与代数图形与几何统计与概率知识技能；理解概念（小学为数学理解）；运用规则；解决问题英语语音、词汇、语法话题、语言功能听、读、写科学科学知识生命科学物质科学地球、宇宙和空间科学回忆理解与简单应用问题解决科学探究对科学探究的理解科学探究能力工具研发学科测试框架学科内容能力数学数与代数知识技能；理解概工具研发学科测试框架框架与样题各个维度题量比例试题难度分布工具研发学科测试框架框架与样题工具研发试题征集或开发基于课程标准的基本要求能力导向情境性试题工具研发试题征集或开发基于课程标准的基本要求工具研发300人试测难度区分度每个项目上的作答比例工具研发300人试测难度工具研发试题评审评审专家组对每一道试题进行专业判断（优、良、中—指出可能存在的问题，提出修改建议）命题专家进行回应与解释（接受意见进行修改；提出不修改的理由）工具研发试题评审评审专家组对每一道试题进行专业判断工具研发问卷框架

学生问卷：学生基本情况；学习自信心；学习动机；学习压力；学生对学校的认同度；学业负担（睡眠时间、做作业时间、补课时间）；师生关系；对教师教学方式的评价；品德行为（理想信念、公民素质和健全人格）教师问卷：教师基本情况；教师对课程的看法；对学校管理的看法；面临的困难；教学观和教师专业发展；教师教学方式（因材施教、互动教学和探究与发展能力）校长问卷：学校基本情况；校长办学理念和教育观；校长的学校管理方法；课程领导力（课程决策与计划、课程组织与实施、课程管理与评价）工具研发问卷框架学生问卷：学生基本情况；学习自信心；工具研发问卷编制概念界定收集资料（公开发表的量表、PISA问卷、TIMSS问卷、NAEP问卷；对学生进行访谈）编写试题小范围测试（用学生的视角看试题的陈述）形成问卷大规模测试后，再根据数据进行修改完善。工具研发问卷编制概念界定工具研发问卷实例师生关系哪个学科的老师符合下面的说法（可以多选，也可以不选．）工具研发问卷实例师生关系哪个学科的老师符合下面的说法（可以多工具研发问卷实例睡眠时间工具研发问卷实例睡眠时间考务工作4考务工作4考务工作基础信息上报1、按照规定的表格上报完整的信息2、学生基础信息中包含的内容有：区县名称、学校名称、学校类型、学校性质、学籍号、姓名、性别、年级、班级、户籍。其中学校类型分别为：小学、初中、完中和九年一贯；学校性质分别为：公办、民办、随迁子女民办学校；户籍分为本市户籍和非本市户籍。考务工作基础信息上报1、按照规定的表格上报完整的信息调研形式：抽样调查全体调查抽样调查：符合教育部相关文件精神；数据处理复杂，需要计算权重和抽样误差。全体调查：组织方便；可具体到班级、个体层面做分析抽样：区县抽样、学校抽样、学生抽样。考务工作抽样设计调研形式：抽样调查全体调查考务工作抽样设计小学样本量：年级人数<=50全测50<年级人数<=100抽50人100<年级人数<=200抽75人200<年级人数<=300抽100人300<=年级人数

抽150人抽样方法：等距抽样测试安排：每位学生均参加语文、数学学科测试及问卷调查考务工作抽样设计小学样本量：考务工作抽样设计中学样本量：年级人数<=100全测100<年级人数<=150抽100人150<年级人数<=220抽150人220<=年级人数

抽200人抽样方法：等距抽样测试安排：每位学生均参加语文、数学（或外语、科学）学科测试及问卷调查考务工作抽样设计中学样本量：考务工作抽样设计考务工作编排准考证号准考证号用11位数字表示，其中1-2位为区县代码；3-5位为学校代码；6-7位为考场代码；8-9位为题组代码；10-11位为座位号。1-2：区县代码，事先规定好给区县。3-5：学校代码：同一区县内，小学与中学的学校代码分开编写；一贯制学校内中学部和小学部各用一个学校代码；同一个学校，不同的校区用不同的代码。同一个区县内可以按照001、002的顺序依次往后编写。6-7：考场代码，同一个考点内，考场代码按照01、02的顺序依次编写。8-9：题组代码，小学四年级语文、数学代码为13；中学九年级语文、数学代码为25，英语、科学代码为26。10-11：座位号，按照01—25的顺序依次编写。考务工作编排准考证号准考证号用11位数字表示，其中1-2位为考务工作统计测试材料1、统计测试材料数量，与印厂交接考务工作统计测试材料1、统计测试材料数量，与印厂交接考务工作统计测试材料2、编制测试材料区县下发清单，与区县交接考务工作统计测试材料2、编制测试材料区县下发清单，与区县交接考务工作其他事项1、编写考务手册2、召开区县考务会议3、设计巡考方案，组织巡考4、测试材料清点、回收5、答题卡扫描考务工作其他事项1、编写考务手册阅卷工作5阅卷工作5阅卷工作1、制定主观题评分标准，形成评分手册2、组织阅卷教师，并对阅卷教师进行评分标准的培训3、商讨题组分工，并确定阅卷评分模式，即是单评还是三评，以及评分误差的阈值。阅卷工作1、制定主观题评分标准，形成评分手册数据处理与分析6数据处理与分析6原始数据数据清理经典测量理论分析项目反应理论分析标准划分数据入库报告模板数据挖掘专题报告报告生成学校报告区县报告市级报告成绩差异分析报告数据处理原始数据数据清理经典测量理论分析项目反应理论分析标准划分数据数据处理等值设计问题情境：2014年测试、2015年（2016年）测试，学生的学业质量是提升了还是降低了？幅度有多大？

试题难了分数低，试题容易分数高，直接比较不科学。方法之一：2012年测试卷等值卷2013年测试卷等值卷等值卷2014年测试卷数据处理等值设计问题情境：2014年测试、2015年（201数据处理等值设计2012年测试卷等值卷2013年测试卷等值卷等值卷2014年测试卷等值卷：又称为铆卷，与测试卷的结构、题型相同。

通过等值卷作为桥梁，找到不同年度测试卷之间的关系。不能公开；每年选择有代表性的学生群体进行测试。数据处理等值设计2012年测试卷等值卷2013年测试卷等值卷数据处理分数计算原始分数：根据命题人员制定的赋分规则，汇总统计的分数。标准分数：通过对原始分数进行转化后得到的分数。量尺分数：利用试题的难度、区分度等参数，对学生的作答进行统计处理得到的分数，不同年度间可以比较。主要依据IRT理论进行分析。通常采用的是Rasch模型，使用CONQUEST软件进行处理。

软件处理后得到的结果有每个学生的分数、每道试题的难度、特征曲线等数据。数据处理分数计算原始分数：根据命题人员制定的赋分规则，汇总统数据处理等级划分？？？不合格合格良好优秀目前国际上普遍采用的是修订Angoff法和书签法（Bookmark

procedures）将学生的学业成就表现划分为不同的等级。

数据处理等级划分？？？不合格合格良好优秀目前数据处理能力表现描述主要回答在语文（数学、英语、科学）学科上“优秀”、“良好”、“合格”的学生具有什么样的能力，能解决哪些问题，“不合格”的学生不具备什么样的能力。数据处理能力表现描述主要回答在语文（数学、英语、科数据处理问卷计分例：你对以下问题的看法如何？

我很愿意参加集体活动不同意

不太同意

不确定

比较同意

同意

方式一：按照“同意计5分，不同意计1分”的原则进行计分。

如果学生选择“不同意”，则该生在这道试题上得1分，选择“比较同意”，则得4分。最后将学生在同一个维度的项目得分进行加总，就得到学生在这个维度上的总得分。数据处理问卷计分例：你对以下问题的看法如何？数据处理问卷计分例：你对以下问题的看法如何？

我很愿意参加集体活动不同意

不太同意

不确定

比较同意

同意

方式二：按照“比较同意”、“同意”计1分，其他记为0分，最后统计学生在各个维度的总分。根据这个总分将学生划分为“对学校认同度较高”、“对学校认同度较低”。

数据处理问卷计分例：你对以下问题的看法如何？数据分析测试工具质量学科测试卷、背景问卷：

信度、效度信度分析可以采用spss统计软件进行分析，效度分析可以采用Mplus、Lisrel、Amos等软件进行分析。数据分析测试工具质量学科测试卷、背景问卷：数据分析分析类型现状描述影响因素数据统计采用spss17.0软件，作图使用Excel。数据分析分析类型现状描述数据分析现状描述现状描述

分指标（学业水平、学习动机、师生关系……)

总体

群体（不同区域、不同区县、不同类型学校、不同性别、……)统计指标：百分比例数据分析现状描述现状描述数据分析现状描述分析方法变量的特征分析类差异分析相关分析变量综合分析时间序列分析学科分析数据分析现状描述分析方法数据分析现状描述总体分析（以“学习自信心”为例）学习自信心较强的学生所占人数比例数据分析现状描述总体分析（以“学习自信心”为例）学习自信心较数据分析现状描述群体分析-（不同区县）四年级学习自信心较强的学生所占人数比例数据分析现状描述群体分析-（不同区县）四年级学习自信心较强的数据分析现状描述群体分析-（新优质）学习自信心较强的学生所占人数比例数据分析现状描述群体分析-（新优质）学习自信心较强的学生所占数据分析现状描述群体分析-（公办、民办）学习自信心较强的学生所占人数比例数据分析现状描述群体分析-（公办、民办）学习自信心较强的学生数据分析现状描述群体分析-（男、女）学习自信心较强的学生所占人数比例数据分析现状描述群体分析-（男、女）学习自信心较强的学生所占数据分析现状描述群体分析-（本市、非本市）学习自信心较强的学生所占人数比例数据分析现状描述群体分析-（本市、非本市）学习自信心较强的学数据分析影响因素回归分析数据分析影响因素回归分析数据分析影响因素相关分析数据分析影响因素相关分析

上海市四年级学生主要指标指数数据分析：雷达图

绿色指标的测试结果上海市四年级学生主要指标指数数据分析：雷达图绿色指标的测报告撰写7报告撰写7报告撰写报告类型基础数据报告（主要是详细呈现各个指标的统计数据）结果解读报告（分学科呈现主要调查结果、分析原因、提出教学改进建议）政策分析报告（就行政关注点呈现主要数据，并做出判断。通常是将结论作为小标题）报告撰写报告类型基础数据报告报告撰写报告层次市级报告（可以提供三种类型的报告）区县报告（基础数据报告）学校报告（基础数据报告）市级报告人工撰写、区县、学校报告根据市级报告框架，通过计算机程序自动生成。报告撰写报告层次市级报告市级报告人工撰写、区县结果应用与工作推进8结果应用与工作推进8结果应用行政推动召开多种形式的反馈会（区长沙龙、结果反馈报告会、全市中小幼校园长培训会议、区县校长培训会议)

促进教育质量观的转变；

分析全市的数据，指出存在的问题；

提出改进要求。结果应用行政推动召开多种形式的反馈会（区长沙龙、结果反馈报告结果应用行政推动政策文件中对绿色指标进行关注与回应结果应用行政推动政策文件中对绿色指标进行关注与回应结果应用行政推动结果应用行政推动结果应用行政推动结果应用行政推动结果应用行政推动结果应用行政推动结果应用行政推动结果应用行政推动结果应用行政推动结果应用行政推动结果应用行政推动结果应用行政推动结果应用问题诊断原因分析

在市级提供基础数据报告的基础上，各区县撰写本区县的深度分析报告，着重在原因分析。改进措施

结果应用问题诊断原因分析视角之1：本区县在这些指标上表现出什么样的特点？视角之1：本