从量化角度谈质量监控

从量化角度谈质量监控感怀只要涉及到人的事都是复杂的，包括教育质量控制，我们的目的只是希望将复杂问题简单化，但不一定解决所有问题.这是一块必须用心去体会的领域，在这里我们似乎在了解他人，但问题解决的结果往往仅仅进一步了解了自己。当我们常常认为回答了某个问题的时候，我们却常常被更多的问题所困。相关技术只有通过实践才能体现其价值，否则与垃圾无异。我思故我在，每个学校，每个地区都有其发展的特殊性，必须结合相应发展规律，作到个性与共性的有效结合，平衡好“破”与“立”的关系。10/18/20232内容结构当前面临的问题量化手段及相关技术指标量化数据结果为诊断提供必要依据在教学管理中，有待进一步思考的问题10/18/20233当前面临的问题：宏观层面问责学生学习的改善10/18/20234当前面临的问题：微观层面如何获取、利用相关学生信息，有效为诊断、决策所用？

涉及相关测验的合理使用如何保证学科教研组长所提供的信息具有较大的可靠性及有效性？

涉及数据的可靠性及评价的有效性如何保证教育目标实施的连贯性及稳定性

涉及控制与反馈技术的使用10/18/20235量化手段及技术指标量化相关内容：测量、评价、测验、考试的区别与联系评价的一般常识测量模型使用命题的技术控制技术指标：信度、效度、区分度、难度（注意不同考试类别，所用公式不同）10/18/20236教育测量与评价的基本问题测量的基本含义

测量的过程是赋值的过程测量往往包含在某评价或评定中，更多的被看成一种基本的研究手段人的心智的复杂性，决定了测量对象相关因素之间是不明确的，大量的概率模型被广泛的使用评价的基本含义

评价是价值分析、衡量和判断的过程测量不能代替评价，测量是一个量化过程，评价是一个定性过程在数学教育中，评价目标往往是：数学事实，包括定义、定义、公式，某些特殊的证明等获得数学结果的标准方法与技能标准的应用，即典型的非数学情境，通过明确的数学手段完美处理10/18/20237教育评价相关概念分析教育测量与教育评价教育评价是教育测量的一种延续测验与考试

测验是对行为样本的客观的和标准化的测量考试一般指在比较正式场合下的测验，目的性比较强10/18/20238评价测量测验10/18/20239教育评价的过程的四个步骤：确定教育目标；设计评价情境，这必须依据预先规定的教育目标中期望学生变化的那种行为来设计的；选择和编制评价的工具，要求这些工具能引发教育目标所期望的那种行为；分析评价结果，即依据既定的教育目标来分析评价学生所达到的程度10/18/202310教育评价的发展趋势教育测量的重心发生变化

现代认知理论的发展，更加关注学生在认知过程中的内部信息处理机制。不仅仅局限于对学生未来成功与否的预测，更关注对学习目前学习状况及学科能力的诊断。教育测量的理论有进一步发展

不仅仅满足与在试题层次上对学生的反应进行量化，同时对学生在信息加工成分层次、加工过程步骤层次上，将心理理论、统计模型、认知模型整合了起来计算机技术的发展提高了测验的效率

提升的测量与评价的数据采集精度，提升了评价的可监控性和有效性教育测量、评价的社会化功能逐步增强

如何保证公平公正不仅仅是相关教育测量学界关心的问题，同时社会更加关注，特别是对于高风险的评价。10/18/202311评价的参照系：回答使用什么参照来解释所得相关信息常模参照：确定学生在群体中的相对位置类似高考、初三、高三模拟考试标准参照：说明学生在多大程度上达到了所要求的学科标准学校内部阶段性考试增长参照：解释并确认学习的作用以及学习的增长也促进情况教师和家长很看中学生在学习中的进步，但很少将其作为评分的基础，一些专家认为其可以作为常模参照和标准参照的解释的补充10/18/202312经典测量理论与项目反应理论浅析经典理论浅析项目反应理论（IRT）浅析

注意：1、两套理论及模型的使用假设2、各自的优点和不足3、关注多维项目反应理论在测量上的广泛使用和开发研究10/18/202313经典测量理论的假设10/18/202314经典测量模型的特点与优点理论假设是要求不高，是弱假设。从经验的判断，有较强的可接受性。这套理论经过近六十多年的发展和实践，形成里较为完善的测验理论及对试题和试卷进行统计分析方法，方法简单，直观，易掌握。在我国教育工作者应用中有一定的普遍性。10/18/202315经典测量理论的局限性抽样变动大能力难比较复本难实施缺乏预测力10/18/202316IRT的特点基本思想：潜在特质基本思路确定被试的心理特质值和他们对于项目的反应之间的关系，这种关系的数学形式就是“项目反应模型”。IRT的核心就是数学模型的建立以及对模型中各个参数的估计。10/18/202317IRT的基本假设潜在特质空间的单维性假设大多数项目反应模型都假设完全潜在空间是单维的。局部独立性假设被试对一个测验项目的反应不受他们对其他测验项目反应情况的影响。项目特征曲线假设（ICC）反映了被试对某一测验项目的正确反应概率与该项目所对应的能力或特质水平之间的函数关系。10/18/20231810/18/202319项目反应模型二级评分IRT模型例：逻辑斯蒂模型单参数模型（拉希模型）；双参数模型和三参数模型。多级评分IRT模型连续型IRT模型10/18/202320项目反应理论的优点及运用能力参数估计的不变性。即个体独立于测验项目参数估计的不变性。即测验独立于个体提供被试能力估计值的精确度指标被试能力和项目难度在同一量表上，为测验编制、测题分数的报告和解释提供了便利。10/18/202321项目反应理论的缺点由于是概率模型，所以数学模型与实测数据的拟合要求高；题目反应理论是一维性假设，即在模型性使用中，要求试题只测试单个心理特质。这个假设要求非常高，目前没有很好的方法可以去验证。但目前世界上不断地就多维情况开发相应的理论模型，已经进入实际使用中。10/18/202322命题技术控制攻克难点:建立阶段性测试的评价目标明确两个关系:课程标准与考试标准的关系

使用对象不同性质与功能不同可测程度不同稳定程度不同教材与考试标准的关系命题要点:命题的目的、原则及指导思想

注意：1、对于高利害性的考试，命题必须守住如下底线：科学性公平性难度2、考试标准与课程标准的一致性考试蓝图10/18/202323命题的目的、原则及指导思想命题的目的和指导思想命题的原则科学性导向性适切性稳定性

10/18/202324考试蓝图便于命题人员的编题操作，保证整卷的质量控制。既保证了在考试标准中所规定的试卷结构能得到确实地实现，在大大减少命题人员编制试题的盲目性和个人的随意性的同时，即保证全卷考查知识覆盖面，又有利于试题发挥其积极的考查功能，突出考查重点，确保考试目标的实现；便于审题人员的审核。审题人员根据上述所呈现的考试蓝图，依据考试标准，逐条对照，对发现的问题，有的放矢的提出修改甚至更换意见，促进试卷与考试标准的一致性，有利于提高试卷的质量。便于对试后结果的效度进行评价。没有这考试蓝图，评价就缺少了参照物，有了这个考试蓝图，就可以对考试成绩进行更为细致、深入的统计分析，收集、归纳考生的案例进行质性分析，对命题技术和试卷质量进行评估。10/18/202325考试蓝图10/18/202326技术指标：难度10/18/202327区分度试题的区分度以0.2以上为宜10/18/202328试卷的信度：试卷是否可靠？信度的概念:反映测量工具可靠性的工具信度的计算：其中表示每道试题成绩的方差，表示整卷成绩的方差公式体现出了测量工具随机性误差的大小，信度值越大，随机性误差越小，测量工具测量的稳定性越强，反之，稳定性越小10/18/202329效度效度:试卷的有效性简称效度，指试卷在多大程度上测到了所要测的对象，如知识、技能、能力等。效度分类：内容效度：知识、技能的覆盖面、代表性及要求程度结构效度：能力结构的体现效标效度：测验分数与效标的相关程度如用中考的成绩与模拟中考的成绩的相关程度来检验模拟中考的有效性，中考就成了模拟中考的效标

10/18/202330试卷质量的核心问题：效度、信度信度》=效度10/18/202331案例举例：总体情况：10/18/202332总体情况某学科试卷考试成绩总体情况表年份总分考生人数平均分整卷难度预计整卷平均分均方差及格比例(≥72)优秀比例(≥135)满分人数200512011.7万100.010.83397±224.9691.5%(*)51.8%(**)4707200615011.6万119.670.798120±231.7690.22%42.27%3569200715010.1万117.410.783119±226.3293.03%20.64%186200815010.2万124.80.832123±224.3895.57%43.03%1034注:由于2005年试卷满分为120分,(*)表示分数不低于60分的人数所占比例,(**)表示分数不低于109的人数所占比例10/18/202333难度近四年中考某学科试卷考试成绩总体情况表年份总分考生人数平均分整卷难度预计整卷平均分均方差及格比例(≥72)优秀比例(≥135)满分人数200512011.7万100.010.83397±224.9691.5%(*)51.8%(**)4707200615011.6万119.670.798120±231.7690.22%42.27%3569200715010.1万117.410.783119±226.3293.03%20.64%186200815010.2万124.80.832123±224.3895.57%43.03%1034注:由于2005年试卷满分为120分,(*)表示分数不低于60分的人数所占比例,(**)表示分数不低于109的人数所占比例10/18/202334难度分布：分类设计分值实际分值容易题121分121分中档题17分13分较难题12分16分10/18/202335客观题识别度指数10/18/202336效度（内容）年份总分数与式的运算方程与不等式函数统计初步三角形和四边形相似形和锐角三角比圆2005120122824925166200615018322910322092007150133830102819122008(二期含概率初步)30(含向量初步)31610/18/202337结构设计分布：基础知识和基本技能：1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、19、20、21（1）（2）、22（1）（2）（3）、23（1）(2)、24（1）、（2）；运算能力：8、9、10、19、20、21（2）、24（1）、25（1）（2）；逻辑思维能力：14、18、23（1）（2）、24（2）、25（3）；空间观念：6(一期教材)、15、17、18、21（2）、23（1）（2）、24（2）、25（1）（2）（3）；分析、解决问题的能力：14、21（1）（2）、22（1）（2）。10/18/20233810/18/202339量化数据为诊断提供依据量化不能为诊断提供全部的依据教师(特别学科教研组长)在学科素养(对学科、课程标准、教材使用的认识，对学生认知过程的把握程度)上的高低对判断的作用注重对群体性、典型性案例，作为量化手段的必要补充在诊