教育测验编制与数据处理初步

教育测验编制与数据处理初步第1页，课件共77页，创作于2023年2月教育测验编制的基本步骤第2页，课件共77页，创作于2023年2月测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量使用阶段1阶段2阶段3阶段4题目分析测验分析第3页，课件共77页，创作于2023年2月1、赵裕彤的学习水平可以考入大学2、李燕存在几个四则混合运算的概念问题3、张天的反应速度比较慢，记忆力不是很好4、李老师的班比我班的数学好5、我最近的教学效果提高了评价目的的制定第4页，课件共77页，创作于2023年2月1、了解和确定学生学业水平的一般情况

－学业水平测验、选拔性测验

－升学、分班、排名、学校评估2、鉴定和诊断学生学习中的问题

－（认知）诊断测验

－提高学习和教学针对性评价目的的制定第5页，课件共77页，创作于2023年2月了解学业水平一般情况题号学习内容8（三）（2）9（七）（1）10（八）（2）11（九）（2）12（十三）（3）13（十三）（5）14（十六）（2）15（十九）（1）16（二十二）17（二十三）（3）18（二十三）（1）19（二十三）（6）20（二十三）（8）21（二十三）（9）题号学习内容23（三）（1）24（五）（3）25（十）（1）26（十七）（1）27（二十三）（8）30（五）（1）、（十三）（8）31（十二）（2）32（九）（5）（6）、（二十三）（3）（9）33（二十三）（8）34（一）（3）、（七）（1）、（2）35（六）（1）（2）、（八）（2）、（九）（3）（4）36二十二第6页，课件共77页，创作于2023年2月了解学业水平一般情况算术几何代数测量统计Σ选择307129260简释101860034问答131300026论文00300030Σ53384892150%35.325.33261.3100第7页，课件共77页，创作于2023年2月请看以下学生对评价任务的回答：

307-

182————

285

856-

699————

157

835-

217————

618

606-

568————

168

308-

287————

181×√××√诊断性测验第8页，课件共77页，创作于2023年2月诊断性测验的设计基础两分数相加将复合分数置换为假分数最小共分母分子相加最小共倍数寻找等分数答案=分子总合最小共分母答案将假分数置换为复合分数分数简化cf.Marshall,1980第9页，课件共77页，创作于2023年2月题目分析测验分析测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量使用阶段1阶段2阶段3阶段4第10页，课件共77页，创作于2023年2月测量的变量与属性主要回答测验考察什么的问题？主要依据： 1、相关的课程标准 2、当前的学习内容 3、学生的学习情况

第11页，课件共77页，创作于2023年2月课程标准案例数学课程标准1：数学作为一种问题解决

四年级数学学习应该强调问题解决，学生能够

用问题解决的方式研究和理解数学内容从日常数学情景中形成数学问题形成并运用各种策略解决各种数学问题能验证和解释问题答案或结论在运用数学解决有意义的问题过程中获得信心

NCTM：美国国家数学教师委员会第12页，课件共77页，创作于2023年2月课程标准作为学习和考试目标概括化的学习目标较为具体的学习目标更为为具体的学习目标知识理解知道概念的含义理解科学原理能找出概念的定义能找出给定描述所对应的概念能匹配概念与相应的图能区分该概念与其他概念的区别能用自己的话陈述该原理能找出符合该原理的例子能解释两个原理间的关系能基于原理提出合理假设第13页，课件共77页，创作于2023年2月学习和考试的学科内容电子控制技术（通用技术选修模块1）一、传感器 1、常见传感器的认识 2、传感器的作用与应用二、数字电路 1、数字信号特性、电路符号、波形图 2、常见数字集成电路类型、安装与设计三、电磁继电器 1、常见电磁继电器的类型、构造和工作原理 2、常见电磁继电器的使用第14页，课件共77页，创作于2023年2月测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量使用阶段1阶段2阶段3阶段4题目分析测验分析第15页，课件共77页，创作于2023年2月测验蓝本的制定确定期望学生达到的学习目标确定相应学习内容的范围确定学习内容与目标的比重确定题目类型和难度的分布第16页，课件共77页，创作于2023年2月测验蓝本的制定识记理解应用Σ%传感器515183833数字电路822104034电磁继电器916133833Σ225341116100%194635第17页，课件共77页，创作于2023年2月测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量题目分析测验分析使用阶段1阶段2阶段3阶段4第18页，课件共77页，创作于2023年2月开发选择测验任务核心问题：任务与目标一致性

－学生在完成测验任务中所表现出来的认知活动

和水平与预期的考试目标所要求的相一致其他考虑： 1、题目类型是否适合测量相关的认知活动 2、题目类型的设计的难易度 3、评分的难易度 4、对内容和认知覆盖程度 5、信度第19页，课件共77页，创作于2023年2月开发测验任务：简答题1、术语、事实、原理或方法的知识2、对数据或现象的简单解释3、问题解决能力比较适合考察优点与不足不足：

不适合考察复杂的学习结果优点： 1、容易命题 2、减少猜测第20页，课件共77页，创作于2023年2月开发测验任务：简答题术语、事实、原理或方法的知识考察目标案例在气体温度恒定的条件下，如果气压增加，气体的体积会怎样？（变小）在气体温度恒定的条件下，如果气压增加，气体的体积会————（变小）第21页，课件共77页，创作于2023年2月开发测验任务：简答题对数据或现象的简单解释考察目标案例在数字612中，数字6代表的数值是多少？答：600第22页，课件共77页，创作于2023年2月开发测验任务：简答题问题解决能力考察目标案例超市中200毫升装的牛奶卖10元钱，600毫升装的牛奶卖25元，请问买大包装的牛奶可以省多少钱？第23页，课件共77页，创作于2023年2月开发测验任务：多选题1、术语、事实、原理或方法的知识2、原理或概念的应用3、因果关系的解释4、对方法或程序的论证比较适合考察第24页，课件共77页，创作于2023年2月开发测验任务：多选题术语、事实、原理或方法的知识考察目标案例如果你进行对某个问题的科学研究，第一步应该：A收集相关信息B形成检验假设C设计实验方案 D选择实验仪器第25页，课件共77页，创作于2023年2月开发测验任务：多选题因果关系的解释考察目标案例面包放在冰箱中不会很快发霉的原因是：A低温会减缓真菌的生长B黑暗会减缓霉的生长C低温防止面包水分丧失D霉的生长同时需要光和热第26页，课件共77页，创作于2023年2月开发测验任务：多选题原理或概念的应用考察目标案例下面属于一个化学元素的例子的是：A酸B食盐C氧气 D水第27页，课件共77页，创作于2023年2月开发测验任务：多选题对方法或程序的论证考察目标案例为什么一个平衡的养鱼缸需要充足的光照？A鱼需要光照看到食物B鱼在黑暗中需要氧气C植物在黑暗中释放二氧化碳D植物在黑暗中生长过快第28页，课件共77页，创作于2023年2月开发测验任务：解释性任务考察目标：

推断能力材料：

到13世纪末，欧洲已经建立了几个有名的大学。当然，它们与今天的大学区别很大。波西尼亚大学是其中最早建立的大学之一，也是最广为人知的大学之一。学生从全国各地而来，希望得到罗马法律的最好的教育。特别喜欢哲学和神学的学生去了巴黎大学。想学医学的人去了蒙特培勒大学和萨勒努大学。题目：

TFN那时候人们之间偶尔会有法律纠纷

TFN教授们薪水很低

TFN中世纪的人对高等教育不感兴趣第29页，课件共77页，创作于2023年2月开发测验任务：解释性任务考察目标：合理推广的能力

题目：

SRN美国25－34岁的男女性完成高等教育的比例差距最小

SRN大学入学政策对男女申请人的对待不公平

SRN不分男女，美国25－34岁的人完成基础教育的比例最高国家基础教育(男）高等教育(男）基础教育（女）高等教育(女）德国9113.786.711.3日本89.334.291.811.5美国86.125.188.224.9第30页，课件共77页，创作于2023年2月开发测验任务：论述题材料：

目前公众普遍认为，吸烟对吸烟者本人以及吸二手烟的人的健康是有害的。许多城市已经颁布了法律禁止在公众场合吸烟。有人认为，这样的规定违反了吸烟者本人的选择自由。（A）你是否同反对禁烟的人的观点（B）论证你的立场第31页，课件共77页，创作于2023年2月开发测验任务：论述题理解水平详细描述扩展性抽象水平(ExtendedAbstract)该水平上的反应不仅包括所有相关的信息，而且整合了问题中所没有提及，然而与问题解答相关的信息。联系水平(Relational)该水平反应整合了问题所提及的所有相关信息。准联系水平(Semi-Relational)该水平反应将问题中提及的部分,但不是全部相关信息综合成一个自圆其说的解答前联系水平(Plural)该水平上的反应运用了问题提及的多种相关信息(不是全部),但没有将其加以综合单一水平(Unitary)该水平上的反应只运用了问题提及的一种相关信息前结构化水平(Pre-Structural)该水平上的反应只包括无关信息第32页，课件共77页，创作于2023年2月开发测验任务：表现性题目利用提供的工具：灯泡、电池和电线，找出左边6个不可视箱子中是右边五种不同组合的哪一种？注意：有两只箱子中的东西是一样的。

ABCDEF提示：你可以将箱子连到某个电路中两节电池电线灯泡电池和灯泡空箱第33页，课件共77页，创作于2023年2月测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量题目分析测验分析使用阶段1阶段2阶段3阶段4第34页，课件共77页，创作于2023年2月测验质量分析：题目分析1、题目效度2、题目难度3、题目区分度4、题目公平性（题目偏差分析）第35页，课件共77页，创作于2023年2月测验质量分析：题目效度某个题目是否考察了我们想要考察的东西？第36页，课件共77页，创作于2023年2月测验质量分析：题目效度如果X2+X-3=3,那么X=?如果X2+X-3=3,那么X=?-2 B.1 C.2 D.3第37页，课件共77页，创作于2023年2月测验质量分析：题目效度项目解决的认知访谈通过言语报告了解：学生对题目表述的理解是否与预期一致学生解答题目的过程是否与预期一致限制或促进学生解答的因素（题型、关键词、选项）其他可能因素第38页，课件共77页，创作于2023年2月六、Choosethewordorexpressionwhichisclosestinmeaningtotheunderlinedpartineachsentence.A.wanttoB.isashopassistantC.stoppedD.peoplewhoareillEcomeshomefromwork()1.Lucyusuallysellsthingstopeople.

()2.Nurseshelpdoctorstolookaftersickpeople.()3.Theywouldliketobepolicemeninthefuture.()4.Heusuallyfinishesworkat9p.m.()5.Mygrandfathergaveupsmokingmanyyearsago.ellsthingstopeople.

测验质量分析：题目效度第39页，课件共77页，创作于2023年2月A你能给我说说这道题的答题要求是什么吗？S他的要求就是选择和划线部分意思相近的单词。A这个大体过程中你觉得哪些答案不确定？S第5题跟第2小题。A好吧，你为什么感觉第2小题不确定呢？sickpeople你理解的是什么意思？Ssickpeople就是生病的人，D的意思我没有理解，就是D的选项。Apeoplewhoareill不太明白是什么意思对吗？S是的A第五题你现在选的答案是什么？SCA那你为什么选C呢？S因为选好之后就剩最后一个了，就填上了。测验质量分析：题目效度第40页，课件共77页，创作于2023年2月测验质量分析：题目难度学生题目1题目2题目3题目4题目5总分111110112101101431011015401111145110111360010097110009810111149100118101001011题目难度0.80.40.60.80.411.8第41页，课件共77页，创作于2023年2月测验质量分析：题目难度学生题目1题目2题目3题目4题目5总分155432192223121034433216422212955535422611223971231188413451795344319102233414题目难度3.12.73.02.72.8第42页，课件共77页，创作于2023年2月测验质量分析：题目难度得分人数百分比031.5194.523919.534522.54703553417总数200100第43页，课件共77页，创作于2023年2月测验质量分析：题目区分度题目能否将不同水平的学生区分开来？具有区分度的题目的特征：

1、测验总分高的学生答对该题目的概率应该高于得分低的学生（该题目与总分有高相关） 2、如果把学生按照总分分成高分组、低分组和中间组，高分组答对该题的比例应该比低分组高第44页，课件共77页，创作于2023年2月测验质量分析：题目区分度第45页，课件共77页，创作于2023年2月测验质量分析：题目区分度第46页，课件共77页，创作于2023年2月测验质量分析：题目选项分析第47页，课件共77页，创作于2023年2月测验质量分析：题目公平性能力对照组关注组第48页，课件共77页，创作于2023年2月测验质量分析：题目公平性第49页，课件共77页，创作于2023年2月测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量题目分析测验分析使用阶段1阶段2阶段3阶段4第50页，课件共77页，创作于2023年2月

测验质量分析：测验分析信度分析 1、复本信度 2、再测信度 3、内在一致性信度 4、决策一致性信度效度分析 1、内容方面的证据 2、结构方面的证据 3、参照标准方面的证据

第51页，课件共77页，创作于2023年2月测验分析：测验分数某个测验30个题目，20个选择题（每个2分），8个简答题（每个5分），2个论述题（每个10分）第52页，课件共77页，创作于2023年2月测验分析：经典测量理论观测分数真分数测量误差第53页，课件共77页，创作于2023年2月测验分析：测量误差T=403436414445X第54页，课件共77页，创作于2023年2月测验分析：误差方差与标准差第55页，课件共77页，创作于2023年2月经典测量理论：测量误差XT第56页，课件共77页，创作于2023年2月经典测量理论：（理论）信度第57页，课件共77页，创作于2023年2月经典测量理论：平行复本的概念1、同一测验的两个版本2、符合相同的测验蓝本（双向细目表）3、相同题目难度分布和区分度分布4、每个学生在两个版本上的真分数相同5、两个版本的测量误差的方差相同6、两个版本的总分分布相同第58页，课件共77页，创作于2023年2月复本一复本二84905031978858318077817661518172626939337769767462423051695621368792656073815360复本信度第59页，课件共77页，创作于2023年2月时间一时间二84905031978858318077817661518172626939337769767462423051695621368792656073815360再测信度第60页，课件共77页，创作于2023年2月内在一致性信度克朗巴赫系数测验中的题目之间的相关越高，内在一致性信度越高第61页，课件共77页，创作于2023年2月内在一致性信度系数第62页，课件共77页，创作于2023年2月决策一致性信度适用于标准参照测验在标准参照测验中，我们更关心学生是否达到预先规定的标准（达标）在常模参照测验中，我们更关心学生与其他人相比考试成绩的相对位置如何第63页，课件共77页，创作于2023年2月决策一致性0.40.10.30.2未达标达标未达标达标基于测验版本一的结果基于测验版本二的结果0.70.30.50.5P=0.4+0.2=0.6第64页，课件共77页，创作于2023年2月决策准确性0.40.20.10.3未达标达标未达标达标学生实际达标情况基于测验分数决策结果0.50.50.60.4P=0.4+0.3=0.7第65页，课件共77页，创作于2023年2月影响