设计并进行形成性评价

设计并进行形成性评价迪克和凯里模型评价需求

确定目的进行教学分析分析学习者和环境编写绩效目标修改教学开发评价方案开发教学策略设计并实施教学的形成性评价设计并实施总结性评价开发和筛选教学材料第2页,共25页，2024年2月25日，星期天背景30年前情况：直接将最初版本转化为成品，并直接应用于目标人群。后果：由于初稿的不完善，教师教学和学生学习都出现了很多问题。当时的“评价”概念：将新设计的材料与已有成品比较其有效性。在这种比较下，研究者经常发现使用新课程材料的学生学习效果较差。CronbachandScriven提出形成性评价的概念：

在教学开发过程中从目标人群中搜集关于教学材料使用及效果的数据和信息，用以提高教学效果。第3页,共25页，2024年2月25日，星期天形成性评价的概念形成性评价：教学设计者搜集数据信息以改进教学，提高教学效率效果的的过程形成性评价的重点：搜集数据，分析数据，改进教学形成性评价的三个基本阶段：1一对一评价2小组评价3场景评价

第4页,共25页，2024年2月25日，星期天形成性评价可用专家

在这三个阶段之前，征求不直接参与教学开发过程但有兴趣的相关专家的意见：领域专家（SME）：主要评价教学内容的精确性和时新性特定类型学习方面的专家：可以就提高该类型学习效果方面对教学策略提出建议。学习者专家：可以从目标人群的视角和反应看教学，从最终的应用环境来看材料是否合适。第5页,共25页，2024年2月25日，星期天一对一评价

目的：确定并消除教学中存在的最明显的不足之处，了解学习者对学习材料的最初反应和表现特点。选择学习者：学习者是目标人群中的3个左右的典型代表。根据与学习成就高度相关的影响因素来选择。知识准备：高于平均水平；处于中等；低于平均水平学习态度：积极态度的；一般态度的；消极态度的经历：有10年以上工作经验的；有2到5年工作经验的；工作经验不到一年的第6页,共25页，2024年2月25日，星期天一对一评价过程：设计者向学习者进行必要说明，学习者使用材料，学习者和设计者交流特点：设计者要与学习者建立友好信任关系进行有效互动数据信息来源：学习者标注，测试成绩，态度问卷，评价者记录

一对一评价的标准：

1

清晰度：对于学习者个体而言，信息或者呈现给他们的教学内容是否明了、清楚？

2影响力：教学对于学习者个体的态度和达到教学目标有没有影响？

3可行性：如果得到所需的资源（如时间、教学情境），教学的可行性多大？第7页,共25页，2024年2月25日，星期天一对一评价信息搜集标准教学内容相关内容教学过程清晰度（合适）词语表达句型导入具体阐述结论过渡背景实例类比图解示范回顾总结顺序安排教学块大小教学块过渡节奏快慢变化态度成绩对学习者的影响力是否有用(relevance)难度如何(confidence）学习后满意程度学习者在各个教学目标的学习成果对学习者资源可行性成熟度独立性动机水平时间设施环境第8页,共25页，2024年2月25日，星期天一对一评价质量保证卷面测试：在每一项后都询问学习者做出特定反应的原因操作指示:要保证学习者能够明白指示内容并能根据指示操作。评价量表:要评价的要点是否可观察；对评价要点的解释是否清楚；评价要点的次序安排是否有效评价者的打分表：区分标准和所区分的等级数是否合理，为评价者所留观察，判断，记录时间是否充足评价者判断的可靠性：可以在有时间间隔下两次或多次评价同一行为或产品评价策略：看看所获数据是否符合逻辑，可解释第9页,共25页，2024年2月25日，星期天一对一评价注意事项注意：不要把特定学习者的反应过于一般化。确定学习时间是一对一评价关注的一个方面，但这个从中得到的时间只是大概的，因为包含了学习者和设计者的交流时间，可以按估计减去，但比较不准确。一对一评价后达到的效果：教学在词汇、语言复杂度、举例、解释等方面适合学习者；能够使学习者具有正确态度，基本达到学习目标；适合学习者，现有资源及环境，具有可行性。第10页,共25页，2024年2月25日，星期天小组评价目的：确定在一对一评价后所作的改动是否有效，找出学习者在学习中仍然存在的问题确定学习者在不和教师交互的情况下使用教学材料的情况选择学习者：尽量代表目标人群各种类型，大概8－20人。类型维度：学业水平（高，一般，低）；习惯的学习方式；学习者成熟度；第11页,共25页，2024年2月25日，星期天小组评价过程：评价者（或教师）首先向学习者说明教学材料处于开发的形成性评价阶段，需要获得学习者的反馈。然后按照教学材料设计的实际使用方式组织学习者使用。在整个过程中，尽可能减少教师的参与。小组评价后应达到的效果：能在最终教学环境中适合大部分目标人群第12页,共25页，2024年2月25日，星期天小组评价信息收集通常是学习者在前测和后测中的分数，前测（入门能力，教学目标能力），后测（教学最终目标和阶段目标）对教学的态度的问卷（有时还有后续的访谈）搜集的关于教学可行性信息包括：要求学习者完成学习和测试的时间；按预计形式在预计环境中实施教学的可行性和花费；实施和管理教学者的态度第13页,共25页，2024年2月25日，星期天场景评价场景评价在与最终教学环境尽可能相像的环境下进行。目的：小组评价后的修改是否有效是否可在最终教学环境下使用选择学习者：

尽量挑选一个能代表目标人群的典型单位人群（30人左右）第14页,共25页，2024年2月25日，星期天场景评价过程：类似于小组评价，不同在于：设计者角色只能是观察者，教学必须由教师组织，因此设计者要对教师进行适当指导使其了解如何组织进行。测试的减少。经过小规模评价后，前测和后测都已经得到了修正，主要集中在重要的入门能力及评价学习环境的可行性上。实地评价效果：在预期学习情况下教学能使学习者产生要求达到的学习成果和态度。要收集的信息：学习者成就，态度，教师教学过程，态度，资源，如时间，花费，空间，设备第15页,共25页，2024年2月25日，星期天应用环境下的形成性评价

必要性：教学最终关注的是学习者是否能在实际环境下应用所学技能。因此对教学材料进行形成性评价时有必要进行应用环境下的形成性评价。应用环境下的形成性评价可在形成性评价的任何一个阶段后进行。目的：1学习者是否认识到所学新技能在工作中的作用并加以应用？2如果已经使用，对所在机构有何作用？3学习者及其同事对改进教学有何建议？对象：1参加一对一评价的全部学习者（在阶段一结束后进行）2参加小组及场景评价的部分学习者3所选学习者所在机构的上级，同事或下级第16页,共25页，2024年2月25日，星期天应用环境下的形成性评价过程：在形成性评价的任一阶段结束后，告知学习者以后某个时间会再和他们联系了解这次学习及其作用。等待一段时间后再联系学习者，进行应用环境下的形成性评价。搜集信息：直接观察查看工作表现记录学习者工作机构内上级，同事或下级的观点应用环境形成性评价的效果：教学在促进技能迁移上的优缺点迁移和技能使用上可以得到更好支持的地方解决阻碍运用技能于实际场景的地方。第17页,共25页，2024年2月25日，星期天应用环境下的形成性评价问题对象方法所学技能是否得以迁移？技能的使用情况如何（频繁程度，应用场景）？在物资设施、人际和管理上都有那些因素有助于技能的应用和迁移？在物资设施，人际和管理上都有那些因素阻碍了技能的应用和迁移？应用所学技能后是否有助于解决最初问题？怎样解决的？有何说明？培训还可以怎样改善，提高？学习者同事下级管理者顾客公司记录访谈问卷观察分析公司记录评价问题，信息来源及搜集方式第18页,共25页，2024年2月25日，星期天形成性评价的设计框架组成部分学习类型内容清晰度学习动机施行学前活动动机激发教学目标入门能力内容呈现顺序安排单元大小内容实例学生参与练习反馈评测前测后测应用环境来源学习理论专家领域专家学习者#学习者学习者教师途径核查表访谈核查表访谈观察考试

材料观察访谈考试观察访谈第19页,共25页，2024年2月25日，星期天形成性评价的主要问题学习材料是否适合特定类型的学习？材料是否完整包括了所需学习的各个技能，各个技能的学习顺序安排是否合逻辑？材料表述是否清晰，易理解？材料是否能激发学习者的学习动机？材料所采用的媒体形式是否能有效施行？第20页,共25页，2024年2月25日，星期天所搜集的数据信息学习者的入门能力测试，前测，后测结果以及实际应用环境表现学习者在材料上有困难地方所做的标记，评论学习者在态度问卷，访谈中表现的对教学内容和教学过程的看法学习者完成教学各个步骤所需的时间领域专家的意见学习者所在机构管理者对技能实际运用情况的看法第21页,共25页，2024年2月25日，星期天对选定材料的形成性评价目的：

确定该材料是否适合于特定环境中的特定人群。找出该材料需要增删之处以及教学步骤中需要变动的地方，以提高材料的使用效果。评价前准备：分析材料开发过程的记录；特定人群使用材料的效果；特别是要研究一下材料在场景评价中的使用过程；研究对材料使用程序的描述；对材料附带的测试要分析其与行为目标的关系，分析是否需要增加其它测试或态度问卷。评价过程类似于场景评价第22页,共25页，2024年2月25日，星期天对教师引导型教学的形成性评价对教师引导型的教学进行形成性评价的目的和自学材料的基本相同，即确定教学是否有效以及如何改进。当然，也基本没有时间进行一对一甚至是小规模评价。评价过程和场景评价阶段最为接近。对选定材料和教师引导型教学的场景评价经常是交织在一起的。选定材料的使用经常需要教师的交互作用，同样，教师指导也与一些准备好的教学材料离不开。在这两种情况下，会进行大致相同的场景评价程序并进行类似的修订。第23页,共25页，2024年2月25日，星期天影响形成性评价的一些因素关于环境：1所有技术设备都要有效运行。2在形成性评价早期阶段，尤其是一对一评价中环境比较安静有助于学习者集中注意力。关于学习者：1在形成性评价的任何阶段选择学习者时，都要避免完全依赖教师确定学习者的入门知识。进行入门知识测试以确定被试是否为该教学材料的目标人群十分必要。2关于怎样对待那些已经掌握部分教学内容或不具备入门技能的学习者？是否要将其从形成性评价的学习者中去除？第24页,共25页，2024年2月25日，星期天影响形成性评价的一些因素关于评价结果