开放远程学习质量评价指标

开放远程学习质量评价指标

G728：A1009-5195(2011)03-0060-07“指标”是用来表明某种水平状态的术语。(Oxford，2005)绩效指标仅用来测量一项活动的进展情况，不应被视作质量保证的目的。为了能有效地服务于这一目的，理论上的指标应是定量的。然而，定性指标仍然是可以接受的，特别是在定量评价无法实施而定性判断又非常必要的情况。在使用定性指标来衡量某项活动时，定性判断应转化为定量等级。既然开放远程学习是面向大众传播课程的新兴模式，那么人人都可以质询其质量。质量指标主要包括开放远程学习的办学机构、学习项目、资源和学生(接受者)4个方面。一、开放远程学习的办学机构1.办学使命评价指标：开放远程学习项目与办学机构使命的切适性。办学机构的使命是确保开放远程学习项目质量的关键问题。开放远程学习项目的法律框架在东南亚国家区别很大。考虑到开放远程学习使命和目的的多样性，应认真制定评价指标。一个显而易见的例子是，对于一些宏大的开放远程学习项目(如促进民族的融合)，可能会很少考虑经济的问题，而在其他的开放远程学习项目中，经济则可能是重点考虑的问题。在部分国家，人们认为开放远程学习与传统学习项目具有相同的质量，而在另外一些国家开放远程学习项目甚至不被视为正规教育。尽管如此，开放远程学习项目与正规教育具有某些共性的特点，如目标达成性和关注学习结果等。以这些共同点作为参考，可以制定出一套《开放远程学习项目的通用评价指标》。开放远程学习项目与机构使命的切适性就是要求在评价过程中使用定性判断。美国教育部提议，下列论点可作为判断开放远程学习项目与办学机构使命是否相符的指标。(USDE，2006)(1)对于拥有众多学习者的开放远程学习机构而言，应当明确其办学使命，如增加入学机会、为非正规服务群体(Underserved)或特殊人群提供接受教育的机会等。在满足学生的弹性学习需求(时间和地点的灵活)方面，开放远程学习项目通常被视为一项对策。(2)对于提供课程的机构而言，需要制定明确的实施原则。这些原则可以在机构的规划文件或者教务主任、系主任的讨论中找到答案。实施原则应阐述清楚开放远程学习是如何支持机构达成其使命的。(3)服务对象是重中之重的问题。显然，开放远程学习最适合在职成人学生、经常出差的人员和居住在相对边远区域的人，比如山区小学教师。一所传统大学的办学使命是为传统的适龄大学生提供服务，且社会化是大学的一项重要任务，但是如果完全通过远程教育的方式来为学生推送学习课程，而又没有任何履行社会职责的规定，那就会引发问题。(4)如果办学机构的高级管理者不能够准确表述开放远程学习的战略重要性以及远程教育办学机构更为深远的意义，则会出现预料中的问题。面授教育和远程教育服务于完全不同的学生群体，对两种模式下所提供的课程和项目的审视可能会发现两者平衡的转变。除非在办学机构的战略规划里有明确的规定，否则这可能说明机构偏离了其办学使命，或者暗示了原来的办学使命已不能适应机构发展的要求，需要对其使命进行修订。2.机构承诺评价指标：开放远程学习机构的承诺标准。提供开放远程学习的机构被界定为法人实体，如大学或其他高等院校。机构中其他单位，如系或学院，则不能被界定为这样的法人实体。机构承诺是重中之重的问题，确保为开放远程学习项目提供支持，合理分配学习资源。因此，将开放远程学习项目与办学机构的使命与发展策略紧密联系在一起是非常重要的。作为评价指标，机构承诺与办学使命密不可分。事实上，可以通过其他评价指标来考察机构的承诺标准。下面案例表明，提供开放远程学习机构的承诺标准不到位。(1)其主要“业务”不是开放远程学习项目的机构(如传统大学)，可能会考虑把开放远程学习项目作为第二优先发展计划。当机构资源丰富时，很少出现问题；但当资源匮乏时，资源支持首先会提供给主要的“业务”，开放远程学习项目将面临资源支持不足的困境。(2)在某些情况下，迫于外部压力以及期望扩大可利用机会的资本等原因，传统大学中的某些单位(系、学院或其他部门等)会提供开放远程学习项目。既然这样的开放远程学习项目并非与机构使命和发展战略保持一致，那么其可持续性就值得怀疑了。(3)许多由系或学院提供的开放远程学习项目并没有经过合理设计和认真准备，由此在实施过程中可能会陷入困境。既然提供者并不能充分意识到所需的资源和专业技术，它们就应该要求开放远程学习总部给予支持。开放远程学习活动需要获得学科专家、信息通信技术专家和教学设计者等交叉学科团队的实质性支持。如果开放远程学习项目与办学机构的使命和发展战略不一致，这样的需求就很难得以满足。二、学习项目1.项目规划评估指标：项目规划的质量、教育主管、外聘专家和国际合作。项目规划得好就会形成严谨连贯的课程体系和设计精良的课程，而适当的教学监督是非常重要的。此评价指标再次强调在评价过程中需要定性判断。(1)需要评审项目规划与评价过程的文件，也可通过访谈学院领导对于评价过程的看法。为了确保评价过程能够贯彻实施，我们需要寻找其他支撑材料，如院校会议记录、与规划和政策决策相关的学院访谈以及课程材料的书面评价等。(2)需要鉴定教育主管(特别是具有远程教育的实践经验)签发的资格证书以及经主管核查的学生课程学习成绩记录。(3)当外聘专家参与开发课程时，范围和目标应该明确界定、并严格审查。对外聘专家制作的资源、完成指定任务的资格等进行全面评估。(4)开放远程学习的提供者应研究企业，审查主要院校开设的项目课程和采用的主流教材。这将有助于在课程目标、教学目的和教学资源等方面制定更加明智的决策，这些课程资源能为学生提供市场上所要的知识和技能。连贯性课程(CoherentCurriculum)的开发(而非课程的集合)需要系统、协调的规划方法。(5)与海外机构进行国际合作在一定程度上反映出我们能够跟进开放远程学习领域的最新发展。尤其在跨国传输课程的情况下，这种合作就变得更加重要了。在评价规划过程时，建议关注以下内容：◆制定符合逻辑的、连续的课程开发日程表，确保学生能够获得所需要的课程；◆院校培训会议与课程开发日程表相一致；◆提供在线课程的通用平台的使用方法；◆课程版式的一致性；◆帮助学生规划随后几年的课程安排表；◆国际合作。2.课程与教学从历史角度来看，远程教育并不是主流高等教育的一部分，教师以课程专家的形式服务于团队之中。这些专家可能是来自传统高校附属学院的教师，他们被指定使用中心开发的教材并讲授该课程。由于申请课程的程序与传统授课的方式有很大不同，因此可能会产生一些问题，例如，传统高校的课程不需要通过学院课程委员会的评审。其他院校，特别是开始引入在线教育的传统院校，在远程教育课程开发的过程中仍然采用现有的学科结构。在此情况下，教师主要负责开发和讲授他们自己的课程。然而，随着开放远程学习项目的增多，院校很可能会雇佣越来越多的有远程教学经验的助教，否则，这就可能降低教学与学习的质量。(1)课程内容评估指标：课程质量包括实验室工作、实验室管理人员的素质、外方协议的项目条款。远程教育的课程中包括实验、动手学习组件(Hands-onComponents)和社会实践活动等，当这种课程采用远程方式进行传输的时候会面临挑战。以下几点是所遇到的状况：◆课程建设应特别强调如何提供学习组件、需要什么样的工艺流程，以确保具有合格资历的人员进行监管。◆在向其他教育机构、诊所或私立技术培训公司等机构寻求外部资源时，需要在协议上写明关键的条款事项，以确保学生的实习体验能够提高学习成绩。远程教育课程评审也包括对实际课程的评价。◆需要制定评审提纲，以便判断课程描述和学习目标是否阐述清楚，作业和其他评价策略是否精心规划、是否与学习目标相关。◆如果同时用面授方式和远程方式提供课程，应对等同的学习目标进行评价。(2)课程结构评估指标：课程提纲、进度表、作业、教学策略和课程材料的更新。课程大纲中应清楚描述课程目标。课程大纲也应包括每一学期涉及的详细的研究主题。阅读任务、参考资料和其他类型的作业也应在计划表中清楚标明。需给予关注的其他方面罗列如下：◆对目标人群定位不清可能是致命的错误。课程中单一的评价方法并非能全面地反映评估结果，因此，目标群体和课程目标应同时描述清楚。◆课程设计要求有明确标准、截止日期或推荐的学习日程表。非全日制学生必须面对工作、家庭和学习等许多职责，因此，提供者要意识到学生可能面临时间管理的挑战和裁员的风险。◆除院校最初为学生提供的示范课程外，建议为学生提供更多选修课程的机会。对多种课程的设计方案、基本教学方法、工具运用、学生之间及师生之间的交互类型和程度等进行评价，确保课程质量的连贯性。◆此外，评价教师提供的补充材料。例如，教师可能提供额外的信息或资源帮助学生理解复杂的概念，提出问题开展小组讨论，解答教材和作业中的个别问题，给予详细的作业反馈。某些情况下，小组讨论要求教师最先提出问题，引发学生的后续讨论。◆当大部分课程都相似时，开发课程只需相同的模式即可。既然同一平台可以提供连贯性的课程，那么就应提供不同的教学策略和工具以满足学生个性化学习的需要。◆仔细检查课程大纲是评估师生之间和学生之间交互性重要程度的一项策略。一些支撑材料包括对学生的要求，如参与讨论、评价其他学生的工作设计、项目小组的工作以及讨论活动的质量等级和团队作业等。◆评价的另外一个重要方面是课程材料的更新程度。过去5年间没有更新的课程材料不能通过评估。对于某些课程而言，需要更新的次数更多。3.课程传输评估指标：学习管理系统、课程界面、学生满意度、助教和交互作用。对在线课程传输过程的评价可以通过获取正在开展的课程或者通过回顾以前提供的课程内容两种方式进行。(1)学习管理系统是一个软件包，其功能旨在管理，以及向学习者(学生和指导教师)传输在线内容。学习管理系统在开放远程学习课程传输过程中起着很重要的作用，建议认真研读，严格检查。它能为进一步分析传输系统提供必要的统计数据。(2)同样的课程界面(在线课程)和版面设计(印刷课程)能减少学生的操作困惑，也是优秀课程设计和机构监督的一个评价指标。在印刷教材中，版面设计包括课程简介、课程目标、单元目标、叙事讨论(NarrativeDiscussion)、学习活动和复习问题。在线课程中，使用同样的课程管理系统将有助于建立通用的课程界面和基本的课程结构。(3)学生评价是评价学生满意度的最好工具。特别是当学生对课程质量表现不满时，就需要重新审视课程传输的标准程序。(4)开放远程教育提供者雇用非全日制助教讲授课程，或委派附属学院负责课程教学是非常普遍的。由于非全日制的工作特性，必须考虑到助教更替频繁的问题。而多数情况下，频繁更替助教将会明显地影响课程传输的质量。(5)当课程论坛上很少或几乎没有学生的活动时，应特别引起开放远程教育提供者的注意。问题可能起因于通讯网络的技术缺陷，技术问题也可能是由于大量学生入学而使得交互有效性减弱，在这种情况下应该提供额外的预备方案。4.评价评估指标：学习评价的测量程序和工具、学生评价以及其他利益相关者的评价。学习评价旨在评价学生的预期能力是否达到。在进行学习评价时，需要考虑特点：(1)一般情况下，通过测验、考试或其他类型的笔试来评价学生的能力。这些手段可以在开放远程学习环境中开展。然而，这些手段仅局限于评价学生在认知方面的表现，而无法评价学生在其他方面的表现。(2)开放远程学习环境中通常不可能开展与身体技能相关的能力培训。虽然当前一些机构准备使用市场上销售的模拟软件对学生的身体技能进行测试，然而面授考试仍然是必需的。开放远程学习项目评价旨在为课程内容、课程结构和课程传输提供反馈。项目评价过程中需要考虑以下方面：(1)每个学期末学生对每一门课程进行评价。为了获得来自学生的公正的看法，可在期末考试前把问卷发给学生。某些情况下，特别是当助教和兼职教师授课时，评价也可在课程讲授的过程中开展。在两次评价间隔中应提供指导和说明。(2)其他利益相关者的评价也是一项很好的措施。如通过对用人单位的调查等。最常用的利益相关者评价是由大学委员会定期开展的评价活动(每年开展一次或两次)。促进质量提高的其他利益相关者包括助教、导师、信息通信技术人员和其他教辅人员。信息通信技术基础设施使用过程中出现的问题可由信息通信技术专家解决，助教和导师在教学中遇到的问题对改进教学质量的贡献可能会更大。三、资源1.人力资源评估指标：教学设计者、教师、教职员工培训、助教、导师、信息通信技术专家。开放远程学习环境不同于传统大学的学习环境。开放远程学习需要一个确保质量实施的支持系统。提供机构需要以系统的方法举办开放远程学习，包括提供一系列的教师支持服务。为了评价人力资源的质量，需要考虑下列几点：(1)教学设计者。教学设计者在开放远程学习过程中的作用极为重要。在课程开发中，教学设计者处于核心地位，他们与信息通信技术专家一起为课程开发程序提供必要的支持。在为教师或学科专家提供定期培训时，教学设计者仍发挥核心作用。(2)教师。教师素质是核心问题，应通过其讲授同一门课程或相似课程的教学经验来展示。但是，大多数具有课堂教学经历的学科专家中，无论是教师还是学生，只有少数具有开放远程学习的经验。他们习惯于独立工作，开发课程和管理课堂并不需要其他人的帮助。因此，与教学设计者和信息通信技术专家的团队工作能力成为一项关键要求。(3)教职员工培训。教师发展是确保开放远程学习项目质量的关键要素。教职员工培训比软件培训的范围更宽，间隔期更短，这一点说明机构对质量保障的意识较强。培训项目应包括远程教育教学法，应特别强调促进教学交互、概念表达和学习评价的策略。同时为了达成某些具体的学习目标/结果，对如何把现场课程(OnsiteCourse)转换为可以远程传输的课程，应为教师提供必要的指导。另外，也应清楚了解哪些组织机构负责为教师提供培训和支持。(4)助教。为了保证教学质量的连续性，助理讲师/教师或助教也应同正式讲师/教师一样接受培训，并得到支持。此外，他们需要与远程教育机构的组织文化融为一体。助教获得的各种培训和支持，能激发他们的参与热情。评价助教的范围还包括参加讲师/教师会议、服务于教师委员会、参与论坛讨论、提任新入职讲师/助理教师的指导者等。(5)导师。本地教师(导师)与助理讲师/助教的身份不同，因为导师服务于本地大学，并为就读于本地大学的学生提供辅导。为了避免混淆，他们的具体作用和能力发展应阐明清楚。(6)信息通信技术专家。多数情况下，开放远程教育机构有专职的信息通信技术专家。当信息通信技术专家不能为开放远程学习项目提供所需要的服务时，就会出现严重的问题。实际上，开放远程学习项目中的所有参与者都要求信息通信技术专家提供实质性的服务。如果机构提供的主要“业务”不是开放远程学习，那么，技术专家为开放远程学习提供的各项服务就可能会排在次要的位置。因此，最好配备一支专业的信息通信技术团队专门服务于开放远程学习项目。另一种方法是通过正规协议清楚地阐明任务和责任，从主校区获得外部支持。如果对远程教育教学法考虑不周的话，则可能会产生诸多问题。当教师肩负为学生解决技术问题，或要求教师编制课程(上传材料、搜寻图片、或设计图案等)时，就会显现出支持机构的缺陷和不足。体现机构职责混乱的另一表现是教师除完成全日制的教学工作量外，还需担负过重的教学任务，同时负责课程的开发与发送。2.信息通信技术基础设施评估指标：可获取性，包括国家网络基础设施、广播媒体、校园网络、计算机、外围设备、多媒体、网络访问、学习管理系统和数字图书馆系统。国家层面应建立用于传输和分享学习资源的广域网。对于一些难以配备先进基础设施的偏远地区，应建立广播网络(BroadcastingNetwork)促进开放远程学习项目最新技术与传统技术的混合使用。开放远程学习的提供者还应提供校园网络支持。基础设施应提供以下服务：(1)基础设施：当使用信息通信技术基础设施时，教师、导师、学生和管理人员可自由进入计算机和远程通讯系统(电话网络或移动电话)；(2)广播媒体：特别是对于远程通讯基础设施配置不足的地区，可利用广播媒体(电视、商业广播和公众广播)传输课程；(3)网络访问：学生、教师、讲师和导师应能够访问网络；(4)网络能力：计算机网络及其外围设备；(5)计算机基础设施：在开放远程学习系统中起关键作用，由计算机硬件和软件系统组成；(6)外围设备：如打印机、光盘驱动器、数字化视频光盘驱动器等；(7)多媒体基础设施：至少应由学生、教师/讲师/助教/导师都能够访问的多媒体计算机设备和制作数字内容的工作室组成；(8)网络基础设施：由服务器和网络计算机组成，能连接到局域网、区域网和广域网。通用标准是IP协议，至少由计算机、集线器和服务器组成；(9)网络访问：理想的状况是，每个学生、教师/讲师和导师一天24小时都可以高速访问因特网和国家基础设施网络，为确保网络访问的有效性可用带宽应至少在0.5kbps-5kbps；(10)学习管理系统：这是在线开放远程学习项目的核心，应可靠性高、功能齐全。学习管理系统应配置学生、教师和导师都可利用的设备，包括学生录取、作业布置、作业收交、考试等功能。学习管理系统应服务于以下主要的支持系统：◆规划，包括评价规划和总结规划；◆评价课程，包括课程大纲；◆传输课程材料；◆管理学生评价、教师评价和导师评价；◆管理实验室准备工作；◆记录所有学生、教师和导师之间的交互活动；◆开展学生跟踪研究。(11)数字图书馆系统：数字图书馆系统是一个图书馆储藏系统，拥有大量机读格式的资源(与印刷或缩微材料不同)，可通过计算机获取。通过计算机网络，可在本地局域网或远程局域网上获取数据内容。虽然数字图书馆无须为员工、书籍维护、书籍的借还和增订划拨经费，但是实践证明，数字图书馆的运作并不便宜。数字图书馆需要将印刷材料转换为数字格式，需要技术人员保修计算机，需要维持在线访问(如服务器、带宽等)，因此，数字图书馆需要高额的费用。此外，数字图书馆的信息必须经常定期“迁徙”到最新的数字化视频光盘或其他数字媒体上。3.学习支持评估指标：录取、注册、咨询服务、经费资助、图书馆、学习材料订购、技术支持、课程学习指南。开放远程教育机构需要以便捷的方式为学生提供学习过程中所需要的全套支持。这些服务包括录取与注册、入学建议、学习咨询、经费资助、生涯咨询、图书馆资源、课本订购、技术支持、退伍军人和残疾人帮助等。(1)一本《远程教育入学指南》旨在告诉学生如何学习一门远程教育课程。(2)为入学新生提供服务的网站应详细描述课程如何提供、学生如何获取教材和其他学习资料、所需设备的种类(包括在线设备清单)、校内工作的要求以及与指导老师联系的方式等。一套完整的政策与实施细则表明开放远程学习机构能够为远程学生提供及时的和可获得的服务和信息。(3)全面的技术支持服务包括回答问题的具体时间要求、实际回答问题的次数和问题解决的方案、以及学生满意度的调查和访谈数据等。理想的情况是学生在任何时候(每周7天、每天24小时)都能够获得技术支持。如果不能达到此要求，技术支持应保证在某几天晚上和周末可以获得，以便为处理紧急事件提供技术支持。此外，如果因网络中断等技术问题影响学生的学习时，应建立与学生畅通交流的渠道。(4)教师应在课程大纲中为学生提供回答问题和提交作业的时间日程表，这些内容可以划归到机构或项目组制定的评价指标中。(5)为学生提供如何与学科教师联系的信息，确保学生能够通过电话、传真、电子邮件或在线聊天室向远程指导教师咨询问题。(6)在线学生和校外学生可以逐渐获得电子格式的图书馆资源(如电子数据库)，但是仍需要配套的措施以确保学生能够获得优质的服务。(7)在线图书馆网站应确保为学生提供如何使用图书馆资源的信息和培训计划，以及通过电话、传真、电子邮件或在线聊天室与图书馆管理员取得联系，并获得所需的帮助和服务，比如馆际互借等。(8)此外，学生可能用到的其他服务有统计网页点击率、统计数据库的搜索次数，以及对需要查询图书馆才能完成的课程作业的统计等。(9)学习支助最核心的要求是学习管理系统，该软件包旨在向学习者(学生和导师)发送并管理在线课程内容。大多数学习管理系统都是基于网络的，以确保学生在“任何时间、任何地点、以任何步骤”获取所需的学习内容和管理服务。当整个开放远程学习项目无法通过网络访问而必须到校园才获得学生服务时，则可能会出现问题。通过教职员工而不是机构办公室职员向学生提供服务，可反映出机构职能的欠缺。当学生遇到困难，甚至不知道找谁联系时，问题会变得更加严重。当观察到学生的不满时，需要召开面对面的会议进行沟通。4.其他资源评估指标：技术支持、法律支持。为教师提供获取课程开发与传输的专业资源和技术支持是优质远程教育机构的标志。(1)教师获取的专业资源和他们对提供支持的满意度是判断开放远程学习质量的基本信息。这些资源包括信息通信技术基础设施、图书馆藏书以及其他设计与开发开放远程学习课程的必要资源。(2)为教师提供的技术支持，特别是在教学设计和信息通讯技术方面，是设计开放远程学习课程必不可少的部分。(3)