PDPP网络课程评价模式的建构

PDPP网络课程评价模式的建构及其应用案例摘要网上教学在教育和培训领域中日益成为一种重要的教学模式，然而，要保证网上课程的质量，网上教学的评价尤为重要。本研究提出了网上课程的四阶段评价模式：计划评价(Planning)、开发评价(Development)、过程评价(Process)以及成效评价(Product)，简称PDPP模式。在计划评价中，包括市场需求、可行性、学习对象、课程目的、财务、质量保证的分析；在开发评价中，包括课程蓝图、网络平台、课程平台、教学设计、学习资源、作业和考试以及导学教师的分析；在过程评价中，包括整体评价、技术支持、网站使用、学习互动、资源使用、学习评估、学习支持以及灵活性的分析；在成效评价中，包括学员的满意程度、教学成效、学习成效、其他成效以及课程的可持续性分析。根据PDPP评价模式，作者以香港大学专业进修学院开设的《远程教育研究方法》网络课程为案例，描述和分析了这一网上课程的计划、开发、过程以及成效的评价内容和方法，通过系列的评价过程，保证了课程的质量。参照面授课程评价的方法，这门网络课程达到全优的水平。我们希望，这一评价模式和应用能够为建立更加广泛的网上课程的质量保证系统，提供前导性的研究基础。【关键词】网上课程；网上教学；教学评估；继续教育；质量保证网上教学在教育和培训领域中正在得到广泛应用，网上教学的灵活多样、丰富多彩、资源分享、成本效益的优势也日渐呈现。无论是普通高校的正规教育，还是继续教育机构的成人教育，抑或企业的在职人员培训，网上教学将成为重要的教学传递模式之一。根据联合国教科文组织的统计，2008年全球共有超过4.55亿人次通过互联网来接受教育。例如，在美国，70%以上的高校都提供网络课程，2007年秋季，美国有390多万大学生选择学习了至少一门网络课程，占美国大学生总数的20%以上(AllenandSeaman,2008)。在2009年金融危机时期，中国的网络教育学院春季招生人数大幅增长，有的学院增加率甚至超过20%(教育人生网，2009)。我国高校的继续教育机构逐渐与网络教育学院合并，通过网上教学为成人提供继续教育课程。网上教学的成效也日益凸显。例如，北京的正保远程教育集团，主打品牌网站是网络会计课程网，称为中华会计网，开办已经十多年，学员超过数百万，利润雄厚，正保远程教育在美国纽约上市已经一年多（中华会计网，2009）。又如，汇丰银行2008年通过将30%的培训课程改为网上教学，使年度的培训费用减少了15%，2009年汇丰银行更把网上教学的比例增加到50%（胡晓红，2009）。尽管网上教学的实践发展迅速，网上教学的研究也日益增加，然而，网上教学的质量保证仍然是最受关注、最为担忧的主题。要保证网上教学的质量，就要研究网上教学的评价，并逐渐建立科学的评价体系。本研究旨在探讨继续教育领域中网上培训课程的评价模式，并分析这一评价模式在实践中的具体应用。一、网上课程评价模式的建构在教育研究中，CIPP是常用的评价模式，CIPP是指对背景（Contex）t、输入（Inpu）t、过程（Pro-cess）以及成果（Produc）t四项活动进行系列分析的评价模式，CIPP是这四项评价的英文单词的首字母的合成（张伟远、蒋国珍，2007）。参照CIPP评价模式，根据网上课程的系列过程，笔者提出评价系统可以由四项系列的评价活动所组成：计划评价（Planning）、开发评价（Development）、过程评价（Process）以及成效评价（Product），简称PDPP模式。基于PDPP模式，根据网上课程的组成部分和教学特点，我们设计了26项继续教育网上课程评价的模式，详见图1。图1显示，网络课程计划的评价，首先要进行市场分析和可行性分析。如果是输出到境外的课程还需要分析引进课程的地方政策、规章和技术支持的水平等。接着要进行学习对象、课程目的、财务以及质量保证机制的分析。如果是输入课程需要与当地教育机构进行合作办学，还要分析合办机构的质量保证体系。网上课程开发评价是对课程开发每一个组成部分的分析，包括课程蓝图、网络平台、课程平台、教学设计、学习资源、作业和考试、导学教师的分析网上课程的评价是一个过程，对应网上课程开发评价的8项活动，根据张伟远等（张伟远、王立勋2005）研究发现的网上教学的8个维度，教学过程的评价活动相应为总体评价、技术支持、网站使用、学习互动、资源使用、学习评估、学习支持以及灵活性网上课程成效评价主要是对学员学习的满意程度、教学成效以及学习成效的分析，同时分析其他可能附加的成效。根据以上的分析，最后决定课程开设的持续性。二、网上课程评价模式的应用根据网上课程PDPP评价模式，现以《远程教育研究方法》网络课程为例，分析PDPP模式在网上课程中的具体应用。《远程教育研究方法》网络课程是由香港大学专业进修学院开发，与北京大学医学网络教育学院合作开办。北京方负责网络平台建设、招生、技术支持服务、学生管理、学习支持服务等。课程分为五个单元10章，详见表1。表I《远殍教ff研究方袪》网貉课脚的内容咙抑单儿3E单元1:远殍教疔酗吭方袪曲论第一章】远理教育硏究方袪论第：章】远期教育硏究电木填理单元'.:文献井析和研究设计筆••鵲远斡教育硏究文献收集坡分析第四章［远輕教育册究设计单元■■:远程載育硏究方法11.）第fi童:问淞法、访谈法貳九业特尔斐法、成木分析法单梟四：远程朝育册宪方袪（K第匕讹:人种志、政抵分析法第人章t厅动研究、设计研亂、比较研究、评价研究单Li研究计划书和论文撰写第九章1远理教育硏究计划书撰写第卜氓远斡教育硏究论文枇吗课程的学习时间为10周，学生每周学习8小时左右，共需82个学时完成。所有教、学、活动、测验、作业、讨论全部在网上进行。每20名学生配备一名导学教师。教和学的流程包括：阅读本章内容导航；了解本章学习目标；观看教师讲课（流媒体课件）；阅读本章学习单元；阅读本章指定文献；参加本周学习内容网上讨论；阅读导师总结。（一）计划评价在制定网上课程计划中，需要对课程的市场需求、可行性、课程目的、招生对象、财务以及质量保证进行分析，这基本上是一个标准化的过程，通过撰写课程计划书和填写不同表格，由学院不同的学术委员会、教务处、财务处等讨论决定。市场分析。《远程教育研究方法》在华人地区，特别是中国内地有很大的市场。随着远程教育和网上教学的迅速发展，远程教育工作者越来越感到研究活动对提高教学质量和院校声誉的重要性，学术研究也开始成为评价一所远程教育机构成效的重要指标。然而，高质量的学术研究仍然是许多远程教育机构最薄弱的一环，其主要原因之一是许多教育工作者缺乏必要的教育研究的知识、技能和经验，他们迫切需要系统学习远程教育研究的知识和技能。可行性分析。因为培训的市场主要在内地，为了达到良好的成本效益，我们联合北京大学医学网络教育学院共同开办，这一学院是内地开办网络课程最成功的机构之一，并且具有和英国开放大学在内地合办网络课程的成功经验。学习对象。这门课程面向中国内地、香港、台湾、澳门、新加坡、马来西亚等华人地区招生。广播电视大学、网络教育学院、公开大学、继续教育学院、成人教育学院、成人培训机构以及企业的研究和发展部具有大专以上学历，对于远程教育、继续教育、成人教育的研究有兴趣的研究人员、管理人员、教师均可报名参加。课程目标。根据课程内容体系、市场分析以及学习对象的分析，确定了这一课程的目标，包括了解远程教育研究的方法论；掌握远程教育研究的基本原理；了解远程教育研究的过程；学会收集和分析远程教育的文献；进行远程教育的研究设计；使用远程教育的研究方法；撰写远程教育研究计划书；撰写远程教育研究论文。财务分析包括各项成本和收入的预算。质量保证分析遵循香港大学专业进修学院和北京大学网络教育学院的质量保证体系。（二）开发评价网上课程开发评价的第一步是对课程蓝图的分析，课程蓝图由课程主任撰写和提供，内容包括：团队的人员组成及任务、课程背景、课程介绍、课程目标、学习者分析、学习者的技术设备和技能要求、课程模块/单元、学习材料、评估和考试、学习交流和合作、学习支持服务、教学模式、课程撰写进度安排、学习进度安排、质量保证以及课程版权。课程蓝图通过评价后，接着是对网络平台和课程平台的建设、教学设计、学习资源、作业和考试的安排以及导学教师的招聘和培训进行分析。表2列出《远程教育研究方法》网上课程开发评价的内容以及评价部门或者人员。表2网I:课程开发评价的内容及评价部门或人対内容加贞机构评情部门或人的谍理蓝图香堆大学专业进條学疏•谍趕开食小组教学设计•教育賞课斡纽学月锚沥•人丈科学和法律学號学术畫西女•mu保tj「小组•教务址•讹科外审专京榨业和考试网络平台•香堆大学专业进條学院•谍程i-JT讹程平台•」匕京大学匱学网络朝疔学皖•執学设计人员•媒怵制柞人员•W学教师•讹和蚪审专宏财务分桁•教务处•財务址&学教师•课程-「：•讹科外审专家这是香港大学专业进修学院开发的课程，所以课程蓝图、教学设计、学习资源、作业和考试的评价都是按照香港大学专业进修学院的课程开发程序进行的，并邀请校外专家进行课程外审。这一网络课程又是与北京大学网络教育学院合办的，学员主要来自内地，利用北京大学的网站能方便学员的学习，同时利用内地的技术人员能减低成本，导学教师由内地聘请，香港方进行资格评审。（三）过程评价网上课程过程评价是指在课程实施过程中的评价，包括总体评价、技术支持、网站使用、学习互动、资源使用、学习支持、学习评估以及灵活性。过程评价主要通过三条途径：一是了解学生的学习体验和反馈意见，二是了解教师的反馈意见；三是课程主任对网上导学进行视察。了解学生学习体验和反馈意见的方法是：在课程网站中，专门设立学员意见反馈区，设立教师和学员单独交流的电子邮件以及评价人员和课程主任对教师和学员的访谈。例如，在第一周，我们要求学员按照网站指南，使用网站上的各项功能，直到熟悉和能够使用为止，并告知教师所花费的时间和掌握程度。我们发现，学员都可以在2-4小时学会使用这一课程平台。在课程学习的中期，评价人员或者课程主任要对课程进行形成性评价。例如，在课程实施的第六周，评价人员和课程主任采用个别访谈或者小组视频会议的方法，对学习者进行访谈，了解学员对课程的总体和各个层面的评价，了解学员的学习情况、困难及建议，以便及时进行调整。例如，在学习“研究方法”的两周内，要掌握大量的复杂的研究方法是很困难的，不同学员在工作中只是需要掌握有关的几种方法，于是他们提出“能否根据工作的需要，只要求学员熟练掌握相应的几种研究方法？其他研究方法达到一般了解的程度。”由于这是一门在职培训的短期课程，经过课程组的讨论，我们接受了学员的意见，进行了相应的学习调整。网上导学视察是课程主任的一项重要工作。课程主任每隔一两天就要进入各个学习小组至少视察一次，了解学员的学习情况、进度、困难；了解导学教师的辅导情况，如果学员的学习问题没有及时回答，或者回答的含糊，或者讨论不热烈，课程主任随时提出，并与导学教师商讨对策，解决学员遇到的学习问题，激发学员的学习兴趣，推动学员合作学习的热情。过程评价是一个细致的过程，需要通过连续性的评价，课程主任和教师精心策划，激励学员始终保证良好的学习积极性，以达到最终的学习目标。（四）成效评价网上课程成效评价以定量研究为主，辅以学员的反馈意见和建议。在《远程教育研究方法》课程中，我们采用了网络问卷的方法，对第一期的60名学员进行了调查，回收有效问卷数量38份，有效调查问卷回收率63%。表3至表5是学员对这门课程的满意率、教学成效以及学习成效的评价。为了比较面授教学的评价结果，我们采用了香港大学专业进修学院面授教学中使用的评价统计方法，计算出每一评价题目的平均百分比，平均百分比的解释为：0-39.9%为“不及格”，40-49.9%为“及格”；50-59.9%为“满意”；60-69.9%

为“好”；70-74.9%为“很好”；75-100%为“优秀”农二学忸对课程的淌盘期度［斷）II：常浦总娥*盼适用平询数悯M站辭.452II30079.97|®|JIL62II00076.9i•讲教授II'〕讲触视谢61：!700090.S轴导戰甌导炳胡(J000')2.\M上课利肆1>55口000W.t4245000S2.2教科书5047000«6.«Ml：fli•学习尅料i455II000so学习前灵満性说45盹000耐崎救卿的交谎4545II00083旳|引詞学的交悅29272950072.4技术支持约50|£丄00冷」学习叭•涉血.452000M1：学习耳境沁4500W.t课程的质fit52&000S3』4学忸对课程的教学成效的评价［%〕IE常1词意忖億>f同意極i：同盘i：适用T•均数i•讲拭师讲谀咛奏适屮（视他5527s(J0(J匸讲教师对谍利育半富的知识嗣II000(J<)7.4导鼎对WSYrP-富的知说76僞5000:)2.8导鼎的解雷肓楚h；2hs30(J的5导JTOft学员飾网上讨论5ii?II(J0(Jajj导师議发丫试的学习炭趣4242002叫■导ttwamt地帚肋学员寻114250s(J00Sil.h这门课程的襲学礙果良好47475(J0(JajjE学员对课脚的学习成效的评悄〔啸）II：常同意1詞童>i：同意楼1:同蠢f适川平均塹这门课程的学习效果良軒2hma00079.C这门谡利値得学列H2ina00094.了从表3至表5中可以看到，《远程教育研究方法》的学员满意率、教学成效、学习成效都达到面试教学评价中的“优秀”水平。其中教学效果达到85.5%，学习效果达到79.6%，“这门课程值得学习”的评价更达到94.7%的高分。其他成效在问卷调查的终结性评价中，学员还可以对课程进行定性的评论。学员普遍提到的学习以外的收获有两方面，一是体验了网上学习，学到了网上教学的良好经验，有助于开发网上课程或者提升网上教学的水平；二是结交了远道的同行朋友（学员评论略）。可持续性。《远程教育研究方法》网络课程的成功，带来了良好的声誉，许多远程教育、网络教育、继续教育机构都纷纷报名，甚至预定名额，这保证了课程的可持续开展。三、结论本研究首次参考CIPP评价模式，建构了网上课程评价的PDPP模式，即网上课程计划评价、网上课程开发评价、网上课程过程评价以及网上课程成效评价的四阶段评价模式。在PDPP模式下，根据网上教学的特征和过程，又建立了26项评价指标。根据PDPP评价模式，文章以《远程教育研究方法》网上课程为例，详细描述和分析了从课程计划至成效分析的系列评价，通过这一系统评价，保障了课程的质量，教学成效和学习成效都达到了优秀的水平，从而保证了课程的持续开展。［鑫考文献|1|1.E.JinJJ.SrumM.（20QKi."Slaving\he}nli.\wi.11illpLIniwISlate,200R".Rrtiiz和IJuly22?2OO9Timnihl.Ip:讥w喑.£hmpubLicjil祜i苗治urvry/pd17slayi.ng_lhr_c^ijisf.pdI'.p］经济危机描不住哄学人潮网緖学⑷教仃“火T［ee］.教育人生1川1：.九山.1iil・hlin.：1““：..；〕■：：■：：■“■：：■?［3］屮华总计网.http://www,ran«/.［4］胡晓红.E-Lwming用柑009年汇丰银行刘箝课程以在线方式提供［耳中国远趕披育+200乐⑥『77.［5］张榨远+蒋国瑋."第十五章『远程教育的评谕研究”+毁『张怦远，蒋国谢£坯趕数育研究方北乩讣警敦育出版社.［6］张悴远，王立勋亠开往网上学习环境测评員表的国际音柞，载『张怦诡主蝙疋现代运趕戦育的管理与学习支持）［M］.北〕;L屮火广播电视大学川版社，20町.枚稿EI期;2009-09-15作者简弁;张伟远,博士，香港大学专业进爆学院持续載育及终身学习研究中心总监、首席研究员込EvaluatingOnlineCourses:ThePDPPModelandItsApplicationZhangWeiyuanOnlineteachinghasbecomeanimportantinstructionalmodelforeducationandtraining.Toassurethequalityofonlinecourses,theassessmentofonlineteachingisessential.Thisarticlereportsonastudyonanevaluationmodelforonlinecourses,i.e.thePDPPmodel,whichincludesfourphases:planning,development,process,andproduct.Theplanningstageinvolvestheanalysisofmarketdemand,feasibility,targetlearners,courseobjectives,budget,andqualityassurance.Thedevelopmentstagefocusesontheanalysisofcourseblueprint,networkplatform,courseplatform,instructionaldesign,learningresources,assignments,examinations,andcoursetutors.Theprocessstagecoverstheanalysisofoverallevaluation,technicalsupport,websiteaccessibility,learninginteraction,resourceaccessibility,learningassessment,learningsupport,andflexibility.Theproductstageaimstoanalyzelearnersatis-faction,teachingperformance,learningperformance,relatedperformances,andcoursesustainability.AcasestudyoftheonlinecourseResearchMethodologyinDistanceEducationwasconductedinaccordancewiththePDPPmodel.Researchresultsindicatethatthequalityoftheonlinecoursewasassuredwhenassessedbythestandardofface-to-facetutorialcourse.ItissuggestedthatthePDPPmodelmaybeofrelevancetoonlinecoursedesigningeneral.Keywords:onlinecourse;onlineteaching;teachingassessment;continuingeducation;qualityassuranceTheLearningofWeb2.0TechnologiesandItsImpactonLearningZhuangXiuliandZhangChunleiThisarticlereportsonathree-yearlongitudinalstudyontheteachingofWeb2.0technologies,withthe2009(Spring)studentsassubjectsforacasestudy,aimingtoexaminehowthelearningofWeb2.0technologiesimpactedontheirlearningperformance.ResearchfindingsindicatethattheWeb2.0communityfacilitatedactivelearning,pooledresources,promotedcollectiveintelligence