循证构建医学PBL评估体系

1、循证构建医学PBL评估体系    摘要：本文通过对目前国外PBL评估方法的使用方式及评估效果的分析，提出一种把笔试考核和问卷评估相结合的PBL评估体系。此评估体系兼顾了认知领域与非认知领域的内容，并重视对学生能力的评价，可较准确地反映出我国医学PBL课程的教学效果，亦可作为其他的学生能力培养课程评估环节的参考。 关键词：以问题为导向的教学方法；评估体系；评估方法 以问题为导向的教学方法(ProblembasedlearningPBL)是一种在导师引导下、以小组合作方式进行自主学习的教学模式，由加拿大麦克玛斯特大学(McMaster University)

2、在1 969年创立，并迅速得到医学教育界的认可与推崇。PBL于2O世纪末进入我国，在国内医学教育上的运用日益广泛。PBL教学以“发展学生的知识运用能力”为目标，因此教学理念、教学方法、教学效果均与传统教学存在较大区别llI。但在PBL课程的学生成绩评定上，国内目前仍普遍使用的是传统教学的考试检验手段(例如多选题、简答题、论述题等)，这类考试方法并未充分照顾到PBL与传统教学在教学原理、教学效果上的差异。国外研究已证实，采用不同的评估方法可极大地影响PBL课程的评估结论2I，因此选择恰当的评估方法、建立完善的评估体系XPBL教学的开展、研究、完善均具有重要的作用。目前国内在PBL教学评估体系方面

3、的研究较为薄弱，本文旨在通过分析国外成熟的PBL课程评估方法，循证地提出适用于我国PBL课程的评估体系的框架，为国内PBL教学的发展提供参考。 一、研究方法 使用“PBL”、“problem based”、“practicebased”、“ selfdirected”、“learner centered”等单词，及“assess”、“ evaluate”、“estimate”等作为检索词，检索Medline、ERIC和Cochrane Library数据库，文献发表时间截止于2009年6月31日。由经过培训的四名文献筛选员对文献进行纳入排除。 二、结果 检索得到相关文献共9509篇，按照纳入排

4、除标准，筛选出符合文献共64篇。经全文提取，可归纳出PBL课程常用的评估方法。 总的来说，PBL课程的评估方法可分为两类：一类是对认知领域的评估方法，即针对医学知识的理解、分析、应用情况进行的评估；另一类是对非认知领域的评估方法，包括对学生责任心、逻辑思维、语言表达等区别于知识积累的学生综合素质的评估。从目前的研究可看出，PBL课程的评估方法多种多样，其中有不少方法也适用于国内PBL教学，分别介绍如下： (一)认知领域的评估方法认知领域的评估主要通过考试的方式对学生的认知过程、认知能力进行评价，也有少量学校采用其他方式如学习进程考核、白填问卷法等。主要的评估方法有行业规范考试、自主命题考核等。

5、 1、行业规范考试国外院校常将医师执照考试(Medical LicensingExamination)等统考考试用作其教学效果的评估工具，在PBL研究中常见的有美国医师执照考试(USMLE)、加拿大医学委员会医师资格考试(MCC)等 。但在上世纪80年代以后，此类考试方法的使用频率已大幅减少，其原因有三：一是学生的做题备考过程严重影响了考试结果；二是此类考试适用人群较窄，仅面向医学本科毕业生，而低年级医学生、继续教育医生多不参加； 是此类考试难以对学生进行自身前后对照地评估，不便于相关研究开展。随着PBL评估方法的增多，行业规矩考试在PBL评估中的应用价值已有所降低，但其对适宦人群的评估效果仍

6、非常准确，在特定研究中亦发挥了重要作用。 2、自主命题考核院校自主命题的考试是目前认知领域最常用的评估方法，试题卷可包含多种题型，如多选题、简答题、论述题等，均为人们所熟知。不过，这些题型有时也经过了重新设计、调整，以适应PBL教学的特点。选择题是国外院校在实际教学、研究工作中最常使用的题型，其对PBL学生的评估有效性得到了较为普遍的认可。论述题着重考查学生运用知识解决问题的能力，符合PBL教学的特点，在PBL评估中的意义较为重要 。论述题亦在PBL教学评估中衍生出数种新题型，包括较为常见的“要点提问(key feature problem)”题型，其类似于国内的“简答题”，但命题史为灵活 。

7、病案考核从上世纪末开始，也大量运 于PBL评估之中。DochyHSegers的研究证明，案例考核更贴近临床思维，在PBL课程中对学生知识掌握情况的评估效果较为理想嘲。需注意的是，在样本容量偏低的时候，论述题、案例考核的信度较差，虽可用于日常教学考核，但对于各类研究丁作，可能会影响研究结论。 3、其他评估方法除了各类考试之外，也有研究者使用其他方法评估学生的认知能力。l：lRichards等学者对学生进行问卷评价，分析学生在PBL课程学习中的相关因素对认知过程的影响 ；荷兰Maastricht医学院的Maastricht学习进程考核(Maastricht Progress Test，MPT) 则

8、将教学目标制作成判断题考核表，学生通过填写“是”“否”评价是否完成学习目标，在教学工作中较为简便有效。 (二)非认知领域的评估方法 1、问卷评估法(rating)问卷评估是PBL教学评估中经常使用的一种方法，问卷以规范的心理量表和院校自主设计的评估表较为常见。按照所使用问卷的不同，PBL课程中的问卷评估法可分为量表评估和自制问卷评估两个部分，其各有优势。量表评估的效度、信度较高，能够较为客观地反映学生的情况；但其不足在于适用于PBL课程的量表种类仍较少，且量表的使用还存在评估范同较窄、分析过程过于繁琐等问题。医学院校自主设计的评估表经过合理检验后，可满足日常教学及部分科研的使用需求，其优势在于

9、评估内容灵活、使用方便，凶而在PBL课程中的使用较量表更为广泛。 在问卷评估法中， 目前主要有i种问卷使用方式，分别是：导师评价学生、学生自我评价、学生相互评价。导师评估(tutorassessment)包括PB LJ、组导师对学生讨论的记录、填写导师评估表等方式。由于导师能从更客观、高层次的角度评价PBL组成员的表现，因此在多数情况下，导师评估的结论被认为是最准确的 1。学生相互评价(peersassessment)是PB LJ、组内的每名成员使用评估表对所有其他成员进行的评估，在较为成熟的PBL教学环境下，学生互评分数与导师评估分数比较接近；但若是PBL评估体系的设计存在问题，那么学生互评

10、会存在严重的偏差，常见原因包括评估环境不够独立9- 01、学生互相“抬分”?一21、或将互评分数直接与PBL课程成绩挂钩I”I。试验证实，在重复进行学生互评后，互评分数与导师评估分数会逐步接近ll ，故在国内的PBL课程中，加强对学生互评的指导对提升互评准确度有一定的意义。 学生自我评价(self-assessment)是学生使用评估表对自己在PBLd组中的表现进行的评定。在多数研究中，学生自评与导师评估结果相比存在较大差异B ，以导师评估结论为标准，可看出学生自评的准确性确实较差。但是，“学生自主学习”作为PBL教学的一个重要内容，学生自评在引导学生学会“自我评价”、提高学生的自学能力方面具

11、有重要的意义；亦有研究提出，将学生自评与互评相结合，可促进学生的自主学习2O-2”。因此自评虽不能发挥其评估作用，但仍具有使用价值。 2、标准化病人模拟诊治(standardized patientsimulations)标准化病人的考核常用于考察学生的临床技能，在目前所有临床能力考核的方法中最为有效21。但标准化病人培训较为困难、花费较大，并且低年级医学生尚不具备参与此临床考核的能力，因此此方法较适用于毕业后教育、继续教育等范围。 3、材料分析(cases)通过对材料片段的分析，考察学生的信息分析、批判性思维等能力f221。此评估方法使用方便、对材料的要求比案例考核更为宽松，并且考评过程本身

12、亦可引导学生建立良好的思维习惯，因此尤其适用于低年级医学生。 4、其他方法Moore等学者于1994年在哈佛医学院提出了自由回忆法(free recal1)，要求学生对给定的主题进行联想回忆，旨在考察学生的思维和归纳能力 。其他非认知领域的评估实践还包括：Antepohl和Herizig使用论述题分析学生的信息收集、及语言表达能力嘲；SavinBaden使用多选题对学生逻辑思维能力进行评估2等。 (三)评估方法的组合运用由于上述常见的评估方法各有其优缺点(见表2)，因此在国外的PBL评估研究中，只有少部分院校仅采用一种评估方法，多数PBL课程由两种或两种以上的方法进行组合评估。评估方法经合理地

13、组合后，对学生能力的评估范围增大，且不同方法的搭配能互相弥补缺陷、提高评估准确度。例如，挪威奥斯陆大学医学院采用论述题笔试、批判性思维量表相结合的方式进行PBL评估；麦克玛斯特大学SaarinenRahiika等学者使用多选题、改良论述题、学生论文、客观结构化临床考试相结合的评估方法，并在学期中、学期末多次开展学生自评、学生互评，评估体系尤为完善。常见的组合方式见所示。 三、讨论 (一)对认知领域的评估方法选择目前国内外PBL教学主要有两种开展方式：PBL取代传统教学直接用于医学基础学科的授课，或PBL单独开课成为一门培养学生素质能力的课程。对于前者，PBL课程的授课目的与传统教学相同，在课程

14、评估上亦需要对学生的理论学习效果进行检验，评估方法与传统教学相同，可采用各种考试方法。而国内的PBL课程多属于后者，其教学过程突 了“培养学生解决问题的能力”的特点，因而在课程考核中亦需重视对学生能力的评估；倘若需对学生的认知领域进行评估，则不宜占用过多的评估时间，题型以考查学生知识运用的论述题或案例考核较为适宜。 (二)对非认知领域的评估方法选择上世纪末，Dochy等学者通过研究提出，越是倾向于对学生逻辑思维、信息归纳等能力的评估方式，其评估结论越能突出PBL的教学效果 。Dochy等人的研究不仅从评估方法的角度解释了PBL教学效果与传统教学在学生不同方面的教学效果上的差异，并且在结论中强调

15、了对学生非认知领域评估的重要性。因此，结合目前同内对医学生综合能力培养的重视，在PBL课程巾应更广泛、合理地运用非认知领域的评估方法。 首先，非认知领域的评估不能由考试等方法代替。相关研究已证实，量表评估的结论与学生本人考试成绩之间不存在联系2，因此不能通过考试成绩“推测”学生的综合素质。其次，在非认知领域的评估中，问卷评估法最为常用，而评估表的正确选择、合理使用卜分重要。对于研究T作，宜选用恰当的量表以保证评估的准确、有效性；而对于普通的教学评估工作，自制评估表在信度、效度上可满足使用需求，使用更为方便。在评估表的使用方式上，导师评估、学生互评准确度较高，学生自评、学生互评亦具有促进学生自主

16、学习的作用，因此可将此三种方法搭配或同时使用；而存评估前进行导师的培训、学生的教育，能更好地控制评估表的测量偏倚。最后，非认知领域的评估方法应尽量本土化。 (三)PBL课程评估体系的组成构架PBL课程评估体系应结合国内PBL课程的开设方式和评估方法的自身特点。国内PBL课程主要教学目的是提高学生的综合能力，故在评估上宜认知领域、非认知领域兼顾，突出能力评估的内容；困内PBL教学的课时较少，评估方法应考虑使用成本、时间成本、评估准确度、对学生学习的促进作用等多个方面的因素。综合考虑后，我们认为以笔试与问卷评估相结合的组合为佳。对认知领域的评估宜选用案例考核，问卷则使用院校自制评估表，并采用导师评

17、估、学生互评、学生白评结合的问卷评估方法，以合理地控制偏倚、促进学生自主学习。同时，此评估体系还可根据考察对象、考察目的不同，在此基础上进行扩增，如在低年级学生巾增加材料分析的考核，在高年级学生中增加标准化病人考核，对学生的特定能力使用量表进行评估等。 (四)评估体系的本土化思考虽然国外医学院校使用的PBL评估体系构架合理、评估准确，但其中的许多评估体系花费十分巨大，国内现有的教育资源难以承担；同时，国内外学生之间也有较大差异，国外适用的评估方法不一定在国内适用，因此国内的PBL课程评估体系从创立开始，即具有鲜明的本土化的特征。目前PBL教学中常用的量表T具如加利福尼亚批判性思维倾向问卷(CCTDI)、Watson Glase对比判性思维测试量表(WGCTA)均无正式的中文