大学生学习成果评价：五种思维能力测试的对比分析

1、    大学生学习成果评价五种思维能力测试的对比分析    2.测试内容的分析思路和方法。通过对5种测试内容和考点的梳理，可以看出，思维能力在各种测试中的考察内容既有差异也有共同之处。差异之处主要在于不同测试所关注的思维能力侧重点不同，如有的测试着重考察批判性思维能力，而有的测试则重点考察分析性推理、言语推理、综合分析等能力；共同之处则在于，当我们把目光落在具体考点上时会发现，无论把思维能力聚焦在批判性思维能力还是推理分析能力，在具体的考点上都存在着较多共同的表述。我们认为，出现这种情况的原因是，无论何种类型的思维能力，具体到测试的考点上，实际上是将这种

2、思维能力进一步细化为具体的认知过程和技能。换句话说，“理解”“分析”“评价”等是最基本的认知过程，而它们的不同组合构成了各有侧重的不同类型思维能力。因此，如果可以把各项学习成果思维能力测试考点细化到认知过程和技能层面，就可以清楚地对比各项测试的相同及不同之处。本研究采用布鲁姆教育目标分类框架修订版(简称布鲁姆框架)作为认知过程和技能的理论分析框架。概括地说，布鲁姆框架将认知过程维度的教育目标分为从低到高6个层次，它们是：记忆/回忆、理解、应用、分析、评价和创造，各层次下又细分为子类，我们将这6个层次18个子类作为测试内容的分析框架10，然后将本研究选取的5项大学生思维能力测试的考点按照布鲁姆框

3、架进行整理分析，以便能够更清晰地梳理出各项测试在内容和考点上的异同。这一研究过程的核心工作是对各项测试的考点进行编码，本文的编码规则如下：考点中明确提及某认知过程，按该认知过程编码一次；没有明确提及但可能用到的认知过程，不编码；同一测试不同考点如考察相同的认知过程，按考点数编码；同一测试类似考点不重复编码；同一测试同一考点不同级别的描述只编码一次。当然，编码工作不能做到完全精确，一是受制于各项测试公布考点的详略程度，二是编码过程属于质性分析，会受到研究者对这些考点理解的影响。但即便如此，通过对结果的统计分析，我们仍然可以清晰地看到各项测试的共性与差别所在。3.测试内容对比分析结果。根据布鲁姆框

4、架对各项测试考点编码的结果分析如下：第一，当前大学生思维能力测试的主要测试点集中在难度较高的认知过程和技能上，即高阶认知思维能力，在“理解”“分析”和“评价”三方面的考点最多(见图1)。具体看，考察最多的是“理解”中的“推断”，“分析”中的“组织”和“评价”中的“检查”；其次为“理解”中的“解释”，“分析”中的“归因”和“评价”中的“评论”；再次为“理解”中的“说明”和“分析”中的“区别”。“记忆/回忆”这一层级难度最低，因此各项测试都没有提及这一内容。图1 各测试考点分布百分比注：图中空心柱代表认知过程，实心柱代表认知过程的子类。第二，各项测试都倾向于回避不易考察的内容。“创造”和“应用”虽

5、然属于层级较高的思维能力，但是“应用”被定义为在给定的情景中执行或使用程序，而“创造”被定义为将要素组成内在一致的整体或功能性整体、将要素重新组织成新的模型或结构等10，可以看出，这两项思维能力都是很难测量的，尤其通过客观性考试这种形式更难以完成。因此，各项测试都倾向于采取回避态度，“应用”各测试都没有提及，而“创造”也只是被简单提到。第三，各项测试在考点覆盖面上存在很大差别(见图2)。其中，考点覆盖面最多的是gre，其次为cla+、heightentm，而caap的考点覆盖最少。gre和cla+之所以考点覆盖多，一是因为它们的测试内容更多，时间更长；二是因为有主观题这一形式，这类试题对各项认

6、知能力的考察相对比较全面，特别是在最高层级“创造”上，只有这两项测试进行了考察。图2 各测试考点数占考点总数百分比四、各测试的信度、效度对比测试的信度和效度是衡量测试质量的最基本标准，但是目前测试信度、效度的计算方法都极大地依赖参加测试的样本特征。因此基于不同测试样本得出的不同测试信度、效度值在进行对比时会在一定程度上影响对比结果。cla+、epp、caap是vsa选定的测量大学生学习成果的3项测试，为使参加vsa的院校更好地选择合适的测试，这3项测试的提供者cae、ets和act对这3项测试进行了联合研究。在这项研究中，研究者严格地控制了样本的特征和数量，因此得到的信度、效度值也更具可比性。

7、本文这一部分将主要结合这一研究的结果进行分析。另外对于heightentm和gre这两项测试，由于heightentm是新研发的测试，ets还没有公布其信、效度的研究结果，而gre主要针对个人，考生人数和复杂程度远高于上述3种测试，可比程度不高，故此处只分析cla+、epp、caap这3项测试的信效度。1.信度。信度指测验结果的一致性、稳定性及可靠性，是反映测验结果受到随机误差影响程度的指标。测验的信度有多种表示方法，如重测信度、复本信度、分半信度等，此处采用斯皮尔曼布朗分半信度(spearman-brown adjusted split-half reliability)，信度值一般为从0到

8、1的小数，越接近1代表测验信度越高，内部一致性越好。cla+、epp、caap 3项思维能力测试部分的分半信度值见表2。从表中结果可以看出，各项测试信度良好，最高的为epp批判性思维部分，它基于一年级学生样本的信度值达到了0.95；其次为caap的批判性思维部分；最低为cla+的主观题部分，它基于四年级样本的信度值为0.64。总体来看，各项测试基于一年级样本的信度较高，基于四年级样本的信度略低；客观题信度较高，主观题信度略低。表2 测试信度(院校层面)11一年级样本信度四年级样本信度cla+主观题部分0.850.64cla+客观题部分0.860.84epp批判性思维部分0.950.91caap

9、批判性思维部分0.860.882.效度。效度指测验能够准确测出所需测量事物的程度。ets、cae和act主要通过考察epp、cla+、caap三项测试的相关程度来考察它们的效度。这3项测试的思维能力部分设计比较相近，如果效度较好，那么测试间的相关程度也较高。相关值一般是从0到1的小数，越接近1说明相关程度越高。从各项测试思维能力部分的相关矩阵(见表3)来看，各项测试的思维能力部分相关程度均很高，特别是epp批判性思维部分、caap批判性思维部分以及cla+客观题部分的相关系数达到了0.93；epp批判性思维能力部分与cla+主观题部分、caap批判性思维能力部分与cla+客观题部分的相关系数也

10、超过了0.8；最低的caap批判性思维能力部分与cla+主观题部分的相关系数也为0.79。可见，各项测试思维能力部分相关性较高，效度较好。表3 测试间的相关值(院校层面)11epp批判性思维部分caap批判性思维部分cla主观题部分cla客观题部分epp批判性思维部分-0.930.830.93caap批判性思维部分0.93-0.790.87cla+主观题部分0.830.79-0.73cla+客观题部分0.930.870.73-五、结论与启示(一)研究主要结论通过以上对cla+、epp、caap、heightentm和gre这5种测试的对比分析，本研究得出如下结论：1.各项测试对大学生思维能力的

11、理解和评价不尽相同，既体现了这一研究领域的复杂性，也为未来这一领域的研究提供了广阔的空间。应该说，目前人类对人脑思维的研究还有很多未解之谜，人脑的思维过程仍然是个尚待开垦的“灰箱”，这给思维能力的评价带来了一些困难。但是，正像前面提到的那样，即便对思维能力有明确的认识，但要将其准确地测量出来，还需要进行深入研究。因此，我们不能坐等脑科学、神经科学等的研究结论，积极的态度还是要在现有基础科学研究成果的基础上，开展教育评价的研究工作，探讨思维能力评价和测量的理论、规律、方法及途径。不同国家、不同高等教育机构可以从自身对思维能力的理解出发，根据不同的测试目的、测试主体、测试实施条件等研发自己的大学生

12、思维能力测试工具，提升对高等教育质量尤其是大学生学习成果评价的客观性和科学性。2.现有大学生思维能力测试的考点比较集中，在某些高阶思维能力的测量和评价方面相对比较成熟，但在另一些方面则尚需提升。依据布鲁姆框架，我们发现，本研究选取的这5种大学生思维能力测试的考点主要集中在“理解”“分析”和“评价”这3个方面，而对“应用”“创造”等涉及较少。我们认为，这主要和这些认知过程的特点、测试手段的特性等有关，如“理解”“分析”和“评价”等这些认知过程相对比较适合在以文本为载体的材料及活动中测量出来；而“应用”和“创造”则相反，这类认知过程很难通过文本测试来评价，它们更需要依靠实际的活动来展示。这也是目前

13、以文本考试为主要形式的大学生思维能力测量方式固有的局限。因此，未来如何拓展思维能力测量的方式、如何在实践活动中评价学生的思维能力等问题，仍然需要进一步深入研究。3.大学生思维能力测试朝向更加灵活、更多考虑用户需求的方向发展。从根本上说，这是用户需求不同的体现。测试作为一种高等教育质量评价的手段，它的生命力在于用户的体验和认可，它具有市场性，应该分析用户的需求，激发用户使用这些测试工具的积极性。这也是近年来很多测试提供学生个人报告的原因，因为这种方法可以激发考生的考试动机，从而有效地降低学生动机不足对测试结果的影响；还可以切实帮助考生改善学习，为他们找工作和升学提供佐证。(二)对我国的启示1.应

14、树立科学、客观评价高等教育质量的观念，进一步加强大学生学习成果尤其是思维能力评价的研究。世界各国的高等教育机构早已形成共识：在知识爆炸的今天，培养学生的思维能力远比教授知识更为重要。思维能力是一个人的核心竞争力，提高大学生的思维能力是高等教育的主要目标之一。但是，思维能力的培养在我国高校中并没有得到应有的重视，随意性强，经常被忽视8；同时大学生思维能力的评价更是一块尚未开垦的领域，教育教学是否促进了学生思维能力的发展等，更多依靠教师个人的经验判断，鲜有客观、科学的测量手段和工具。当前，我国高等教育质量评价正在向纵深化、客观化、科学化方向发展，大学生学习成果评价的理念日益深入人心，对大学生学习成

15、果包括思维能力的评价研究势在必行。2.大学生思维能力评价和测试要基于本土高等教育及学生特点。由于人的思维过程离不开语言和文化，因此，研发本土化的大学生思维能力测试就显得十分必要。我们在epp(中国)批判性思维能力测试的汉化过程中深刻地体会到，国外测试版本在本土存在着文化适应性问题8。因此，我们认为，应提倡高等院校、高等教育研究机构以及第三方评估机构开发适合我国高等教育国情的大学生学习成果思维能力测试，以帮助高等院校了解自己的教学水平，也帮助学生对自己的能力有更清楚的认识，从而有针对性地提高教育质量。注释：广义的大学生学习成果测试包括标准化测试、院校内部测试以及课堂测试等，狭义的大学生学习成果测

16、试仅指标准化测试。本研究采用大学生学习成果测试的狭义定义，仅指标准化测试。gre测试有两种，分别为一般能力测试(general test)和专业测试(subject test或advanced test)，本文中提到的gre仅指一般能力测试。vsa由美国两个最大的高校联盟aascu(the american association of state colleges and universities)和aplu(the association of public and land-grant universities)发起成立，目标是展示各参加院校的核心学生学习成果，使公众、教育政策的制定者等

17、更方便地了解学校的教学成效。cla+、epp、caap、heightentm和gre这五种测试的测试内容简介，由作者根据ets、cae和act的官方网站提供的资料整理而成：这项研究完成于2008年，当时epp还没有更名，测试名称为mapp(measure of academic proficiency and progress)；cla+当时的名称为cla。后来这两项测试都更改了名称，但是测试内容变化很小，为了与全文保持一致，本研究中我们都使用这两项测试更改后的名称。参考文献：1刘欧.美国核心教育成果为重心的高等教育评估j.中国考试，2010(5).2american association

18、of colleges and universities. liberal education outcomes: a preliminary report on students achievement in collegem. washington, dc: aac&u, 2005: 1-5.3australian council for education research. graduate skills assessmentr. australia: commonwealth of australia, 2002.4higher education quality council, quality enhancement group. what are graduates? clarifying the attitudes of “graduateness”m. london: heqc, 1996: 4-7.5罗伯特·恩尼斯.批判性思维：反思与展望j.工业和信息化教育，2014(3).6罗伯特·恩尼斯，都建颖，李旭.批判性思维测试j.工业和信息化教育，2016(6).7罗清旭，杨鑫辉.加利福尼亚批判性思维倾向问卷中文版的初步修订j.心理发展与教育，2001(3).8赵婷婷，杨翊，等.大学生学习成果评价的新途径epp(中国)批判性思维能力试测