澳大利亚卓越研究评价的宗旨、方法与运行机制

1、    澳大利亚卓越研究评价的宗旨、方法与运行机制    (四)与国际接轨的评价结果等级标准卓越研究采用五分制的等级尺度，如表3所示。该等级尺度以世界水平为基准进行了划分。最高等级为5级，表示学术表现远超世界水平；最低等级为1级，表示学术表现远低于世界水平8。表3 澳大利亚卓越研究评价结果等级划分及描述等级描述5学术表现远超世界水平4学术表现超过世界水平3学术表现处于世界平均水平2学术表现低于世界水平1学术表现远低于世界水平na未能达到参评基准，不作评价资料来源：australian research council era 2012 evaluatio

2、n handbookr. canberra: australian government, 2012三、卓越研究评价的运行机制(一)半官方背景的第三方评价组织机构卓越研究评价隶属于澳大利亚研究理事会。澳大利亚研究理事会成立于1988年，与学校理事会、高等教育理事会、就业与技能培训理事会等共同组成了全国就业、教育和培训局，自成立伊始便承担着为政府和高校提供政策建议的功能13。2001年，澳大利亚研究理事会正式成为一个独立机构，全面负责对研究经费申请者的评估过程。但分管教育的部长仍掌握着指派该机构首席执行官和委员会工作人员的权力，并对机构的工作计划和内容拥有审核权14。(二)详细规范的参评资料收集

3、与提交规定卓越研究对于不同类型研究成果的时效进行了明确的规定。学术论文成果一般以近6年发表的成果为对象，科研收入、成果应用等则以近3年为标准。这提高了在不同高校间进行横向比较的准确性。2012年澳大利亚卓越研究评价认可的期刊列表中共有22414种学术期刊，在此范围内的学术成果均能作为参评数据提交给评价委员会15。广泛的期刊来源最大限度地降低了期刊等级对论文质量评定的影响，以便参评机构将最有代表性的成果提交给评价委员会。(三)开放多元的评价专家遴选方式与规范透明的评议流程同行评议的效果在很大程度上取决于参与评价的专家。评议专家太少或者专家来源渠道狭窄，可能会影响评价结果的信度和效度6。因此，卓越

4、研究评价按照学科群设立了八个评价委员会，分别负责相应的评价工作。委员会成员由国际知名学者组成，专家的学科背景需与评价单元的四位代码学科相匹配。开放多元的专家遴选方式，降低了利益相关者对评价过程和结果的潜在影响。表4 2012年澳大利亚卓越研究主要评议阶段与过程阶段主要工作资料准备以机构为单位向澳大利亚研究理事会提交数据专家分配将评价单元的数据分配给评价委员会成员将评价单元的数据分配给同行评议专家正式评价步骤1：对于四位代码学科进行预评步骤2a：对四位代码学科的评价结果进行调整，对两位代码学科预评步骤2b：对两位代码学科的评价结果进行调整步骤2c：对调整后的评价结果进行回顾，为会议做好准备步骤3

5、：与所有评价委员会成员开会商讨确定最终的科研成果评价报告出版报告出版全国性报告资料来源：australian research council. era 2012 peer review handbookr. canberra: australian government, 2012表4列出了评议的几个阶段和相应的评价工作。参与评议的学科，需提交该学科30%的科研成果作为参评数据。这些成果通过网络在线系统分配给评议专家。若评议专家与所分配成果存在利益冲突或敏感性问题，需自行上报评价委员会，以便撤回或者重新分配8。为了保证不同评议专家之间的标准统一，评议专家需要阅读同一评价单元内的全部参评数据。

6、同行评议专家需针对每一个评价学科出具一份评价报告。报告中包含对科研成果质量的文字性描述，以及对其所用方法和科研贡献的评定，但不需要对该成果进行任何形式的等级划分或排名。在收到评价报告后，评价委员会将把报告中提出的意见作为基础，经过一系列调整后，同其他定量评价指标一起纳入评价委员会的最终评价。四、启示与借鉴(一)瞄准国际水准，实现科研卓越质量是科学研究的本质规定性。澳大利亚卓越研究评价既是回应公共研发经费分配与使用的公平、公正及提升绩效的需要，也是对知识经济时代该国高等教育质量(包括创新质量)的促进与保障。卓越研究的宗旨就是对澳大利亚的学术研究活动进行国际层面的比较，并瞄准国际水准推进该国的研究

7、水平与学科前沿方向。为了实现这一目标，卓越研究评价委员会成员由获得国际认可的著名学者组成，同行评议专家则面向全世界公开招募、择优选拔。在参评机构及学科的评级标准上，以世界水平为基准，直观地展现了不同机构及学科与世界水平的差距。该评价项目为提升澳大利亚科技领域的国际竞争力提供了新动力。(二)评价内容综合化，评价方法针对性强卓越研究评价虽然以标准化的学科为评价单元，但是其评价内容却从单一维度朝着多重维度的方向发展。从评价指标及其选取原则可知，卓越研究评价除对科研论文产出进行评价外，对科研投入和科研过程也日益重视。科研成果的应用和影响力在科研评价中的地位也有所上升。从评价方法看，针对学科特点和差异，

8、引文分析的定量方法和同行评价方法没有偏废。在运用引文分析方法中，强调文献数量必须达到基本要求，并且科研成果须已被大型数据库收录，以保证被引数据的意义。针对与引文分析方法难以很好匹配的人文学科和交叉学科的评价，则更多依赖同行评价，力求将同行评议与引文分析有效结合，并且借助相关说明函件来提高评价结果的效度。(三)开放、公开、公平的机制确保评价的公信度开放多元的专家遴选机制、评价指标制定过程中的公众参与以及透明的评价流程等，贯穿于评价活动的全过程。为了保证研究评价委员会的评价过程能够得到有效的监督，从2012年开始，研究理事会设立专门的审查委员会，旨在对研究评价委员会成员们的科研背景进行调查，并对其

9、科研成果进行分析，以确保委员会成员与被评价对象之间没有利益关系8。严格公开的评价指标筛选、来源广泛且规模庞大的国际同行评审专家库建设、评价专家学科背景与被评学科的匹配、“单盲评审”以及评审专家利益回避原则等保障了卓越研究评价的公信力。(四)评价结果与资源配置挂钩在卓越研究评价最终报告发布之后，澳大利亚研究理事会参照评价结果将科研基金优先发放给表现突出、具有发展潜力的学科与机构。根据2012年卓越研究评价结果，澳大利亚研究理事会公布了6800万澳元的科研经费分配情况。此外，隶属于理事会的国家科研优先发展计划和国家竞争性拨款项目也将根据评价结果来分配近8亿澳元的竞争性经费9。卓越研究的评价结果与资

10、源配置挂钩，一方面增强了评价自身的权威性和导向性；另一方面，全国性的科研评价项目也使得科研经费的分配过程较为公正、透明。(五)对交叉学科领域的评价亟待调整卓越研究评价的材料提交和结果呈现阶段均采用分学科和分机构的划分方式，此举很好地解决了澳大利亚以往评价标准全国不统一、学科间不具可比性的问题。然而，澳大利亚高级学会(australian council of the learned academies)在2012年的一份报告中指出，澳大利亚卓越评价不能很好地“评估与呈现交叉学科领域研究状况”17。原因主要有两方面：一是在材料提交过程中，交叉学科领域的研究会被拆分成不同的部分，这对于评价结果有很

11、大的影响；二是交叉学科的研究往往不能在某一特定领域的高水平期刊上发表文章，因而在影响因子的横向对比中不占优势。交叉学科领域是未来科研发展和应用创新的重点，为了实现“鉴定与推动卓越研究和前沿领域发展”的目标，卓越研究对其评价方式亟待调整。参考文献：1australian research council. excellence in research for australiaeb/ol.2014-07-03. 2chapman b, ryan c. higher education financing and student access: a review of the literature

12、eb/ol.2014-07-03. 3australian bureau of statistics. australian schools: participation and funding 1901 to 2000eb/ol.2007-10-03. 4the world bank. australia gdpeb/ol.2014-10-23. 5kim j. higher education funding policyeb/ol.2003-06-02. 6王成云，阎红梅.澳大利亚高等教育改革的态势分析j.高教探索，2006(3)：20.7australian research coun

13、cil. annual report 2010r. canberra: australian government, 2010.8australian research council. era 2012 evaluation handbookr. canberra: australian government, 2012.9australian research council. excellence in research for australia 2012 national reportr. canberra: australian government, 2012.10丁敬达，邱均平

14、.科研评价指标体系优化方法研究以中国高校科技创新竞争力评价为例j.科研管理，2010(4)：111-118.11australian research council. era indicator principlesr. canberra: australian government, 2012.12butler l. using a balanced approach to bibliometrics: quantitative performance measures in the australian research quality frameworkj. ethics in sci

15、ence and environmental politics, 2008, 8(1): 83-92.13department of education, science and training. employment, education and training act 1988eb/ol.1988-06-24. 14office of parliamentary counsel. australian research council act 2001r. canberra: parliamentary counsel, 2001.15australian research council. era 2012 peer review handbookr. canberra: australian government, 2012.16allen l, jones c, dolby k, et al. looking for landmarks: the role of expert review and bibliometric analysis in evaluating s