科研成果不可验证问题的成因、成因及对策

科研成果不可验证问题的成因、成因及对策

科学研究的基本特征和要求。在学术期刊等上正式发表的论文所涉的研究理论上都应该能够被其他研究者依据论文作者所提供的研究方法得到再现,由此来检验成果的真实性和有效性。然而,在当前的科学研究和发表体系中,却存在一部分论文的调查、实验无法被其他研究者重复、结果无法验证的现象,我们称之为科研论文成果不可验证,比如不同实验室甚至同一实验室也无法重复某一实验、获得相同或相似的数据和结果;根据同一调查方案其他人无法获得相近的调查数据和统计结果,等等。同为不可验证还应区别不同的类型。一类是实验设备、试剂、条件等方面存在差异,或者问卷设计、限制条件等不同,造成实验和结果无法重复验证,但这可以通过改进实验条件、操作等来解决。第二类是源于统计学上的误差、对实验数据的误读、错误操作等,比如在整理、发表数据时,有时候会出现一些统计学上的误差;在实验过程中,一些错误的操作会导致不真实的结果;对数据进行解释的时候,可能会有一些误读;在收集数据时,没有保存原始数据或者原始数据保存不全。我们可以将这些归于“诚实的错误”。这些“诚实的错误”虽然不是有意为之,但这样一些错误仍可能会使得所谓的成果无法被重复验证。此外还有一类不可重复验证问题却源于主观原因,比如作者故意不给出相关的完整信息,过度解读数据,围绕研究目标挑选数据、选择性发表,甚至篡改数据,伪造数据,等等。这些行为显然会导致他人甚至自己都无法重复实验和结果。近几年来,我们可以看到不少科技界和社会媒体曝光的这类不可验证的案例。基于主观原因导致的科研论文成果不可验证会给科学研究的发展和科学事业的声誉带来了极大的负面影响,它“歪曲了科学的本质,令社会各界不仅仅是对科学研究这一行为更是对研究人员这一群体大失所望”1理论研究的不足前两类不可重复验证在一般情况下都是可以解释和说明的,并且可以通过改进或者改正的方式实现重复调查、实验和验证结果。本文主要讨论由主观因素造成的科研论文成果不可验证的问题。这一类不可验证主要可以区分为三种情况:第一种情况是作者故意不给出完整的信息。比如,论文中的研究数据、结果和试验现象都是真实的,但作者为了商业利益或者个人利益,以保密为借口故意在发表的论文中隐去关键步骤、数据等信息或者修改相关参数,从而使得他人无法直接重复自己的研究。这种行为虽然不一定会被界定为科研不端行为,但是从促进学术交流和推进科学进步的角度来看,仍然是有问题的行为。第二种情况是挑选数据和选择性发表。比如,多次实验只成功过一次,一旦这一次取得理想数据就马上停止实验;故意省略“不合适”的数据;在不同批次的数据中挑选有利数据;不客观地分析数据从而得到理想结果,等等。这些行为的结果就是实验和结果能够被他人重复的概率很低。第三种情况是存在伪造数据、篡改数据等严重的科研不端行为。比如日本理化学研究所小保方晴子造假事件、日本东京大学多比良和诚及其助手造假事件、前美国爱荷华州立大学助理教授DongPyouHan造假事件,都是存在这类不端行为的案例。这些案例曝光均是源于其他人无法重复作者发表的科研论文成果,进而产生怀疑,最终证实实验、论文存在数据篡改、伪造等不端行为。基于主观原因的科研成果不可验证的情况到底有多严重?以医学研究为例,通常我们认为已发表的临床前研究中的成果是可信的———尽管可能在细节上会存在一些错误,但是论文中的主要信息应该是可以信赖的,数据中的绝大部分也是经得住考验的。然而事实可能并非如此2012年,世界最大的生物科技公司之一美国安进生物技术公司血液学和肿瘤学研究组的研究人员对相关领域的53份“里程碑式”研究论文进行验证,希望能在以这些论文为基础的新药研发之前确证这些研究发现的可靠性。尽管临床前研究具有局限性,但验证结果仍然令人震惊:只有6项(11%)研究发现得到验证。此外,更加令人不安的是,不可验证论文在领域和学界的实际影响非常大:其中论文发表期刊的影响因子大于20的21篇论文中,不可验证论文的有效被引次数为248次,可验证论文为231次;期刊影响因子在5-19之间的32篇论文中,不可验证论文的有效被引次数为168次,可验证论文为13次。依据这些本身无法验证的研究产生了大量的二手文献我们还可以通过被撤销论文的情况来进一步分析问题。2012年美国《国家科学院院刊》发表了一项关于论文撤销与不端行为的研究:对截止到2012年5月3日被撤销的2047篇PubMed检索的生物医学和生命科学研究论文(其中最早的论文发表于1973年,1977年撤销)进行了细致的分析,结果显示:有21%的论文被撤是因为存在错误;涉及不端行为的多达67%,其中存在伪造或涉嫌伪造的占43%,重复发表的占14%,剽窃的占10%;余下的12%涉及多种原因或者被撤原因不明。自1975年以来,在所有已发表论文中因学术造假或涉嫌造假的被撤论文的比例已升至10倍,2000年之后增幅更加明显。从涉及国家来看,来自美国、德国、日本、中国的论文占到3/4。撤稿声明通常都由被撤论文作者自己撰写。虽然有一些声明写得很明确并且很详细,但大多数都没有多少信息含量或者不透明。一般所述理由为:很遗憾由于研究结果无法重复,我们不得不撤销论文2刺激触发的多能性获得专门机构的验证、研究显示,不可验证的数量和性质均已呈现严重化趋势,但是这些发现不可验证成果的机制却是特例。我们将能够揭露、发现实验不可重复、结果不可验证的论文的机制称之为发现机制。当前存在多种发现机制:第一种是由期刊、医药公司、专门网站等进行有针对性的重复验证,能够发现一定数量的不可验证的科研论文研究成果。这一机制的实例除了上文所述的德国拜耳医药保健有限公司的研究、美国安进生物技术公司血液学和肿瘤学研究组的研究、美国《国家科学院院刊》的研究之外,还有一些组织和机构开展过这类验证工作,比如2012年“心理文件柜”(psychFiledrawer)网站对20余项具有影响力的心理学实验进行了一系列严格的直接重复研究第二种是更大范围内学术共同体的重复验证。虽然学术共同体的重复验证是科学研究和进步中的常规行为,但在现代科学中这种重复验证通常是因为研究成果本身足够“吸睛”受到学界广泛关注,其他研究者试图重复实验而无果,进而发现存在伪造数据或篡改数据等不端行为。小保方晴子的案例是一个典型。2014年1月29日,日本理化学研究所的小保方晴子团队在《自然》(Nature)上发表了两篇研究论文。研究声称将从新生小鼠身上分离的细胞暴露在弱酸性的环境中,能够使细胞恢复到未分化状态,并使其具备分化成任何细胞类型的潜能。他们将这种现象称之为“刺激触发的多能性获得”(STAP)。小保方晴子的论文一发表就引发了极大震动。在一片惊叹之余,其他研究者也很快提出了质疑。在论文发表的当天,美国加利福尼亚大学戴维斯分校的保罗·纽泼勒(PaulKnoepfler)就在他的科学博客上一口气提出了6个问题,其中第一个问题就是“这个结果能被其他实验室再现吗?”接着,世界上多个实验室开始按照论文提供的方法重复实验,但都无法重复出相同的结果。这一事件的最终结果是小保方晴子在全方位监控条件下无法再现STAP细胞,日本理化学研究所调查认定小保方晴子在STAP细胞论文中有篡改、伪造等问题,属于科研不端行为。小保方晴子的论文之所以能够在非常短时间就受到极大关注,继而多个实验室和多位研究者跟进展开重复实验,在很大程度上是因为她的研究足够“吸睛”:一是以第一作者身份、同一天在影响因子极高的《自然》杂志发表了两篇文章;二是研究成果本身非常震撼,小保方晴子提出的STAP方法从操作性来说,远简单于2012年诺贝尔生理学或医学奖获得者山中伸弥提出的IPS方法,如果可行的话,将大大提高多能干细胞的制备效率,将又是一个诺贝尔奖级别的成果。在这种情况下,论文一发表就引起了学界的密切关注,之后的验证活动可谓顺理成章。第三种是一定范围内同行(同事、合作者、领域内同行)的监督和举报。这是科学共同体自我管理的模式,但我们可以发现被举报揭发出来的不端行为只是冰山一角,还有大量的不端行为一直潜在水底。其中一个原因就是很多有问题的研究成果具有一定的创新性但又没有非常扎眼、引人注目到最终引起身边同行的怀疑而被举报,进而被发现成果不可验证,甚至存在不端行为(比如小保方晴子案例)。荷兰社会心理学家戴德里克·斯塔佩尔(DiederikStapel)的案例是一个典型。斯塔佩尔时任荷兰蒂尔堡大学社会心理学学院社会与行为科学系的主任,在世界顶级期刊上发表过多篇论文,其中数篇论文很有影响力。2010年,一个研究生在斯塔佩尔帮他做的3个实验数据中发现了一些问题,在他要求看原始数据时,斯塔佩尔推脱没有保存数据。同年,另一位研究生仔细检查了斯塔佩尔近年来提供给他的学生与博士后的实验数据(其中有许多构成了他们博士论文或已发表论文的基础),发现多处问题,最严重的一处是斯塔佩尔明显复制、粘贴了一组数据,导致表格中有两行数字几乎完全一致。之后,这两位学生将此事报告给社会心理学学院院长马塞尔·泽伦伯格。之后实验室的几位年轻研究人员也向荷兰蒂尔堡大学校长报告斯塔佩尔在实验中有欺骗行为。2011年11月底,荷兰3所大学联合公布了调查报告,称斯塔佩尔在至少55篇论文以及10篇博士生论文中有造假行为。之后,斯塔佩尔在《科学》等发表的30余篇论文均因学术造假被撤稿。斯塔佩尔之能够长期造假而不被发现,关键在于他对业内文化的深度了解。他曾解释,“我并不研究奇怪的课题,我从来不会设计一个实验去证明地球是平的。哪怕我的确在背后操纵,但我总是检查了我的实验是合理的,它们有其他实验结果的支持,而我不过是踏出了每个人都在期待的那一步。我的实验假设总是基于阅读大量的相关文献。只有这样,我的结果才会是可信的。大家都希望看到有创意的研究,但它也得是真实可信的。你得有本事证明,这不仅是个富有创意的新研究,还是一个符合人们直觉的研究”第四种发现机制基于同行评议的纠错机制。在现代科技成果发表体系中,期刊论文是最主要的成果体现形式之一。20世纪中叶以后,同行评议成为科技期刊出版的基石,这与二战后论文数量的激增以及期刊种类和数量的激增密切相关。同行评议首先是保障是期刊出版的质量,但同时,同行评议中的专家审稿过程以及期刊的编辑过程也有望阻止可能存在错误,或者存在伪造、篡改等行为的不可验证的论文发表,可以称之为纠错机制。当然,纠错机制的确发现并防止了这样一些论文发表,但是仍有相当数量的不可验证的所谓成果发表了。虽然其中一部分已经被发现、处理,还是有相当数量未被发现。第一、二种发现机制虽然发现了不少问题,但它们难以形成针对所有论文的有效的检查机制。第三种、第四种发现机制更加具有“普遍意义”,应当可以发挥更大的作用,但是在斯塔佩尔的案例中我们看到,斯塔佩尔能够在长达15-20年的时间里制造和发表大量数据伪造、论文却未被发现,而举报者在举报过程中也面临多重压力和阻力,不能不说这两种发现机制是存在困难的。因此,从整个科技界和出版界来看,问题与揭露显然不成比例,已经曝光的不可验证的科研论文成果可能只是冰山一角,大量的事实还未浮出水面。3对问题的解决可能导致关系的不稳定性在大科学时代中,科学家几乎不可能完全依靠个人,不与他人交流或合作。在科学研究过程中,同事、合作者、领域内同行间交流合作、相互促进,同时也会形成特定的相互监督。同时,科研成果也需要公开发表,发表之后也就进入到了更大的检验范围。应该说,在理想状态下科学共同体内的这种交流合作、互相监督、信息分享的机制有助于发现问题,然而为什么那么多问题没有被发现?我们来看更加具有普遍性的第三种、第四种发现机制面对的困难。与很多造假行为被揭露的情况相似,斯塔佩尔的行为也是被其身边的合作者所怀疑并举报,继而由大学立即组织调查。同行监督和举报机制无疑是有效的。但是,众多不端行为举报和调查、处理的案例都显示这一机制实际上面临很多困难。科学社会学的研究表明,科学家不是单纯地追求真理的探索者,他同时还处在科学体制中。面对科研不端行为,科学家可能面临人际、制度上的阻力,举报可能会导致自身或机构某些利益受损。这在很大程度上导致同行监督和举报机制可能失效。比如根据斯塔佩尔所在的蒂尔堡大学调查委员会的初期报告,斯塔佩尔实验室的其他研究人员曾几次提出过问题,但都没有了下文。最终,几位年轻研究人员鼓足勇气收集证据并向院长报告。“举报者冒着风险向前走,大学当局要做出恰当回应也困难重重,因为当欺诈行为被断言时,学生、同事和大学都有相当的损失”期刊的同行评议和编辑程序为何没有筛查出存在伪造、篡改等行为的不可验证的成果?同行评议本意是对论文的研究发现的价值、意义、重要性和创新性进行评价,从而提高发表质量。在传统的同行评议制度中,审稿人对所评审的研究结果并不负有重复验证的责任。而作者的有意造假、篡改、筛选数据等欺诈行为,往往具有较强的隐蔽性,无论是单向匿名(单盲)评议、双向匿名(双盲)评议外还是开放评议,常常都很难发现问题。近几年发展起来的利用网络技术完善审稿过程、保证期刊质量、缩短出版周期的评审模式———交互评议方式,在进行传统同行评议的同时,将论文放入网络数据库,充分利用网络的潜力鼓励审稿专家、学术同行和作者参与交互式的科学讨论,这些对审稿和编辑程序的完善虽然有更大的可能性发现问题,但是仍无法杜绝问题。在论文发表之后,实际上它将面临更大范围的科学共同体的检验。理论上同行们可以按照论文所提供的方法进行重复实验,重复实验是证明一项成果是否能够被验证的最直接的方式,但是同时它也非常耗时、耗力、耗经费,而且几乎没有可能成为创新性工作。因此,一般研究人员基于各种考虑,很少只为求证而去重复他人的研究工作。这一抑制性因素使得同行极少开展重复验证,从而在很大程度上使得欺诈行为不易被察觉。能够主动进行这类工作的,如前所述,主要是企业研发团队、出版机构、编辑学会等,比如美国安进公司(Amgen)、德国拜耳医药保健有限公司(BayerHealthCare)、美国《国家科学院院刊》(PNAS)等,有着开展这项工作的需求和动力:新药研制、医疗技术研发都需要经过严格的科学研究和试验,为了减少研发投资成本和风险,很多制药公司通过运行内部目标验证项目,即通过验证公开发表的成果来直接获取自己的研究积累,而公开发表的期刊论文、学术会议报告是重要的参考基础,有同行审议和高影响因子,在世界一流学术刊物上发表的论文一般被认为是至少在真实性上是“可靠的”。因此,生物技术公司愿意开展重复实验验证论文的成果。而出版机构、编辑学会等则更多地是从维护出版秩序和发表质量的角度介入这个问题。这些组织和机构由此关注到并开始研究科研论文成果不可验证的问题,虽然这成为了一种有效的发现机制,但是这类工作具有学科、领域限制,往往只能发现问题的“九牛一毛”。4验证结果的大力适用层出不穷的存在不可验证问题的科研论文的发表显然损害了科学研究的社会声誉,进而削弱社会对科学研究的支持,影响了科学研究事业的发展。当前发现问题的各种机制面临困境,也提示亟待探讨、制定和实施相应的对策。然而,重复实验、验证结果是非常复杂的问题。从科学家个体的视角,它是一个研究与发表的诚信问题,涉及到实验设计、数据收集、数据保存、数据使用等的规范;从科学家群体的视角,它是一个科学共同体治理的问题,涉及合作研究、同行评议等;从科学研究事业的视角,它是一个科研管理的问题,涉及科学评价、不端行为调查与处理等。因此,就对策来说,它涉及科学家、出版商、研究机构、学术团体、资助机构、管理机构、企业、公众与传媒等不同主体,需要各方采取更多的办法和设置更多的环节来应对,一些举措已经开始被采用。4.1对研究设计的评估项目评审、论文评审均直接面对那些可能存在错误、伪造、篡改及其他一些不当行为从而导致结果无法验证的研究申请和学术论文。因此,评审理论上有很大机会发现问题。但实际上我们可以看到,利用传统的评议程序发现问题非常困难。为了更加有效地发现问题,在传统的同行评议程序之外,还需要做更多的有针对性的评估工作。比如,美国国立卫生研究院(NationalInstitutesofHealth,NIH)的一些研究所和中心正在测试一种核对单,以提醒基金评审人对研究设计进行系统性评估。核对单提醒需要核对的内容包括实验设计是否适当,数据搜集和分析是否依照随机、单或双盲原则等。2013年,NIH已经对这一改革内容进行了尝试,要求每份申请书至少有一位评审人对项目申请所依据的关键文献的科学性进行专门评估。2013年5月《自然》集团声明,废除对研究方法部分篇幅的限制,以确保作者对关键技术方法的详细描述。编辑和评审人通过“核对单”对实验设计进行评估,同时鼓励作者在线提交更多支持论文的原始数据。之后《科学转化医学》和《科学》等杂志也相继提出了与《自然》类似的规定4.2对重复验证工作的关注虽然重复实验是证明一项成果能否被验证的最直接的方式,但是由科学家自己开展重复实验显然不够客观,都由其他科学家开展重复实验也不现实,而期刊、资助机构等也不具备相应的条件。重复验证工作面临很多实际困难:一则它耗时、耗力、耗经费,不是所有的研究或机构都能够负担得起的,有数据显示对一项重要论文开展独立验证性实验至少需要花费25000美元因此,独立第三方验证受到关注。NIH最近的系列改革中已有一些资深官员在考虑要对一些与临床应用关系密切的研究项目增加常规验证性实验流程。一些NIH的研究机构已经在这方面先行一步,比如Silberberg负责神经病研究所重复性研究项目,已经开展了一个预实验,针对许多科研机构正在准备将一些动物实验证明有效的药物进行人体监测的研究进行验证4.3确保实验内容的特性,避免造成虚假研究的数量和质量上的错误实验数据公开,提高研究的透明度,是应对不可验证问题的另一个重要思路。这是因为数据公开可以让研究接受更大范围的公开检验。“让数据有更高的透明度,包括将数据存入数据库中让本领域中的其他科学家也可获取,这样也许可以提高造假行为被检查出来的速度,研究人员也应该仔细分析他们将要发表的材料。尽管有科学家担心自己的分析被批评或工作被抢先而不愿分享数据,但增加透明度是重要的方法之一”以PLOSOne为代表的一些杂志已经要求作者共享数据;必须共享的数据包括用来得到论文结论的数据以及能够用来让他人重复研究的方法;杂志有权要求作者提供某些特定的数据。作者需要使用公共数据库上传数据,这些数据库可以是专业领域内的,也可以是通用的。包括伦敦自然出版