学术不端检测系统说明

1、学术不端文献检测系统研制介绍与使用方法第一章系统简介系统概述学术不端文献检测系统 简称“AMLC以?中国学术文献网络出版总库? 为全文比对数据库,实现了对抄袭与剽窃、伪造、篡改等学术不端行为的快速检测,可供用户检测学位论文,并支持用户自建比对库.其系统示意图如图1所示.图1检测系统示意图系统技术路线介绍AML麻用CNKI自主研发的自适应多阶指纹AMLFP特征检测技术,具有检测速度快, 准确率,召回率较高,抗干扰性强等特征.支持篇章、段落、句子各层级检测；支持文献改写,多篇文献组合等各种文献变形检测；支持论文、图书专著等超长文献的学术不端检测.CNKI自适应多阶指纹技术原理如图 2所示：图2 C

2、NKI自适应多阶指纹技术原理图对任意一篇需要检测的文献,系统首先对其进行分层处理,根据篇章、段落、句子等层级分别创立指纹,而比对资源库中的比对文献,也采取同样技术创立指纹索引.这样的分层多阶指纹结构, 不仅可以满足我们对超长文献的快速检测,而且,由于我们的最小指纹粒度为句子,因此,也满足 了系统对检准率和检全率的高要求.原那么上,只要检测文献与比对文献存在一个相同的句子,就能 被检测系统发现.系统功能概述系统主要功能包括：已发表文献检测、论文检测、问题库查询、自建比对库治理等. 已发表文献检测：指检测系统能够自动将属于用户的已正式发表的学位论文检索出来,并对每一篇已发表文献进行实时检测,快速给

3、出检测结果. 论文检测：主要实现论文实时在线检测功能. 问题库查询：指用户可以将检测结果中确认有问题的文献放入到问题库,便于用户集中治理. 自建比对库：指治理人员可以选择将检测文献放入个人比对库或者批量上传文献作为个人比对库,该个人比对库即可作为以后学术不端文献检测的比对数据库,该自建个人比对库完全属于用 户,其他用户无权使用.系统目的AMLC目的是辅助各研究生培养单位对学位论文质量进行评估,为审查论文提供技术效劳. 检测系统在对论文进行检测之后,生成检测报告,为判断论文性质提供相关依据.第二章检测原理及方法支撑技术CNKI拥有强大的技术研发队伍,目前已经拥有了具有国际或国内领先水准的全面的数

4、字出版的 相关技术,包括资源采集技术,文本数据库加工技术,文本数据库技术,数字资源版权保护技术,知识挖掘技术,自然语言处理技术、快速比对技术等.在海量的全文数据的根底上实现快速准确的检 测,上述技术是根本的保证.支撑资源AMLCI要一个尽可能完备的全文数据比对资源库,而 CNKI的?中国学术文献网络出版总库? 那么正好满足这一要求.到目前为止,CNKI拥有学术期刊7000余种,期刊全文文献 2480万篇,期刊期数和文献收录完整率都大于 %文献量居国际国内同类产品之首；出版 503家硕士学位点的72万 篇优秀硕士学位论文,368家博士学位点的万篇博士学位论文；1286家重要会议论文106万篇；5

5、15家重要报纸500多万篇；1376种重要年鉴787万篇；600多种工具书220多万条；学术引文索引数 据600多万条；这些出版物做到平均日更新20000条记录；国家标准、专利、SPRINGE散据库也集成到CNKI网络出版平台中；另外,出版平台还集成整合出版了各类第三方数据库资源1020种.在收录资源种类上,CNKI在国内具有明显优势,收录了期刊、学位论文、会议论文、报纸、年 鉴、工具书、专利、外文文献、学术文献引文等与科学研究、学习相关的主要资源.在资源收录数 量上,CNKI明显优于同类产品,各个资源库收录年限长,期刊等主要资源库回溯到创刊.在资源更 新速度上,CNKI产品除了第三方合作的外

6、文文献以外,其他资源都做到了日更新, 单日更新数量大,这是推行产业化、标准化运作的结果.系统架构模式2.3.1 系统架构图图3系统架构图2.3.2 系统示意图检测系统提供整套的文献学术不端行为检测,系统效劳器位于CNKI中央网站,用户将待检测的学位论文通过网络在线提交到中央网站效劳器,效劳器在检测完成后,自动将检测结果返回给用户.整套系统架构为 B/S结构,客户端不需要安装任何软件.其系统示意如图4所示：户有源用自资利文专全纸献报文议文会论位文学施刊术献期学文图4系统示意图2.3.3 系统流程图图5系统核心流程图用户提供的资源实现学术不端检测,用户需要提供的资源包括：1 .论文全文内容论文全文

7、内容是检测论文是否存在学术不端行为的根底数据.本检测系统是对提交的论文全文内容进行分析,在内容分析的根底上,生成各项检测指标.因此,全文数据是系统所需要的必要资 源.2 .元数据信息元数据指论文相应的作者、作者单位、发表时间、支持基金工程等信息.元数据是检测系统对 学术不端类型进行判断所需的根底数据,为了更准确的便于系统做出预判,用户可以在提交检测文 献的同时,一并提交文献的元数据信息.特别提到的是：在进行论文检测的时候,作者信息是非常必要的.输入作者信息,在后续的检 测过程中,系统能够自动根据作者信息区分比对资源中的文献是属于该作者已发表的文献,还是他 人的文献,为用户快速甄别论文是否存在学

8、术不端行为提供更直观的印象.由于在学位论文中,引 用自己以前发表过的文献是合理的.注意：元数据不是系统必需的数据,用户在使用检测系统的时候,可以选择不填写元数据.但我们建议最好输入作者信息.检测结果内容在对用户提交的检测文献检测之后,系统生成的检测结果包括：1 .重合文字来源文献信息.系统详细列出重合文字来源文献信息,这些文献都是真实存在,而且应是公开发表或得到发表确认的.2 .比对信息.检测文献和来源文献的详细比对信息,用户可以快速选择重合文字局部查阅.3 .总检测指标.该指标体系从多个角度对检测文献中的文字复制情况进行了概括性描述.4 .子检测指标.由于论文一般较长,因此,系统一般按章检索

9、,并且每一章给出子检测指标,该检测指标从多个角度对该章内容的检测情况进行了详细描述.5 .诊断类型.系统根据指标参数以及其他元数据相关信息,自动给出一个预判的诊断类型,供审查人员参考.6 .检测报告.检测系统自动生成一个检测报告单,详细列出检测文献的学术不端行为检测情况,用户可以对该报告单进行修改,生成终审报告.注意：系统只对疑似存在学术不端行为的论文生成检测报告.第三章检测指标体系学术不端行为检测系统采用的指标体系分为两个局部：总检测指标论文一般文献篇幅较大,字数多,硕士论文一般为35万字,博士论文那么多达十多万字.因此, 为了让用户对整个论文有一个快速的概况了解,特制定了以下指标体系：总重

10、合字数CCA总文字复制比TTR总文字数TCA疑似章节数QCA总章节数TCA首部重合文字数HCCA尾部重合文字数ECCA上述指标从整体情况描述了论文的检测情况,便于用户快速了解该论文总的检测概况.下面对 上述指标分别进行说明.3.1.1 总重合字数CCA论文一般篇幅大,少那么 35万字,多那么十多万字,假设以文字复制比来衡量一篇论文的文字重合情况,那么不太适宜.由于对于一篇十几万字的博士论文来说,10摩已到达1万字,文字复制情况已经非常严重.因此,对于博硕士论文检测,检测系统使用绝对字数即总重合字数作为检测结果的核心指标.如图6所示：图6总重合字数例如3.1.2 总文字复制比TTR总文字复制比那

11、么是指论文中总的重合字数在总的论文字数中所占的比例.通过该指标,我们可 以直观了解到重合字数在该检测论文中所占的比例情况.3.1.3 总文字数TCA总文字数是指该检测论文所有包含的字数,文字复制比与总文字数的乘积即为重合字数.3.1.4 疑似章节数QCA、总章节数TCA疑似章节数是那么检测论文疑似存在学术不端行为的章节的数量.总章节数那么是指论文总的章节数对于不按章节显示,而是根据固定长度切分的论文,每一段落为一章节.3.1.5 首部重合文字数HCCA、尾部重合文字数ECCA首部重合文字数指学位论文前 1万字中重合的文字数量.尾部重合文字数是指除去前1万字,剩下的局部中重合的文字数量.对于论文

12、,一般开头局部均是综述性的报告介绍,其重要性远低于 论文尾部.子检测指标对于论文的每一章节,又制定了如下检测指标来反映该章节的检测情况,对于一篇论文来说, 每一章的内容各异,重点也不一样,其核心工作内容一般主要存在某几章中,子检测指标可以让用 户迅速了解每一章节的检测情况.子检测指标包括：文字复制比TR重合字数CNW最大段长LPL平均段长APD段落数PN段文字比PR首部复制比HR尾部复制比ER引用复制比RR *上述指标从多个角度反映了检测文献的检测情况,便于用户进行针对性审核.下面对各项指标 分别进行说明.3.2.1 文字复制比TR由于论文一般文字量较多,为了便于用户快速浏览检测结果.系统会自

13、动对论文进行切分处理. 有如下两种处理方式：1 .假设用户提交的论文是 MS Word格式,且根据MS Word格式生成了文档目录,检测系统会自 动识别论文章节,按论文实际章节信息显示论文内容.2 .假设论文不存在明显的章节信息,或者不是MS Word格式论文,那么系统会自动根据每段 1万余字符切分论文,根据切分后的结果显示.文字复制比即指论文切分后每一章节段落的文字复制情况.文字复制比即指论文的某一章节与比对文献比较后,重合文字局部在该章节中所占的比例.比例越高,反映该章节越多的文字来自于其他已发表文献.文字复制比反映了文章“抄袭的文字数量比例,一般来说,文字复制比越高,存在学术不端行为的可

14、能性越大.文字复制比情况如图7所示.剧皿孑$： S*声旧1 wc*. *一 1WS9 科.IMHMi MBH . j1OflVBR (RI*V,9 MMttM* IV* VBVmiHW MfWBMMBBB tbobnbma , vowsomBn *. !* I 99M1 4*9V*F*riV .*1 0BVt 工,WMHWBMi00 WW!WMINMll*VinM Vi r*HMHVrV . *g1 . “4k* * t*41* O MiMHOv WttflMMWifB,* *VW4MdiB： *wVMiM0W理*r. r *W. i IMlV1*1H Vb*O*KMkh-iM MVMMLtO

15、v*aoimms *ivm * wbwm0-Jtas,tW04AMt -*o I fatomna *mp bk *齐 F,iE,匕芈工隙孑好书里一看户判n* T-Her士褶电震Ml4i w图8重合字数例如最大段长LPL、平均段长APD、段落数PN在论文检测中,当连续文字超过一定比例时,称之为段.在本系统中,一般认为,连续200以上文字称为段.与比对文献重合的最大段长度即为最大段长.最大段长反映成段抄袭特征.连续的文字越长,抄袭的可能性越大.在论文中,所有段的长度的平均值即为平均段长.在论文中,所有段的数量为段落数.平均段长和段落数反映了重合文字在论文中的分布情况,一般来说,指标参数越高,存在学

16、术不端行为的可能性越大.如图 9所示,标红局部的连续文字构成了段,而且它是算法设计的抄袭,审查人员比较容易判断；而在图 10中,标红文字不构成段,连续文字较少,对它的性质判断那么可 能需要更多的信息.r?什W划我引H9r 中立站t n ilwfcl I - A- d* MMMWM - IWVCWWttRv V* 二r MM* i flWS * nWWikflBP* -BKIIBBB 4M*- *-4*m*NM* ；liiBBHvmi Of MS ; 4 4mBiKM: . MBB *.aZnB图9段落复制例如-* j H* ,kep r 一力. i/ . ,图10句子复制例如段文字比PR在论文

17、的某一章节中,所有该章节文字重合段的字数之和占该章节文字数的比例为段文字比. 段文字比反映了抄袭连续特征.一般来说,连续文字出现的越多,比文字分散出现的情况更可能存 在学术不端行为.首部复制比HH论文某一章节的前20%称之为章节首部,首部的文字复制比为首部复制比.就中文文献来说,一般每一章节正文开头局部出现的是综述性语言,重要性相对偏低.如图11所示,左文和右文开头大段相同,但文字内容根本都是综述性的介绍.图11首部复制比例如尾部复制比ER每一章节的后80%称之为章节尾部,尾部的文字复制比为尾部复制比.通常情况下,尾部文字内容就重要性来说,比前部文字内容要高.如图 12所示,我们仔细查阅比较图

18、11和图12的内容发现,图11中首部文献是综述他人工作,而图12中尾部文献那么是阐述自己的研究工作的目的和意义,应该是作者个人工作的表达,在这局部直接抄袭他文,性质要严重得多.将M同i JWS图12尾部复制比例如引用复制比RH引用复制比指与存在引证关系的文献的文字重合局部的比例.对于论文来说,存在引证关系与 不存在引证关系的复制局部应区别对待.复制了他文内容,而不注明引用,性质要更加严重.同时 我们也认为,不是所有的注明了引用的,就不存在抄袭,引用也应有一个度和范围的限制.第四章类型及实例介绍根据上面的检测方法和指标体系,TMLC够处理多种的学术不端类型.在论文检测中,一般不存在不当署名、一稿

19、多投等学术不端行为.对于论文检测中的各类学术不端行为,根据性质的严重 性由低到高排序,主要包括：抄袭、篡改、伪造等.下面分别进行介绍.抄袭根据重合字符数量与文字复制比例可以将抄袭划分为：类型重合文字条件总文字复制比例轻度句子抄袭各连续重合文字均10%句子抄袭各连续重合文字均=10%轻度段落抄袭存在连续重合文字=30% 且 =总字符数/2=50%针对各种类型,下面分别举例说明:1.轻度句子抄袭XTRtni =1里费加X* * AMI Mn rf*M MB *- .一4A * .-,. .wM* *MBMMMMBaMMWMMM*- t*W* M*rv m H f aMrlW ,4 MM1 fl4*

20、. .i * * -：.,4V*B*W) : *,1W,、 *.*+ -*. .ItWWMMI *,.4MffWt.n9 w*1*, * *(* mv* maa,vMww* i w 6J ,!* MMMBBW* - nr * -4M；,-* * *v MM4 fl1 9h |tt4flWHB-,feo . ft. 4-* * 40ftVf Zi MV1*- tOW V0B*|i tttilflOi . M WB s* MF* Ml1 Otfm*.1.jEiiOT S .JW . f 副 i*, ,.-1, *4 z 44:4 1 pObs 0 *工-f1M4HWMI 9 M0 询aMiiP f

21、tt*i mmhn iM-iAtu immO ar* t*mm、, r 4MmB- MMM- 4frWWJWMM V *M *v* * -* - w o t图15轻度段落抄袭例如4.段落抄袭修世能陪!1H4M . t VWMBBtflBSBRff r9BA*W FWVVB41i 事,*v fltaHtw 4vi! .44J4SiMrWMBOtM81 MMVB1a 4* .一 BOftV-flMtf*0 . ffwif1. . . ,j VWBVh 4AMBr1*9 . ,* firU - fcfc 1 *Ik r t -M iriM ,ftr卡5.整体抄袭图16段落抄袭例如与讯 E3TTMii

22、 IBh.MS!却删产耳才, 打,串：BI* 一 * 9 XwBOWBS vWWMMn.f,MflUM*,* 三v rmiMVVAAMOMW kAuMROiMll *vn, *OMb*M*B*, MMV*W*,9* * - B- Bt O*11 MMVMVWIH .* 隼J 41V*t*lflM,OMBhMOOBB-iVMBMRaBvV 图17整体抄袭例如另外,根据抄袭来源还可以将抄袭划分为：1单源抄袭：重合文字全部来自于一篇文献；2多源抄袭：重合文字来源于两篇及以上文献.如图18所示,重合文字来源有 13篇文献,属多源抄袭.1,：.；麻hiehw tck.i r埠 钎僻长二费雪二；/EK；r

23、 cwr+1w &nerrFMK&ll.E.W e iwi +1IffMffl M.AMMWfrMKTMM9KAF/I* K4*f Wt,* q rE ！ & WWh? fltd E-iL e 3 m* 事文,图18多源抄袭例如篡改是指根据期望值随意篡改或取舍数据,以符合自己的研究结论,一般有主观取舍数据和篡改原始数据等形式.对于篡改,系统也具有一定的手段进行检测,首先来看一个例子,在一篇文献中提到：分词的准确率为%词性标注的准确率为 %利用CNKI已有的相关技术,系统可以快速检测与分词准确率 和词性标注准确率有关的数值信息,供审查人员参考,对文献中数据值远高于当前公布的数据值的 情况,提醒审

24、查人员仔细核查,如图 19所示.1月M II潴试小组从尿注的讲科库中的机抽UZIH曲说那*,建词校/了分词和词性 标注的情况.经3比诩打咋分词的淮礁率为叫66%.词性柝注的潴确事用昵.7骚.I 的114开门凝果域定介.赛定委员会听职读黑纸聃研制料3印技术报吼听 取了攀定委M公能试小机的黑试板母和两份HI户报告：审住广曝!1的科舞文力窠材料. 井现软件银统的现墉演示.过认K的讨论第定杳员会认为；中一理司西薄也“胃突鼻Hi帆巾：一白:胃工也一厘 H*.陶生跄副刊径篇的U R-二尊且设5】崎乃受眄: - U事惊虻通口通不U,*I匹* THU豆g胡枭M阊HWM1遗的曲塔跪瑰 十 1 .,.Kfr如HL

25、；不M ft化就血字向#i+赛济免中央归国片帖叫用,气M趋袅;L 7*划*毗的赫畸华m)何隹福正、号舟可苣米?14 5r 唉力 i mvtu* MV的*9箱情*应于川上雷中兼代布,也常年小金,也分寿即黄茸*%才K侑才,BK;己在中立修也-力受电事贡装性电及,丛Sxc以b芋匕计才境的伸叫y帽手工圆阳1.力同.41 IMLiiMlBl 叫,J -时由或:*正aect,a amm年场为./“1-8旗HI SXXSflfiMiLt k ： 丁丁 l r.； ,-.),图19篡改检测例如在图中,上面黄色标示的是检测文献中描述的分词准确率和词性标注准确率,下面局部那么是在CNKI特色搜索功能一一数值搜索中

26、检索到的当前关于分词准确率和词性标注准确率的描述.我们可以观察到,当前检测到的所有关于分词准确率和词性标注准确率的描述文字中,其数值均低于检测文献中所描述的数值,因此,我们有理由对检测文献中的分词准确率产生疑心,提示审查人员进一 步核查.伪造伪造的特点：新研究成果中提供的材料、方法、数据、推理等方面不符合实际,无法通过重复试验再次取得,有些甚至连原始数据都被删除或丢弃,无法查证.伪造包括的方面很多,可以伪造数据、伪造基金、伪造工程、伪造数值、表格、图形等.伪造基金/伪造工程：有些论文中虚设基金、工程支持,这种情况可通过查询政府相关基金项 目库可以快速验证；伪造数值、图表等知识元,那么可以通过C

27、NKI已有的成熟的数值搜索技术、图表搜索技术进行查证,起到警示作用.注意：伪造是检测难度最高的不端行为,还需要做进一步、更深的研究.其他类型学术不端类型肯定不止上面列出的几种,其他目前能够有所处理的类型还包括：1 .引用杜撰别人根本没有说过的话,自己编造,却作为他人的话引用.尤其是杜撰引用国外学者.2 .引文杜撰根本就不存在的文献,杜撰一篇引文.第五章系统功能及实例分析TMLCE要功能包括：已发表文献检测、论文检测、问题库查询、自建比对库治理等,下面分别 结合例子进行介绍.已发表文献检测各注册用户可在权限范围内查看本单位已被CNKI正式收录论文的检测结果.对于确定有问题的文献,还可以将其直接放

28、入问题记录库.其流程图如图 20所示：图20已发表文献检测流程图用户可以选择具体某一年的论文进行查阅检测,也可以通过页面提供的检索功能,检索某一个作者的论文或者根据论文篇名检索具体的某一篇文献,如图21所示.图21已发表文献检测列表注意：由于相关原因,所有例如中涉及具体单位和个人的信息根本都隐去.选择某一篇论文,点击论文标题,进入下一个页面,对于论文来讲,一般会被切分成几个到十几个段落,用户可以依次点击查阅,如图 22所示.图22已发表文献切分段落点击每一段落查看详细的检测结果,包括：检测指标,重合文字来源文献的信息以及与其文字 复制比,在页面下部还标红了所有重合的文字.让用户快速了解到选择文

29、献大约有多少文字与其他 文献重合以及重合文字所处的位置等,如图 23所示.孩中岫用O si fiTnEsn： swjUbt晒珀的唾=匿箍=西躲瓯1155T碧恻e怪蛤IS麒1g那么.tfjrsttdL： k ditn./诩断图23检测结果页面1再选择点击某篇重合文字来源文献篇名,进入下一页面,该页面显示了检测文献与重合文字来 源文献具体的比对信息,两篇文献所有重合文字局部均有蓝色字体标示,用户可以选择左文的任意 蓝色文字点击,其字体颜色变为红色,同时,右文中与之相同的文字段将自动标红,并自动定位到 页面的上部,便于用户查阅,如图 24所示.5用芬才,出：匚二:s崎川Him;相瓷技布x士自；图24

30、已发表文献检测页面225所示.点击图24页面中的“查看原版比对按钮,还可以查看论文的原版比对,原版是指文献发表 时的排版样式,这使得用户可以快速确实定网页所指文献是否与原版文献文字一致,如图图25原版比对页面论文检测该项功能提供对论文的实时在线检测.将待检测文献通过互联网提交到检测系统效劳器,系统根据论文长度大小将在数秒内返回检测结果给用户.包括以下特点：(1)多手段论文提交方式.在线提交论文的方式包括三种：一是单篇论文在线提交,可以选择需要检测的某一论文直接上传提交；二是批量论文在线提交, 可以将需要检测的多篇论文压缩为一个zip格式或rar格式的压缩文件,然后提交压缩文件至检测效劳器,系统

31、将自动处理压缩文件,完成压缩文件内所有论文的检测；三是手工录入方式,可以在线录入一段文字进行检测,如图 26所示.(2)多格式论文处理水平.系统能够自动处理MSWord、PDF CAJ HTML TXT等多种格式文档,如图26所示.图26提交文献页面(3)文件夹式治理方式.为便于用户治理,系统采取了用户完全自主的文件夹式治理方法.用 户可以创立文件夹,设定文件夹的各项系数,包括：比对专业范围选择、检测时间选择、比对数据 库类型选择等.在创立文件夹之后,当用户将文献提交到选择的文件夹之后,系统将自动根据该文 件夹设定的各项系数进行检测,而用户无需每次都进行系数设置操作.而且用户可以随时对文件夹

32、系数进行修改,重新设定文件夹系数,如图 27所示.的要Im8杆I丽7小衣电 口才白灯厢车Mv净H 好于1章光于图27文件夹式治理页面(4)便捷的文件夹系数设置.用户可以设置比对专业,例如只选择医学领域文献作为比对数据库；可以设置检测时间,例如只选择2000年到2007年的文献作为比对数据库；可以设置比对库类型,CNKI收录了期刊、学位论文、会议论文、报纸、年鉴、工具书、专利、外文文献、学术文献 引文等与科学研究、学习相关的主要资源,这些资源构成了检测系统丰富的比对库类型,用户可以 选择一种或多种比对库进行检测,在检测系统中,用户在提交论文页面下,选择创立文件夹链接, 将出现如图28所示页面,供

33、用户设置文件夹各项系数.图28文件夹系数设置(5)用户完全自主的限制模式.对于用户提交的所有文献,用户拥有完全的处置水平,可以随时进行删除.不仅可以删除某一篇文献,还可以删除整个文件夹,如图27所示.注意：对于论文,因篇幅较大,系统只允许用户重新检测每一章节,不能对整个论文进行重新 检测.(6)快速的检测结果浏览方式.当系统检测完成后,用户可以快速的比对检测文献与抄袭来 源文献,系统自动将两篇文献文字重合的局部标示出来,便于用户进行快速查阅检查.同样,系统 实现了在文献原始格式(即发表时格式)上的标示比对,更便于用户准确把握检测结果,如图29,30, 31所示.iF-JjTrfAfl*ft；【