演化文摘系统的设计与实现毕业论文

苏州大学本科生毕业设计（论文）PAGEPAGE40演化文摘系统的设计与实现目录TOC\o"1-3"\h\u24243摘要 13144Abstract 213591第一章绪论 3327551.1自动文摘的研究背景 34421.2自动文摘的研究意义 3324511.3本文结构 317472第二章多文档自动摘要的概念及研究现状 4130382.1多文档自动摘要的概念 427212.2多文档自动摘要的研究现状 413506第三章实现演化文摘系统的关键技术分析 534233.1自动文档摘要技术 5323793.1.1自动摘录 6313593.1.2基于理解的自动文摘 661043.1.3信息抽取 6197913.1.4基于结构的自动文摘 7325973.2新闻脉络技术 716692第四章演化文摘系统的分析与设计 8179694.1演化文摘系统的结构分析 882194.2演化文摘系统的设计与实现 8157874.2.1待处理文档的读取 9289944.2.2文档自动摘要 9182014.2.3按时间顺序输出摘要结果 10295534.2.4友好的人机界面 119670第五章实验及结果分析 12260795.1语料的收集处理 12268135.2多文档的自动摘要 13320835.3实验结果及分析 1429675第六章总结与展望 1639126.1总结 16110626.2后续工作展望 162832参考文献 166019致谢 17PAGEPAGE40摘要现代社会是一个信息社会，人们生活在这个社会中会发生自己的身边充斥着各种各样的信息。当处于这么一个大数据时代，面对着每天快速涌现的海量信息，人们完全无法将这些信息全部进行阅读和吸收，因此如何对这些信息进行处理，进行选取和提炼出有用的部分就成为了人们迫切需要解决的问题。自动摘要是自然语言处理领域的重要组成部分，其主要工作就是对文档进行自动摘取，提炼文档的主要内容和思想。自动文档摘要技术的使用可以帮助人们解决这一难题，实现信息的压缩提炼，使人们可以方便地获取有用的信息。本文通过对自动文摘技术和新闻脉络技术的了解及其实现的技术方法进行分析，设计实现了演化文摘系统。该系统的主要功能就是对同一主题事件的多个文档信息进行自动摘要提取，并按时间顺序排列输出。其现实意义就是可以帮助人们在面对同一主题的较多信息时可以较为直观清晰地了解事件的发展过程，获得关键信息。关键词：自动文档摘要，新闻脉络技术，演化文摘AbstractModernsocietyisaninformationsociety,peoplelivinginthissocietywouldhappentofindhissidefilledwithavarietyofinformation.Wheninsuchabigdataera,facingtherapidemergenceofvastamountsofinformationeveryday,peopleareunabletoreadandabsorballtheinformationcompletely,sohowthatinformationisprocessed,selectitandextracttheusefulpartofitbecometheurgentproblemforpeopletosolve.Autosummaryisanimportantpartofthefieldofnaturallanguageprocessing,anditsmainjobistoautomaticallyextractthedocument,refinethemaincontentandideasofthedocument.Useautomaticdocumentsummarytechnologycanhelppeoplesolvethisproblem,toachievecompressionextractinformation,sothatpeoplecaneasilyaccessusefulinformation.Throughautomaticsummarizationtechniqueandunderstandingofthecontextoftechnologynewsandtechnicalmethodsimplementedtoanalyzetheevolutionofabstractsystemdesignandimplementation.Themainfunctionofthissystemistodocumentinformationonthesametopicmultipleeventsforautomaticextractionsummary,arrangedchronologicallyoutput.Itssignificanceisthatitcanhelppeopleinthefaceofmoreinformationonthesamesubjectcanbemoreintuitiveandclearunderstandingofthedevelopmentprocessoftheevent,accesstocriticalinformation.Keywords:automaticdocumentsummary,newscontexttechnology,evolutiondigest第一章绪论本章主要介绍了自动文档摘要技术的研究背景和研究意义，以及进行文档自动摘要的常规步骤，并在最后对本文的逻辑结构进行了介绍。1.1自动文摘的研究背景现代社会是一个信息社会，人们生活在这个社会中会发生自己的身边充斥着各种各样的信息。当处于这么一个信息爆炸的大数据时代，面对着每天快速涌现出来的海量信息，人们完全无法将这些信息全部进行阅读和吸收，因此如何对这些信息进行分析检索和压缩，并提炼出我们所需要的那部分信息就成为了人们关注的焦点，在这种情形下，自动文档摘要就成为了人们解决这一难题的强有力的帮手。1.2自动文摘的研究意义自动文档摘要可以帮助人们对大量的数据信息进行分析、整合，并根据用户的个人需要，对文档摘要的比例进行选取设定从而摘取出符合需求的文档信息。自动文摘技术的出现帮助人们在信息检索和信息处理方面节省了大量的人力、物力和财力，让人们在文档的编辑处理工作上节省了成本，同时也提高了信息查找的速度和准确度。此外，文档自动摘要技术不仅可以作为一个单独的系统来实现相关功能，也是自然语言处理领域不可或缺的重要组成部分，可以完成自然语言处理中的其他任务，同时，还是“大数据时代”被人们视为研究重点的数据挖掘、数据处理的重要环节。因此，自动文档摘要的研究可以帮助用户实现信息的快速检索，使用户能高效地接收信息，其现在的研究应用领域已经扩展到互联网应用和自然语言处理的多个方面，成为不可或缺的重要组成部分。总的说来，自动文摘技术的研究有利于推进科学技术水平的提高，是非常有必要的。1.3本文结构本文一共有5章，各章的具体内容如下：：绪论。这一部分主要向读者介绍了自动文档摘要技术的研究背景及研究自动摘要技术的现实意义，并对全文的结构进行了简单介绍。：自动摘要的概念及研究现状。这一章的内容分为两个部分，首先阐述了自动文档摘要技术的具体概念，其次对自动摘要技术的研究现状进行了详细介绍。：实现演化文摘系统的关键技术分析。这一章主要是对演化文摘系统实现过程中最关键的两个技术的概述与分析，分别是自动文档摘要技术与新闻脉络技术。第四章：演化文摘系统的分析与设计。这一章的内容与毕业设计有着紧密的联系，先是对需要完成的演化文摘系统的结构与所需实现的功能进行分析，然后完成各功能模块的程序设计与代码实现工作。第五章：实验及结果分析。这一章的内容是围绕已实现的演化文摘系统的具体实验及对实验结果的分析来写的，其中包括语料的收集整理，文档的自动摘要及时间序排列，实验结果的分析等多个部分。第六章：总结与展望。第五章是本文的最后一部分，这一章是对全文内容的一个总结，同时也对自动文摘技术的未来发展提出了设想和展望。第二章多文档自动摘要的概念及研究现状本章首先对自动摘要的概念进行了分析介绍，使读者明白我们研究的究竟是什么，其具体的工作原理是什么，接着叙述了多文档自动摘要技术的研究现状，让人们了解多文档自动摘要这一技术的进展情况。2.1多文档自动摘要的概念自动摘要是自然语言处理领域的重要组成部分，其主要工作就是通过句法分析技术，文本生成技术等自然语言处理技术对句子进行压缩和融合，简单来讲，就是对文档进行自动摘取，提炼文档的主要内容和思想。而多文档自动摘要技术顾名思义就是对多个文档进行自动摘要处理。2.2多文档自动摘要的研究现状多文档自动文摘就是将同一主题下的多个文本描述的主要信息按压缩比提炼出一个文本的自然语言处理技术（Radev等2002）。多文档自动文摘的研究工作最早在20世纪80年代开始，当时的研究工作还不具有普遍性，主要在科技文章中通过多种关系描述对科技文章的多文档集合进行描述，由于科技文章结构较强，关系容易刻画，得到的效果较好，但这种方法仅限于该领域，不利于推广。真正的任意域的多文档自动文摘的研究是在1997年开始的（Barzilay1997）。通常多文档自动文摘的过程包括三个步骤：文本分析、文本内容的选取、文摘生成。所谓文本分析是对原文本进行分析处理，包括文档主题分析、结构分析、篇章分析等，从而识别出冗余信息；文本内容选取是从文档中找出重要信息，通过抽取或理解的方法压缩文本形成文摘表示；文摘生成则实现对原文内容的重组或根据内部表示生成文摘，并确保文摘的连贯性。其中在文本内容选取这一过程中，通过抽取方法形成的文摘称为抽取型(Extraction)文摘，通过理解的方法形成的文摘称为理解型(Abstraction)文摘。理解型文摘的方法（Barzilay2005），一般是从文档中抽取反映主题内容的重要语言单位，如词、短语、句子等，再利用信息融合、压缩等语言生成技术生成摘要，摘要句不局限于源文档中的句子。该方法的优点是文摘结果跳出了源文档句子的局限，能够较好地处理冗余，且主题连贯。然而由于理解型方法对语言生成技术要求较高，缺乏可靠的理论支撑和技术，所以该方法生成的摘要很难付诸实用，目前仍处于实验阶段。抽取型文摘是提取文本中现成句子，不做处理或稍做处理，重新组织顺序后组成摘要。这种方法的局限在于，性能严重依赖于源文档中句子的质量，且对于多文档自动文摘，由于句子来源于不同文档，句子的顺序和组织也会大大影响摘要的可读性和连贯性。但其产生的文摘对人类浏览和判断是有帮助的（Hirao等2002），并可保证摘要句的语法，是目前理论研究的主要方向。第三章实现演化文摘系统的关键技术分析在演化文摘系统的实现过程中有两个关键技术难点：（1）如何进行文档内容的自动摘要，（2）如何对多文档的摘要内容进行时间排序。在进行文档内容的自动摘要时需要研究并使用的技术就是多文档自动摘要技术，而对摘要内容进行时间排序则需要使用到新闻脉络技术。下面是对这两个技术的详细介绍。3.1自动文档摘要技术经过近些年来人们的不断研究，自动文档摘要技术的研究成果显著。根据所处理文档的类型不同，可以将自动摘要技术分为单文档自动摘要和多文档自动摘要两种，此外，随着科学技术的发展和网络新事物的出现，现在又新兴了一种网页文档自动摘要技术，因此由所处理文档类型的不同一共有三种自动摘要技术。根据现有的研究成果来看，进行自动摘要的具体方法主要有四种：（1）自动摘录，（2）基于理解的自动文摘，（3）信息抽取，（4）基于结构的自动文摘。这四种摘要方法是目前使用较多的也是比较成熟的四种方法，下面对这四种方法进行解读分析。3.1.1自动摘录自动摘录的方法一般讲文档内容看做是若干个句子的线性排列，又将句子看做是若干个词语的线性排列。在具体摘要时一般有以下五个步骤：（1）使用分词器对全文进行分词，（2）计算词语的权重值，（3）计算句子的权重值，（4）根据词的权重和句子的权重对全文的所有句子依据其权重按序排列，并根据设定的摘要比例来确定文摘句，（5）将所有选定的文摘句以文章的形式输出显示。自动摘录在具体实现时相对简单，但是其同样也有不足之处：（1）摘要的内容不全面。倘若文章中包含多个主题，很有可能会只对权重较大的主题内容进行摘取，其他权重较小的主题内容易被忽略。（2）摘要的内容不简洁。在一篇文章中，如果有一处多多处比较重要的内容时，作者很可能在全文中会多次写到这些内容，这些句子在进行摘要时因为都是关键句，所以权重值都较高，以致最终的摘要结果中可能会有相同内容的多次出现，这种重复现象的出现必然造成文摘内容的不简洁。（3）摘要内容不连贯。因为自动摘录的摘要原理中已经说过，最后是将权重较高的句子依据设定的比例输出，这些句子相互之间很可能是不连续的，因此最终的摘要结果会是一个个句子的组合排列，但在内容上却无法连贯，使读者的阅读存在很多的不便。3.1.2基于理解的自动文摘基于理解的摘要方法是人工智能与自然语言处理的共同产物，它与自动摘录主根本的区别就在于自动摘录是通过计算句子权重直接选择输出，而它是通过分析文章的意义，最终将文章的主要思想表达出来。其具体实现步骤如下：（1）语法分析；（2）语义分析；（3）语义的提取；（4）文摘输出。不难看出，基于理解的文摘方式在摘要的质量上肯定优于自动摘录，但是其在实际运用过程中同样有不足：（1）因为这种方法是通过使用已有框架来进行语义的分析，因此它的发展完全受到语义分析技术发展的影响，而现有的语义分析技术还不是很完善。（2）在进行语义分析时，因为其框架发展的限制，所处理的内容不能过多，否则无法自动归纳总结出文摘句进行输出。这两个缺点制约了这种方法的进一步发展和大规模使用。3.1.3信息抽取信息抽取的实现方法相对来说比基于理解的要简单的多，它的具体做法就是设定一个框架，框架内设置好空槽，并在框架内设置好需要抽取的内容，将抽取的内容放在空槽内，就算完成摘要。这个框架就如同一张申请表，然后根据申请表的选项将文章中相对应的内容抽出来塞进表内进行填空。信息抽取时使用的框架比基于理解的方法中所用的框架要简单的多，也更容易实现，但是这种按图索骥的方式容易使得摘要的内容千篇一律，语言上也显得非常的呆板，没有什么实际价值。3.1.4基于结构的自动文摘对于一篇文章来说，文章的结构清晰了，那么文章的主要内容也就显而易见了，基于结构的摘要方法就是沿用的这一思想，将文章的结果弄清，再根据结构去进行摘要。从文摘的质量上来看，这种方法与基于理解的不相伯仲，都是比较好的。但是在实际执行的过程中，并非像想象的那么美好，由于目前自然语言处理方面的研究水平的限制，在文章结构的框架这一方面的研究进展较为缓慢，可用的模板也不多，因此进行实际的基于结构的文摘操作仍存在不小的难度。以上是目前比较常见的四种自动文档摘要技术的介绍与简要分析。本文所设计的系统使用的是第一种方法——自动摘录。3.2新闻脉络技术新闻脉络技术，这个词在很多人看来可能比较陌生，总觉得如果不是新闻工作者或者自然语言处理相关专业的人根本不会接触到它，但是实际情况却是很多人在生活中都或多或少地接触过新闻脉络技术，甚至很多人每天都会去享受它所给我们带来的便利。因为新闻脉络技术的发展已经不仅仅停留在理论层面，而是被实际运用在了我们的现实生活中。例如百度的新闻脉络技术。如果你平时习惯用百度去搜索热门事件的关键词来获知该事件的发展情况，在搜索框输入“神十”、“H7N9”等关键词进行搜索时，在搜索页面的右侧会出现清晰展示“事件发展脉络”的时间轴信息图。这是由百度全新推出的“百度新闻脉络技术”，它会按照时间的顺序把被搜索的热点事件的发展过程按照时间轴的组织形式完整、清晰地呈现，让用户在最短的时间内轻松掌握一个新闻事件的来龙去脉。在这一技术出来之前，人们要想了解一个热点事件，通常需要在搜索引擎、门户网站、社区论坛等多处进行来回切换，费时费力不说，效果还不够好。而百度“事件脉络”则通过技术手段建立索引新闻数据库并抽取事件生命周期中各个重要发展阶段的基本要素，以时间为主线进行展现，让用户再不用自己梳理，就能轻松了解整个事件的发展过程，从而有效提高获取信息的效率，并引导用户进行深度阅读。除了H7N9，网民在搜索“马航失联”、“钓鱼岛形势”、“越南事件”等热点事件时，都能通过浏览右侧的事件脉络，全面知晓事情的来龙去脉，实现热点事件的快速阅读、深入了解。业内专家介绍说，普通搜索只需要实现关键字的精准匹配，而“事件脉络”功能，则需要在扫描全网资源的基础上，进行内容的整合输出。无论是对字面并不匹配但是实际内容相关的信息抓取，还是对信息的权重划分，抑或是重要时间节点的设置和排序，每一个步骤都隐含着精深的搜索技术。百度多年来的技术积累和创新基因，推动了搜索体验的不断完善和提高。更有专家表示，保持搜索技术先进性是百度的立身之本。本文所设计的演化文摘系统中将文档的摘要结果按照时间顺序排列这一功能的主要思想正是为了体现主题事件的发展脉络，其中心思想和百度新闻脉络技术是不谋而合的。这一技术的使用有助于用户清晰、直观地了解系统处理的摘要结果。第四章演化文摘系统的分析与设计本章通过对演化文摘系统所需实现的功能进行了具体分析，弄清系统的结构与设计的思路：针对多个待处理文档和一个查询，进行自动文档摘要并对摘要结果按时间序排列输出。之后就是对系统各模块的功能进行具体分析并采用适当的设计进行实现。4.1演化文摘系统的结构分析本文所写的演化文摘系统的主要设计目的是能够针对同一主题的多个文档进行自动摘要处理，并将处理的结果按照时间顺序输出，以使读者能直观地看出这一主题事件的发展历程。因此，这个系统需要实现的功能主要包括：待处理文档的读取，文档的自动摘要，摘要结果的时间顺序排列输出和友好的人机界面等。如图4.1所示。图4.14.2演化文摘系统的设计与实现在了解了演化文摘系统的主要功能和整个系统的整体框架后，我们就开始系统的设计与实现工作，使用的编程环境为Eclipse标准版。4.2.1待处理文档的读取要想实现演化文摘系统的众多功能，第一步肯定毋庸置疑，首先需要将待处理的文档进行读取输入工作，然后才能进行后续的操作。具体实现的代码如下：（1）先创建一个文本，用来显示读取的多文档的内容，代码如下：logRead=newJTextArea(29,37);logRead.setMargin(newInsets(5,5,5,5));logRead.setEditable(false);logSPRead=newJScrollPane(logRead);当点击“读入文本”按钮时，会弹出文件选择窗口，实现的代码如下：FileNameExtensionFilterfilter=newFileNameExtensionFilter(".txt","txt");fcRead.addChoosableFileFilter(filter);//添加文件过滤fcRead.setFileFilter(fcRead.getAcceptAllFileFilter());//设置文件过滤fcRead.setMultiSelectionEnabled(true);//设置可选择多个文件intreturnVal=fcRead.showOpenDialog(UserInterface.this);//打开“打开文件”对话框if(returnVal==JFileChooser.APPROVE_OPTION){ files=fcRead.getSelectedFiles(); logRead.append("当前打开文件分别是："+newline); for(Filefile:files){ logRead.append(file.getName()+"."+newline); } logRead.append(newline);定义一个类ReadConfigUtil来实现文件读取的具体操作功能，代码略。4.2.2文档自动摘要在进行文档自动摘要时有很多种方法，在具体的编程阶段，我调用了NLPir.java，这个是中科院中文分词系统ICTCLAS开发的开源代码，其主要功能是用来进行高频词的提取工作。我所采用的方法基本思路如下：（1）定义函数extractOneFile，该函数是提取摘要的控制执行函数。读程序，理解该类的构造思想和整体原理可从这个函数进入，一步一步的解读。publicstaticStringextractOneFile(Filefile)throwsIOException{...}读取每个文档的内容时，将时间读走，将内容读到content中。line=line.trim(); if(line.length()<mainSenLen&&line.charAt(line.length()-1)!='。'){ content.append(line+"。"); } else{ content.append(line);接下来统计摘要的数量。summarySize=content.length()*proportion;紧接着需要完成的代码部分是这个自动摘要功能最关键也是最核心的部分，其主要思想是通过中文分词，统计词频和词性等信息，抽取出关键词；把文章划分成一个个的句子；通过各句中关键词出现的情况定义出句子的重；把文摘句按照在原文中出现的顺序输出成摘要。关键代码如下：intsentenceNum=countRepetitiveString(content,"。");//统计句子的数量 String[]sentence=newString[sentenceNum];//以“。”为分割，拆分句子sentence=String.valueOf(content).split("。"); doublesenAverLen=countSenAverLen(sentence);//计算全文句子平均长度 intkeywordsNum=countSummarySize(content,senAverLen);//获取关键词数量--即摘要 大小 String[]keywords=newString[keywordsNum];//获取关键词keywords=Nlpir.createKeywordsSet(file.getAbsolutePath(),keywordsNum); int[]senWeight=countSentenceWeight(sentence,keywords);//提取全文句子权重 StringBuffersummary=writeSummary(sentence,senWeight,senAverLen,summarySize, keywordsNum);//向summary中写入摘要 returnString.valueOf(summary);在对文档进行摘要时，设置了一个初始值，按全文内容的10%进行提前。staticdoubleproportion=0.10;4.2.3按时间顺序输出摘要结果在4.2.2中进行文档内容读取时有一个关键步骤，那就是将文档内容中的时间读走，我们进行时间排序时就是参考的这些被读走的时间，因为这些时间节点都是相应文档中事件发生的日期，因此，按照这些抽取出来的时间对处理完的各文档的摘要进行排序，并将最终结果保存在一个独立文档中，这样用户打开文档，就能清楚了明白该事件的发展过程，即这一主题事件的演化情况。在进行时间排序时，程序是以冒泡排序算法，来实现文件时间排序的。将文件时间进行排序，最终目的是得到时间从早到晚的文件序号。for(inti=fileOrder.length-1;i>0;--i){//冒泡排序 for(intj=0;j<i;++j){ if(dates[j].after(dates[j+1])){ temp2=dates[j]; dates[j]=dates[j+1]; dates[j+1]=temp2; temp1=fileOrder[j]; fileOrder[j]=fileOrder[j+1]; fileOrder[j+1]=temp1; } }}returnfileOrder;经过（1）中的冒泡算法排序后，最终的结果会自动根据预设置的路径进行保存。logExtract.append("所有文本已经处理完毕，按时间排序的全部摘要已经存好！" +newline);logExtract.append("文件目录："+resultFile.getAbsolutePath()+newline);logExtract.append(newline);4.2.4友好的人机界面在完成了演化文摘系统的主要功能之后，还需要进行最后一个环节的工作，即友好的人机交互界面的设计。在进行界面设计时，每个功能模块的按钮是必不可缺的，同时为了方便用户的使用，也是遵循人机界面设计应应当友好的原则，我还添加了“清除读入栏”和“清空摘要栏”两个功能按钮。这样当用户在使用系统的过程中需要进行一次新的工程时可以不受上一次实验的影响，充分体现系统设计的人性化。此外，为了体现系统的可拓展性，还设计添加了“查询关键字”功能按钮，但因与演化文摘系统设计的需要无关，暂时没有实现该功能，如果后续发展需要的话，可以较为轻松的实现此功能。各功能按钮的具体实现代码如下：bRead=newJButton("读入文本");bReadClear=newJButton("清空读入栏");bExtract=newJButton("提取摘要");bExtractClear=newJButton("清空摘要栏");运行程序后，系统将自动弹出控制界面，最终人机界面如图4.2所示。图4.2第五章实验及结果分析这一章主要是对已经编译实现的演化文摘系统进行实验，首先是进行待处理语料的收集与初步处理，其次就是通过运行程序来完成相应的功能，即进行自动摘要并按时间序排列，最后对实验的结果进行分析。5.1语料的收集处理在实验正式开始之前，需要做一项准备工作，即待处理语料的收集处理。（1）首先进行语料的收集，考虑到本文所设计的是一个演化文摘系统，更多的是为了体现一个主题事件的演化发展过程，因此，我们就收集一些同一主题的新闻稿作为语料，使其经过系统的处理，最终能直观地向用户展示该事件的发展脉络。（2）然后是对已收集的语料进行处理。为了实现摘要内容的时间顺序排序输出功能，在文档读取时就写过一句代码，进行每个文档内容中时间的抽取，因此，为了使程序运行时能较快查找到内容中的时间，减少系统的工作负担和不必要的麻烦，在进行语料处理时，统一设置第一行的格式为“xxxx年xx月xx日”。正文内容从第二行开始，确保内容中无乱码或无法识别的字符出现。将所有待处理的文档均保存为.txt格式，编码类型设置为UTF-8。处理结果如图5.1所示。图5.15.2多文档的自动摘要本文设计的这一演化文摘系统最核心的功能就是文档的自动摘要以及摘要结果的时间序排列输出。以下就是对多文档自动摘要的实验。因为最终的实验结果需要能体现新闻事件的发展脉络，因此，需要进行处理的文档数量肯定为多个，最初进行语料收集处理时一共准备了8个文