1006大设计翻译版软件与代码相关性分析工具改进

ImprovementonQESTA1.0:aToolon yzingtheTraceabilityamong ationandSourceCodeAuthor:ZHU LIUTheemergingdevelopmentofsoftwaresystems,withunprecedentedscaleandcomplexityofsoftware esmoreandmorelarge.Theinternalassociationcharacteristicsinlarge-scalesoftwaresystems eincreasinglyimportance.Astwoimportantcomponentsofsoftware, sandsourcecodehavesomeassociation.Establishingtraceabilitybetween sandsourcecodecanimprovethequalityofthesoftwaresystem.Thetraceabilityisalsousedforsystemmaintenanceandevaluation.Traceabilityallowsthesystemtobebetterunderstoodandaccepted.Inthemeanwhile,makingtherelationshipsmoreTherearesometechnologiesincorrelationysis,suchas(LatentDirichletAllocation)LDA,(LatentSemanticIndex)LSI.LDAisatopic-basedcorrelationysis.Itusessomespecific todeterminethetopicofaparagraphoftextfromalltheationsorsourcecode,andthencalculatecorrelationamongthemaccordingtothecorrelationamongtopics.AnothercommonlyusedtechnologyisLSI,itgetsthecorrelationcalculatingthefeatureAfterextensivesurvey,wefoundthatsynonymsandmeaningbasedwordfamilyexistincorrelationcalculationbycalculatingthefeaturematrix.Itiscommonthatwewillusesynonymsorsimilarwordsorabbreviationstoexpressthesamemeaninthedifferentpart.Andtherearemanysimilarwordsinthe.Weshoulddealwiththem,ratherthanignoretherelationbetweensimilarthosewords.Thisthesis’sresearchbasedonQESTA1.0,whichdidnotdealwithsynonymsorsimilarwordsanddidnothaveanyresultinterface.Thusinthisthesis,someenhancingmethodareproposedintheimprovedversionnamedQESTA1.1.ThenexperimentsareprovidedtodemonstratetheimprovementsonMeanwhile,ysisbetweentopic-relatedwordsandcommonwordsareconducted.Theresultindicatesthattheprocessingofsynonymsandsimilarwordsimprovetherecallandprecisioninysisbetweensoftwaresandsourcecode.：Software,SourceCode,Correlation,Synonyms,Meaning-basedWordFamily,Visualization 绪 研究背 国外研究现 国内研究现 现在研究存在的不 研究目标与内 研究目 研究内 课题来 的组织结 相关技术介 文本预处理技 相关性分析技 同义词词 Java文件操作技 本章小 系统改进详细设 改进需 设计原 系统总体架构设 系统功能模块详细设 同义词处理模块设 同类词处理模块设 结果展示模块设 实验数据分 数据库设 本章小 改进部分具体实 系统开发环境和技术基 运行环 开发环 实现概 buaa.sei.zkf.action包实 buaa.sei.zkf.display包的实 数据库的设 词 领域相关 工作表 词量统计表 替换情况表 本章小 QESTA1.1实验及分 实验环 功能实 实验目 实验过 实验总结与分 《EasyPost》项目查全查准率实 实验目 实验过 实验总结与分 《推箱子》项目查全查准率实 实验目 实验过 实验总结与分 领域词分析实 实验目 实验过 实验总结和分 本章小 总结与展 工作总 工作展 致 参考文 绪帮助提高软件系统的质量。软件产品的追踪链能够被用于软件系统的和评估；能够软件开档是软件开发过程、使用过程以及软件中的必备资料。良好的软件处理过程中将文档作为检索库，而软件的源代码则作为检索条件，然后进行匹配，通过一系列算法，得出匹配结果。之前很多研究者采用信息检索的方法来分析软件文档和代码之间的相关性，并利用这个相关性来建立文档和代码之间的追踪链。利用这种方法来预测、聚类、分类、统计分析等技术来对这些潜在信息进行分析，然后发现其中的相关最开始使用IR技术（Infrmationtrievl提取软件文档与源代码的关联关系的是Antoniol等人[]。首先，他们对要分析的软件文档和软件代码进行文本处理，得到一系列的词汇，然后利用IR技术处理、分析中得到的词汇，再采用IR技术中的向量空间模型以及概率模型分别来计算软件文档和软件源代码之间的相似度，然后把得到的文本的相似度值近似认为是软件文档和源代码之间的相关程度。据此，分别采用这两种模型，设计了相应的实验，实验表明两种模型都比较适合用来提取源代码和软件文档间的关联关系。其中实验中表明概率模型得出的效果更好。文献[3][4]中，Antoniol等人分析方法存在一定的缺陷，比如实验结果显示，该方法得到的查全率以及查准率存在的一定的问题，AndrianMarcus等人针对这个问题，提出采用潜在语义索引（LatentSemanticIdexing,LSI）的方法计算软件文档和软件源代码的相似度，这种方法在一定程度上消除了语义信息的影响，即解决了匹配有时候无法真实的反应语义的问题。但是，在对软件文档和软件源代码进行相关度分析时，AntoniolAndrianrus等人所使用的方法都将软件文档和源代码作为一般的文本进行处理，没有考虑软件文档和源代码中存在的一些固有特点，如文档中的章节结构，代码中的类、方法等结构。针对这个问题lelndHungJ等人在文献[5][]中提出利用文档和代码间的特点来进行动态需求，从而在概率模型的基础上提出了3种增强策略。实验表明，不同的增强策略都可以在相同查全率的情况下一定程度的提高查准率。在提高查全率和查准率的方法中，有多种提高方法，其中较为常见的方法包括基于类继承关系的聚类分析、基于文档类型的分类搜索、代码缩写词扩展、代码特征项分类和引入相似度辞典等。这些方法在一定程度上都提高了分析结果的查全在信息检索方法的基础上，也有使用了平滑过滤器(SmoothingFiltr)来减少软件产品中噪声的影响[9]。文中平滑过滤器的使用能够显著提高向量空间模型(VS)和潜在语义索引模型（SI）[10][15]。也有人提出了建议索引策略，这也是提高查全查准率的一种重要的技术补充。另外，也有研究者受Web信任模型的启发提出了一种名为Trustrace的方法来提高可追踪链的查全率和查准率[13]。在国内，对中文软件文档与源代码间的相关性的研究还比较少，所以这一方面的研究成果相对比较少。有一位浙江大学的博士采用Antoniol方法实现了代码和中文文档关联信息的自动提取[15]。北航软件所软件可追踪性研究课题组（QESTA课题组）对该领域也进行了研究。主要内容如下：使用Lucene的je-ysis组件将与中文相关的一些自然语言处理技术运用到文档与代码间可追踪性研究中，如中文分词技术、去除停用词（的，我，他，啊等）、中英文翻译等，把这些技术用到文本预处理中，有助于提高后续计算过程的效率和准确性[18]。在潜在语义模型的基础上融入了软件文档和程序代码之间的结构特点，提出了基于类继承关系的代码聚类、代码特征项分类、引入相似度词典、基于文档类型的分类搜索、将文档按类型分层以实现相关反馈等改进策略，有助于提高检索系统的查全率和查准率[17]。QESTA1.0是根据提取软件文档和软件源代码两者的基本成分和结构信息QESTA1.1提供的同义词进行人为检查，提高同义词替换的准确术语名规则等。主要包括以下研究内容：QESTA1.1在同义词替换过程中加入用户识别，由用户最终确定是否进行替换，QESTA1.1在计算相关度时将查询两个特征词是否为同类词。如果是，将对它们QESTA1.0的人机交互界面QESTA1.1的人机交互界面中，用户可以根据利用QESTA1.1，对实验样本进行实验、分析。实验样本为北航2010级《面向对（QESA1.0的改进，并且在改进后进行一系列QESTA1.0和QESTA1.1的对比分析实验。通过五个第一章绪论本章设计了两组实验。第一组是进行功能性验证实验，即针对研究目标，对QESTA1.1进行功能性验组是对QESTA1.1和QESTA1.0的分析结果进行比较，相关技术本章将分别对从QESTA1.1改进相关的文本预处理技术，相关性分析方法，同义词林，Javaword4个方面的相关技术进行介绍。第一，介绍文本预处理技术，是哈尔滨工业大学的研究成果。第四，将对结果展示部分需要用到的Jacob进行介绍。QESTA1.1的作用是实现软件文档和软件源代码之间的相关度分析，并且根据相关分词技术：分词（WordSegmentation）面，本文主要涉及到中文分词(ChineseWordSegmentation)，中文分词[21]是指将一段QESTA1.1在进行文本预处理用到了双向最大匹配法。根据中文单词组成单词的特点，将句子中遇到的单词配平最大，例如“我人”，将分解成“我”、“是”、“”三个，而不是“我”、“是”、“中国”、“人”四个词。分段技术：QESTA1.1在进行分析软件文档和代码的相关度时，会将软件文档分成较小的文档段。QESTA1.1分段方法主要根据文档的结构和字数，文档结构主要由章节、分段等区分，文档分段设定了最小字数和最大字数。从而防止每个文档分段的字数过多或者过少影响相关度的计算。停用词处理：在信息检索中，为提高搜索效率和节省空间，搜索引擎在处理搜索请求或索引页面时会自动忽略某些字或词，这些字或词即被称为StopWords(停用词)。这些词主要有两类。其中一类为广泛使用的、几乎每个文档都会出现的词，例如“你”、“我”、“他”等，这些词在每个文档段中常常出现，如果对其进行处理，一方面会大大增加算法的时间复杂度和空间复杂度、降低工具的运行效率。另一方面，由于这类词所指代的对象不明确，但大多是指代在其之前出现的某个特定的对象，而与其它文本段中的代词无关，因此保留这些代词可能会影响文本间关联性的计算。还有一些常用的助词、副词、介词、连词或动词。例如“的”，“和”，“在”、“要”、“是”、“就”等。由于这些词在大量的句式中都会出现，因此会“强化”文本段之间的相关性，而由这些一般性词汇的使用引起的相关性，并不是所需要的。因此，在进行文本处理时也应当被过滤掉。从而减小工具对软件文档和源代码相关度的分析时间，并提高相关性分析的辨识度。英文翻译技术：在对程序源代码进行处理时将涉及到英文翻译成中文的处理，即将用英文字母组成的标识符分解成若干英文单词（或缩写词）之后，需要将其翻译成文档中具有相同含义的中文词。QESTA1.1采用了两种翻译方法：第一种是根据在文档中建立的包含有中英文词对照的数据词典来翻译；第二，如果该词不存在于数据词典中，那么将利用通用的中英文词典进行翻译。现在相关性分析技术主要为IR技术（Infomationtrievl）[]这项技术是由Antoniol等人首先。首先，他们对要分析的软件文档和软件代码进行文本处理，得到一系列单独的词汇，然后利用IR技术处理、分析得到的单独词汇，采用IR技术中的向量空间模型和概率模型分别计算软件文档和软件源代码之间的相似度，把得到的文本相似度值近似为软件文档和源代码的相关程度。lelndHung等人利用了软件文档和软件源代码的特点来进行动态需求，从而在概率模型的基础上提出了3种增强策略[5][6]。之后北航软件工程所的相关研究在潜在语义模型的基础的类搜、码征项类、入相度典、文按型分以现8]2.1类12个，中类有97个，小类有1,400个。每个小类里都有很多的词，这些词有根据词义的远近和相关性分成了若干个词群（段落。每个段落中的词语又进一步52.1。根据树状层级，越下面词“Ae13B01=学生生学员学童桃李学习者”中的“Ae13B01”这组词汇是编码。其表示第4级，词群；“01”表示第4级，原子词群；“=”表示后面的词汇属于统一关图2.2所示。2.2增加标记来分别代表着几种情形。词林编码结构如图2.3所示。2.3JACOB的解释是JavaCOMBridge，即Java和COM组件间的桥梁。它在运行Office提供的宏之外，没有其他方式能对Office进行直接的操作。在DLL中的一组或多组相关的函数存取组件数据，总的合称为接的功能，KaiRuhl[20]JavaCOM之间的桥梁。通过Jacob来操作Office文件。import publicclassprivateDispatchdoc;wordprivatebooleansaveOnExit=privateDispatchs;//所有word文档集合 ponentword;//word运行程序对象privateDispatchselection;//选定的范围或插入点{openclose}//打开wordpublicvoidopen(String{closedoc=Dispatch.call(s,"Open",selection=Dispatch.get(word,}//关闭当前wordpublicvoid ()if(doc!={Dispatch.call(doc,Dispatch.call(doc,"Close",newVariant(saveOnExit));doc=null;}}//释放word文档操作进publicvoid{}}JavaJava在文件读入上主要涉及File类，InputStreamReader类，FileInputStream类，BufferedReader类。文件输出上主要涉及FileOutputStreamWriter类，OutputStreamWriter类。由于文件有多种编码格式，并且不同平台下的默认文件编码格上都能运行本工具，在涉及文件操作上强制使用UTF-8格式。本章主要介绍了本次毕设所用工具涉及到的主要技术。2.1节主要分析了目前文本预处理技术的发展情况，使用的主要方法、思想方式等。2.2节主要介绍了不同文本内容之间相关性分析方法的发展情况以及相关技术。2.3节主要介绍了哈尔滨工业大学所用词林的结构，使用原理等。2.4节主要介绍了Jacob相关内容以及操作方法。2．规范化原则：Java编程是面向对象编程，所以在进行工作时应该符合面向对象3QESTA1.0的改进中有多个地方涉及到人机交互，比如近义词处理设计、界面展示优化、数据设计四个部分详细介绍。QESTA1.0系统方案如3.1所示，QESTA1.13.2了减少用户在同义词替换选择的工作量，专门设计了领域相关的同义词汇替换表当确定两个词汇“词1”和“词2”是同义词后，要确定是“词1”替换“词2”，还是“2”替换“1”，这由文章中这两个词的出现频率决定，出现频率较高的词汇将默认为词汇代码获取，如图3.3所示。以及同义词替换部分，其流程图如图3.4所示。 NN功YY3.3更更新领域相关结YN是否将领域相NY同义词替换后的统计文换并写不进行3.43.5inputMatrix.txtwordCount.txt:该文件记录了分析项目中出现的各个词汇，以及出现的频率件。文件结构与inputMatrix.txt相同。的相关度设为1，非同义词的相关度为0。同类词与两个关系都不同，其相关度介于两者之间，所以其相关度应该设定为0-1之间的某一个数值，在QESTA1.1，每对同类词进行相文件值进行相文件值Y否同N相关度为相关度为3.6QESTA1.0分析完项目后将相关度结果数据写入到文本文档中，而用户在进行相关QESTA1.1界面设计上采用了如下方案：在单击文档段如图3.7所示。3.7准率进行比较，验证QESTA1.1的改进效果。（dict（k_dicdo替换情况表（replace_statistics）五个表。数据库E-R图如图3.8所示。nn词词词词11（1） 主要功能：领域的名称即表明，例如领域表，表明为bbs。在建立领域相关12、替换次数、未替换次数、领域。3.5具系统流程以及本次改进内容。3.4章主要介绍了本次毕设改进的具体设计，分同义词第三章QESTA1.0改进方案进行了详细设计。本章QESTA1.0改进过程中利用操作系统：Windows数据库管理系统 Java包：JDK6.0操作系统：Windowsbuaa.sei.zkf.action和buaa.sei.zkf.display。其中buaa.sei.zkf.action主要是对同义词和同类在4.3节和4.4节具体介绍。ChooseSaveDBFrame.java,CONSTANT.java,DBconn.java,WordProcess.java,WordSave.java,WordsCount.java等。本节将其中的主要代码进行分析。方法名称：privatevoid方法名称：privatevoid方法名称：privateObject该类的样例界面如图4.1所示。方法名称：publicvoid据库，得到每个词对应word_code。下一步将该词和该词对应的代码放入入到HasMap中。查询完所有词汇后，将词和对应的代码输出到临时文件方法名称：privateObject方法说明：该方法得到了同义词替换表的替换数据。首先读入临时文件wordCount.txt（该文件中了每个词汇在工程中出现的数量），存放在HashMap中。根据该HashMap和同义词临时文件synonymsWord.txt初“12”1212，将默认选进行替换检查。方法名称：privateObjectcheckIsReplace(ObjectBCABC替换的情况。所有在进行初始化时应进行处理。主要方法是先得到所有词汇的出现次数，4.2方法名称：privatevoid方法名称：privatevoid读入的词是被替换词，那么输出替换该词的词。最终生成替换后的文件方法名称：publicstaticConnection方法名称：publicstaticStatement方法名称：publicstaticvoid方法名称：publicbooleanqueryFromDict(String方法名称：publicbooleanqueryFromQuickTable(StringwordStringkind,Stringuse_times)方法名称：publicstaticvoidgetSimilarWords(StringfileName,String方法名称：privatevoid方法名称：privatevoid方法名称：privatevoid括：AllResultWindow.java,ChooseWindow.java,CONSTANT.java,ResultWindow.java,WordFileOperate.java等。本节将其中的主要代码进行分析。方法名称：privatevoid方法名称：privatevoid4.34.3ChooseWindow方法名称：privatevoidJTextArea、“确认”按钮、“返回”按钮等。方法名称：privatevoid得到文档段或者代码类翻译后的词汇文件存放文件的存放位置。方法名称：privateObject4.44.4ResultWindow方法名称：privateStringgetFileContect(Stringpath,String方法名称：privatebooleanopenCodeFile(Filefile,String4.5方法名称：publicvoidWordFileOperate(Stringpath,StringpublicvoidWordFileOperate(Stringpath,StringfileName,String方法名称：publicbooleanfind(String串，如果找到，那么word将定位到该地方，返回true；如果未找到，直接返回false。词词是本次毕设同义词替换的基础表，在进行同义词查询，同类词查询时都将用身需求，按照格式对该词林进行扩充。其数据表的字段如表4.1所示。表4.1dictword_code:words:（1）kind:有“#”、“=”、“@insert_time:领域相关表是指用于特定领域内用到的词的转目标，每个领域有一个表，例如bbsbbs的进行同义词、同类词查询，提高工具的效率。其数据各字段如表4.2表4.2word_code:words:kind:有“#”、“=”、“@insert_time:use_times:在该领域使用的次数工作表其表字段如表4.3所示。表4.3word_dictword_code:words:new_insert:该行词是否为新插入，词典中没有的use_times:每个词在该领域使用的次数词量统计表统计。主要字段有词、出现次数。其表字段如表4.4所示。表4.4words_countword:count:替换情况表表4.5replace_statistcsword1:1count:2not_replace_times:出现这两个词后不替换的次数QESTA1.1改进方案的实现。4.1节QESTA1.1的开发平台环境和语言基础。4.2节简要介绍了系统的实现方案，再 实验及 (R)Core(TM)i5-2400CPU机器型号：LenovoWindows7操作系统：Windows系统类型：32数据库 JDK版本：1.7.0_45本次实验的数据是之前《面向对象课程》的学生大作业，下文中将以《EasyPost》23个。该样例含有的文档数目较多，并且文档的规模适中，所以选取其为本次实验（QESA1.15.1工具（QESTA1.1） 等，本次实验的设置如图5.2所示。5.2工具（QESTA1.1）5.3所示界面，点击是，运行改进5.35.4所示的同义词替换情况表，进行同义词替换选择。用户可以取消或者选择同义词替换，也可以选择“词1”替换“词2”还是“词2”替换“词5.45.5所示的界面，用户可以选择是否将词汇加入到所示的5.7分析结果)和inputMatrix_replacedSyn.txt(改进后的工具QESTA1.1的分析结果)进行对比，发现同义词已经被替换，部分替换情况如图5.8所示。数据库中的领域表、替换情况表5.8QESTA1.1QESTA1.0的改进是否真的提高了相关度分析的相关度结果文件（lda_lsi_result_1-4.log文件）Excel表格中，然后根据人工分析的相关度情况进行查全查准率计算，如表5.1所示。用同样方法对改进后工具（QESA1.1表5.1lda_lsi_result_1-4.log1111110阈00 阀查全（QESTA1.1）的查全查准率比改进前10 查准查全实验分析中，也对结果文件lsiresult_3-4.log“10 查准查全改进前后查全查准率对比中，绝大部分都是改进后高于改进前，在图5.1340.14时，改进后的查全查准率反而低1010 查全0 查全查准查准 00 坐标坐标 F=(𝛽2

其中是参数，P是查准率，R是查全率。本文中采用最常见的F1-Measure来验F5.25.15所示。LSI算法得到的相关度结果改进前后F值如表5.3所知，其改进前后的对照图如图5.16所示。0000阈FF表5.3lsiresult_1-4.logF 阈0F5.45.17所示；LSI算法相关度结果改进F5.55.18表5.4lda_lsi_result_3-4.logF 0 0.120.14 阈F表5.5lsiresult_3-4.logF00 0.120.14阈 F根据实验结果可知，虽然改进后的结果存在一定的异常点，但是总体上率对比实验，实验过程与5.3节相同。5.3章所做的实验相同，所以在本节只进行对比结果的展示。项05.2110101查准查准1010 坐标00.050.0750.10.1250.15阈查全F5.7F5.22所示的对比表5.7lda_lsi_result_1-3.logF000.05 0.1250.15阈F根据改进前后lda_lsi_result_1-3.log中相关度结果的查全查准率、F值可得出改进后2、lsiresult_1-3.log对比结果45.2510 10 111查准查准100100 坐标 00.050.0750.10.1250.15阈查全F5.9F5.26表5.9lsiresult_1-3.logF10 查准00.05 0.1250.15阈Flsiresult_1-3.log中相关度结果的查全查准率、F值可得出改进后的工3、lda_lsi_result_2-3.log对比结果5.105.275.285.29表5.10lda_lsi_result_2-3.log11100.020.040.06 阈10 坐标坐标查全F5.11F5.30表5.11lda_lsi_result_2-3.logF0查准000.020.040.06 阈Flda_lsi_result_2-3.log中相关度结果的查全查准率，F值可以得出改进5.125.315.325.33表5.12lsiresult_2-3.log00 阈0 坐标查全坐标F5.13F5.34表5.13lsiresult_2-3.logF0阈Flsiresult_2-3.log中相关度结果的查全查准率、F值可得出改进后的工根据实验的结果，可以得出虽然存在一些异常点，但是总体上改进后的QESTA1.1的领域相关词进行分析，即对进行相关实验后，对其产生的领域相关《 《表、ms类领域表分别如图5.36、图5.37和图5.38所示。5.355.36game5.37ms5.38bbs可以进行领域相关词和领域无关词的分析。QESTA1.1符合预期的设计需求。本章介绍了对软件文档与代码相关度分析工具的功能测试的过结果。5.1节主统的功能符合第三章所功能需求与性能需求。总结与在进行相关性工具改进后还进行了一系列的相关实验。不但进行了原始工具致多修改意见。因为有了您的建议和意见，QESTA1.1更加实用、高效，我的也更加感谢我的辅导员、。大学四年，在生活和学习上给予了我很大的帮助。也感谢班，感谢100614班的所有。求的北航，才能在计算机学院这一大家庭里学习知识。谢谢的鼓励和支持。参考AntoniolG,CanforaG,DeluciaA,etal.RecoveringCodetoationLinksinOOSystems[A].Proceedingsofthe6thWorkingConferenceonReverseEngineering.[C].IEEEComputerSocietyPress,1999:136-144AntoniolG,CanforaG,CasazzaG,etal.RecoveringTraceabilityLinksbetweenCodeandation[J].IEEETransactionsonSoftwareEngineering,2002,28(10):970-983MarcusA,MaleticJ.I.Recovering ation-to-Source-CodeTraceabilityLinksusingLatentSemanticIndexing[A].Proceedings25thInternationalConferenceonSoftwareEngineering(ICSE'03)[C].IEEEXplore,2003:125-135MarcusA,MaleticJ.I,SergeyevA.RecoveryofTraceabilityLinksbetweenSoftwareationandSourceCode[J].InternationalJournalofSoftwareEngineeringandKnowledgeEngineering(IJSEKE),2005,15(5):811-Cleland-huangJ,SettimiR,ChuanD,etal.UtilizingSupportingEvidencetoImproveDynamicRequirementsTraceability[A].Proceedings13thIEEEInternationalConferenceonRequirementsEngineering(RE'05)[C].IEEEComputerSocietyPress,2005:135-144Cleland-huangJ,SettimiR,RomanovaE.BestPracticesforAutomatedTraceabilityComputer,2007,40(6):27-M.Halkidi,D.Spinelli