分词技术在中医新闻信息分析中的应用的应用研究论文设计

1、摘 要随着网络多媒体的不断发展，新闻信息的传播方式更加复杂化，人们面临更多新的信息获取方式。这使得中医新闻信息的传播得到进一步推动。对于中医新闻信息接受者来说，如何在繁杂、庞大的信息中准确获取自己所需信息是面临的首要问题，而对中医新闻媒体人来说，把握新闻接受者浏览热度，找准关键词能够更加有力的推动中医新闻的传播。本文在安装并运行常见分词软件进行实验的基础上,运用中医新闻信息样本分别进行实验,比较不同分词软的件分词精确性、操作难易程度、正确性、分词速度、可扩展性、可移植性等性能。结果:分词精确性、难易程度、正确性、分词的速度、可扩展性、可移植性等性能方面存在差异,没有任何一款分词软件全部性能达到

2、最优。结论:分词技术可能是打破目前中医新闻传播困局的最佳途径，是推动中医文化发展的推进器。研发中医新闻专用分词软件可能是解决中医新闻研究中分词问题的最佳途径。应从建立专业的中医新闻术语资料库,完善中医新闻词典库,优化、创新分词算法,开发中医新闻分词软件等方面加强基础性研究 杨海丰,陈明亮,赵臻.常用中文分词软件在中医文本文献研究领域的适用性研究J.世界科学技术-中医药现代化,2017,19(03)。关键词：分词技术；词典；中医新闻IIIAbstractAbstractWith the continuous development of network multimedia, the way o

3、f news information dissemination is more complicated, and people are faced with more new ways of information acquisition. This makes the dissemination of traditional Chinese medicine news and information to further promote. For the receivers of traditional Chinese medicine news and information, how

4、to accurately obtain the information they need from the multifarious and huge information is the primary problem facing them. For the practitioners of traditional Chinese medicine news and information media, grasping the popularity of news receivers and identifying key words can more effectively pro

5、mote the spread of traditional Chinese medicine news.In this paper, on the basis of installing and running the common word segmentation software to carry out experiments, the traditional Chinese medicine news information samples were used to carry out experiments respectively to compare the word seg

6、mentation accuracy, operation difficulty, accuracy, word segmentation speed, scalability, portability and other performances of different word segmentation software. Results: the word segmentation accuracy, operation difficulty, correctness, word segmentation speed, scalability, portability and othe

7、r performance differences, no one of the word segmentation software all performance to achieve the best. Conclusion: word segmentation technology may be the best way to break the traditional Chinese medicine news communication dilemma, and is a propeller to promote the development of traditional Chi

8、nese medicine culture. Research and development of word segmentation software for Chinese medicine news may be the best way to solve the problem of word segmentation in Chinese medicine news research. It is necessary to establish a professional database of Chinese medicine news terms, improve the Ch

9、inese medicine news dictionary, optimize and innovate the word segmentation algorithm, and develop the Chinese medicine news word segmentation software.Keywords:word segmentation technology; dictionary; Chinese medicine news目 录摘 要IAbstractII第1章 绪论11.1 研究背景11.2 研究方法1第2章 分词技术介绍22.1 中文分词概述22.1.1 中文分词的关

10、键问题22.1.2 歧义切分定义22.1.3 未登录词定义22.2 分词主要技术方法32.2.1 基于词典的分词32.2.2 词典分词的歧义消解问题42.2.3 词典分词的未登陆词问题42.2.4 基于字的分词42.2.5 主要分词技术评价5第3 章 分词工具介绍63.1 IKAnalyzer介绍63.2 THULAC介绍63.3 jieba分词介绍63.4 LTP分词介绍73.5 NLPIR分词介绍7第4章 分词技术在中医新闻信息中的应用84.1分词软件在中医新闻信息中的实际运用结果84.2演示成果9第5章 分词软件应用结果比较125.1 基本情况比较125.2 分词精确性比较125.3 分

11、词效率比较125.4 操作难易程度比较135.5 可扩展性比较13第6章 分词软件应用总结156.1 常见分词软件的综合评价156.2 适合中医新闻信息研究的分词软件分析156.3 中医新闻信息专用分词软件的思考15结 语17参 考 文 献18第1章 绪论1.1 研究背景中医是世界最古老的医学种类之一,它以独特的治病方法,辩证统一的治病原则,构建了一套完整的医学体系并为人民造福,在研究传播方面具有很高的价值 唐小霞. 中医文化的新媒体传播研究D.湘潭大学,2015.。虽然中医文化源远流长且体系完整,但是在互联网媒体高度发达今天,中医文化的传播却存在着许多问题。分词技术的兴起及发展对如今中医药新

12、闻的传播提供了新的可能。利用分词技术对中医新闻信息进行分析,把握热词、关键词同时分析中医药在互联网上的传播现状发现其中的传播规律,为推动中医药的传播与推广向媒体提供建议。1.2 研究方法实验法：实验法是通过主动变革、控制研究对象来发现与确认事物间的因果联系的一种科研方法。 吴建勋,唐璐宵,王薇,刘聪慧.高校市场营销专业本科毕业论文研究方法运用之实证分析J.人力资源管理,2016(05):210-213.本次研究将不同的分词技术进行对比获得不同分词技术的优缺点,寻找最适合中医药新闻信息的分词技术。23第2章 分词技术介绍一个中文文本从形式上看是由汉字（包括标点符号等）组成的一个字符串。由字可组成

13、词，由词可组成句子，进而由一些句子组成段、节、章、篇。可见，如果需要处理一篇中文语料，从中正确的识别出词是一件非常基础而重要的工作。2.1 中文分词概述中文以字为基本书写单位，词语之间没有明显的区分标记。中文分词就是由机器在词与词之间加上标记进行区分。例如：输入： 我是学生。输出： 我/是/学生/。2.1.1 中文分词的关键问题中文分词的关键问题为：切分歧义消解和未登录词识别2.1.2 歧义切分定义歧义切分的表示可以由下示例：输入待切分句子：提高人民生活水平可以切分输出 ：提高/人民/生活/水平或者切分输出：提/高人/民生/活水/平明显第二个输出为歧义切分2.1.3 未登录词定义常见的未登录词

14、有实体名词、专有名词与新词实体名词包括有：中国人名：李华 老李 李四 中国地名：青岛市 泰安 长清区 张庄 历城区翻译人名：托尔斯泰 葛朗台翻译地名：阿尔卑斯山 新奥尔良 约克郡机构名 ：格力集团 联想集团 联合国 商务部商标字号：可口可乐 耐克 南极人 同仁堂专业术语和新词语专业术语： 比特 逻辑 二进制 快速排序法缩略语 ：十四大 八荣八耻 三无产品新词语 ：杠精 爱豆 盘他 非主流未登录词没有明确边界，缺少英语中的分隔符、大小写、词的形态、冠词等语法信息，识别比较困难。因此通常每一类未登录词都要构造专门的识别算法。2.2 分词主要技术方法2.2.1 基于词典的分词词典中一般存储着：词、词

15、频、词性等信息，可以通过统计标注好的熟语料和常用词典得到。基于词典分词方法首先需要对句子进行原子切分，即找出句子中可能蕴含组成的所有词，然后构成词图。还是之前例子，输入：提高人民生活水平输出所有包括的词：提 提高高 高人人 人民民 民生生生活活活水水 水平平则可以构成词图如下：图2-1上述工作主要重点是词典存储于并快速匹配，多采用双数组Tie树的方法生成词典树，用自动机匹配词串。2.2.2 词典分词的歧义消解问题歧义消解可以转换为对于上述在词图上寻找统计意义上的最佳路径。常用一元、二元模型进行。基于一元模型进行评价：统计词表中每个词的词频，并将其转化为路径代价C=-log(f/N)切分路径的代

16、价为路径上所有词的代价之和寻求代价最小的路径。上述例子就是根据词典中这几个词的词频f，认为词频越高的路径代价越小，找出最短的路径。基于二元模型进行评价：相对于一元模型，二元模型还需要一个词转移统计词典，例如记录了衔接的次数，词转移统计词典实质上是一个稀疏矩阵。基于二元模型进行评价需要在一元模型的基础上增加转移路径代价。词典中转移次数多的衔接认为该衔接转移路径代价小。计算方法可以用Viterbi算法。2.2.3 词典分词的未登陆词问题简单来说，可以将未登陆词的识别转换成序列标注问题即打标签，然后用或其它统计学习方法求解。例如中国人名识别可以表示为（姓名）的形式，例如对于一个人名：张三 可以正确标

17、注序列为：张姓 三名，则人名可以识别出来。2.2.4 基于字的分词基于字的分词可以平衡的看待词表词和未登录词的识别问题。汉语中词都是有字组成的，可以将分词视为字的序列标注问题。例如对于“占”这个字可以有以下词位标注：词首B 占领词尾E 抢占词中M 独占鳌头单字词S 已占全国表2-1基于字的分词实现很简单，例如对于句子上海/计划/到/本/世纪/末/实现/人均/国内/生产/总值/五千美元/。可以有如下词位序列标注：上/B海/E计/B划/E到/S本/S世/B纪/E末/S实/B现/E人/B均/E国/B内/E生/B产/E总/B值/E五/B千/M美/M元/E。/S根据标注BMES实现了分词。转换成序列标注

18、问题后常用算法有HMM (隐马模型)、MEMM(最大熵隐马模型)、CRF等。下面简单比较一下：隐马模型一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特征，限制了特征的选择。最大熵隐马模型则解决了隐马的问题，可以任意选择特征，但由于其在每一节点都要进行归一化，所以只能找到局部的最优值，同时也带来了标记偏见的问题，即凡是训练语料中未出现的情况全都忽略掉。条件随机场则很好的解决了这一问题，他并不在每一个节点进行归一化，而是所有特征进行全局归一化，因此可以求得全局的最优值。 丁德鑫,曲维光,徐涛,董宇.基于CRF模型的组合型歧义消解研究J.南京师范大学学报(工程技术版),2008(04

19、):73-76+ 主要分词技术评价基于词典的分词优点：速度快，效率高，易修改，灵活性强。基于词典的分词缺点：主要依赖词典和规则库，对于歧义词和未登录词的识别能力较低。基于字的分词的优点：对于歧义词和未登录词的识别能力较好。基于字的分词的缺点：（1）模型体积大占内存。例如一个可供生产环境用的CRF模型至少使用前中后3个字符的组合做特征模板，在一两百兆的语料上训练，模型体积至少上百兆。（2）速度慢。相较于基于词语的BiGram分词器，一个拖速度的地方是特征函数的查询次数多、速度慢，另一个弱点则是概率图的节点更多（4倍文本长度个节点，4是BMES标签的个数）。（3）不易修改。有时候用

20、户对分词结果不满意，却无法方便地修正它。包括CRF在内的其他模型都需要重新训练，或者修改代码。而基于词语的NGram词典和词频词典可以轻松修改。第3 章 分词工具介绍3.1 IKAnalyzer介绍IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的 IKAnalyzer3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。 郑翠仙,孙文强,邓

21、创兴,蒋廷耀.基于IKAnalyzer及VSM的人大代表议案建议相似度计算J.信息通信,2016(08):48-50.IKAnalyzer3.0特性:1.采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和最大词长两种切分模式；具有83万字/秒（1600KB/S）的高速处理能力。2.采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩文、日文字符 优化的词典存储，更小的内存占用 黄翼彪. 开源中文分词器的比较研究D.郑州大学,2013.。3.支持用户词典扩展定义。3.2 THULAC介绍THULAC（THULexicalAnalyzerforChinese）由清华大学自

22、然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包，具有中文分词和词性标注功能。 孙萍.基于人工智能的图书馆参考咨询系统研究J.内蒙古科技与经济,2019(22):122-123.THULAC具有如下几个特点：(1) 能力强。它是使用目前世界上规模最大的人工分词和词性标注中文语言资料库训练而成，模型标注能力强大。(2) 准确率高。该工具包在标准数据集ChineseTreebank（CTB5）上分词的F1值可达97.3，词性标注的F1值可达到92.9，与该数据集上最好方法效果相当。 赵恒淼. 基于深度学习的中文分词算法研究D.山东科技大学,2018.(3) 速度较快。同时进行分词和词

23、性标注速度为300KB/s，每秒可处理约15万字。只进行分词速度可达到1.3MB/s。3.3 jieba分词介绍jieba中文分词：做最好的 Python 中文分词组件。jieba中文分词涉及到的算法包括：(1)基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)；(2)采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合；(3)对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法。分词模式： 张德成,王杨,赵传信,甄磊,李昌.基于贝叶斯决策的极短文本分类模型J.重庆科技学院学报(自然科学版),2018,20(04):8

24、2-85.结巴中文分词支持的三种分词模式：(1) 精确模式：试图将句子最精确地切开，适合文本分析；(2) 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义问题；(3) 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。3.4 LTP分词介绍LTP是哈工大出品的自然语言处理工具箱, LTP提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。pyltp是python下对ltp(c+)的封装。 王博. 基于云计算的多层次文本关键词抽取研究与应用D.西南交通大学,2015.LTP的分词模

25、块基于结构化感知器（Structured Perceptron）算法构建，具有准确率高、速度快等优点；同时支持用户自定义词典，适应不同用户的需求；另外还新增了个性化（增量式）训练功能，用户可以根据自己的实际需求，如对新领域的文本进行分词等，自行标注少量句子的分词结果（比如对LTP分词结果的修正），LTP分词模块可以重新训练一个更好应对新领域的分词器，进一步提高新领域上分词的准确率。Networks; Reports Summarize Networks Study Results from King Abdulaziz City for Science and Technology (Arab

26、ic Word Segmentation With Long Short-term Memory Neural Networks and Word Embedding)J. Computers, Networks & Communications,2019.3.5 NLPIR分词介绍NLPIR分词系统是由张华平博士在多年研究工作积累的主要功能包括中文分词,英文分词,词性标注,命名实体识别,新词识别,关键词提取,支持用户专业词典与微博分析。NLPIR系统支持多种编码,GBK编码、UTF8编码、BIG5编码,、多种操作系统,Windows,Linux FreeBSD等所有主流操作系统,、多

27、种开发语言与平台,包括:C/C+/C#,Java,Python,Hadoop等,。NLPIR分词系统前身为2000年发布的ICTCLAS词法分析系统从2009年开始为了和以前工作进行大的区隔并推广NLPIR自然语言处理与信息检索共享平台调整命名为NLPIR分词系统。第4章 分词技术在中医新闻信息中的应用内容需要增强，核心工作要不显得太少4.1分词软件在中医新闻信息中的实际运用结果正确率准确切分的词语数/切分出的所有词语数*100%召回率准确切分的词语数/应该切分的词语数*100%综合指标值=2*P*R/(P+R)测试文本一：中医药人第一时间上场，仁心仁术，大医精诚，凝聚了前行动力，彰显了特色优

28、势，贡献了重要力量。国新办举行中医药防治新冠肺炎重要作用及有效药物发布会人工分词：中医药人/第一/时间/上场/仁心/仁术/大医/精诚/凝聚了/前行/动力，彰显了/特色/优势/贡献了/重要/力量表4-1软件名称测试结果准确率召回率F1值IKAnalyzer中医/药/人/第一/时间/上场/仁心仁术/大医精诚/凝聚/了/前行/动力彰显/了/特色/优势/贡献/了/重要/力量0.5210.7960.629THULAC中医药人/第一时间/上场/仁心仁术/大医/精诚/凝聚/了/前/行动/力彰/显/了/特色/优势/贡献/了/重要/力量0.7360.6630.697jieba中医药/人/第一/时间/上场/仁心仁

29、术/大医/精诚/凝聚/了/前行/动力/彰显/了/特色/优势/贡献/了/重要/力量 0.6520.688O.670LTP中医药/人/第一/时间/上场/仁心仁术/大/医精诚/凝聚/了/前/行动力/彰显/了/特色/优势/贡献/了/重要/力量 0.5130.6210.561NLPIR中医药/人/第一/时间/上场/仁/心/仁/术/大/医/精诚/凝聚/了/前行/动力/彰/显/了/特色/优势/贡献/了/重要/力量 0.3390.5690.425测试文本二：今年中央财政支持高等医学院校为中西部乡镇卫生院培养订单定向免费五年制本科医学生共计6700人。教育部阳光高考信息平台人工分词结果：今年/中央财政/支持/高

30、等/医学院校/为/中西部/乡镇/卫生院/培养/订单/定向/免费/五年制/本科/医学生/共计/6700/人表4-2软件名称分词结果准确率召回率F1值IKAnalyzer今年/中央财政/支持/高等/医学/院/校/为/中西部/乡镇/卫生/院/培养/订单/定向/免费/五年/制/本科/医学生/共计/6700/人0.5120.7860.620THULAC今年/中央/财政/支持/高等/医学/院校/为/中西部/乡镇/卫生院/培养/订单/定向/免费/五/年/制/本科/医学生/共计/6700/人0.7250.6420.681jieba今年/中央财政/支持/高等/医学院校/为/中西部/乡镇/卫生院/培养/订单/定向

31、/免费/五年制/本科/医学生/共计/6700/人0.6550.6870.671LTP今年/中央/财政/支持/高等/医学/院校/为/中西部/乡镇/卫生院/培养/订单/定向/免费/五年制/本科/医学生/共计/6700/人0.5140.6240.571NLPIR今年/中央/财政/支持/高等/医学院/校/为/中西部/乡镇/卫生院/培养/订单/定/向/免费/五年/制/本科/医学生/共/计/6700/人0.3490.5710.4334.2演示成果图4-1 THULAC分词图4-2 IKAnalyzer分词图4-3 LTP分词图4-4 LTP分词第5章 分词软件应用结果比较5.1 基本情况比较在5种常用分词

32、软件中，IKAnalyzer与Jieba分词都为工具类库，其他3种均为独立运行使用的软件系统。在使用的算法上来看 IKAnalyzer、LTP 等分词软件主要采用以词典或规则为基础的字符串匹配的分词算法，而Jieba 分词、NLPIR 分词则主要采用以统计或规则为基础的分词算法。同时5种分词工具都支持开源。5.2 分词精确性比较分词精确性指相对同一段文献来说，与人工分词结果相比软件分词结果准确度，主要是检验分词软件在处理歧义方面的能力。我们在相对稳定的实验环境下，分别用5种分词软件测试了两段来源于政府新闻中关于中医的文本，同时以从事中医新闻传播者的人工标注为参照，计算各分词的准确率和召回率。见

33、表4-1和4-2，从计算结果来看准确率从高到低依次为THULAC、jieba、IKAnalyzer、LTP、NLPIR。同时根据综合分类率（F1）计算公式，从高到低依次为THULAC、jieba、IKAnalyzer、LTP、NLPIR。根据本次测试结果表明THULAC分词软件对给定中医新闻测试文本准确性最好，NLPIP准确率最差。5.3 分词效率比较分词速度是指在特定的且相对稳定的环境下分词软件在单位时间内完成分词的文本字数。由于软件处理能力受到计算机性能、软件的结构、分词算法、网络质量、代码开源程度等方面影响较大，很难在严格实验条件下通过嵌入计时器程序或其他方式精准计时。因此，本文在保证相

34、对稳定的环境下，经过测试多种类型的文本计算大概运行速度，同时参考各软件安装介绍文档中描述的分词速度，结合分词软件的使用者对分词软件速度主观体验情况，来综合评价各分词软件的分词速度。根据实验结果对比我们得出5种软件对给定测试材料的分词速度表现出较大差异，其中IKAnalyzer、THULAC分词速度远高于其他3种软件（表5-1）。表5-1软件名称分词速度/秒每万字软件名称分词速度/秒每万字IKAnalyzer3.7THULAC4.00jieba7.80LTP6.77NLPIR6.005.4 操作难易程度比较易操程度是指软件在被用户安装、使用、更改、拓展、维护的过程中的操作难易程度。从软件的测试结

35、果来看IKAnalyzer、Jieba 两个分词软件都没有可视化操作界面，IKAnalyzer、THULAC、LTP三个分词软件附有用户操作手册，但是绝大多数分词软件都不支持文本导入；同时5种分词软件都支持用户自定义词典，但提供的词典操作难易程度不一。总的来看，它们操作难易程度从易到难分别是：THULAC、LTP、NLPIR、Jieba、IKAnalyzer分词(表5-2)。表5-2软件名称有可视化操作界面支持用户自定义词典有用户操作手册支持文本导入易操作性IKAnalyzer否是是否较差THULAC是是是是很好jieba否是否否差LTP是是是否好NLPIR是是否是较好5.5 可扩展性比较可扩

36、展性是指软件系统在使用过程中被调整、更改、扩展来适应外部环境的变化以达到用户需求的能力。5种分词软件扩展性的具体情况见下表。它们基本都提供面向不同开发语言或开发框架的接口，基本都同时支持GBK 和 UTF-8，并且源码全都可获取。总体上看，IKAnalyzer 和Jieba分词作为工具类库，能十分灵活的被集成到软件系统中，可扩展性最好；THULAC、LTP、NLPIR、分词作为独立软件，可扩展性依次降低（表5-3）。表5-3软件名称软件接口支持编码类型源码可获取可扩展性IKAnalyzer提供针对Lucene和Solr的扩展接口GBK、UTF-8是很好THULACJava、C+、python、

37、C#、Ruby接口GBK、UTF-8、BIG5是很好jieba提供Python接口GBK、UTF-8、Unicode是很好LTPJava、C+、python、C#、Ruby接口GBK、UTF-8、BIG5是很好NLPIR提供C、C#、Java、Python接口GBK、UTF-8、BIG5是较好第6章 分词软件应用总结6.1 常见分词软件的综合评价总体上来看，IKAnalyzer和Jieba分词作为工具类库，他们的可扩展性比较好但是不容易被操作和使用；IKAnalyze分词速度较好但分词精确率一般；Jieba分词精准率较高，但分词速度一般。NLPIR分词的操作性较好并且容易维护，但其分词准确率和分词速度都比较低；而THULAC的分词速度，精确性都比较高但其安装、操作比较麻烦，易操作性较差。综上所述分词软件在精确性、分词速度、易操作性、可扩展性、等评价分词软件的标准之间存在固有的矛盾，任何一款分词软件均不可能在这些标准上同时达到最优。 Bndicte Poulin-Charronnat,Pierre Perruchet,Barbara Tillmann,Ronald Peereman. Familiar units prevail over statistical cues in word segmentationJ. Psycholo