互联网架构课前-中文分词技术

中文分词技术(中文分词原理一 为什么要进行中文分词二 中文分词技术的分下面简要介绍几种常用方法12（一）(ＭａｘｉｍｕｍＭａｔｃｈｉｎｇＭｅｔｈｏｄ)通常简称为ＭＭi个汉字字符，则用被处理文档的当前字匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i，则匹配失败，将匹配字段中的最后一个字去掉，对剩下的字串重新进行匹配处理……如此进行下去，直i字字串进行匹配处理，直到文档被扫描完为止。初始化当前位置计数器，置为从当前计数器开始，取前2i如果匹配字段长度不为0跳转到步骤则②匹配字段长度减②匹配字段长度减跳转至步骤 否则当前位置计数器的值加（二）(ＲｅｖｅｒｓｅＭａｘｉｍｕｍＭａｔｃｉｎｇＭｅｔｈｏｄ)通常简称为ＲＭＭ法。ＲＭＭ法的基本原理与ＭＭ法相同,MM描，每次取最末端的2i个字符（i字字串）作为匹配字段，若匹配失败，则去掉匹配字段法比正向最大匹配法的误差要小。统计结果表明,单纯使用正向最大匹配的错误率为1/169,单纯使用逆向最大匹配的错误率为1/245。例如切分字段“产”，正向最大匹配法的结果会是“/产”，而逆向最大匹配法利用逆向扫描，可得到正确的分词结果“/研究/生产”。（即双向匹配法，见（四（三）这是一种全切分方法。它不依靠词典,而是将文章中任意两个字同时出现的频率进行统计,次数越高的就可能是一个词。它首先切分出与词表匹配的所有可能的词,和决策算法决定最优的切分结果。它的优点在于可以发现所有的切义并且容易将新词提取出来。,比较匹配过程是分步,,,因而分词速度可以大幅度提高。这种方法涉及到多级内码理论和管道的常用中文分首选的中文分词开源组件。Paoding中文分词追求分词的高效率和用户良好体验。Paoding'sKnivesPIII1G内存个人机器上，1100 ClassificationecognitionaggingDetectionCheckingDetection（ClusteringModelingIndexingMiningSegmentationysis、语言辨别（LanguageIdentification）等JELibMMSeg1.2G（0.7.1yzer分算法，是Luceneyzer接口的实现。PHPCWSPHPCWSPHPLinux/UnixPHPCWS先使用“ICTCLAS3.0API进行初次分词处ICTCLAS（InstituteofComputingTechnology,ChineseLexicalysisICTCLAS3.0，分词精度98.45%，各种词典数据压缩后不到3M。ICTCLAS在国内973SigHan组ICTCLAS3.0商业版是的，而免费提供的ICTCLAS3.0共享版不开源，词库是根据一个月的语料得出的，很多词语不存在。所以本人对ICTCLAS分词后的ICTCLAS3.0GBKUTF-8编码的字符串，可以先用PHPiconv函数转换成GBK编码，再用phpcws_split函数进行分词处理，UTF-8编码。常见的中文分词器LucenePaoding填补了国内中文分词方面开源组件的空白，致力于此并希翼成为互联网首选的中文分词开源组件。Paoding中文分词追求分词的高效率和用户良好体验。Paoding'sKnivesPIII1G内存个人机器上，1100LingPipe，开源自然语言处理的Java开源工具包 ClassificationRecognitionaggingDetectionCheckingDetection（ClusteringModelingIndexingMiningSegmentationysisJELibMMSeg1.2G（0.7.1LibMMSegyzerIKyzer基于lucene2.0版本API开发，实现