搜索引擎的中文分词技术详细分析_第1页
搜索引擎的中文分词技术详细分析_第2页
搜索引擎的中文分词技术详细分析_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

搜索引擎的中文分词技术详细分析

首先我们看下下面这个句子“上海奇商是上海地区最优秀的企业SEO咨询公司吗？”当搜索引擎(以后一律建成SE)读到上面这句话的时候会进行第一次切词，结果如下：上、海、奇、商、是、地、区、最、优、秀、的、企、业、S、E、O、咨、询、公、司、吗注意上面是20个中文汉字和3个英文字母，而第一次分词的结果是将“上”、“海”两个重复的关键词去掉了。这种切词就是简单的单字法。当然搜索引擎不是傻瓜，不会只利用这么一种简单的分词方法。接着，搜索引擎进行二分法分词，结果如下：上海、海奇、奇商、商是、是上、海地、地区、区最、最优、优秀、秀的、的企、企业、业S、SE、EO、O咨、咨询、询公、公司、司吗注意上面的伤害出现了两次，也只算做一个词，因为他们的确是一个词，第一个“上海”和中间的“上海”没有什么差别。这只是第二次分词，接着会有三分法分词和四分法分词。或许有SEO要问，这样分出来的词搜索引擎有什么用？不着急，我们还没讲到下面。其次，SE针对这些词进行筛选，怎样筛选呢？我们都知道中文的很多词，像“的”“了”“啊”“吗”“在”等几乎每篇文章都会用到，这些词要是SE全部收录的话，那估计数据库早就放不下了，因为百度目前收录的16亿网页几乎每个网页都有这些词，这么浩大的工程，SE肯定忙不过来，即使忙过来，也很少有人去搜索“啊”这样无意义的关键词。所以SE将这些词定义为停止关键词，也就是英文里面提到的“stopword”。只要是停止关键词都会被删除的。或许又有SEO开始提问了，那么“是上”这样的关键词难道也被分成一个词？不要着急，下面还有更精彩的。忽略掉停止关键词后，剩下的关键词开始跟SE的词库进行匹配，原始的词库可能只有辞海那些基础的关键词，但是随着互联网的发展新词的产生，SE的词库远远大于辞海。后面会详细解释。这样像“上海”、“地区”、“优秀”、“企业”、“咨询”、“公司”等我们自己都知道肯定属于辞海的关键词，肯定也属于SE的词库。这里有些SEO开始问，那么像“SEO”这样的词SE是怎样判断的呢？如果大家去看下在微软必应搜索”SEO”时候推荐的关键词就能看到，他们和百度、谷歌一样，原来都是解决不掉这个问题的，推荐的关键词一律为“色哦”。那么后来他们是怎么分析出来这个关键词的呢？这个就要靠SE强大的统计功能了，当SE发现有大量用户搜索“SEO”这个关键词的时候，他们就会将这个关键词添加到词库。这个时候一个新词就产生了。当然还有这种情况是百度贴吧之父俞军和百度CEO李彦宏都向往的一种分词方法，即理解，理解的意思就是我们在搜索“上海最好的SEO公司”的时候，SE能够理解用户要找的是什么信息，他会发现用户最在乎的是

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论