搜索引擎论文搜索引擎 核心词提取 中文分词 模式匹配 权值计算

1、搜索引擎论文：搜索引擎核心词提取系统设计与实现【中文摘要】论文选题来源于国内某著名互联网公司搜索引擎团队的搜索引擎核心词提取系统。索引系统作为搜索引擎的核心系统之一,需要处理海量的互联网信息,但是信息的高重复度浪费了大量的系统资源。为了解决这一问题,需要在索引系统中添加索引信息排重系统,通过比对信息文本的核心词来实现排重功能。本论文的主要工作是索引信息排重系统中核心词提取子系统的设计与实现,该子系统的是能够准确、快速提取信息文本中的核心词汇,供索引信息排重系统使用,进而达到索引信息排重的。论文阐述了搜索引擎核心词提取系统对于企业应用的价值和意义。介绍了搜索引擎核心词提取系统相关技术,包括搜索引

2、擎技术、中文分词技术、模式匹配技术以及Linux系统开发技术；对搜索引擎核心词提取系统进行了需求分析,提出了基于中文分词和模式匹配技术的核心词提取方案；设计了系统的架构和功能模块；最终实现了该系统。本论文设计、实现的搜索引擎核心词提取系统主要应用于索引信息排重系统,还能将其扩展应用于文章相似度计算、网页相似度计算以及新闻相关词提取等。目前搜索引擎核心词提取系统已经应用于该互联网公司的搜索引擎中。该系统使得无线爱问搜索引擎有了更好的用户体验,主要体.【英文摘要】This thesis comes from the Core Word Extraction System in Search Eng

3、ine of wireless iAsk team in Sina network Co., LTD. As one of the search engines core systems, Index System needs to process huge amount of internet information. However, the high repeatability of information has caused great system resources waste. In order to solve this problem, it is necessary to

4、 add Detecting Duplicate Index Information System to Index System. The detect function is implemented by contrasting core words of informative .【关键词】搜索引擎 核心词提取 中文分词 模式匹配 权值计算【英文关键词】search engine core word extraction Chinese word segmentation pattern matching weight calculation【索购全文】联系Q1：138113721 Q2

5、：139938848【目录】搜索引擎核心词提取系统设计与实现致谢5-6中文摘要6-7ABSTRACT71 引言11-131.1 课题背景111.2 国内外现状11-121.3 论文的主要工作及意义121.4 论文组织结构12-132 搜索引擎核心词提取系统相关技术13-242.1 搜索引擎132.2 搜索引擎分类13-14 全文搜索引擎13-14 目录索引搜索引擎14 元搜索引擎142.3 搜索引擎基本工作原理14-16 全文搜索引擎14-15 目录索引搜索引擎15 元搜索引擎15-162.4 中文分词162.5 中文分词算法分类16-19 基于字符串匹配的分词方法17 基于理解的分词方法17

6、-18 基于统计的分词方法18-192.6 模式匹配技术19-21 KMP(Knuth-Morris-Pratt)算法19-20 BM(Boyer-Moore)算法20-212.7 搜索引擎核心词提取系统中的开发技术21-24 Linux系统及开发工具21 Linux系统下静态库以及动态库技术21-22 Linux系统守护进程22-243 搜索引擎核心词提取系统需求分析及概要设计24-353.1 搜索引擎核心词提取系统架构24-28 搜索引擎框架及搜索引擎核心词提取系统所处位置24-25 搜索引擎的工作流程25-27 搜索引擎核心词提取系统总体结构图27-283.2 搜索引擎核心词提取系统功能

7、需求分析283.3 中文分词子系统功能需求分析28-30 中文分词子系统用例分析29 中文分词子系统数据处理流程29-303.4 模式匹配子系统功能需求分析30-31 模式匹配子系统用例分析30-31 模式匹配子系统数据处理流程313.5 权值计算子系统功能需求分析31-33 权值计算子系统用例分析31-32 权值计算子系统数据处理流程32-333.6 结果排序子系统功能需求分析33-34 结果排序子系统用例分析33 结果排序子系统数据处理流程33-343.7 总结34-354 搜索引擎核心词提取系统详细设计与实现35-614.1 中文分词子系统35-46 实现技术35-36 数组Trie树构造实现过程36-37 匹配规则37-41 无用词汇的删除41-42 子系统流程及关键部分实现逻辑42-44 进一步改进优化措施44-464.2 模式匹配子系统46-51 关键词集合匹配树的构造流程47-48 关键词集合匹配树的词频统计算法流程48-50 模式匹配子系统实现的关键数据结构50-51 模式匹配子系统小结514.3 权值计算子系统51-54 字词权值计算函数构建52 字词权值计算函数因子计算52-54 字词权值的最终计算544.4 结果排序子系统54-59 B-快速排序算法的基本思想55-56 B-快速排序算法流程56-57 B-快速排序算法的实现以