《信息检索系统》方案设计

经典word整理文档，仅参考，双击此处可删除页眉页脚。本资料属于网络整理，如有侵权，请联系删除，谢谢！实用文档实用文档一2二335三66673.483.58实用文档一项目意义片信息、视频信息、语音信息等，通过、谷歌等大型商业搜索引擎可以找到自己想要的信息，但是也存在很多弊端。、谷歌等大型商业搜索引擎的搜索原理是基于网络爬虫（Spider）互联网信息检索系统来检索某一个行业的信息，每天自动在各大行业网站、取、存贮、归类、展现。通过自己的信息检索系统，可以让自己部门每天轻松地获得世界各地、快速做出正确的决定。据统计，内部网上的信息每年以200%的速度增长，其中发布到互联网上的信息只占到信息量的1%-2%，而98%以上的信息是发布在内部网上的。内部网上的信息既有网页形式的，也包含其他Word、PDF、XML等多种格式他们所需要的信息是一个主要的技术挑战。利用的最优目标。擎的主要目标包括：实用文档（1）较高的查准率。搜索系统支持按词索引、按字索引，同时实现中文自动分词。（2）较高的查全率。搜索系统可搜索各类异构的信息资源，包括传统的网页信息、Word、PDF、XML等不同格式的文档以及各类主流数据库的表中记录。（3）智能化的检索结果排序。安全搜索系统应采用相关度分析技术，将用户需要的信息排在结果列表的前面，屏蔽无用和错误的信息。二系统设计2.1技术原理HX-2055互联网信息检索系统（以下简称HX-2055）是针对特殊行业、够保证系统对实时信息的快速采集、归类、展现。包括企业的各种报表、帐单、电子文档、网站的各种元素、图片、传真、扫描影像，以及大量的多媒体的音频、视频信息等等。所有的存储数据中，有85%采用的是非结构化格式的，非结构化信息每三个月增长一倍。由于信息众方便使用。引查找，类似于通过字典的检索字表查字的过程。全文检索系统是按照全文检索理论建立起来的用于提供全文检索服务的软件系统。全文检索系统的核心则具有建立索引、处理查询返回结果集、增加索引、优化索引结构等功能。HX-2055全文检索系统的主要目标是实现文本索引的快速构建(IndexConstruction)(IndexMaintenance)，短语查询(PhraseQuery),Top-K查询的快速处理(Top-kQueryProcess)以及各种检索模型（IRModel）等。高性能和灵活的架构也实用文档使HX-2055专业数据库检索。图HX-2055可以实现对内部网络和外部网络的信息抓取、归类、展现。对于外部网络，HX-2055采用网络爬虫定时对各大行业网站、政府部门网站进行数据爬法，简单、快捷、方便的展示给使用者。HX-2055也可以对内部网络进行数据的挖掘、分析、整理、展现。HX-2055资源等数据源进行数据的抓取，包括内部网络的新政策、新闻通知、日常文档、文件资料等。实用文档HX-2055搜索引擎的系统体系架构如图所示:内部网用户数据123n内部数据图2引擎实现了下列主要功能：（1）爬行器：爬行器根据资源描述信息对内部网中各种异构的资源信息进Web网页、Word、PDF、Excel、PPT等格式的办公文档、各类主流数据库的表中记录。（2）索引器：通过中文分词技术，对爬行到的资源信息进行解析，建立索引文件。（3）搜索：用户提交其搜索条件，搜索条件经过特定处理后，在索引文件中检索出所有满足搜索条件的资源。2.2系统构架实用文档三系统功能3.1信息采集1、采用多线程并发搜索技术。2、提供多种采集范围控制方式，包括在指定网站内，在指定域内，以及在指定IP地址范围等方式。3、可以设置多种网站采集控制方式，包括采集的网页大小、超时限制等。4、提供高效更新功能，对于已经采集过的网站，更新时只采集发生变化和新加入的资源。5、可以灵活设定采集结果的存储方式，具有开放性。3.2中文自然语言处理1、内嵌自动分词系统，有效提高了分词准确性。2、在应用层上，提供自动分类和摘要功能；3、支持按词索引、按字索引、按关键词索引，适应不同应用环境的需求；实用文档4、内嵌相似性检索技术，提供文章的相似性检索和聚类功能。3.3全文检索功能1、支持WebBrowser/WebServer检索方式；2建立了上万条的歧义排除规则，因此检索“华人”不会把仅仅包含“中华人民共和国”的文章检索出来。3、支持结构化数据和非结构化数据的混合检索；4、允许使用文中的任意字、词、句和片段进行检索；5、全方位检索手段：与、或、非、异或；6、对数值、日期等特征字段可以进行比较和范围检索；7、支持任意一致的通配符检索(模糊检索)；8、支持多网站的全文检索9、具备中文自动分词系统，能有效提高分词准确性10、采用智能中文分词技术，建立高效索引库11、支持实时索引（1分钟内）12、支持增量式实时索引13、多线程设计，支持大量并发用户访问，每秒并发达到50个以上14、支持在结果中查询15、支持GBKBIG5UTF8GB18030等编码，采用UTF8编码方式实现多语言和多文种内容的检索及展现。16、支持中文、英文和中英文混合检索17、多样化排序，包括按抓取时间排序、按相关性排序18、多种条件组合检索：包括标题、正文以及日期范围检索19、支持关键词逻辑表达式组合检索20、检索结果支持基于查询关键词的动态摘要21、支持检索关键词的高亮显示22、将所检索到的信息可按设定的模版显示23、检索结果模板自定义如：如文章标题、文章栏目、简介、、点击率、实用文档时间以及文章类别等24、支持根据自动分类的类目进行检索25、采用KNN、SVM为基础的相关性算法3.4格式文件检索支持MSOFFICE,PDF,HTML,可以对.pdf;.rtf;.doc;.xls;.ppt;.pps;.xml等文件直接进行检索。3.5性能指标自动分类达到85%以上准确率数据索引更新时间