统一搜索、检索系统概要

1、统一搜索综述 统一搜索产品是基于开源框架，针对网页内容，商品、多媒体以及应用的搜索产品，包括爬虫引擎，索引引擎、检索引擎、智能推荐引擎、框计算接口平台、运营支撑平台等子系统和应用组件。有核心的搜索引擎算法和专业的技术架构做有力的支撑。定义 面向搜索用户，提供信息检索的入口和渠道，完成从接受搜索词到返回搜索结果的关键流程，同时还要完成对搜索内容的采集与分析、建立索引的工作。定位 统一搜索对网页引入爬虫抓取机制，与传统数据库方式内容搜索，形成最鲜明的差异化优势；对垂直搜索采用开放平台接入方式，各种数据和应用可以主动与搜索平台对接，使自己有机会来响应搜索的需求。特点 统一搜索的主要发展方向有两方面：

2、一是，扩大搜索范围，增加更多的专业垂直搜索；二是，向移动端延伸，为移动端提供更多支撑。发展搜索引擎的算法来到了以用户体验至上的年代，我们选择了在目前搜索引擎领域企业级应用中最先进的开源框架solr基础上，通过对其核心算法的改造和优化，将其搜索引擎第三代算法：相关性算法加入用户体验元素，例如用户点击反馈因素及权重对网页最终得分的影响等，实现了搜索引擎核心算法的升级和优化。商城垂直搜索中的商品综合排序算法从无到有，依据对商品排序需求的研究，结合已经掌握的相关排序算法技术，创新出了适用于商品综合排序的算法；商品智能推荐算法也已研究出一定规模。搜索引擎核心算法技术特点我们搜索引擎中的爬虫引擎、日志采集

3、分析子系统、智能推荐引擎均采用的是以nutch、hadoop、redis、hbase、mahout等框架为基础的分布式存储、云计算的平台和技术；索引引擎、检索引擎等核心引擎采用的是以solr、Lucene为底层框架，包含了分布式集群部署、支撑高并发的主从式索引控制、根据配置文件定义数据解析等搜索引擎领域中最专业的技术手段。统一搜索产品卖点分析搜索引擎主体架构采用的是面向接口，插件化、可扩展的开放架构，它对外提供类似于Web-service的API接口。搜索引擎支撑系统的管理平台采用的是以jQueryEasyUI+spring3+mybatis为基础框架的架构，保证了对非重点功能的易于开发；重点

4、和核心功能的易于解耦、易于扩展及性能上不增加额外开销的保证。架构特点产品特点搜索领域产品中框计算能力是一个非常重要的标识。我们已经实现了基本的框计算能力，在主流门户已经上线的搜索产品中实现了普通直达搜索、商品直达搜索、一键办理业务搜索、网页搜索等多种搜索服务能力。框计算背后的资源平台，实现了基于普通业务直达的配置管理系统；一键办理服务直达的接口规范，但离各种数据和应用可以主动与框计算平台对接这个要求还有较大的距离，需要进一步完善和包装支撑框计算的后台系统和工具。统一搜索产品卖点分析续统一搜索门户综合搜索功能架构统一搜索门户综合搜索功能架构搜索引擎子系统门户搜索搜索框搜索首页搜索结果页高级搜索页

5、面数据处理 网页解析内容分类数据去重数据输出索引维护文本分词索引生成索引分发基础检索直达搜索搜索提示分类搜索搜索推荐自然语言检索组合检索渐进检索敏感词过滤搜索结果匹配内容提示检索结果多维度排序搜索结果分类筛选数据源运营管理子系统推荐管理搜索结果管理搜索SEO管理词库管理搜索平台管理搜索应用视图管理搜索应用配置运行管理搜索应用监控维护统计分析权限管理参数配置工单管理统计分析搜索业务管理 直达管理推荐管理搜索结果管理搜索SEO管理词库管理信息采集爬虫业务数据同步一级门户移动商城各省门户一级WAP客户端扩展检索接入层索引层应用层展现层业务运营人员客户n统一搜索采用总部一点建设，包括搜索引擎子系统和运

6、营管理子系统两部分。n搜索引擎子系统包括：搜索门户、数据处理、索引维护、信息采集、基础检索n运营管理子系统包括：管理门户、业务运营管理、平台运营管理、系统运营管理统一搜索门户综合搜索系统架统一搜索门户综合搜索系统架构构平台运营管理人员客户商户n截至目前，统一搜索实现了搜索提示词、智能纠错、相关推荐、相关度排序、高级搜索、搜索直达、商品直达、热门搜索词、大家都在搜、搜索历史、高亮提示、相关搜索词、调研问卷、广告等18项核心功能。搜索提示词智能纠错相关推荐相关度排序高级搜索多媒体搜索与或非搜索site指令搜索直达商品直达热门搜索词大家都在搜搜索历史高亮提示相关搜索词调研问卷广告一键办理功能统一搜索统一搜索18项核心功能项核心功能搜索首页承载方页面搜索入口承载方搜索详情页省公司H5页面统一搜索H5页面搜索结果页 嵌入方式和入口形式由统一搜索提供整体方案，由统一搜索和承载方双方共同协商确认。 搜索详情页，由省公司提供； 对于没有开发能力的省公司，总部提供技术支持，指导开发。 除搜索框、搜索历史、热词推荐、输入提示等基本功能外，搜索首页还主要承载直达内容。 搜索结果页作为核心页面，对一键办理、业务直达和商城商品接入等内容都有不同的展现。n实现方式：统一搜索以嵌入的方式，为总部和省公司提供搜索服务能力，将统一