搜索引擎检索端架构

1、检索端体系架构杨震原 2009-03目的和重点目的增进对baidu搜索引擎的理解了解各个模块的功能重点系统总体架构和这样设计的考虑各个模块基本功能、策略搜索引擎系统webspiderPageDataAnalyze&IndexIndex&DIDatasearcherClientbrowser检索端架构库用户How to search?BS从索引中找到检索结果库用户BSAS从结果中找到需要的部分库用户BSASDI从网页中找到标题和摘要库用户BSDIASUI生成结果页面库用户BSDIASUIBWS解析请求、发送结果库用户BSDIASUIBWS检索端的架构（理想情况）库BS/DI前端后端后端用户ASU

2、IBWS将BS、DI分成若干组库BS/DI库BS/DI库BS/DI用户ASUIBWS每个模块都在不止一台机器上库用户BS/DI库库库BS/DI库库库BS/DI库库ASUIBWS增加了接入模块处理连接库用户BS/DI库库库BS/DI库库库BS/DI库库ASUIBWSTransmitAS分层库用户BS/DI库库库BS/DI库库库BS/DI库库ACUIBWSTransmitBCBC检索端漏斗结构库用户BS/DI库库BS/DI库库BS/DI库ACUIBWSTransmitBCBC检索端漏斗结构用户ACUIBWSTransmitUSDAGSS实际库类型rtswdndnewsVIPnormalBCBCBC

3、用户分流用户TDOcdndnsTCJXQwebTransmit简介库BS/DI库库BS/DI库库BS/DI库AS用户UIBWSTransmitTransmit功能介绍减少单位连接的资源消耗抵御攻击禁止同一用户过多连接禁止同一用户过多请求防止慢连接攻击提供黑白名单功能分析用户连接情况提供keep alive功能BWS简介库BS/DI库库BS/DI库库BS/DI库AS用户UIBWSTransmitBWS的工作方式BWSApache-snapApache-seUI快照库检索用户快照用户BWS功能介绍解析用户http请求提供与UI的连接、数据传递传递静态文件（apache-se）提供网页快照（apac

4、he-snap）负载均衡个性化配置：cookie抵御攻击UI简介库BS/DI库库BS/DI库库BS/DI库AS用户UIBWSTransmitUI实际的连接UIASBWSCARSNSECTBPPIKUI相关名词解释摘要：用户看到的检索结果页面中，每一个URL结果的下面都有一小段文字描述，这就是摘要，这段描述来自这个URL的原文。飘红：在每个URL结果中，标题部分和摘要部分被高亮的部分就是飘红。UI主要功能介绍向各服务模块发送请求、从各模块接收数据整理结果进行最大匹配飘红按照模板生成结果页面，返回给BWS超时控制、负载控制（抵御攻击）负载均衡（不包括对AS）参数动态调整CacheAS简介库BS/D

5、I库库BS/DI库库BS/DI库AS用户UIBWSTransmitAS主要功能介绍根据策略名调用不同的过滤词和反过滤字典 (filterdict.n)决定每个查询串的黄反级别(sensitive_politics, sensitive_sex,filterlevel)根据策略名调度相应层、组的BS，均衡负载BS结果的合并，调用对应组的DI，均衡负载对DI、BS的容错（对BS、DI的重新请求）各类site和URL屏蔽和调权各种相关性调权策略BS、DI简介库BS/DI库库BS/DI库库BS/DI库AS用户UIBWSTransmitBS主要功能介绍检索词过滤：重复、遗漏、多余语法判断和处理（site、title、url、inurl、domain语法，“+ - |”操作、引号和书名号的处理）进行分词、取索引（调用par