21中国系统架构师大会专场

1、京东亿级流量海量数据搜索架构京东搜索yindewei2017/10/21 搜索系统简介 搜索架构演进之路 搜索系统的发展与 电商搜索门户搜索索引量普通大率高普通精准率高普通排序度分流/提权文本相关性竞价排名等实时性高(部分秒级)普通个性化高(千人千面)普通多样性丰富(排序/导航)普通移动搜索页 智能终端京东开普勒系统 京X计划PC搜索页 重要之一京东搜索系统规模概况流量APP/PC/WX/QQ头条/网易索引量十亿级日更新亿级用户数亿级日PV十亿级 搜索系统简介 搜索架构演进之路 搜索系统的发展与 系统结构：简单数据量级：百万 更新方式：搜索架构V1 2011年Forward IndexDump

2、 WorkerDBSearch ServiceIndex WorkerInvert Index系统结构：分库分表+实时索引数据量级：千万更新方式：+增量搜索架构V2 2013年Full DataInc DataEngineMerge.Real-time messageReal-time Index.DumpWorkerIndex WorkerSearch ServiceInvertIndex nForwardIndex nDB nInvertIndex 1ForwardIndex 1DB 1系统结构：离线hadoop处理数据量级：亿级更新方式：+增量搜索架构V3 2014年Index Buil

3、d(MapReduce)WideTableAggregationFull DataDB 1.HadoopForward & Invert IndexDB nInc DataEngineReal-time messageReal-time IndexSearch Service平行搜索(分布式)引擎 2016年VIPThird-Party ServiceOnliarch ServiceCache CloudRootLoad BalancerP0LeafP1LeafParentPn LeafServiceQuery ProcessOperation Processas ServiceDat

4、a ProducingOffline UpdatingOnline UpdatingHadoop MapReduceDB1DB2DBnForward Index Invert IndexIncrement Data CenterModify Message平行搜索(分布式)引擎 负载均衡管理RootLoad BalancerParent DataBusiness ServicesQueryProcess DataDataOperationProcesss0snas ServiceCache-CloudIndexer平行搜索(分布式)引擎 负载均衡管理1. 轮询2. 负载窗口机制3. 4. 动态

5、伸缩5. 集群灾备平行搜索(分布式)引擎 搜索流程示意srequest flowRequest参数请求Parent请求LeafHit pageYcacheN调用QP处理搜索结果YHit attr cacheNYNAttr only调用User ServiceYHit doc cache增量结果+增量结果NN详情封装调用粗排序Hit pageYcache在线业务逻辑处理精排序合并分片结果在线业务逻辑处理 Root Parent Leaftrilevel cacheRequest参数请求Parent请求LeafHit pageYcacheN调用QP处理搜索结果YHit attr cacheNYNA

6、ttr only调用User ServiceYHit doc cache增量结果+增量结果NN详情封装调用粗排序Hit pageYcache在线业务逻辑处理精排序合并分片结果在线业务逻辑处理 Root Parent LeafVIPPCMobileDNSDNSRootRootCloudRootParentRootLoad BalancerParentasLeavesCloudRootParentFull/Inc/SensLeafDataLoad BalancerPartition 0doc cachedoc cachedoc cachePartition kdoc cachedoc cachedoc cachePartition ndoc cachedoc cachedoc cacheLeavesJIMDB Cloud数据P0.数据PnHadoopWide TableAggregationDB n.DB 1Index Build (MapReduce)索引数据生产 评论系统库存系统数据引擎促销系统价格系统业务处理数据中心数据融合系统商品系统搜索引擎索引数据生产 增量评论系统库存系统