电商搜索和新闻推荐用户画像近实时更新-final

电商搜索和新闻推荐用户画像

--近实时更新

王成光

2016-7-10电商搜索和新闻推荐用户画像实时更新电商搜索基本组成相关实现技术新闻推荐用户画像用户画像组成用户画像实时更新流程实时计算:Storm/SparkStreaming/Light_drtc2016-7-10电商搜索和新闻推荐2电商搜索基本组成搜索框自动补全提示导航筛选器关键词检索相关实现技术ES和Solr近年发展情况ESvsSolr全方位比较ES2.X新特性2016-7-10电商搜索和新闻推荐3电恋商革搜棍索赖组萝成-寨-搜隐索健框株自妨动逐补革全唐提雄示2筋0予1鼻6妄-些7绝-闪1匹0电谜商辽搜创索斥和旗新使闻悄推思荐4亚较马荒逊淘律宝京大东优烂购电贼商膀搜隆索旗组养成-抛-导兼航央筛棚选观器2引0辜1历6写-邀7琴-假1月0电拣商符搜井索花和缸新货闻勒推画荐5天宵猫勿搜虚索艇筛烈选锋器电等商详搜尊索厦组抱成-罗-导欣航拴筛仰选溉器2伏0举1淘6呢-菜7流-界1躲0电搂商臣搜索索扇和自新站闻适推层荐6优榜购前搜躲索劫筛赵选按器电密商胶搜躲索悄组献成-晴-关否键皮词讨搜宾索2忽0花1料6茄-陶7骗-核1瓣0电川商映搜冤索活和唉新制闻掌推伏荐71袖.同烫音炭异河形翼搜糟索2想.部散分煎匹矮配哭搜巡寿索3贸.缺街失辽品植牌急建的议刻搜员索4献.同脆义梳词觉搜摔索品湾牌复别影名品卫类学别妖名电荣商棍搜倍索淘技喇术-榜-当当前海全汁文西检遮索霞项赏目2鞭0熔1元6唯-艺7罪-台1腿0电寻商角搜深索间和季新终闻隐推犬荐8项目介绍Lucene开发语言是Java，也是Java家族中最为出名的一个开源搜索引擎，在Java世界中已经是标准的全文检索程序，它提供了完整的查询引擎和索引引擎，无中文分词引擎，不支持实时搜索。Solr

SolrCloudSolr是一个用java开发的独立的企业级搜索应用服务器，它提供了类似于Web-service的API接口，它是基于Lucene的全文检索服务器，也算是Lucene的一个变种，很多一线互联网公司都在使用Solr，也算是一种成熟的解决方案.ESElasticsearch是一个采用java语言开发的，基于Lucene构造的开源，分布式的搜索引擎.设计用于云计算中，能够达到实时搜索，稳定可靠.Elasticsearch的数据模型是JSON.SphinxSphinx是一个用C++语言写的开源搜索引擎，也是现在比较主流的搜索引擎之一，在建立索引的事件方面比Lucene快50%，但是索引文件比Lucene要大一倍（以空间换取性能），在检索速度和精准度和中文分词方面比lucene支持差。MysqlMysql全文索引，自4.0开始引入，最初只支持持MyISAM引擎,自MySQL5.6起也同时支持InnoDB引擎。对中文支持不好，性能也相对较差。电粪商缺搜乖索乘技鸭术-寒-步E仿S集艰群2帅0乏1决6许-暗7队-宅1腊0电膏商腹搜铃索榴和魄新逆闻晒推垒荐9电察商杀搜获索辟技浮术-聋-君S获o棵l少r提C寄l妨o匙u宋d集务群2菊0擦1则6郊-讲7蒙-跳1值0电践商散搜悬索灭和贺新作闻测推府荐1辽0电危商冠搜赌索岗技库术-幅-蔑E料S和S贺o法l驾r综钉合即比弟较2厦0柏1芹6璃-虏7总-收1闲0电痛商忘搜眠索羡和漏新分闻没推险荐1撑1特性ESSolr/SolrCloud索引1.新插入10万条耗时18.8秒2.更新2万新插入8万耗时64秒3.索引文件相对较大(7612k)1.新插入10万条耗时7.2秒2.更新2万新插入8万耗时24秒3.索引文件相对较小(5280K)shard中doc数差异大比较匀称查询返回10万条数据大概15毫秒返回10万条数据大概29毫秒健壮性比较强相对弱容错性比较强相对弱中文分词支持动态添加专有词支持度不好无模式实时索引与生俱有后期增加电监商茫搜藏索具技观术-路-价E将S和S遍o品l称r近总年墓发脏展2蹦0逝1茅6孤-头7泊-蹲1脚0电仇商长搜荡索归和黑新挥闻号推痛荐1诞2电穿商烟搜谅索向技众术-远-贝E上S和S冷o邻l弱r近劣年如发却展2间0菜1明6桥-砍7依-谨1骗0电丽商其搜疾索学和帅新探闻负推亩荐1乖3电含商封搜慌索裁技彼术—鼓—挂E条S壁2冶.途x新廊特健性2织0帝1耽6鸭-役7互-担1听0电肺商刷搜休索钉和欣新挺闻慢推异荐1皱4E仰S集蛾群殿节停点丛新秤增砍部么落膛节盐点A损P假I级敢显蒙示类支抬持倒文宣档尘字吧段肌级叮更追新E恳S蓝2识.摔X已既经膨废谢弃F潜a饰c膊e谷tE全S回2突.材X闹A海g鸟g阅r厦e躬g断a裂t托i虏o末n功亿能辈增梳强卵，荒支蔽持曾嵌闭套提。E只S宪2柏.墙X开叛始妹索矛引膀类藏型i冰n斤d摘e毕x街_驻a秘n馅a攀l与y侨z孝e妄r更外改周为a璃n梦a执l稳y秤z诵e亡rE鲁S扑2纪.欣2新瞒增谈查筑询虎分被析据器栏：得变到危查注询的姐详沙细舍分有析遗信宴息气，企它您可粘以肺让期你遍了行解访和探调扫试释查贸询良性烦能演。爸查腾询值的误每侨一议部日分阅都独你立索的符记萝录殃了往统疗计泼时沿间ES附2欠.深2增饿强煌地舞理饺位恩置字晨段:几百乎喉重袄写岂，增签加5戴0凤%的掌入冤库各效轻率蛾，提茄高2汪0-荣5巷0谈%的浊查政询催效绸率E川S详2仰.肺x中已文默分怒词帐集异成桐也惯有俯所泛调眉整新省闻准推蛇荐授用固户棉画屠像万实杜时更纸新用鸽户趣画介像端基鼻本替组螺成内兼容虫体铅系乓分刻类更传新粪周毅期哪分紫类用育户颂画狼像呀实裙时市更幼新雄流羞程流恰式苦分投布晶式拉实称时摘计弃算S专t洒r任o绪mS甩p慕a航r阻k辉S刘t猫r护e球a硬m疗i订n详gL蚁i密g异h邮t想_套d绩r奇t剪c错(原溜创发：h拢t章t遍p清s:对/弄/功g乞i趣t洽h唯u终b咏.守c算o通m稿/蚂l恒r劫t国d肾c科/机l岂i兴g认h涝t涝_声d蚀r伞t河c)2超0筑1灶6选-杜7盆-庸1桥0电悦商惧搜箩索居和阁新渴闻魄推联荐1对5用锅户伪画兄像贩基辈本描组衰成—内始容这分围类百鼠度改数猜据喘开祝放平呈台斑大搜数娱据旗用饶户型画摊像固标抢签体享系h溉t岸t闻p哀:茫/拴/例d核a拒t咬a棕m付a贴r为t砖.慢b乏a倡i承d标u姜.算c喷o客m悄/款d欺a往t剥a教x努-遵w著e澡b链/轰i摇n熄t船r糕o学d流u恋c剂e钻_塔d池a匹t疯a贼x2圈0倚1似6爪-膛7训-歌1达0电阁商塑搜熟索相和冠新桃闻影推聋荐1规6用橡户继画驱像蒙基毛本巾组垒成—更纠新栗周宗期程分讨类依尚据翠属贺性挺变院化阶频码繁缝程历度湖：静快态够标悟签相灿对湖短尤时表间很内心变着化不佣大嫂的里信减息还，兵主赏要江指陆地够域在、既年牢龄昨、抬性踏别侍、位文宝化、职斗业、宇收香入、生虑活印习既惯、膊消介费翁习匀惯曾等灵人冤口召属挺性眠和洒商桶业四属悉性部等动誓态尾标蚁签用份户墙不鞠断浸变缩慧化的未行劫为醋信钱息撇，战主种要栏指锐产室品愚类读别厕、吴活淡跃贷频蹈率摇、产荣品庆喜纠好右、产钻品码驱绢动、逆使研用俩习揉惯糖、苦产君品插消成费纵等肤产凡品参行否为稠，帽在附互统联扇网芝上丸，用菜户忍行撇为搂，可蚂以臂看处作借用嗽户投动稀态信狠息呀的隙唯耻一的数朝据来格源等依校据幸更炉新匙时挂间顶长呢短胶：长葵期蔑兴度趣猾标医签楚：联更讯新天频劝率怜一点般钻为搬数问小遗时链或嫩天短阁期饱兴宴趣屈标卷签户：奖更局新秒频劫率弓一泊般泻为欢分敬钟斗级劳或仅秒瓶级2蛮0木1昌6悔-滑7盈-鉴1敞0电悔商尼搜释索穴和雀新那闻固推诞荐1径7用风户著画仰像匙计蚊算悲相华关脖算奏法内贩容僚相壮似J站a槐c需c范a赖r匀d|拢S示∩喇T践|伯/收|钓S沈∪斩T识|余厕弦搬定魔理修悼正撒余预弦皮万尔挎逊亿相名关霉系唐数2亭0场1陶6菊-窃7高-冷1义0电罢商丧搜荐索勤和泽新顾闻茄推档荐1越8用善户乔画引像炊计蝴算过相屋关堡算辞法关轮联牙规歪则支穷持慎度浸（S泛u死p柔p病o怕r福t）桐，剂表砖示戚项吩集{狭X着,汁Y唇}在每总寺项秤集口里随出缴现蒜的员概傍率达。公羽式莲为氏：S猫u振p黄p峰o巧r估t弹(贴X→Y闪)砍=冤P贺(谢X月,枯Y谦)览/什P巷(迅I受)绳=离P副(晒X∪Y课)朴/棋P报(您I宁)罩=标n雷u该m租(坚X缺U线Y千)汪/删n逐u稻m均(裙I往)置掀信质度宋（C肠o队n冷f赠i搞d格e胜n您c茧e）亩，体置闷信挎度阿表瘦示塔在绘先想决处条绢件X发弯生刮的下情做况逝下吊，驰由棉关推联倘规戴则“X→Y”表推汤出Y的洪概惹率狼。棵即盼在盏含而有X的灭项控集荣中肆，光含陪有Y的硬可驶能刺性乔。公欲式蹄为垃：C趴o势n煤f元i急d穗e钉n包c邮e菊(紫X→Y枝)遵=督P昏(愁Y乎|趁X次)咽=足P荒(超X豪,奏Y扛)疲/代P造(帮X蓄)锈=宴P绝(帜X日U湾Y班)俩/谋P看(范X帐)提察升孤度吊（L策i壮f菊t）舟，旱提耻升瞒度厚表浮示吉含晴有X的解条回件菠下凤，坡同史时连含赞有Y的激概押率燃，选与篮不炒含X的谜条励件印下战却再含Y的处概值率益之称比谎。公帜式中为锄：L像i至f翅t哗(铜X→Y隐)续=编P沙(获Y撑|斯X蛛)雅/清P鼓(漫Y勒)强机关怀联妖规源则：满柜足涨最杠小脑支尚持揪度或和嫂最启小书置净信席度迅的童规知则略。如暮果L鹿i琴f卫t遗(呆X项→破Y奥)忍>慎1，拐则枯规矛则“盼X上→丑Y攻”是腾有赌效蛇的窗强正关历联气规味则浊。如化果L洒i醉f瓜t屈(嗽X钢→毯Y士)跑<顺=牧1，冤则东规明则“田X炼→哲Y动”是同无翼效乞的染强希关杨联阁规瓜则知。特帮别灵地宴，损如尘果L黑i商f季t稿(笨X较→绍Y讽)价=真1，约则劳表命示X与Y相狡互济独弹立智。2霞0者1劳6楼-扣7聪-起1厌0电旅商摊搜鞋索妨和合新访闻耻推趣荐1忍9用俯户鲁画旗像畏计孤算跪相捧关焰算祥法协壮同误过衔滤概：绣基蔽于u坏s烧e宣r协鸣同狂过占滤程和劫基萍于i封t指e柱m协考同教过倾滤2毫0辈1掀6阵-宣7帮-昆1什0电考商肤搜穗索盟和兰新秋闻技推番荐2插0用牧户后画略像杠计监算啄相瞎关急算素法主轰题旋模餐型逻邮辑萍回而归兴鱼趣鸽时仁间笑衰彼减牛苍顿顶冷煌却落定束理：物员体奔的冷及却资速左度轧，运与恳其挪当牲前熊温黑度赚与袋室知温择之雅间战的家温肿差指成律正冷比诵。本腹期得骑分=上艰一碎期真得拥分x兰e罢x热p罗(捷-咱(冷洞却碧系蚁数)递x间挪隔要的赵小听时钳数)2羞0天1妈6爪-果7较-罩1洞0电但商仙搜坏索杰和挤新浩闻绳推迅荐2乐1新剥闻孙推声荐雅用粉户劝画林像描实袋时痕更那新终流沈程2辣0亭1烤6音-皱7桥-贼1班0电鸽商源搜乎索壶和桃新挺闻江推搅荐2滴2实饺时穗计膝算咸框呆架S资t承o皱r毅m2览0轧1掉6凭-浓7赢-扩1邀0电拆商挎搜屋索贤和及新闪闻也推雕荐2买3实损时