移动搜索个性化演示文稿

移动搜索个性化演示文稿4/8/2023现在是1页\一共有29页\编辑于星期二4/8/2023（优选）移动搜索个性化现在是2页\一共有29页\编辑于星期二移动搜索产品形态3现在是3页\一共有29页\编辑于星期二个性化搜索–挑战大数据，稀疏，长尾，噪音淘宝上海量的商品，针对个体而言，发生行为的商品有限，稀疏度在百万分之一，甚至更低用户行为模式的挖掘和利用网购行为的复杂性如何准确的描述用户的兴趣和特色，包括长短期兴趣等？Peoplechangeovertime冷启动

新用户

新商品多样性与精确性的两难困境Interestingnessv.relevanceNeedSerendipity用户界面与用户体验个性化体验的可解释性系统的挑战性评估的挑战性4现在是4页\一共有29页\编辑于星期二个性化搜索误区千人千面并非意味着去追求单纯个体的个性化体验个性化搜索是立足于提升整体用户的个性化体验Personalization

!=customization勿忘行为建模的基本假设

hypothesis：

接受商品接受他得所有属性过度个性化搜索场景的个性化：“topersonalizeornottopersonalize“Explore&Exploitation主观性vs.客观性“datadriven”购物行为所表现的个性化特点！=用户的物理个性化特征5现在是5页\一共有29页\编辑于星期二个性化技术的魅力6个性化技术机器学习计算经济学系统架构大数据分析现在是6页\一共有29页\编辑于星期二目录目录1234个性化体系架构Query/user意图识别

个性化数据个性化模型6E&E5实时个性化7现在是7页\一共有29页\编辑于星期二鸟瞰个性化体系用户query商品个性化数据+模型用户关系数据商品关系数据用户-商品关系数据海选层精排层（长期个性化+实时个性化）Re-rank层Query/user意图识别GraphSearch引擎个性化搜索结果展示8现在是8页\一共有29页\编辑于星期二个性化体系offline长期个性化模型建模实时个性化模型建模基于session的用户点击行为序列建立的实时userprofile建模实时人群-商品转化率预估建模分布式数据处理

&并行机器学习（ODPS）Pv日志成交日志点击日志SyncProcessor基于hbase的HqueueAucProcessorUserProcessorHbase(历史表)iStreamonyarnredis实时<人群-商品>反馈特征抽取、计算，ID化用户实时profile预测器Nearline实时增量数据TT推送的实时日志RealtimeLearner在线学习模块User-profile实时模型（性别，购买力，品牌，店铺，风格。。）UPS商品引擎实时特征更新长期个性化模型海选层Re-rank层精排层长期个性化实时个性化onlineXW

YQuery意图预测用户引擎实时模型Nearline环节实时更新的模型更新商品端用户行为累积特征模型更新实现用户profile的实时更新输出模型给

online输出模型给nearline通过nearline实现Online计算模块特征表现X

的变化9现在是9页\一共有29页\编辑于星期二个性化体系Offline离线模型训练数据收集，过滤,聚合，特征ID化利用batch-learning产出nearline环节，online环节所需要的模型Near-line构建于流式计算体系的实时日志解析，行为特征抽取，聚合实时用户profile预测，实时人群-商品累积行为特征计算，离散化处理更新在线排序计算依赖的实时字段，UPS中实时userprofile字段，引擎中的商品正排字段构建基于mini-batch的在线学习模型，增强系统的适应新数据的能力和explore能力实时反作弊Online各个排序维度模型的在线预测多个排序因素的在线融合EE策略10现在是10页\一共有29页\编辑于星期二移动元素@个性化体系查询意图

时间，地点，逛/搜

PullorPush用户肖像移动端特色数据

跨屏行为建模，实时肖像特征P(满意|query,用户,商品)实时个性化E&EPULLPUSH11现在是11页\一共有29页\编辑于星期二目录目录1234个性化体系架构Query/user意图识别

个性化数据个性化模型6E&E5实时个性化12现在是12页\一共有29页\编辑于星期二Query/User意图识别User-context地点+时间13现在是13页\一共有29页\编辑于星期二Query/User意图识别训练数据转化型query浏览型queryQuery的个性化需求Query进行个性化标注地域性别购买力年龄段。。。显式：query包含个性化tag隐示：query不包含个性化tag连衣裙，大裤衩

电影票骷髅头T恤情侣装蕾丝正版海外购官网高档samsung三星galaxynotei92203g(gsm/wcdma)手机黑色弹力修身高腰小脚裤薄款eg.建立以query转化率为目标；用户session内行为为特征的LR模型解决16%搜索意图明确的

轮胎钟点工移动端的场景时间+地点+状态14现在是14页\一共有29页\编辑于星期二Query的隐含个性化需求15现在是15页\一共有29页\编辑于星期二目录目录1234个性化体系架构Query/user意图识别

个性化数据个性化模型6E&E5实时个性化16现在是16页\一共有29页\编辑于星期二私有化/移动化/社交化跨屏行为、实时用户肖像手机类型网络类型GPS(经纬度)天气场景（移动，家，办公）17现在是17页\一共有29页\编辑于星期二用户DNA@个性化体系人口统计学性别，年龄段，职业，人生阶段等行为偏好价格，店铺，品牌等用户DNA社会关系微博好友，手机通讯录，转账等其他手机设备，网络类型等场景(时间，地点，状态等）兴趣偏好风格，款式，爱吃，爱美，爱旅游等数据数亿月活跃用户数十亿日均用户行为次数数千亿+用户-商品关系链数百亿+用户-店铺关系链数百亿+用户-用户关系链千万

达人买家库18现在是18页\一共有29页\编辑于星期二实时用户DNA@个性化体系行为4…………..N个采用滑窗方式抽取训练样本，窗口内的行为中前面n-1个提取特征，最后一个当作目标用户48小时内的行为序列N-1个行为序列个性化偏好先验概率行为类型最后一个针对每个个性化偏好提取是否点击或成交该个性化偏好+LR模型行为5行为6行为7行为N行为1行为2行为3Pc端行为移动端行为移动首次pvNophysicalsessionboundary19现在是19页\一共有29页\编辑于星期二目录目录1234个性化体系架构Query/user意图识别

个性化数据个性化模型6E&E5实时个性化20现在是20页\一共有29页\编辑于星期二浏览和交互模式：自上而下的串行模型21现在是21页\一共有29页\编辑于星期二问题定义@个性化模型个性化模型目标是：如何考虑移动场景下浏览和交互模式下产生的bias串行浏览模式下：有效点击量化模型（UCM）有效pv量化模型（UBM）22现在是22页\一共有29页\编辑于星期二UBM&UCM有效曝光量化模型（UBM）参考：AUserBrowsingModeltoPredictSearchEngineClickDatafromPastObservations，GeorgesE.Dupret，BenjaminPiwowarski，SIGIR’08有效点击量化模型（UCM）参考：Modelingdwelltimetopredictclick-levelsatisfaction，YounghoKim,AhmedHassan,RyenW.White,andImedZitouni，WSDM201423现在是23页\一共有29页\编辑于星期二结果分析@UBM&UCMDwellTime点击转化率UBM训练结果UCM训练结果24现在是24页\一共有29页\编辑于星期二个性化模型UBMUCM修正修正【0】：q下商品u的满意度Usermodelqueryuser人口统计学标签购物偏好用户簇标签移动设备相关场景相关商品类目标签商品标签卖家/店铺商品ID匹配类历史反馈类线性模型：L1-LR

非线性：GBM，DNN25现在是25页\一共有29页\编辑于星期二目录目录1234个性化体系架构Query/user意图识别

个性化数据个性化模型6E&E5实时个性化26现在是26页\一共有29页\编辑于星期二流量大，屏幕小行为特点：碎片化，随时随地Pc点击分布@day移动点击分布@day27现在是27页\一共有29页\编辑于星期二互联网机器学习需要“上线”28引用：Tieyan

Liu阿里技术沙龙08/2013vs现在是28页\一共有29页\编辑于星期二实时计算@移动搜索TT日志实时日志解析实时user-profile预测实时