深度学习开启社交电商智能时代

深度学习开启社交电商智能时代目录社交电商个性化场景010203互联网机器学习实践互联网深度学习的应用场景04未来的挑战社交电商搜索WOT

2017QueryURL标注Page-RankBM25…特征_NWOT

201751P0.60.9100WOT

2017...E0.90.966WOT

2017…G0.80.775WOT

2017…F0.90.632WOT

2017…B0.20.65120…P0.60.8150…P0.50.750…ExcellentPerfectGoodFairBad排序问题机器学习问题推荐广告搜索无处不在的个性化人工规则

vs.

机器学习（广告

vs.

搜索

vs.

推荐）机器学习排序Pointwise排序问题转化为多类分类问题或者回归问题，相关度相同的为一类Pairwise排序问题转化为二分类问题，由两两之间的偏序关系得到全局的排序Listwise直接对排序结果进行优化人工规则人工

vs

机器个性化离线预处理在线处理精确度换速度空间换速度机器学习个性化效率目录社交电商个性化场景010203互联网机器学习实践互联网深度学习的应用场景04未来的挑战A B C D E F G标注B+E+A-C-D-标注B-A+B-C+B-D+C-E-D-E-E-A+训练数据<Query,

Doc>

标注特征工程模型训练 线上部署（&离线测试） （&A/B测试）正式部署机器学习工作流用户查询商品商家环境……关键词匹配、价格匹配等品类匹配、购买力匹配等查询量、转 UV、PV、化率、品类 订单量、分 转化率用户属性、购买力、品类倾向当地温度、污染指数、人口数量区域销量、商品天气匹配等店铺评分、店铺流量、店铺评价特征工程-如何找特征用户 随机分流统计分析运营数据结果判读决策可量化目标：分类准确率、NDCG、点击率、转化率、GMV假设试验结论随机对比测试（A/B测试）量化与A/B测试LogHbase数据获取（实时行为&商品召回）用户行为商品信息补全特征计算（uid|sid|cid|P-name交叉）线上实时排序曝光表&基础数据表ModelHDFS推荐展位Decision召回模型离线训练展示StormKafka样本沉淀KafkaRedisL2R

PipelineLouppeG.Collaborativefiltering:ScalableapproachesusingrestrictedBoltzmannmachine[J].English,

2010.召回模型构建-RBM收集用户行为，包括点击、加购、关注、下单等对行为进行过滤，比如：join(白名单)、统计截断、position-bias、多次加/删购等处理制定行为评分规则，生成评分矩阵训练矩阵分解模型导入缓存召回模型构建-评分矩阵行为评分浏览1次2.52浏览2次2.9浏览3次3.1浏览4-5次3.2浏览>5次3.3加入购物车1次3.9加入购物车2次4.1加入购物车>2次4.2购买1次4.7购买2次4.9购买>2次5.0打分之前必须要对数据进行清洗，去除“点击狂人”、“用户误点”、“买后查单”等情况对非常活跃的用户要对其行为进行降采样评分规则召回模型构建-评分矩阵用户特征商品特征环境特征模型训练线上实验数据清洗特征工程参数调优离线评测(正确率、召回率、NDCG)用户实时行为用户&商品画像多模型召回商品离线特征计算在线特征计算排序A/B测试实时交互特征长期交互特征场景恢复用户交互行为训练样本构建样本标注进行标记：购买>购物车>关注>点击>展示(购买力水平、长期偏好、性别、家庭属性、品类、品牌、产品词、修饰词、销量、点击量、转化率、浏览用户量、下单用户量等等特征）实时排序模型部署流程利用天气API定位某地雾霾红色预警，作为排序特征。当用户浏览首页时，猜你喜欢展位推荐空气净化器、口罩等商品：利用天气API定位某地高温橙色预警，作为排序特征。当用户浏览首页时，猜你喜欢展位推荐空调、风扇等商品：某地高温橙色预警某地雾霾红色预警推荐排序实践：环境特征推荐排序实践：A/B测试实时排序过滤：

业务需求（无库存、成人用品、促销商品）实时特征：人vs商品，实时行为交叉多样性：多模型、多数据源融合新颖度KPI驱动：CTR&CVR&GMV&粘性A/B测试，快速迭代离线召回隐语义模型数据：

矩阵分解、RBM……协同过滤：UserBasedCF、ItermBasedCF用户画像：品类&品牌兴趣、性别、年龄商品画像：价格指数、人群、区域等计算机视觉特征离线测试推荐实践总结LogKnowledge

ExtractionHbase&

RedisTrainingOffline

ModelData

GetterUserBehavior

ListRecall Skus

PoolFeature

ComputationRanking

EngineOffline

ModelLR-rankSVD

SVD++Online

ModelFTRLRF

LRRedisUI

ClientTrainingOnline

ModelReal-time

CallbackUser

Request/CallbackImpression

ListUser

Callback推荐架构目录社交电商个性化场景010203互联网机器学习实践互联网深度学习的应用场景04未来的挑战特征提取SIFT,HOG,

……检测分类识别传统计算机视觉领域需要领域知识，耗费巨量时间计算机视觉专家第一步：设计特征，比如SIFT，KAZE，HoG，SURF等第二步：训练分类器，进行多目标检测、分类和识别传统计算机视觉构建流程深度学习会自动训练出好的特征，并且很多方法可以在各个领域中通用第一步：根据训练数据自动构建特征第二步：将特征抽取和分类/检测任务同时进行深度学习专家的任务：定义神经网络架构，并进行训练检测DNN

分类识别DNN深度学习构建流程特征提取SIFT,HOG,

……将计算机视觉特征和深度学习特征相结合DNN我们的方案第一步：同时抽取计算机视觉特征和DNN特征第二步：进行多目标识别深度学习+计算机视觉构建流程用户拍摄或选取商品图片上传特征向量计算及匹配根据商品图片库结果展示扫一扫 拍照购

AR红包猜你要找实现根据用户上传图片预测品类推荐相关商品深度学习构建GomePlus新场景：“拍照购”图像标注提取特征降维匹配检索对全站的商品图像进行标注：最主要的工作是数据清洗，即把不能和品类对应的图片删除或者重新进行品类校准统计全站最近一年内各品类下商品总数的分布；然后按照分布进行图片抽样图片的特征分为两个部分，一是通过深度学习得到的特征，二是图像色局部特征：利用TF/caffe等训练CNN，将倒数第二层输出作为Feature

Learning的结果提 取 出 来(DeepLearning

+

TransferLearning)利

用

局

部

特

征

算

子(SIFT,kaze等)提取出图像的局部特征分别对前面两种特征进行降维处理:用积量化(ProductQuantization)

的方法对CNN特征进行降维用VLAD

对图像局部特征进行编码采用最近邻搜索的方法找出每一个商品的相似商品集合图像检索流程图像预处理目标检测利用神经网络提取CNN特征利用局部描述子提取局部相似（纹理、颜色等）特征特征组合特征降维匹配检索商品特征数据库商品列表(瀑布流)用户上传图片缺点：精度、速度、系统复杂性拍照购Version1.0图像预处理品类预测利用神经网络提取CNN特征利用局部描述子提取局部相似（纹理、颜色等）特征匹配检索商品特征数据库商品列表(瀑布流)用户上传图片粗排序精排序拍照购Version2.0AlexNetReLu层数少易于训练体积：200M准确率：>94%品类预测GoogleNet多尺度1*1卷积AveragePooling2*Softmax1*1卷积体积：50M准确率：>96%泛化能力好品类预测准确率：>93%CidPredNet1*1Conv3*3

ConvAveragePooling体积：2M品类预测品类预测-模型对比利用Soft-assignment，把VLAD嵌入CNN模型，进行End2End的训练ArandjelovicR,GronatP,ToriiA,etal.NetVLAD:CNNarchitectureforweaklysupervisedplacerecognition.[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2015,PP(99):1-1.降维嵌入基于图像相似性的商品推荐商品主图实现根据图像找相似的推荐应用基于深度学习的检索技术可以得到一套通用的商品特征学习框架。在此基础上，针对某些特定场景(比如商品详情页的”找相似推荐”)，可以根据商品主副图，在同品类、同产品维度上，进行最近邻搜索，召回相似商品。即提高了召回商品的多样性，同时也加快了新上架商品由冷到热的速度，相当于一种基于内容的Explore-Exploit方法。深度学习构建GomePlus新场景：相似推荐商品主图T恤搭配短裤、裙装上衣搭配裤子搭配实现根据图像找搭配的推荐应用搭配购是推荐领域非常重要的一个应用场景，即根据用户当前请求，推荐出能够与之搭配的商品。利用深度学习技术，通过对训练集图片中的不同

主题进行检测，然后利用CNN学习出