微博在线机器学习和深度学习实践

微博在线机器学习和深度学习实践技术创新，变革未来1.推荐篇目录推荐场景推荐在线机器学习深度学习2.平台篇平台背景平台架构平台效果3.总结篇微博技术里程碑微博业务生态APPLICATION推荐篇推荐场景、在线机器学习和深度学习11

推荐场景信息流热门流视频流关系流推荐流图片推荐流正文推荐流视频推荐流1

推荐场景2推荐推荐在特定场景下，根据用户行为和特点，向用户推荐感兴趣的对象集模型：趋势实时化：在线机器学习深度化：深度学习平台化：机器学习平台实时化特征实时化：更及时反馈用户行为，更细粒度刻画用户模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化模型推理预测服务实时特征实时数据3

在线机器学习实时样本实时模型训练实时更新参数Task训练预处理Node实时样本拼接Node在线模型训练Node离线样本拼接Node在线模型评估Node模型上线Node实时特征处理Node离线特征处理TaskKafka输入inputprocessprocessoutputWeiFlow工作流Task模型训练Task模型训练TaskMetrics输出3

在线机器学习-工作流互动行为日志数据处理点击行为日志阅读行为日志曝光行为日志数据过滤样本拼接定时轮询KafkaHdfs样本输出3

在线机器学习-实时样本生成多流拼接曝光，互动，点击，真实阅读等多种数据流接入并多流拼接如何解决日志延时问题延迟等待机制，先到先走定时轮寻，最长N分钟等待Kafka

堆积监控，实时报警如何解决内存问题调整内存参数关闭多余的监控点如何异常处理自动化监控与修复系统Checkpoint节点异常修复3

在线机器学习-实时样本生成在线机器学习模型训练：Flink/Blink+WeiPS样本生成和特征处理1.配置化2.多标签样本3.支持高维HASH训练预处理1.标签选择2.标签UDF3.样本过滤4.特征过滤模型训练1.支持回归和分类2.支持LR、FM、DeepFM等模型3.支持SGD

、

FTRL

、Adagrad等优化算法模型评估1.独立模型评估2.配置化3.UI展示3

在线机器学习-实时模型训练模型选择LR

:

基础模型，对特征工程依赖较强FM：大规模稀疏数据下的特征组合问题DeepFM优化算法选择FTRL：调节学习率，突出低频特征，非batch优化Adagrad

:

调节学习率，突出低频特征，实现简单SGD：参数少，效率高，固定学习率ID特征处理Hash：BKDRhash/CityHash，ID高维度稀疏+实时3

在线机器学习-实时模型训练servingserverModelServing

SystemServing

PSTraing

PSTraingModel

SystemPredict

ScoreSample

Dataworker3

在线机器学习-参数服务器servingservingservingserverserverserverserverserverworkerworkerworkerPSschedulerPSserverPSserverPSserverPSagentPSagentzookeeperPSproxyPSproxyPSsubmitFile

SystemcheckpointModelTraining

SystemModel

registerStatusset/getModeldeleteModelSaveModel

LoadHAFault

tolerancecheckpointLocalHDFSParamServer

SystemModelServing

System3

在线机器学习-参数服务器参数规模支持百亿特征维度，千亿参数模型版本多模型多版本：多组实验并行执行，提高实验迭代效率在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合模型结构训练与推理兼容：在线PS与离线PS模型结构兼容，自动模型参数转换稳定性优化模型快照：基于ps-scheduler的周期模型版本探测与保存，模型稀疏化分片存储冷备容灾：基于checkpoint机制(Local模式&Remote模式)，实现参数服务的高可用，支持基于模型的异构集群迁移，支持集群扩缩容性能优化通信优化：数据请求(PULL&PUSH)聚合，同模型多矩阵并发，锁粒度优化，性能提升5-10倍缓存优化：使用堆外内存与LRU过期机制，解决GC引起的性能损耗，性能提升3-5倍分区优化：支持多种分区策略（RANGE/HASH/MOD），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍存储优化：自定义存储方式(ByRow&ByKey)，基于row进行矩阵压缩存储，参数内存占用减少90%3

在线机器学习-参数服务器模型验证离线训练实时训练模型训练模型部署在线服务离线验证在线发布在线验证在线一致性/模型稳定性/…蓝绿部署/灰度发布AUC/准确率/召回率/…一键打包 端口探测版本更新 流量切换全量发布

…verson1verson2…kubenetes/olsubmit模型库3

在线机器学习-模型服务部署模型评估模型上线部署前指标评估周期使用验证样本进行点击率预估待部署模型与线上模型进行指标对比，评估是否满足上线条件一键部署基于K8S的deployment模式，一键端口分配与模型服务部署基于ZK的服务发现，一键进行流量灰度与发布性能优化通信优化：特征请求与模型计算单元化，在线样本格式压缩计算优化：基于SSE／AVX指令优化3

在线机器学习-模型服务部署模型更新频次效果对比FM：数据越新，效果越好相同数据规模，时间越新，效果越好，且时间差距越大，差异越明显月级规模数据，时间相差一周，效果相差约3+%（随数据规模增大，差距缩小）数据规模越大，效果越好月级数据规模相比周级数据模型，效果相差5+%在线和离线模型效果对比在线FM相比于离线FM，相关指标提升5+%完全在线初始化模型参数增量在线FM相比于离线FM，相关指标提升8+%增量在线FM：即依托于离线模型初始化在线FM模型参数3

在线机器学习-效果深度化特征深度化：特征embedding模型深度化：深度学习模型，

Wide&Deep；DeepFM4

深度学习物料粗排特征向量化召回物料精排向量索引基于Item2vec的

DSSM/FM/FF料向量，采用向量进行召回特征向量化：Item2vec向量索引：FM/FFM/

DSSM模型召回：DIN/DIEN/TDM模型召回融入用户近期互动行博主召回和微博 M生成博主与物 为的深度模型召回单目标：LR->W&D->FM->DeepFM多目标：点击FM+互动FM排序损失：DeepFM+Pair-Wise

Rank

Loss互动模型单目标LR、W&D、FM和DeepFM等模型排序多目标 排序损失融合点击模型和

针对信息流业务场景，从点击损失升级到排序损失，基础模型为DeepFM，排序损失为BPR召回排序深度学习模型训练：WeiLearn样本库WeiLearn-深度学习模型训练CTR样本自然语言样本视频与图像样本样本处理CTRNLP图片视频VGGYoloinceptionresnetGRULSTMWide&Deep DeepFMDeepCross

NetworkBERT配置超参数资源算法SparkTensorflow4

深度学习-深度学习模型训练通信优化PS：BSP/SSP/ASP多种通信模式支持MPI&RingAllreduce：Horovod，使用

MPI替换grpc，同步通信模式；带宽优化，增加延时；PS&MPI：DistributionStrategy

API，统一分布式语义，解耦分布式架构与模型训练框架使用FP16通信，使用FP32做计算，带宽压力降低一倍IO优化多线程样本并发读取，样本读取与计算PIPELINE，实现计算与IO的overlap4

深度学习-深度学习模型训练分布式模型推理框架：WeiServingRPC服务框架LR/GBDTDNN/DeepFM/W&D负载均衡/统一版本管理/动态加载/批量化机制Embedding 特征映射数据处理kubernetes/ol-submit异构CPU集群 异构GPU集群CNN业务应用模型服务框架排序模型服务多媒体分析服务自然语言分析服务集群调度层核心架构层算法模型层4

深度学习-分布式模型推理推理性能优化减少计算量：

operator

fusion/XLA/TVM/prune/float16/quantization加快计算速度：batching/TensorRT/MPS/SSE/AVX/Neonoperator

fusion针对特定场景重写耗时算子重构tensorflow计算引擎batching批量调度请求到GPU，增大并发和吞吐量4

深度学习-分布式模型推理深度特征效果对比文本Embedding特征，相比于文本标签，相关指标提升约3+%基于word2vec、bert等生成embedding向量，提高了语义编码的准确性，降低了训练成本指标提升主要来源于Embedding特征保留了更多原始信息，避免了标签带来的信息损失User/ItemEmbedding协同召回Item2vec相比于传统协同过滤MF等，稀疏样本下表现极好同时该特征可用于排序部分特征输入深度模型效果对比DeepFM相比于FM模型，相关指标提升4+%Wide&Deep相比于LR模型，相关指标提升5+%效果提升主要来源于Deep部分高阶特征组合但同时对模型服务的性能要求更高4

深度学习-效果平台篇PLATFORM平台背景、平台架构和平台效果2平台背景-平台化成本效率效果实时机器人力时间开发运行迭代规模深度1

平台背景算法/模型计算数据/特征存储基础/IDE业务调度集群2

平台架构计算Feed排序推荐流文本分类/检测Hadoop/Spark集群数据仓库集群高性能GPU集群Hdfs/Odps图像/视频分类阿里云计算集群实时计算集群业务Storm/FlinkYarn/K8s…………TensorFlow/Caffe ……调度Docker存储PS/WeiPS基础/IDE（WeiIDE）开发套件控制台控制中心算法/模型（WeiFlow）模型服务/推荐引擎模型库模型训练/评估样本库机器学习平台数据/特征（WeiData）数据/特征服务数据/特征存储数据/特征生成2

平台架构用户微博Feed流排序曝光/阅读点击/互动数据样本正样本：曝光有互动负样本：曝光无互动样本数据推荐引擎用户特征特征数据数据样本模型参数求解：损失函数误差最小：梯度下降等迭代求解模型训练WeiFlow控制台实时计算实时统计，……特征计算微博特征女性，19-22岁，北京爱好娱乐，明星，高活跃……9点发布，带视频，北京，奥运，时事新闻，高热度……批量计算静态特征，批量统计，……控制中心WeiIDE数据计算模型Y=f(x1,x2……,xn)模型服务特征服务微博机器学习平台业务引擎灰度系统3

平台效果成本/效率建设平台（业务A）业务开发模型开发特征工程建设平台接入平台接入平台（业务B）业务开发模型开发特征工程3

平