2024CTR 预估系统实践

CTRCTR预估系统在商业并线领域有一个非常大的应用，也是非常核心的一个模块。业内各大CTR享的是OPPOCTRCTR首先介绍一下CTR预估系统业务对接的一个场景，应用层主要在应用分发领域、搜索、联征或符号。这里面就包含各种各样的挖掘算法，比如ID特征、统计类特征等；再往上就是CTR），DNN注是ECPM，或者转化率等，这些通过配置化都是可以实现的。右边是我们的一些支撑系HadoopSpark、MPI、Kafka等集群系统。OfflineNearlineOnline，时效是从天级接下来讲一下我们CTR预估系统的一个演进，我们是从16年开始做CTR预估系统，通过我们可以更细粒度的去统计，比如之前我们有一个排行榜，每个item是一个榜，我们可以161.02.0，从用户群体的粒度做到真正的个性化（离线、在线预估，特征引擎，batchLR步特征引擎都在CTR2.0版本完成。17年上半年我们主要是做特征工程，各种各样的特征17OnlineLR去做学习的时候，是怎么快怎么来，最开始是单机liblinear，这个代码比较简单易用效果OKsparkmllibSparkLBFGSSGD，发现前者效果要好些，但是样本的权重以及线上效果并不是很理想；之后我们切换到了sparkliblinear平台，他是TRON优化算spark的BatchGD算法。支持支持pretrain、稀疏特征优化、细粒度正则、checkpoint基于sparkMPI的OWLQN的算法训练速度7BatchGDMPI是很底层框架，需要很多额外工作。但是有些场景还是无法满足，比如快速反应类场景无法满足，因此基于TensorFlowOnlineLRMPIOnlineLR算法及优化。我们从spark切换到MPI6小时，需要的核数从1000下降240，BatchModelOnlineModelOnlineModelmodel是偏向历史样本还是当前样本、如何调参、稳定性问题（线上断流，作弊流量很容我们在OnlineLR模型做了一些优化，FTRL算法是google在13年提出的一个算法，主要解决在广告场景下大规模离线LR训练的问题。第一项其实是一个梯度，第二项是一个严0-tFTRLρt-s，模型会做历史样本衰减，随着样本不断训练，历史样本的BatchModelOnlineModel61（BatchLR30OnlineLR每个样本过滤一遍另一个效果方面在信息流场景下天气预测方面BatchLR能达到2.6%这么复杂呢？DNNLR10100LRDNN特征。第三个就是业界的一些经验，Google、BAT等大公司在深度学习积累很多经验。DNNDNNtrick、调参难度大（papers不会透露很多细节）。另一个相比于图像领域，端对端学习，CTR预估面对的是非标准化CTR预估是用在线上而不是刷比赛或者实验，线上需要达到稳定性的要求，对工我们在选型的时候是Google16Wide&DeepLearningforRecommender样模型层面比较优雅，我们先前的LR有很多经验可以借鉴。在我们网络结构确定后，我们如何去落地去实现这个系统。深度学习框架有很多，如TensorFlow、Caffe、Keras、CNTK等，TensorFlow相对于其他框架优点在于：易用性们优化就是将python逻辑下发到C++层，另一个算子、io、特征工程性能优化，做到更CNNRNN，因此我们自己去EmbeddingPythonJava生命周期，最大限度进行cache，提升提取性能。最后讲一下快速实验机制&EE的一些工作。随着系统复杂度增加，各种调参和调参，比如bin做A/BText，特征升级等都能做，后面参数调整大部分都是可以支持的。因为探索是不确定性的，效果可能很差；另一个是效果的评估很难，