FFM及DeepFFM模型在推荐系统的应用

1、技术创新，变革未来FFM及DeepFFM模型在推荐系统的应用线由非序模型：从LR到FFM模型FFM模型改D版：双线由FFM(Bilin&ar-FFM)模型深度非序模型：从Wide&Deep到xDeepFM模型DeepFFM模型-大规模推系统推荐系统的应用音乐推荐电影推荐商品推荐微博推荐排序任务应用场景关系流Feed排序热门流个性化排序正文页推荐大规模推荐系统架构：以微博为例线上推荐系统的两个阶段今天我们主题在这里！排序模型：工业界算法的演进路线最关键的是特征及特征组合能力！-大规模推系统线性排序模型：从LR到FFM模型FFM模型改D版：双线性FFM(Bilin&ar-FFM)模型深度排序模型：

2、从Wide&Deep到xDeepFM模型DeepFFM模型线性模型：思路及问题线性模型改进：加入特征组合改进版本 两两特征组合优势：直接将两两组合特征引入模型 缺点：组合特征泛化能力弱这其实就是SVMFM模型FM模型FFM模型：基1-想FM:FFM:VESPNVESPN一个特征一个(量一个特征(F-1)个(量FM是FFM的特例；FFM更细致)刻画特征；FFM模型FFM模型参数扩大F倍&F=特征fields个数）=用化困境：参数量太大，太耗内存效果好千FM模型如何F造？：效果接近千FFM;M耗内存远小千FFM模型我们&?俊林黄通文）提出的F进模型：双线性FFM-大规模推系统线由非序模型：从LR到

3、FFM模型FFM模型改D版：双线由FFM(Bilin&ar-FFM)模型深度非序模型：从Wide&Deep到xDeepFM模型DeepFFM模型双线性FFM模型：基本思路3线性FFM模型：3个WOption 可以加入Layer NormC线RFFM模型2效果M比微A机FL习团队正在大规模工程化2C线RFFMCriteo和Avaz.是两个工业级aCTR数T一 些 e 论 2 1.FM显著好于LR3FFM好于FM3C线RFFM可以在 大量减N参数情况 4效果接i于FFM34.通常情况41LN有助 于提升效果C线M*M模型:新F参数量对比以C50t.4数据集合为例子84500万数据9:特征数量:23

4、0万假设特征.2b.dd03g大小:10*M参数量:230万*39*10=8 97=特征*0.1d数量:39C线M*M参数量:*M:230万*10=2300万 类型1: 新F10*10=100类型2:新F39*10*10=3900类型3:新F39*39*10*10=15万相差38倍7双线性FFM.型：总11.性能优千或2接近千FFM.型2.%数量是FFM.型的2.6%-大规模推系统线由非序模型：从LR到FFM模型FFM模型改D版：双线由FFM(Bilin&ar-FFM)模型深度非序模型：从Wide&Deep到xDeepFM模型DeepFFM模型深度排序模型公共组件：DNN部分深度排序模型（并行

5、结构）：DNN+征组合/度排序模型（串行结构）：DNN+特+组合PNN/NFM/AFM等/度模型深度排序d型l两条i进xs如何更a效地捕u特WtM是c心，沿o以下两Ci讲xsK展： i进xs一：新型l&M fu2cti32(1)更a效地捕u二阶特W(2)Wi-. & D.4 D.4&M N.ura1&M D.4&Mi进xs二：显示建d2阶3阶4阶 K阶特WtM(1)捕u高阶特WtM，u得额外受益；(2)n前pr表面，2阶，3阶，4阶aeN受益 (3)再高阶tMfFD用(4)D.4Cr3ss xD.4&M新型FM Function代表：Wi&e & Dee+Wi&e网络LRF型，CFML合 两个

6、不同的输入M构Wi&eR分手工特征工程 Cross 特征 Wi&e &Dee+D相对原始的深度F型新AFMFunction代表：D+pFMD+pFM:可以N:FWid+ & D+pLLR换成FM; 特D组合R分 DNNR分共享输入层;M前&tat+ of th+ Art 深度模A显示高阶组合：Deep &CrossFM Funct&on Cross Network ResNet显示高阶组合：xDeepFMFM Function=多阶组合=类 NN的结构M于深hCT)模型的一些个人看法b下观点:模型结构趋同：串行结构vs g行结构；:深h模型中的输L间题基t解P：o4-hot.i-2d -3b-

7、ddi4/；:M键m在：在于2-ord-r特征组合网络结构b何设计（其实不同方v区R不大）；:多特征组合分e表示r个趋势：2-ord-r/3-ord-r/4-ord-rs效，再高阶用处不大:ML(这种Tlo获特征组合能力不i，Cl结构o获组合特征比较合适；:多模态融合r个趋势，DrDL绝d可以发n作用的地方，但r需要较i的f程能力；-大规模推系统线由非序模型：从LR到FFM模型FFM模型改D版：双线由FFM(Bilin&ar-FFM)模型深度非序模型：从Wide&Deep到xDeepFM模型DeepFFM模型FFM模型：如何改造成神经网络版本？DeepFFM模型Ne1/alFFM:南;大学杨毅

8、a提出；F2017年D加腾讯社:竞e7获得很好的比e名次2A模型第三名）；DeepFFM:微博2Ni林黄通文，2018年10月）做了小改进；M入A00en0ion机制，称8DeepFFM模型；FFM的神经网络版本：NeuralFFM可以内积，也可以哈达马积内积与哈达马积向*内积：0.10.20.40.20.30.20.10.5*=0.21哈达马积：0.120.42=30.210.50.30.40.41数值向*我们提出的改进M本：DeepFFM对NeuralFFM的小改进： 1.AN征交3D加入 Attention2.Attention代表对1同N征 组 合 重 要 F 判 断 ； 3.N征交3

9、D可以是内积.2 可以是哈达马积Attent*-n1E动学3特征权重以Enc-de.-Dec-de.A:D译2例子3.权重 特征Value:加权集成信息2.权重归一化l.学3特征权重Dee1FFM-1:特征交互I加入A33en3-on 特征交互I:ala2a3anA积NA33en3-on一个特征组合Layer Normlization S3e1l:学;权重alan;S3e12:将权重:以DFML值；S3e13:Laye2 No2.S范化；DL中的Normlization方法BatchNormLayerNorm GroupNormInstanceNormDL中的Normlization方法 La

10、yerNormLayerNormDee1FFM-11:特征交互层F入A33en3-on特征交互层:ala2an哈达马积版A33en3-on:一;组I一;权重 一;特征组ILayer Normlization S3e1l:M习权重alan(哈达马 积向量作为整体）；S3e12:N权重乘A原L激SD:S3e13:Laye2 No2.规范化:Dee1FFM-III:特征交互ND入A33en3-on特征交互N:ala3an哈达马积版A33en3-on:一;A一;权重a2 一;特征组合Layer Normlization S3e1l:L习权重alan(哈达马 积I量每A各自权重）；S3e12:M权重乘以F始S活值:S3e13:Laye2 No2.规范化:D-1FFM模F：R果对比a于神经i络版本FFMR率o题，如果实用D仍p进r步改进！C2.3-o和A5az4是两个M业e的CTR数据rA结l：1.基CT法里，xD-1FMR果很I2.N-42a/FFM是有R的；3.D-1FFM是有R的，R果最I；4.D-1FFM-1/11/111R果N不多；5.相对而言，D-1FFM-11R果最IL口D线推荐系统两a段：召CN序；本分享主要集中DN