华为 大模型在华为推 荐场景中的探索和应用

大模型在华为推荐场景中的探索和应用演讲人：陈渤华为诺亚方舟实验室高级算法工程师CONT目E录NTS0102背景LLM

for

Feature0304LLM

for

Ranking总结与展望背景推荐系统背景信息过载时代下的推荐系统

为用户推荐感兴趣的资讯，提升用户体验

广告主精准投放，挖掘潜在客户

提供更好的服务，建设平台生态，提升平台收益Historicaluser-iteminteractionsoradditionalsideinformation(e.g.,socialrelations,item’sknowledge,etc.)INPUTPredicthowlikelyauserwouldinteractwithatargetitem(e.g.,click,view,orpurchase)OUTPUT大模型时代下的推荐系统传统的推荐模型大模型时代下的推荐系统

充分利用用户-物品协同信号建模√

模型相对较小，时间空间开销低√

只能利用数据集内的知识×

缺乏语义信息和深度意图推理×

引入外部开放世界知识，丰富语义信号√

具备跨域推荐能力，适合冷启动场景√

协同信号缺失×

计算复杂度高，难以处理海量样本×推荐模型如何从大模型中取长补短，从而提升推荐性能？LLM4RecHowcanrecommendersystemsbenefitfromlargelanguagemodels:AsurveyLLM4Rec在工业推荐链路中的应用：

特征工程：对原始数据进行加工、增强，得到结构化特征，包括用户/物品维度和样本维度的特征

特征编码：对结构化特征进行编码，得到对应的稠密向量表示，如用户/物品表征

打分/排序：对候选物品进行打分排序，包括物品打分（精排）和物品直接生成（召回/重排）

用户交互：对话式推荐中用户和系统交互过程中，通过理解用户对话和意图，给用户提供物品推荐

流程控制：控制推荐系统的整体流程，如对排序阶段的控制LinJ,DaiX,XiY,etal.Howcanrecommendersystemsbenefitfromlargelanguagemodels:Asurvey[J].TOIS2024.LLM4RecHowcanrecommendersystemsbenefitfromlargelanguagemodels:Asurvey不微调LLM，引入CRM微调LLM，引入CRM根据训练和推理两个阶段，将现有LLM4Rec工作分为四个象限：

横坐标：在训练阶段，大语言模型是否需要微调

纵坐标：在推理阶段，是否需要引入传统推荐模型LLM4Rec呈现出两个趋势：语义+协同

模型：通过引入传统推荐模型（CRM）为语言模型注入协同信号

数据：通过引入推荐场景的数据，结合大模型微调，为语言模型注入协同信号不微调LLM，不引入CRM微调LLM，不引入CRM大语言模型在推荐系统应用的四象限图及代表性工作LinJ,DaiX,XiY,etal.Howcanrecommendersystemsbenefitfromlargelanguagemodels:Asurvey[J].TOIS2024.LLM

for

Feature利用LLM开放知识辅助推荐的通用框架KAR大语言模型是世界知识的压缩器

传统的推荐系统为封闭的系统，仅使用推荐场景内部的数据进行训练•

开放世界的知识•

基础的逻辑推理能力•

仅具备推荐领域内的知识，利用协同信号和特征共现关系进行推荐相关新闻报道用户可能的心情和状态用户可能的个性和品位可能感兴趣的电影类别可能感兴趣的导演……•

对于用户偏好的学习局限、不全面•

难以解决冷启动和数据稀疏的问题

引入世界知识以及逻辑推理能力的开放推荐系统•

开放世界通用知识：用户、物品相关的背景知识•

逻辑推理能力：深层理解用户行为动机、偏好推理时间因素（如假期等）外部知识逻辑推理重要事件（如奥运会）获奖情况和影评……XiY,LiuW,LinJ,etal.TowardsOpen-WorldRecommendationwithKnowledgeAugmentationfromLargeLanguageModels.RecSys[C],2024技术方案知识推理和生成知识适配知识利用

基于推荐场景分解关键因素，对用户偏好和物品外部知识分别对LLM提问

LLM生成相应的用户兴趣推理知识和物品事实知识

所生成的文本信息内容复杂多面，且存在幻觉问题，推荐模型难以直接理解和利用

设计多专家网络进行知识提取、压缩、映射，适配至推荐空间，输出结果鲁棒

将所生成的知识增强向量作为额外的特征输入到传统的推荐模型XiY,LiuW,LinJ,etal.TowardsOpen-WorldRecommendationwithKnowledgeAugmentationfromLargeLanguageModels.RecSys[C],2024实验效果

在9个SOTA的推荐模型上，平均AUC显著提升1%+，显示出较好的兼容性和有效性

基于盘古大模型KAR在华为音乐歌单推荐榜单全量上线，对歌曲风格、情感、节奏倾向，用户听歌偏好等知识进行生成，线上A/B播放歌曲次数+1.7%，播放歌曲设备数+1.64%，播放时长+1.57%

在华为应用市场场景全量上线，对APP的开放域标签，用户的APP使用模式和偏好等知识进行生成XiY,LiuW,LinJ,etal.TowardsOpen-WorldRecommendationwithKnowledgeAugmentationfromLargeLanguageModels.RecSys[C],2024进一步探索

进一步探索1：用户和物品规模大，所需推理次数多，且协同信息缺失•

方法：利用协同信息对用户/物品聚类，对每一个聚类用户/物品集进行LLM推理•

效果：华为音乐场景线上A/B，播放歌曲次数+1.99%，播放歌曲设备数+1.73%，播放时长+2.04%

进一步探索2：用户兴趣变迁快，需周期性更新•

方法：采用流式知识提取，感知用户兴趣变迁，学习增量兴趣•

效果：华为音乐场景全量上线，相比固定提取，流式提取离线AUC+0.27%

进一步探索3：embedding表征精细化使用•

方法：对原始embedding表征进行离散化，如聚类•

效果：相比直接使用embedding，使用离散化ID方法离线AUC+0.3%面向LLM推荐知识生成的解码加速方法

大语言模型蕴含着丰富的开放世界知识（物品语义知识），具备超强的逻辑推理能力（用户意图、兴趣演变）

LLM作为推荐知识生成器提供给传统推荐模型，已带来显著商业收益

LLM是高资源消耗模型，用于推荐知识生成任务会面临调用次数多，单次调用时延长，所需推理机器多等问题•

推荐场景中海量的用户（亿级）和物品（千万级）规模•

用户兴趣变迁快，需要周期性刷新•

大模型解码耗时长（数秒）•

推理机器成本高，电量资源消耗多XiY,WangH,ChenB,etal.ADecodingAccelerationFrameworkforIndustrialDeployableLLM-basedRecommenderSystems[J].arXivpreprint2024.解码加速发现基于检索的投机解码分析

基于检索的投机解码•

从历史知识中检索相关文本，并复制到新知识末尾，从而跳过LLM解码过程实现加速解码•

串行解码

->并行验证

解码加速发现•

RetrievalInefficiency：检索的耗时占比会随着检索池规模的增长而上涨明显•

DiversityTolerance：解码时从top-k的tokens中采样以增加文本多样性，下游推荐任务高容忍度XiY,WangH,ChenB,etal.ADecodingAccelerationFrameworkforIndustrialDeployableLLM-basedRecommenderSystems[J].arXivpreprint2024.技术方案

个性化检索•

构建个性化检索池（基于协同和基于属性），控制检索池大小和增加文本分布一致性

模糊校验•

校验阶段放松验证条件，接受更多token，提升加速比•

可配置接收门槛概率，避免LLM发散生成XiY,WangH,ChenB,etal.ADecodingAccelerationFrameworkforIndustrialDeployableLLM-basedRecommenderSystems[J].arXivpreprint2024.实验结果

在4个LLM知识生成框架中，取得3-5x的加速效果，显示出显著的兼容性和有效性，以及近乎无损的下游预测效果XiY,WangH,ChenB,etal.ADecodingAccelerationFrameworkforIndustrialDeployableLLM-basedRecommenderSystems[J].arXivpreprint2024.实验结果

在5个不同类型LLM中，取得一致的加速效果，显示出较好的兼容性

在华为广告场景落地，利用LLM对目标广告可能吸引的人群，产品特点，竞争优势，品牌定位和形象等知识进行生成，相比原始解码方式，在AUC持平的情况下解码加速3.45xXiY,WangH,ChenB,etal.ADecodingAccelerationFrameworkforIndustrialDeployableLLM-basedRecommenderSystems[J].arXivpreprint2024.LLM

for

RankingLLM直接排序的长序列理解方法

用户行为序列建模对推荐系统预测效果至关重要•

用户行为序列长（~106），兴趣多样•

序列长度对推荐系统的效果影响巨大•

用户长序列建模工作带来显著商业价值：UBR、ETA等

大模型的长序列理解问题相比传统推荐系统更加严峻•

大多数LLM用于理解用户序列只选取最近10-15个行为•

拉长用户行为序列并不能为LLM的推荐效果带来增长，即使输入长度远未超过LLM上下文长度限制（Vicuna-13B的上限为2048tokens）LinJ,ShanR,ZhuC,etal.Rella:Retrieval-enhancedlargelanguagemodelsforlifelongsequentialbehaviorcomprehensioninrecommendation[C].WWW2024.技术方案

利用语义相似度检索用户长序列中最相关的行为，弥补LLM长序列理解问题

不微调LLM：通过引入语义级的用户行为检索，根据当前预测物品提取用户序列核心行为，进而提升LLM的推荐性能

微调LLM：利用用户行为检索作为数据增强手段，构造模式增强的混合训练数据集，提升LLM对用户长行为序列的理解能力Userbehaviors:[‘GonewiththeWind(1939)(2stars)','TheSilenceoftheLambs(1991)(3stars)','TheTerminator(1984)(5stars)','BeforeSunrise(1995)(2stars)','BladeRunner(1982)(5stars),'StarWars:EpisodeIV(1977)(4stars)','ModernTimes(1936)(5stars)’,'2001:ASpaceOdyssey(1968)(5stars)’,'Alien(1979)(5stars)','BacktotheFuture(1985)(4stars)‘…]Recent-based：The

useris

a

female.Herjobis

sales.

Herage

is

35-44.She

watched

the

followingmoviesinorderin

the

past,andratedthem:['0.GonewiththeWind(1939)(2stars)','1.TheSilenceoftheLambs(1991)(3stars)','2.The

Terminator

(1984)(5stars)','3.BeforeSunrise(1995)(2stars)','4.BladeRunner(1982)(5stars)’]Basedonthemoviesshehaswatched,deduceifshewilllikethemovie***TheMatrix(1999)***.YoushouldONLYtellmeyesorno.Retrieval-based(Rella):The

useris

a

female.Herjobis

sales.

Herage

is

35-44.She

watched

the

followingmoviesinorderin

the

past,andratedthem:['0.TheTerminator(1984)(5stars)','1.StarWars:EpisodeIV(1977)(4stars)','2.2001:ASpaceOdyssey(1968)(5stars)',

'3.Alien(1979)(5stars)',

'4.Back

to

the

Future

(1985)(4stars)']Basedonthemovies

shehas

watched,

deduceifshewilllikethemovie***TheMatrix(1999)***.YoushouldONLYtellmeyesorno.LinJ,ShanR,ZhuC,etal.Rella:Retrieval-enhancedlargelanguagemodelsforlifelongsequentialbehaviorcomprehensioninrecommendation[C].WWW2024.实验结果

ReLLa可以大幅提升不微调、小样本微调场景中推荐性能，并展现出极强的样本高效性（10%样本）•

行为检索可以显著提升LLM对用户长序列的理解•

LLMSFT可以显著提升推荐效果，且具备极强的样本高效性不微调全量样本训练小样本微调LinJ,ShanR,ZhuC,etal.Rella:Retrieval-enhancedlargelanguagemodelsforlifelongsequentialbehaviorcomprehensioninrecommendation[C].WWW2024.实验结果

序列长度分析•

SIM等ID-basedRS随长度增加而提升•

LLM有明显的长序列理解问题（K：15-30）•

ReLLa显著缓解LLM长序列理解问题拉长序列长度和增加训练样本均可以显著提升预测效果

->训练效率低如何权衡模型效果和训练效率！

样本高效性分析•

LLM相比ID-basedRS有更好的样本高效性•

少样本微调情况下可以超过全量训练的传统ID-basedRSThenumberofSFTsamplesThenumberofSFTsamplesThenumberofSFTsamplesLinJ,ShanR,ZhuC,etal.Rella:Retrieval-enhancedlargelanguagemodelsforlifelongsequentialbehaviorcomprehensioninrecommendation[C].WWW2024.LLM个性化参数微调方法

现有基于LLM推荐排序方法的弊端•

低训练效率限制模型性能•

短序列：用户行为序列长（~106），采用ReLLa检索方式，只能提取少量最相关的部分行为•

少样本：LLM虽然具备样本高效性，但是少样本依旧限制模型对全量空间的感知，影响推荐效果•

LoRA参数微调方法难以体现核心个性化ZhuJ,LinJ,DaiX,etal.LifelongPersonalizedLow-RankAdaptationofLargeLanguageModelsforRecommendation[J].arXivpreprint2024.技术方案

传统RS模型作为透镜，权衡效率和效果•

维持LLM较高的训练效率•

隐式拓展到长序列、全样本空间，扩大LLM感受野，避免信息损失

个性化LLM•

Meta-LoRA提供可控、可拓展性参数•

个性化动态路由实现个性化LLMZhuJ,LinJ,DaiX,etal.LifelongPersonalizedLow-RankAdaptationofLargeLanguageModelsforRecommendation[J].arXivpreprint2024.实验结果

RecLoRA通过引入传统RS作为透镜，取得更好的预测效率和模型效果•

通过将用户长行为序列输入RS，避免LLM长输入带来的低效率问题•

通过RS的透镜效应获得更个性化的LoRA参数，提升预测效果将协同信息注入LLM可以显著提升LLM训练效率

->LLM推理时延依旧高将语义信息注入传统RS，只使用传统RS线上推理ZhuJ,LinJ,DaiX,etal.LifelongPersonalizedLow-RankAdaptationofLargeLanguageModelsforRecommendation[J].arXivpreprint2024.语义增强的推荐方法

现有LLMforranking的方法，如ReLLa、RecLoRA•

在线推理时直接使用LLM，带来巨大的推理时延和机器资源压力•

难以在高时延场景落地

现有传统RS的方法，如DCN、DIN•

基于协同信息建模，缺乏语义知识•

冷启动等场景建模效果较差LiX,ChenB,HouL,etal.CTRL:ConnectCollaborativeandLanguageModelforCTRPrediction.RecSys’DLP,2023.技术方案

跨模态知识对齐:将基于ID的协同空间和基于文本的语义空间进行对齐，隐式将语义知识注入传统RS中

自监督微调:将对齐后的RS模型进行微调以获得最终线上推理模型LiX,ChenB,HouL,etal.CTRL:ConnectCollaborativeandLanguageModelforCTRPrediction.RecSys’DLP,2023.实验结果

和推荐模型和语言模型基线相比，