电商大模型及搜索应用实践-京东+翟周伟

货架电商(阿里,京东,拼多多等)内容电商（抖音,快手,小本质上都是通过技术驱动大幅降低了商品流通成本，显著提升了购物需求电商平台物流售后 即兴购物需求非购物需求购物需求电商平台物流售后 即兴购物需求非购物需求购中购后购前购中购后内容平台：内容平台：以抖音，快手，小红书等为主的内容分发平台，也是当前的新兴内容电商平台，处于消费链路上游电商平台：以阿里，京东，拼多多为主的商品分发平台，也是当前的货架电商平台，处于消费链路中下游渗透发展在消费决策链路中用户购买需求产生后搜索是决策的关键环节，而电商搜索的核心就是基于用户需求的商品分发，电商搜索技术就是主要解决商品分发效率的问题，优化的目标就是GMV和UCVR，和一般的信息搜索（如百度）有很大的区别。产品形态：京东主站三大搜索产品形态2.动态价格,促销,物流等AGI导购助手AGI导购助手模1234512345强大的语言理解和生成能力显著迁移学习和多任务能力强大的语言理解和生成能力显著迁移学习和多任务能力逻辑推理和分析能力多语言多模态建模算法算力算法算力效果和个性化•直接应用没绝对效果优势•效果和个性化•直接应用没绝对效果优势•理解购物历史，偏好，评论，商品细节等个性化挑战时效性•大模型本身更新很慢，知识陈旧•新商品，促销，价格等更新时效性很高成本和速度•训练和推理成本难大规模商用•在线推理速度很难满足实时性安全性•用户敏感数据泄露风险•生成商品相关内容的安全合规电商知识理解•通用大模型商品商品类目,品牌,属性等•通用知识和商品的对齐问题•图像商品理解差电商知识图谱用户画像电商知识图谱用户画像索基于聚类和分基于聚类和分类类目过滤↓安全性过滤拒绝采样配比均衡策略数据去重分析评分器用户行征过滤文法引擎过滤质量评分器知识积累教育个体学习新知知识积累教育个体学习新知识知识继承祖先/前辈教师,家庭,社会教师,家庭,社会获取知识研究和创新等下一代继承技平台和框架参数扩展长上下文扩展持续预训练基座大模型•基于对知识学习的认知，成本和效率的考量平台和框架参数扩展长上下文扩展持续预训练基座大模型•增加长上下文数据配比•分块缓存工程架构优化•退火学习•数据配比群•高效训练框架•通用指令：数万级•通用指令：数万级•电商指令：数十万级•电商反馈数据数百万千万级•通用指令:一级数十，二级数百类，数十万级•电商指令:数十级，规模数万级从潜在安全事件发生前后可以划分为被动安全和主动安全•被动安全：安全检测服务，从检测方向，对用户输入的prompt和大模型生成的内容进行安全检测•主动安全：大模型生成安全性，从生成方向，对于任何输入保证大模型生成的回复内容是安全可控的，包括11数据标注平台数据标注平台安全日志安全日志记录安全攻击挖掘22安全性-被动安全融合策略•安全干预平台:目标是快速干预实现紧急安全问题•文法规则引擎:以句法分析模板+词典进行识别，侧重关键词特征明显的文本识别•大模型安全检测：通过SFT等技术通过大模型来检测，为了满足低时延往往低于13B参数实现安全性-主动安全 •准确性，泛化效果很难进一步提升搜索交互-以纠错/Sug等为例•基于电商知识增强的电商大模型进一步结合业务任务对齐•搜索交互日志利用+对齐优化目标小流量应用电商大模型•小流量应用电商大模型•收集反馈数据•基于小流量用偏序数据索系统收益指导、、、决........电商知识图谱电商知识图谱反用户画像 用户画像交互式匹配网络也称单塔模型，特点：•不可离线计算，在线速度慢，效果相对好•交互式匹配网络也称单塔模型，特点：•不可离线计算，在线速度慢，效果相对好孪生网络也称双塔模型，特点：•完全独立编码，上层相关性交互•可离线计算编码，在线速度快 等购后购后物流售后购物需求非购物需求即兴购物