大规模语言模型在马上金融的应用实践

大规模语言模型在马上金融的应用实践大规模语言模型在马上金融的应用实践单位：马上消费金融股份有公司时间：2023年12月目录目录01/公司介绍02/马消已落地大模型场景介绍03/营销外呼大模型应用实践04/经验总结和问题公司介绍2.大模型自身的幻觉、安全性、逻辑问题带来的新的风险。•“您的逾期金额是XXX，你的每月应该还的【利息】是XXX”•“您的逾期金额是XXX，你的每月应该还的【金额】是XXX”政府认可马上消费，数智驱动的科技创新金融机构政府认可AI方面的主要成果对话文对话文本SQL生成大模型文档大模型代码对话大模型对话大模型3.推理加速>量化模型>算子融合>模型编译3.推理加速>量化模型>算子融合>模型编译>硬件支持>流式推理>动态batch5.定研专属模型>适配定制研发业务需>解决1.硬件部署>GPU选型>机柜（高电,网络）4.模型验证和服务>快速验证开源大模>提供测试能力>支持原生开源大模容>管理、监控预警2.训练加速2.训练加速>数据并行>模型并行>流水线并>checkpoint技术>offload技术劣势劣势优势大模型应用劣势劣势优势大模型应用求传统人工电销>智能营销发展经历了“产品导向—客户导向—用户导向—全生命周期的线上化服务”的四个阶段，目前已进入营销4.0阶段，强调“以人为本”。>在新时代的金融市场，面临着极致自动化和全真互联的新发展挑战，这要求尽快探索有效、精准、智能化的营销体验。传统智能电销传统智能电销金融对客场景中应用大模型的难点大模型对数据质量金融营销业务场景金融营销场景对信金融营销场景对客金融营销手段千变要求极高，金融营复杂，大模型如何息的准确性要求极户隐私的保护、营万化、营销策略日销数据规模巨大，针对不同业务场景高，用户信息幻觉销合规性的要求、新月异，大模型如如何筛选高质量训进行灵活适配，生问题对金融营销大数据安全性的要求何快速学习、敏捷练数据是首要问题。成多样性话术对客模型整体服务质量都极高，大模型需迭代是一大难题。户体验至关重要。影响十分明显。要因地制宜。营销外呼大模型训练主要环节马消垂直场景的大模型生产主要分为两块：数据的收集和大模型的训练>>历史业务数据：优秀坐席服务语音对话、文本对话>业务文档数据：涉及贷前、贷中、贷后等超数万篇服务文档>业务规则数据：客服机器人配置规则和决策树及各个节点的话术>技术相关数据：所有SQL代码及注释，数据库定义和描述>用户特征数据：用户的静态特征描述，包括用户基本信息、行对话大模型训练过程数据质量数据质量金融合金融合规问题处理线上措施数据处理措施五个五个环节训练数据生成过程后置处理智能质检人工反馈•对话轮次选择（业务上有意义的对话•ASR问题处理（规则+分类+kenlm提示工程技术.提示工程（PromptEngineering）将更多背景细节以文本形式放置于问题内，从而使得模型产生更加符合业务要求的结果。本质是知识工程，通过引导激发大模型自带的AI能力，例如：提示工程生成问题大模型回复的话术情景假设““假设你现在是一打动客户来使用。”心理提示过激情绪”回复要求类以上敏感词”关联事实3500元，有免息券”客户客户:您好哪位？客户:是啊什么事？”大模型训练与评估n训练：基于ColossalChat框架/hpcaitech/ColossalAI/评估.大模型幻觉：LLMs偶尔会产生看似合理但与用户输入、先前生成的上下文或事实知识偏离的输出。将严重损害LLMs在现实世界场景中的可靠性。你们安逸花的贷款利息是多少呢？提供在线理财等服务。您可以到APP办理解法：异构云原生推理平台推理加速解法：异构云原生推理平台在延时要求高、并发大场景在延时要求高、并发大场景，如何解决资源和速度问题？解法：软硬件多种组合技术通过将FP32/16精度量化为INT8或算模型服务质量稳定与GPU利用率平衡问题？大模型在营销场景的应用案例大模型对于个性化场景应对自如，能够在准确理解“客户在开车，可能不方便接听电话”的前提下合理的展开营销步骤。大模型的安全合规性高，能够准确理解“客户的爸爸不在家，客户是个小孩子”，并主动停止对未成年人进行营销。应用场景智能营销大模型在马上消费营销场景的应用应用场景智能营销客户服务客户服务厂资产管理资产管理厂陪练机器人陪练机器人平均通话时长提升50%提升50%交互轮次提升83%客户满意度客户满意度提升28%提升28%业绩 提升30%智能人工平均大模型人工绩优•我上次联系您时介绍过XX；••我上次联系您时介绍过XX；•您的银行卡后四位是【XXXX】•用户：我在开车/我在高速上开车•“您的逾期金额是XXX，你的每月应该还的【利息】是XXX”•“您的逾期金额是XXX，你的每月应该还的【金额】是XXX”•上文你的合同号是xxx吗？下文再次问题到02003金融合规问题特定幻觉问题和长尾意图02003金融合规问题••金融行业和企业自身合规标准。•标准随时间变化。•用户：能给我做分期/免息吗？主要经验和技术问题经验：1、初期可以不用太大的模型，快速验证，也便于推理加速2、如果微调数据量够的话，可以选择直接微调base模型，而不是chat模型3、如果微调数据质量还行的话，可以先不用强化学习，效果也不错4、数据的筛选很重要，要