大模型在金融知识和作业密集型场景的挑战和实践 2024-姜睿思

在金融知识和作业密大模型集场景的挑战和实践在金融知识和作业密大模型集场景的挑战和实践演讲人：姜睿思大模型近期发展介绍 大模型在金融知识和作业密集场景的挑战和实践 大模型近期发展介绍 大模型在金融知识和作业密集场景的挑战和实践 大模型能力树国外AI巨头近期发布•gpt4o数据分析能力近期大模型的发展方向基座大模型型垂类大模型模型类度度果模型性能模型性能资源占用资源占用模型优化类语音接入语音接入调用价格应用类大模型近期发展介绍 大模型在金融知识和作业密集场景的挑战和实践 大模型应用之Agent引导智能实现结果的手段或工具引导智能实现结果的手段或工具自主性、交互性、反应性和适应性自主性、交互性、反应性和适应性司内大模型应用技术技术场景客服，外呼，助手，数面向提升业务效果和客户体验的应用面向司内作业提质提大模型应用场景分类提升准确度，提升体验知识密集（如ChatBI）提升准确度，提升体验知识密集（如ChatBI）作业密集（智能客服Agent）企业数字化转型与大模型应用数据算法ALGORITHM算法ALGORITHM数据VS知识脚印狄仁杰蹄印猎手企业知识定义规章制度流程、制度、规范业务运营业务知识、运营、营销、风控组织建设人、分工、组织、团体技术基础数据库表、技术/产品文档企业文化健身、交通、聚餐、下午茶知识密集型应用ChatBI（Chat-basedBusinessIntelligence）是一种基于聊天界面的商业智能系统，它允许用户通过自然语言与系统进行交互，获取所需的业务数据和洞察。核心功能包括：使ChatBI能够理解和处理用户的自然语言查询。机器学习通过分析历史数据和用户行为，ChatBI能够提供个性化的建议和预测。数据分析与可视化ChatBI能够处理和展示复杂的数据集，帮助用户快速获ChatBI应用场景客户服务与客户服务的辅助工具，提供即时的查询响应和问题解决支持决策支持系报表查询，实时的数据分析和业务洞察，辅助、决策统生产监控实时监控生产线状态，及时发现并报告生产问题生产监控预测性维护预测设备故障，减少停机时间，提高生产效率预测性维护个性化营销通过分析客户历史购买数据、提供个性化的产品推荐或预测风险个性化营销ChatBI产品功能数据获取数据获取文件数据API接口数据分析数据分析数据应用数据应用智能分析助手智能分析助手大模型出现后Text2SQLChatBI核心能力大模型出现后Text2SQL基于大模型的Prompt优化：关键词提取、实体检索、上下文检索、列筛选、表选择、列选择、候选生成、修订。核心能力1核心能力1基于模板、规则基于模板、规则→seq2seq框架的编码解码优化→多任务槽位填充核心能力2ExactMatchAccuracy(ValidEfficiencyScoChatBI关键结果SQL复杂度（行数）总SQL查询数占比SQL生成准确率ChatBI的问题库表信息缺失&不前20%的sql查询了80%的库表信息缺失&不平均每次生成，调用敏感信息“泄露”模型5次以上ChatBI的后续优化知识/信息按照敏感等知识/信息按照敏感等级分类，敏感信息处理安全数据/数仓的基础信息建设，数据/数仓的基础信息建设，数据收集与数据治理，企业知识数据与花费瓶颈历史查询缓存，SQL知工程性能大模型助力新一代智能客服智能识别用户问题，实时触发与问题相关的SOP流程导航，包括沟通要点与推荐话术，引导坐席采用最佳策略，并给出最佳回复对话即分析的深度客户洞察通过自然语言的提问，就能获取针对海量客服会话的分析结果，并支持下钻到具体会话，对客户原声的提纯和洞察更深入、更高效知识运营支持多种格式文档导入知识管理后台，可替代问答对直接生成答案。相比传统问答模式，可覆盖问题更多，直接回答率提升30%作业密集型---智能客服AgentAgentAssist为呼叫中心座席人员提供个性化辅导和上下文相关的实时协助，确保他们能够快速、无缝地满足客户要求，最终提高客AgentAssist主要优势达到关键绩效指标达到关键绩效指标提高成本效益。最大限度地提高座席利用率并转移重复呼叫。包括语音生物识别和实时欺智能客服Agent主要功能流程导航辅助坐席更好的回答用户问题，提升用户体验确保知道下一步该做什么话术推荐流程导航辅助坐席更好的回答用户问题，提升用户体验确保知道下一步该做什么话术推荐情绪识别标签提醒情绪识别标签提醒实时标签提示客户状态分析对话并提供实时指导，以便更好地与客户互动实时标签提示客户状态知识库知识库实时将内容推送到座席桌面准实时总结通话内容并存储整个上下文，以便分析和访问实时将内容推送到座席桌面智能客服Agent架构销售经理投资顾问理财经理销售经理投资顾问理财经理通话小结违规提醒通话小结违规提醒知识库搜索情绪识别流程导航用户画像搜索服务核心服务层搜索服务核心服务层AI算法能力推荐引擎语义识别AI算法能力推荐引擎语义识别数据接入层数据接入层智能客服Agent主要特点支持定制化提示词调优大小模型融合的应答模式支持定制化提示词调优全面保障数据安全开箱即用上传文档，设置应答逻辑全面保障数据安全智能客服Agent提效成果功能名称提效指标提效成果智能会话摘要会话结束后3~5秒内智能生成会话小记，支持人工校审、编辑采纳率90%+，小结完备率提升60%智能工单分类工单所需字段，智能提取会话中的关键内容或直接将会话分类。根据用户情绪推荐工单优先级采纳率超85%+，工单类话后时长降低20%，ready率提升2%SOP流程导航智能识别用户问题，实时触发问题相关的SOP流程导航，包括沟通要点与推荐话术，引导坐席采用最佳策略，给出最佳回复采纳率超75%，ATT通秒降低22秒AI应答推荐根据上下文语境，结合内部文档、知识库，问题库等生成“应答话术”，支持修改后发送采纳率超80%，呼入通话次数人均提升40%智能知识库搜索支持企业将多种格式文档导入机器人知识管理后台，可替代问答对，直接生回答率提升30%，准确率提升20%深度客户洞察通过对历史会话分析，提取关键标签，为机器学习模型提供特征数据；提取业务知识点，反哺业务进行业务层面优化300+标签，平均准确率85%+智能客服Agent提升点与主要技术功能名称大模型提升点主要涉及技术智能会话摘要相较于传统总结具有很强的上下文理解能力和复杂语义的理解能力。智能工单分类更强的语义理解能力，可以应用在更广泛的场景SOP流程导航更强的复杂、大量信息的处理能力与适应性AI应答推荐更强的对话生成能力智能知识库搜索更强的语义理解能力，更广泛的应用型，更人性化的回答深度客户洞察大模型近期发展介绍 大模型在金融知识和作业密集场景的挑战和实践 大模型应用效益闭环推广和持续优化机制实现效益闭环AI文化培养GPTIdeathon、大模型讲堂与培训、AI辅助编程大赛数字人参与重要会议AI活动体验AI文化建设成果1，GPTIdeathon：历时3个月，共63个创意提报。搭建GPTLAB，已经支持4个外部大模型，支持文本图片上传文件等多种功能。内外部行业专家培训，覆盖人次达到数千人，培训时长达到近30小时。3，AI辅助编程大赛：超过25各队125人参与。技术人员Copilot活跃率超过70%，行采纳率超过20%。4，宣传：月更AI快报，企业外部公众号发布5篇以上AI成果展示。5，智能体中心：已经上线3个智能体，另有2个正在建设当中。实现效益闭环数据运营运营策略数据策略模型效益闭环成果发现运营问题，反推业务优化