基于大语言模型的AI Agent架构及金融行业实践-周健

周健2024.8.17模型的智能化水平与使用成本的演进趋势•具备任务拆解与实现能力?•具备任务拆解与实现能力?•将数据转化成知识表达•大模型带来推理能力提升信息（感知）系统行（实）系统•数据作为信息媒介•信息获取效率提升Agent具备角色识别，规划及任务拆解、记忆及知识沉淀、工具/技能使用、执行动作等能力用户LMAgent具备角色识别，规划及任务拆解、记忆及知识沉淀、工具/技能使用、执行动作等能力用户LM对话式编程时代，我们相信新的更优雅的基于大语言模型的软件架构必将诞生AutonomousAgent感知State+PolicyQuestions Action从人机协同模式角度结度初级形态：把AI嵌入到人的工作中中级形态：AI作为人的辅助工具的依赖性在降低，且越来越像真人。人的大部分用于繁琐日常工作的技能被AI取能被瞬间强化生产力提升生产力提升业务流程自动化生产效率提升基础设施层模型层2C应用层基础设施层模型层2C应用层ΔAzureΔAzure文本问答创意生成CLLaMA2算力芯片云服务平台大语言模型算力芯片云服务平台大语言模型专家知识业务数据……价值主张 价值主张自主研发的基于大语言模型的企业级AlAgent平台，集Agent与工作流设计、开发、使用、管理，与知识沉淀于一体。帮助企业快速定制企业级AlAgent来完成各类任务，从而实现业务运营的提质增效。d』可信的企业级数d』场景兼容模型中立模型中立社会性知识（Society)企服场景下专家知识的五层模型在企服领域内一致认同的共性知识企业内的约定规则和指导原则企业内进行特定操作或流程的步骤和方法在企业特定领域的专业知识和从业技能4组织内部和外部社交规则、合适的沟通方式金融行业建设思路建设运营体系制定技术合规标准•统一技术实现路径•制定统一的标准和制定技术合规标准•统一技术实现路径•制定统一的标准和基于规则的知识解构完善全流程应用•引入对已有业务流程挖掘和治理基于规则的知识解构完善全流程应用•完成业务全流程应用升级（如信贷，销售•完成业务全流程应用升级（如信贷，销售Agent推广应用群体智能涌现Agent推广应用群体智能涌现景，带来更多价值•完成不同业务领域试点应用封装应用试点落地产品技术验证•全单位进行试点应用应用试点落地产品技术验证应用场景（如知识问答）业务信息收集样例数据梳理应用场景评估业务信息收集样例数据梳理应用场景评估资源评估系统集成设计模型效果评测系统集成设计模型效果评测算力评测算力评测模型部署模型部署算力适配 实施计划研讨知识整理Agent实施验收--移交优化压测监控项目管理和服务集成项目管理和服务集成Agent应用落地实例-某大型国有银行金融交易场景额析析据据析 程据 程据OO●O(●OO(●●((((((●●●●XX((●●(O●O((OO(↓↓传自目用户提问用户提问向量库!全文索引库向量库!全文索引库PCPC端。。。澜码科技作为大模型应用落地的领先企业，在ABI应用板块率先拥有成熟产品以及行业成功案例，用户通过应用澜码ABI产品，大幅降低员工用数成本，使得80%以上的数据分析任务都通过ABI来完成。准确可靠的查数基于澜码开发的ABI对话框架，通过大模型与指标库的结合，围绕业务人员的数据达到查数成功率90%以上的业界领先效果。强大的数据分析澜码ABI产品充分发掘指标库与大模型结合的能力，在完成查数的基础上，为用户提供了各类数据分析能力，让业务人员可以快速找到数据异常的根源。富有洞察力的数据解读澜码ABI同时为用户提供了查询结果的解读能力。业务人员得到数据结果后没有分析思路，大模型可以帮助用户快速发现数据中的关键细节，解读数据的特征，帮助用户快速理解数据状况。营销辅助助手-健康产品推荐 健康保障产品 健康保障产品保的成本降低保的成本降低科技赋能保险精准过滤并锁率数据分析Agent案例-某头部消费金融公司普惠金、，基于数据中台的数据分析类业务逐年升高，数据服务需求旺盛，支撑数据服务与数据分析等工作的人员任务繁重，导致业务获取数据周期长业务运营效率低等问题需要通过一种更加灵活智、， 通过生成式SQL及生成式BI的方案，可以通过对话实现灵活丰富的数据获取。交付澜码的SQL代码生成微调模型，目前准确率已l需要完成一个模拟一个真实的客户经理，帮助用户进行l需要完成一个模拟一个真实的客户经理，帮助用户进行对公开户的复杂Agentl需要同时处理信息收集、格式核验、字段问答、OCR、辅助填写、API上报、信息确认等多种要求，用户可随时问答，实现一个像客户经理一样辅助用户对开开户，具备复杂的行为准则AgenAgen短期记忆长期记忆rt Question智能决策任务执行观察结果记忆存储获取记忆推理回复结果参数匹配执行调用工作流Agent 选择action Answer短期记忆长期记忆rt Question智能决策任务执行观察结果记忆存储获取记忆推理回复