大模型在众安银行研发领域效能提升方面的探索与实践

大模型在众安银行研发效能提升方面的探索与实践众安银行

李欢我们听到或看到的于是就造成了这样的错觉…老板：别的公司都在用大模型能显著提效，我们为什么就不行？研发工程师：我用了copilot，但是效率也没有提升多少？但实际上我们在企业内用的时候代码可用性问题：输入提示耗时：理解难度高：代码注释质量欠佳：业务相关性不足：用户期望获得与特定业务场景紧密相关的代码段，而不仅仅是通用代码片段。Copilot有时难以准确把握和生成符合特定业务需求的代码。理解由AI生成的代码所需的时间，可能比自己从头开始编写并理解代码的时间还要长，这影响了开发效率和团队协作。编写能够引导AI生成满意代码的prompt所花费的时间，有时甚至超过了直接手动编码的时间，导致效率不增反降。Copilot生成的代码并不总是满足实际功能需求，存在“生成的不是我们想要的代码”的情况，影响了代码的直接可用性。自动生成的代码注释往往流于表面，仅仅是代码本身的简单重复或直译，缺乏对代码背后业务逻辑和意图的深入说明，降低了注释的实用价值。但实际上我们在企业内用的时候基于错误或不完全理解的需求，Copilot可能会生成错误的单元测试，这可能导致测试失效，无法有效验证代码正确性。生成的代码可能不符合公司的编码规范或是个人编程习惯，需要额外的时间进行调整，增加了工作负担。并非所有开发者都具备有效利用AI辅助工具的能力，这导致了工具效益的不均衡分布，增加了团队内部的技能差距。在某些情况下，代码生成的速度未能达到用户的预期，延迟较高，影响了开发流程的顺畅进行。使用技能差异：不符合规范和习惯：生成速度缓慢：单元测试准确性：在处理涉及用户隐私的代码片段时，开源的Copilot产品可能无法确保这些片段不被存储、分析或分享，从而违反了隐私保护原则数据安全与隐私：灵魂拷问大模型真的能提升研发效能么？内容大纲WHY：问题在哪？WHAT：做什么？HOW：怎么做？EXECUTION：探索与实践分析当前代码copilot对研发效能的影响架构师程序员测试产品经理(8.4%)理解需求(5.8%)理解整体架构设计并做详细设计(6.8%)画图或写文档(11.2%)理解关联代码(7.7%)参考内部规范和已有基建(6.4%)查找类似第三方代码或技术方案(9.8%)动手修改或新增代码(7.2%)运行调试代码(8.7%)写单元测试(6.5%)功能联调或测试(3.1%)准备发布物料(11.4%)协作或被动沟通32.1%*60%

=19.26%运维10%5%60%20%5%项目经理/过程管控/安全/风控/运营…10%即使整个编码过程由copilot生成，其提效效果也达不到20%！反思：研发仅仅只是写代码吗？编码阶段效能单个个体效能当前时段效能整体研发效能不等于思考：让LLM赋能研发效能提升的正确姿态是什么？01工即使没有很好的prompt能力也能受益于大模型，将这种能力简化，降低学习成本，并内置到日常的工具和流程中，主动的自动的帮所有员工提升效率，从而提升整体效能。广泛提升个体效能：不局限于个体的prompt能力，而是确保每位员03深度融合内部基建工具：大模型应无缝集成到企业现有的开发环境和工具链中，如CI/CD流程、编码工具、项目管理工具等，确保其不仅是独立存在，而是成为开发基础设施的有机组成部分。02嵌入大模型于研发全生命周期，优化上下游知识共享，确保协作无缝衔接，提升整体团队协同效率。强化协作与流程整合：思考：让LLM赋能研发效能提升的正确姿态是什么？让大模型在内部形成规模化应用，而不仅仅是零星地用于个别项目和团队，通过规模化效应放大提效效果生成的代码、文档等资产需具备长期价值，支持版本控制、易于维护与升级，确保技术栈的持续演进，为未来项目预留可扩展接口，形成持续迭代的良性循环。确保数据安全，防泄露，建立严格的安全管控机制。确保AI产出的是可复用、可持续发展的知识资产，而非为解决短期问题，而造成长期负担。通过持续反馈与优化，形成自我进化的能力，使资产随时间增值，成为企业核心竞争力的一部分。07

构建安全合规基石：06

产出高质量资产：05

构建可持续发展：04

形成规模化应用：内容大纲WHY：问题在哪？WHAT：做什么？HOW：怎么做？EXECUTION：探索与实践知己知彼才知道怎么做大模型能做什么？1我们有什么？2二者怎么结合起来？3三个问题每家公司的情况都不一样，

当然不能生搬硬套…大模型在研发领域能做什么？02Copilot（助手）01Chatbot（问答机器人）03Agent（智能体）作用：相当于咨询顾问的角色，辅助研发领域的专业人员高效地完成知识获取、信息检索、内容总结以及文档编写等任务。它通过精准回答研发人员的问题，提供专业的建议，或是根据既定格式自动生成内容。形式：通常与研发流程保持一定的独立性，研发人员通过向AI提问，获取建议或按照特定格式生成内容，大多数内容还需要人工进行二次确认和优化。作用：相当于专属助手的角色，不仅能辅助研发领域的专业人员完成特定任务，还能独立处理简单工作、重复性工作或者创建任务的初稿。形式：不需要人工唤起，可以作为嵌入式工具，融入到自动化流程中，或者有单独的入口由人工唤起，以便在需要时提供即时帮助。作用：相当于一个虚拟化的工作伙伴，能够在研发流程中独立完成特定任务，几乎无需人工干预。它的智能化水平极高，能够理解任务需求，自主执行，并达成预期的成果，极大地提升了研发效率和自动化水平。形式：这种智能体被深度嵌入到研发体系中，成为不可或缺的一部分。它通过预设的目标和指令，承担研发流程中的特定工作，并在实现既定目标后自动结束任务。我们在研发领域有什么？已经建立了完善了devops体系有比较完善的基建设施有类似低代码和研发辅助工具有自己的研发流程、代码锲约和使用习惯我们和其他公司有何不同？研发规模：

研发人数100-200人，中小规模；业务特点：① 自有产品迭代，95%的任务是在老代码基础上升级；② 业务性很强，有自身特色，并非标准化产品，Github上很难找到类似的代码；③ 创新性很强，迭代周期快，代码要频繁修改，不是说生成一次代码；安全合规：合规要求很严格，对于代码安全性要求很高，代码不能给到第三方；目前LLM的技术方向有哪些？准确性24358复杂性24369总成本235610灵活性58532PF(PromptEngineering+Function

Call)AgentRAGFT(Fine-tuning)FM(Trainfrom

scratch)024681012LLM落地方式对比PF：人机对话、知识整理Agent：工程项目，综合能力，解决复杂问题RAG：PF+私域知识问答、检索和整理FT：专业知识增强+深度理解FM：专有模型，加强版本FT如何赋能？从哪下手？Step 01把LLM看成是团队的一员，一位刚毕业的校招生。Step 02深入了解团队每位成员的工作内容，看看有没有哪些部分是可以交给LLM完成的。Step 03把人要做的事情告诉大模型，人讲人话，大模型讲大模型话。怎么讲好大模型话：讲好一个故事背景故事发生在一个怎样的环境下，大的趋势是什么？有什么特别的设定？主角故事的主角是谁？这个主角不一定是自然人，也可以是物品、机器、文件、甚至是一个IP地址。目的故事主角的意图是什么？他的目的是什么？因为有了目的，故事才会发生。行为故事主角都做了哪些事情？遇到困难他是怎么克服的？结果在主角做出了一系列的行为之后，故事的结局是怎样的？启示故事的中心思想是什么？我们能从中学到什么？它给了什么什么启示？给LLM讲一个完整故事需求收集：研发团队的日常Lily妹产品经理大E哥技术架构师跟业务和运营沟通需求分析并拆解需求产品设计并输出界面原型跟研发团队沟通方案按一定的格式编写需求文档按照需求文档进行架构/方案设计画架构图并编写架构设计/方案文档组织和参与架构评审任务分解和进度管理代码review目的Goal行为Action需求收集：研发团队的日常Jay哥后端开发LV姐测试专家根据需求文档和设计文档编写后端业务代码编写代码的单元测试编写接口并与前端联调提交代码参与代码review根据需求文档和设计文档编写测试用例编写接口自动化测试脚本执行测试用例，进行功能测试在系统中录入bug/回归测试讲整个故事Story结果Result哪些场景可以借助大模型提效？AI辅助需求分析需求补全扩充需求说明；将一句话需求转换微完善的需求描述；需求挖掘根据需求描述引导挖掘用户真实需求；将用户需求转换为产品需求；需求分析智能分析和关联历史需求；需求分类整理；需求文档自动生成需求文档；将需求转为产品需求；需求设计开发测试发布运维需求 挖掘 需求 产品描述 分析 评审 设计设计 代码 代码 单元 代码 编译 开发 集成 发布 蓝绿 生产 正式 监控 事件评审 生成 开发 测试 评审 打包 自测 自测 评审 发布 验证 发布 告警 管理AI辅助设计UI设计UI图生成；圆形稿生成；架构设计生成架构图、流程图；提取数据模型，辅助数据库表设计；辅助关键点设计，如：高可用方案推荐；架构文档生成方案设计文档；架构评审生成评审纪要；代码生成根据需求描述和架构设计生成初始化代码；根据注释生成代码片段；代码补全根据上下文补全代码；代码注释自动生成代码注释；格式化代码代码纠错分析代码；纠正代码中的错误；AI辅助开发代码解释解释代码；代码重构自动重构代码；按照用户要求重构代码；代码优化优化算法；按照特定规范优化代码；AI辅助测试生成测试用例单元测试生成测试用例；执行测试用例；根据用例结果调整代码接口文档生成接口文档按照需求文档生成测试用例文档；生成接口自动化测试脚本根据接口文档生成接口测试文档；根据接口代码生成接口文档；测试文档根据需求和架构设计生成测试文档；自动测试执行测试用例；收集阙下；AI辅助CICD生成发布单根据架构设计和工程代码生成发布单；审核发布单审核发布单自动构建自动部署构建日志分析分析构建日志，并给出建议；自动修复；AI辅助线上运维线上日志分析安全分析；日志提取；智能告警根据指标数据提供智能告警；UI设计架构设计是不是都要做？需求描述补全需求文档生成需求拆分需求补充需求评审需求验证原型稿设计UI图片设计图标设计架构设计架构文档数据模型设计代码生成架构评审代码补全代码单元测试生成代码解释代码重构代码注释生成代码纠错测试用例生成自动化测试脚本生成测试文档生成代码配置项生成配置项检查告警分析测试问答发布清单检查运维问答故障分析日志分析测试数据生产开发问答自动化测试代码审计资源调度需求设计开发测试发布运维代码优化异常指标检测灰度切换发布脚本整理自动化部署代码评审安全检测攻防演练需求翻译高频场景环境搭建中频场景低频场景显著提效初步提效有望提效安全测试确定基本目标和实现路径聚焦高频场景，结合企业已有资产和特点，从简单到复杂，逐步打造企业专属的AI智能体+助手体系，并融入到现有研发工具或平台中第一步：将零散的流程通过自动化工作整合起来统一工作台集合现有规范、物料库和工具等，给开发提供统一的开发门户，让软发过程透明化，提升软件开发的效率和软件质量（规范度）工具库给开发人员提供开发时的辅助工具，帮助研发人员提升效率、代码质量和制品质量物料库给开发人员提供开发时的工程框架、各种组件以及文档，沉淀研发资产开发工程师测试工程师开发3 测试2PRD业务代码标准代码块架构师1 设计分析设计工具数据模型设计与ER图自动生成工具代码生成平台开发工具库检查自测工具库API设计工具API文档中心(UDOC)API文档生成(smartdoc)代码规范检测工具后管开发平台(ONE)API调用代码生成器公共资源管理私有资源管理文档库架构材料参考库统一技术官网(HOT)规范文档产品手册微服务框架2.0(magicbox)开发组件库基础工具类接口参数校验工具安全加密工具货币处理组件日志脱敏工具域登录组件Api灰度工具缓存封装组件掩码工具远程调用封装组件Json处理工具…过程管控公共数据字典公共数据列业务前缀系统编码公共配置公共秘钥公共接口…架构设计文档代码库工程资源数据模型架构评审公共资源变更审批私有资源申请…响应码API配置…第二步：结合工作逐步打造各个环节的助手体系开发工程师测试工程师开发3 测试2PRD业务代码标准代码块架构师1 设计人利用助手整理和简化一部分工作，

本质上还是靠人驱动架构智能助手集合架构助手测试智能助手集合测试助手IntelliJ

IDEAVS

Code开发助手文档助手工作台工具库物料库微服务框架2.0(magicbox)分析设计工具数据模型设计与ER图自动生成工具代码生成平台开发工具库开发组件库检查自测工具库API设计工具API文档中心(UDOC)API文档生成(smartdoc)代码规范检测工具后管开发平台(ONE)API调用代码生成器基础工具类安全加密工具日志脱敏工具Api灰度工具文档库掩码工具Json处理工具接口参数校验工具货币处理组件域登录组件缓存封装组件远程调用封装组件…统一技术官网(HOT)公共资源管理私有资源管理规范文档产品手册架构材料参考库过程管控公共数据字典公共数据列业务前缀系统编码公共配置公共秘钥公共接口…架构设计文档代码库工程资源数据模型架构评审公共资源变更审批私有资源申请…响应码API配置…第三步：智能体和人和助手一起协作推进研发工作开发工程师测试工程师开发测试23PRD业务代码标准代码块架构师1 设计理想状态：

大部分工作靠智能体完成，

人和助手一起做补充和确认架构助手集合架构师智能体集合开发助手集合开发智能体集合测试助手集测试智能体集合工作台工具库物料库微服务框架2.0(magicbox)分析设计工具数据模型设计与ER图自动生成工具代码生成平台开发工具库开发组件库检查自测工具库API设计工具API文档中心(UDOC)API文档生成(smartdoc)代码规范检测工具后管开发平台(ONE)API调用代码生成器基础工具类安全加密工具日志脱敏工具Api灰度工具文档库掩码工具Json处理工具接口参数校验工具货币处理组件域登录组件缓存封装组件远程调用封装组件…统一技术官网(HOT)公共资源管理私有资源管理规范文档产品手册架构材料参考库过程管控公共数据字典公共数据列业务前缀系统编码公共配置公共秘钥公共接口…架构设计文档代码库工程资源数据模型架构评审公共资源变更审批私有资源申请…响应码API配置…内容大纲WHY：问题在哪？WHAT：做什么？HOW：怎么做？EXECUTION：探索与实践设计范式：Prompt模式企业助手类应用程序大模型PromptResponse设计范式：函数调用模式应用程序大模型Prompt意图识别接口函数绑定参数解析函数调用(插件函数执行)增强Response①

大模型选择并提取函数调用信息② 大模型根据函数调用结果重新组织回答设计范式：

RAG模式应用程序大模型ResponseRAG向量数据库知识检索Prompt增强提示词知识设计范式：路由分发架构模式小模型A小模型B大模型B应用程序Prompt查询路由转发模块设计范式：大模型代理架构模式Prompt查询大模型（任务规划和拆解）小模型A小模型B小模型C输出A输出B输出C最终答案应用程序设计范式：结合缓存的架构模式初始的Prompt查询大模型最终答案后续Prompt查询结果缓存应用程序设计范式：双重安全架构设计模式Prompt查询最终结果Proxy代理防护墙Prompt清洗后的Prompt清洁的Prompt应用程序设计范式：

Agent（智能体系统或智能体代理）短期记忆工具Agent行为规划记忆长期记忆Calculator()Calendar()CodeInterPreter()Search()…自我批评反思思维链子目标分解LLM设计范式：面向目标的智能体架构模式Planning规划大模型Action执行①Prompt查询②③④⑤Observation观测⑤最终答案应用程序设计范式：智能体组合架构模式Prompt查询Agent

AAgent

BAgent

C输出集成统一结果最终结果子任务A智能体选择器子任务B子任务C选择规则调整应用程序落地方式：简单助手级别应用企业助手类应用程序大模型Prompt增强提示词Response特点：业务需求简单，基本上不依赖企业私域知识，仅处理单一的任务或仅限于文字类工作应用举例：需求拆分、写需求文档、翻译、文章审核、日志分析等实现方式：Prompt工程抽象Prompt工程Prompt模板Prompt组装上下文管理输入和输出管理会话管理敏感词过滤熔断降级…落地方式：复杂助手或简单智能体级别应用应用程序大模型ResponseRAG关系型数据库知识检索Prompt增强提示词非结构化数据抽象向量数据库结构化数据知识运行时数据特点：业务需求较为复杂，需要依赖企业私域知识或新知识，对响应质量要求很高，需要依赖上下游的东西较多应用举例：需求拆解、架构设计、代码生成、代码补全、代码解释、代码review、生成测试用例等实现方式：Prompt工程+RAG+Function

Call+编排…简单智能体开发平台Prompt模板Prompt组装上下文管理输入和输出管理会话管理敏感词过滤熔断降级知识库管理API管理技能编排…落地方式：更加复杂智能体级别应用应用程序抽象输入输出历史需求查询需求扩写判断格式化关联历史需求新需求需求组装查询文档查询数据库AIGC开发平台特点：业务需求较为复杂，需要依赖企业私域知识，面向C端处理并非单一的任务，而是流程更加复杂的任务应用举例：需求补全、需求文档编写、架构文档编写等实现方式：Prompt+RAG+FC+Tools+编排…Prompt模板Prompt组装上下文管理输入和输出管理会话管理敏感词过滤熔断降级知识库管理API管理工具管理任务编排…研发领域多智能体协同架构需求补全生成需求文档拆解需求产品Agent…评审架构设计生成架构设计生成数据模型设计Agent…生成初始化代码执行代码生成单侧开发Agent…生成测试用例执行用例收集缺陷测试Agent…发布单审核自动构建日志分析运维Agent…代码审计配置检查渗透测试安全Agent…原始需求运行层存储层应用层需求知识库代码知识库规范知识库测试用例库…Promt提示词服务信息提取输入解析知识库服务知识查询知识库匹配上下文服务长期上下文短期上下文指令集服务指令查询指令组装模型服务API接口管理接口组装接口调用模型参数管理模型初始化文本处理服务文本格式化Token计算工作流服务建模运行会话管理会话管理记忆用户服务认证资源权限合规服务 合规审查平台配置+运行时数据知识库结合各域进一步抽象形成最终架构渠道研发域 办公域应用平台底座客服金融催收风控金融催收数字人直播合规咨询智能会议一键出题翻译政策咨询…需求助手低代码UI助手测试助手代码助手安全助手架构助手运维助手…智能研发中台LLM框架(java)AI工具库LLM框架(python)AI网关鉴权AIGC网关计费审计…基建Agent构建指令管理知识工程提示工程统计分析调试Agent构建指令管理技能编排版本控制AIGC开发平台文件知识库技能限流会话控制流量监控OpenAPI结构化知识库图文知识库数据集智能体开发物料连接网关安全、合规、监控…AI服务存储通义千问LLMGPT3.5/4/4-oLlama文心一言商汤ASRTTS自研微调人脸识别数字人平台语音识别NLP服务mysqlredisMongoDBes …其他日志监控liteflow…研发平台企银BANKAPP…OA财务…teams企微IntelliJ

IDEAFigmaVS

Codegitlab官网…用户(生产)域内容大纲WHY：问题在哪？WHAT：做什么？HOW：怎么做？EXECUTION：探索与实践先看一个简单的示例传统的低代码虽然通过可视化可视化的方式，拖拽+配置就能生成前端页面，降低了使用者的门槛，但对于一个没有编程经验的人员来说，还是会有一定的成本案例一：前端低代码助手传统的码自然语言案例一：低代码助手Prompt+Cot+DSL=低代码自然语言输入意图识别任务拆解指令生成执行DSL修改LLM低代码平台用户请生成一个包含banner和产品特点介绍组件的页面修改页面生成页面意图识别页面由哪几部分组成…每部分可以用哪些组件组件如何描述组件如何在页面上布局展示如何返回内容执行返回内容更新页面根据规范产品介绍组件有3分部组成知识库产品介绍页面规范根据UX团队设计规范抽象组件和使用范围使用AIGC也能懂的DSL语言按数组和先后顺序以及产品规范合理安排以JSONPatch的标准格式返回，无需解析updateSchema(newSchema)案例一：低代码助手案例二：开发助手案例三：运维安全助手场景核心目的是什么？ • 根因分析：产生这个事件的原因是什么？场景难点如何从大量的日志中找出用户的异常行为？LLM优势结合了RAG和LLM阅读理解的能力。案例三：运维安全助手用户操作记录操作摘要行为画像行为分析安全告警新操作RAGLLM历史行为库LLM案例三：安全事件响应–

堡垒机日志.....#

instruction上面是一段堡垒机用户

${user}

在资源

${resource}

上的操作日志，你是一名信息安全专家，需要分析该用户操作的特征，你可以从如下角度入手：用户执行命令的频率和周期分布，是否在午夜操作。用户执行命令的类型。用户访问的文件、路径目录、系统配置等。用户的行为偏好和意图。用户是否执行过高风险命令。#

context资源的命名是有规则的，举个例子：......#

output你只需要输出下面这些结论性语句，不需要输出思考过程：一小段话总结用户的行为特征（需要概括出执行的命令、访问的文件等资源、时间分布等）。一句话猜测用户的操作意图（用户想在这个资源上干什么？）。一句话描述用户的画像（从职业、岗位、工作内容的角度描述）。提示词（节选）-

每日.....上面是堡垒机操作在

${startDate}

到

${endDate}

这周的日志摘要。用户是

${user}。操作的资源名称为：${resource}。……提示词（节选）-

每周用户xi▆▆▆▆.he在2024年4月23日的操作主要集中在数据库的管理和维护，包括查看和设置数据库的配置，管理数据库的用户，查看数据库的状态，以及大量的数据库删除操作。他访问的文件主要包括"mysql_▆▆▆▆▆▆.sql","mysql_▆▆▆▆▆▆.sql","mysql_▆▆▆▆▆▆.sql"等，这些文件可能是用于数据库用户管理的脚本。他的操作时间主要集中在白天，没有在午夜进行操作。用户的操作意图可能是在进行数据库的管理和维护工作，包括查看和设置数据库的配置，管理数据库的用户，查看数据库的状态，以及清理不再需要的数据库。用户xi▆▆▆▆.he是一名数据库管理专家，他的工作内容主要包括数据库的配置、用户管理和状态监控，以及数据库的清理工作。操作摘要(日)用户xi▆▆▆▆.he在ZA银行的基础设施服务资源Zabank▆▆▆▆▆▆-0001上的操作主要集中在数据库管理和文件系统操作，包括查看和编辑文件、目录和系统配置，数据库登录、查看进程、查看数据库和删除用户等操作。他的操作时间主要在上午10点到11点之间，也有在晚上的操作，但没有在午夜进行操作。他访问的资源包括多个用户账户，以及相关的数据库和文件系统。他频繁使用的命令有"ls"、"ls

-lrt"、"cd"、"tail"、"crontab

-l"和"vi"等。他主要访问的路径是"/data/▆▆▆▆"，并在该路径下的"bin"和"logs"目录进行操作。他查看了"▆▆▆▆▆▆.log"日志文件，并编辑了"/data/▆▆▆▆▆▆.py"文件。他还执行了一些高风险的命令，如truncate，以及一些系统状态检查命令，如"df

-h"和"crontab

-l"。用户的操作意图可能是进行系统和数据库的日常管理和维护，包括查看系统状态、编辑配置文件、管理数据库用户等，以及进行必要的系统配置和优化。用户xi▆▆▆▆.he是一名负责系统和数据库管理的工程师，他的工作内容包括维护系统的正常运行，管理数据库用户，以及进行必要的系统配置和优化。操作摘要(周)根据历史上下文信息，用户xi▆▆▆▆.he的操作主要集中在白天，且主要涉及到的操作包括编辑Python脚本、执行数据库指令等，与告警内容中的操作一致。此外，他的操作路径也与告警内容中的Resource一致。因此，这可能是他日常工作的一部分，不需要特别关注和处理。告警自动处理案例三：安全事件响应–

后管日志……下面是某些后台管理系统的操作记录