智能研发的点与面：蚂蚁代码大模型落地实践

智能研发的点与面：蚂蚁代

码大模型落地实践演讲人：肖斌

02

智能研发发展路线

03

关键技术与难点目

录

04

未来方案思考 01研发提效探索研发提效探索CodeFuse在蚂蚁研发全生命周期提效的探索在CLI中执行操作编写提交消息

了解最近代码变更

在代码库中搜索…重构代码执行代码审查编写测试

编写代码注释或…调试代码

互联网搜索

理解代码

编写代码0.00%20.00%40.00%

60.00%

80.00%100.00%

比例注：数据来源JetBrains2023年开发者生态报告代码补全

代码问答

解释代码u添加注释

生成测试

代码大模型探索开发者最耗时活动各功能使用占比

蚂蚁大模型发展路线CodeFuse

3.0GPT-3

模型落地•

0.25B模型•

代码行补全•

全蚂蚁落地2022CodeFuse

2.0•

发布IDE插件，支持多语言，多IDE•

CodeFuse开源，登顶开源代码大

模型HunabEval榜单（74.4%）CodeFuse立项•

发布1.3B模型•

多语言代码补全•

发布编程开发助手2023

Q42023

Q3•

发布CodeFuse1.0•

支持多种模型•

蚂蚁内公测，大客户使用•

BigCode第一名•

仓库级代码问答&需求•

仓库级代码补全优化•

IDE插件对外放量•

支持蚂蚁内部数十种研发下游任务CodeFuse

持续升级2023

Q22023

Q1•

支持蚂蚁内部效能平台CodeFuse

1.02024Chat模式Agent模式Sop

多Agent编排人类仅需设定目标，提供资源，

设置流程，监督结果。通过SOP方式根据特定流程编排多领域Agent，完成特

定复杂任务或跨平台任务。单纯问答形式无法满足智能化需求，需要结合平台的能力进行智能化改造，

集成研发平台能力（工具）供AI调度。集成平台知识库或平台特定数

据对模型进行加训，通过对话

方式提供研发平台知识问答。

大模型的能力演进智能化工具化AI

Native工具化平台通过程序，工具等传统方式满足用户各种明确且特定的功能。用户

一般在产品上通过界面和特定操作流程完成任务。AI原生平台以AI技术为核心，能够自主进行复

杂的任务处理和决策。AI能力嵌入

到用户每个操作中，通常能通过更简单的操作完成更复杂的事情。智能化平台通过效能平台Copilot完成AI能力

的使用，用户一般通过侧边栏进

行平台知识库问答或直接通过AI调

度效能平台能力。

大模型背景下效能平台产品演进AI

Native效能平台传统效能平台效能平台+Copilot需求分析编码自测联调测试部署发布监控运维Run编译问题自动修复启动问题自动修复部署问题自动修复智能

DebugCodeFuseAIAssistant

Platform数据/模型/部署/推理/评测等AI升级研发链路个人生产力释放、研发环节智能化、人工参与率降低产品矩阵领域Agent研发辅助CICD流水线智能执行执行问题定位域排查CICDconfigOps监控时序分析监控日志解读监控语义搜索智能变更&应急Analysis需求智能拆解需求to系分需求to测分系分to研发计划CodeFuseAPIsQualityTextto测试用例单测用例生成

接口用例生成测试覆盖率提升测试资产选取

CodeFuse代码大模型落地现状RAG

IDE能力评测体系其他数据体系AI

Native

R&D全新研发范式，

AI原生的研发交付代码补全代码优化添加注释代码评审代码生成缺陷修复代码解释变更总结CodeFuseVATCodeFuse

IDECodeFuseCopilot超级会话及管理领域Agent开发蚂蚁大模型基础设施大模型/Agent建设平台等核心能力底层依赖项目解析与问答仓库理解与问题智能

CLIAgent调度与执行技术知识问题意图识别升级

演进Coding智能研发发展路线蚂蚁智能研发发展路线在现有产品功能上做智能化升级是AI

应用的重要方式

。一些适合的场景：1.生成式，

如

自然语言生成用例

、根据变更代码补齐测试用例等；2.总结类，

如

对

PR

标题和描述的总结

、基于文档的总结与问答；3.推理类，

如代码冲突解决

、问题的诊断与修复

、异常日志分析等；提取效能平台特征加训语料

特定效能平台模型

Copilot+Chat模式效能Copilot+Chat模型加训CodeFuse大模型

传统效能平台

传统效能平台快速集成AI能力单纯问答形式无法满足智能化需求，

需要结合平台的能力进行智能化改造。以领域Agent

为核心，

对效能平台进行全面升级，

增加超级会话及Agent

调度与执行能力提供知识库效能Copilot

+Agent

Copilot+Agent模式自定义工具（API）RAG检索CodeFuse大模型工具调用传统效能平台工具与AI能力升入结合传统效能平台全量数据

AI

Native

模式AI原生：用户无需主动触发AI功能，任何原有功能都能友好嵌入AI能力至用户操作中。04

代码分析智能生成优化、简化建议，帮助写出更好的代码05

生成测试快速生成测试用例，单测/

集测一键搞定06

智能问答AI

协助解决研发问题，

无需离开编码环境03

解释代码准确解释代码，历史

代码

so

easy02

生成注释代码编辑区域快捷

添加注释01

代码补全智能补全，

一键采纳关键技术与难点CodeFuse研发助手关键技术以及难点突破

算法关键技术与难点代码底座大模型≠产品落地代码补全模型挑战5•响应速度敏感•

代码补全耗时

600msModelOps加速•常规训练无代码

语法•无法自动停止•

自回归训练从左

到右•无法利用上下文挑战1•

单文件感知范围

有限•业务逻辑不准•

代码能力•生成代码符合

预期BlockFim：程序

分析FIM

:fill

in

the

middle预训练+MFT微

调RepoFuse仓库

级补全推理部署模型填空自适应语法粒度代码底座大模型仓库级感知挑战2挑战3挑战4

工程关键技术与难点算法模型

≠

产品落地•

全量代码计算量

大•

实时代码难被计

算•

服务端OR本地存

储•

RAG检索时间长•

耗时敏感•

纯模型能力存在

幻觉问题•

生成结果括号不

匹配•

模型能力存在某

些领域上限•

同时运行多个模

型进行效果验证•

单个模型同时用

多种策略进行效

果验证•

上下文边界导致

可用信息少•

无法利用代码引

用链路相关信息•

无法参考其他相

似代码•

什么时候触发（立即

or

等待

or

动态delay）•

全部触发

or

部分

触发（队列机制）•

要不要触发：缓

存复用本地存储/索引•本地轻量向量/索引

库•严格限制资源的低

侵入构建•20ms以下仓库检索触发时机优化 HPF抢占式队列 上下文太少不触发 上下文感知缓存

动态delayRAG+程序分析•库内检索召回•个性化业务独立扩

展•引用链路追踪•代码解析/压缩AB平台•多场景多样化分语

言AB实验PE/前后处理•低收益判断•业务语义Prompt增

强•Few-Shot学习•多种校验后处理实时+耗时效果优化触发时机上下文边界多模型/多策略挑战3挑战4挑战5挑战1挑战2

如何对高频场景进行触发时机优化（代码补全为例）绝大部分请求为无效请求，浪费GPU资源HPF抢占式队列相对节省80%+GPU资源敲击键盘决策树模型动态Delay提取Prompt发起请求提取Prompt触发事件缓存发起请求边界判断上下文长短光标位置上下文hashLRU缓存40+用户特

征抽取线性模型

什么是模型幻觉问题仓库内其他相关文件内容模型“虚假认知”由于无法感知SortUtils中bubbleSort方法，所以模型根据有限的上下文猜测了可能的insertionSort方法，并生成对

应调用代码，导致生成代码的编译错误。生成效果

基于上下文感知学习

(

ICL

)

能力，

解决模型幻觉问题Context-Aware感知边界无上下文当前文件光标前内容当前文件光标前后内容（FIM）所有打开的文件所有的语义相关元素本地仓库所有相关的元素整个本地仓库公司所有仓库其他非代码信息CY24

里程碑仓库级感知范围CY23

里程碑文件级感知范围

上下文感知学习

(

ICL

)

能力预处理–本地索引构建AST分析/代码切分向量化/Embedding函数过滤/代码摘要FileChuck函数KV索引库文本索引库Code

基于上下文感知学习

(

ICL

)

能力，

解决模型幻觉问题结合RAG+程序分析能力强化上下文。感知本地仓库中预处理构建的文本库/向量库做相似度检索寻找相似代码

。通过AST解析，引用链路等追踪手段，

找到对应相关代码并压缩测试集

EM：

40.9%->

59.75%远程能力增强本地核心能力Prompt构造•多结构构造•

ABTest重要性排序•

相关相似混排•结构压缩，无效

信息去除•

token计算/占比

分析相似代码•文本检索•

向量检索•滑动窗口相关代码•

AST解析•动态类型推导•

应用链路追踪•

代码结构分析•二方/三方包文件上下文相关文章：《RepoFuse》

/abs/2402.14323本地文本索引库本地向量检索引擎跨库引用链路检索轻量级K-V索引库知识库检索能力本地文本检索引擎重要性排序Embedding服务

基于上下文感知学习

(

ICL

)

能力，

解决模型幻觉问题Context-Aware扩展边界的意义•

仓库内多文件代码补全•

70%的代码编写会用到仓库内其他文件信息•

更加关注仓库整体依赖关系•

更加关注与目标代码相似的代码段Generate

HTML

withpythonsyntaxhighlighting

for“print(‘

reading

docs’)”<pre><codeclass="language-python">print(“

reading

docs

”;)

</code></pre>•

单文件代码补全•

无法利用仓库内其他文件信息•

仅能完成30%的场景•

补全不准，

出现严重的幻觉Generator

基于上下文感知学习

(

ICL

)

能力，

解决模型幻觉问题仓库内其他相关文件内容生成效果优化前优化后•

Motivation•大模型自回归训练，仅适合Chat任务，不支持代码补全。•代码补全需要根据代码的上下文预测代码缺失部分，

此模式无法结合上下文进行完型填空。•

FIM

（Fill

in

the

middle）•将训练的文本序列一部分移动到结尾，自回归