豆包MarsCode落地编程助手场景的探索与实战

豆包MarsCode

落地编程助手场景的探索实践源豆包MarsCode

编程助手起豆包MarsCode

的现状与发展未来展望01豆包MarsCode

编程助手起源IDE

智能化探索开发者对

AI

Coding

的诉求豆包MarsCode

的历程IDE

智能化探索开发者对

AI

Coding

的诉求豆包MarsCode

的历程2022

年初代码智能团队开始探索

LLM

驱动的代码补全产品自研代码

LLM评测集和自动评测系统构建数据链路和线上

A/B

测试体系引入基于对话的编程助手更高自动化编程能力引入代码补全

Pro编辑推荐功能更多....源豆包MarsCode

编程助手起豆包MarsCode

的现状与发展未来展望02

豆包MarsCode

的现状与发展代码补全Prompt

工程科学的测评体系代码补全

Pro概述数据构造产品交互代码补全

-

Prompt

工程代码补全

-

科学的测评体系代码补全的采纳率不是好指标采纳率

=

采纳次数

/

推荐次数只关注采纳率进行优化,

容易被误导不容易拆解分析,

归纳可指标链路优化路径更适合作为体验指标代码补全

-

科学的测评体系CPO

-

更科学的指标(Codeium)尝试率:

每当用户在编辑器中进行操作，比如输入新字符或删除一些代码时，都是

AI

给出补全建议的机会。「尝试率」指标反映了AI

实际为用户提供建议的频率。AI

不进行尝试可能是由于延迟（如Debounce）或需要根据上下文情况来决定是否给出补全建议CPO(Characterper

Opportunity)=(尝试率)

*(反馈率)

*(采纳率)

*(每次采纳平均

token

数)

*(token

平均字符长度)例子：用户敲击了

10

次按键，只有其中

6

次触发了请求，那么尝试率是

6/10代码补全

-

科学的测评体系CPO-

更科学的指标(Codeium)反馈率:

AI

在给出补全建议时是存在延迟的，包括上下文检索到网络开销再到实际模型推理都会引入延迟。如果延迟太高，开发人员将继续在编辑器中执行新的操作，触发新的推荐机会并使现有推荐机会变得无意义。此外，在推荐完成后，工具可能因各种原因决定不向开发人员显示建议：比如置信度不够高、触发了过滤器等。反馈率代表了有多少比例的建议最终被传递给开发人员以获得人类「反馈」。CPO(Character

perOpportunity)

=(尝试率)

*(反馈率)

*(采纳率)

*(每次采纳平均

token

数)

*(token

平均字符长度)例子：插件发起了

6

次请求，最后只有

3

次被展示，那么反馈率是

3/6代码补全

-

科学的测评体系CPO

-

更科学的指标(Codeium)采纳率：即使补全建议已经给到开发者，他们也可能觉得建议并不完美而拒绝。接受率反映了展示出的建议中有多少被开发者采纳。CPO(Character

perOpportunity)

=(尝试率)

*(反馈率)

*(采纳率)

*(每次采纳平均

token

数)

*(token

平均字符长度)如果展示的

3

次推荐，最后只有

1

次被采纳，那么采纳率是1/3代码补全

-

科学的测评体系CPO

-

更科学的指标(Codeium)每次采纳平均

token

数：在其它条件相同的情况下，较长和较短的代码推荐所带来的价值有很大差异。

大型语言模型以

tokens的形式处理输入并生成输出，这些

tokens通常是一小段字符，因此每个被采纳建议中平均

token

数反映了每条被采纳建议所传递出的实际价值CPO(Character

perOpportunity)

=(尝试率)

*(反馈率)

*(采纳率)

*(每次采纳平均

token

数)

*(token

平均字符长度)代码补全

-

科学的测评体系CPO

-

更科学的指标(Codeium)token

的平均字符数：开发人员看到的是字符而不是

token，不同的大语言模型可以有不同的「分词器」，因此，如果一个大语言模型的每个

token

生成了更多字符，实际上它会写出更多代码，而每个

token

的平均字符数正好体现了这一点CPO(Character

perOpportunity)

=(尝试率)

*(反馈率)

*(采纳率)

*(每次采纳平均

token

数)

*(token

平均字符长度)代码补全

-

科学的测评体系通过

A/B

快速验证和迭代模型、Prompt策略代码补全

Pro

-

预测下一次动作代码补全

Pro

-

概述举个例子：打印日志的场景开发者实现了一个

log

函数，并在

do_something和

do_something_else 两个函数中调用代码补全

Pro

-

概述接下来我们给

log

函数增加

sourceMethod

和

level两个参数，用于打印日志触发时所在的方法及日志级别。这时开发者需要同时修改

do_something()

和do_something_else

函数代码补全

Pro

-

概述为什么不让

AI

完成修改的操作呢？当我们在

log

函数增加两个参数,

自动在do_something和

do_something_else两个函数中,将参数补齐代码补全

Pro

-

产品交互代码补全

Pro

-

数据构建Git

仓库中海量的

commit

历史记录是个巨大的数据宝库，包含了丰富的用户编辑行为信息Git

commit

信息中的噪音也是很多的，需要构造一系列的启发式规则，用于提取出有关联的修改记录通过

CT

和

SFT

模型能够理解

diff格式数据源豆包MarsCode

编程助手起豆包MarsCode

的现状与发展未来展望03

未来展望编程助手业界趋势观察产品形态的展望编程助手业界趋势观察模型指令追随和语义理解能力更强模型具备代码编辑能力更长的上下文支持,

百

K

甚至

M

级别长度更多...产品IDE

原有交互的深度集成,

比如在

Editor

中支持输入自然语言生成代码更强的代码编辑能力,

支持更长、更多代码片段的修改和应用更多...产品形态的展望NL2Code

能力与

Editor

深度集成VSCodeJetBrains产品形态的展望Sketchthe