豆包MarsCode智能编程的探索实践

江波字节跳动豆包MarsCode团队算法专家硕士毕业于中国科学院计算技术研究所，研究领域包括大规模分布式训练、代码领域模型等。作为豆包MarsCode代码补全、代码补全Pro、代码问答等AI功能算法负责人，负责代码领域模型调优、推理加速以及更多开发者AI功能孵化。长期致力于软工任务与大模型的结合与实用化落地，在代码补全、代码生成以及代码理解等AI能力产品化有丰富的实践经验。演讲主题：豆包MarsCode，智能编程的探索实践品化落地。AI辅助编程的发展历程预训练模型深度学习时期机器学习时期早期使用规则使用预训练大模型进行预测，诞生了使用深度学习模型进行预测,使用深度学习模型进行预测,egLSTM和Seq2Seq进行缺陷分析，预测潜在问题基于静态分析和规则，通过分析代码的语法和结构来进行预测进行缺陷分析，预测潜在问题已经接近20年的历史代码大语言模型兴起基于LLM方案的优势：•泛化能力强,易于扩展新的规则/语言/框架提升代码补全场景下的性能豆包MarsCode产品历程•2022年初开始探索LLM驱动的代码补全产品•组建算法、工程和产品一体的智能编程助手团队•构建代码LLM评测集和自动评测系统•构建数据链路和线上A/B测试体系•补全模型切换到豆包大模型•引入代码补全Pro功能豆包MarsCode与豆包大模型豆包大模型升级支撑应用革新豆包豆包MarsCodeCopilot/NativeIDE智能体Embedding/RerankerDoubao-proOther代码生成码•交互方式仍在持续摸索迭代中。代码补全-预测下一个字符•下拉列表选择→GhostTe•发挥模型在多行补全上的优势体•Context-aware代码补全-原理•仓库级上下文采集引擎•语法感知的前后处理策略代码补全-核心三要素基于静态分析工具对补全代基于静态分析工具对补全代的连贯以及语法完整性。延。代码补全-自研模型•模型结构及训练策略•采纳率可以被直观感受到了，带来多巴胺刺激•但采纳率容易被操纵，无法带来优化指导意见。•需要找到平衡点，不能一味追求某个指标价值不够发人员几乎总是在建议显示之前就采取了下一步行动。也许采纳率还不错，但交付的实际价值却很差。候不要推荐多行block等等。•这是一个经常被公开引用的度量标准，但一味追求采纳率会带来误导。•如果一个大语言模型的每个token生成了更多字符，实际•实践思路：基于代码基座模型，通过大量开源仓库历史Commit中建模从历史编辑生成当前编辑推荐。CoEdPilot整体架构过程中下一步的行为受到近5分钟的行为所决定）•下一个编辑位置预测：实现单文件多处、仓库内跨文件编辑点位预测与跳转。来逐步获取执行链路的上下文）•SWE-benchLite是由普林斯顿大学提出的一个和创业团队的广泛关注。•截图来自于SWE-BenchLite排行榜维护人JohnYang也在X中明确指出“BytedanceMarsCode•快速上手熟悉代码仓库•仓库级代码生成/代码编辑•快速索引代码知识图谱•如何剪枝出最合适的上下文保证召回信息完备性相关上下文Claude3.5sonnet支持2M窗口•动态Prompt渲染：有限Token限制下实现最优解•模型知识的时效性和幻觉。•通过联网来补充上下文代码大模型模型的展望•模型结构与效率提升计算友好的模型结构能够大幅降低模型延产品交互体验。强模型在复杂任务中的表现AI辅助编程→AI驱动编程？•AI思考过程的