代码大模型对于工程理解的探索研究

腾讯云产品专家/汪晟杰•代码大模型的内核•下一代编码变革•提示词的3S原则AI及新技术探索诉求日益强烈提升开发效率48%工具智能化24%根据survey.stackoverflow.co统计正在或计划使用正在或计划使用70%代码学习者可能性更高代码本质的几大特征010302010302代码大模型本质要解决01Token/算力成本0302语料/意图理解01Token/算力成本0302语料/意图理解代码大模型的产品赛道可见的价值01020203对话+工程理解03对话+工程理解=准智能编码下衍生的SMAF诉求【应用形态】打造流畅高效的编程体验【模型】探索适合代码场景的行业模型【应用形态】打造流畅高效的编程体验oLLaMaoLLaMa系的模型tokenwindowsize有限（2048涉及到代码理解/生成这类prompt/output任务，易因超出token长度限制或由于上下文信息不全导致任务中断oLLaMa系模型humanEval和MBPP测试结果低于专用代码生成模型oLLaMa是综合模型，预训练阶段私用代码知识库仅占6.5%，工程知识量存在天花板o针对专业开发者，提升工作效率和质量，对AI辅助生成的代码存在批判性思维o针对代码学习钻研用户，专注代码本身，创建小的、即时使用的任务型应用程序o响应速度更快、成本更低，基于更小的模型？o具备高粘度的编程体验，及时补全将调用的函数、方法等辅助性编码实践下文【企业需求】符合国内行业客户诉求【企业需求】符合国内行业客户诉求——SMAFo代码补全是高频场景，优先度最高oAI编码辅助之外o代码补全是高频场景，优先度最高oAI编码辅助之外，代码扫描、评审、以及DevOps上下游规划o如何保障二次训练以及行业代码的训练效果o有哪些效能指标，可以帮助管理者观察工具对开发工作的提升o各部门的业务特性不同，可能需要多个性化行业模型o根据不同业务特性，进行二次训o保证基础模型里用于训练的代码是安全的o保障补全出来的代码是安全的ullaaS代码安全多模能力数据看板丰富场景4+1+1••基于混元进行大模型指令对齐和强化学习•进行行业模型的训练和推理优化，提升产品响应速度与交互体验•反馈真实场景下的badbase，挖掘行业场景价值•预训练更小的代码模型全链路全链路提出了许多很酷的想法，例如改进的重命名和重构、基于示例的代码转换以及使用创建文件glob模式或正则表达式的方法自然语言。chat：可能是关于聊天功能的API提案。inlineCompletionsAdditions：可能是关于内联补全添加的API提案。interactive：可能是关于交互功能的API提案。documentPaste：可能是关于文档粘贴的API提案。interactiveUserActions：可能是关于交互用户行为的API提案。chatProvider：可能是关于聊天提供者的API提案。codeActionAI：可能是关于代码行为AI的API提案。findTextInFiles：可能是关于在文件中查找文本的API提案。textSearchProvider：可能是关于文本搜索提供者的API提案。terminalDataWriteEvent：可能是关于终端数据写入事件的API提案。terminalExecuteCommandEvent：可能是关于终端执行命令事件的API提案。terminalSelection：可能是关于终端选择的API提案。terminalQuickFixProvider：可能是关于终端快速修复提供者的API提案。handleIssueUri：可能是关于处理问题URI的API提案。readonlyMessage：可能是关于只读消息的API提案。chatVariables：可能是关于聊天变量的API提案。mappedEditsProvider：可能是关于映射编辑提供者的API提案。aiRelatedInformation：可能是关于AI相关信息的API提案。chatAgents：可能是关于聊天代理的API提案。chatAgents2：可能是关于聊天代理2的API提案。chatAgents2Additions：可能是关于聊天代理2添加的API提案。defaultChatAgent：可能是关于默认聊天代理的API提案。这些API提案的具体含义和实现细节，通常会在项目的文档或者相关的提案文档中有详细的描述。如果你想了解更多关于这些API提案的信息，你可能需要查阅这些文档。01AI化的IDE体验0202030301提示词工程与3S原则030201提示词工程与3S原则0302智能编码习惯的3TNB目标-TabTabTabNoBackspace2.补全依赖的新函数实现4.根据上文补全下文GithubCopilot提示工程的你是一名编码助理，通过澄清用户的问题并提供用户可以搜索的相关关键字列表来帮助用户回答其工作区中有关代码的问题。用户会向您提供工作区中潜在的相关信息。这些信息可能不完整。请不要提及或要求用户提供更多信息。您只需澄清并提供关键字。不要试图直接回答用户的问题。逐步思考：1.阅读用户的问题，了解他们提出的关于工作空间的问题。2.如果问题中有模棱两可的词语，例如"它"、"那个"、"这个"，请查看对话历史记录来理解这些词语。3.输出问题的澄清版本，并解决所有歧义。在澄清问题时，请务必保留问题的意思。4.然后输出相关关键词的简短标记符列表，用户可以尝试搜索这些关键词来回答他们的问题。这些关键词可以用作文件名、符号名、缩写或相关代码中的注释。将与问题最相关的关键词放在前面。不要包含过于通用的关键词。5.对于Markdown相关关键字列表中的每个关键字，如果适用，请在其后添加一个逗号分隔的变体列表。例如：对于"encode"，可能的变体包括"encoding"、"encoded"、"encoder"、"encoders"。考虑同义词和复数形式。#示例用户：base64编码的代码在哪里？base64编码的代码在哪里？-base64encoding,base64encoder,base64encode-encode,encoded,encoder,encoders"提示工程的基本原理，可以总结为3个S如下。这些核心规则是创建有效提示的基础。•单个Single：始终将提示集中在单个、定义明确的任务或问题上。•具体Specific：确保说明明确且详细，最好能附带一个示例或者模拟信息结构。具体且具象带来理解会带来更精确的代码建议。•简短Short：在具体的同时，保持提示简明扼要。这种平衡确保了清晰度，而不会使腾讯云AI代码助手超载或使交互复杂化。•定律一：有想法的程序员无法替代。智能编码目前代码速写辅助，依然需要你有开发思路。•定律三：每个模型的习性不同，提示词会不同，你要像训练小狗一样摸透他，即使你不懂大模型•定律四：好好做好架构复用，不然你的•定律五：用上手了，代码补全留存高于对话。AI理解工程代码，还需要传统方式相结合。•工程场景的代码语义增强搜索•对话：企业知识库RAG•补全：跨文件能力•特性提示词扩展@workspace/new语义增强检索的几大特征010302010302企业知识库RAG扩展上下文感知能力@workspace#codebase本质上是在完成提示词的精简化工程的上下文补全引入更多的工程策略可行性方案0101030203AISE的探索与挑战•单元测试增强探索•Devin&CopilotWorkspace产品/项目经理产品/项目经理ooAI辅助结对编程o代码补全和生成o代码分析和交互式代码生成o辅助调试，安全问题监测和性能改进o辅助完成需求细化、拆分以及分解到用户故事和任务AI辅助的端到端软件研发过程技术支持测试人员技术支持测试人员o自动生成UI原型o基于原型自动生成可用的界面代码o自动生成UI原型o基于原型自动生成可用的界面代码（html/CSS）组件o用户行为分析o大量用户反馈数据处理o提取并生成高质量产品需求、改进点o海量日志分析和关键信息提取o自动分析运维问题并定位到代码o根据内部知识库快速检索和响应用户问题，提高用户满意度为什么说单元测试做的好，很难为什么说单元测试是软件工程3.0必须要解决的01测试方法种类多01测试方法种类多03生成质量难以运行02项目本身不具备可单测01增加示例代码01增加示例代码03策略感知Mock对象生成完成可执行单测02语法树找相关跨文件