大模型生产力工具的思考与实践

大模型生产力工具的思考与实践演讲人：贾安亚商汤科技产品总监、小浣熊家族产品负责人从大模型变革之路到高效“炼丹”指南

成本优化实践扫码领取你的智囊团咨询购票查看详情

AI

Agent关

于AI的高频问题

RAG都能在这里找到答案AI智

驾AI

Native产品创新与技术落地InfoQ极客传媒多模态01市场发展与用户态度InfoQ极客传媒GenerativeAlcan

increasedeveloperspeed,but

lesssoforcomplextasks.TaskcompletiontimeusinggenerativeAl,%■Without

generative

Al■With

generativeAl100<1020-308035-4545-506040200Code

documentationMcKinsey&CompanyDeveloper

tools/Curently

UsingAl

inthedevelopmentworkflow82%67.5%56.7%40.1%34.8%30.9%27.2%13.2%12.2%5.3%4.5%Source:survey.stackoverflow.co/2024

DatalicensedunderOpenDatabase

License(ODbL)6

0

%

以

上

开

发

者

正

在

使

用Al

编程助手

独立任务对比实验中总体工作时间减少55%Al生产力工具海外应用现状(以编程助手为例)WritingcodeSearchfor

answersDebuggingandgetting

help

DocumentingcodeGeneratingcontentorsynthetiLeaming

about

a

codebaseTestingcodeCommittingandreviewingcodeProjectplanningPredictiveanalyticsDeploymentandmonitoringAlInfoQ

极客传媒*StackOverflow:2024Developer

Survey**McKinsey

Digital:Unleashing

developer

productivity

with

generativeCodegenerationCode

refactoringHigh-complexitytasks自2024

ve

per60%的参与者认为ChatGPT对他们的满意度产生了中等程

度的积极影响。尤为显著的是，它使人们感知到了生产力的提

升，减少了重复性工作，而并未带来显著的压力影响。此外，其他反馈突出了ChatGPT

在助力工作开展、帮助学习

新知以及便捷地获取有效信息等方面所起的作用，与传统工具相比优势明显。RepetitiveworkPerceivedproductivityAbilitytoachievegoalsTimetocompletetasksLearninguseful

skillsTrainingforeng.technologiesImpactfulworkStressNegatively

No

impact

Positively发挥Al

优势

助力代码开发扬长补短的使用能力——解决痛点新的解决问题的体验——

减轻压力Fig.2.ChatGPT'sinfluenceonaspects

of

developers'job

satisfactionFinding

2——60%of

participantsperceived

amoderatelypositive

impact

ofChatGPT

ontheir

satisfaction.Notably,it

enhanced

perceived

productivity

and

reduced

repetitive

work,with

stress

beingidentified

as

the

least

affected

factor.Furthermore,other

responses

highlighted

ChatGPT'sfacilitation

ofactivities,support

in

learning,and

provision

ofeffective

access

to

informationcompared

to

traditional

tools.

Al生产力工具海外应用现状(以编程助手为例)5%19%8%15%7%

19%8%

17%

15%

22%14%33%18%

43%16%

52%InfoQ极客传媒63%52%39%32%76%77%73%74%关

键

发

现AI

代码生成工具在发展过程中面临的挑战主要集中在用户体验、技术发展、技术提升

的难点以及市场适应性等方面。解决这些痛点需不断的技术创新、市场反馈和经验积累。通过持续优化算法模型、增强用户交互设计等，可逐步克服这些挑战中国AI代码生成行业发展痛点口易用性·开发人员在使用智能代码生成工具时，面临易用性问题·工具通常是半自动化的，效率提升有限，不能完全替代人工·需要找到自动化和人工之间的平衡口开发能力增值·除了提升效率，工具是否能在更多场景和开发能力维度上提供增值价值是待解决的问题口软件生态融合·

目前的软件生态需要进行大量融合工作，以提高兼容性·需要时间和用户反馈来不断完善和选代口经验累积和场景丰富度·相对于国外成熟的市场，中国AI代码生成工具起步较晚，需要时间积累经验和丰富开发场景国际AI代码生成厂商Microsoft

Googlle亚马逊云科技

tabnineDeepMind

*sourcegraph国

际

厂

商在

At

代

码生

成产

品

行

业

通

常

依

托

深中厚国

广

商

，

起

步

相

对

较

晚

但

发

展

迅

速

，

凭

借

本

土

市

的

技

术

积

累

与

广

泛的

研

发

合

作，

产品

代

表

需求洞察与创新技术融合，聚焦提升

编

程

效率与GitHub

Copi

lot、Tabnine

等

安

全

性

，

注

重

工

具的

全

场

景

适

应性

与

国

产化

特色

：-SaaS服务模式大客户定制CAGR:37.55%30026417611688725202027E2028E

Al编程助手在国内处在快速发展阶段中国AI代码生成厂商s

一

阿里云

智谱

A

Baidu百度愁态

腾讯云口跨语言跨平台兼容性·开发原理和编程语言不断升级选代，跨语言跨

平台开发需要更好的兼容性·调试兼容环境是技术测试中需要解决的一部分

口代码生成技术·未来代码生成可能通过脚本方式完成整个代码

的生成·

目前技术在复杂任务方面仍有提升空间口降低使用门槛·智能代码生成器仍需要一定技术基础，进入门槛有待降低·需要考虑如何使初级用户更容易上手和使用这

些工具口适用人群扩展·

目前的工具主要面向有一定开发基础的用户沙利文：2024年中国Al代码生成市场报告InfoQ

极客传媒QCon全球软件开发大会单位：[亿元]中游2026E20232024E2025E150

个人用户视角演变(以编程助手为例)关注模型精度

关注端到端用户体验(

Multi-task

Language

UnderstandingMulti-task

Language

Understandingon

MMLULeaderboard

Dataset

主要问题1:传统IDE的接口限制了Al的使用主要问题2:基于项目级

的开发，模型+RAG

的方

案如何交互升级解题思路：基于开源VS

Code重构IDE解题思路：更灵活快捷的文档引用和检索，以及多文件的Cursor

Composor等方案解题思路：产品交互升级，用户界面自适应用户

习惯、一键导入IDE

扩展、新用户引导etc.InfoQ

极客传媒◆衍生问题：用户惯性如何

切换到新的IDECURSORreplit代码小浣熊

CoRaccoonOthermodels←

ModelswithhighestAwerage

00

企业落地视角演变(以编程助手为例)全面探索从辅助开发人员到全生命周期建模架构设计API设计摘维航品API定义领域模式维

监

元限界上下文设计模式概要设计文档产品设计特性设计开发计划用户调研功能细分!必优先级产品定义非功能需求发布计划里程碑设计需求规格文档计划文档详细设计编码编码后代码设计代码生成代码审查详细设计文档单元测试生成提交信息》》》部署部署脚本生成产品设计日志分析

掳帷

游

份

折测试用例设计系统/集成用例

生成缺陷分析根因分析发布自动化测试测试代码生成InfoQ极客传媒V4.0V5.0缺陷文档产品设计代码开发架构设计更新文档缺陷分析发布文档交付运维测试2022

2024InfoQ

极客传媒Dynamic

Prompting微调

——自适应提示从头构建重新训练模型微调开源模型微调现有模型Multi-model

PromptingFew-shot

PromptingZero-shotPrompting提示工程

企业落地视角演变重新训练或从头构建成本

高成

本

低0产品价值与应用落地InfoQ极客传媒从需求到服务的业务闭环视角解构、重构多部门活动、协作和流程解决资产沉淀难、规范落地难，技术债务积累多等问题

软件研发助手：对企业级软件研发的三重价值能更快产生需求么L3探索新的

研发模式L2积累优质

研发资产L1增强当前

工作效率生产力决定生产关系个人能更快交付么提升编码效率、缩短走查时长、减少测试成本等企业团队InfoQ极客传媒对

企

业

的

价

值代码补全·

多编程语言支持·仓库级信息抓取*开发协助**·

CommitMessage生成·

智能体/自定义智能体对话问答·

代码和技术相关问题问答*·

基于知识库的知识问答*·

内置代码任务：·

代码重构·

代码翻译·

代码纠错·

单元测试生成RAG

方案带来实用性跃进★*Agent

方案带来功能扩展询问/指令回复提示合成大模型回复信息操作计算Embeddings33B

向量数据库Embedding—→

软件研发助手：面向开发者的应用形态代码仓LSP文档分块InfoQ

极客传媒

软件研发助手：面向开发者的应用形态规划记忆询问/指令操作回复响应/调用请求结果/报错计

算Embeddings提示合成向量数据库大模型回复信息Embedding网络检索

API

调用代码运行沙盒回复中的「调用」或「代码执行」请求代码仓LSP文档分

块InfoQ

极客传媒工具调用

代码执行

软件研发助手：面向开发团队的应用形态集成开发环境→)

C-

Devops平台更多外部系统InfoQ

极客传媒概要设计项吕背景系统日标系统约束用安规划系决技不架构数据架构安全设计逻辑推理提示词工程详细设计系统概述设计质面一编码规范渎设计网络结构异常处理运行设计长文本理解

扩写与续写软件测试测试报告项目背景测试范围测试策略测试环境测试案例测试结果风险分析测诚结论接口调用

Agent编排测试用例案例序号案例名称正例/反例例描述前置条件步骤描述预期采优先级测试用例执行结果模型微调思维链提示需求分析需求规格设计项目背景功能清单接口清单功能拱述功能流程功能界面接口说明非功能需求多轮对话RAG知识资产行业背景术语&缩略词业务知识业务流程业务角色异常处理系统知识系统构成接口定义交互规范

软件研发助手：面向企业级的应用形态代码编写编码实现单浇测试测试用例模板InfoQ极客传媒架构设计自然语言

大模型代码业务目标人机界面

工具&插件

运行环境大模型当下最好的产品形态是Copilot,不是完全替代人开源~快速交付、基本提效

管理~盘活资产、团队提效

发展~结构优化、转型提效大模型产品是否能完全替代人?最直接的能给企业带来什么收益?

大模型赋能企业经验总结如何促进全员使用大模型原生产品?

管理要求与员工主动相结合，从后向前持续推进，激励员工贡献方法与资产需求描述创意想法InfoQ

极客传媒R功能创新与技术创新InfoQ极客传媒

降低用户使用门槛，提升端到端效果Prompt

优化(外化COT)+Constrained

Decoding+

(内化COT?)更

新

人

设

模

板人设名称数据分析工程师提示模板你是一个数据分析工程师，你处理的数据会默认把所有空值填写为0一键生成StructureofGSM8Kquestion.Question.o:There

are

15trees

in

the

groveGroveworkerswillplanttreesinthegovetoday.Aftertheyaredone,therewill

be21trees.How

many

trees

didthegroveworkersplanttoday?A:There

are

15trees

originally.Thenthere

were21treesafter

somemorewere

planted.So

there

musthave

been21-15=6.The

answer

islmatching

GSM8K

answer.d\.\\-=\+,\?/150,7001GSM8K

questioninJSON

format."question":"There

are15trees

in

the

grove.Grove

workerswill

plant

trees

inthe

grove

today.After

theyaredone,there

willbe

21

trees.How

many

trees

did

the

groveworkers

plant

today?","response":{"reasoning":"There

are15trees

originally.Then

therewere

21

trees

after

some

more

wereplanted.Sotheremusthave

been21

-

1

5=

6.

","answer':3,人设名称数据分析工程师提示模板作为数据分析工程师，我的工作是利用先进的技术和工具来提取、转换和加载数据，以便于深入分析

和洞察业务趋势。以下是我在数据分析领域的核心能力；更

新

人

设

模

板#能力1:数据清洗与预处理我能识别并处理数据中的异常值、缺失值和重复项，确保数据的准确性和一致性。例如，当遇到空值一轴生成

**InfoQ

极客传媒Chain-of-Thought