AI落地研发的“最后一公里”暨《DevData24研发效能基准报告》数据解读

《DevData

'24

研发效能基准报告》核心数据解读思码逸研发效能发效能能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码思码逸清华大学计算机系博士；前微软亚洲研究院研究员，斯坦福大学、卡内基梅隆大学访问学者《软件研发效能度量规范》标准核心起草专家多篇论文发表在

FSE、OSDI

等顶级国际会议上曾参与微软下一代服务器系统架构设计，获

4

项美国发明专利Apache

DevLake

开源项目发起人任晶磊公思码司逸职创位始人兼CEO思码逸研发效能G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站发效能能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码思码逸企业研发应用

AI，效能提升了吗？（采纳率）应用

AI

工具对企业研发效能的影响数据来源：《DevData

2024

研发效能基准调研报告》效率方面：

18%应用

AI

工具比未应用的企业需求交付周期更快质量方面：

23%应用

AI

工具比未应用的企业单元测试覆盖度更高G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站AI

落地企业研发的路径与终点AI

落地企业研发需要“以终为始”，做填空题：使用

DevChat后，规范提交比例从

%提高到了

%，从而看清楚了需求、缺陷和重构工作的占比，优化了资源分配

据此保证了

%研发带宽用于支持业务需求，将需求吞吐率从每月交付

个提升到

使用

DevChat后，单元测试覆盖度从

%提高到了

%，改进了质量薄弱环节，降低了质量保障成本

据此将缺陷密度从

‰降低到

‰，发版事故数从

个减少到

G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站DevData

'24

研发效能基准报告指标涵盖了《软件研发效能度量规范》的三个主要认知域：

交付速率、交付质量和交付能力。三大认知域统计分析代码生产率、代码贡献均衡度、需求吞吐量、需求交付周期、重点问题密度、缺陷修复工作量等指标基准线（或表征）15个指标基准线首次采用客观数据结合主观问卷方式

。客观数据来自受访企业私有部署的思码逸DevInsight，采集Git、Jira等数据。170份有效样本G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站DevData

'24

研发效能基准报告代码当量*：基于程序分析算法，衡量代码规模和复杂度的基础指标使用代码当量作为可靠数据校准其他研效数据质量*

Jinglei

Ren,

Hezheng

Yin,

et

al.

Towards

quantifying

the

developmentvalue

of

code

contributions.

FSE

2018.G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站DevData

'24

研发效能基准报告G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站认知域指标（单位）平均值IQR交付速率需求吞吐量（个/月）20人以下386–

2421-50人4612–

5450人以上6621–

50需求交付周期（天）219–

30需求颗粒度（代码当量）49361–

645代码生产率（代码当量/人月）35952199–

5003开发过程稳定性（代码生产率离散系数）0.340.25–

0.40代码贡献均衡度（%）29%23%–

35%交付质量单元测试覆盖度（%）15.27%6.61%–

20.08%注释覆盖度（%）30.70%22.36%–

32.98%代码不重复度（%）84.97%79.26%–

91.46%重点问题密度（个/千当量）1.710.54–

2.21缺陷修复工作量（代码当量）367–

47DevData

'24

研发效能基准报告G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站「高效能团队」评分量表，取等权重综合得分前20%认知域指标（单位）评分3分 2分 1分交付速率需求交付周期（天）≤

Q1Q1

-Q3≥

Q3代码生产率（代码当量/人月）≥

Q3Q1

-Q3≤

Q1开发稳定性（代码生产率离散系数）≤

Q1Q1

-Q3≥

Q3代码贡献均衡度（%）≥

Q3Q1

-Q3≤

Q1交付质量单元测试覆盖度（%）≥

Q3Q1

-Q3≤

Q1注释覆盖度（%）≥

Q3Q1

-Q3≤

Q1代码不重复度（%）≥

Q3Q1

-Q3≤

Q1重点问题密度（个/千当量）≤

Q1Q1

-Q3≥

Q3缺陷修复工作量（代码当量）≤

Q1Q1

-Q3≥

Q3交付能力部署频率按需每天多次部署介于每周1次到每月1次介于每月1次到每6个月1次变更前置时间介于1天到1周之间介于1周到1个月介于1个月到6个月之间服务恢复时间不到1天介于1天到1周介于1周到1个月变更失败率0%-15%16%-30%46%-60%DevData

'24

研发效能基准报告「高效能团队」

中位值水平画像每

14

天交付一个需求代码生产率

3463

当量/人月代码生产率离散系数

0.2535%的团队成员贡献

80%的代码当量单元测试覆盖度

20%注释覆盖度

33%代码不重复度

91%重点问题密度

0.54

个/千当量修复一个缺陷耗费

15当量可提供每天多次按需部署变更前置时间在

1

天～1

周之间服务恢复时间不到

1

天变更失败率小于

15%交付速率交付质量交付能力G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站DevData

'24

研发效能基准报告敏捷开发模式下的代码生产率更高，相比其他模式高

9%20

人以下团队的代码生产率相比

50

人以上团队高

46%单元测试覆盖度中位值仅为

15%，“测试左移”仍有较大空间引入外包的研发团队代码生产率高

12%，但重点问题密度高

25%应用度量指标管理研效的企业相比未应用企业的代码生产率高

5%G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站DevData

'24

研发效能基准报告运营培训、结合私有信息、适配实际场景是

AI

落地企业研发的三大挑战G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站DevData

'24

研发效能基准报告流程规范、团队协作和度量体系是企业研发效能提升面临的三大挑战G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站度量案例：助力提升DevOps成熟度数据分散，收集困难原始数据比较散乱，没有统一的度量模型和方法痛点归纳需求背景：金融企业，研发团队规模超300人。数据分散，治理困难，指标体系不完善。集团对信息化建设提出要求，以推动整体效能提升，其中完成信通院DevOps成熟度评级成为关键考核标准。通过

DevOps持续交付标准3

级评估，相关能力达到国内领先水平实践效果指标和评价体系不完善解决方案借助思码逸系统集成能力，01

01

陆续将DevOps工具集成到系统中，完成数据自动同步建设企业领域数据宽表，对数02 02 据进行清洗整理，借助DORA指标建立评估模型从思码逸指标体系中选取质量03

03

类评价指标，补充完善已有指标库G

O

P

S

全球运维大会暨

X

O

p

s

技术创新峰会

2

0

2

4

·

北京站度量案例：助力提升DevOps成熟度G