构建企业DevOps的度量体系

1、DevOps驱动价值的交付构建企业DevOps的度量体系目录度量=铜镜1建立引领性度量指标体系2DevOps度量领域落地实践3总结4 以铜镜为鉴,可以正衣冠相对个体，更希望了解团队的生产力Q1 目前20应用状况怎么样?与20个PM沟通后3天后给领导一份报告Q2 3天后能否上线?应该可以吧估计差不多吧 量化理性感性属性理性度量可靠性 (Reliability)宕机数，不可用时间可测试性 (Testability)测试用例被打回数易用性 (Usability)平均用户请求帮助数鲁棒性 (Robustness)资源超过平均值时响应数可用性 (Availability)每月维护时间数据度量是认清、改进

2、团队的基础软件度量的强弱对项目影响的分析强弱按时交付率75%45%项目延迟率20%40%项目中止率5%15%缺陷移除效率95% 85%资源评估准确过于乐观的客户满意度更高更低员工士气更高更低度量生产力的企业占财富五百强比例:30%度量质量的企业占财富五百强比例:45%具备完整度量体系的企业占财富五百强比例:15%应用度量的软件项目数:160,000没有应用度量的软件项目数:50,000,000来 源 : Capers Jones, Measurement, Metrics and Industry Leadership, 2009 and Software Engineering Best P

3、ractices, McGraw Hill, 2010 度量的三位一体：点、线、面点帮助个体、团队提升交付能力某个时间点目标达成情况线控制风险一段时间内，工作状态和发展趋势面梳理标杆、帮扶落后个体、团队、组织的横向比较 等级 组织与文化产品与项目管理 开发与测试管理配置管理持续集成与 部署流水线运维监控基础设施度量与跟踪5级 精益阶段对整个工程体系能够持续度量优化， 数字化展示过程与结果以业务的成功评估团队的成功；估；统优化的行为；自动估算项目周期；任何阶段的任何变更 自动发现项目风险；的影响分析，共同评 对关键人和问题有快速识别的能力；团队有自主的驱动系 驱动产品或项目的持续迭代；实时监测债

4、务，给出有效 建议；测试驱动开发；力；有一定智能开发和测试能 理项；随时重塑交付过程；自动发现关联，业务优化反馈；自动建立配置管 随时构建、完全自助化； 基于机器学习等技 云上云下一体化术的智能运维监控； 公有私有融合；基于度量结果，自动给出包括对 组织、对人、对技术的优化建议， 形成可持续闭环；4级 改进阶段规范执行、有效检查、发现问题，通过引入更优的工具、平台，来补充整个工程交 付链团队有意识的通过工 以敏捷的方式进行迭代管能力，流程合理清晰； 将项目工具与代码库等工所有人清楚工作的职 具打通，形成更有效数据责与影响；分析；以自动化为主；全打通建立基线平台，服务化； 一切皆版本，原分析；部

5、门间有很好的协作 故事地图的实时查看跟踪； 统一开发测试工具，测试 周期可追溯；动态可配；具来完成日常工作； 控；子化变更，生命 环境、环节、触发点支持 有一定的自动化干变更影响自动化 蓝绿切换、灰度等机制； 角；预能力；基础设施版本化自定义指标，自定义视图；与持续集成、自动部署完 基于关联配置， 可靠保障机制，支持回滚， 可视化的全资产视 按需自动调整； 与监控预警等无缝打通；3级 控制阶段已有明确的规范与过程管理，通过传统的质量管理等方式，对工程的一些关键点进 行审查付物标准；目指导；有严格的阶段评审和 验收标准；有明确的里程碑和交 有对产品、项目的合理规有专人或团队深入项 划与路线图定义

6、；通过jira、zentao等管理 issue；团队角色和责任清晰；统一架构，有一定的组件 依赖管理，标识 支持多策略构建触发；复用度；索引；自动化部署；回归测试主要靠自动化； 数据的版本控制 支持部署环境流水线；平台；器等新技术相结对日常问题有完善 合；有标准的代码库使用策略； 和统一管控；细粒度的部署权限配置； 的分析处理能力； 资源使用自助化有统一的监控预警 传统虚拟化与容 全生命周期度量，覆盖从需求到最终交付；各阶段常用报表内置，快速导出；2级 定义阶段但大部分指标还没有标准化建立处于规范建立阶段，有一定的工程化思路， 一些沟通总结；点上统计汇报；靠人在一些重要时间 通过word、ex

7、cel等工具管理项目有一定的知识分享机 有产品或项目驱动的流程， 有一定的架构统一；制，项目间会定期做有专门人员进行配置管理； 工件有版本管理；指标；隔离；建立版本库控制； 手工触发构建，无固定频有严格的需求与计划管理； 手工测试与自动测试结合； 环境有合理的定 率；环境管理粗粒度化；有单元测试、代码效率等 义，物理与逻辑 有一定的自动化部署脚本； 多渠道通知；有虚拟化平台监控作为常态化运 （云资源管理平维保障工作，支持 台）；支持对基础设施理；对进度、质量等有一定的分析能力；的全生命周期管 支持多维查询和下攥；1级 原始阶段完全无统一规范标准递；无统一协作目标；无知识积累、知识传 完全被需求

8、驱动，没有正确的识别能力；工程实施比较无序，各项目完全自成体系， 无部门间合作标准； 缺少评审纳入机制，没有项目团队成立后，完 合理的需求bac klog和计全是自成计划和体系， 划制定；技术架构多而乱；理无版本管理；纯手工测试；工件由个人非正 手工构建，过程冗长；代码库、文档库的无序管 式化管理；手工部署；维；物理机为主；人工监控，手工运 有一定的虚拟化技术引入；简单的叠加计算，人工统计；度量的五级成熟度模型新特性是否知道运行在哪些机器上？功能是否知道有多少人花了多少代码完成的？设计的架构和实际部署的架构是有有偏离？代码库与介质库、组件与介质库的元信息关联？项目风险到底是什么造成的？管理能否

9、前移？DevOps：数据打通，随时获取，基于度量引领优化12345软 件 研 发 协 作 统 一 平 台实 施 效 果 目录度量=铜镜1建立引领性度量指标体系2DevOps度量领域落地实践3总结4 来源:2017 DevOps现状调查报告DevOps以业务价值为目标的度量业务价值 度量类型度量指标优先级指标的定义（规则）计算公式工程 效率Mean time to restore service(MTTRS)问题平均恢复时长高问题在JIRA中从创建到关闭的时长H=关闭时间 创建时间变更交付周期高变更在JIRA中从创建到关闭的时间。H=关闭时间 创建时间需求交付时长高需求在JIRA中从创建到交付上

10、线时间H=关闭时间 创建时间构建频率引领性指标统计每天构建的次数，求平均值每天构建次数的平均数构建时间引领性指标统计每次构建的时间，求平均值每次构建时间的平均值构建平均恢复时长引领性指标统计每次构建恢复时间，求平均值每次构建恢复时间的平均值验证测试时长高统计系统交付测试到系统上线间的时长每次系统验证测试的平均时长部署频率引领性指标统计每个版本/产品的部署频率每个版本/产品的部署频率部署时长引领性指标统计每次部署的时间，求平均值每次部署时间的平均值工程 质量周期内生产事故数量（半年高大版本上线后半年的生产事故数统计改时间段的生产事故数缺陷移除率高大版本上线后半年为单位，统计UAT环境+生产环境问

11、题占该 版本总缺陷的占比（UAT+PRO）/ ALL defects构建成功率高统计大版本中构建成功的次数占总次数的比例构建成功数/构建总数部署成功率高统计大版本中部署成功的次数占总次数的比例部署成功数/部署总数特定版本中的Bug#高一个大版本周期内的Bug数Bug数量累加特定版本中严重Bug 占比中一个大版本周期内严重Bug占总Bug数的比例严重Bug数/总Bug数代码扫描检测率中根据Sonarqube扫描情况统计/特定版本中通过用例占比中一个大版本周期内通过用例占总用例数的比例Passed cases/ All cases需求覆盖率中一个大版本周期内测试用例对需求的覆盖已覆盖需求/总需求工

12、程 进度任务进度偏差高统计一个项目中，所分配任务的进度偏差，未按时完成任务的 占比按时完成任务数/总任务数项目进度偏差高统计一个项目中各个时间节点的进度偏差，未按时完成的项目 节点占比按时完成时间节点数/总节点 数任务滞留时间低统计一个项目中，任务从创建到进行中的时间，求平均数每个任务的滞留平均时间全生命周期效率、质量、进度用户体验DevOps覆盖全生命周期数据打通与多维度量12成员、团队、组织34 引领性指标定义了那些和达成最终目标关系最为重要的行 动。要在可以驱动你的引领性指标的事情上倾斜资源，这 样就可以为实现滞后性指标提供支撑。DevOps度量指标筛选原则-引领性指标预见性关键 任务关

13、键 任务巨石（最重要目标）（滞后性指标） 2滞后性指标（lead measure）让小明考试得100分引领性指标（lag measure）每天晨读30分钟每周刷5套题What 引领性指标1 目标是否完成滞后性：得到结果已经over是跟踪性指标数据容易获得目标怎样完成预见性：可以促进滞后性目标达成是帮助团队得逞目标的关键行为数据难获得引领性指标是改进的手段，滞后性指标是量化目标引领性 指标滞后性 指标 目的引领性指标滞后性指标提高生产力每个冲刺Backlog放弃的工作项比例 (目标 5%-15%)每个开发者交付的功能数量(目标为 20%增长)周末commit代码比例(目标低于5%)更高的质量持续

14、集成的测试通过率(目标是95%)生产环境缺陷逃逸率(发布30天内) (目标是50%减少)开发阶段发现70%的产品缺陷更快的 发布速度在每个项目产生和展示燃尽图(目标 为100%至少每季度进行一次主版本发布 引导团队梳理引领性指标G : 提升代码质量Q : 如何将代码缺 陷率降低到10%？M :（人）提高 单元测试覆盖 率到95%M : （事）开发 周期内完成的交 付物数目降低5%M : （物）缺陷类 型服务端、UI密度 分别降低5%，10%G: 目标Q: 问题1Q: 问题2M: 度量1M: 度量2M: 度量3e.g.基于GQM法则量化梳理度量点11.目标/问题/度（Goal/Question/

15、Metric）： 确定目标，使用量化的形式表示问题，并且建立度量。22.度量一定由企业的商业目标和问题驱动33.好的产品质量是通过控制产品开发过程的 质量而获得的 健康容忍不健康度量类型状态趋势当前 状况上升 趋势稳定 趋势下降 趋势数值表示86%分值4.3业务值时效表示每小时每半天每天每周每月自定义86%+= 4.3度量数据的表示模型 度量=铜镜1建立引领性度量指标体系2DevOps度量领域落地实践3总结4 目录建立组织的IT基线数据，量化管理并持续优化 通过DevOps平台：工件打通，连接需求到基础设施用户故事任务/用例/缺陷storyAstoryBtask taskcase case b

16、ugbugtask task casecasebug bug代码commit commit commit commit commit commit commit commitcommit commit commit commit commit commit commit commit介质环境基础设施1.01.12.02.1容器空间虚机虚机容器空间虚机虚机物理机物理机物理机物理机 开发环境测试环境生产环境开发环境测试环境生产环境示例：以需求为主线建立数据关联D01S通过用户故事，拆 分相关任务，建立 关联通过提交模板建立 com mit与任务或问题 的关联关系查询出本次构建的 提交历史列表，打

17、通关联部署时，通过介质坐标 配置，建立发布物与目 标资源的关联名称雪冲 剌 ms , , ., 示 例/ tlt lc, b )$Loon .Coot rnll ccI, 修复登录失败界面崩误的 fl bcyd 修复登录失败界面崩溃的OUG, 辖出异常类型转换错误， 便月约定的异常类型/ ho,g, 1001 ,1001 ,1003t tasc 1001, 2001巳tl ect吓心 芩心I, II or 1nlpoc_s hango1201705 密码策路页面提示中 调整密码策略页面样式调整岱码策略页面样式Update 数据备份UTFB, 读写文件关闭控制台输出Update 修改代码分析超时

18、时间Merge branch poc_shangq 1201705 of http,/10橾作日志详情页面样式诮整Update 数据备份增加对特殊字符的转义资源选择n 资源名称ti node146ti node149资源地址4649body,taskspnng boot.app_url533:8 081/repository/devops-snapshotDevOps 国际峰会2 0 1 8 深圳站交付速度工程质量运维保障用户体验建立引领性度量指标的四个维度业务价值 某金融客户：引领性度量指标 某金融客户：公示但不排名，团队的鲶鱼效应615版本万达财富630版本万达贷0601版本统一账户601版本统一支付615版本统一消息0525版本统一客服URP 2.0版本统一风控需求覆盖率100%100%100%100%100%100%100%构建成功率80%70%90%85%70%75%80%单元测试覆盖率30%20%30%25%20%10%15%部署成功率90%92%95%90%88%85%90%技术债务比率35%40%30%28%60%30%36%Reopen缺陷占比2.00%3.00%0.00%0.00%2.50%5.00%2.00%缺陷逃逸率5%8%2%3%6%10%3%生产环境Bug2311381缺陷密度1.21.8