云计算中心持续自动化周期性改进流程

1、云计算中心持续自动化周期性改进流程目录 HYPERLINK l _bookmark0 技术中心运维自动化目标3 HYPERLINK l _bookmark1 适用范围3 HYPERLINK l _bookmark2 自动化运维带来的意义3 HYPERLINK l _bookmark3 周期审核3 HYPERLINK l _bookmark4 审核内容3 HYPERLINK l _bookmark5 自动化的实现流程4 HYPERLINK l _bookmark6 自动化需求汇总&分析4 HYPERLINK l _bookmark7 需求收集4 HYPERLINK l _bookmark8 需求

2、筛选4 HYPERLINK l _bookmark9 需求分析5 HYPERLINK l _bookmark10 案例分析：“自动化生成账单需求分析”5 HYPERLINK l _bookmark11 需求评估5 HYPERLINK l _bookmark12 评审小组组成5 HYPERLINK l _bookmark13 需求分解6 HYPERLINK l _bookmark14 案例分析：“自动化生成账单需求分解”6 HYPERLINK l _bookmark15 评估结果确认6 HYPERLINK l _bookmark16 评估报告6 HYPERLINK l _bookmark17 自

3、动化设计与实现7 HYPERLINK l _bookmark18 设计合适的模型7 HYPERLINK l _bookmark19 案例：“自动化生成账单需求分解”7 HYPERLINK l _bookmark20 自动化开发7 HYPERLINK l _bookmark21 测试-贯穿整个开发阶段7 HYPERLINK l _bookmark22 测试分析报告8 HYPERLINK l _bookmark23 生产发布8 HYPERLINK l _bookmark24 持续优化9技术中心运维自动化目标适用范围云计算技术中心，约定必须周期性对运维工程师的日常操作进行筛选整理评估，通过运维自动化

4、来持续的创新与简化，最大限度提高效率、降低成本。自动化运维带来的意义 消除无效率：运维工作的手动工作，通过自动化，将显著提升效率水平； 减少错误：即使最谨慎的人，也会犯错，尤其是面对着重复性工作。我们通过运维的自动化来完成重复性工作，把错误率大大降低； 放大工程师价值：我们要通过运维自动化，释放工程师时间，集中在更复杂、更有战略意义的业务问题上。同样数量的工程师，通过自动化运维，能更多的创造价值； 提高满意度水平 SLA：自动化运维为内部和外部客户提供高水平支持。无论是通过提供自助服务选项，还是大幅缩短时间（最多达 90）来减少联系和等待服务台的需求，自动化运维让我们可以更好得拥抱 SLA。

5、降低成本：系统中断、人为错误、重复工作，会导致不菲的费用和代价，我们通过自动化运维大幅度消除这些成本综上，技术中心把运维自动化做为“最佳实践”的一部分，尽可能多的实施自动化流程。周期审核 三个月一次小范围审核组成人员：技术部小组内部讨论内容：对已经确认影响效率的手动问题做总结，在小组内通过脚本/程序方式自动化 六个月一次大范围审核组成人员：技术中心讨论内容：针对共性问题做发现，正式发布已经测试稳定的自动化程序审核内容 执行异常：审核已完成自动化需求的执行情况，是否有异常，改进空间 执行延迟：审核正在实现自动化需求的进度，是否延迟等 执行不彻底：审核是否有需求已经实现自动化，但仍然手动执行自动化

6、的实现流程自动化需求汇总&分析定期收集技术人员工作报告，汇总阶段处理的 jira 工单，不定时举行头脑风暴，对收集到的信息做横向和纵向分析需求收集技术人员工作报告Jira 工单汇总分析头脑风暴需求筛选 筛选方法需求的频数单次需求工时时长解决需求过程中的出错率 结果汇总结果由易到难分类排序定义优先级需求分析 分析当前需求的解决流程 需求价值：有无解决需求的难点，痛点，简化人员需求是否可以复用需求人力成本需求时间成本 根据当前解决流程，标注整个需求的难点所在 指定需求的介绍人，为评估做准备案例分析：“自动化生成账单需求分析”背景介绍：L2C 有为客户提供关联账单业务。客户会将他们的 AWS 账户关

7、联到 L2C 公司账号下，当客户关联账号后，AWS 会将被关联账号的账单信息统一整合 L2C Payer 账号下，出具统一账单。 任务复杂性分析混合复杂性：Link 的账单 AWS 默认会合并到一起，由 Payer 账户进行单个拆分预存款：部分客户为预存款客户，每个月需要计算客户的预存款余额区域复杂性：AWS 的多 region 账单即使在一个 payer 下也是分离的，需要在不同区域中单独核算服务费单独计费：L2C 对需要迁移、部署、MSP 的服务客户，每个月要在账单中单独加入服务费 人工处理繁琐分析人工拆分：当前的账单由技术部根据 AWS 提供的原始 invoice，按照账号 ID 拆分成

8、不同的账单子表人工核对：根据 S3 存储桶中的详细的账单表记录的信息核对，核对无误后提交给前端商务人员；商务补充：商务部收到提交过去的账单子表后，根据账号 ID 将北京和宁夏区域对应的账单子表整合到一个账单中，根据合同追加我司服务费用，并需要将月账单费用总额从预存款中扣除，计算剩余的余款，将这部分信息追加到账单中，最终生成 PDF，邮件发送给客户发票开具：并将账单信息提交给财务部，进入发票流程；发票邮寄：财务部收到账单后，会根据销售人员的需求提供相应的发票信息，邮寄给客户综上，随着客户越来越多，账单表格越来越大，整体工作流程会占用大量的人员时间，而且出错率较高。2.2 需求评估针对收集完的需求

9、，做统一的分析，评估，结合当前公司技术状态，财务能力等现状，是否考虑执行， 如执行确定相关责任人，统筹规划后续实施评审小组组成根据技术部规划，在技术部季度/半年度例会上由自动化运维组长根据调研发起，组成评审小组。小组成员主要由自动化运维组长、需求工程师、技术总监、其它必要工程师组成需求分解 需求当事人介绍当前重复繁琐工作解决流程 需求介绍人阐述工作的难点，希望自动化哪些部分 技术可行性验证：从网上整理相关需求的解决方法，供参考使用 针对难点，痛点特别说明 针对需求做一期，二期，三期规划 评定评估结果 指定自动化实现负责人案例分析：“自动化生成账单需求分解”对于账单根据功能可以分成 技术部 +

10、商务部 + 财务部 三个部分技术部：难点主要在核对校验，excel 表格信息记录的很详细，需要先做汇总，统计然后才能和账单子表做对比，客户越多，这部分需要重复的工作量也随着增加，因为 AWS 资源服务较多，一旦其中一个单元格计算错误，可能需要推倒重来，直到核算一致为止商务部：难点主要是计算预存款余额，这部分需要加上不同 Region 单独资源费和服务费，需要多人多次核对 针对此事件规划如下：一期规划：自动化实现技术部账单分拣工作；二期规划：结合账单平台商务人员计算自动化。只需要录入预存款总额，当月服务费即可生成当月客户账单评估结果确认 评估是否执行 评估执行哪一部分 结果对评估报告进行最终签字

11、确认评估报告根据评估结果，生成最终的评估报告，由评估团队签字确认评估报告样例如下：评估报告评估需求自动化生成账单评估团队高楷钧李小波程勤勤尹 涛安书生吴训杰苏子庚评估结果执行 不执行评估内容李小波介绍当前账单的解决流程李小波介绍当前账单的难点所在重复过滤不同账号下的 excel 账单表格，表格文件比较大，非常浪费时间讨论后，一致同意自动化生成每个账号的月账单具体负责人李小波，安书生2.3 自动化设计与实现根据功能，对需求做细化的拆分。利用前期的调研结果分析整理后，结合已经存在的模型、工具和方法论，整合形成一套适合需求的模型，然后基于此模型做论证，修复到最终生成设计报告。设计合适的模型符合云计算

12、的 Devops 设计标准 分解和模块化：按照分解的需求做功能最小粒度拆分，力求“模块化、可复用” 结合已有模型设计需求模型，减少重复设计 设计评估和设计复查第一步：分模块确认，每个模块能否单独实现第二步：评估整体设计是否有逻辑漏洞案例：“自动化生成账单需求分解”技术实现：通过 python 对 S3 存储桶中的 excel 账单表格处理，按需生产格式化账单拆分自动化开发约定开发周期，制定警戒时间（通常在第二次自动化会议 review） 构建基础开发环境 开发人员责任分配 根据设计模型，匹配需求，实现功能测试-贯穿整个开发阶段边开发，边测试，开发人员在开发过程中要通过不断的测试发现问题，不断修

13、复，逐渐完善设计上的不足，代码 bug，逻辑漏洞，按照预定目标一步一步完成开发 测试计划确定测试对象设计，编写测试用例执行测试评估测试结果 单元测试阶段性测试分模块测试 集成测试建议测试方法：自顶向下集成其他方法：自底向上集成，大爆炸集成，三明治集成当一次测试完成后，记录测试过程中发现的问题，重复多次测试，将结果整理到报告中，反馈给负责人，判断是否可投入生产使用测试分析报告根据持续测试的结果，生成“自动化开发测试报告”自动化开发测试报告测试阶段结果阶段测试阶段一基本满足需求，可以将磁盘的数据保存到cloudwatchShell 脚本依赖性高，适配性差阶段二1. 满足需求，可以实现函数触发，参数获取阶段三80%满足需求，可以对卷，磁盘做扩展磁盘扩展成功后，未收到通知邮件集成测试根据测试用例，一次性测试成功集成度高，整个流程不需要人工介入并发性差，不能同时对两个磁盘做热扩容是否发布发布 不发布生产发布提交：有 Devops 开发组向自动化评审组提交测试报告； 测试：批准后分发 L2C 的工程师上线测试环境进行测试； 生产试运行：一个完整周期（根