基于多棱镜的IT运维转型探索实践

1、基于多棱镜的IT运维转型探索和实践技术创新，变革未来运营商正在从要素竞争转向能力竞争，技术大环境也在翻天覆地 变化。在企业转型的过程中，安徽移动运维团队不断进行转型思 考，以高质量发展为主线，通过组织变革和人才激励重塑IT团队 核心竞争力，持续探索业务支撑能力转型。概述运维转型大背景12运维转型的设计3多棱镜研发案例4多棱镜研发规划目录CONTENTS在激烈的市场竞争中，运营商已经从传统的牌照、终端、渠道、 资源等要素竞争，向产品竞争、创新竞争、机制竞争延展。区块链、云计算、大数据、物联网、智慧家庭不再是简单的要素投入， 能力体系成为主导成败的关键，技术和管理创新是构建竞争优势 的护城河。市场

2、竞争趋于激烈1运维团队如何发挥自身优势，在企业转型大背景下成功转型？ 新形势下，技术大环境已经发生翻天覆地的变化，技术栈多， 技术组件复杂，公司IT架构变得日益复杂，用户的极致体验要求 越来越高，团队面临着一系列的挑战，运维边界不断增长、故障 定界更加复杂、开发迭代更加频繁、数据规模指数增长、组织架 构难以适应。技术组件趋于复杂2在移动互联网之前，通信运营商在线数据相对较多。数据多， 系统就多；系统多，壁垒就多。不同系统之间的数据可能存在不 一致的问题，也会出现逻辑不自洽的问题。这些数据就可能变成 运营风险，于是就要投入大量的运维和审计。能不能再引入新的系统能不能解决这些数据壁垒问题呢？系统壁

3、垒尚且存在3BOSS集成商谁能 消除 壁垒有力无心：习惯性做有明确需求的开发，对需求不明确，投资收益不明显的缺乏 主动性和局限性第三开发商有心无力：第三开发商可能希望做一些工作，虽然技术能力可以，但是普遍对运 营商复杂的业务规则和系统实现不熟悉，高度依赖集成商或者运营商自研团队有心有力：对业务非常熟悉，对技术掌握，可以通过技术培训补齐，只要有相关 政策、有培养的土壤，就会慢慢做起来，逐步打磨，逐步发挥数据和人才优势数据运维产品急需自研产品：打破系统之间的数据壁垒！构建自主运维支撑体系，提升业务支撑系统核心能力管控，贯彻公司战略转型思路。数据运维产品市场上买不到， 缺乏长期运维工作经验的软 件开

4、发人员无法研发出来。运维产品市场上不合适，在真正运维场景下缺乏竞争力。运维产品灵活性不够，在每 周上线的场景下，需要更强 的运维功能响应调整能力。自主开发能力缺失自主运维开发产品匮乏，依 赖第三方合作伙伴，运维工 具和运维人员都缺乏核心竞 争力。没有规范的自研人才培养体 系，无法对系统演进，服务 质量提升提供导向性意见。公司内部管理人才、数据和 资源优势未能在IT技术护城 河构建过程中充分发挥作用。运维转型大背景12运维转型的设计3多棱镜研发案例4多棱镜研发规划目录CONTENTS组建运维组织架构，发挥技术人才优势组织保障通过组建静态的自主可控运维团队，通 过大量动态的运维实战来训练团队，形

5、成“运维分析-技术创新-运营反馈”的 工作链，以点带面，提升整体运营质量 和效率。通过学习和实践反复循环，带领团队重 新认识运维，再造自身，去做从前不能 做的事，拓展创新能力。科技公司比较普遍，运营商中并不多见。 改变传统“运维不研发，研发不运维” 的模式，将运维研发变成常态，坚持自 主开发原则，掌握研发核心竞争力。数 据 层录入查询.投诉库订购.冲正订购库入库.查询话单库指令库营销库*库创建发送策划执行。.接 触 层智能运维平台短信速查系统收入保障系统第三方平台UI API智 慧 层资费分析投诉分类智能预警智能查证智能验证收入保障智能速查*分析Python API采 集 层资费采集投诉采集账

6、单采集订购采集指令采集话单采集日志采集*采集构建“植根于智，直达人心”的运维体系运维思想转型思想转型第一性原理重塑团队：深挖运维中的典 型问题，回归问题本源，真正找到背后 跟因，经由一套方法和技巧，抽丝剥茧， 攻坚越难，不断前进。整体思考提升团队：通过在团队中悬挂 假设，将运维过程中的痛点和难点“悬 挂”在团队成员面前，接受团队成员的 询问和建议，持续地找到根源，在寻找 问题答案之中，勇敢地去做事，去做正 确的事。运维方法转型方法转型实现“人研发工具，工具维护系统”良 性循环：在不增加研发和运维成本的前 提下，自研很多“数字员工”，帮助一 二线员工，高效、准确实现运维范围扩 展和运维质量提升。

7、对自研的“数字员工”源码具有100%的 知识产权，大部分源码以开源的方式分 享出来，团队科研成果已孵化出一系列 QC、创新和专利。开源部分并不涉及公司现生产数据结构 和用户信息。运维转型大背景12运维转型的设计3多棱镜研发案例4多棱镜研发规划目录CONTENTS多棱镜：运维是有许多角度 1、“多棱镜”项目：每日运 维指标和运维头条数据由后 台采集、处理、分析程序自 动处理，运维转型项目。方 向明确，具体内容逐步明确。 2、“多棱镜”延伸：其他自 研项目处理或分析的结果， 也与多棱镜打通，吸收所有 运维分析数据，形成一个运 维人每日必看的界面。面向6大部门，发布了9大产品组建的自主运维产品序列，

8、累计为安徽移动追回上千万元结算损失已发布尚未发布面向部门领域产品效益市场部、财务部收入保障“慧眼识财”智能结算稽核语音、流量、咪咕结算金额倒挂稽核；已为省公司追回1000+万元结算损失任我用限速预警平台对存量任我用限速流量用户按日稽核，已 为省公司避免上百万元的结算损失集团短信结算稽核对集团短信结算倒挂情况进行全量稽核酬金结算平台对酬金结算数据进行全量稽核财务部报表自动化报表小能手将结算预列报表和财务分摊报表从小时级缩短到分钟级信息系统部产品自动化产品智造师将业务部门批量产品套餐配置需求分析、上线核查从小时级缩短到分钟级运维自动化多棱镜按日生成产品动态图、短信动态图、 流量 提醒端到端、投诉机

9、器分析、收入保障等 基础运维数据运维移动化传送门解决突发事件快速处理能力，例如将缴费不开机不到账类投诉排查缩短到秒级出账自动化系统出账小助手解决出账自动化的问题新技术区块链结算稽核用区块链新技术解决稽核实时性的问题网管中心话单验证自动化割接小助手将网元升级过程中，批量拨测话单验证时 长，从以前几十分钟缩短到分钟级分公司工单聚类分析运维工单分类器分公司几千笔数据变更单，秒级聚类成若干大类，一眼看穿分公司痛点和难点安全部安全分析自动化漏洞扫描自动化处理解决漏洞扫描数据处理难的问题不良信息自动化识别解决不良信息机器识别难的问题打破部门之间数据壁垒-割接小助手背景：网管中心核心网元经常性会进行项 目割

10、接、补丁升级、网元扩容等日常工作， 而每次操作后，都需要进行全业务拨测， 需要监控机房进行拨测话单验证，再根据 验证结果进行下一步确认是否割接成功。 传统：监控人员一条一条人工核查，找拨 测号码、找开始时间，判断是否验证通过。 频率：一年大概1000+多个批次现在：客户端、服务器、表格、验证规则 效果：30-60分钟 降低到几十秒打破部门之间数据壁垒-数据一致性比对背景：外部数据一致性问题，网管中心网 元设备数据与BOSS系统数据可能存在不一 致，系统之间数据格式不一致，获取代价 比较大，但是数据不一致会导致各种问题（功能不能用、结算不准确等）。传统：邮件传输，Oracle表比对，耗时费力频率

11、：一个月若干次现在：快速比对工具，支持各种格式输入， 高度配置，几分钟能快速配置几十条任务 效果：3000万条数据几分钟输出明细打破部门之间数据壁垒-产品智造师背景：运营商平均每个月会上线几百个套 餐资费，每个套餐涉及月租、语音、流量 计费、短信提醒、先后项限制等，业务规 则经常变动，受历史限制，一直依靠人工。 传统：人工、SQL复制，SQL修改。频率：一个月几百个现在：先计算新资费与历史资费文本近似 度，选文本近似度最高的资费当模板，用 文本分析技术将自然语言描述处理转化成 内部机器编码（包括拼音缩写等），用机 器编码覆盖模板中内容，生成准确SQL。针 对人员职务变更，做了资费机器预审功能。

12、 效果：批量资费配置，可以从小时耗时降 低到分钟耗时打破部门之间数据壁垒-产品数据日监控背景：省级运营商一个月上线几百个产品 资费，但是缺乏产品资费日监控机制。 传统：临时性统计，缺乏完善的日监控和 评估机制。现在：基于多棱镜系统，每日对系统中的 每个新增资费进行跟踪，并与订购用户数 据进行关联，建设上线后评估体系。引入 区块链，实现字段级溯源的效果。效果：何人、何时、何种资费、订购数多 少，一目了然。打破部门之间数据壁垒-EXCEL预列数据自动化背景：每个月要向省财务部提供一系列结 算预列数据，要按照统一的格式提交。 传统：系统提供原始数据，人工进行大量 的粘贴、复制、调整、稽核，耗时耗力。

13、现在：利用Python开发工具，将数据粘贴、 复制、调整、计算、稽核等功能都固化到 源代码中，在几秒之内完成月初预列报表 制作，让结算报表制作愉快。效果：以前小时级工作缩短到秒级。打破分公司数据壁垒-运维工单分类器背景：分公司每个月都会产生大量的数据 工单，用于紧急处理用户投诉问题，大量 数据处理完后就没有用了，这里利用工单 聚类算法对历史工单数据进行聚类分析。 传统：历史数据没有使用。频率：一年成千上万笔现在：人工标注2000条数据类别，划分训 练集/验证集，数据预处理，文本特征构建 和提取，分类模型(KNN)，分类验证。新员 工在业务指导下完成的项目，后继可给OA 工单系统赋能。效果：成千

14、上万条数据快速分类，评测分 公司支撑能力。打破分公司数据壁垒-自助测试小能手背景：集团需求，为停机用户提供专用充 值电子渠道。当停机用户通过任一互联网 页面时，自动引导用户至充值页面，协助 用户完成充值操作。停机状态有很多，16 个分公司进行测试，测试卡117个，测试场 景估计几百个。传统：人工对测试号码进行刷新和恢复。现在：研发自助工具，授权测试人员自助 发短信指令给10086，后台获取授权人号码 和命令数据，进行解析、执行、反馈， 7*24小时，分钟级反馈。效果：分钟级反馈，7*24待命。打破系统之间数据壁垒-批量短信发送图背景：省级运营商一个月发送上亿条提醒短信，但是缺乏短信日监控机制。

15、传统：临时性统计，缺乏完善的日监控和 环比机制。现在：多棱镜中悬挂一张批量短信发送图， 定义何时、因何原因、从何端口、发送多 少短信，本月发送量多少，上月发送量多 少，环比变化多少等数。端口发送量波动 情况，用色块显示。业务生成短和端口发 送短数据量相互监督，相互稽核，形成坚 固的卯榫结构。【数据跨系统】效果：多棱镜中每天一张动态图表。打破系统之间数据壁垒-结算倒挂稽核（语音和流量）背景：结算准确性太容易被“系统、规则、 用户” 影响，结算系统自身，计费账务系 统、集团内容计费、局数据中心、各业务 平台等；业务规则和套利用户变化万千， 防不胜防。结算系统很少涉及客户投诉， 问题很难第一时间被发

16、现。结出的金额不 应该超过应收账单金额。实际上很难落地。（账单合并在一起，群统付、营销规则等） 传统：统计、投诉发现。现在：从结算系统中获取语音漫游结算明 细数据，从账务系统中获取对应账期出账 明细数据，进行数据清洗、数据格式化和 数据稽核，引入群关系数据，按照整个群 进行稽核。效果：通过多棱镜，从上亿条数据中，发 现他们，看见他们。止损上百万元打破系统之间数据壁垒-结算倒挂稽核（咪咕业务）背景：每种业务结算倒挂的根因不一样， 所以要分业务进行稽核，咪咕业务主要问 题是结算算法不一致。传统：咪咕业务涉及集团、省公司、平台 公司、用户多方数据交互，单看每一段都 看不出问题，但是整体流程存在问题。

17、现在：从结算系统中获取咪咕音乐结算明 细数据，从账务系统中获取对应账期出账 明细数据，进行数据清洗、数据格式化和 数据稽核，这里不用引入群关系数据，按 照单用户进行稽核。效果：通过多棱镜，从上亿条数据中，发 现他们，看见他们。追回上千万元月份业务追回收入（万元）一月咪咕音乐-92.53一月咪咕数媒-4.66一月咪咕互娱-3.71一月咪咕视讯-37.80一月咪咕动漫-0.14二月咪咕音乐-89.04二月咪咕数媒-4.14二月咪咕互娱-4.20二月咪咕视讯-31.46二月咪咕动漫-0.11三月咪咕音乐-137.59三月咪咕数媒-4.75三月咪咕互娱-4.61三月咪咕视讯-30.73三月咪咕动漫-0

18、.12四月咪咕音乐-146.20四月咪咕数媒-4.27四月咪咕互娱-3.98四月咪咕视讯-29.43四月咪咕动漫-0.10五月咪咕音乐-142.62五月咪咕数媒-3.43五月咪咕互娱-2.98五月咪咕视讯-24.07五月咪咕动漫-0.08六月咪咕音乐-136.31六月咪咕数媒-3.37六月咪咕互娱-1.62六月咪咕视讯-0.87六月咪咕动漫-0.07七月咪咕音乐-170.74七月咪咕数媒-3.20七月咪咕互娱-2.63七月咪咕视讯-0.80七月咪咕动漫-0.06汇总-1122.44打破系统之间数据壁垒-任我用限速保障背景：任我用用户流量限速功能如果不能 够及时限速，用户漫游出省时，仍然能用 较高网速上网，会导致流量结出损失。 传统：用户不投诉，系统无告警，单看结 算系统也准确，但就是存在问题。现在：用户被限速后，日流量话单不应该 超出某一阈值。从日志中提取限速明细， 从订购中提取提速明细，从大数据中提取 日流量使用量，通过数据关联计算，统计 出限速日期之后，没有订购提速包的用户， 日流量使用值是否超预警值。通过观察该 值，6月初发现一起，因上线缺陷导致全省 限速功能失效的案例，及时介入解决。效果：通过多棱镜，从上亿条数据中，发 现他们，看见他们。止损上百万元公众号技术分享建立团队“聊聊DIY技术”公众号，用图表、 数据、动画