面向连接的智能运维体系：阿里大数据运维实践

1、面向连接的智能运维体系面向连接的智能运维体系 阿里大数据运维实践大纲大纲Big dataops产品运维历程产品运维历程智能运维理念智能运维理念Tesla产品体系产品体系运维价值重塑运维价值重塑01.02.03.04.OTSHadoop0204产品运维历程产品运维历程01 Before 2012人工人工&脚本脚本工具整合，业务增长工具整合，业务增长2016智能运维体系建设智能运维体系建设HbaseGalaxyTTHistore MaxComputeAnalyticDBJstormSLS 032014自动化平台自动化平台2013501/51:1产品运维历程产品运维历程困境 求变 新生201

2、4产品运维历程产品运维历程智能运维理念智能运维理念 是否有可以借鉴？ 何种智能理念？ 产品发展方向和终态？智能运维理念智能运维理念末端末端连接连接分析分析展现展现1.末端：直接操作 系统，应用程序，硬件，网络 的产品。2.分析：实现运维人员思考问题，分析需求，排查故障的产品，3.连接：实现分析与末端产品驱动与反馈的连系产品。4.展现：将智能平台的状态 以多种可视化的方式表达出来。AECT-FlowIDPSTDSChangeLineT-cloneStarAgentCMDBICSchangefreeAlimonitorACL智能运维理念智能运维理念T-Flow 工作流工作流 Simple Flow

3、 Multi FlowTesla产品体系产品体系 T-Flow关键末端产品关键末端产品-系统层指令序列调度的服务系统层指令序列调度的服务Simple FlowTesla产品体系产品体系 T-FlowABCparam1Tesla产品体系产品体系 T-FlowSimple Flow Template/home/admin/update -t _%_param2param3自动忽略自动重试异常报警自动忽略超时时间/home/admin/update -t _%_自动重试异常报警cluster011.1.1.4$cluster011.1.1.5$cluster011.1.1.2$cluster011.

4、1.1.3$cluster011.1.1.4$cluster011.1.1.5$cluster011.1.1.3$ clustre011.1.1.7$/home/admin/tools(-p t 3)-data) module1 yum xxx module1) /home/admin/tools(-precheckyum xxx module1)yum xxx module1)yum xxx/home/admin/tools(-postcheck)-restart)/home/admin/tools(-p 1 t 4) Failed/home/admin/tools(-p 1 t 6)/ho

5、me/admin/tools(-p 1 t 6)Tesla产品体系产品体系 T-FlowSimple Flow Instance1234Simple FlowInstanceTesla产品介绍产品介绍 T-FlowMulti Flow Instance=Tesla产品体系产品体系 T-Flow案例1. GalaxyUpgradePool2. UpgradeRegionServer3. FlightingUpdatesimple flowsimple flowmulti flowTesla产品体系产品体系 T-FlowTesla产品体系产品体系 T-FlowTesla产品体系产品体系 T-Flo

6、wTesla产品体系产品体系 T-Flow30000+实例运行实例运行Tesla产品体系产品体系 T-FlowTesla产品体系产品体系 ICSintelligent Connection ServiceICS关键连接服务层关键连接服务层-解决事件与末端产品的连接解决事件与末端产品的连接监控事件监控事件日志分析日志分析流程事件流程事件AECT-flowNocTesla产品体系产品体系 ICS外部系统外部系统监控系统1监控系统2日志分析1其他第三方触发器触发器监控系统1配置，数据监控系统2配置，数据日志分析1配置，数据其他第三方配置，数据事件处理事件处理插件注册插件注册抑制通知抑制通知事件调度事

7、件调度冲突检查冲突检查K-V 依赖依赖执行器执行器T-flow 执行器接口AEC执行器接口SSH执行器接口消息订阅服务末端系统末端系统T-flowAECPSSHTclone其他末端服务intelligent Connection Service系统架构系统架构Tesla产品体系产品体系 ICSintelligent Connection Service案例盘古分布式文件系统一副本高危事件Tesla产品体系产品体系 ICSintelligent Connection ServiceTesla产品体系产品体系 ICSintelligent Connection ServiceTesla产品体系产品

8、体系 ICSintelligent Connection ServiceTesla产品体系产品体系 ICSintelligent Connection ServiceTesla产品体系产品体系 ICSintelligent Connection Service容量检查，调参/缩扩容硬件异常 ,维修下线分布式文件系统副本高危加速修补核心应用服务Hang 紧急轮换Tesla产品体系产品体系 TDS Troubleshoot Decision Service关键末端分析型产品关键末端分析型产品-提供通用线上故障智能分析及处理方案提供通用线上故障智能分析及处理方案Checkpoint配置配置执行类型：

9、Check API，Check Script分析结果：example： A，B，C边条件配置边条件配置上游节点：Checkpoint下游节点：Checkpoint / ICS上游结果表达式：case=A，case=C ，case=A&B排查点排查点1排查点排查点2排查点排查点3排查点排查点4排查点排查点5日志分析日志分析监控报警监控报警故障工单故障工单ICSTesla产品体系产品体系 TDS Troubleshoot Decision ServiceTDS排查点排查点6排查点排查点7排查点排查点8Tesla产品体系产品体系 AEC & Crond关键末端产品关键末端产品-应用环境实时维护应用环境实时维护 rpm，文件，目录，文件，目录低部署成本，简单通用灰度发布，低消高效规则多样,文件模板多级绑定,灵活组合Tesla产品体系产品体系 AEC & Crond关键末端产品关键末端产品-集中管理线上服务器定时调度任务集中管理线上服务器定时调度任务Crond管理散