面向连接的智能运维体系阿里大数据运维实践

1、面向连接智能运维体系 阿里大数据运维实践第1页纲领Big dataops产品运维历程智能运维理念Tesla产品体系运维价值重塑01.02.03.04.第2页OTSHadoop0204产品运维历程01 Before 人工&脚本工具整合，业务增加智能运维体系建设HbaseGalaxyTTHistore MaxComputeAnalyticDBJstormSLS 03自动化平台第3页501/51:1产品运维历程第4页困境 求变 新生产品运维历程第5页智能运维理念 是否有能够借鉴？ 何种智能理念？ 产品发展方向和终态？第6页智能运维理念末端连接分析展现1.末端：直接操作 系统，应用程序，硬件，网络 产

2、品。2.分析：实现运维人员思索问题，分析需求，排查故障产品，3.连接：实现分析与末端产品驱动与反馈连系产品。4.展现：将智能平台状态 以各种可视化方式表示出来。第7页AECT-FlowIDPSTDSChangeLineT-cloneStarAgentCMDBICSchangefreeAlimonitorACL智能运维理念第8页T-Flow 工作流 Simple Flow Multi FlowTesla产品体系 T-Flow关键末端产品-系统层指令序列调度服务第9页Simple FlowTesla产品体系 T-FlowABC第10页param1Tesla产品体系 T-FlowSimple Flo

3、w Template/home/admin/update -t _%_param2param3自动忽略自动重试异常报警自动忽略超时时间/home/admin/update -t _%_自动重试异常报警第11页cluster011.1.1.4$cluster011.1.1.5$cluster011.1.1.2$cluster011.1.1.3$cluster011.1.1.4$cluster011.1.1.5$cluster011.1.1.3$ clustre011.1.1.7$/home/admin/tools(-p t 3)-data) module1 yum xxx module1) /h

4、ome/admin/tools(-precheckyum xxx module1)yum xxx module1)yum xxx/home/admin/tools(-postcheck)-restart)/home/admin/tools(-p 1 t 4) Failed/home/admin/tools(-p 1 t 6)/home/admin/tools(-p 1 t 6)Tesla产品体系 T-FlowSimple Flow Instance第12页1234Simple FlowInstanceTesla产品介绍 T-FlowMulti Flow Instance=第13页Tesla产品

5、体系 T-Flow案例1. GalaxyUpgradePool2. UpgradeRegionServer3. FlightingUpdatesimple flowsimple flowmulti flow第14页Tesla产品体系 T-Flow第15页Tesla产品体系 T-Flow第16页Tesla产品体系 T-Flow第17页Tesla产品体系 T-Flow第18页30000+实例运行Tesla产品体系 T-Flow第19页Tesla产品体系 ICSintelligent Connection ServiceICS关键连接服务层-处理事件与末端产品连接监控事件日志分析流程事件AECT-f

6、lowNoc第20页Tesla产品体系 ICS外部系统监控系统1监控系统2日志分析1其它第三方触发器监控系统1配置，数据监控系统2配置，数据日志分析1配置，数据其它第三方配置，数据事件处理插件注册抑制通知事件调度冲突检验K-V 依赖执行器T-flow 执行器接口AEC执行器接口SSH执行器接口消息订阅服务末端系统T-flowAECPSSHTclone其它末端服务intelligent Connection Service系统架构第21页Tesla产品体系 ICSintelligent Connection Service案例盘古分布式文件系统一副本高危事件第22页Tesla产品体系 ICSin

7、telligent Connection Service第23页Tesla产品体系 ICSintelligent Connection Service第24页Tesla产品体系 ICSintelligent Connection Service第25页Tesla产品体系 ICSintelligent Connection Service第26页Tesla产品体系 ICSintelligent Connection Service容量检验，调参/缩扩容硬件异常 ,维修下线分布式文件系统副本高危加速修补关键应用服务Hang 紧急轮换第27页Tesla产品体系 TDS Troubleshoot De

8、cision Service关键末端分析型产品-提供通用线上故障智能分析及处理方案Checkpoint配置执行类型：Check API，Check Script分析结果：example： A，B，C边条件配置上游节点：Checkpoint下游节点：Checkpoint / ICS上游结果表示式：case=A，case=C ，case=A&B第28页排查点1排查点2排查点3排查点4排查点5日志分析监控报警故障工单ICSTesla产品体系 TDS Troubleshoot Decision ServiceTDS排查点6排查点7排查点8第29页Tesla产品体系 AEC & Crond关键末端产品-应用环境实时维护 rpm，文件，目录低布署成本，简单通用灰度公布，低消高效规则多样,文件模板多级绑定,灵活组合第30页Tesla产品体系 AEC & Crond关键末端产品-集中管理线上服务器定时调度任务Cron