面向连接的智能运维体系：阿里大数据运维实践

面向连接的智能运维体系—

阿里大数据运维实践大纲Bigdataops产品运维维历程智能运维维理念Tesla产品品体系运维价值值重塑01.02.03.04.OTSHadoop0204产品运维维历程01Before2012人工&脚本工具整合合，业务务增长2016智能运维维体系建建设HbaseGalaxyTTHistoreMaxComputeAnalyticDBJstormSLS032014自动化平平台2013501/51:1产品运维维历程困境求变新生2014产品运维维历程智能运维维理念•是否有可可以借鉴鉴？•何种智能能理念？？•产品发展展方向和和终态？？智能运维维理念

末端连接分析展现1.末端：直直接操作作系统，应应用程序序，硬件件，网络的产品。。2.分析：实实现运维维人员思思考问题题，分析析需求，，排查故障的的产品，，3.连接：实实现分析析与末端端产品驱驱动与反反馈的连连系产品。4.展现：将将智能平平台的状状态以多种可可视化的的方式表达出来来。AECT-FlowIDPSTDSChangeLineT-cloneStarAgentCMDBICSchangefreeAlimonitorACL智能运维维理念T-Flow工作流•SimpleFlow•MultiFlowTesla产品品体系T-Flow关键末端端产品-系统层指指令序列列调度的的服务SimpleFlowTesla产品品体系T-FlowABCparam1Tesla产品品体系T-FlowSimpleFlowTemplate/home/admin/update-t_%_______param2param3自动忽略自动重试

异常

报警自动忽略超时时间/home/admin/update-t_%_______自动重试

异常

报警[cluster01@1..1.1.4]]$[cluster01@1..1.1.5]]$[cluster01@1..1.1.2]]$[cluster01@1..1.1.3]]$[cluster01@1..1.1.4]]$[cluster01@1..1.1.5]]$[cluster01@1..1.1.3]]$[clustre01@1..1.1.7]]$/home/admin/tools(--p–t3)-data)module1yumxxxmodule1)/home/admin/tools(--precheckyumxxxmodule1)yumxxxmodule1)yumxxx/home/admin/tools(--postcheck)-restart)/home/admin/tools(--p1–t4)Failed/home/admin/tools(--p1–t6)/home/admin/tools(--p1–t6)Tesla产品品体系T-FlowSimpleFlowInstance1234SimpleFlowInstanceTesla产品品介绍T-FlowMultiFlowInstance=Tesla产品品体系T-Flow案例1.GalaxyUpgradePool2.UpgradeRegionServer3.FlightingUpdatesimpleflowsimpleflowmultiflowTesla产品品体系T-FlowTesla产品品体系T-FlowTesla产品品体系T-FlowTesla产品品体系T-Flow30000+实例运行行Tesla产品品体系T-FlowTesla产品品体系ICSintelligentConnectionServiceICS关键连接接服务层层-解决决事件与与末端产产品的连连接监控事件件日志分析析流程事件件AECT-flowNocTesla产品品体系ICS外部系统统监控系统统1监控系统统2日志分析析1其他第三三方触发器监控系统统1配置，数数据监控系统统2配置，数数据日志分析析1配置，数数据其他第三三方配置，数数据事件处理理插件注册册抑制通知知事件调度度冲突检查查K-V依赖执行器T-flow执行器接口AEC执行器

接口SSH执行器

接口消息订阅阅

服务末端系统统T-flowAECPSSHTclone其他末端端

服务intelligentConnectionService系统架构构Tesla产品品体系ICSintelligentConnectionService

案例盘古分布布式文件件系统一一副本高高危事件件Tesla产品品体系ICSintelligentConnectionServiceTesla产品品体系ICSintelligentConnectionServiceTesla产品品体系ICSintelligentConnectionServiceTesla产品品体系ICSintelligentConnectionServiceTesla产品品体系ICSintelligentConnectionService••••容量检查查，调参参/缩扩扩容硬件异常常,维修下下线分布式文文件系统统副本高高危加速速修补核心应用用服务Hang紧急轮换换Tesla产品品体系TDSTroubleshootDecisionService关键末端端分析型型产品-提供通用用线上故故障智能能分析及及处理方方案Checkpoint配置执行类型型：CheckAPI，，CheckScript分析结果果：example：：A，B，，C边条件配配置上游节点点：Checkpoint下游节点点：Checkpoint/ICS上游结果果表达式式：{case=A，，case=C，case=A&&B}排查点1排查点2排查点3排查点4排查点5日志分析析监控报警警故障工单单ICSTesla产品品体系TDSTroubleshootDecisionServiceTDS排查点6排查点7排查点8Tesla产品品体系AEC&Crond关键末端端产品-应用环境境实时维维护rpm，文件，，目录••••低部署成成本，简简单通用用灰度发布布，低消消高效规则多样样,文件件模板多级绑定定,灵活活组合Tesla产品品体系AEC&Crond关键末端端产品-集中管理理线上服服务器定定时调度度任务••••Crond管理理散乱执行结果果丢失异常通知知机制积累日常常