天眼数字化应用实时监控解决方案

业务架构师天眼-数字化应用实时监控解决方案目录CONTENTS1建设背景思路2平台整体概述3核心功能介绍建设背景思路01问题挑战、体系支撑建设背景为打破各应用系统监控告警能力不足、工具重复建设、故障定位困难的现状，提供统一的全层级、立体化的监控工具支撑解决方案监控覆盖多层级监控覆盖难多层级数据共享难多层级监控联动难架构演进前后端分离监控微服务拓扑复杂中台架构定位难监控告警告警渠道不统一告警处理不及时告警处理不闭环运维生态运维工具分散工具重复建设分层运维割裂问题挑战SRE体系支撑为客户提供端到端工具覆盖，全流程闭环贯通的数字化应用实时监控解决方案，提高运维效率，降低运维成本，提升用户感知故障发现监控告警常规巡检用户反馈舆情感知智能预测故障定位日志分析监控分析链路跟踪变更追踪根因定位故障恢复容灾切换服务降级熔断限流作业处理故障自愈建设/演练/OnCall复盘/改进/OnCall应急响应Pre-MTBFMTBF故障预防灾备演练应急预案容量评估变更管理健康检查Post-MTBFMTBF故障改进故障复盘改进验收容量压测故障模拟混沌工程MTTI MTTK MTTF MTTVMTTR故障验证告警恢复业务验证接口验证验证反馈业务统计平台整体概述02功能方案、技术架构监控指标微服务监控三大核心融合贯通：基于Metrics的告警发现异常，通过Tracing定位问题模块，根据模块具体的Logging定位到错误根源MetricsTracingLogging天眼请求范围内的拓扑追踪系统各维度的度量指标记录处理的离散事件信息监控层级天眼应用实时监控提供IaaS、PaaS、SaaS全层级监控能力，用户可快速实现监控接入，告警事件闭环管理，为系统日常生产运行提供保障调用量、响应时间、TPS服务KONG、LB、MQ等中间件RDS、ES、REIDS等数据库CPU、内存容器CPU、内存、磁盘、IO主机域名流量、机房流量网络用户发展量、工单积压量业务天眼指标体系分类基础资源通用组件服务应用业务监控全流程调用链智能监控告警平台APP性能监控浏览器监控自动化巡检全层级监控前端触点日志中心&业务数据技术架构Marathon微前端用户中心权限中心……Marathon

A(租户1)告警中心Marathon

B

(租户2)配置中心Marathon

C

(租户3)数据存储数据采集PrometheusFilebeatPinpointSDK天宫资源池Apache

Mesos天梯JSAgent数据处理KafkaFlinkMysqlRedisClickHouseElasticSearchHbase核心功能介绍03生产运营工作台、应用实时监控天眼-生产运营工作台统一生产运营入口，运维工具一点使用，PC+移动多终端处理，工具共建、能力共享、协同研发，实现“平台+应用”快速能力交付，构建“企业运维生态”统一规划统一架构统一风格统一登录统一权限统一能力生产运营工作台-技术架构客户端单点登录主应用工作台首页子应用网关层网关代理认证鉴权控制限流天眼-应用实时监控-智能监控告警平台提供IaaS、PaaS、SaaS全层级监控能力，支持全流程可视化配置，具备多样化告警通知方式，实现告警工单闭环管理采集管理：标准组件采集、私有仓库接入、自定义指标采集监控配置：告警规则、收敛条件、告警内容静默管理：支持全量、监控点、监控实例多维度静默告警处理：双终端工单处理、工单闭环管理告警大屏：系统监控告警全景图、告警工单处理进度告警详情：租户采集任务、监控实例、告警分析智能监控告警平台-技术架构埋点采集层ExporterExporterExporterExporter数据采集Prometheus联邦指标数据数据存储层指标数据Prometheus时序数据InfluxDb关系数据MySQL数据服务层 网关层OpenAPI告警静默配置

租户数据关系Etcd MongoDBWeb网关配置版本管理 告警收敛Gitlab AlertManager 外部接口触点层展现告警天眼生产运营工作台统一门户 租户隔离 数据安全 智能配置天眼-应用实时监控-全流程调用链可视化页面自由配置，万级微服务自动拓扑，根因服务定位一目了然服务拓扑故障拓扑天眼-应用实时监控-全流程调用链百亿级指标采集处理，黄金指标：调用量、响应时间、成功率服务调用趋势、报错分类、根因服务、根因接口、JVM、GC指标数据根因分析天眼-应用实时监控-浏览器监控前端性能实时呈现，客户感知精准展现，故障异常及时发现页面性能分析页面弹窗分析js错误分析ajax分析天眼-应用实时监控-浏览器监控跟踪真实用户行为，用户轨迹实时追踪，多维度统计对比分析对比分析用户轨迹调用链&浏览器-技术架构接入处理层消息队列Kafka数据处理Flink存储服务层 网关层OpenAPI关系数据 缓存数据MySQL RedisWeb网关图形数据 指标数据