黄泳：全链路监控在嘉银科技的落地实践

分享人:黄泳GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站02嘉银告警管理03嘉银智能可观测实践04未来展望GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站GOPS全球运维大会暨XOps技术创新峰会2024·北京站嘉银科技基础设施概览GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站嘉银复杂业务下的监控告警挑战GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站告警数据清洗、降噪告警数据清洗、降噪GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站基于VictoriaMetrics的Prometheus集群架构A机房VmalertVmalertVmalertVmalertAlertmanagerAlertmanagerAlertmanagerAlertmanagerGrafanaAPIGrafanaAPIGOGOPS全球运维大会暨XOps技术创新峰会2024·北京站GOPS全球运维大会暨XOps技术创新峰会2024·北京站嘉银监控告警流程监控告警全生命周期管理监控告警全生命周期管理GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站嘉银统一监控告警平台建设GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站嘉银四层监控体系建设依赖关系依赖关系GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站告警过多的问题怎么解?GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站联动CMDB识别告警资源DDGOGOPS全球运维大会暨XOps技术创新峰会2024·北京站告警降噪流程设计 否否否GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站GOPS全球运维大会暨XOps技术创新峰会2024·北京站全面的数据决定智能化的起点GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站优质的数据决定智能化的高度一站式全栈覆盖异构可观测数据源应用监控数据库监控一站式全栈覆盖异构可观测数据源应用监控数据库监控控控AIOPSAIOPSGOGOPS全球运维大会暨XOps技术创新峰会2024·北京站建设统一监控指标数据底座,夯实多场景的数据支撑能力GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站智能化可观测场景落地三板斧GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站先知——洞察之眼分析数智化AI通过性能指标和告警数据根据评价算法对业务健康度进行GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站先知——挑战:没有放之四海而皆准的检测算法–环比：对比值的变化率•单点比较：xj−xj—1>threshold•突增：xj>过去同一周期时刻的值*max_threshold•突降：xj<过去同一周期时刻的值*min_thresholdGOGOPS全球运维大会暨XOps技术创新峰会2024·北京站先知——趋势预测案例拿GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站先知——智能巡检ARIMAARIMAGOGOPS全球运维大会暨XOps技术创新峰会2024·北京站先知——智能巡检系统案例GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站先决——挑战:如何快速实现根因分析?51512436GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站先决——根因分析定位常见方案主要面向指标异动场景，首先监控整体的指标，合•根因属性组合不是根因，需要经过人工分析，才能基于调用轨迹的根因组件定位：当监控到系统发生故性能下降和失效）时，通过调用轨迹数据，找到大量•为大量组件进行因果挖掘存在复杂度和准确性两方基于知识图谱和专家规则，提取离散异常事件后，基GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站先决——故障根因分析流程以嘉银内部的SREOncall相应处理故障过程为例，人工经验与自动化路线，双向赋能，既保证AI在落地过程中的安全生成故障复盘报告,故障事件生成故障复盘报告,故障事件，故障现象，故障故障诊断Agent根据告警事件，告警资源自动生成故障诊断事件流，辅助工程GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站先决——故障根因分析案例适用场景：基于智能巡检，故障诊断平台，且监控观测数据接入完善的中低复GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站先行——故障自愈流程设计发布平台自动化变更ssGOGOPS全球运维大会暨XOps技术创新峰会2024·北京站先行——故障自愈案例(自治+推荐)GOGOPS全球运维大会暨XOps技术创新峰会2024·北京站GOPS全球运维大会暨XOps技术创新峰会2024·北京站未来展望GOGOPS全球