分布式监控系统的设计与实现-尤勇

1、CAT(Central Application Tracking)自我介绍尤勇 众点评 基础架构组纲CAT介绍介绍 CAT设计 最佳实践CAT介绍CAT(Central Application Tracking)是基于Java开发的实时监控平台实时监控平台，主要包括移动端监控、应用侧监控、核络层监控、系统层监控等。 CAT是个给提供实时监控告警，应用性能分析诊断的具。实时系统1、客户端日志不落地 2、服务端流处理 整个系统从客户端产消息到服务端产实时报表延迟在毫秒级别毫秒级别CAT的Logview消息头 版本号，消息ID，所属业务，IP，所在线程，根消息ID 消息体 可视化Logview分布式

2、Logview应用监控报表（APM）说明报表TransactionEventProblemJVMSOAHearbeatMatrixCrossCacheDependencyMemory ThreadRPC纲CAT历程历程 CAT设计设计 最佳实践最佳实践CAT设计整体设计 客户端设计 服务端设计整体设计应用A应用B应用CTCP实时数据查询实时数据查询历史数据查询历史数据查询Consumers消费机消费机Logview ReportConsoles控制台控制台客户端设计HttpThread开始CallSQLCache.结束ThreadContext创建消息树创建Call节点加SQL节点加Cache

3、节点.消息构建结束SenderSenderSenderthreadsServerServerServerMessage Queue客户端重点内存开销 由于埋点问题，消息够 CPU开销 构建消息够轻量，开销减低在2% 客户端没有做压缩 基于netty实现消息传输遇到问题-IOjava message tree id的成，javaMappedByteBuffer需要做持久化 业务主线程的使用 在任何时候客户端都是需要考虑极端情况cpu或者io的开销遇到问题-MemoryMessageTree的内存占用太，极端情况下，个messageTree里面上万个节点 在任何时候客户端都是需要考虑极端情况内存的

4、开销服务端设计监控消息 异步发送消息消费机消息消费机threadsFile消息转储 异步线程统计报表应用A应用B应用CReceiverReceiverReceiverthreadsAnalyzerAnalyzerAnalyzer当Analyzer处理来不及消息消费机消息消费机ReceiverReceiverReceiverAnalyzer2Analyzer3Analyzer1Analyzer1domain hash服务端重点监控建模 报表建模 CPU优化 负载均衡 数据存储 内存以及系统问题建模监控领域数据模型 数据报表模型监控建模段代码执时间段代码执次数定期执某些代码个指标的变化值url/s

5、ql响应时间Exception出现次数分钟粒度Cpu,IO监控销售额TransactionEventHeartbeatMetricKeyValue的式后续扩展性较好 后续配置成本很后续配置成本很 后续计算成本很后续计算成本很报表Transaction Event Problem Heartbeat 报表建模目标模型定义 访问、转换和合并 模型持久化 XML, JSON,Binary. 代码成模型遍历模型合并cpu优化数据存储顺序写、随机读 批量压缩提压缩率数据存储消息ID：ShopWeb-0a010680-375030-2 消息可能的存储路径 /2012/10/13/14/ShopSerivc

6、e-ShopWeb- /2012/10/13/14/ShopService-ShopWeb- 375030 = 2012-10-13 14:00:00 ShopService = 消息被记录的domain /2 = 消息被处理的机器IP 0a010680 = 28 用于保证消息ID唯性内存困惑1、transaction report，event report里面的name限个节点 2、swap off 3、numactl -interleave=all 4、jvm系统问题1、机器上非jvm线程的影响 2、ethtool -K et

7、h0 tso off 有些“tg3卡”因为硬件缺陷的原因，在启用TSO时，有时会要求报必须存储在物理连续的内存中，驱动程序如果发现报不满要求就会复制份报出来，如果这时内存不，或者因为内存碎片问题，驱动可能分配不到内存。纲CAT介绍介绍 CAT设计设计 最佳实践最佳实践CAT历程2011-11月份2012-3月份2012-6月份启动 MVP模型 正式上线 2012-12月份 150+应用500+服务器 2013-12月份 400+应用 1500+服务器 2014-12月份 800+应用 3000+服务器 2015-9月份1500+应用 7000+服务器 MVP版本Demo 1个月 MVP 3个月 重点解决最急迫的个问题小白鼠客户典型客户 vip服务些不和谐的声音客户端 业务的挑战（可靠，性能） 领导的挑战（当*时候，加个动态开关）上线以及后续独立快速发布（项目初期） 灰度发布（项目中后期） 问题排查（mat）不仅仅是code不同角如何使用系统 系统如何运维 系统如何推数据质量数据质量 sql框架、缓存框架、rpc框架、web框架 数据质量决定了监控质量单机开发环境jetty s