coss r4培训数据仓库apm产品介绍

1、 产品质量部/杨琦/2016.1Broadview APMAPM定义及背景目录01系统解决方案03系统指标详解 04系统后端解读0205主要优势与价值APM的定义APM = Application Performance Management，即应用性能管理，对企业系统即时监控以实现对应用程序性能管理和故障管理的系统化的解决方案。应用性能管理是一个比较新的网络管理方向，主要指对企业的关键业务应用进行监测、优化，提高企业应用的可靠性和质量，保证用户得到良好的服务，降低IT总拥有成本(TCO)。一个企业的关键业务应用的性能强大，可以提高竞争力，并取得商业成功。国内外的 APM 有 Compuwar

2、e 、 iMaster 、听云、New Relic、OneAPM 、AppDynamics 等主要挑战对IT的挑战对业务的影响多数IT问题仍然是由最终用户的抱怨发现的问题未被发现时业务中断，用户长时间等待，影响客户满意度一旦出现问题需要很多时间来定位预算花费在了定位问题上而不是解决问题大多数应用问题到了开发团队并不能重现解决问题的开发和技术支持周期很长性能问题没有什么技术手段进行分析对比没有优化方向，性能问题经常不了了之传统的解决方案NCCBCC负载均衡防火墙CPU、内存、磁盘IO、数据库表空间端口上下线、速率WEBWEBWS PortalProcess ServerMQWASDB2CICS传

3、统的解决方案是不够的IT资源DB2WS PortalProcess ServerWEB负载均衡关注在基础架构, 而非业务缺乏完整的业务交易链视图缺乏对用户体验以及业务影响的可视性WEBWASCICSMQ防火墙APM定义及背景目录01系统解决方案03系统指标详解 04系统后端解读0205主要优势与价值APM方案准确定位分析性能瓶颈 主动式应用性能管理方案实时跟踪关键业务交易 全面透视业务应用架构 主动感知真实用户体验 真实的用户感受100%的业务系统和交易性能可视化系统架构业务交易视图业务运行视图性能/可用性管理统计报表最终用户体验故障告警与定位运维系统集成SNMPTrap指标运算引擎 配置库

4、指标库协议分析引擎指标运算引擎阈值处理引擎数据存储层交换机镜像/TAP分流Broadview APM系统部署数据库服务器应用服务器WEB服务器企业信息总线防火墙交换机端口镜像CISCO端口镜像配置 SPAN配置 Specifying VLANs to Filter华为端口镜像配置 配置观察端口 配置镜像端口H3C端口镜像配置 创建本地镜像组 配置其源端口、目的端口 VMWare端口镜像标准或分布式交换机配置创建虚拟机服务器，在该 服务器上安装APM程序协议分析器获取到的数据 转发到APM服务器server 端Server端进行计算展现 应用拓扑图关键交易状态监控和对业务的影响用户在哪里？按地理

5、位置查看独立访客数、平均响应时间、吞吐量、流量等主要指标 用户是谁？从浏览器种类、设备类型、操作系统三个角度，按天监测其Apdex指数、独立访客、吞吐量、平均响应时间、流量等主要指标 用户体验趋势分析定位问题组件告警主机平均响应时间连续超过阈值数据库服务器成功率很低自动记录应用层错误详细的应用错误信息和请求参数查看最慢URL或SQLAPM定义及背景目录01系统解决方案03系统指标详解 04系统后端解读0205主要优势与价值方案优势部署模式旁路设计生产系统零影响支持虚拟主机软硬一体化零部署实施生产系统零影响解码能力WEB服务器应用服务器消息中间件企业总线ESB数据库服务器支持B/S、C/S架构基

6、于流和会话技术，全状态、全协议解码JDBC、MQ等长连接解码全息解码，感知完整交易链回放能力追踪每个用户的访问详情、每笔交易全面还原故障现场：包括吞吐量、响应时间和错误数外，流量、并发用户数、总连接数、并发连接数和错误详情详细记录每个错误：包括返回码、SQL语句、绑定参数或变量追踪每笔交易，重现每个故障方案价值业务管理人员全盘把握实时业务性能，了解业务用户体验进行主动性能管理，并持续提升用户体验IT 运维人员发现主机监控、日志分析等常规手段检测不到的潜在问题快速故障隔离的手段，查找故障根源的方法主动管理动态趋势和容量分析，实现性能和利用率的最大化IT 开发人员查看最慢的页面，最慢的SQL查看错

7、误页面的传入参数和返回码持续性能提升和系统优化的数据支持DEV典型应用场景01.监测网站用户体验02. 监测核心业务系统03.监测关键业务交易部署前： CNZZ网站分析工具：侧重UV、PV部署后：实时监测应用系统、关键交易的用户满意度监测不满意用户数的来源、地理位置，确定业务影响范围部署前： 主机连通性、CPU、内存、日志部署后：呈现业务系统应用拓扑结构，展现各组件间调用关系实时监视各环节交易量、平均响应时间，提前告警部署前： 查看日志、开会讨论部署后：实时监测关键交易的访问人数、访问次数、用户体验、不满意用户数、访问时间端到端的交易跟踪能力部署前： 等待业务部门反馈哪个页面慢部署后：通过时间

8、轴查看压力传导图，确定瓶颈点查看前端最慢页面，直至最后台最慢SQL04.定位性能瓶颈APM定义及背景目录01系统解决方案03系统指标详解 04系统后端解读0205主要优势与价值通用指标吞吐量：单位时间内的请求数量 响应时间：发送请求开始，到收到所有响应内容的时间独立访客： 1.默认情况下，同独立IP数 2.当特定协议有session时（例如DB），以用户登录名+client分组统计 3.HTTP按浏览器类型（UA）区别session会话数：是指这一分钟内有数据交互的连接总数。包括新建连接、已建连接，以及这一分钟内拆除的连接成功率：成功率=100%-错误数/请求数错误数：应用层报告的错误，例如H

9、TTP 404通用指标ApdexApplication Performance Index，即应用性能指数，是用户对应用性能满意度的量化值。它提供了一个统一的测量和报告用户体验的方法。计算公式为：Apdex=（1 满意样本 0.5 x 容忍样本） 样本总数 Apdex T代表用户对应用性能满意的响应时间界限，如系统默认0.5秒，满意区间就是 00.5 秒；下一个区间“容忍”的界限值则是 T 和 4T，即 0.52 秒之间为容忍区间；最后一个区间“不满意”的响应时间则大于 4T，即多于 2 秒HTTP协议的指标PV即Page View, 页面浏览量或点击量，在一定统计周期内用户每次刷新网页一次即

10、被计算一次。我们系统计算静态页面的数量UV即Unique Visitor,访问您网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次。我们系统计算的是独立IP数。APM定义及背景目录01系统解决方案03系统指标详解 04系统后端解读0205主要优势与价值系统环境系统环境分为C和java两部分，即/opt/apm目录下的analyze和server。数据库（目前只支持内置）： Mysql保存系统配置数据 ES保存性能指标数据产品部署目录： 默认安装路径： /opt/apm/analyze/dist /opt/apm/server系统启动自动启动 系统每隔5分钟，会检查

11、下进程是否存在，不存在即自动启动。手动启动系统方法 1、协议分析器：nohup sh /opt/apm/analyze/dist/script/run_apm.sh /dev/null & 成功启动后，可见以下进程： 2、java端：nohup sh /opt/apm/server/bin/apm.sh /dev/null & 成功启动后，可见以下进程： 如需查看详情进程，执行ps -ef |grep apm即可。系统原理数据镜像1、首先需要对被管应用系统进行梳理，确定应用系统管理的物理主机、虚拟主机、交换机端口，完成 交换机、VMWare的端口镜像。2、 检查数据镜像是否成功：apm所有服务器通过tcpdump抓取数据包。协议分析器采集，通过协议解析上报Java端接收数据，通过指标运算器计算后入库Web前端展现 后端数据验证导入L7协议解码模块1、直接