APM业务保障分析报告

1、1APM业务保障分析报告部署说明监控点选取2范围：亦庄中心节点：12345镜像汇聚设备1互联网接入2外联接入3负载均衡4业务虚拟机5数据库主机部署说明系统架构3TAP数据业务区数据库区 SmartProbeBPCNPM核心交换区广域网接入区安全接入区镜像数据分析数据控制网络线路主干系统说明4第二阶段工作目标针对丢包问题，根据各地市局端环境确定是否需要进一步的定位分析；配置终端缓存不足的周报，以便进行主动运维分析；通过应用开发组支持，根据应用协议规范完成业务追踪的配置，进一步分析和定位应用组件偶发高延时的业务条目与子模块。5告警参数设置经过观察，主干系统多个业务模块实际耗时为秒级耗时，因此各个组

2、件的耗时是要大于常规的应用响应时间，后续各个业务组件的告警参数需要通过模拟告警进行精细设置NPM告警参数IHS响应时间高于300msAPP-VM响应时间高于200ms生产库响应时间高于200msBPC告警参数APP-VM响应时间高于500ms生产库响应时间高于200ms6业务视图主干系统业务监控视图：接入区、设备区、应用区、数据区；7第二阶段分析说明8分析时间段：网络性能分析：2016.5.30-2016.6.7业务追踪分析：2016.6.7 早上8:00-2016.6.8:下午17:00分析目标：主干系统网络性能分析主干系统应用组件高延时的业务条目与子模块分析内容：用户体验：慢2s以上；卡5

3、00ms以上；顿：500ms800ms；业务延时：系统交互各组件节点所耗时间；业务追踪：应用系统业务条目跟踪。分析范围：亦庄数据中心主干系统：系统各组件节点分析结论与建议外联单位方向丢包（第一阶段分析）运营商链路或局端设备丢包问题，如需进一步定位，需要在分局部署的分析系统。从一周的统计来看终端机性能不足仅仅是集中在部分终端：主要终端：（北京）10.11.4.58、 10.11.4.57、（天津）10.12.7.67、（石家庄）10.13.72.79、10.13.56.128、10.13.88.21、（总局）10.10.225.145主干系统IHS、应用组件多发数处理时间过长，非单一应用组件性能

4、影响，而是整个集群和业务逻辑的性能问题：分析1:应用单次业务条目处理耗时较长，处理环节复杂，关联较多次的数据库查询、插入、删除等操作；分析2:应用单次业务传输数据量过大；数据库查询类、插入类操作处理时间过长数据库语句操作时，高延迟，数据库团队已确认该现象，并提交上级，建议优化语句。一次数据库语句操作时，关联多次交换库语句操作；9分析过程Crossflow10客户端性能不足分析1112客户端零窗口统计北京局主要客户端：10.11.4.58、 10.11.4.5713客户端零窗口统计天津局主要客户端：10.12.7.6714客户端零窗口统计石家庄局主要客户端：10.13.72.79、10.13.5

5、6.128、10.13.88.2115客户端零窗口统计总局主要客户端：10.10.225.145外联单位终端机性能分析16配置完成客户端访问性能日报，测试期间可以针对总局、北京、天津、石家庄分局进行零窗口IP会话统计：分局零窗口汇总总局IP会话零窗口北京IP会话零窗口天津IP会话零窗口业务追踪性能分析1718问题组件问题组件问题组件问题组件问题组件非单一组件性能问题主干系统应用区问题的节点主要集中在应用（APP-VM ），IHS多为关联影响应用（APP-VM）响应高延迟分布在多个应用组件，非单一、固定应用组件应用19操作类型响应时间统计在APP-VM应用组件上较多的业务操作响应时间均较长，基本

6、在4-9s，成功率为100%查询检索类、报单审批类、获取数据类操作为主要的高延时操作类型响应时间业务操作操作类型响应时间ToP2020操作类型交易量响应时间 ms响应率 %描述cancelCount19174.383100每日进账单 作废票据详情findGoodsItemsByGoodsNo38606.52466.67根据报检号与货物序号获得检测项目结果getCiqUserCode18364.627100recalculateConclusion47856.98575重算机审queryContByDeclNo17349.561100通过报检号查询对应的集装箱信息getDirectOutPack

7、DeclVo17204.487100查询直属局及其下属分支局信息updateProAndStatus17172.109100施检结束调初始化签证接口，如果所需证单中只有通关单，则报检单状态直接修改为待归档findInsResultGoodsVOByDeclNo17077.729100查询 货物结果信息acceptThrough1506418.7658审单受理-报检受理-审单通过loadAll35944.087100查询台账信息选取一日的业务操作响应时间的平均值21操作类型交易量响应时间 ms响应率 %描述reloadDclData165771.28462.5重取报检数据buildTestIte

8、mVos225755.29363.64送检方法调用构造数据，包含其他项目getResponses15437.833100获得查询结果和回执信息getInvoiceVos65297.55450查询票据管理getDeclResult1185107.2690.68获取结果登记信息anewCharging2154881.69478.6计费-检验检疫计费getInsMonItemParamEntitys14861.322100根据检测项目主键查询检测项目参数列表submitDisRegResult84678.874100取得管理表主检的数据findRoles44647.173100获取角色getOldP

9、rintRecord24611.386100取得历史打印记录操作类型响应时间ToP20（续）选取一日的业务操作响应时间的平均值场景1业务操作耗时较多，单次业务操作关联较多的数据库操作22232016.6.8早上9点37出现告警，NPM快速定位应用区HIS、APP-VM：分析案例HIS、应用高延时IHS网络分析2424响应时间保持在200ms左右告警时间IHS服务器发生重传早上业务办理高峰期主要的业务耗时在应用响应上，平均的网络响应时间在200ms左右，网络时延在10ms左右告警发生时间，IHS服务器响应时间均值为453.56ms25有较多耗时100s以上的数据交互和传输：26APP-VM网络分

10、析告警时间应用没有零窗口和重传应用响应时间在100ms左右，告警时间响应时间为253.92ms2627有较多耗时50s以上的数据交互和传输：业务追踪分析28业务性能追踪快速定位APP-VM 业务组件告警发现（10.91.63.63）和应用组件（10.91.63.19、 10.91.63.62）；10.91.63.64和应用组件（10.91.63.16、 10.91.63.18、 10.91.63.61）均出现高延迟响应的情况初步排查单个服务器节点或者服务通信对性能问题的情况，进行业务追踪问题组件问题组件问题组件问题组件问题组件29业务量无突发增长，响应时间有增加30多个业务操作响应时间在分钟级

11、别，而业务成功率为100%业务条目追踪选择业务操作进行追踪分析31isAccept业务为业务审批的确认字段经过多段关联的追踪分析可以看到主要的业务耗时在APP-VM 的业务操作（APP-VM耗时6191.892ms，数据库操作耗时502.505ms，总耗时6694.387ms）isAccept应用操作为主要耗时32单次的isAccept业务字段操作涉及了多次数据库（生产库、交换库）操作单次数据库操作耗时较少，多为ms级别单次isAccept请求和响应报文较小APP-VM生产库、交换库单次业务关联多次数据库操作33findnoteinfobybus字段为业务号查询票据信息，业务耗时在APP-VM

12、的响应等待（APP-VM耗时4313.219ms，数据库操作耗时793.859ms，总耗时5107.078ms）单次的findnoteinfobybus查询操作涉及了多次数据库操作，每次数据库操作耗时较少，多为ms级别findnoteinfobybus应用操作为主要耗时34单次业务关联多次数据库操作单次的findnoteinfobybus业务字段操作涉及了多次数据库（生产库、交换库）操作单次数据库操作耗时较少，多为ms级别单次findnoteinfobybus请求和响应报文较小APP-VM生产库、交换库场景2单次数据库操作耗时较长3536查看自6月7日13点6月8日17点，统计数据库语句的响应

13、时间，可以看到单次数据库语句操作（查询、插入、删除）多发秒级响应时间，数据分析时间最高达到5.6s：响应时间数据库语句单次数据库操作耗时较长37单次数据库操作主要耗时在生产库处理（生产库耗时5699.372ms，交换库总耗时0.817ms，总耗时5700.189ms）数据库语句为主要耗时38生产库交换库单次的生存库操作涉及了多次交换库操作，每次交换库操作耗时较少，多为ms级别单次生存库操作请求和响应报文内容较少单次数据操作关联多次数据库操作场景3单次业务操作数据报文内容较大39acceptThrough完整业务关联追踪40外联单位安全设备:0.465ms、安全设备负载均衡:0.339ms负载均

14、衡IHS:27.420ms、HISApp-VM:7498.720ms41请求报文响应报文 查看报检审批通过（acceptThrough）操作请求，发现APP组件服务器端响应的报文非常大。有的请求的报文甚至达到了237页（word 小五号字为单位）。报文详情42对应时段数据库连接数不足40生产库连接较少43数据库业务耗时占比较少结论与建议外联单位方向丢包（第一阶段分析）运营商链路或局端设备丢包问题，如需进一步定位，需要在分局部署的分析系统。从一周的统计来看终端机性能不足仅仅是集中在部分终端：主要终端：（北京）10.11.4.58、 10.11.4.57、（天津）10.12.7.67、（石家庄）10.13.72.79、10.13.56.128、10.13.88.21、（总局）10.10.225.145主干系统IHS、应用组件多发数处理时间过长，非单一应用组件性能影响，而是整个集群和业务逻辑的性能问题：分析1:应用单次业务条目处理耗时较长，处理环节复杂，关联较多次的数