《CSNA网络分析认证专家实战案例》课件-第14章

第14章某集团LIMS服务器访问ERP系统故障分析14.1故障描述14.2具体分析14.3推荐解决方法

14.1.1故障现象

某集团LIMS(LaboratoryInformationManagementSystem，实验室信息管理系统)从2008年11月1日正式接入网络，开始对ERP(EnterpriseResourcePlanning，企业资源计划)系统进行访问。同时，集团内部还有很多用户对ERP系统进行访问。14.1故障描述从2009年1年5日开始，ERP系统时常出现访问速度慢、业务瘫痪甚至ERP系统死机的情况。集团网络管理人员分析后发现，当LIMS系统断开与ERP系统的链路时，ERP系统一切正常。

继续分析后发现，在LIMS系统与ERP链路相连的时候，如果LIMS系统使用手动模式，ERP工作正常，但使用自动模式(每5分钟一次查询)，即会出现故障，导致ERP系统不能正常工作。LIMS系统开发商表示，自动和手动工作模式，在工作时没有任何区别。

对LIMS系统进行了彻底的安全检查、病毒木马查杀，均未发现任何异常。对ERP系统进行了彻底的检查，也一切正常。14.1.2网络拓扑

LIMS访问ERP系统的拓扑如图14-1所示。从图中可知，LIMS访问ERP的链路非常简单，具体是LIMS服务器→接入交换机→核心C6509E→数据中心C6509E→ERP系统。

图14-1

14.2.1捕获数据包

通过上述分析，明确了该故障属于应用故障，而不是网络故障。由于已对该应用的两端(LIMS和ERP)进行过彻底检查，故在此情况下，我们捕获并分析了该应用的原始数据包。捕获数据包的位置是在LIMS服务器和接入交换机之间串接一个HUB，然后将捕获数据包的笔记本接入到HUB上，如图14-2所示。14.2具体分析

图14-2从捕获的数据包可知，不管是手动模式还是自动模式，LIMS对ERP每进行1次访问，均会创建3个连接，其中前2个是LIMS从ERP下载数据，第3个是LIMS上传数据到ERP，第3个与第2个连接之间相隔约105秒(此时间应该是LIMS检查本地是否存在更新)。

自动模式下首先进行的是LIMS从ERP下载数据，然后是LIMS上传数据到ERP。手动模式下可自由选择顺序(测试时两种顺序都进行了测试，下面的分析选择和自动模式一样的顺序，即先从ERP下载，再上传到ERP)。14.2.2LIMS访问ERP的RFC函数及模块

通过科来的TCP数据流重组可以知道，自动和手动两种模式下，LIMS调用SAP的RFC函数只有极少数存在差异，具体如下：

1．自动模式

LIMS从ERP下载数据，此过程包括2个连接。

(1)第1个连接调用SAP函数及模块的顺序如下：

RFCPING

RFC_SYSTEM_INFO

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

IRF_SEND_INSP_REQUIRMENTS

(注：连续调用此函数若干次)

(2)第2个连接调用SAP函数及模块的顺序如下：

RFCPING

RFC_SYSTEM_INFO

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

QIRF_SEND_REQUIRMENTS_GET_DATA

(3)

LIMS上传数据到ERP，调用SAP函数及模块的顺序如下：

RFCPING

RFC_SYSTEM_INFO

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

QIRF_GET_ALL_DATA_VALUE

2．手动模式

LIMS从ERP下载数据和自动模式一样，此过程也包括2个连接。

(1)第1个连接调用SAP函数及模块的顺序如下：

RFCPING

RFC_SYSTEM_INFO

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

RFC_GET_UNICODE_STRUCTURE

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

QIRF_SEND_INSP_REQUIRMENTS

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

QIRF_SEND_INSP_REQUIRMENTS

(注：连续调用此函数若干次)

(2)第2个连接调用SAP函数及模块的顺序如下：

RFCPING

RFC_SYSTEM_INFO

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

QIRF_SEND_REQUIRMENTS_GET_DATA

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

QIRF_SEND_REQUIRMENTS_GET_DATA

(3)

LIMS上传数据到ERP，调用SAP函数及模块的顺序如下：

RFCPING

RFC_SYSTEM_INFO

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_FUNCTION_INTERFACE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

RFC_SYSTEM_INFO

RFC_GET_UNICODE_STRUCTURE

QIRF_GET_ALL_DATA_VALUES14.2.3疑问及故障原因

1．多余的连接

不管是自动模式还是手动模式，不论是否存在更新，LIMS都会和ERP发起3个连接。这3个连接中，前2个检查ERP端是否有更新及下载，是必须的，第3个连接是用于上传LIMS端的更新到ERP。如果LIMS端在没有更新的时候，则不应该发起这个连接，但现在的情况是，不论LIMS端是否存在更新，都会和ERP发起这个连接。这个连接会白白耗费网络和服务器资源，可向LIMS开发人员了解相关的情况。同时，在第3个连接中，LIMS存在1次响应非常慢的情况，如图14-3和图14-4所示。

图14-3

图14-4在手动模式下，第3个连接中LIMS端有个数据包的响应时间为1分4秒(见图14-3)，在自动模式下，该数据包响应时间为57秒(见图14-4)。从而使得LIMS访问ERP的速度较慢，ERP系统资源将被长久占用，影响ERP对其他客户端访问的响应。

2．TCP急迫位置1

不论是自动模式还是手动模式，从数据包中都发现一个严重的问题，应用层对LIMS和ERP的整个访问都进行了控制。LIMS端发出的数据包，除TCP握手、关闭及纯粹的ACK应答数据包外，均将TCP急迫位(PushFunction，PSH)置1，如图14-5所示。

图14-5

TCP急迫标志位被置1的数据包拥有比常规数据包更高的优先级，接收端收到TCP急迫标志位置1的数据包时，直接将其发送到应用层进行处理，而不用等待。示例：

假设ERP目前负载较大，TCP缓存里有500KB的数据正在排队等待发送到应用层。如果这时ERP再收到一个500B的常规数据包，那么这个数据包将在TCP缓存里面排队，待前面的500KB传输完毕后，再发送到应用层处理；如果这时ERP接收到一个TCP急迫位置1的500B的数据包，这时ERP会立即将这个500B的数据包，连同缓存中的500KB数据一起送到应用层处理。由于ERP负载已经非常大，在这种特殊情况下，ERP系统将不能承受，由此导致服务器出现响应慢，甚至死机的现象。所以，当其他用户正在对ERP进行访问时，LIMS发起了与ERP的通信，由于LIMS发起的绝大部分数据包都将TCP急迫位置1，因而LIMS发向ERP的数据将被直接送到应用层让ERP