网络流量分析解决方案技术白皮书H3C

1、 网络流量分析解决方案技术白皮书 关键词：DIG、NetStream 、NTA、网络流量、网流分析 摘 要：网络流量分析是一个有助于网络管理者进行网络规划、网络优化、网络监控、流量趋势分析等工作的工具， 通过对网络信息流(NetStream )的采集并分析可帮助网络管理者得到网络流量的准确信息，为网络的正常、 稳定、可靠运行提供保障。本文档介绍了 H3C公司的网络流量分析解决方案( Network Traffic Analysis )的 结构组成、功能、以及部署建议，有助于用户更好的理解 H3C的网络流量分析解决方案的功能和特点。 缩略语清单： Noun Explanation 中文解释 NT

2、A Network Traffic Analysis 网络流量分析解决方案 方案背景 随着网络的应用越来越广泛，规模也随之日渐增长，网络中承载的业务也越来越丰富。企业需要及时的了解到网络 中承载的业务，及时的掌握网络流量特征，以便使网络带宽配置最优化，及时解决网络性能问题。目前企业在管理网络 当中普遍遭遇到了如下的问题： 1、 网络的可视性：网络利用率如何？什么样的程序在网络中运行？主要用户有哪些？网络中是否产生 异常流量？有没有长期的趋势数据用作网络带宽规划？ 2、 应用的可视性：当前网内有哪些应用？分别产生了多少流量？网络中应用使用的模式是什么？企业 内部重要应用执行状况如何？ 3、 用户

3、使用网络模式的可视性：哪些用户产生的流量最多？哪些效劳器接收的流量最多？哪些会话产 生了流量？分别使用了哪些应用？ 从这些企业管理网络中所经常遇到的问题来看， 需要有一种解决方案能让网络管理人员及时了解到详细的网络使用 情形，使网络管理人员及时洞察网络运行状况、及时了解网内应用的执行情况。 为了应对企业网络管理中的这些问题，于是， H3C公司的NTA ( Network Traffic Analysis )解决方案应运而生! 所谓的工欲善其事，必先利其器， NTA解决方案可以帮助网络管理人员了解企业内部网络之运行状况，及时发现并 解决网络中的性能瓶颈问题、网络异常现象，也能方便用户进行网络优化

4、、网络设备投资、网络带宽优化等的参考，并 方便网络管理员及时解决网络异常问题。 NetStream 技术介绍 在理解Network Traffic Analysis解决方案之前， 首先需要了解NetStream的一些根本概念， 它们是该解决方案的根底。 “流概念 NetStream的流定义为：由源到目的方向的一系列单向的数据包。 NetStream流是通过7元组来标识的，即通过接口索引、源 IP地址、目的IP地址、源端口号、目的端口号、协议号和 ToS组成的七元组确定一个 NetStream流，设备根据七元组信息对过往的数据包进行 NetStream统计。 下列图中就包括四条流： 从Clien

5、t A到WWW Server 方向通信时产生的流； 从WWW Server至U Client A方向通信时产生的流； 从Client B至U FTP Server方向通信时产生的流； 从FTP Server至U Client B方向通信时产生的流； 图1网络中流的举例说明 从上例中可以很容易地理解，流是单向的，同时流也是基于协议的。形象地说，通过 NetStream流可以记录下来网 络中 who、what、when、where、how。 NetStream 技术 NetStream是H3C公司基于“流的概念，定义了一种用于路由器 /交换机输出网络流量的统计数据的方法，路由器 / 交换机对通过其

6、的IP数据包进行统计和分析，并上报给网流采集器，网流采集器把搜集的数据包及统计数据传送到网流 分析器，经合并处理后存入数据库，并进行进一步的分析处理。 NetStream技术可利用网络中数据流创造价值，并可在 最大限度减小对路由器 /交换机性能影响的前提下提供详细的数据流统计信息。 NTA解决方案介绍 FTP* Uiert BISAW WW/Ssrvar FT P Server FTF*讪岫B NTA系统组成 Network Traffic Analysis 解决方案包括： 网流采样设备 (NetTraffic Exporter )、网流流采集设备 (NetTraffic Collector

7、)、 数据分析处理设备(NetTraffic Processor ),三个设备之间的关系如下列图所示： 图2 Network Traffic Analyze 各组成局部的关系 NTE负责流量的采集和发送， NTC设备负责收集和存储 NTE发来的流量统计数据信息； NTP从数据库中获取收集到 的数据，经分析加工后以直观的图表、报表等方式为网络规划、网络优化、网络监控、流量趋势分析、异常检测等提供 直接的数据依据。 1) NetTraffic Exporter 提供NetStream技术接口的网络设备 (H3C公司的路由器和交换机及华为公司的路由器) ，负责对设备各个端口进出 的网络报文进行流分类

8、统计，然后打包输出。 2) NetTraffic Collector NTC可以采集多个NTE设备输出的数据，对数据进行过滤和聚合，并将数据存储在数据库中供分析处理。 3) NetTraffic Processor NTP是一个网络流量的分析工具，对采集来的流量数据进行分析处理。为便于网络管理人员的操作，采用基于 Web 形式访问，提供直观的、图形化的管理界面，所有数据输出都以友好的形式直接在 Web页面中显示。 NTE设备功能 作为支持NetStream的网络设备，首先需要翻开网络设备的侦听端口，然后配置将 NetStream日志要发送到哪个IP的 哪个端口(即NTC设备的监听端口)。这样，

9、设备就会把 NetStream日志以UDP包的形式发往NTC ,而NTC那么可从侦听 端口源源不断的接收 NetStream日志。 NTC设备功能 NetStream日志被NTC设备采集到之后，将会做聚合处理，这样可减少最终存入数据库的的数据量，并提高了分析NTE 网络NTC 网流糅割XLog) NIP 网流分新器iXLog) 的效率；同时，NTC设备也会对存入数据库的数据作进一步的统计处理，以便快速产生各类分析报表。 NTP设备功能 NTP对NTC生成的所有数据进行分析， 对数据进行二次聚合、 统计分析，分析的结果以非常直观的图表、 表格等形式展示给用户， 通过这些分析结果， 用户可以监控网

10、络使用状况、 应用使用状况、用户网络访问行为, 并可监控到流量异常状况以便用户进一步做分析。 报表功能 用户可根据统计分析的需求，自定义报表生成规那么，由报表引擎生成报表，并将统计分析的结果以饼图、 曲线图、统计信息表格等直观的形态展示出来。 当前实现的报表功能列表和简要说明如下： -功能类别 功能工程 功能说明 配 置 功 能 设备接口自动 识别 对指定的设备设备 IP地址、团体字， 自动发现其各种接口 设备物理端口 的流量统计 对指定的设备的物理端口流量通过 SNMP 方式进行统计 接口组设置 对自动发现的接口按组进行分类，并按组 进行统计 设置应用聚合 策略 设置统计实时性 系统参数设置

11、 设置TopN的N值大小，数据保存时间， 以及磁盘使用方面的信息 应用管理设置 修改预先定义好的网络应用的端口号和协 议号，以及新增未知网络应用的端口号和 协议号 分 析 功 能 设备接口流量 统计 显示设备各个接口的流量值和接口的带宽 占用率 基于接口的流 里分布 指定设备、接口和时间段，显示其流量在 这段时间的趋势图 基于接口的应 用分布 指定设备、接口和时间段，显示其各种应 用TopN 流量在一段时间的趋势图和比 例例 基于接口的源 IP TopN 指定设备、接口和时间段，显示其流量排 名靠前的TopN源IP地址以及流量值和占 用流量的比例 基于接口的目 的 IP TopN 指定设备、接

12、口和时间段，显示其流量排 名靠前的TopN目的IP地址以及流量值和 占用流量的比例 基于接口的会 话 TopN 指定设备、接口和时间段，显示其流量排 名靠前的TopN源和目的IP会话以及流量 值和占用流量的比例 基于接口的应 用相关TopN 源IP和目的IP 列表 指定设备、接口，在应用流量趋势图中， 查看指定应用的 TopN源IP地址和TopN 目的IP地址 基于接口的 TopN源IP相 关的应用 TopN 列表和 会话TopN目 的IP列表 指定设备、接口，在源 IP TopN列表中， 查看指定源IP地址的应用TopN排名和会 话TopN的目的IP地址 基于接口的 TopN 目的IP 相关

13、的应用 TopN 列表和 会话TopN源 IP列表 指定设备、接口，在目的IP TopN列表中， 查看指定目的IP地址的应用TopN排名和 会话TopN的源IP地址 基于接口的 TopN 会话相 关的应用明细 指定设备、接口，在会话 TopN列表中， 查看其会话的应用明细列表一流量值和所 占比例 支持周期报表 提供网流周期性每小时、每日、每周、每 月状态的综合报表，提供直观的网流状态 展刀、O 支持即时报表 提供网流当前状态最近一小时的综合 报表，提供准实时的网络流量展示。 - 1 报表展示 目前对于NetStreamV5日志，NTP提供以下统计分析报表： 1、流量统计报表-给出一段时间内入出

14、流量的趋势图，以及按入出流量统计总流量、最大速率、最小速率、平均速 率，并给出流量明细信息： 门剑，411 .3DM 0|91* 30 QD niB loot a an m MO* M M 11 D m D 00 家 24 1 9 *0 00 0 00 w mm. jit，m I n 制nn mf AR hia Tfir|fLriL i p 5 nri * til J BP I “lOMIsf ?T 1 ?41CI l l lifi| t 兀诵I 姑J 3 S4| 53 t-s-Viee -Ifl 1-SJ ，h to fc!3 M 忙心b 5ft ij -10 E 11 hF 1-3 3 e

15、c ，但 fSl l ! ， If 10153 130 32 IQ 1&J1J45 10153 21 175 W1B11N11 ID 15121 W1S3 21 M W153 71 5T ID 1533 54 513 3 tQ 151J 55 10153 J 55 153155 iD IS J 5 ID 153 3 54 3 n GO 3 63 OB jee OB w OB 2 ?0 r?B 馈睥 2 UQB 图10会话统计报表 9、会话明细报表一一给出会话统计报表中，某对 IP之间在一段时间内产生的流量的趋势，并给出这对 IP之间通信 嘉小 43枇 ICMF 7 4 小 4T DIG

16、采集设备 针对一些不支持NetStream技术的网络设备，H3C公司还提供了一种 DIG采集设备，只要网络设备支持端口镜像， DIG 采集设备能直接从镜像端口收集网络流量信息，并形成 DIG日志提供给NTC/NTP进行流量分析。 DIG日志 DIG日志又称为探针日志，是由探针型采集器即 XLog DIG日志探针组件 直接从交换机的镜像端口、 共享式HUB 或分流器中采集用户上网信息，并对访问网络的数据包进行分类统计而生成的日志记录。 目前，DIG日志的版本是1.0, DIG1.0日志记录包含以下内容： 开始时间 结束时间 源IP地址 目的IP地址 源端口号 目的端口号 协议类型目前区分 TCP

17、、UDP和ICMP三种协议 输入包个数 输出包个数 输入字节数 输出字节数 DIG采集设备 DIG日志采集器所需要做的工作是把流经设备端口的数据报文中，按照 DIG日志的数据格式对数据报文进行过滤和 统计，最终形成DIG日志输出。DIG采集器有以下几种方式对网络设备端口的数据报文进行采集： 1、 从镜像端口采集 对于支持镜像端口的交换机、路由器设备，可以将镜像端口直接同 DIG日志探针组件的采集网卡相连，实现数据采 集。此类采集方式，需要设置设备镜像端口，保证镜像端口和采集网卡的类型匹配、带宽匹配。 2、 分流器采集 在设备不支持镜像端口的情况下，为了不影响设备性能，比拟专业的采集方案是采用分

18、流器，从设备端口接收网络 数据报文。此方案通常应用于光纤链路，价格高昂。 3、 共享式HUB采集图12 NTA解决方案典型组网 对于不支持端口镜像的设备，且需要监控的端口带宽小于 100M的情况下，可以使用共享式 HUB实现对端口数据的 采集。但这种方式很容易引起网络单点故障，不推荐使用。 DIG日志探针组件对采集到的原始网络报文进行实时处理，需要对报文进行过滤处理，也就是说根据过滤规那么，要 过滤掉一些不希望继续处理的报文；然后可进行聚合处理，即按照预置聚合条件将多条报文聚合成一条，这样就减少了 后续处理以及归档的日志数据量。聚合之后， DIG日志探针组件将会形成 DIG日志，并将DIG日志

19、发送给NTC/NTP进行 处理。 NTA解决方案的典型组网 利用NetStream日志，NTA提供了一种网络监测、分析的方式，直接从支持 NetStream功能的路由器和交换机中收集 流量信息，可以灵活启动不同层面接入层、会聚层、核心层的网络设备进行 NetStream流量日志收集，并将收集的 内容以NetStream格式的日志输出给 NTC/NTP设备进行分析。用户使用 NTA的分析功能，可以做网络使用状况监控、用 户行为追踪、异常流量检测等，并且基于功能丰富的报表，用户可以做网络规划方面的决策。 NetStream日志可以开启在路由器中、会聚层 /核心层交换机中。 NTA的应用场景 Net

20、Stream技术定义了一种路由器/交换机向管理系统输出流量数据的方法，通过采集和分析流量数据，并将流量数 据与管理控制台中的其他网络和应用性能指标建立关系， 对网络运行状态进行管理。 NetStream技术的IP网络流量数据报 文中包含许多有价值的流量统计数据，这些流信息充分揭示了有关网络使用的“ 4W问题： Who :谁IP使用了网络？ What:网络流量的类型是什么？ When：在什么时间使用网络，使用了多长时间？ Where :网络流量流向何处？ 利用NTA网流分析系统对这些数据进行统计分析， 就能从中提取出网络流量特征， 从而为网络管理员提供一张丰富 而详尽的网络利用视图。 网络优化

21、通过NTA解决方案，可以使网络管理员及时掌握网络负载状况，网内应用资源使用情况，尽早发现网络结构的不合 理，或是网络性能瓶颈，尽快作出网络优化方面的决断，使网络带宽分配最优化，为用户提供高品质的网络效劳，并且 防止了网络带宽和效劳器瓶颈问题。 各类TOR庄用苜比祁比 ，使用者英反用BA期内用户.犀野器的口怎隽及统 THI OPF通信对产生房晶的罚比及其使用的成周他 tt,以及对童忧籍希鼬 - 丁 力 - - - - - - / jF f ; A 图13网络优化的应用场景 网络规划参考 利用NetStream流日志以及NTA长期监控网络带宽而形成的各类趋势报表，有助于网络管理员跟踪和预测网络链路

22、 流量的增长，从而能有效的规划网络升级例如，增加路由效劳、端口或使用更高带宽的接口。LAN 分析系统分析系统 LAN 图14网络规划参考应用场景 1.1 WAN流量监测 对于一个企业来说， WAN带宽通常是有限的，如果 WAN链路上的流量增大，通常企业的做法就是进行投资以升级 WAN链路，但是如果企业能掌握 WAN流量的特征，制定相应的策略比方 QoS和针对源或目的IP地址作流限制，就 管理员洞察 WAN链路的流量特征、承载的应用、用户使用状况，从而针对是否应投资升级带宽快速的作出快速响应! 图15 WAN流量监测应用场景 1.2 网络流量异常监测 网络管理员都希望在网络性能突然下降的时候找到“真凶所在，并迅速解决问题。利用 NTA解决方案提供的某段 时间内的流量、应用趋势分析，可非常直观的看到网络流量是否有突然增长或突然下降的现象，并进一步分析出是哪些 用户产生了最多的流量、使用了哪些应用以至于网络运转出现性能问题。并根据最终分析结果，网络管理员可快速的解 能使WAN带宽得到最合理最充分的使用，防止进行不必要的升级投资，而 NTA解决方案所提供的分析结果能够使网络 基于设番援口的均基于设番援口的均H心心A出越参出越参 ，恢布3董切庄胴93人 世笑矜拼 *告关DP用日分比.同比 Il il emet IntEict 蜻计某一彪肘日内与蜻计某一彪肘日内与WAN