流量透明化-IPFIX流量分析解决方案技术白皮书

1、流量透明化-IPFIX流量分析解决方案技术白皮书流量透明化-IPFIX流量分析解决方案技术白皮书福建星网锐捷网络有限公司版权所有 侵权必究目录1方案背景11.1问题的提出11.2问题的归纳11.3问题的解决21.3.1网管方式21.3.2数据包监听方式21.3.3基于流（Flow）技术的方式21.3.4解决方法的评估32IPFIX技术介绍42.1IPFIX技术概述42.2IPFIX技术价值63网络透明化解决方案73.1解决方案组成73.2Exporter设备功能83.3Collector设备功能83.4Analyzer设备功能83.5Analyzer设备报表93.6业务功能展示103.6.1网

2、络用户分区管理103.6.2应用流量分析113.6.3流量目标地址统计133.6.4带宽使用实时统计143.6.5网内流量趋势163.6.6高效便捷的流量管理174网络透明化解决方案组网模式及应用184.1网络透明化解决方案组网模式184.2网络透明化解决方案应用195结束语211 方案背景1.1 问题的提出“无法被量化的将无法改进”。管理和优化网络首先要进行测量。随着 IT、网络技术的迅猛发展和企业信息化程度的不断提高，各种网络应用越来越丰富，各种应用时时刻刻都在争夺有限的网络带宽，从而导致网络管理的难度不断增大。因此，如何保证网络的可用性和关键业务的畅通运行，对用户业务发展将起到至关重要的

3、作用。随着网络的规模越来越大，IT服务的完善，网络管理者也会提出一下问题：1. 当前的上网流量占用多大带宽？这些带宽主要谁在占用？这些占用是允许的吗？在 WWW 访问之外，是不是有大量的 FTP 等下载？是允许的吗？2. DMZ 区的服务器有多少是内网用户在访问，有多少是外网用户在访问？如果是内网用户访问多（比如 DNS），是不是考虑将其迁移到服务器区？外网用户的访问有时间规律吗？ 3. 外联的服务器是提供特定用户访问吗？哪个访问流量最大？最大流量占用的用户是合法的吗？服务器是不是该扩容了？有非法用户访问这些服务器吗？ 4. 这些关键的业务服务器的带宽够用吗？是不是考虑一台服务器提供多个业务服

4、务或者多台服务器提供一个业务服务？除了生产业务外， 这些服务器是不是还提供其它无关的业务， 导致影响性能？谁访问这些服务器更多一些？这些服务器在哪个时间段最繁忙？ 5. 部门用户用于工作（访问业务服务器）的流量有多大？用于上网的流量有多大？谁更多地使用互联网？是必要的吗？谁占用的网络带宽最大？这些占用是必要的吗？哪个用户在非法扫描网络？是否有用户提供非法的下载（WWW/FTP）服务？ 1.2 问题的归纳这些问题都是流量分析问题。归结起来，所有的流量问题大致包含： 1. 这些宝贵的网络带宽谁在占用？一定时间内，谁占用最多？ 2. 这些流量到底包含哪些内容？是数据库通讯，还是 ping，还是网页访

5、问HTTP，还是 FTP 下载？ 3. 这些流量是生产业务产生的流量吗？是必要的吗？ 4. 这些流量中是否包含病毒流量？或者禁止使用的流量 （比如 ftp 下载） ？ 如果把这些问题进一步分析，会发现，这其实涉及到两个问题： 1. 流量的分布问题；是指全网中，哪些点流量大，哪些点流量小？2. 流量的构成问题；对于特定的点，流量的组成是什么？由谁发起的？目的地在哪里？1.3 问题的解决要解决这些流量问题，不是一件容易的事情，常规的方法有几种： 1.3.1 网管方式 网管方式通过启动 SNMP，来获取流量信息。但是，SNMP 只能获取流量的字节数，无法获取字节的构成，更无法获取流量的发起方。 该方

6、法可以解决流量的分布问题，无法解决流量的构成问题。 该方式主要用于设备的管理，而不适用于精细的流量分析。 1.3.2 数据包监听方式 该方法是将关注的流量串联到或者镜像到分析仪器（包括软件分析，比如sniffer），通过分析仪器来获取流量的构成和细节。该方法可以做到流量的精细化分析，做到 27 层的流量分析，但是，缺点也很明显，只有在部署分析仪器的地方进行流量分析， 如果做到全网多节点流量监控， 必须部署多个分析仪器，导致部署成本急剧上升。 该方式可以很好解决流量的构成问题，但几乎无法解决流量的分布问题。 该方式适用于对少量关键点的监控，常用于专业工程师的故障诊断，不适合大规模日常使用。 1.

7、3.3 基于流（Flow）技术的方式 该方式是让网络设备在转发数据流量的同时，生成特定的流量信息，然后将流量信息发送到特定的分析模块，进而实现对流量的分析。 该方式的优势是明显的，理想情况下，如果让网络中的每台网络设备均发出流量信息，那么就可以轻松解决流量的分布问题，同时解决流量的构成问题。缺点是各厂商提供的流分析技术都是私有技术无法通用。也正是基于此，国际化流量监控标准技术IPFIX（IP Information flow Export）应运而生。1.3.4 解决方法的评估网管方式无法进行流量构成分析，不再讨论。 对于数据包监听方式和流（Flow）技术的方式：由于分析仪器的昂贵，监听方式不适

8、用于大规模部署，而且分析到 7 层应用后，容易使用户隐私受到侵犯；而流（Flow）技术的分析方式功能均衡而强大，对流量的分析只到业务字节，不涉及应用级，无隐私顾虑。如果以监控 20 个物理端口为例进行投资估算，监听方式在几十万甚至上百万人民币数量级，基于流（Flow）技术的流量分析方式成本大大降低。因此，流（Flow）技术方式更适合网络流量分析。 2 IPFIX技术介绍2.1 IPFIX技术概述基于流的技术被越来越广泛地用于刻画网络传输流，它在设置QoS策略、部署应用和进行容量规划上都有着巨大的价值。但是，网络管理员却缺少一种输出传输流的标准格式。IPFIX全称为IP Flow Informa

9、tion Export，即IP数据流信息输出，它是由IETF公布的用于网络中的流信息测量的标准协议。该协议主要在于：l 统一IP数据流的统计、输出标准，这使得网络管理员很容易地提取和查看存储在这些网络设备中的重要流量统计信息。l 输出格式具有较强的可扩展性，因此如果流量监控的要求发生改变，网络管理员也可通过修改相应配置来实现，不必升级网络设备软件或管理工具。IPFIX定义的格式以Cisco Netflow Version 9数据输出格式作为基础，可使IP流量信息从一个输出器（Exporter）传送到收集器（Collector）。因为IPFIX是一种针对数据流特征分析、基于模板的格式输出的协议，

10、因此具有很强的可扩展性，对于不同的需求都可以定义不同的数据格式。为了较完整的输出数据，IPFIX缺省使用网络设备的七个关键域来表示每股网络流量：l 源 IP 地址l 目的 IP 地址l TCP/UDP 源端口l TCP/UDP 目的端口l 三层协议类型l 服务类型（Type-of-service）字节l 输入逻辑接口如果不同的 IP 报文中所有的七个关键域都匹配，那么这些 IP 报文都将被视为属于同一股流量。通过记录网络中这些流量的特征，如流量持续时间、流量中报文平均长度等， 我们可以了解到当前网络的应用情况，并根据这些信息对网络进行优化，安全检测，流量计费。IPFIX记录除了缺省的记录流信息

11、，可以基于模板的格式随意选择。锐捷交换机IPFIX记录的流信息非常丰富，基本流输出如下信息（可随意调整选择）：l 流开始时间l 流结束时间l 流的字节数l 流的报文数l 源IP地址l 目的IP地址l 源端口号l 目的端口号l 入接口l 出接口l 协议类型l IP TOSl TCP Flagsl 下一跳IP地址l 下一跳BGP地址l 源BGP AS Numberl 目的BGP AS Numberl 最小报文长度l 最大报文长度l 报文最小TTLl 报文最大TTL锐捷交换机IPFIX流信息有如下特点：l 除了基本的流统计信息外，还记录TCP Flags、最小报文长度、最大报文长度、最小TTL、最大

12、TTL，通过这些信息可以对网络攻击和网络安全进行分析。l 除了基本的流统计信息外，还记录下一跳IP地址、下一跳BGP地址、源BGP AS Number目的BGP AS Number、出接口，通过这些信息可以对网络故障和网络规划进行分析。l 流的标识（关键字）不只上述规定的7元素，还包括下一跳IP地址、下一跳BGP地址、源BGP AS Number目的BGP AS Number、出接口，当流的7元素没有改变时，而是网络拓扑改变时（比如下一跳地址改变），那么也会作为一个新的流，这些信息有助于分析网络环境的改变、或者网络拓扑抖动等问题。2.2 IPFIX技术价值1. IPFIX统一了流量监控标准，通

13、过使用单一的、一致的模型，简化了流输出架构。随着IPFIX标准更广泛地为网络设备厂商采用，网络管理员不用再为支持多个流报告应用而操心，每个应用都有自己的流输出格式。IPFIX让他们可以使用一个符合这项标准的流报告应用程序。此外，IPFIX的可扩展性使得网络管理员不必在传输流监测或报告需求发生变化时修改或升级设备配置。2. IPFIX标准关注网络升级时的流输出可扩展性。随着MPLS、IPv6和多播路由等网络技术的日益普及，管理员也需要更好地了解它们对网络环境的影响，这种可扩展性就变得越来越重要。为了确保这种可扩展性的轻松实现，IPFIX兼容设备将输出模板，这些模板详细说明那些为输出而配置的流“特

14、征”。流的采集和报告应用程序可以被用来读取这些模板，以了解哪些“特征”被输出，因此网络管理员不需要调整应用程序配置。3. IPFIX RFC定义了不同的流输出应用，包括基于使用的统计、传输流分布、传输流工程、攻击/入侵检测和QoS监测。例如，支持IPFIX的流报告应用程序通过读取服务类型字节流“特征”，可以显示每一个等级的QoS服务会消费多少网络传输流。此外，流量报告应用还可以显示应用和用户如何根据服务类型策略分类。支持IPFIX攻击/入侵检测的应用将能够提供基准协议（Baseline）和地址数据来确定网络异常现象。4. IPFIX描述对于流量输出至关重要的众多规则，包括时间戳、时间同步、流终

15、止、数据包分段和多播流行为。例如，传送多播应用流的IPFIX兼容设备应当输出反映每一个进入设备接口的流记录。此外，这类设备应当输出通过多播传送给同一台设备上所有输出接口每个数据包的流记录。同使用多播输出行为一样，RFC中列出的其他规则使网络设备厂商可以更好地了解IPFIX标准的支持要求,以及它如何在已有的技术中实现集成。3 网络透明化解决方案3.1 解决方案组成IPFIX是基于“流”的概念，一个流是指，来自相同的子接口，有相同的源和目的IP 地址，协议类型，相同的源和目的协议端口号，以及相同ToS的报文，通常为5 元组。IPFIX会记录这个流的统计信息，包括：时间戳，报文数，总的字节数。网络透

16、明化解决方案包括：流量采样设备（Exporter）、流量采集设备（Collector）、数据分析处理设备（Analyser），三个设备之间的关系如下图所示： 图：解决方案的组成l Export设备对网络流进行分析处理，提取符合条件的流统计信息，并将统计信息输出给Collector设备。l Collector设备负责解析Export的数据报文，把统计数据收集到数据库中，可供Analyser进行解析。l Analyser设备从Collector中提取统计数据，进行后续处理，为各种业务提供依据,以图形界面的形式显示出来。Exporter 提供IPFIX技术接口的网络设备（锐捷网络公司的路由器和交换机

17、，交换机需要配置高性能的IPFIX 流量分析模块），负责对设备各个端口进出的网络报文进行流分类统计，然后封装成IPFIX报文输出。 Collector Collector设备可以采集一个或多个Exporter设备输出的数据，对数据进行过滤和聚合，并将数据存储在数据库中供分析处理。 AnalyserAnalyser是一个网络流量的分析工具，对采集来的流量数据进行分析处理。为便于网络管理人员的操作，采用基于Web形式访问，提供直观的、图形化的管理界面，所有数据输出都直接在Web页面中显示。 3.2 Exporter设备功能Exporter作为支持IPFIX流量分析技术的网络设备，首先需要打开网络设

18、备的侦听端口，然后配置将IPFIX日志要发送到哪个IP的哪个端口（即Collerctor设备的监听端口）,也就是配置输出目的IP地址和目的端口。同时也要配置输出IPFIX报文的源地址和输出模板相关参数这样，设备就会把IPFIX日志以UDP包的形式发往Collerctor设备，而Collerctor设备NTC则可从侦听端口源源不断的接收IPFIX日志。3.3 Collector设备功能IPFIX日志被Collector设备采集到之后，将会做聚合处理；流聚合模式，就是通过其定义的特定关键字段，对主模式的流进行重新的聚合产生新的流。系统为这些聚合模式保留一定的缓存，类似于主缓存，这里称作流聚合缓存。

19、当一个流记录从主缓存出来后，它包含的流信息将用于对每个使能的流聚合缓存中相应的流聚合记录进行更新。这样可减少最终存入数据库的的数据量，并提高了分析的效率。同时，Collector设备也会对存入数据库的数据作进一步的统计处理，以便快速产生各类分析报表。例如由于主模式流记录可能很多，所以锐捷网络另外提供了一种快速查看的模式，即top-talkers。这是一种将流记录按一定规则排序后，只显示排序前若干位的记录的模式，便于用户在大量的数据中抓住重点，提供快速的分析手段。3.4 Analyzer设备功能Analyzer设备 对 Collector设备生成的所有数据进行分析，对数据进行二次聚合、统计分析，

20、获取网络的深入可见性，即关于每个链路和基于可配置IP的部门/分部的大型主机、应用程序、DSCP、TCP标志和AS信息。基于IP地址的细粒度应用程序分类和识别。分析的结果以非常直观的图表、表格等形式展示给用户，通过这些分析结果，用户可以监控网络使用状况、应用使用状况、用户网络访问行为，通过深入分析特定的应用程序、用户、端口或通信网络，用户可准确识别峰值和爆发的资源，从而主动监控，做出明智的决定。3.5 Analyzer设备报表Analyzer预置了一组丰富的带宽报表，提供全面的带宽使用统计数据，帮助用户查看造成网络瓶颈的特定主机、应用或对话明细。除快速识别堵塞的链路以外，还可以查看不同时间段的带

21、宽使用趋势，有助于用户在带宽规划和加强安全策略方面做出重要决定，从而有效利用带宽。流量使用报表查看一个接口的当前、平均和峰值流量使用情况。了解某个接口使用多少有效带宽。历史报表查看带宽使用每日、每周、每月的流量报表。查看基于主机、应用和时间的使用趋势。流量分析查看不同时间段的应用、主机、对话排行，并获取详细信息。清楚呈现谁使用最多的带宽，做什么。自定义报表查看特定主机、应用或对话的带宽使用情况。利用该报表，用户可以关联信息，查看谁在什么时候使用带宽、用于什么应用、多长时间。 Subnet和基于IP范围的报表查看通过特定subnet或IP范围的流量报表。每个网络或subnet的带宽使用，确定通过

22、用户组的高峰时间和典型使用趋势。接口报表查看不同时间段每个接口的带宽使用汇总。获取高峰时间接口使用统计数据，便于解决网络瓶颈。 可解析的主机地址所有流量报表，包括可解析的资源和目标IP地址，即时查看流入或流出网站或主机的带宽统计数据。变量显示查看流量图表，包括流量(Kb),流量速率(bps)，或链路利用百分比。报表输出输出并保存PDF文件的图表和报表3.6 业务功能展示3.6.1 网络用户分区管理设备分组：能够按区域区分流量，实现分区管理；IP分组：将流量源IP进行分组，可按组织架构进行流量区分，以掌握各部门的流量情况。图：IP分组管理3.6.2 应用流量分析此类报表显示了每个应用的带宽使用情

23、况，以便了解哪些应用占用最大带宽。还可以深入分析使用这些应用的源和目标。只需简单点击，这些详细信息即可呈现谁在使用带宽以及为什么使用。然后就可以决定是否需要增加可用带宽或加强安全策略。图：应用带宽分布表通过对流量的识别，统计网内流量的占比，知道各种业务流量的大小、变化趋势，以规划和优化网络。所有流量报表，包括可解析的资源和目标IP地址，即时查看流入或流出网站或主机的带宽统计数据。能够实现对一个具体IP应用的深入分析，以便管理员了解IP流量异常时的流量分配，作出判断，给出相应的安全策略。图：业务应用分析图：具体IP应用的深入分析3.6.3 流量目标地址统计通过流量流向的TOP N统计，能够识别受

24、欢迎的地址。同时能够识别这些地址的协议内容。图：目的流入排行榜报表图：具体一个目的IP的流入排行榜3.6.4 带宽使用实时统计此类报表用来查看每个启用IPFIX的接口当前、平均和最高的带宽使用情况。利用这些带宽使用的统计数据，就可以立刻了解某个接口相关的主机、应用和会话占用了多少带宽。图：带宽使用实时统计图：基于接口速度、接口利用率、IP组速度、IP组利用率进行排行图：基于接口的报表统计3.6.5 网内流量趋势查看带宽使用每日、每周、每月的流量报表。查看基于主机、应用和时间的使用趋势。一天、一周、一月和一年内的带宽使用趋势，并决定是否需要升级带宽。从网络总容量、速度、使用率、数据包四个维度去统

25、计和分析趋势；根据几个指标的饱和度，可以考虑是否需要对网络进行扩容；同时预测负载峰值时间，采取有效措施保证网络不会过载。图：内网流量趋势表3.6.6 高效便捷的流量管理提供基于流量阀值的报警机制，用户可灵活的定制告警条件，预防网络流量异常；提供基于WEB的访问方式，管理员可以“随时、随地”的监控自己的网络。图：流量管理配置报警表4 网络透明化解决方案组网模式及应用4.1 网络透明化解决方案组网模式图：IPFIX在网络各层中的应用利用IPFIX日志，网络透明化解决方案提供了一种网络监测、分析的方式，直接从支持IPFIX功能的路由器和交换机中收集流量信息，可以灵活启动不同层面（接入层、汇聚层、核心

26、层）的网络设备进行IPFIX流量日志收集，并将收集的内容以IPFIX 格式的日志输出给Collerctor设备进行分析。 用户使用Analyser的分析功能， 可以做网络使用状况监控、 用户行为追踪、异常流量检测等，并且基于功能丰富的报表，用户可以做网络规划方面的决策。4.2 网络透明化解决方案应用IPFIX技术定义了一种路由器/交换机向管理系统输出流量数据的方法， 通过采集和分析流量数据，并将流量数据与管理控制台中的其他网络和应用性能指标建立关系，对网络运行状态进行管理。IPFIX技术的IP网络流量数据报文中包含许多有价值的流量统计数据，这些流信息充分揭示了有关网络使用的问题l 流量的分布问题；是指全网中，哪些点流量大，哪些点流量小？l 流量的构成问题；对于特定的点，流量的组成是什么？由谁发起的？目的地在哪里？利用网络透明化网流分析系统对这些数据进行统计分析，就能从中提取出网络流量特征，从而为网络管理员提供一张丰富而详尽的网络利用视图。 网络优化 网络透明化解决方案，可以使网络管理员及时掌握网络负载状况，网内应用资源使用情况，对核心网络的重点链路进行统计，各类TOP应用百分比，使用各类应用的网内用户、服务器的流量趋势及统计值，迅速发现网络当前的使用状况和不同链路的使用率变化趋势，尽早发现网络结构的