互联网流量管理系统

1、互联网流量管理系统2概述随着互联网的快速发展，人们不断在互联网的数据采集和分析方面进行 深入研究和系统开发，以期能向社会提供丰富的统计和决策分析信息，同时 提高对互联网业务的控制和监管。国内外互联网数据采集分析方法主要分 为3类，即采用SNMP协议、RMON协议或NetFlow技术采集数据。但是国内外 同类产品在具体应用中都有一定的局限性1 。考虑到应用的安全性，更希望能采用具有国内自主知识产权的产 品。本文对数据汇聚分发和采集分析进行了研究，开发了一套集数据汇聚、 分发、采集和分析于一体的综合系统。2互联网流量汇聚分发采集分析系统总体框架木文系统主要用于提供复杂接入环境下多链路数据采集、互联

2、网原始数 据分发、综合数据发布、综合流量识别与分析等服务，系统的研制目标包括 以下4个方而：(2) 多路接入环境下多条大容量链路数据进行汇聚，汇聚的接入链路包括光纤、电路2类，数据类型包括以太、ATM2种格式。(2) 对多条大容量链路数据进行分发，将多路汇聚后的数据向数据输出 端若干组端口实时并行发送。数据分发的目的包括信息安全、国家安全、 公共安全等。(3) 实时采集大容量多路原始数据，并生成网络数据会话流。(4) 基于应用协议进行数据识别及实时统计分析，为其他应用系统提供 灵活的数据格式和分析结果。3系统关键技术实现本文系统的实现主要从数据汇聚分发和数据采集分析两方面进行关键 技术研发。3

3、. 1数据汇聚分发数据汇聚分发的主要功能是在多路接入环境下将多条大容量链路的数 据进行汇聚和分发。各链路数据进行汇聚分发时，系统数据输入端配置N 个输入端口，数据输出端可以分不同组别进行分发。按照不同需求，系统 输出可以分为4类:(2)单/双端口万兆输出；(2)N个端口千兆输出；(3)M个端口千兆 输出 (MN) ； (4)N个端口百兆输出。在研发中，基于H3CS9500系列 核心交换机, 联合杭州华三公司进行了二次定制开发，实现了数据的汇聚和分发系统，其 关键技术包括：利用虚拟管道使不同流量进入不同复制域虚拟管道是利 用标签而衍生出来的，指汇聚分发的报文进 A S9500后，S9500采用内

4、部标 签标识，利用标签技术对相应的报文增加不同的标签进行标识。对不同的输 入端报文构建了不同的虚拟管道，不同输入端的报文可以不考虑其带有冲 突的802. lq内容，从而 为不同客户划定不同的复制域，这些复制域还同时 具有防802. lq冲突的能力。这里只需设置不同客户接入端口为虚拟管道入口，而各输出端口为各自 的虚拟管道出口。在管道中，通过硬件底层下发访问控制列表 (AccessControlList, ACL)规则，使流量只能从管道的入口进、管道的出口出， 因此，不会出现环路风暴问题。(2)以组播技术实现每个复制域内单播报文的多份复制IP组播报文 在路 由器、交换机的转发是一对多的转发,IP

5、组播报文进入S9500后，直接进入 硬件的组播交换引擎，查找组播硬件转发表，确定下一跳和出接口列表，并 完成报文目的和源地址内容的修改，在组播引擎完成 组播报文的多份复制 后，从各个出接口送出。3. 2数据采集分析在数据采集分析模块开发中，联合上海直真视通公司，实现该模块的关 键技术包括：(1) 流量捕获基于端口识别网络流量的传统方法己不适用于识别新型的、复杂互联网 应用类型产生的流量，应用级流量采集与分析应采用数据包深度分析技术 识别网络流量。本文系统采用了高性能网卡加Libpcap软件的方式捕获数据 包。Libpcap是Unix/Linux平台下通用的数据包捕获函数包。捕获数据包时， Li

6、bpep将网卡设置为混杂模式，在内核空间内复制网络驱动程序读取的数据 包，再传递到用户空间。Libpcap捕获数据包需要二次内存复制，限制了其捕 获性能，因此，采用了零拷贝和负荷平衡方法来改进Libpcap2o(2) 网络流生成网络流生成是将链路上获取的原始数据包归并为网络流形式输岀。网络流是对一个测量间隔内一些具有相同属性的数据包集合的抽象描述，可以定义为一个测量间隔内具有相同(源IP地址，目的IP地址，源端口，目的端口，协议类型)五元组的网络包集合，它是一种单向的、细粒度的流量聚合形式。网络流生成过程如下：网络流生成器在内部维持当前活跃网络流的记录缓存结构，当捕获到新的原始数据包时，网络流

7、生成器判断这个数据包是否属于当前活跃网络流，如果是，修改网络流相关信息；如果不是，创建新的 网络流记录并设置网络流相关信息。(3)网络流应用类型识别木文系统的应用级流量采集与分析方法首先在网络流生成的同时，融合 多种流量识别算法识别网络流的应用类型。目前互联网上常见的协议和应用主要包括传统型(HTTP、研制了网 络协 议分析和识别系统TAS,其核心为iSIE互联网会话识别引擎。TAS由采集探针 和协议分析引擎两部分组成，如图2所示。其中，采集探针负责采集宽带流 量数据并进行预处理，将预处理结果提供给协议分析引擎；协议分析引擎能 够接收一个或者多个探针的预处理数据，并对这些预处理数据进行综合分 析，统计、识别协议类型，将分析结果存入数据