多核CPU下基于PF_RING和设备轮询机制的高性能包捕获技术研究

1、承诺安全承诺安全 承诺非凡承诺非凡多核CPU下基于PF_RING和设备轮询机制的高性能包捕获技术研究中心：北京分公司部门：研发部姓名：齐战胜1美亚柏科美亚柏科股票代码：300188内容提要 自我介绍 技术背景 理论知识 解决方案 参考资料2美亚柏科美亚柏科股票代码：3001881 自我介绍 齐战胜，研发部，北京分公司，软件研发工程师 主要做协议分析、还原。参与的项目有抽查工具、NF-7800、NF-9300、NF-9600等。 为了解决NF-7800的千兆抓包问题，开始研究Linux下高性能抓包的解决方法。3美亚柏科美亚柏科股票代码：3001882 技术背景 被动数据捕获技术在网络安全领域有着

2、极其丰富的应用。 如IDS(入侵检测系统）、防火墙以及一些部署在网络出口的互联网内容分析系统等。 随着网络带宽的增加，网络传输速率的提高，传统的数据包捕获技术越来越不能满足要求。本文从Linux/Unix平台下的Libpcap网络数据包捕获函数库入手，研究Linux/Unix平台下高性能的数据包捕获解决方案。4美亚柏科美亚柏科股票代码：3001883 理论知识 Libpcap简介1)Libpcap简介2)Libpcap工作机制3)Libpcap抓包性能分析 NAPI技术简介1)NAPI技术简介2)NAPI工作机制3)NAPI的性能分析5美亚柏科美亚柏科股票代码：3001883.1 Libpca

3、p简介3.1.1 Libpcap简介 Libpcap是 Unix/Linux 平台下的网络数据包捕获的函数库。它是一个独立于系统的用户层包捕获 API 接口， 为底层网络监听提供了一个可移植的框架。应用：Sniffer、Wireshark、Snort、Tcpdump等。6美亚柏科美亚柏科股票代码：3001883.1.1 LibPcap简介 LibPcap特点1）可从以太网、虚拟接口等一个或多个网络接口捕获数据包；2）平台无关性;3） 具有基于BPF的数据包过滤特性。 完善了系统的数据包过滤体系。7美亚柏科美亚柏科股票代码：3001883.1.2 Libpcap工作机制 Libpcap组成Lib

4、pcap主要由两部分组成： 网络分接头(Network Tap) 和数据过滤器(Packet Filter)。 网络分接头从网络设备驱动程序中收集数据拷贝， 数据过滤器决定是否接受该数据包。8美亚柏科美亚柏科股票代码：3001883.1.2 Libpcap工作机制 Libpcap捕包流程libpcap的包捕获机制就是在数据链路层加一个旁路处理。当一个数据包到达网络接口时，libpcap首先利用已经创建的Socket从链路层驱动程序中获得该数据包的拷贝，再通过Tap函数将数据包发给BPF过滤器。BPF过滤器根据用户已经定义好的过滤规则对数据包进行逐一匹配，匹配成功则放入内核缓冲区(一次拷贝)，并

5、传递给用户缓冲区（又一次拷贝），匹配失败则直接丢弃。如果没有设置过滤规则，所有数据包都将放入内核缓冲区，并传递给用户层缓冲区。9美亚柏科美亚柏科股票代码：3001883.1.2 Libpcap工作机制 程序框架/* 第一步：查找可以捕获数据包的设备 */device = pcap_lookupdev(errbuf)； /* 第二步：创建捕获句柄，准备进行捕获 */p = pcap_open_live(device, 8000, 1, 500, errbuf)； /* 第三步：如果用户设置了过滤条件，则编译和安装过滤代码 */pcap_compile(p, &fcode, filter_

6、string, 0, netmask)；pcap_setfilter(p, &fcode)；/* 第四步：进入（死）循环，反复捕获数据包 */for( ; ; )while(ptr = (char *)(pcap_next(p, &hdr) = NULL); /* 第五步：对捕获的数据进行类型转换，转化成以太数据包类型 */eth = (struct libnet_ethernet_hdr *)ptr; /* 第六步：对以太头部进行分析，判断所包含的数据包类型，做进一步的处理 */if(eth-ether_type = ntohs(ETHERTYPE_IP) if(eth-et

7、her_type = ntohs(ETHERTYPE_ARP) /* 最后一步：关闭捕获句柄,一个简单技巧是在程序初始化时增加信号处理函数，以便在程序退出前执行本条代码 */pcap_close(p)；10美亚柏科美亚柏科股票代码：3001883.1.3 Libpcap抓包性能分析11美亚柏科美亚柏科股票代码：3001883.1.4 Libpcap抓包性能分析 高速复杂网络环境下libpcap丢包的原因主要有以下两个方面：1）Cpu处于频繁中断状态，造成接收数据包效率低下。我们可以假想一个场景，我们使用标准的 100M 网卡，可能实际达到的接收速率为 80MBits/s，而此时数据包最大长度为

8、 1500Bytes，则每秒产生的中断数目为：80M bits/s / (8 Bits/Byte * 1500 Byte) = 6667 个中断 /s。数据包最短长度为46Bytes，则每秒产生的中断数目为：80M bits/s / (8 Bits/Byte * 46 Byte) = 217391 个中断 /s。每秒 6667到217391个中断，对于系统是个很大的压力。2）数据包被多次拷贝，浪费了大量时间和资源。从网卡驱动到内核，再从内核到用户空间。12美亚柏科美亚柏科股票代码：3001883.2 NAPI技术简介3.2.1 NAPI技术简介NAPI（New API） 是 Linux 上采用

9、的一种提高网络处理效率的技术，它的核心概念就是不采用中断的方式读取数据，而代之以首先采用中断唤醒数据接收的服务程序，然后 POLL 的方法来轮询数据。13美亚柏科美亚柏科股票代码：3001883.2.2 NAPI的工作机制经过分析， 发现在复杂网络环境中， 丢包率上升的原因是在捕包过程中， CPU一直处于接收中断状态， 而没有把时间用于处理数据包的过程中来， 也就是进入了系统中断活锁状态。利用NAPI技术的设备轮询机制可以成功解决这个问题，NAPI机制的具体特点如下：( 1) 当网卡接收到一个数据包， 便产生一个中断信号给系统;( 2) 系统进行如下操作：关闭网卡中断（只是屏蔽了中断信号，网卡

10、仍然可以接收数据包到缓冲队列）;激活轮询进程， 对该网卡进行轮询（处理缓冲队列）;打开网卡中断（解除屏蔽中断信号）。14美亚柏科美亚柏科股票代码：3001883.2.2 NAPI的工作机制15美亚柏科美亚柏科股票代码：3001883.2.2 NAPI的工作机制 使用NAPI的先决条件1）网卡设备有DMA（Direct Memory Access）硬件，要支持 DMA 的环形输入队列（也就是 ring_dma）。2）在发送/接收数据包产生中断的时候有能力关断 NIC 中断的事件处理，并且在关断 NIC 以后，并不影响数据包接收到网络设备的环形缓冲区（以下简称 rx-ring）处理队列中。3）有防

11、止NIC队列中排队的数据包冲突的能力。16美亚柏科美亚柏科股票代码：3001883.2.3 NAPI的性能分析 优点 NAPI技术的使用减少了中断的数目，让整个操作系统不必花费太多的时间在中断现场的保护和恢复上，以便把赢得的时间用来在我网络层上的处理数据的传输，确实大幅度增强了数据包捕获能力和系统响应速度。17美亚柏科美亚柏科股票代码：3001883.2.3 NAPI的性能分析 缺点NAPI 存在一些比较严重的缺陷： 1）对于上层的应用程序而言，系统不能在每个数据包接收到的时候都可以及时地去处理它，而且随着传输速度增加，累计的数据包将会耗费大量的内存，经过实验表明在 Linux 平台上这个问题

12、会比在 FreeBSD 上要严重一些； 2）另外一个问题是对于大的数据包处理比较困难，原因是大的数据包传送到网络层上的时候耗费的时间比短数据包长很多（即使是采用 DMA 方式），所以正如前面所说的那样，NAPI 技术适用于对高速率的短长度数据包的处理。18美亚柏科美亚柏科股票代码：3001884 解决方案 PF_RING解决方案 PF_RING的TNAPI的改进方案 PF_RING的DNA的改进方案 PF_RING的安装使用19美亚柏科美亚柏科股票代码：3001884.1 PF_RING解决方案4.1.1 PF_RING简介PF_RING是Luca研究出来的基于Linux内核级的高效数据包捕获

13、技术。PF_RING可以把从一个网络接口抓到的数据包分发到多个cpu核心或者线程中，以提高数据包处理能力。20美亚柏科美亚柏科股票代码：3001884.2 PF_RING工作机制在大数据包的网络环境下， 设备轮询机制表现出了较高的捕包能力， 但是在小包大流量的网络环境下， 设备轮询机制虽然比Libpcap的表现好了很多， 但依然难以达到让人满意的程度。经过进一步分析， 在数据包捕获的过程中， CPU的多数时间都被用在把网卡接收到的数据包经过内核的数据结构队列发送到用户空间的过程中。 也就是说是从网卡到内核， 再从内核到用户空间， 这两个步骤， 花去了大量CPU时间， 而没有其他时间用来进行数据

14、包的进一步处理。PF_RING技术解决了这个问题。21美亚柏科美亚柏科股票代码：3001884.1.2 PF_RING工作机制 PF_RING的逻辑结构如下图所示：PF_RING基本原理是将网卡接收的数据包存储在一个环状缓存，这也是为什么叫RING的原因，这个环状缓存有两个接口，一个供网卡向其中写数据包，另一个为应用层程序提供读取数据包的接口，读取数据包的接口通过mmap函数（将一个文件或其它对象映射进内存）实现的。22美亚柏科美亚柏科股票代码：3001884.2 PF_RING工作机制 PF_RING优点1)减少了内存拷贝次数。2) 可以把收到的数据包分发到多个环形缓冲区，供多线程应用程序读

15、取。23美亚柏科美亚柏科股票代码：3001884.2 PF_RING工作机制3)支持集群功能。PF-RING可以通过集群和平衡机制增加包捕获程序的性能。这些机制允许应用程序只处理一部分数据包，将其余数据包传送给其它集群。24美亚柏科美亚柏科股票代码：3001884.1.3 PF_RING工作模式 PF_RING有3中工作模式： pf_ring有三种透明模式（transparent_mode）。为0时走的是Linux标准的NAPI包处理流程；为1时，包既走Linux标准包处理流程，也copy给pf_ring一份；为2时，驱动只将包拷贝给pf_ring，内核则不会接收到这些包，1和2模式需要pf_

16、ring特殊的网卡驱动的支持。25美亚柏科美亚柏科股票代码：3001884.1.3 PF_RING工作模式 模式026美亚柏科美亚柏科股票代码：3001884.1.3 PF_RING工作模式 模式1和模式227美亚柏科美亚柏科股票代码：3001884.1.4 PF_RING性能分析 I3 虚拟4核3.3GHz、RH 6.0系统、e1000e网卡28美亚柏科美亚柏科股票代码：3001884.1.4 PF_RING性能分析 I3 虚拟4核3.3GHz 、RH 6.0系统、e1000e网卡29美亚柏科美亚柏科股票代码：3001884.1.4 PF_RING性能分析 双核1.86GHz、Ubuntu

17、Server 9.10、e1000网卡30美亚柏科美亚柏科股票代码：3001884.1.4 PF_RING性能分析 双核1.86GHz、Ubuntu Server 9.10、igb网卡31美亚柏科美亚柏科股票代码：3001884.1.4 PF_RING性能分析 双核1.86GHz和Xeon2.5GHz、ixgbe万兆网卡32美亚柏科美亚柏科股票代码：3001884.1.5 PF_RING的不足之处目前大部分网卡都支持MSI-X技术，可以把传入的RX队列分成几个RX队列，每个队列对应一个CPU的核心。RSS技术可以通过per-flow实现各个RX队列间的负载均衡。这样的好处是可以充分利用cpu的

18、多核优势，提高对数据包的处理速度。但是目前的PF_RING不能充分发挥这个优势。原因分析如下：33美亚柏科美亚柏科股票代码：3001884.1.5 PF_RING的不足之处 驱动程序仍然需要依次轮询RX Queue，而不能同时访问所有的RX Queue。操作系统需要把这些RX队列河流到一个接口供应用程序读取。当需要处理超大流量数据的时候，多核CPU的单核占用率很高，多核性能不能充分发挥。34美亚柏科美亚柏科股票代码：3001884.1.6 PF_RING支持的网络列表 Broadcom系列 Intel系列1)e10002)e1000e3)igb4)ixgbe35美亚柏科美亚柏科股票代码：300

19、1884.2 PF_RING的TNAPI的改进方案36美亚柏科美亚柏科股票代码：3001884.2.1 PF_RING的TNAPI的优势 TNAPI优势1)可以把流量分发到不同的核上，具有更好的扩展性。2)能够同时第从每个RX队列轮询数据从而提高数据包读取性能。3)通过PF_RING,可以实现用户态的每一个线程对应一个RX队列，避免使用信号量。PF_RING TNAPI大概是PF_RING NAPI的2倍。在Core2Duo 1.86 GHz下可以跑出2.8Mpps（2G流量）的成绩。37美亚柏科美亚柏科股票代码：3001884.2.3 PF_RING的TNAPI支持的网卡列表 千兆Intel

20、 82576芯片电口网卡有：E1G42ET、E1G44ET2、E1G44ET。Intel 82580芯片电口网卡有：E1G44HT。Intel 82575芯片电口网卡有：E1G44AT2。 万兆Intel 82599芯片电口网卡：E10G42BT。Intel 82598芯片电口网卡：EXPX9501AT、E10G41AT2、EXPX9502CX4。38美亚柏科美亚柏科股票代码：3001884.3 PF_RING的DNA的改进方案4.3.1 DNA简介PF_RING DNA（Direct NIC Access）通过把网卡内存和寄存器直接映射到用户空间，这样就可以不通过NAPI，直接利用NIC N

21、PU(Network Process Unit)从网卡拷贝数据包到DMA 的环形缓冲区。这样会降低cpu的利用率。缺点是一次只能有一个应用程序可以打开DMA的环形缓冲区，不过现在的网卡都支持多RX/TX队列，因此可以通过启动多个应用程序，每个应用程序对应一个RX/TX队列的方法来解决。39美亚柏科美亚柏科股票代码：3001884.3.2 DNA的工作机制40美亚柏科美亚柏科股票代码：3001884.3.2 DNA的性能分析DNA模式下，直接利用网卡处理单元进行数据包的拷贝，降低了CPU的占用率。Luca开发了Libzero DNA 程序框架，即使在超大流量下，CPU的利用率也非常低。由于DNA

22、模式下，不再使用NAPI Poll，所以PF_RING的数据包过滤功能就不支持了，目前可以使用硬件层的数据包过滤，但只有intel的 82599网卡支持。41美亚柏科美亚柏科股票代码：3001884.3.3 PF_RING的DNA支持的网卡列表 Intel系列1)e10002)e1000e3)igb4)ixgbe42美亚柏科美亚柏科股票代码：3001884.4 PF_RING安装使用 下载地址最新版本5.4.5，下载网址http:/ PF_RING安装使用 目录结构Drivers/Drivers/Broadcom/Drivers/Intel/Drivers/myricom/Kernel/ 内核

23、有关的补丁Userland/ 用户空间代码Userland/lib 用户空间库用于控制PF_RINGUserland/libpcap-xxx-ring PF_RING支持的Libpcap增强库Userland/examples/ 包计数应用（使用它作为测试使用）44美亚柏科美亚柏科股票代码：3001884.4 PF_RING安装使用 编译内核解压缩PF_RING安装包，进入到Kernel目录下编译和安装内核补丁。# tar -zxf PF_RING-5.4.5.tar.gz# cd PF_RING-5.4.5/kernel# make# sudo make install 内核安装需要root

24、用户权限insmod /kernel/pf_ring.ko transparent_mode=0|1|2min_num_slots=xenable_tx_capture=1|0enable_ip_defrag=1|0quick_mode=1|045美亚柏科美亚柏科股票代码：3001884.4 PF_RING安装使用 编译用户空间PF_RING库进入到用户空间库userland/lib下，编译和安装。# cd ./userland/lib。# ./configure# make # sodu make install# rpm -qa libpcap 查看安装的libpcap，如果有libpcap则强制卸载# rpm -e libpcap -nodefs # cd ./libpcap# ./configure# make# sudo make install46美亚柏科美亚柏科股票代码：3001884.4 PF_RING安装使用进入到userland/examples目录编译例子程序。# cd /userland/examples# make# ./pfcount -i eth0 捕获eth0网口的数据报文47美亚柏科美亚柏科股