（计算机科学与技术专业论文）基于p2p流量监控系统的设计与研究.pdf

、 盔 ：| j 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅 和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：窆拯日期：型翌：i ：! 生 导师签名：豸 日期：二逸丛生业 i ， ， 1。 基于p 2 p 流量监控系统的设计与研究 摘要 随着t c p i p 互联网技术的迅猛发展，各种网络应用层出不穷，尤 其是对等网络( p 2 p ) 的迅速崛起。p 2 p 应用涉及到影视下载、媒体广播、 即时通信、文件共享等各个层面，给人们的工作、娱乐、沟通带来了 极大的便利。但是，p 2 p 的广泛使用也带来了带宽过量消耗、网络病 毒传播迅速、通信数据安全性降低等网络服务和网络安全问题。因此， 如何在享受p 2 p 技术带来便利的同时又能有效的检测和控$ l j p 2 p 流量， 是当前的一个研究热点，并且成为网络运营商和网络管理者高度关注 和亟需解决的问题。 本文针对上述问题，重点分析和研究了当前主流的p 2 p 流量检测 和控制技术，在此基础上设计了一个综合的p 2 p 流量监控系统，并进 行了详细设计和模拟实现。具体来讲，本文主要研究成果如下： 1 在对当前p 2 p 流量检测进行分析和研究的基础上，提出了一种 综合的p 2 p 流量检测方法，该方法结合d p i 和d f i 两种检测技术，除了 能够检测普通p 2 p 流量外，还能一定程度上识多) j p 2 p ) j h 密协议和复杂 p 2 p 协议。 2 在对当前p 2 p 流量控制技术进行比较分析和研究的基础上，提 出了一种综合的p 2 p 流量控制方案，该方案结合流量整形和流量干扰 两种控制技术，能够比较全面的对p 2 p 流量进行控制。 3 结合本文提出的p 2 p 流量检测方法和流量控制方案，设计了一 个p 2 p 流量监控系统，同时提出了一种适合本系统的分功能部署方案。 4 对系统中的协议特征库的建立和p 2 p 流量检测两个核心模块的 设计和实现进行了细致的描述，同时提出了一种自动化提取特征规则 的算法思想。 5 在l i n u x 环境下利用协议特征库和p 2 p 流量检测模块实现了本 文设计的p 2 p 流量监控系统，并进行了实验测试，给出了结果分析和 评价，最终证明该系统能够对p 2 p 流量进行有效的检测和控制。 关键字：流量检测流量控制p 2 p 网络部署深度报文检测 - 一 ， 7 - 一 d e s i g na n dr e s e a r c ho f t r a f f i c m o n i t o r i n gsy s t e mb a s e do np 2 pn e t w o r k a b s t r a c t a l o n gw i t ht h er a p i dd e v e l o p m e n to ft h et c p i pn e t w o r kt e c h n o l o g y , v a r i e t yo fn e t w o r ka p p l i c a t i o n se m e r g ei ne n d l e s s l y , e s p e c i a l l yt h er i s eo f p e e r - t o p e e rn e t w o r ki n v o l v i n gf i l md o w n l o a d i n g ，m e d i ab r o a d c a s t i n g ， r e a l t i m e c o m m u n i c a t i o n s ，f i l es h a r i n ge t c ，w h i c hh a sb r o u g h tg r e a t c o n v e n i e n c ef o r p e o p l e sw o r k ，e n t e r t a i n m e n t a n dc o m m u n i c a t i o n h o w e v e r ，t h ew i d e s p r e a du s eo ft h ep 2 pt e c h n o l o g i e sh a sa l s ob r o u g h ta l o to fs e r i o u sp r o b l e m sa b o u tn e t w o r ks e r v i c e sa n dn e t w o r ks e c u r i t y , s u c h a se x c e s s i v eb a n d w i d t hc o n s u m p t i o n ，r a p i dv i r u ss p r e a d ，l o ws e c u r i t yo f c o m m u n i c a t i o nd a t aa n ds oo n t h e r e f o r e ，h o wt oi n s p e c ta n dc o n t r o lt h e p 2 pt r a f f i cf l o we f f e c t i v e l yw h e ne n j o y i n gt h ec o n v i e n ts e r v i c eb r o u g h t b yp 2 pt e c h n o l o g yi s ar e s e a r c hh o t s p o ta n dh a sa l s ob e c o m ear e a l p r o b l e mw h i c hi sh i g h l yv a l u e db yt h en e t w o r ks e r v i c ep r o v i d e r sa n d n e t w o r km a n a g e r sa n da l s on e e d e dt os o l v eu r g e n t l y a c c o r d i n gt ot h e s ep r o b l e m s ，t h i sp a p e rd e s i g n sa ni n t e g r a t i v et r a f f i c m o n i t o r i n gs y s t e mb a s e do np 2 pn e t w o r kb ya n a l y z i n ga n ds t u d y i n gt h e p 2 pt r a f f i cf l o wi n s p e c t i n ga n dc o n t r o lt e c h n o l o g ye m p h a s i z e l y , a n dt h e n i tg i v e st h ed e t a i l e dd e s i g na n ds i m u l a t e di m p l e m e n t a t i o no ft h es y s t e m t ob es p e c i f i c ，t h ep r i m a r yw o r ko ft h i sp a p e ri n c l u d e sa sf o l l o w s ： 1 t h ep a p e rp r o p o s e sa n i n t e g r a t e ds c h e m ea b o u tp 2 pt r a f f i c i n s p e c t i n gb a s e do nt h er e s e a r c ha n da n a l y s i so ft h ec u r r e n tp 2 pt r a f f i c i n s p e c t i n gt e c h n o l o g y , m a i n l yu s i n gd p ia n dd f it e c h n o l o g y i na d d i t i o n t od e t e c tt h eo r d i n a r yp 2 pt r a f f i cf l o w , i tc a na l s oi n d e n t i f yt h ep 2 p e n c r y p t i o np r o t o c o la n dc o m p l e xp r o t o c o lt oac e r t a i ne x t e n t 2 t h ep a p e rp r o p o s e sa ni n t e g r a t e ds c h e m ea b o u tp 2 pt r a f f i cc o n t r o l b a s e do nt h er e s e a r c ha n da n a l y s i so ft h ec u r r e n tp 2 pt r a f f i cc o n t r o l t e c h n o l o g y i tm a i n l y u s e s t r a f f i c s h a p p i n g a n d t r a f f i c - i n t e r r u p t i n g t e c h n o l o g ya n d c a nc o n t r o it h ep 2 pt r a f f i cf l o wc o m p r e h e n s i v e l y 3 t h e p a p e rd e s i g n s an e wp 2 pt r a f f i c m o n i t o r i n gs y s t e m f r a m e w o r kb a s e do nc o m b i n a t i o no fp 2 pt r a f f i ci n s p e c t i n gm e t h o dw i t h p 2 pt r a f f i cc o n t r o ls c h e m e i ta l s og i v e san e ws c h e m ea b o u tn e t w o r k d e p l o y m e n tt h a ti sa p p l i c a b l et ot h es y s t e m 4 t h ep a p e rm a k e sd e t a i l e ds t u d yo nt h ed e s i g na n di m p l e m e n t a t i o n o ft w oc o r em o d u l e s o n ei sp r o t o c o lf e a t u r el i b r a r y ；t h eo t h e ri sp 2 p t r a f f i cf l o wd e t e c t i n gm o d u l e an e wa l g o r i t h ma b o u tc a t c h i n gf e a t u r e a u t o m a t i c a l l y i sa l s op r e s e n t e d 5 t h ep a p e ri m p l e m e n t sap 2 pt r a f f i cm o n i t o r i n gs y s t e mu n d e rl i n u x e n v i r o n m e n tu s i n gt h ep r o t o c o lf e a t u r el i b r a r ya n dp 2 pf l o wd e t e c t i n g m o d u l e t h et e s t i n ga n dr e s u l t sa n a l y z i n gi sa l s oc a r r i e do u t ，w h i c hp r o v e s t h a tt h es y s t e mc a nd e t e c ta n dc o n t r o lp 2 pt r a 伍cf l o we f f e c t i v e l y k e yw o r d s ：t r a f f i ci n s p e c t i n g ，t r a f f i cc o n t r o l ，p e e rt op e e r , n e t w o r k d e p l o y m e n t ，d e e pp a c k e ti n s p e c t i o n i i i j ，。 一 v - ， k 一 第一章绪论 目录 - l 1 2 3 3 5 5 5 7 8 9 l o 1 0 1 2 1 3 1 4 1 4 1 4 1 5 1 7 1 8 1 8 1 9 2 0 2 2 2 2 2 2 2 6 2 9 3 1 3 2 3 3 3 8 3 9 3 9 4 0 4 l 4 2 1 1 研究背景 1 2 国内外研究现状 1 3 论文主要工作 1 4 论文组织结构 第二章p 2 p 流量检测和控制技术研究 2 1p 2 p 流量检测技术 2 1 1 常用p 2 p 流量检测技术 2 1 2d p i 检测技术研究 2 1 3d f i 检测技术研究 2 1 4 一种综合的p 2 p 流量检测方法 2 2p 2 p 流量控制技术 2 2 1 常用p 2 p 流量控制技术 2 2 2 一种综合的p 2 p 流量控制方案 2 3 本章小结 第三章p 2 p 流量监控系统总体设计方案 3 1 系统总体设计需求 3 2 系统架构模型一d p t m s 3 2 1 系统模块功能设计 3 3 系统网络部署方式 3 3 1 直路部署 3 3 2 旁路部署 3 3 3 分功能部署方式 3 4 本章小结 第四章协议特征知识库模块研究与实现 4 1 典型p 2 p 应用机制分析 4 1 1p 2 p 文件下载 4 1 2p 2 p 流媒体一p p l i v e 4 1 3 即时通信及视频语音一s k y p e 4 2p 2 p 应用特征库的建立 4 2 1 承载h t t p 协议的p 2 p 应用一 4 2 2 具有标志特征位的p 2 p 应用 4 2 3 使用加密协议的p 2 p 应用 4 3 一种自动提取特征规则的方法 4 3 1 基本算法思想 4 3 2 详细设计 4 4 本章小结 第五章p 2 p 流量检测模块设计与研究 5 i 字符串匹配算法介绍 5 1 1 删算法 5 1 2a c 算法 5 2 字符串匹配算法性能分析 5 3p 2 p 流量检测模型建立 、 - 。 矿 - 铊铊必“钙钙镐的器 隧 雅弱弱鼹的的眈融 晒 鲇 盯 n 、k 一 北京邮电大学硕士学位论文 1 1 研究背景 第一章绪论 近年来，对等网络( p 2 p ) 在c l i e n t s e r v e r ( c s ) 网络架构得到普遍应用的格 局中异军突起，并迅速发展。大量p 2 p 协议及应用软件开始出现，如i b i tt o r r e n t 、 e d o n k e y ，t h u n d e r 、k a z a a 、g n u t e l l a 、s k y p e 、p p s t r e a m 、p p l i v e 等，涉及了影 视下载、媒体广播即时通信及实时语音、文件共享、对等计算、协同工作、搜索、 存储与游戏等各种层面。它允许终端用户利用i n t e r n e t 架构一个动态的、匿名的 分布式网络来相互直接搜索和共享信息资源，给人们的工作、娱乐、沟通带来了 极大的便利。然而，p 2 p 技术的飞速发展在带给人们越来越多便利的同时，也带 来了越来越多的网络问题，主要包括以下3 点： 1 网络带宽消耗严重。据统计，p 2 p 应用已占i s p 业务总量的6 0 - - - 8 0 ，跃 然成为网络带宽最大的消费者。这造成了网络带宽的巨大消耗，容易引起网络拥 塞，降低网络性能，使得网络资源使用紧张，其他女n w e b 、f t p 、e m a i l 等正常网 络服务得不到保障。这使得运营商的投入得不到回报，收益降低，最终造成其运 营服务质量的下降，从而危机到最终用户的利益。 2 网络病毒传播迅速 在p 2 p 环境下，方便的共享和快速的选路机制，为某些网络病毒提供了更好 的入侵机会【l 】。在p 2 p 网络中逻辑相邻的节点，地理位置可能相隔很远，同时参 与p 2 p 网络的节点又非常多，因此病毒通过p 2 p 系统传播的范围就会很大，覆盖面 也会很广，造成的损失也就很大。而且在p 2 p 网络中，每个p e e r 节点防御病毒的 能力是不同的，只要一个节点感染病毒，就可以很容易的扩散到附近的邻居节点。 在很短时间内就可以造成网络拥塞甚至瘫痪，共享信息丢失，机密信息失窃，甚 至通过病毒可以控制整个网络。 随着p 2 p 技术的发展，将来会出现各种专门针对p 2 p 系统的网络病毒。利用系 统漏洞，达到迅速破坏、瓦解、控制系统的目的。因此，网络病毒的潜在危机对 p 2 p 系统安全性和健壮性提出了更高的要求，同时对p 2 p 应用进行合理的监控和有 效的管理也成为保证网络安全的重要途径。 3 安全管理与信息泄露 p 2 p 网络系统的开发，除了涉及传统的安全性领域外( 如身份识别认证、授 权、数据完整性、保密性和不可否认性等) ，还存在一系列安全管理问题： 我们知道p 2 p 网络中没有中心服务器，信息完全共享，这给了使用者很大的 基于p 2 p 流量监控系统的设计与研究 自由，这也使其陷入“无政府主义 的困境。色情影片、暴力影片随处可见，获 取完全免费，这样对青少年成长和社会风气会造成负面影响。另外由于p 2 p 系统 的复制传播迅速，一些机密文件一旦丢失，只要在p 2 p 系统中有一份拷贝，就有 可能迅速扩张，从而造成严重的后果。 正是由于以上种种问题的存在，因此如何限制和管理p 2 p 流量成为当前的研 究热点，也是网络运营商和网络管理者急需解决的问题。而要实现p 2 p 流量的可 控可管，最主要工作就是将p 2 p 流量精确的检测出来，再根据检测结果对特定目 标用户的特定p 2 p 应用进行有效地控制。本文便是在此背景下通过研究相关的检 测和控制技术，寻求一种有效的检测方法和控制方案，在此基础上设计和实现一 种新的p 2 p 流量监控系统的架构模型，实现对p 2 p 流量的检测和控制。 1 2 国内外研究现状 国内外对于各种流量监控技术的研究和应用都进行得如火如荼。目前，国内 学术界关于流量监控的文章并不是很多，但国内部分网络设备生产商已经推出了 流量监控的相关产品，如华为的s e e p a t h1 8 0 0 f 防火墙和e u d e m o n 5 0 0 、1 0 0 0 防 火墙，c a p t e c h 的网络管理软件网络慧眼【2 】，南京信风的i p 骨干网数据分 析及管理系统以及宽广电信的产品等【3 】。这些产品采用的主要技术大多是深度数 据包检测技术，对于加密p 2 p 流量和复杂p 2 p 流量的检测没有明显的效果。 国外学者在p 2 p 流量检测方面的研究工作相对来说做的比较多，也有一定 的成果。韩国的j a m e sw o n k ih o n g 等人于2 0 0 3 年提出一种基于传输层特征 的p 2 p 流量检测方法【4 】，该方法先通过离线统计的方式找到各种p 2 p 应用的常用 端口，然后把这螳常用端| 丁信息用到流量检测中作为应用分类的依据。s u b h a b r a t a s e n 等人于2 0 0 4 年初提出基于应用签名的p 2 p 流量检测方法【5 j ，实际上是深层 数据包检测方法的一种。，t h o m a sk a r a g i a n n i s 等人在仔细研究了p 2 p 流量的传 输层特征后于2 0 i ) 4 年提出一种壤于传输层特征的p 2 p 流量检测方法1 6 j ，能够有 效地检测到新的p 2 p 应垌和加密的p 2 p 应用。 另外国外网络设备生产商和网络服务提供商也推出了相关的产品或技术，如 c is c o 公司的n e t f l o w 技术 _ 7 1 、a l l o t 的故障恢复流量管理方案( f a i l s a f e t r a f f i c m a n a g e m e n ts o l u t i o n s ) 8 | 、c a c h e l o g i e 公司的c a c h e l o g i cp 2 p 管理方案 ( c a c h e l o g i cp 2 pm a n a g e 2 m e n ts o l u t i o n ) 9 1 、v e r s ot e c h n o l o g i e s 的n e t s p e c t i v e 系列产品等【1 0 】，其中n e t s p e c t i v e 系列产品已经拥有了拦截加密p 2 p 应用s k y p e 的能力。还有德国的宽带管理方案开发商i p o q u e 公司【1 1 】，它在与欧洲最大的信 息安全解决方案提供商之一p h i o n 信息技术公司以及g t e n 等公司合作的基础上， 为美洲的e s c o 电信公司、t e l e c o m a d v i s o r s 电信公司、欧洲的a v o t e l 公司等许 2 l i - k 1 一 北京邮电大学硕士学位论文 多家电信运营商在网络流量管理、网络带宽管理、应用层安全、深度包检测等方 面提供技术服务等。纵观这些产品，全部都使用了自行研发的深层数据包检测技 术，除了在性能和识别精度上存在差别外，其技术的本质是相同的。目前为止唯 一有据可查的使用基于流量特征的检测方法的产品是流量监控系统n g m o n 4 1 ， 韩国的j a m e sw o n - k ih o n g 等人在该系统上使用了他们自主研发的基于流量特 征的p 2 p 检测技术，但是没有给出具体的性能参数。 从国内外的研究现状来看，当前对于p 2 p 流量监控系统的研究或是成型的产 品大都采用的是d p i ( 深度报文检测技术) ，对于普通的p 2 p 流量具有较好的识别 能力。但是随着p 2 p 技术的发展，许多p 2 p 应用开始采用动态随机端口和加密协议 传输数据，并呈现出复杂多变的趋势，使得这些产品在p 2 p ) j h 密流量或是较复杂 的应用协议面前无能为力。因此如何提高系统对较复杂应用协议和加密协议的识 别能力是本文研究的一个重点；而在p 2 p 流量控制方面，很难找到较成熟的控制 方案，因此如何综合运用目前的流量控制技术来提高对网络流量的控制力度也是 本文研究的一个方向；另外对于众多的网络监控产品，在功能相似的情况下如何 提高监控系统整体的性能和识别精度，提高整个产品的检测的准确率，控制的效 率也是本文所设计系统需要解决的一个重要问题。 1 3 论文主要工作 本文主要研究p 2 p 流量监控技术，并在此基础上设计一个p 2 p 流量监控系统， 实现对网络中p 2 p 流量的检测和控制。 首先，本文对当前p 2 p 流量检测和控制技术进行了比较分析和研究，在此基 础上，提出了一种综合的p 2 p 流量检测方法和流量控制方案。 其次，结合两种方案，设计了一个综合的p 2 p 流量监控系统，并对系统中的 各个模块以及系统的部署进行了细致的描述，同时提出了一种适合本系统的分功 能部署方式。 然后，对系统中的协议特征库和p 2 p 流量检测两个核心模块的设计和实现进 行了详细的介绍，其中分别重点介绍了p 2 p 应用特征的分类及其特征库的建立、 自动化提取特征规则的算法思想以及p 2 p 流量检测模块中字符串匹配算法的使 用、流量检测的流程和相关数据结构的设计。 最后，利用协议特征库和p 2 p 流量检测模块在l i n u x 下实现了本文设计的 p 2 p 流量监控系统，并通过实验对该系统进行了测试。 1 4 论文组织结构 本文共分七章，具体组织如下。 基于p 2 p 流量监控系统的设计与研究 第一章是绪论，主要介绍了本文的研究背景、国内外的研究现状以及本文的 主要工作。 第二章对p 2 p 流量检测和控制技术的研究：主要分析当前主流的流量检测 技术和适用于p 2 p 流量监控的相关技术，并提出了一种新的流量检测方法和一种 综合的流量控制方案。 第三章p 2 p 流量监控系统总体设计方案：重点介绍p 2 p 流量监控系统的设 计需求和整体架构，包括各个主要模块的功能设计、系统的网络部署方式等。 第四章协议特征知识库模块研究与实现：重点分析了典型p 2 p 应用机制和 本系统中p 2 p 特征库的建立，并提出了一种自动化提取特征规则的方法。 第五章p 2 p 流量检测模块设计与研究：通过比较两种典型的字符串匹配算 法的性能，提出了a c 算法在p 2 p 识别过程中的应用，并在此基础上对模块进行 了详细的设计。 第六章p 2 p 流量监控系统实现与测试结果分析：在l i n u x 环境实现了本文 设计的p 2 p 流量监控系统，并从系统检测准确率、检测效果、控制效果三个方面 进行测试，分析测试结果。 第七章总结与展望：总结论文主要工作，指出下一步研究的方向。 4 一 - l 一 一 基于p 2 p 流量监控系统的设计与研究 具体的p 2 p 应用类型，有些流的特征和p 2 p 的相似( 如f ，i i p ) ，对于这些流，需要结 合其他技术，如端口识别方法进行判断。 2 1 1 3 基于流特征的检测技术 基于流特征的检测技术，就是通过分析多条流，找到流之间共有的规律或 把不同流的弱特征集中成为强特征来检测p 2 p 协议流量。一般情况下，容易被采 用的数据流之间共有的规律为包长规律，也即多条流中同时存在连续多个报文的 包长为特定的值。缺点：与具体应用协议和所处的网络环境有关，特别是包长规 律，一旦发生变化就无法识别；对于位于n a t 下的p 2 p 客户端检测准确率较低； 而且这种方法需要保存一些状态信息，在平台性能不高的情况下可能会影响检测 效率。 2 1 1 4 报文特征字检测技术 d p i 主要是基于应用层数据特征的检测方法，以此来发现p 2 p 应用。它使用 一个p a y l o a d 特征库存储p a y l o a d 特征信息，符合p a y l o a d 特征的数据包可视为 p 2 p 数据包。如p 2 p 协议流量的应用层数据负载位置开始会包含特定p 2 p 协议软 件的信息，如b i t t o r r e n t 协议应用层负载位置开始的数据为“b i tt o r r e n t ， p p l i v e 数据包应用层负载位置开始的前两个字节为“o x e 90 x 0 3 ”。 目前很多网络设备生产商和网络服务商都推出了大量的p 2 p 流量监控技术和 产品。c i s c o 公司的产品c i s c os e r v i c ec o n t r o l 便是基于此技术。其原因主要 有以下几点【1 2 1 ： ( 1 ) 识别率高，识别正确度能达至u 9 5 。根据一次p 2 p 会话的头几个报文就可 检测出p 2 p 应用，并能把后续的报文分类归属到相应的p 2 p 会话中。加上一系列的 优化措施和其他技术的辅助，就可以达到很高的检测精度。 ( 2 ) 当前主流的p 2 p 产品非加密的仍然居多，识别和破译比较容易。当然对 于加密的协议我们也可从其数据包的行为上来提取特征串。 ( 3 ) 对于新出现的p 2 p 应用，只要能及时的识别和破译出其协议特征，定期升 级协议特征库，就能很好的监控新的p 2 p 应用，后期维护简单。 通过上述分析，我们可以知道目前常见的流量检测技术大体有三种，一种是 以d p i 技术为代表的深度报文检测方法；一种是以d f i 为代表的基于数据流特 征的检测方法；另外一种就是d p i 和d f i 相结合的流量检测技术。接下来我们 将通过对d p i 和d f i 两种检测技术的详细分析，提出一种基于d p i 和d f i 相结 合的流量检测技术的流量检测方法，它也是本文所研究的系统中所使用的协议识 别方法。 6 ， - 。l 一 北京邮电大学硕士学位论文 2 1 2d p i 检测技术研究 d p i 即深度报文检测技术是一种基于数据流“特征字 的识别技术。它在分 析i p 包四层包头的基础上，增加了对应用层数据的分析，是一种基于应用层的 流量检测和控制技术，它通过深入读取i p 包载荷的内容来对o s i7 层协议中的 应用层信息进行分析，从而识别出i p 包的应用层协议。本质上就是通过对同一 协议应用同一条数据流的纵向比较、多条数据流的横向比较，找出某一个或几 个数据包中所共有的特征( 通常包括端口、口地址、数据包长度和负载中的固 定字节) ，进而实现对整条数据流乃至整个应用的识别。典型的d p i 技术有以下 几种【1 3 】： 1 基于应用层“特征字”的检测技术 这就是我们常说的数据流识别规则。不同的应用通常依赖于不同的协议， 每个应用其应用层携带的数据开头部分一般含有标识应用协议及其行为交互的 特征信息，我们称之为“指纹 ，不同的协议有不同的指纹，这些指纹可能是特 定的端口、特定的字符串或者特定的b i t 序列。通过对“指纹”信息的升级， 基于特征的识别技术可以很方便的进行功能扩展，实现对新协议的检测。比如 b i t t o r r e n t 协议的识别，通过对比多个场景下的多条数据流，可以知道 b i t t o r r e n t 下载过程中，每个消息的前面，都有一个数字来表示消息的长度。 在其握手过程中，首先是先发送1 9 ，跟着是字符串“b i t t o r r e n tp r o t o c o l ”。 那么“1 9 b i t t o r r e n tp r o t o c o l 就是b i t t o r r e n t 的“特征字”。又如h t t p 协 议，其报文的应用层负载部分有“g e t ”、“p o s t 、“p u t 、“h t t p1 1 等字段， 这些就可以当作h 1 y r p 协议的检测特征。当负载含有这种特征字的报文经过流 量监控设备时，我们就可以将其识别为h t t p 报文。 基于“特征字”的识别一般只适用于未使用加密协议的应用，对于加密协议 的识别效果不大。 2 应用层网关识别技术 这是我们常说的信令流关联识别规则。对于某些应用协议，其信令流和数 据流是分离，数据流基本没有任何固定的特征。这种情况下可以采用应用层网关 识别技术。首先识别出信令流，并根据信令流的协议通过特定的应用层网关进行 解析，从协议内容中识别出相应的数据流，主要是通过端口或i p 地址关联识别。 如s i p 、h 3 2 3 、h 2 4 5 等协议都属于这种类型。s i p h 3 2 3 通过信令交互过程， 协商得到其数据通道，其业务流一般是r t p 格式封装的语音流。也就是说，纯 粹检测r t p 流并不能得出这条r t p 流是通过哪种协议建立的。只有通过检测 s i p h 3 2 3 的协议交互，才能得到其完整的分析。 3 行为模式识别技术 7 基于p 2 p 流量监控系统的设计与研究 行为模式识别技术基于对终端已经实施的行为的分析，判断出用户正在 进行的动作或者即将实施的动作。行为模式识别技术通常用于无法根据协议判 断的业务的识别。例如：s p a m ( 垃圾邮件) 业务流和普通的e m a i l 业务流从e m a i l 的内容上看是完全一致的，只有通过对用户行为的分析，才能够准确的识别出 s p a m 业务。 这三种识别技术分别用于不同类型协议的识别，无法相互替代。在实际应 用中可以综合使用这三种技术，以提高检测效率和检测的灵活性。通过分析这 三种技术我们可以知道d p i 检测技术的优点主要有： ( 1 ) 识别率比较高，对大部分应用基本可以达到9 5 以上； ( 2 ) 原理比较简单，分析起来也相对容易，能应付大多数的识别要求； ( 3 ) 速度快，使用d p i 技术不需要建立太多的关联表，实现方面系统可以根 据内匹配规则生成有限状态机，对系统性能的影响相对较低，匹配起来速度比 较快。 除了上述优点外，d p i 技术也有一定的局限性： ( 1 ) 需要长期更新协议规则库：虽然部分标准协议可以通过分析标准文档提 取规则，绝大部分的私有协议更新很快，特征库也就需要同步更新，甚至有的会 提升为加密协议，此时就会加大协议分析的难度。 ( 2 ) 会有一定的误报率和漏报率：采用特征检测技术，其特征必须足够全面 以便在概率上达到不可能误判的目的，在实践过程中，我们发现即便部分应用协 议的特征规则足够复杂，仍有部分协议提取不出复杂的特征，并且在复杂的网络 状况下，具有自适应的应用协议会根据网络状况发生变化，在识别上依然会带来 一定的难度。下面介绍的d f i 技术会在一定程度上弥补d p i 技术的不足。 2 1 3d f l 检测技术研究 d f i 即深度流检测技术是一种基于数据流“行为特征 的识别技术，它是根 据数据流的行为特征来进行检测，即不同的应用类型体现在会话连接或数据流上 的状态各有不同。d f i 技术基于一系列流量的行为特征，建立流量特征模型，通 过分析会话连接流的包长、连接速率、传输字节量、包与包之间的间隔等信息来 与流量模型对比，从而实现鉴别应用类型的目的，因此这一技术能够有效识别加 密数据流。在实践过程中，我们发现对于加密应用的行为特征尤以数据流中的数 据包的长度变化特征为典型，例如在s k y p e p c t o p h o n e 的应用中有一条t c p 数据 流，连续三个报文的负载长度总是分别是4 、8 、4 字节，又或者包长总是等于某 个固定的字节，或者包长度总是按照一定的规律取值、或者连续几个包的负载数 据总是取某些特定的值等等。当然根据所要检测的具体协议或应用的不同，d f i ， ， - 。 - 北京邮电大学硕士学位论文 的检测方式也有可能会有所不同。 通过以上的分析，我们可以知道d f i 技术的主要优点在于： 1 、d f i 处理速度相对较快：采用d p i 技术由于要逐包进行拆包操作，并与 特征知识库进行匹配对比，而采用d f i 技术进行流量分析仅需将流量特征与后台 流量模型比较即可。且当d p i 技术不能够对协议应用进行检测的时候，d f i 检 测提供了一种可用的方案，同时它具有检测加密协议的能力； 2 、d f i 维护成本相对较低：这是因为d f i 技术的识别方案的有效期比d p i 长。基于d p i 技术的流量监控系统，总是滞后新应用，需要紧跟新协议和新型应 用的产生而不断升级特征知识库，否则就不能有效监控新的应用协议。而基于 d f i 技术的系统在管理维护上的工作量要少于d p i 系统，这是因为d f i 的流特征 发生变化的可能性就要小的多，同一类型的新应用与旧应用的流量特征不会出现 大的变化，因此不需要频繁升级流量行为模型。 当然相对于d p i 技术来说，d f i 技术也有其缺点：当网络状况不稳定时，可 能使数据包发生乱序，这时候以连续数据包的长度进行判断的方式可能就会出现 识别错误，而且d f i 仅对流量行为分析，因此也只能对应用协议进行笼统分类， 不能识别具体的应用。 总之，d f i 流量检测技术是针对d p i 技术的不足提出的，是为了解决d p i 技 术的执行效率和频繁升级等问题，更为重要的是为d p i 检测技术不能识别的应用 尤其是加密协议提供了一种解决方案。因此在实际应用中，往往是先对所有的数 据进行d p i 检测，对于无法检测出的数据再进行d f i 检测，尽可能多的识别出 协议或者应用，从而达到最佳地检测效果， 2 1 4 一种综合的p 2 p 流量检测方法 对于一些比较复杂的或者加密的应用协议，单独使用上述两种技术很难识 别，因此在我们设计的p 2 p 流量监控系统中，将d p i 和d f i 技术进行了有效的 融合，从而达到更为精确和广泛的识别能力，进而达到更为强大的控制能力。一 般情况下，我们的识别过程如下： 首先是单包规则识别，在提取单包规则时，一般先将同一条流纵向对比，从 每个包中提取一部分特征，进行组合，得出一个复合的特征；再通过同一应用的 不同数据流的横向对比，提取部分共同特征，组成不同流之间的组合特征，将这 些特征做为关键字写入到单包规则里面即可。在这里有一个原则，就是不同数据 流的选择通常是有针对性，一般选择能够具体标识应用协议流量行为的流，比如 分析p 2 p 下载软件时，我们关心的主要是启动软件后连接网络的流以及下载数 据时连接节点进行数据下载的流； 9 基于p 2 p 流量监控系统的设计与研究 对于一些找不到共同特征或是加密的数据流，采用多包识别和关联识别。即 通过分析行为特征或是通过识别出结果的流关联出其他流。在本检测方法中，行 为特征主要体现在到来的数据包的包长规律以及每个数据包中特定的关键字特 征。比如在e m u l e 中有几条t c p 加密流的数据包以如下的规律到来：首先是包 长为1 1 ( o x o b ) 的数据包，再次是包长为8 3 ( 0 x 0 0 5 3 ) 的数据包，接着会有包 长为5 5 ( 0 x 0 0 3 7 ) 的数据包来到，而其应用层负载数据没有相同的特征串，那 么可以针对此规律提出一条多包规则，将负载长度作为关键字，识别该流。关联 识别主要通过三元组( 源目的口、源目的端口、协议) 来标识一条流，关联方 式的执行具有一定的风险性，它可能会引起很大程度上的误报，因此关联策略不 一定要是严格的，但一定要是合理的。 这种d p i 检测技术和d f i 检测技术相结合的方式无疑对系统的性能提出了更 高的要求，需要系统具有更高的处理能力。在本系统中，d p i 以及d f i 技术的具 体实现为a c 有限状态机，协议知识库本身以文本形式给出，使用加密发布。每 一条规则对应着一个状态，数据包经过预处理后，负载部分被送入该有限状态机 进行规则匹配，当匹配成功时则会输出协议类别信息( 协议号，所属应用大类、 具体应用协议等) 。 2 2p 2 p 流量控制技术 流量控制技术就是对已经识别的网络数据流量进行控制，通常来讲流量控制 技术在对目标特定数据流进行控制的同时，不能影响目标的其它数据流，以便有 针对性地控制网络流量，p 2 p 流量控制技术也一样。因此在对p 2 p 进行了有效的 检测后，便可以对p 2 p 应用进行适当的管理和控制。常见的p 2 p 流量控制技术有： 流量整形、流量干扰、p 2 pc a c h e 等。但在现网环境进行流量控制时，需要综合 运用这些控制技术，才能达到较好的流量控制效果。本小节首先对常用的p 2 p 流量控制技术进行分析和研究，然后针对本系统提出了一种综合的p 2 p 流量控制 方案。 2 2 1 常用p 2 p 流量控制技术 2 2 1 1 流量整形( t r a f f i c s h a p i n g ) 根据p 2 p 数据流的识别结果，可以对数据包采用阻塞、直路丢包、或提供 o o s 保证【1 4 1 。对符合策略控制条件的数据流进行流量管理和资源调度，达到流量 控制的目的。具体流程：首先通过流量检测将相应的p 2 p 流量进行识别分类，然 后根据分类结果将数据包放到相应的转发队列，再按照相应的转发队列策略进行 1 0 ， - _ l _ ， 北京邮电大学硕士学位论文 转发。这种控制技术源于o o s 思想，但效果远远超过了o o s 。在p 2 p 流量高峰期， 我们可以通过流量整形限制报文的发送速度，将超过流量速率限制的报文进行丢 弃，从而达到限流的目的，它是一种温和的流量控制技术，不是直接的封杀而是 合理的调控，实现起来相对容易。 2 2 1 2 流量干扰( t r a f f i c - - i n t e r r u p t i n g ) 流量干扰主要有两种方式，一种是对连接或信令的干扰，一种是对纯粹数据 流的干扰。连接或信令的干扰其实是一种数据流截断技术，通过发送某种干扰数 据包，造成正常的数据流中断，而纯粹的数据流干扰就是干扰网络中通信双方的 通信数据，使其无法正常获取对方的通信信息或只能获取到我们加入的干扰信 息。这两种方式的侧重点不一样，但其实现原理是相同的。 流量干扰技术的原理就是通过构造模拟的数据包并抢在正常数据包发送之 前向目标发送，使得目标误以为是正常数据包从而进行接收，同时抛弃真正的数 据包。这种模拟的数据包里面可以包含杂乱数据，从而对目标实施了噪音干扰； 也可以包含我们预先设定的数据比如一些告警信息，从而对目标实施警告；也可 以是具有停止功能( t c p 连接中的f i n 包) 或能使目标应用程序出错退出的数 据包，从而使正常的数据流中断。 干扰数据包的构造与网络中的数据包构造是一样的。因为网络数据包是层层 封装的结构，所以我们在对数据包进行伪造时，也采用分层的思想。 对于伪造的数据包中的以太网头部、p 头部和t c p u d p 头部数据，在对应 三层里面的字段基本上与正常的数据包是一样的或是可以根据当前数据包对应 部分的内容估计出来的，因此这三层的数据是比较容易构造的； 对于标准t c p u d p 层之上的应用层协议，这部分数据字段的构造便取决于 具体的应