（计算机系统结构专业论文）基于自适应抽样的网络热点监测系统.pdf

摘要 摘要 基于自适应抽样的网络热点监测系统 强士卿，程光 东南大学计算机科学与工程学院 随着互联网的不断建设和发展，互联网用户对网络应用多样化和网络服务性能的需求越 来越高，特别是网络物理传输线速的进一步提升都极大地增加了高速主干网络测量和管理的 难度。通过分析高速网络流量行为特征发现，越来越多的网络应用和网络安全事件都表现为 网络热点，即短时间内产生或接受大量的报文、字节或逻辑链接的节点或子网，并占用大量 的带宽资源，这些网络热点对网络运行的可用性、安全性和稳定性产生极大的影响。因此， 如何检测和监控网络热点是高速主干网络测量的一个重要研究内容。 论文在高速网络环境下，通过分析网络流量的特征以及现有传统网络测量系统的局限 性，并对高速、突变、海量的网络流数据和有限的网络测量资源之间的矛盾进行深入研究， 设计了适用于高速复杂网络环境下的网络热点测量系统模型，并对自适应网络热点测量算法 进行了分析，最终设计并实现用于高速网络环境下基于自适应抽样的网络热点监测系统。论 文首先介绍目前网络状况和整个网络测量技术的发展，对现有的网络测量系统的局限性进行 了讨论，引出网络热点测量的迫切性和必要性；对网络热点进行量化定义，分析国内外网络 热点测量领域的发展状况和现有的网络热点测量技术，指出网络热点测量的难点，提出研究 与实现网络热点测量系统的应用需求。 接着在基于自适应抽样的网络热点监测系统的分析和设计中，着重研究网络热点测量的 核心算法和核心技术。重点分析超流和重尾流检测算法，现有算法目前只能从报文、字节或 逻辑链接的一个维度上对网络热点进行分析，不能对网络热点进行多维属性测量和监控。论 文提出基于自适应抽样的网络热点测量算法，此算法可以同时从报文、字节和逻辑链接对网 络热点进行多维属性测量，而且能够在测量过程中控制内存空间的使用，并且采用了轮转时 间窗口测量技术，测量精度也较以前的算法有较大的提高。同时论文对系统中的网络原始报 文预处理算法、网络热点属性补偿算法、不等概率非网络热点淘汰算法、抽样比自适应调整 算法和轮转时间窗口调整策略算法等核心算法进行深入分析。流哈希函数是测量系统中数据 抽样和数据组织的基础，其性能直接影响测量系统的整体性能。论文研究了流哈希函数关键 技术，定义了流哈希函数和报文哈希函数，分析现有的流哈希函数及其性能测度，通过实验 为网络热点测量系统中流哈希函数的选择提供依据。 随后论文提出了系统的设计需求，完成系统的整体架构设计。在系统整体数据流程和基 于自适应抽样的网络热点检测核心算法的基础上，对系统运行中的功能模块和数据流程进行 划分，提出了系统的功能结构设计，并使用功能图直观化描述了系统的整体运行状态和各个 功能模块之间的协同工作关系；对一些重要的功能模块进行了详细设计。同时在实验室的网 络环境中实现了系统原型。最后，论文对测量系统的原型系统及其核心算法进行了相关测试， 还研究了自适应参数的选取。实验结果表明论文所提出的热点测量算法在功能和性能上能适 用于高速主干网络的环境。 【关键词】网络热点，自适应测量，不等概率抽样，流哈希函数 a b s t r a c t n e t w o r kh o t s p o tm o n i t o r i n gs y s t e mb a s e do na d a p t i v es a m p l i n g q i a n gs h i q i n g c h e n gg u a n g s c h o o lo f c o m p u t e rs c i e n c ea n de n g i n e e r i n gs o u t h e a s tu n i v e r s i t y a st h ef a s tp a c eo ft h ei n t e m e tc o n s t r u c t i o na n dd e v e l o p m e n t , i n t e m e tu 9 e 心n e e dm o r e d i v e r s i f o r mo fn e t w o r ka p p l i c a t i o n sa n dh i g hp e r f o r m a n c en e t w o r k 鞭厕s ，w h a t sm o r e , t h e i m p r o v e m e n to ft r a n s m i s s i o ns p e e dt h r o u g ht h ep h y s i c a ln e t w o r ke n h a n o a 3t h ed i f f i c u l t yo f h i g h s p e e db a c k b o n en e t w o r km e a s u r e m e n ta n dm a n a g e m e n tg r e a t l y a n a l y s i so fh i g h - s p e e dn e t w o r k 锄cb e h a v i o rf i g u r e so u tt h a tm o r ea n dm o r en e t w o r k a p p l i c a t i o n sa n dn e t w o r ks e c u r i t yi n c i d e n t sh a v es h o w nn e t w o r kh o t s p o t s ，w h i c hm e s x l st h a ti na s h o r tp e r i o dn o d e so rs u b n e t ss e n do rr e c e i v eal a r g en u m b e ro fp a c k e t s ，b y t e so rn e t w o r kl o g i c a l l i n k s ，a n du s eu pal o to fb a n d w i d t hr e s o u r c e s t h e s en e t w o r kh o t s p o t sp l a ym o r es i g n i f i c a n t l y i m p o r t a n tr o l ei nn e t w o r ka v a i l a b i l i t y , s e c u r i t ya n ds t a b i l i t y t h e r e f o r e ，h o wt od e t e c ta n dm o n i t o r t h en e t w o r kh o t s p o ti sam a i nr e s e a r c hi nh i g h - s p e e db a c k b o n en e t w o r km e a s u r e m e n t i nh i g h - s p e e dn e t w o r ke n v i r o n m e n t , b ya n a l y z i n gt h ec h a r a c t e r i s t i c so fn e t w o r kt r a f f i ca n d t h el i m i t a t i o n so ft r a d i t i o n a ln e t w o r k sm e a s u r e m e n ts y s t e m s ，a sw e l la ss t u d y i n gd e e p l yo i lt h c o n f l i c tb e t w e e nh i g h - s p e e d ，m u t a t i o n sa n dm a s s i v en e t w o r kf l o wd a t aa n da l s ot h el i m i t e d n e t w o r k 托s r c e s ，t h ep a p e rd e s i g n st h es y s t e mm o d e lo fn e t w o r kh o t s p o tm e a s u r e m e r js y s t e m a n dm a k e sa n a l y s i st h ea l g o r i t h mo fn e t w o r kh o t s p o tm e a s u r e m e n tb a s e do na d a p t i v es a m p l i n g , f i n a l l yd e s i g n sa n di m p l e m e n t st h en e t w o r kh o t s p o tm o n i t o r i n gs y s t e mb a s e do na d a p t i v e s a m p l i n g f i r s t l yt h ep a p e rm a k e sa ni n t r o d u c t i o no nc u r r e n tn e t w o r kc o n d i t i o n sa n dd e v e l o p m e n t o ft h en e t w o r km e a s u r e m e n tt e c h n o l o g y , m a k e sad i s c u s s i o na b o u tt h ee x i s t i n gl i m i t a t i o n so ft h e n e t w o r km e a s u r e m e n ts y s t e i i l w h i c hl e a d st ot h eu r g e n c yo fn e t w o r km e a s u r e m e n t i tg i v e st h e q u a n t i t a t i v ed e f m i t i o n o fn e t w o r kh o t s p o t , a n a l y z e st h ed e v e l o p m e n to fn e t w o r kh o t s p o t m e a s u r e m e n ti nd o m e s t i ca n di n t e r n a t i o n a lf e l da n de x i s t i n gn e t w o r kh o t s p o tm e a s u r e m e n t t e c h n o l o g y , a sw e l la sp r o p o s e st h ea p p l i c a t i o nr e q u i r e m e n t so fr e s e a r c ha n di m p l e m e n t a t i o no f n e t w o r kb o t s p o tm e a s u r e m e n ts y s t e m t h e n , i nt h es e c t i o no fa n a l y s i sa i l dd e s i g no fn e t w o r kh o t s p o tm o n i t o r i n gs y s t e mb a s e do n a d a p t i v es a m p l i n g , i tf o c u s e so nt h ec o r en e t w o r kh o t s p o tm e a s u r e m e n ta l g o r i t h m sa n d t e c h n o l o g i e s i te s p e c i a l l yf o c u s e so ns u p e r s p r e a d e ra n dh e a v y - d e t a i l e dd e t e c ta l g o r i t h m t h e i n a d e q u a c yo fe x i s t m ga l g o r i t h m ss h o w st h a tt h e yc a no n l yd e t e c tn e t w o r kh o t s p o ta to n eo ft h e t h r e ed i s t r i b u t e ：p a c k e t s ，b y t e sa n df l o w s i tp r o p o s e sn e t w o r kh o t s p o t sd e t e c ta l g o r i t h mb a s e do n a d a p t i v es a m p l i n g , w h i c hc a nd e t e c tt h eh o t s p o t sa tt h es a m et i m ef r o mt h em u l t i - d i s t r i b u t eo f p a c k e t s ，b y t e sa n df l o w st oc o n d u c tac o m p r e h e n s i v es u r v e y , a n dc o n t r o lm e m o r yu s ei nt h e m e a s u r e m e n tp r o c e s s ，a n da d o p tt i m e s l i c er o t a t i o nw i n d o wm e a s u r i n ga l g o r i t h m , a sw e l la s m e a s u r e m e n ta c c u r a c yi sb e t t e rt h a np r e v i o u sa l g o r i t h m i tf o c u s e s0 1 1t h eo r i g i n a ln e t w o r k p a c k e t sp 坨p 加c e 鼹i n ga l g o r i t h m , t h en u m b e ro fn e t w o r kh o t s p o td i s t r i b u t e sc o m p e f f i s a l ：i o n a l g o r i t h m , an o n - u n i f o r ms a m p l i n ga l g o r i t h mt or e m o v et h en o n - n e t w o r k - h o t s p o t t h ea d a p t i v e s a m p l i n gr a t i oa d j u s t m e n ta l g o r i t h ma n dt h em t a r yw i n d o wa d j u s t m e n ts t r a t e g ya n ds oo n f l o w h a s hf u n c t i o ni st h ef o u n d a t i o no fd a t as a m p l i n ga n do r g a n i z a t i o n , s oi t sp e r f o r m a n c ed i r e c t l y a f f e c t st h eo v e r a l lm e a s u r e m e n ts y s t e mp e r f o r m a n c e t h ek e yt e c h n o l o g i e so f f l o wh a s hf u n c t i o n i ss t u d i e dh e r e ，f r o mt h eb a s i cd e f i n i t i o no fh a s hf u n c t i o na n dt h ed e f i n i t i o no f f l o w sa n dp a c k e t s , a b s t r a c t a n a l y z e st h ee x i s t i n gf l o wh a s hf u n c t i o na n dp e r f o r m a n c ee s t i m a t i o n , t h r o u g he x p e r i m e n t sm a k ea u s i n ga n ds e l e c t i o nb a s ef o rh a s hi nn e t w o r kh o t s p o tm e a s u r e m e n ts y s t e m i ti sf o l l o w e db yt h ed e s i g no ft h es y s t e mr e q u i r e m e n t s ，t h ec o m p l e t i o no ft h eo v e r a l ls y s t e m a r c h i t e c t u r ed e s i g n a tt h ef o u n d a t i o no fs y s t e md a t af l o wa n dt h ec o r ea l g o r i t h m s ，i tp u t sf o r w a r d t h ed e t a i l e df u n c t i o ns t n l c t u r a ld e s i g n ，u 辩st h ev i s u a l i z a t i o nf e a t u r e sd e s c r i b i n gt h eo v e r a l ls t a t e o ft h es y s t e mo p e r a t i o na n dt h ec o l l a b o r a t i v ew o r k i n gr e l a t i o n s h i pa m o n gv a r i o u sf u n c t i o n a l m o d u l e s a f t e rt 眦i tm a k e st h er e a l i z a t i o no ft h ep r o t o t y p es y s t e mi nl a b o r a t o r ye n v i r o n m e n l f i n a l l y , i tm a k e st h er e l e v a n tt e s tf o rt h ep r o t o t y p es y s t e ma n di t sc o 把a l g o r i t h m s ，a l s od o e sa r e s e a r c h 破t h es e l e c t i o no fa d a p t i v ep a r a m e t e r sf o rt h es y s t e mo p e r a t i o no i lo t h e rn e t w o r k e n v i r o n m e n ti nt h ef u t u r e t e s tr e s u l t ss h o wt h a tn e t w o r kh o t s p o tm o n i t o r i n gs y s t e ma c h i e v et h e e x p e c t e dg o a l si nf u n c t i o na n dp e r f o r m a n c eu n d e rh i g h - s p e e db a c k b o n en e t w o r ke n v i r o n m e n t k e yw o r d n e t w o r kh o t s p o t , a d a p t i v em e a s u r e m e n t , n o n - u n i f o r ms a m p l i n g , f l o wh a s h f u n c t i o n i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：乏进亟鲣导师签名： 叠薹垫日期：丝丝z 丝 j 第一章绪论 第一章绪论 1 1 引言 近年来，随着互联网的不断建设和发展，互联网用户对网络应用多样化和网络服务性能 的需求更加迫切。中国互联网络信息中心发布的2 0 0 8 年中国互联网络发展状况统计报告指 出，截止2 0 0 8 年1 2 月3 1 日中国网民规模达到2 9 8 亿人；网络应用更加多样化，包括网络 媒体、互联网信息检索、网络通讯、网络社区、网络娱乐、电子商务、网络金融等应用；互 联网作为一种互动媒体、信息渠道、生活平台，其对人们价值观念的影响非常巨大：网上调 查结果显示，已有一半以上的网民认为如果没有互联网，娱乐生活将会非常单调。这些都表 明，互联网在人们生活中的地位已经举足轻重【l 】。 用户对互联网应用需求的持续、迅速增长迫使互联网运营服务商面临巨大的需求压力， 一方面，在具体的网络应用中，传统的按时间计费已经无法公平的分配网络带宽资源，8 0 0 , 6 以上网络带宽资源往往被2 0 的网络应用程序消耗，造成网络带宽资源不能公平地分配给其 它网络应用程序，例如在p 2 p 网络中，基于p 2 p 协议的新网络应用程序占据了网络流量的 6 0 以上，许多基于传统协议的流量使用很少带宽，由于传统协议本身在传输控制上的缺点， 基于传统协议的服务在和一些基于p 2 p 协议的服务在网络带宽资源竞争中处于明显的劣势， 互联网服务商无法保证传统网络服务质量，如w e b 、f t p 、s m t p 等服务，互联网服务商需 要对网络中占据较大带宽的用户终端进行监控并对其进行流量计费来限制其抢夺式占用网 络带宽资源；另一方面，网络应用的多样化伴随着网络安全攻击事件的迅速增加，例如d d o s 攻击，蠕虫攻击，端口扫描等，大多数攻击都会在短时间内生成大量链接，占据大量的网络 带宽，甚至造成网络拥塞或网络瘫痪，互联网服务商需要对网络中占据较大网络带宽资源的 节点进行监控，及时发现并对安全攻击事件做出有效响应，保证整个网络的安全运行。可见， 占据网络带宽资源较多的节点是网络服务管理中的切入点。 为了保证网络的能够平稳安全运行，网络管理员需要能够掌握网络中流量的状况，在当 今的网络环境中，特别是掌握在高速主干网络运行时产生大量流量并对网络带宽资源的分配 使用产生重要影响的网络热点信息就具有特别重要的意义。网络热点是指发送或者接受大量 链接、报文或字节的主机或子网。网络热点的监测对众多网络应用都具有重要的参考价值和 指导作用，如流量工程、流量计费、异常检测等等。互联网运营服务商对于网络流量超过一 定限额的主机采取流量计费，一般流量使用超过限额的主机相对于其他主机表现为网络热 点，对这些主机流量进行监控可以完成对此类主机的按流量计费操作；网络中的很多异常事 件亦表现为热点，对网络热点进行监控可以实时掌握网络运行状态特征从而及时发现网络安 全攻击事件并对其进行处理，避免网络安全攻击事件的蔓延造成更大的损失，比如d d o s 攻击的特点是受攻击者的宿p 收到来自于大量不同攻击者的源i p 的链接，蠕虫扫描的特点 是攻击者的源m 向大量的宿l p 发送链接，端口扫描的特点是扫描源p 向大量的宿端口发 起链接，如s l a m m e r 扫描器每秒能够产生3 万个扫描。这些攻击的共同特点是源i p 缩l p 发 送或接收到大量来自于不同宿m i 原i p 的链接，可见对网络热点的监控和管理具有很重要的 应用前景，网络管理员要通过配置部署在网络节点上的网络测量系统对网络热点进行有效监 控，在此基础上才可以获得更加实时、全面的网络热点流量信息从而更好的监管网络运行。 在高速网络环境下，网络热点测量的难点主要是在有限的测量资源下如何在高速网络环 境下对网络热点进行有效和全面测量。网络物理链路线速( 例如o c - 4 8 、o c 1 9 2 等) 的提 升对网络测量系统的性能要求也相应提高，测量系统的内存和c p u 处理能力限制了处理网 络流量的数量和操作复杂度。网络技术的发展必将使网络线速进一步提高，各种新协议及其 应用不断涌现，网络运行状况更加复杂多变，而且网络运行状况的骤变往往会引发更加巨大 东南大学硕士学位论文 的突发性流量，促使网络主干流量对测量系统的负载极限提出了更高的要求，这样有限的测 量资源和高速海鼍数据之间的矛盾就更加突出。如何解决这一问题将成为高速主干网络中网 络热点测量的基础。另外，测量硬件资源无法完成对高速到达海量数据的全报文测量，一般 通过抽样等机制减少需要测量的网络数据流量但却引入了误差，在现有硬件资源水平下，提 高测量精度是网络热点测量的目标；网络热点包括报文、字节和链接多维属性，如何对网络 热点的多维属性进行同时测量也是网络热点测量的难点。 因此，针对高速网络环境给网络测量带来的新的需求和挑战，结合c e r n e t 华东( 北) 地区网络主干环境的特点和测量需求，论文研究网络热点的实时监测体系结构，建立一种检 测网络热点的自适应调整理论，提出网络热点测最系统。根据研究分析的结果、选择合适的 理论依据设计出高速逻辑链路下基于自适应抽样的网络热点的实时系统监测体系结构，并在 c e r n e t 网络基础和流量t r a c e 的基础上建立原型系统，实现对网络热点的实时监控，作 为对在高速网络环境中网络热点有效测量方法研究的探索。 1 2 网络测量研究 1 2 1 网络测量现状 网络测量是一种应用工程方法和数学工具定量测量和描述网络各种性能信息的技术，是 网络管理和网络行为研究的基础。网络测量所获得的网络性能信息能够为网络流量行为，用 户行为分析，网络安全管理，网络流量计费以及网络服务质量保障( q o s ) 等理论研究和网 络具体应用提供数据基础。 网络测量研究工作的起始于1 9 6 8 年i n t e m e t 的前身a r p a r n e t 建立之时。在1 9 6 8 年 8 月美国国防远景研究规划局( d a 刚，a ) 筹建a r p a r n e t 项目的初期，a r p a r n e t 最早 期设计者之一l e o n a r dk l e i n r o c k 和其研究小组已经在加州大学洛杉矶分校( u c l a ) 着手建 立世界上第一个网络测量系统。由于k l e i n r o c k 早期在报文交换理论研究工作上取得的成果 和他对报文交换网络的分析、设计和测量研究的关注，由他在u c l a 建立的网络测量中心 n m c ( n e t w o r km e a s u r e m e n tc e n t e r ) 也成为了a r p a r n e t 的第一个节点【2 】。 随着网络的飞速发展，对网络测量的需要变得更为紧迫，来自全球各地的研究人员组成 了各种从事网络测量研究工作的组织。其中有比较著名的国际化标准组织1 e t f ( i n t e m e t e n g i n e e rt a s kf o r c e ) 下属的三个从事网络测量标准化工作组：p s a m p 、r t f m 和i p f i x ， 以及位于美国加州大学圣地亚哥分校( u c s d ) 高性能技术中心的c a i d a ( c o o p e r a t i v e a s s o c i a t i o no f i n t e m e td a t a a n a l y s i s ) 组织。此外，s i g c o m m 和i n t o c o m m 这些核心的国 际研究会议开始越来越多的关注网络测量研究的发展，还出现了以网络测量为专题的国际性 交流会议，最著名的有p a m ( p a s s i v ea n d a c t i v em e a s u r e m e n t ) 和i m c ( i n t e r a c tm e a s u r e m e n t c o n f e r e n c e ) 网络测量技术发展伴随着新网络测量技术和测量思想的不断涌现，但是根据测量手段的 不同，目前的网络测量方式主要可以分为主动测量和被动测量两类。 主动测量是指通过向网络中主动注入报文数据后根据所注入报文在网络中传输状况来 测试被测网络的相应测度指标。当前，主动测量的设计思想主要有两类：( 1 ) 通过注入数据 引起的网络组成部件的响应来分析网络的状况，例如t r a c e r o u t e 程序通过发送特定生命期 ( 下r l ) 的报文引起路由器发出1 c m p 超时回应来测量报文传输路径信息；( 2 ) 通过注入报 文数据在被测网络中进行传输的传输行为来分析网络的传输特性。主动测量给被测网络带来 额外的荷载负担，从而影响并改变实际网络的传输行为，因此主动测量方式在高速高负载网 络环境中的测试结果与真实结果的偏差往往很大。此外，主动测量需要网络中多个网络组成 2 第一章绪论 部件的参与也限制了它在高速网络测量中的应用。 与主动测量方式不同。被动测量通过被动监听被测网络中原始流量内容来分析被测网络 特征。由于被动测量的直接数据源是网络原始流量数据，被动测量不会影响原有网络的正常 传输行为。此外，被动测量可以从网络应用流量中提供主动测量所无法提供的流量内容信息 用以分析网络流量行为和用户应用行为，并且在协同测量中，被动测量可以通过对网络多个 边界节点的协同测量而获得关于整个被测网络的端至端信息，而不仅仅是主动测量所提供的 指定路径的端至端特性。目前，国内外有m r t g ，t c p d u m p ，n e t f l o w 3 】，s f l o w 4 和 a u t o f o c u s 5 系统等被动测量系统。 被动测量和主动测量在网络技术发展的不同阶段具有不同的实用意义。在网络发展的早 期网络带宽的极其有限，网络流量内容和行为特性单一，因此早期网络测量的主要任务是测 量有限的网络带宽资源以指导对带宽资源的合理分配和使用，而且实际网络环境中流量成分 的单一无法为被动测鼍提供足够丰富的信息，因此早期的网络测营研究中，主动测量的研究 比较活跃而被动测量的使用并不广泛。随着近年来网络带宽和网络应用的飞速增长，网络流 量行为模式成为是网络应用的主要影响因素，网络滥用，病毒蠕虫和网络攻击等引起的网络 流量异常成为造成网络瘫痪的主要原因。而这些流量行为的变化无法通过主动测量方式来有 效测量。因此网络流量测量在高速网络环境下对网络计费，网络服务质量保障，网络规划起 着越来越重要的指导作用，网络被动测量技术的研究重新成为高速网络环境下的测量研究的 焦点。此外主动测量也可作为被动测量的辅助测量手段为被动测量提供被测网络的相关信 息。而论文中研究的网络热点测量属于被动测量，通过对网络中真实的原始报文序列进行处 理得到网络热点的概要信息，从而实现网络热点的监控和管理。 1 2 2 现有网络测量系统 第1 2 1 小节介绍网络测量的基础研究，下面从被动网络测量成果的具体应用情况分析 得出网络热点测量系统的迫切性和必要性。 现有的网络测量系统从技术原理上主要包括以下三种：第一类，基于简单网络管理协议 s n m p 的测量系统，直接读取m i b 对象的流量信息，例如m r t g ，这类测量系统都提供简 单的网络节点诸如进出报文数，字节数等网络状况的综合信息，而不能提供更加具体的流量 信息：第二类，基于网络侦听技术的测量系统，首先将网卡通信模式设为混杂模式，主机可 以通过这个网卡捕获到所有到达本机网卡的报文，例如t c p d u m p ，这类测量系统主要用于 低速网络测量中，不适用高速网络，因为高速网络的报文到达速度非常快，现有的网络硬件 不可能实现全报文采集，可能会出现丢包，造成测量不准确；第三类，基于i p 流技术的测 量系统，这类测量系统都需要特定的路由器硬件支持，路由器需具有专门的用于流量信息收 集的微处理器，让整个测量活动尽可能少影响路由器的数据报文存储转发性能，测量系统都 嵌入在关键节点中，例如c i s c o 的n e t f l o w 对报文按一定方法进行抽样处理，并对抽样后的 报文进行聚类，提供流级别的网络状况信息。 接下来介绍常用的网络测量系统并分析其利弊，提出研究并实现基于自适应抽样的高速 网络热点监测系统的必要性。 基于m i b 的m r t g m r t g ( m u l t ir o u t e rt r a f f i cg r a p h e r ) 是一个监控网络链路流量负载的工具软件，它通过 s n m p 协议从设备得到流量信息，并将流量负载以包含p n g 格式图形的h t m l 文档方式显 示给用户，以非常直观的形式显示流量负载得到m r t g 的输出结果示例。此系统属于上面 分析的第一类，其能测量网络整体流量状况而不能对网络流量内容进行深入分析。 3 东南大学硕士学位论文 t c p d u m p 由于l i n x u 系统的高效性，并且公开源码。不同的用户可以根据需要对内核模块进行改 进以满足应用需求，因此l i n u x 的许多版本广泛应用在网络服务器上，特别是当其作为路由 器或者网关时，数据的采集和分析是必不可少的，t c p d u m p 就是l i n u x 系统下数据采集和 分析工具。 作为互联网上经典的系统管理员必备工具，t c p d u m p 是一个多用途的网络通信监测 器，可捕获和显示报文及其内容。它可以用来作为协议分析器，在系统及网络设备间提供一 个最佳途径来检查通信和连通性问题。使用t c p d u m p ，被检查的报文将用长格式或短格式 ( 根据使用的命令行选项) 显示其信息。t c p d u m p 有一个非常强有力的过滤机制，可用来 查找与指定字符串或规则相匹配的报文。它支持针对网络层、协议、主机、网络或端口的过 滤，并提供a n d 、o r 、n o t 等逻辑语句来帮助用户去掉无用的信息。t c p d u m p 提供了源代码 并公开了应用接口，因此具备很强的可扩展性，对于网络维护和入侵者都是非常有用的工具。 t c p d u m p 提供两种主要的捕获模式：混杂模式和非混杂模式。在混杂模式下，捕获每 个在网络上传递的报文，不管该报文是否发送到执行t c p d u m p 所在系统的网络接口卡 ( n i c ) 。网络探测器( p r o b e ) 在网络上侦听通信并收集协议信息和统计数据。因为局域网 ( l a n ) 协议( 如e t h e m e t ) 是基于广播的，网络中的每个帧可以被连接到l a n 上的任何 网络接口所获得。任何设备可读取网络中的每个帧，只要该设备配置成该混杂模式就可以读 取。当一个设备或接口从网络读取每个帧，就说明它处于混杂模式了。实际中，接口必须为 混杂操作进行配置，并且仅仅用于需要网络诊断的特殊场合。由于这个缘故，仅有r o o t 可 以在一个接口上启用混杂模式。这是非r o o t 用户不允许调用t c p d u m p 的主要原因。 t c p d u m p 工具提供了许多命令行选项来选择捕获模式、控制输出、指定过滤规则以及 指定其他操作特性。这些选项根据它们的功能被分组并且包括以下种类：操作模式、显示选 项、报文过滤选项。 但是t c p d u m p 在混杂模式下工作时对其他主机的信息存在安全威胁，而且t c p d u m p 适用于l a n 环境，只能通过网卡捕获本局域网中的报文，其性能无法满足高速网络测量需 要。t c p d u m p 实际上是局域网数据采集的系统，并没有对采集到的数据作进一步的分析处 理，因为功能上也无法满足网络热点测量需求。 n e t f i o w 流测量系统和自适应n e t l i o w ( a d a p t i v en e t l i o w ) c i s c o 公司基于其硬件路由器产品的n e t f i o w 流信息输出功能是目前主要的高速网络环 境下的硬件流测量系统。c i s c on e t f l o w 主要用于口流信息的测量。其数据交换格式的提出 和修正遵循i p f i x 工作组的规范指导，因此也成为了i p f i x 评测中的推荐协议。目前，以其 标准的开放性而被业界厂商广泛支持，其兼容协议形式在各家硬件路由器产品中都有应用。 此外，不少软件测量系统也以n e t f l o w 数据交换格式或兼容格式作为数据输出格式。 s a m p l e dn e t f i o w 的系统大致如图1 1 所示。n e t f i o w 功能实现路由器的硬件接口板。在 n e t f l o w 的实现中，报文数据从报文转发硬件根据抽样比( 1 n ) 随机抽取报文头部信息后 送入硬件小容量缓冲( s m a l lb u f f e r ) 。n e t f l o w 处理器( p r o c e s s o r ) 从缓冲中取得抽样报文 头部信息后更新d r a m 中的n e t f l o w 缓存( n e t f i o wf l o wc a c h e ) 中，当缓存中流记录满足 n e t f l o w 的淘汰策略( 流终结，超时或缓存空间不足) 被送往n e t f l o w 处理器( p r o c e s s o r ) 生成为流记录信息后通过网络输出给后端用于数据收集和分析的服务器( d a t ac o l l e c t i o na n d a n a l y s i ss e r v e r ) 。图1 1 中带箭头的虚线表示n e t f l o w 中的数据流。 4 第一章绪论 图1 1n e t f l o w 系统结构 在设计中，n e t f l o w 还采用了降低系统内存和处理器消耗的流结束策略。当n e t f l o w 系 统中流记录满足下列情况之一时将被视为流已经中止并被淘汰出缓存区： ( 1 ) 当收到表示t c p 会话结束的报文时( t c p 报文中f i n 或l i s t 标志置位) 时，表 示该流正常结束； ( 2 ) 流1 5 秒内没有收到新的报文出现了流空闲超时，则n e t f l o w 决定不再为其继续维 护流记录； ( 3 ) 流已持续3 0 分钟，系统将强制中止该流记录，为其他新流提供被记录的机会； ( 4 ) 流缓存已满，则选择终止部分流记录以释放缓存空间。 n e t f l o w 在设计思想上对传统网路测量系统的改进： 功能设计上的简化。n e t f l o w 设计中去除了基于规则的流量聚类功能，仅以5 元组 定义和维护流信息，而把对于流信息的处理工作( 包括聚类) 交给后端流分析程序去完成。 更适合高速网络环境流量信息输出的数据交换方式。n e t f l o w 采用基于u d p 报文 的推送( p u s h ) 方式进行数据传输，在传输中n e t f l o w 报文通过连续的s e q u e n c e 字段来标 示数据是否丢失相比较s n m p 采用的数据拉取( p u l l ) 方式更适合大容量流信息报告的输出。 在v 9 交换格式规范中，n e t f i o w 使用了数据描述通告来解释数据报文的结构比传统测量系 统的基于m i b 的固定描述方式在数据表示上更具有灵活性和可扩展性嘲。 对报文抽样的支持。n e t f l o w 在系统中集成了抽样测量功能，可根据网络实际流量 状况调节系统的负载压力从而提高n e t f l o w 在高速网络环境下的适用性。 流终止策略设计提高了策略系统的鲁棒性。 c r i s t i a ne s t a n 等在文献【6 】中指出根据n e t f l o w 在高速网络环境中实际使用经验仍存在 着不适应高速网络环境下测量的缺陷。不足主要表现在四个方面： ( 1 ) 自适应抽样比：网络状况条件并不是稳定不变的，合理的抽样比应该是高测量精 5 东南大学硕士学位论文 度和测量系统安全稳定运干- 的基础。高速同络中同络流量具有明显的白相似性，而且报文的 到达速度并不是均匀的，体现出明显的波峰波谷，类似d d o s 攻击，蠕虫攻击，端口扫描等 安全攻击事件在短时间内产生丈量的连接，使基于主干隔络路由器的测量系统无法收集阿络 报文或直接崩溃。所以静春抽样比无法适应高速网络测量抽样比应该根据弼络状况的变化 及时更新以适应新网络环境的测量要求。 ( 2 ) 流表的重整化：n c t n o w 中的流表中流记录按照白定义的流超时机制生成待输出 的流记录存储在流输出缓冲区井定期发送至指定数据采集器。但是n e t f l o w 现有机制无 去 应对流表在短时间内的容量变化，文献中陋】提出了根据抽样比的调整及时更新流表的策略 即漉表重正化。 ( 3 ) 基于时同片的铡量：n e t f l o w 不支持基于时间片的流输出燕略。但高速阿络中流 量的变化速度非常快，如果每个周期的流信息输出都是按缓冲区的容量作为触发，那么将存 在两