（计算机软件与理论专业论文）ip网络流量特征分析与测量方法研究.pdf

硕士学位论文 = = = = = = = = = = = = = = = = = = = = = = = = = = = = ! = ! 。! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! = 摘要 i n t e r n e t 已经成为人们生活和经济活动中一个不可或缺的重要组成部分，必须 要求有一个可信和可靠的技术来监测和维护网络是否安全、高效、稳定地运行。 网络测试和测量技术就是为了满足这要求而发展起来的测量技术。网络测量技 术对及时了解网络实时运行状态和了解网络行为特征十分重要。同时，对重新设 计高效的网络系统，重新进行网络性能设施的配置和为不同的网络客户提供优质 服务起到了指导性作用。 本文首先针对网络流量行为特征进行分析。在建立网络流量模型时，许多文 献都是以网络流量服从泊松分布或马尔科夫链为假设前提，来建立自己的网络流 量数学模型。本文将着重对网络流量呈现出的自相似性行为特征进行分析和研究， 并根据网络流量服从重尾分布特征，对网络流量行为呈现出自相似性特征的原因 进行分析。对c l a r k n e t h t t p 网络流量集合和c a l g a r y h t t p 网络流量集合的分析 结果表明：无论是在工作日期间还是在休息日期间，无论是在上班时间期间还是 在下班时间期间，网络流量行为都很好地表现出具有突发性特征的自相似性特征。 并且经过进一步的分析发现：网络流量行为表现为自相似性特征与网络在传输文 件过程中一次所传输数据文件的大小，用户敲击键盘的时间间隔，突发比特的大 小和突发所持续的时间相关，而与网络流量是否处于活跃状态并无直接关系。 根据对网络流量行为特征的分析和对当前一些网络流量数据采样方法研究的 分析，同时也为了解决当前许多基于泊松模型的采样算法在对网络流量信息进行 采样时，不能很好地解决网络流量具有自相似性特征的突发现象等问题，本文提 出了两种网络流量数据采样方法：一种基于历史纪录的网络流量数据采集方法和 一种基于集合时间序列的网络流量数据采样方法。它们是通过充分利用当前网络 流量的变化特征，即网络流量具有历史记忆性特征和在同一空间时间序列内网络 流量变化具有相同的变化特征，而分别提出的。实验结果证明：我们所提出的两 种网络流量数据信息采样方法，与传统的网络流量采样方法相比，能够在有效降 低网络负荷的情况下，所获得的网络流量样本信息能够更好地反映原始网络流量 的交化特征规律。 通过上面几部分内容的分析，我们发现网络流量表现出具有突发性的自相似 性特征。本文也将试图从消除网络流量突发现象的角度出发，通过采用流量整形 技术和虚拟数据报文段探针来探测网络链路中可用剩余带宽技术，提出一种基于 测量的t c p 拥塞控制改进算法。使得改进后的算法在一个t c p 会话连接过程中， 所产生的网络业务流比传统t c p 拥塞控制算法所产生的网络业务流显得更加平 i p 网络流量特征分析与测量方法研究 滑，从而达到提高网络服务性能的目的。实验结果表明：我们所提出的基于测量 的t c p 拥塞控制改进算法，与传统的t c p 拥塞控制算法相比，其所产生的网络 业务流显得更加平滑；同时，在降低网络数据包丢失率，提高数据包吞吐量等网 络服务性能上，也获得了令人满意的效果。 关键字：网络测试；自相似性；网络流量突发；网络流量数据采集；拥塞控制； 虚拟数据包文探针；流量整形技术 i i 硕士学位论文 a b s t r a c t i n t e r n e ti sb e c o m i n gt h ei m p o r t a n tp a r to fo u rl i v e sa n de c o n o m ya c t i v i t y i ti s n e c e s s a r yt h a ti t n e e d sac r e d i b l ea n d d e p e n d a b l em e t h o da n dt e c h n o l o g yt og u a r da n d s u s t a i nw h e t h e rt h en e t w o r kr u n s s a f e l ya n ds t e a d i l y f o rt h i sr e a s o n ，n e t w o r k m e a s u r e m e n tm e t h o da n dt e c h n o l o g yw a ss u p p o s e d ，a n di ti sv e r yi m p o r t a n tt h a tw e f i n dt h ec o r r e c tw o r ka n db e h a v i o ro fn e t w o r kt i m e l y a tt h es a m et i m e ，n e t w o r k m e a s u r e m e n tm e t h o da n dt e c h n o l o g yt a k e sa p r o p o s i n ga n dc o n s u l t i n g r o l eo f p l a n n i n gt h en e t w o r ks y s t e m ，r e d e s i g n i n gt h en e t w o r kp e r f o r m a n c ea n dp r o v i d i n gt h e d i f f e r e n ts e r v i c ef o rd i f f e r e n tn e t w o r kc u s t o m e r s i nt h i sp a p e r , f i r s t l y , w ew i l lm a k ea n a l y s i so fn e t w o r kt r a f f i cc h a r a c t e r i s t i c sa n d b e h a v i o r w h e nm o d e l i n gt h en e t w o r kt r a f f i cc h a r a c t e r i s t i c s ，m a n yp a p e r sm a k et h e m o d e lo ft h en e t w o r kt r a f f i co nt h eb a s i st h a td i s t r i b u t i o no fn e t w o r kt r a f f i ci sp o i s s o n d i s t r i b u t i o no ro ft h em a r k o vc h a i n s w ew i l lf i r s te m p h a s i z eo nt h ea n a l y s i so ft h e n e t w o r kt r a f f i ch e r e w ea l s ok n o wt h a tn e t w o r kt r a f f i ca c t sa ss e l f - s i m i l a r l y c h a r a c t e r i s t i c ss i n c et h ed i s t r i b u t i o no ft h et r a f f i ci sah e a v y t a i l e dd i s t r i b u t i o n h e r e w ew i l la l s o a n a l y z et h e r e a s o nt h a tt h en e t w o r kt r a f f i ca c t sa s s e l f - s i m i l a r l y c h a r a c t e r i s t i c s t h r o u g ht h er e s u l to fa n a l y s i so nt h ec l a r k n e t h t t pt r a f f i ca g g r e g a t e a n dc a l g a r y - h t t pt r a f f i ca g g r e g a t e ，i ts h o w st h a tt h en e t w o r kt r a f f i cc h a r a c t e r i s t i c s a c t sa ss e l f - s i m i l a r l ya n ds e l f - s i m i l a r l yc h a r a c t e r i s t i c sd e p e n d so nf i l es i z e ，t h et i m e i n t e r v a lo fk n o c k i n gt h ek e y b o a r d ，b u r s ts i z e ，a n db u r s tt i m el e n g t h ，n o td e p e n d so n w h e t h e r n e t w o r kt r a f f i ci so na c t i v es t a t e s e c o n d l y , a c c o r d i n gt ot h er e s u l to ft h en e t w o r kt r a f f i cc h a r a c t e r i s t i c sa n a l y s i s ， w ew i l lc o n s u l ts o m ec u r r e n tm e t h o d so fn e t w o r kt r a f f i cs a m p l ea n ds u p p o s et w on e w n e t w o r kt r a f f i cs a m p l em e t h o d s ：an e t w o r kf l o wd a t as a m p l i n gm e t h o db a s e do n h i s t o r ym e m o r ya n da m e a s u r e m e n ta n da n a l y s i so fn e t w o r kf l o wc h a r a c t e r i z a t i o n b a s e do na g g r e g a t e dt i m e s e r i a l t h r o u g ht h ec h a n g ec h a r a c t e r i s t i c so fc u r r e n t n e t w o r kt r a f f i c ，t h e ya r eb o t hs u p p o s e do nb a s e do ft h et r a f f i cc h a n g ec h a r a c t e r i s t i c s w i t hh i s t o r ym e m o r ya n dt h es a m ec h a n g ec h a r a c t e r i s t i c sw i t h i ns a m es p a c e t i m e s e r i a la g g r e g a t e a c c o r d i n gt or e s u l to ft h ee x p e r i m e n t ，t h et w on e t w o r kt r a f f i c s a m p l i n gm e t h o d ss u p p o s e di nt h i sp a p e rc a nd ob e t t e ri nc o m p a r i s o nt ot h ec u r r e n t m e t h o d so fn e t w o r kt r a f f i cs a m p l eo np e r f o r m a n c ea n dr e d u c et h en e t w o r kt r a f f i c s a m p l ea m o u n t 1 p 网络流量特征分析与测量方法研究 f i n a l l y ，f r o mt h ea n a l y s i sa b o v e ，i th a sb e e ns h o w e dt h a tt h en e t w o r kt r a f f i c b e h a v e ss e l f - s i m i l a r l yw i t hm o r eb u r s t h e r ew ew i l la l s os u p p o s eat c p c o n g e s t i o n c o n t r o la l g o r i t h mb a s e dm e a s u r e m e n t ，w h i c hm a k e sf u l lu s eo ft r a f f i cs h a p i n gm e t h o d a n dd u m m yd a t ap a c k e tt od e t e c tt h ea v a i l a b l eb a n d w i d t hi nt h en e t w o r kp a t ha n d m a k et h en e t w o r kt r a f f i cs e e ml i k es m o o t h e rw h i c hw i l li m p r o v et h en e t w o r ks e r v i c e p e r f o r m a n c em o r e e x p e r i m e n t sp r o v et h a tt h en e t w o r kf l o wp r o d u c e d b yo u r a l g o r i t h ms e e m ss m o o t h e ra n dg a i nt h eb e t t e rp e r f o r m a n c ew i t hl e a s tp a c k e tl o s sa n d m o r ep a c k e tt h r o u g h p u tw i t hc o m p a r i s o nt ot h en e t w o r kf l o wp r o d u c e db yc u r r e n t t c pc o n g e s t i o nc o n t r o la l g o r i t h m s k e yw o r d s ：n e t w o r km e a s u r e m e n t ；s e l f - s i m i l a r l y ；n e t w o r kt r a f f i cb u r s t ；n e t w o r k t r a f f i cd a t as a m p l e ；c o n g e s t i o nc o n t r o l ；d u m m yd a t ap a c k e tp r o b e ； t r a f f i cs h a p i n gt e c h n o l o g y i v 硕士学位论文 插图索引 图2 1c l a r k n e t h t t p 自相似性参数h 评估结果 图2 2c a l g a r y b t t p 自相似性参数h 评估结果一 图2 3c l a r k n e t - h t t p 网络流量午夜自相似性参数h 比较一 图2 4c a l g a r y h t t p 网络流量午夜自相似参数h 评估比较 图3 1 原始流量示意图 1 5 1 5 一一17 图3 2 周期变化率示意图 图3 3 趋势变化率示意图 1 7 图3 4 新方法对原始采样数据的拟合一一一一 图3 5 对p o i s s o n 过程采样拟合一 图4 1 周期性采样算法示意图一一 一2 3 一- 一- 一2 4 图4 2m a n f c a t 网络流量数据采样算法流程图 图4 3 原始网络流量示意图 图4 4m a n f c a t 网络流量示意图一 图4 5 周期性网络流量示意图 图4 6 原始流量v a r i a n c e t i m e 示意图 图4 7m a n f c a t 流量v a r i a n c e t i m e 示意图 图4 8 周期性流量v a r i a n c e t i m e 示意图 2 4 3 1 3 2 3 3 图5 i 传统的t c p 流发送端发送数据保文段模式示意图 图5 2 整形方法t c p 流发送端发送数据报文段模式示意图 图5 3 虚拟数据报文探针探测t c p 链路可用带宽算法一 一一3 4 3 8 3 9 4 0 图5 4 拥塞避免阶段发送端发送数据报文段改进算法一一一一一一一一4 1 图5 5t c p s h a p e 算法流程图一一 图5 6t c p 发送端运行与时间关系示意图一一 图5 7 模拟实验拓扑结构一- - _ 一一 图5 。8 结果比较一一一一 v 4 2 4 5 4 6 l p 网络流最特征分析与测量方法研究 附表索引 表2 1 自相似过程与短相关过程的主要区别 表3 1n f d s - h m 流和p o is s o n 流统计特征对照表一- - - 一一一一一一2 5 表4 1 期望值，方差，突发参数对照表( c a l g a r y h t t p ) 一 表4 2 期望值，方差，突发参数对照表( c l a r k n e t h t t p ) v i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名： 泷尔i 罡日期：z 。o s - 争月巧日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密哦 ( 请在以上相应方框内打“”) 作者签名：泐承隹 导师签名 硕士学位论文 第1 章绪论 1 1 网络流量行为和测量方法概述 近年来，以t c p i p ( t r a n s f e rc o n t r o lp r o t o c o l i n t e r n e tp r o t o c 0 1 ) 协议为核心的 i n t e r n e t 取得了巨大的发展和进步。随着i n t e r n e t 规模不断地扩大和上网用户人数 的增加，通过i n t e r n e t 传输的信息量正在不断地呈现出以指数速率方式增加。同 时，由于一些新型网络应用的出现和网络用户对网络服务需求的变化，通过网络 传输信息的结构组成也发生了巨大的变化。 1 1 1 网络流量行为的变化概述 自从网络出现至今，经过网络传输的信息量正在以指数增长方式增加。比如， k l e i n r o c k f l 】在观察从1 9 7 1 年十月到1 9 7 5 年三月期间a r p a n e t 网络流量变化情况 时发现：在其前半时期内，网络流量以较快的指数速率方式增加，从1 9 7 1 年十月 期间每天十万个数据流增加到了到1 9 7 3 年八月为止的三十倍。尽管以后其流量的 增长速率有所下降，但是其仍然服从以指数速率方式增加。同时，对通过m e r i t ， i n c 【2 】网络流量进行的统计结果也表明经过该主干网络上的网络流量以指数速率 方式增加，从1 9 9 1 年三月的每天大约o 4 + 1 0 ”b y t e s 增加到了1 9 9 4 年三月的每天 大约0 3 5 * 1 0 ”b y t e s 。这相当于每年网络流量增加大约1 0 5 。还有许多其它的文 献i 3 , 4 , 5 , 6 1 都已经表明当前网络流量都正以不同指数速率方式增加。 另一方面，随着网络规模的发展，新网络用户数量也正在不断地增加。这可 以从中国互联网统计调查结果【7 1 看出：截止到2 0 0 3 年1 2 月3 1 日，我国上网计算 机总数已达到3 0 8 9 万台，同2 0 0 3 年6 月3 0 日的调查结果相比，我国上网计算机 总数半年内增加了5 1 7 万台，增长率为2 0 1 ，和2 0 0 2 年同期相比增长了4 8 3 ， 是1 9 9 7 年1 0 月第一次调查结果2 9 9 万台的1 0 3 3 倍。可见我国上网计算机总数 呈现出比较快的增长态势，同时也反映出我国网络规模正取得了惊人的扩大速度， 并且这种扩大趋势还将一直地保持下去。正是因为如此，近年来经过网络传输的 信息构成也发生了巨大的变化。特别是由于v o i p ，v o d 及p 2 p 等网络多媒体应用 的出现，进一步加剧了经过网络传输信息构成的这种明显变化趋势。 随着网络不断发展，研究人员对经过网络传输业务流的认识也发生了根本性 的变化。早在上个世纪7 0 年代初，人们对通过数据通信网的流量观测结果表明： 数据通信源具有突发性特征嘲，并在对其建立数学模型时提出了基于泊松分布流 量模型的假设：( 1 ) 外部数据源产生流量的时间间隔为指数分布，即数据源到达 过程是服从泊松分布过程；( 2 ) 数据源一次产生的流量长度服从指数分布：( 3 ) i p 网络流量特征分析与测量方法研究 网络数据包到达的时间间隔和数据源一次产生的流量长度之间相互独立。 但是随着新型网络应用的出现，网络流量服从泊松分布过程的假设对现代通 信网络显得不尽合理，并且试验测试结果也说明了这些假设的不合理性。例如： l e l a n d 等人通过对l a n 中的流量测试分析川结果和k l i n v a n s h y 等人对w a n 中的 流量测试分析【l o 】结果都独立地发现网络流量具有自相似性特征。同时在对流量自 相似性特征和流量数学模型建模以及流量预测等方面，近年来研究人员也做了大 量的研究工作，”j ”。2 0 世纪9 0 年代以来出现在网络上的节点数呈现出指数方 式增加和新型网络应用( 例如v o d ，v oi p 等) 的出现增加了对网络流量特征化的困 难。w w w ，f t p , v o d ，v oi p 等网络应用产生的流量行为特征与相应q o s 需求的差 异以及不同比例流量的叠加，使得传统p s t n 统计流量特征方法不再适合于分析 数据通信网络流的流量特征。 从而，自从上个世纪9 0 年代初起来，研究人员开始对网络流量行为表现为自 相似性特征进行了大量的研究。研究结果表明：不论是在l a n t ”】网内还是在w a n 网内1 1 4 , 1 6 1 ，网络流量行为越来越表现为具有突发性特征的自相似性特征。文献【1 7 1 中还对网络流量行为表现为自相似性特征的原因进行了初步分析，并发现网络流 量服从重尾分布( h e a v y t a i l e dd i s t r i b u t i o n ) 在网络流量行为表现为自相似性特征 的过程中扮演着重要的角色。 1 1 2 网络流量测量作用和方法分类 经过过去几十年的发展，i n t e r n e t 已经取得了巨大的进步。过去，i n t e r n e t 只 是传输一些诸如文本文件，远程登陆，电子邮件和网络新闻等一些基于文本应用 的信息，现在，许多其它新型网络应用已经出现在i n t e r n e t 上，比如网络视频会 议，多媒体流，w w w 服务和电子商务，使得通过网络传送的信息类型发生了巨 大的变化，对网络的正常运行和网络所提供的服务性能提出了重大的挑战。因此， 如何正确和准确地测量网络业务流对有效实时评估网络性能，预测现实网络容量 行为，网络性能配置等起到了至关重要的指导作用。其作用的重要性主要表现为 以下几个方面n 8 】： ( 1 ) 网络故障点分析：众所周知，计算机网络并不是一个非常可靠的信息转 发系统。网络系统中任何一部分的故障和瓶颈都有可能给整个网络提供的服务性 能产生重要的影响，比如广播风暴，非法数据包的大小，i p 地址格式错误和安全 攻击等等。对网络系统详细准确的测试结果能够为网络管理者提供有效的管理方 式，能够为快速处理网络故障提供正确的解决方法。 ( 2 ) 协议漏洞诊断：i n t e r n e t 是一个处在不断发展中的大型系统。新的和改 进版的网络协议和新型网络应用需要经过不断地测试和调试，只有在确信没有什 么重大问题时才能被网络运行和使用。网络流量测试为网络协议和新型网络应用 2 硕士学位论文 的这种测量和调试提供了一种有效可行的指导方法。 ( 3 ) 网络负荷特征分析：网络流量测试数据结果也能够作为网络负荷分析过 程的输入。通过采用统计方法来从这些测试结果数据中抽取出对某一新型网络应 用和网络协议具有突出和代表性的属性进行分析和评估，以进一步提高这些网络 协议性能和新型网络应用性能。同时，也有利于为提高这些性能对网络系统的进 一步改进。 ( 4 ) 性能评估：最后，网络流量测试结果还可以用来对某一网络协议和新型 网络应用在网络中的性能进行评估。通过这些评估，能够确认限制其性能提高的 瓶颈所在，有利于进一步提高网络系统的性能。 网络流量测量测试技术研究是一项十分系统和复杂的工作。当前，世界上有 许多研究机构和学术工作组都已经加入到了从事网络流量测量测试技术研究这一 行列中，比如i e t f ，c a i d a 等。此外，还有许多其它国内和国外各个研究机构 的加入，都充分说明进行网络流量测量测试研究工作，对维护网络正常运行和提 高网络服务性能具有非常重要的作用和现实意义。当前也有许多杂志和会议专门 为进行网络流量测量测试和网络测量测试提供了学术交流和讨论的场所，这些知 名的杂志和会议有：i n f o c o m ，a c m ，s i g c o m m ，a c ms i g m e t r i c s ，p a m ，i m c ， i e e e t r a n so nn e t w o r k ( c o m m ) 等。从而，进行网络流量测量测试的各种技 术和方法也相继出现。这些网络流量测量测试技术方法按照不同分类方法可主要 分为以下几种 1 8 1 ： 基于硬件方法和基于软件方法： 基于硬件的测试方法主要是指根据某一特定目的，通过硬件分析器来对网络 数据进行收集和分析的方法。采用该方法对网络流量进行测试和分析，其代价一 般比较大。其所需要付出的代价主要是由该部分的网络接口数量，网卡类型，以 及存储能力和其对网络协议的分析能力所决定。 基于软件的测试方法又主要可分为两大类：一类是用通过对基于工作站网络 接口系统核心级源码进行修改而生成的软件来进行网络流量测试与分析的方法， 其主要代表软件有t c p d u m p ：另外一类是基于访问网络日志信息来进行分析和测 量而产生的方法，其访问的日志信息一般主要包括：网络访问时间、网络客户地 址、u r l 访问请求、文件大小、网络服务器负荷等。 一 被动和主动方法： 基于采用测试方式的不同，网络测试方法可分为被动测试方法和主动测试方 法。被动测试方法在进行网络性能测量测试时，一般不用向网络中注入任何测试 网络流量，通过在网络某一条链路上或者端口安装一个探测器来观察和分析网络 数据包流的方法。被动测试方法是一种非入侵式的测量方法，当前所用的大部分 测试软件都是属于这种被动测试方法。 1 p 网络流量特征分析与测量方法研究 主动测试方法则是通过向网络注入自己的测试网络流量来对网络性能以及特 征进行测试和分析的方法。主动测量方法是一种入侵式的测量方法。比如，p i n g 程序通过向网络中发送u d p 数据报文段来探测主机到某一特定目的节点的网络 延迟等等。 在线测量和离线测量： 按照进行测量测试和分析时间的不同，网络流量测试和测量方法可以分为在 线测量方法和离线测量方法。其中大多数基于硬件测量方法都是属于在线测量方 法。另外，t c p d u m p 是一种支持离线测试测量方法的软件。 其他的分类方法： 除了以上几种分类方法外，网络流量测量测试方法还可以从以下几个方面来 进行分类。基于局域网内和广域网内的测量测试方法：当前，由于网络不断取得 发展，对网络性能行为测量测试技术方法的研究再也不只是局限在局域网范围内 部进行研究。对网络行为测量测试技术方法的研究已经重点转向对广域网范围内 网络行为测量测试方法的研究。由于在进行广域网管理时采用的并不是单一的网 络管理模型，因此在进行广域网络性能行为测量测试研究时无疑加大了其研究的 难度，例如在进行广域网性能行为测量测试研究时，必须首先解决在对局域网进 行测量测试技术方法研究时所没有考虑的关于网络信息安全和个人隐私等问题。 另外，网络测量测试方法也可根据在不同的网络协议层间进行的测量测试方法来 进行分类。 1 1 3 流量测量与测试方法概述 在进行网络流测试和测量时，针对网络流量不同测试和测量的重点，需要收 集的网络流量信息有所不同。其中这些收集的信息主要包括有【1 9 1 ：i p 数据包源端 和目的端地址、i p 数据包源端和目的端的端口号、服务类型、数据包和比特计数、 业务流开始和结束时间戳、输入输出端口号和路由信息( 路由下一跳地址，源目 的自治系统号，源目的前缀掩码) 等。 为了有效地收集到在进行网络测量测试时所需要的特定信息，针对被动网络 测量方法，i e t f 在2 0 0 3 年9 月编写了一份被动网络数据包测量测试框架【2 0 】。该 测量测试框架对应于r f c 2 0 2 6 2 1 1 标准草案中的第十部分。在该文件中，提出了一 些关于网络业务流数据采样和收集方法以及实现框架。除此之外，针对i p 数据包 的选择和输出方法标准，同样i e t f 在文献 2 2 , 2 3 , 2 4 , 2 5 】中也都有专门的介绍。下面将 专门介绍网络流测量测试方法研究的发展过程。 周期性网络流量数据测量和测试方法是所有网络流量测量方法中最简单容易 实现和有效的方法。在早期的网络测试系统中，特别是在c i s c o 路由器系统中 1 9 1 , 周期性网络流量数据测量和测试方法得到了广泛的应用。但是，该方法并没有充 4 硕士学位论文 分有效地利用网络流量特征变化规律和网络设备服务器c p u 的利用率变化特征 等规律。使得在稍微加大网络流量信息收集密度就可以大大提高测试精确度时， 而没有加大网络流量的收集密度；反之，在可以降低网络流量信息收集密度但对 测试精度没有太大的影响时，而没有降低网络流信息收集密度。因此使得收集到 的网络测量数据不能很好地代表真实网络业务流的行为特征和变化规律。直到后 来，为了充分有效地利用网络流量行为特征和变化规律，研究人员在对网络流信 息进行分析时，认为网络流量行为特征很好地服从泊松分布数学模型【8 】。因此， 许多有关于基于泊松模型的网络流量信息采样和收集的经典方法才被提出来 1 l 2 6 y 如马尔科夫链模型和a r i m a 模型等) 。但是直到上个世纪九十年代初，随着 网络规模的扩大和一些新型网络应用的出现，许多研究人员在对网络流量行为特 征和变化规律进行分析和研究时发现：无论是在局域网内的网络流量行为特征和 变化规律还是在广域网内的网络流量行为特征和变化规律，都可以更好地应用具 有突发性特征的自楣似性来进行描述 1 4 , 1 5 , 1 6 , 3 0 。因此，在建立网络业务流量数学模 型时，许多研究人员开始从自相似性角度来对网络流量行为特征进行分析，以达 到更好地解决由于网络突发性特征对网络性能造成的负面影响的目的。 1 1 4 本文工作的意义 如何有效地对网络流量行为特征进行测量和分析，对正确认识和理解网络行 为，对确保网络正常有效地运行起到了至关重要的作用，具有非常重大的现实意 义。其意义主要表现在以下几个主要方面：( 1 ) 准确有效地进行网络流量行为特 征测量和分析有利于判断当前网络是否处于正常的运行状态。正如我们所知道的 那样，当前运行的网络系统并不象我们所想象的那样可以一直保持着正常稳定的 运行状态，而是经常出现局部故障问题，并严重影响了整个网络系统的运行状况。 进行网络流量行为特征分析和测量方法的研究，有利于我们判断网络局部故障错 误的出现、定位和更正。( 2 ) 有利于提高网络运行性能。i n t c r n c t 系统是一个无论 在规模上还是在性能上，都是在不断获得发展的大型复杂网络系统。进行网络流 量行为特征测量和分析有利于重新设计新的网络应用协议和定位现存网络应用制 约其性能提高的关键原因所在，以达到对其应用现行版本进行改进的目的。( 3 ) 有利于实现有效地网络管理。进行有效地网络管理是保证网络正常运行的关键方 法之一。从事网络流量行为特征分析与测量方法的研究可以指导我们如何有效地 进行网络流量控制，计费管理，提供有效的区分服务等等。( 4 ) 为将来进行网络 设施的升级起到了指导性的作用。( 5 ) 有利于网络安全的维护等。 1 1 5 本文的主要工作 网络流量行为特征测量与分析方法是网络领域的关键技术之一。特别是对于 大型复杂网络系统来说，该技术显得格外的重要。本文将围绕网络流量相似性特 5 硕士学位论文 分有效地利用网络流量特征变化规律和网络设备服务器c p u 的利用率变化特征 等规律。使得在稍微加大网络流量信息收集密度就可以大大提高测试精确度时， 而没有加大网络流量的收集密度；反之，存可以降低网络流量信息收集密度但对 测试精度没有太大的影响时，而没有降低网络流信息收集密度。因此使得收集到 的网络测量数据不能很好地代表真实网络业务流的行为特征和变化规律。直到后 来，为了充分有效地利用网络流量行为特征和变化规律，研究人员在对网络流信 息进行分析时，认为网络流量行为特征很好地服从泊松分布数学模型【s 。因此， 许多有关于基于泊松模型的网络流量信息采样和收集的经媳方法才被提m 来 i l 2 6 1 ( 如马尔科夫链模型和a r l m a 模型等) 。但是直到上个世纪九十年代初，随着 网络规模的扩大和一”些新型网络应用的出现，许多研究人员在对网络流量行为特 征和变化规律进行分析和研究时发现：无论是在局域网内的网络流量行为特征和 变化规律还是在广域网内的网络流量行为特征和变化规律，都可以更好地应用具 有突发性特征的自相似性来进行描述 1 4 , 1 5 , 1 6 , 3 0 】。因此，在建立网络业务流量数学模 型时，许多研究人员开始从自相似性角度来对网络流量行为特征进行分析，以达 到更好地解决由于网络突发性特征对网络性能造成的负面影响的日的。 1 1 4 本文工作的意义 如何有效地对网络流量行为特征进行测量和分析，对正确认识和理解网络行 为，对确保网络正常有效地运行起到了全关重要的作用，具有非常重大的现实意 义。其意义主要表现在以下几个主要方面：( 1 ) 准确有效地进行网络流量行为特 征测量和分析有利于判断当前网络是否处于正常的运行状态。正如我们所知道的 那样，当前运行的网络系统并不象我们所想象的那样可以一直保持着t f 常稳定的 运行状态而是经常出现局部故障问题，并严重影响了整个网络系统的运行状况。 进行网络流量行为特征分析和测量方法的研究，有利于我们判断网络局部故障错 误的出现、定位和更正。( 2 ) 有利于提高网络运行性能。i n t e r n e t 系统是一个无论 在规模上还是在性能上，都是在不断获得发展的大型复杂网络系统。进行网络流 量行为特征测量和分析有利于重新设计新的网络应用协议和定位现存网络应用制 约其性能提高的关键原因所在，以达到对其应用现行版本进行改进的目的。( 3 ) 有利于实现有效地网络管理。进行有效地网络管理是保证网络正常运行的关键方 法之一。从事网络流量行为特征分析与测量方法的研究可以指导我们如何有效地 进行网络流量控制，计费管理，提供有效的区分服务等等。( 4 ) 为将来进行网络 设施的升级起到了指导性的作用。( 5 ) 有利于网络安全的维护等。 1 1 5 本文的主要工作 网络流量行为特征测量与分析方法是网络领域的关键技术之一。特别是对于 大型复杂网络系统来说，该技术显得格外的重要。本文将围绕网络流量相似性特 大型复杂网络系统来说，该技术显得格外的重要。本文将围绕网络流量相似性特 5 硕士学位论文 分有效地利用网络流量特征变化规律和网络设备服务器c p u 的利用率变化特征 等规律。使得在稍微加大网络流量信息收集密度就可以大大提高测试精确度时， 而没有加大网络流量的收集密度；反之，在可以降低网络流量信息收集密度但对 测试精度没有太大的影响时，而没有降低网络流信息收集密度。因此使得收集到 的网络测量数据不能很好地代表真实网络业务流的行为特征和变化规律。直到后 来，为了充分有效地利用网络流量行为特征和变化规律，研究人员在对网络流信 息进行分析时，认为网络流量行为特征很好地服从泊松分布数学模型【8 】。因此， 许多有关于基于泊松模型的网络流量信息采样和收集的经典方法才被提出来 1 l 2 6 y 如马尔科夫链模型和a r i m a 模型等) 。但是直到上个世纪九十年代初，随着 网络规模的扩大和一些新型网络应用的出现，许多研究人员在对网络流量行为特 征和变化规律进行分析和研究时发现：无论是在局域网内的网络流量行为特征和 变化规律还是在广域网内的网络流量行为特征和变化规律，都可以更好地应用具 有突发性特征的自楣似性来进行描述 1 4 , 1 5 , 1 6 , 3 0 。因此，在建立网络业务流量数学模 型时，许多研究人员开始从自相似性角度来对网络流量行为特征进行分析，以达 到更好地解决由于网络突发性特征对网络性能造成的负面影响的目的。 1 1 4 本文工作的意义 如何有效地对网络流量行为特征进行测量和分析，对正确认识和理解网络行 为，对确保网络正常有效地运行起到了至关重要的作用，具有非常重大的现实意 义。其意义主要表现在以下几个主要方面：( 1 ) 准确有效地进行网络流量行为特 征测量和分析有利于判断当前网络是否处于正常的运行状态。正如我们所知道的 那样，当前运行的网络系统并不象我们所想象的那样可以一直保持着正常稳定的 运行状态，而是经常出现局部故障问题，并严重影响了整个网络系统的运行状况。 进行网络流量行为特征分析和测量方法的研究，有利于我们判断网络局部故障错 误的出现、定位和更正。( 2 ) 有利于提高网络运行性能。i n t c r n c t 系统是一个无论 在规模上还是在性能上，都是在不断获得发展的大型复杂网络系统。进行网络流 量行为特征测量和分析有利于重新设计新的网络应用协议和定位现存网络应用制 约其性能提高的关键原因所在，以达到对其应用现行版本进行改进的目的。( 3 ) 有利于实现有效地网络管理。进行有效地网络管理是保证网络正常运行的关键方 法之一。从事网络流量行为特征分析与测量方法的研究可以指导我们如何有效地 进行网络流量控制，计费管理，提供有效的区分服务等等。( 4 ) 为将来进行网络 设施的升级起到了指导性的作用。( 5 ) 有利于网络安全的维护等。 1 1 5 本文的主要工作 网络流量行为特征测量与分析方法是网络领域的关键技术之一。特别是对于 大型复杂网络系统来说，该技术显得格外的重要。本文将围绕网络流量相似性特 5 i p 网络流量特征分析与测量方法研究 征所表现出来的突发现象，从分析、测量和消除突发现象三个角度来对其进行研 究。因此，本文的主要研究工作将着重集中在以下几个方面进行： 对网络业务流的行为特征进行测量和分析是从事网络业务流和网络性能分析 研究的基础。本文将首先对网络流量的自相似性特征进行分析与研究，并对网络 业务流表现为自相似性特征的原因进行分析与研究来提出我们自己的观点。自从 i n t e r n e t 出现以来，研究人员对通过i n t e r n e t 传输信息流的认识发生了重大转变。 这种认识转变主要表现在对网络业务流建立的数学模型上面。早期，研究人员对 通过i n t e r n e t 上的业务流量建立数学模型时，通过借鉴对传统电信网络业务流的 数学建模方法和经验，假设通过i p 网络的业务流服从泊松分布模型。但是自从上 个世纪九十年代以来，由于经过网络的业务流具有记忆性的特征，研究人员发现 具有长相依赖( l o n g d e p e n d e n c e ) 关系的和具有突发性特征的自相似性模型比传统 的泊松分布模型能够更好地对通过i p 网络业务流建立数学模型。这也正是我们进 行网络流量行为特征测量与分析和对网络流量行为表现为自相似性的原因进行分 析的原因。 当前的网络流量数据采样方法大都是基于网络业务流量服从泊松分布模型来 进行分析和建模的。在进行数学建模分析时，对网络业务流有如下假设【8 】：( 1 ) 外部数据源产生流量的时间间隔为指数分布，即数据源到达过程服从泊松分布过 程；( 2 ) 数据源一次产生的流量长度服从指数分布；( 3 ) 网络数据包到达的时间 间隔和数据源一次产生的流量长度之间相互独立。但是，由于泊松分布模型不具 备重尾分布性质特征，在进行网络流量测试时，用基于泊松分布模型的网络流量 采样算法进行采样时，所获得的流量样本集合并不能全面地反映出具有自相似性 特征的原始网络流量的变化特征。本文将对当前经典的网络流量采样算法进行分 析，分析网络流量的自相似性特征，提出两种网络流量信息采样方法：一种基于 历史纪录的网络流量数据采样方法和一种基于集合时间序列的网络流量行为特征 采样方法，使得所提出的网络流量收集