（计算机应用技术专业论文）宽带互联网流量测量与分析.pdf

郑州大学硕士学位论文 宽带互联网流量测量与分析 摘要 以i n t e m e t 为代表的i p 网络由于其日新月异的发展速度正在逐渐成为人类社 会的基础设施。然而伴随着因特网发展，随之而来的是其不断扩充的规模、日益 增加的复杂性以及成倍增长的带宽。但是人们对它的认识还远远不够深入，网络 测量在这样的情况下应运而生，它通过对网络流量的测量、建模、描述和控制， 从而实现对网络行为的观察和评估，并试图达到特定的服务和性能上的目标要 求。 论文首先介绍了网络测量领域的研究现状，接着介绍了网络性能测量相关内 容，包括网络性能测量方法：主动测量和被动测量以及国际上有关网络测量基础 设施的一些主要项目进展情况和国内的研究情况。 网络仿真是当前网络研究的重要手段和方法，文中介绍了目前最常使用的网 络仿真工具n s 一2 并说明了n s 一2 的使用方法。 在对流量数据进行测量采集时，使用了数据包捕获技术，基于w i n p e a p 采 集共享以太网网段内的数据。由于高速网络技术的发展，对流量数据进行全分组 测量开销较大，因此需要引入抽样采集的方法加以解决。本文在对传统的流量抽 样方法进行分析讨论后，改进了一种自适应抽样测量方法。 网络流量特征分析和建模是网络技术研究的一个分支。由于网络拥塞控制和 网络资源利用等关键技术都依赖于特定的流量特性，因而网络流量的特性分析和 建模对网络结构设计和性能优化具有重要的理论和实际意义。近年来，研究发现， 高速网络的业务越来越多的呈现出自相似性，这为我们研究新的业务模型开辟了 新道路。在文中我们介绍了仿真自相似业务流的方法并用n s - 2 来产生了具有自 相似性的业务流。 关键词：网络测量，流量测量，网络仿真，流量抽样测量，流量模型 郑州大学硕士学位论文 宽带互联嘲流量测量与分析 a b s t r a c t a st h er e p r e s e n t a t i v eo fi pn e t w o r k ，i n t e r n e th a sb e c o m et h ei n f r a s t r u c t u r eo f o u rs o c i e t yb yd e g r e e sw i t hi t sr a p i dd e v e l o p m e n t f o l l o w i n gb yt h ed e v e l o p m e n to f i n t e m e ti st h ei n c r e a s eo fi t ss c a l e ，c o m p l e x i t ya n db a n d w i t h h o w e v e rm a nh a sl i t t l e k n o w l e d g eo ft h ew o r kc h a r a c t e r i s t i c so fi n t e r a c t s on e t w o r km e a s u r e m e n t se m e r g e d a st h et i m e sr e q u i r eu n d e rt h ec i r c u m s t a n c e s ，w h i c hc a no b s e r v ea n de v a l u a t en e t w o r k b e h a v i o ra n da t t e m p tt oi m p r o v et h ep e r f o r m a n c ea n ds e r v i c el e v e lo fo p e r a t i o n a l n e t w o r kt h r o u g ht h em e a s u r e m e n t ，c h a r a c t e r i z a t i o n ，m o d e l i n g ，a n dc o n t r o lo fi n t e m e t t r a f f i c t h i sp a p e rf i r s t l yi n t r o d u c e st h ec u r r e n ts t a t u so ft h en e t w o r km e a s u r e m e n t s t u d i e s s e c o n d l y , t h er e l a t i v ec o n t e n t sa b o u tt h en e t w o r km e a s u r e m e n ta r ep r o p o s e d ， i n c l u d i n gt h em e t h o d s o fn e t w o r kp e r f o r m a n c em e a s u r e m e n t ：t h ea c t i v em e a s u r e m e n t a n dt h ep a s s i v em e a s u r e m e n t f u r t h e r m o r e ，w ei n t r o d u c et h ew o r l d w i d ed e v e l o p m e n t o f s o m em a i np r o j e c t sa b o u tn e t w o r km e a s u r e m e n ti n f r a s t r u c t u r e n e t w o r ks i m u l a t i o ni st h ei m p o r t a n ti n s t r u m e n ta n dm e t h o do fn e t w o r k c h a r a c t e r i s t i cr e s e a r c h e s ，w ei n t r o d u c et h en s - 2s i m u l a t i o nt o o l ，w h i c hi sc o m m o n l y u s e di nt h ef i e l d so fn e t w o r ks i m u l a t i o n ，t h e nw es t u d yo nn s 一2a n de x p l a i nh o wt o u s en s 2t od on e t w o r ks i m u l a t i o n w er i s et h ep a c k e tc a p t u r et e c h n i co fp a s s i v ec o l l e c t i o nt oc o l l e c tt h et r a f f i cd a t a w i t h i nt h ee t h e m e ts e c t i o nb a s e do nw i n p c a p a tp r e s e n t ，i ti sv e r yd i f f i c u l tt o m e a s u r ef u l lt r a f f i ct r a c e 谢血t h ea d v e n to fh i 曲一s p e e dn e t w o r kt e c h n o l o g i e s ，s ot h e i n v e s t i g a t i o no ft r a f f i cs a m p l i n g m e a s u r eb e c o m e st h ef o c u so ft h es t u d yo f h i g h s p e e dn e t w o r kt r a f f i cm e a s u r e m e n t i nt h i sp a p e r , w ea n a l y z ea n ds t u d yo n c l a s s i c a ls a m p l i n gm e a s u r e m e n tt e c h n o l o g y , a n dt h e ni m p r o v ea na d a p t i v es a m p l i n g m e a s u r e m e n tb a s e do no t h e rm e t h o d s a na n a l y s i so ft h ec h a r a c t e r i s t i c sa n dm o d e l i n go fh i g h s p e e dn e t w o r kt r a f f i ci s t h eb r a n c ho fr e s e a r c ho nn e t w o r kt e c h n o l o g i e s s p e c i f i ct r a f f i cc h a r a c t e r i s t i ci st h e b a s i so fm a n yp i v o t a ln e t w o r kt e c h n o l o g i e s ，s u c ha sn e t w o r kc o n g e s t i o n c o n t r o la n d tt 郑州大学硕士学位论文 宽带互联网流量测量与分析 r e s o l l r c e u t i l i z a t i o n ，s ot h ea n a l y s i so ft h ec h a r a c t e r i s t i c sa n dm o d e l i n go ft r a f f i ca r e v i t a lo nt h e o r e t i c sa n dp r a c t i c a l i t ya b o u tn e t w o r kf r a m e w o r k d e s i g na n dp e r f o r m a n c e o p t i m i z a t i o n t h es t u d yi nt h ea r e ao fp e r f o r m a n c ee v a l u a t i o no fn e t w o r ks h o w st h e r e a lt r a f f i co nb a c k b o n el i n kh a ss e l f - s i m i l a r i t ya n dt h e nt h i si st h en e wd i r e c t i o n a b o u tt h et r a f f f i cm o d e l i nt h i sa r t i c l e w ed e s c r i b eh o wt os i m u l a t es e l f - s i m i l a rt r a f f i c a n de r e a t et h et r a m c0 nn s 2e n v i r o n m e i t k e yw o r d s ：n e t w o r km e a s u r e m e n t ，t r a f f i cm e a s u r e m e n t ，n e t w o r ks i m u l a t i o n ， t r a f f i cs a m p l i n gm e a s u r m e n t ，t r a f f i cm o d e l 郑重声明 妒7 8 2 3 6 7 本人的学位论文是在导师指导下独立撰写并完成的，学位论文没有剽窃、抄 袭等违反学术道德、学术规范的侵权行为，否则，本人愿意承担由此产生的一切 法律责任和法律后果，特此郑重声明。 c 碜文 去力；年g 月巧曰 郑州大学硕士学位论文 宽带互联网流量测量与分析 第一章绪论 i n t e m e t 已经渗透到社会的各个领域，成为现代社会最重要的基础设施之一。 近年来，随着以t c p i p 为主要协议的i n t e r n e t 技术飞速发展，网络的规模不断扩 大，使得i n t e m e t 上的流量呈爆炸性地增长，人们经常会遇到网络拥塞和服务质 量低等一系列问题，加强网络管理和改善网络的运行已成为当务之急。但是，由 于i n t e m e t 发展的特殊性，人们对于互联网的流量模型、网络行为、性能指标等 都缺乏完整的理解和精确的描述，对网络测量技术的研究明显滞后于网络及其应 用的快速发展。 1 1 研究背景和意义 在计算机网络诞生之初，由于其规模较小，环境相对简单，业务类型单一， 网络用户也比较可信，网络中出现的多数问题基本可以通过不断积累的经验得到 解决。但是随着网络尤其是i n t e m e t 的飞速发展，网络的规模不断扩大，网络的 复杂性急剧上升，网络的异构性愈来愈剧烈；网络测量和分析诊断己经成为人们 认识网络、了解网络、更好地使用网络的重要手段。互联网服务提供商需要通过 配置网络性能测量系统来监测网络行为特征，从而配置应用系统，使之提供更高 的服务质量；网络用户需要一定的标准和手段以测量应用系统的网络性能，从而 确定应用系统提供的网络服务质量状况，以此作为选择满足不同需求服务质量的 应用系统的依据。愈来愈多的应用需求亟待完善的网络测量分析评价系统和各种 测量工具，但是目前计算机网络领域的现状是网络测量分析领域的发展远远落后 于计算机网络自身的发展，具体表现在以下几个方面：目前虽然己经制定了一些 网络性能评价指标，但是这些指标还远不能构成一个完善的系统，并且对于不断 出现的各种新的应用而言，还没有标准化的指标出现；现有的评价网络性能的手 段主要还是用于评价早期小规模网络的纯数学方法如概率方法，这对于大型网络 显得有些力不从心，传统的以经验为主解决网络问题的方法，这些方法既不可靠 又过分依赖于人；而现有的测量工具也难以满足对于各种不同应用进行精确测量 的需求。i n t e m e t 迅猛发展与网络测量分析领域相对滞后的现状使互联网这个庞 郑州大学硕士学位论文宽带互联网流量测量与分析 大而重要的有机体变得越来越不可预期。 随着网络应用范围的迅速扩大和各种应用的不断深入，用户越来越多、 i n t e m e t 变得越来越庞大和复杂、一些特殊的应用( 如视频会议、i p 电话、远程教 育等) 对当今的i n t e r n e t 提出特殊的服务质量要求等，这些都对网络的设计、管理 和应用提出严峻的挑战。要设计、管理和利用好网络，必须有效地获取网络流量 的准确数据，通过提取、分析等手段来得到网络性能特征方面的参数，网络流量 测量技术是准确而有效地获取性能特征数据的手段，通过对业务流量数据的监 测，获得网络业务流的准确数据，并据此分析网络性能特征的相关参数或阻此建 立准确的流量模型，从而对网络的设计、管理起到非常重要的作用。只有通过测 量对网络的特征有了清楚认识和准确把握之后，我们才能真正有效地利用它。 随着i n t e m e t 重要性的日益提高和网络结构的目益复杂，也越来越有必要对 网络的整体拓扑结构和网络行为进行深入的了解、分析，以利于发现网络瓶颈， 优化网络配置，并进一步发现网络中可能存在的潜在危险。为此，需要对大规模 网络结构进行动态描述，并根据网络流量的变化分析网络的性能，为加强网络管 理、提高网络利用率、防范大规模网络攻击提供技术平台。网络行为模型的研究 包括网络行为指标体系、测量与测试方法、指标参数测量、测试结果分析与模型 化、以及模型验证和基于模型的应用，其中精确高效的网络行为测量与测试是网 络行为研究的基础。网络的高带宽、异构性和复杂性造成了网络测量与测试的困 难，因此网络测量、测试、监控与管理技术成为人们急待解决的难题。 网络测量技术的研究对协议工程、网络设备开发、网络规划设计、网络操作 管理都是至关重要的： n 、网络测量技术是及时了解网络运行状态、检测网络拥塞、动态分配调整 网络资源、保证应用q o s 的基础和必要手段。 f 2 1 网络测量技术是建立精确网络行为模型的重要手段。精确的网络行为模 型是流量工程、网络容量规划设计、高效网络协议设计、高性能设备开发等的基 础。网络技术的快速发展，网络规模和网络用户不断增加，新的网络应用不断出 现以及各种网络应用业务量的比例不断变化，各种不同的网络应用具有不同的流 量特征、带宽要求、数据包传递方式等行为特征，使得人们仅仅使用数学仿真、 郑州大学硕士学位论文宽带互联网流量测量与分析 排队等统计理论建立网络行为模型是远远不够的。 ( 3 ) 网络测量技术是传统网络管理系统必要有益的补充，通过网络测量技术 可以分析网络承载的主要和关键业务，了解用户使用强度、频度、流量等行为模 型，预测和快速定位网络故障，改进协议和应用的设计和实现。 网络测量与分析项目的开展已引起世界各国的高度重视，参与测量的国家遍 及五大洲。以美国为例，该项目受到了美国国家科学基金会n s f 、美国国防部高 级研究项目处d a r p a 、各i s p 、公司企业的资助，著名高校也投身其中，如 u n i v e r s i t y o f c a l i f o r n i a ，s t a n f o r d u n i v e r s i t y 等。由此可见，这是一个不但具有广 阔的实际应用前景，而且具有极高学术价值和深远战略意义的课题。 1 2 网络测量的目的和任务 网络测量总的目标是将i n t e m e t 网络拓扑、带宽、性能等映射成随时间空间 变化的函数。但是i n t e m e t 分布化、不协作( u n c o o p e r m i v e ) 、异质( h e t e r o g e n e o u s ) 的特点以及流量特征的复杂性，使得i n t e r n e t 测量研究是极具挑战性的工作。 网络测量的直接目的是获取与网络运行有关的流量数据，而这些流量数据最 终将服务于网络工程的各个方面。从总体上说，可以包括流量描述、网络监控和 流量控制三个方面。网络测量是获得网络行为第一手指标参数的有效手段。通过 网络测量和分析，可以： ( 1 ) 探讨网络行为和运行规律，为仿真模拟i n t e m e t 环境、协议设计与评价 以及网络行为分析提供研究基础，为i n t e r n e t 流量工程和网络行为学的研究提供 基础辅助依据及验证平台。 f 2 ) 网络测量是网络管理的前奏和基础。通过网络测量可以更加有效地认识 和了解网络的性能，进行高效地网络性能管理；可以用于网络故障管理，对网络 故障进行迅速定位：通过流量的监测和分析，发现网络异常，对网络攻击进行监 测和防范，保证网络安全运行。 ( 3 ) 网络服务质量( q o s ) 的验证和控制。应用于对不同i s p 服务质量的指标量 化、比较、验证、移动i p 的位置发现、代理服务器的自动选择等许多方面。 ( 4 ) 网络优化和设计。网络管理者通过测量其网络的流量情况和尽量多的指 郑州大学硕士学位论文宽带互联网流量测量与分析 标数据信息，可以更好地管理网络和改善网络的运行状况。通过对网络流量和参 数进行长期的监测，可以分析网络的整体发展趋势，更好地预测和规划网络。 ( 5 ) 新业务对网络影响的评估。通过对业务流路径上各网络设备的主要网络 参数的实时测量可以获得相当准确的数据，可以用来评估新业务在现有网络上开 放盼可行性，若不可行，通过对相关网络参数的调整来解决问题。 ( 6 ) 基于流量的计费。目前，各大运营商为i s p 网络用户提供的服务主要有 专线和宽带拨号接入，由于网络提供者不能够统计全部用户的准确流量情况，因 此大多数还是采用固定租费的形式，这对一般用户和i s p 来说，都不是一个好的 选择。而利用网络监测和测量的一些工具和手段，就可以实现对用户流量的监测。 ( 7 ) 网络应用状况监测与分析。了解网络的应用状况，对网络提供者和技术 研究者都很重要。通过网络应用监测，可以了解网络上各种协议以及网络的使用 情况，适时根据用户的使用特性调整网络参数。i n t e m e t 上用户数据包的平均包 长会随着应用的变化而变化，当网络的应用由以w w w 、f t p 、p o p 3 为主转向 各种实时应用时，用户数据包的统计平均包长会越来越短，而现有网络设备( 如 路由器、交换机) 的处理性能与这些数据紧密相关。网络提供者可以通过测量并 监控该类数据对网络进行更好的规划和设计，研究者也可以据此研究新的协议与 应用。 建立高效、稳定、安全、可靠、互操作强、可预测、可控的网络是网络研究 的最终目标，而网络测量是获得网络行为第一手指标参数的有效手段。在测量的 基础上建立网络行为模型是理解网络行为的必要途径，只有在该基础上才可以设 计高性能健壮的网络协议和网络设备，科学规划和建设网络，保证网络的运行和 关键业务的完成。 1 3 网络测量的主要研究领域及研究现状 网络测量涉及的理论和技术很多，全球的研究人员在这方面做了大量的工 作，主要可分为两大研究领域： ( 1 ) 网络测量系统和方法的研究 网络及其分组数据的采集、精简、存储、传输、分析、发布和应用的方法和 郑州大学硕士学位论文 宽带互联网流量测量与分析 技术，以及设计和实现满足用户需求的网络测量系统解决方案的理论、方法和技 术。主要包括：测度和指标体系的研究、网络测量方法和工具的研究和实现、网 络测量系统或基础设施的研究和实现等。 ( 2 ) 网络行为的建模和分析 在上述网络测量系统和方法研究的基础上，通过对i n t e m e t 的实际测量，利 用各种数学模型，对大量测量数据进行处理和分析，发现和认识测量数据之间的 内在联系，进而了解网络行为的特征，以指导网络的设计和规划。例如流量自相 似性的研究、路由和时延特性的研究、统计分析和网络仿真模型的研究等。 自从美国国家科学基金会在二十世纪八十年代确立它的网络计划以来，高质 量的访问i n t e r a c t 对美国大学的教学和科研起着越来越重要的作用。但这些年来， i n t e m e t 变得越来越复杂，即使颇有见识的网络工程师对数据传输服务的路径、 可靠性和性能等也只能有一个非常模糊的认识。没有准确的i n t e m e t 性能方面的 数据，以及收集和分析这些数据的有效工具，教育、科研机构以及其它需要这些 性能数据的用户或组织，就很难对网络的建立、管理和应用等做出正确决策。 国外最早的网络测量始于7 0 年代初，逐渐成熟于8 0 年代，9 0 年代已渐成 体系。在网络测量的方法、工具以及网络测量基础设施框架和流量的测量模型等 方面都做了探索和改进。美国在1 9 9 2 年开始着手对i n t e m e t 特征的研究，其中比 较著名的项目包括u cb e r k e l e y 的研究者对i n t e m e t 开展的两次共长达三个月的 大规模测量，其改进平台n i m i 1 l 己经广泛布置于多个国家，产生了非常深远的 影响；i e p m l 2 】( i n t e m e te n d - t o e n dp e r f o r m a n c em e a s u r e m e m ) 主要用来监视 i n t e m e t 端到端性能；i p m a s l ( i n t e m e tp e r f o r m a n c em e a s u r e m e n ta n da n a l y s i s ， i n t e m e t 性能测量和分析) 主要研究局域网和广域网的网络性能和网络协议； s u r v e v o 一是个能够在i n t e m e t 路径上测量单向时延、包丢失和路由信息的测量 体系结构：其它项目还包括n l a n r i s 和s k i t t e r n ( c a i d a ) 。除美国外，其它国家 也开展了对i n t e m e t 的大规模测量和研究，如加拿大的t r i u m f 【7 】网络监视( 主要 目的是对国家i n t e m e t 路径上的包丢失情况和路由特征进行测量) 和新西兰的 w a n d ( w a i k a t oa p p l i e dn e t w o r kd y n a m i c s ) d p 被动测量子项目w i t s s l ( w a i k a t o i n t e m e tt m f f i cs t o r a g e ) ( 主要目的是创建用于统计分析和创建模拟的i n t e m e t 流量 郑州大学硕士学位论文宽带互联网流量测量与分析 模型1 等。 而我国网络的发展起步较晚，9 0 年代初才i a i n t e m e t ，大规模快速发展于9 0 年代末。近年来，随着i n t e m e t 的迅猛发展，我国已成为世界a i i n t e m e t 用户第二 的国家。网络流量的成倍增加，同样需要解决流量的监测、预测和网络规划的问 题。我国一些大的i s p 和网络规划及运营者也在进行网络流量测量、网络行为和 性能分析等方面的工作，正逐步缩小与国外的差距。国内的中科院计算技术研究 所、东南大学、西安交通大学等单位也都开展了网络测量系统和方法的研究工作， 正逐步缩小和国外的差距。如张文杰等人提出的可扩展的主动测量模型 n e p m 9 ( n e t w o r ke n d - t o - e n dp e r f o r m a n c em e a s n r e m e n t ) 采用主动测量技术，通过 在网络中配置少量( n ) 主动测量器，就可测量许多条路径( n 2 ) 的端到端性能。程光、 龚俭等人提出基于报文标识的多掩码抽样测量模型【i o j ，该模型能保证抽样样本统 计上的随机性，又能保证测量点之间的一致性。温辉敏等人提出了基于延迟变化 率的网络延迟抽样算法【1 。杨新宇等人提出了一种基于包内容的抽样触发器的进 行端到端抽样网络流量测量方法【1 2 】。张连芳等人还对自相似流量序列的f a r i m a 模型进行了分析研究l l ”。 当前网络测量领域的研究成果主要包括测量指标和测量系统。测量指标定义 了测量的对象，目前计算机网络领域已经标准化的指标数目相对依然较少。测量 系统包括测量基础设施和测量工具两种类型。网络测量基础设施多为功能比较丰 富完善的大型体系，它提供了从整体上监测某个网络或某些网络性能的手段，可 以定位网络中存在的故障或从整体上研究网络的行为。测量工具则需要根据特定 测量需求进行开发，目的性较强，功能相对单一。根据测量工具获取参数的不同， 可以将其划分为拓扑测量工具、负载测量工具、网络性能测量工具、路由测量工 具等几大类，分别用于不同目的的测量，在后面章节中将做详细介绍。 1 4 论文的主要工作概述 本人在攻读硕士学位期间的工作领域是网络测量技术，重点是网络流量测量 技术，主要在数据包捕获技术、高速网络环境下抽样测量算法分析、设计与实现 进行相关的测量实验、以及流量模型的研究应用等方面做了相关工作。在详细调 6 郑州大学硕士学位论文宽带互联网流量测量与分析 研国际上现有网络流量测量方法和测量技术的基础上，开展局域网、宽带城域网 和广域网的测量实验。重点研究网络流量测量方法，设计和实现流量抽样测量算 法。在分析流量模型的基础上，产生可以在实际研究工作中应用的网络流量。 主要工作描述如下： ( i ) 对网络测量及其相关技术进行广泛的调查与研究 对网络测量及相关技术发展的调研，有以下几个方面：测量指标与测量方法 标准，性能测量研究项目以及测量工具与测量实验。i e t f 成立1 p p m 工作组【1 4 1 ， 专门定义i p 性能指标及其测量方法建议，提出了包括i p 性能指标框架( r f c 2 3 3 0 ，“f r a m e w o r kf o ri pp e r f o r m a n c em e t r i c s ”1 、单向时延( r f c2 6 7 9 ，“ao n e w a y d e l a ym e t r i cf o ri p p m ，) 、双向时延( r f c2 6 8l ，ar o u n d t r i pd e l a ym e t r i cf o r i p p m ， ) 、单向丢包( r f c2 6 8 0 ，“ao n e w a yp a c k e tl o s sm e t r i cf o ri p p m ) 等r f c 及其草案。对项目组的调研主要集中在网络测量方法、实现技术与系统等。项目 组包括致力于理解互联网系统级的服务模型n l a n r 、全球i n t e m e t 路由和动态 包行为测量项目n i m l 以及c a i d a 等。 ( 2 ) 流量测量系统开发与流量测量 流量测量技术按照测量原理可以分为基于网络管理的流量测量和基于数据 包捕获的流量测量。为了实时测量数据流量和不同主机、协议的流量，开发了基 于数据包捕获的流量测量系统。采用p a c k e t d i l 提供的a p i ，将n i c ( n e t w o r k i n t e r f a c ec a r d ) 设置在混杂模式，可以捕获共享网段上的所有数据包。另外还实现 了部分t c p f l p 协议族的协议分析解码，用于在线的数据包统计与分析。采用文 件和数据库相结合的存储方式，数据库中按照不同的协议层次存储数据包在文件 中的位置索引。采用这种方式可以提高数据包分析解码速度。 ( 3 ) 流量抽样测量实验和算法研究 传统抽样测量方法抽样间隔不会根据流量的变化进行调整，因此在传统方法 的基础上，改进了一种连续样本随机自适应抽样方法，通过对实验网段内的数据 以及高速网络流量数据的抽样测量实验表明，此抽样算法可以根据流量的变化对 抽样间隔进行自适应调整，当网络出现高速的业务流活动时，采用短抽样间隔以 获取更多样本，达到较高准确性。当网络出现低速的业务流活动时，采取长抽样 郑州大学硕士学位论文宽带互联网流量测量与分析 间隔的策略，以达到节省测量开销的目的。同时，由于算法对抽样间隔的自适应 调节是依据包到达间隔这个参数的，因此对于包到达间隔这个参数的测量准确性 也有明显提高。 ( 4 ) 流量模型研究及其应用 网络流量模型是高性能通信协议与网络设备设计、网络性能分析、网络设计 与负载均衡、流量工程等的基础。通过对大量流量模型探讨的基础上，在n s 2 环境下实现了一种模拟生成自相似流量的方法。可以为其他网络问题的仿真实验 提供与实际测量结果相符的自相似特性的背景流。 1 5 论文的整体结构和章节安排 论文共分六章，第一章首先介绍了课题的背景和意义，然后阐述了网络测量 的目的和任务，主要研究领域以及研究现状。第二章对相关的网络测量技术进行 分析，主要介绍了网络测量方法，重点从是否干扰被测对象角度分析了两种测量 方法：主动测量和被动测量，在第二章，论文还对国际上主要的测量项目组进彳亍 了分析比较。第三章对网络仿真技术进行了分析讨论，详细说明了目前使用广泛 的网络仿真工具n s 2 以及它的应用。第四章分析并实现了一种数据分组的捕获 技术并且重点介绍了高速网络环境下的一种改进抽样测量方法。第五章研究了流 量模型的建立以及一种自相似流量的生成方法。第六章总结全文，提出进一步的 研究方向。 郑州大学硕士学位论文宽带互联网流量测量与分析 第二章网络测量技术和测量系统 2 1 网络测量技术概述 数据包在网络中传输时需要链路带宽、网络设备处理器处理能力、缓存等网 络资源。在一个时间段内，当网络资源不足以满足数据包资源请求时，网络就会 发生拥塞，导致传输延迟、延迟抖动、数据包丢包率增加，网络服务的可预测性 下降。流量工程就是在这种背景下提出的一种网络技术【l ”。它通过对网络进行测 量，获取网络状态和流量信息，并以此为决策信息控制网络设备，进行网络资源 分配、业务流量调整，实现优化网络资源利用、满足业务服务性能要求。流量工 程主要应用的技术和理论包括网络行为的测量、特征化、模型及其控制。因此流 量工程的处理模型由三个关键的部分组成：测量子系统、模型和分析子系统以及 控制优化子系统，相互关系如图2 1 所示。 调用测量功能 女 试指标：性舷提升评佶与反馈 图2 1 流量工程组成模块 测量用来提供探索实际环境中网络特性的手段，通过直接或间接的方式来检 测网络系统或子系统定性或定量的指标。分析与模型化则是建立抽象的分析模 型，通过分析测量数据，建立形式化或非形式化的网络行为或属性抽象和物理表 示。测量一般得到网络状态参数和被监视网元参数的原始数据，分析功能模块利 用原始测量数据得到统计或者推论参数。因此测量是流量工程的基础和重要组成 部分，分析与模型化需要的网络运行状态参数必须通过测量得到。 2 。2 测量方法 网络测量作为分析网络行为、了解网络状况和定位网络故障的有效手段，需 要服务于各种不同目的的测量需求和不同用户，e hj 比弓l 出了各种不同的测量方 9 郑州大学硕士学位论文宽带互联网流量测量与分析 法。例如用户希望了解自己的主机与网络另一端服务器的连通性，他可以通过 p i n g 主动发起探测，获得端到端的连通状况；如果用户关心的是某台路由器的使 用状况，他可以通过t r a c e r o u t e 获取路由器中信息的方式达到目的；若用户想要 了解一条链路上所有流量的信息，他可以通过借助专用设备捕获这条链路上的所 有数据包。i p p m 在r f c 2 3 3 0 中指出测量方法包括以下几种【l 6 j ： ( 1 ) 直接测量法；通过直接查询网元参数或观测网络中传送的数据包测量目 标参数，例如可以通过发送一定大小的数据包来测定指定链路的往返时延： ( 2 ) 推论测量法：从其它性能指标推论目的性能指标。例如通过精确测量传 播时延和路径中各链路的带宽，推论目标路径中的最小端到端时延： ( 3 ) 分解测量法：从一系列累计的测量指标中分解估计各组成的指标值。例 如精确测量某条链路在不同数据包大小情况下的延迟，估计传播时延。 ( 4 ) 时间推理测量法：从过去时刻指标值估计将来某时刻的性能指标。例如 精确测量过去时刻的流量和相应的延迟，建立流量模型及流量和延迟的关联，估 计现在和将来的流量及其在该流量下的延迟。 测量方法和测量系统必须满足结果重现性( r e p e a t a b l e ) 和连续性( c o n t i n u i t y ) 。 所谓结果重现性是指在相同的网络环境下( 相同的网络设施和相同的负载) 、不同 的时刻采用该测量方法进行测量，具有一致的测量结果。所谓连续性是指当网络 环境具有微小的变动，采用该测量方法得到的测量结果不应该有很大变化。 根据获取数据的方式和技术特征的不同，目前已有的各种不同测量方式可以 归为三类：被动测量、主动测量和控制信息监测。 n 1 主动测量：主动测量是由测量系统产生探测数据包并注入网络中，通过获 取测量引发的数据并对其进行分析以得到网络性能参数和网络行为参数。如p i n g 可以获得网络连通状况，得到丢包率，往返时延等参数。t r a c e r o u t e 可以获得网络 行为参数，具体而言就是网络路由信息参数。这种方法的优点是灵活、方便，借 用简单的设备( 比如只使用p c 机) 即可完成测量工作。缺点是会增加网络的流量。 性能监测与分析、网络拓扑探测一般是采用主动测量。 ( 2 1 被动测量：被动测量通过在网络中的一个或多个网段上借助监测设备监视 经过它的流量。这些设备可以是专用的，也可以是嵌入到其他设备( 如路由器、防 郑州大学硕士学位论文宽带互联网流量测量与分析 火墙、交换机和主机) 之中的。测量软件或系统周期性的轮询被动监测设备并采集 网络流量，通过对流量进行分析，被动的获知网络行为状况。被动测量优点是， 在测量时不必主动发送测量包，也不会占用网络流量，测量得到的是网络上的真 正流量。缺点是不够灵活，通常还需要在监测设备上增加额外的软硬件以进行流 量的记录。流量数据采集一般选用被动测量方式。 ( 3 ) 监测网络控制信息：这种方式主要用于获取各种网络控制信息，主要包括 和数据传输有关的控制信息，比如路由更新消息、网络管理信息和链路利用率。 这种方式的特殊之处在于无需主动发送测量包，但是又会产生一定的流量，与主 动测量和被动测量都存在着一定的差异。 主动测量是处于网络边缘的端用户了解网络状态常用的测量方法，目前端到 端的测量技术都属于主动测量方法。主动测量可以获知用户感兴趣的端到端网络 状况和网络行为，具有灵活方便的优点，如果用户关心某些网络性能参数状况， 只需由用户使用相应的测量工具即可发起测量，通常不需要多个节点之间的相互 协作，也不需要对于中间节点具备一定的控制权限，因此对于一般用户而言，主 动测量方式具有更高的可行性。并且由于主动测量方式通过测量自身发送的探测 数据包来获得相应的参数，不会捕获网络中已经存在的流量，因此不会对网络用 户信息的隐私和安全形成威胁。在研究者进行大规模网络测量的初期以及满足网 络用户日常的测量需求的时候，主动测量是一种快速有效的方式。 但是由于主动测量需要向网络注入新的流量，必然会给网络带来一定的负担。 尤其是对于路由、吞吐量、带宽等参数而言，完成单次测量需要注入的流量较大， 带来的影响也比较大。如果测量没有经过精心设计，没有充分考虑减少测量流量， 主动测量甚至可能引发h e i s e n b e r g 效应，即测量流量会干扰网络并使结果产生偏 差【1 7 1 。主动测量带来的影响主要体现在两个方面：对于测量本身准确度的影响， 由于测量注入的流量过大，测量本身又无法区分网络正常用户流量和测量流量， 因此可能会使测量结果产生偏差，导致测量不准确；对于用户业务的影响，如果 测量本身流量过大，则会产生测量流量和用户流量争夺网络资源，从而干扰用户 正常业务的情况。这也是我们所不希望的。 相对于主动测量来说，被动测量由于无需主动发送测量包，不会引入额外的 郑州大学硕士学位论文 宽带互联网流量测量与分析 测量流量，因此不会产生上述的h e i s e n b e r g 效应。另外流量监测点一般选取在位 于网络中流量聚合的地方，这样可以非常详尽地刻画该监测点或该链路的网络行 为。由于被动测量得到的网络数据能真实反映当前网络的流量分布特点，因此主 要用于测量和分析网络流量分布，从网络流量模型的角度进行网络q o s 管理和设 计。 但是被动测量需要在网络中布置大量的包捕获器才能获知整个网络甚至是一 条通路的信息，因此实现的复杂度较高。不仅如此，对于某些性能参数( 如吞吐量) 而言，即使存在多个包捕获器互相进行协作，依然难以通过被动测量的方式了解 端到端的性能。被动测量结果的准确度严重依赖于包捕获器的性能，对于高速网 络而言，由于高速流量和包捕获器性能的限制，容易出现数据包捕获不完整从而 使测量结果不准确的现象，这就需要我们采用合理的抽样方式来解决高速网路环 境下的测量问题。另外，由于被动测量方式需要对捕获点位置处的所有用户信息 进行获取和分析处理，日前网络中传输的大部分数据没有经过加密处理，因此被 动测量的应用可能会引发侵犯隐私，影响网络安全的问题。 被动测量在测量和统计分析的粒度有三大类，其一是年或月，这种粒度的测 量主要以网络的长远规划为目的；其二是天或小时，主要以网络容量管理和网络 流量分析及建模为目的：其三是分钟，以对网络进行实时控制和配景更新为目的， 它是网络流实时监测的主要方式。 控制信息监视获取正常的网络操作中用于描述网络行为的数据，通过对这些 数据的分析获知网络性能，无需引入额外的测量流量，但是在获取控制信息的时 候也会占用部分网络带宽以传递控制信息。 在实际应用中，主动测量和被动测量在网络测量领域中针对的测量内容是不 同的。主动测量一般测量网络属性( 如单向时延、往返时延等) ，而被动测量则测 量网络流的特点( 如流的分布、突发性等) 。有时被动测量也可以用于网络属性测 量( 如链路带宽、单向时延等) ，甚至能取得比主动测量更佳的测量效果。而控制 信息监视方法需要接入权限和设备的支持，因此使用这一方式进行大规模测量存 在一定的难度，目前使用这种方式进行i n t e m e t 测量的大多是骨干网络设备的拥 有者。基于以上的分析，在本论文使用的测量技术都是基于被动测量的方法。 郑州大学硕士学位论文 宽带互联网流量测量与分析 2 3 测量系统 测量系统包括测量基础设旌和测量工具两大类。测量基础设旌是指国际a ：n 络测量领域的相关组织为了解网络尤其是互联网的行为特征和性能状况而建立 的大型协作设施以及开发的测量系统，可以采用主动测量、被动测量、控制信息 监测或者三者相结合的形式对某一地区、国家甚至洲际的互联网进行分析研究， 其中有些测量基础设施偏重于通过测量获取数据并进行分析，有些则更侧重于建 立一套通用的测量架构。测量工具相对于测量基础设施而言，功能更加单一，目 的更为明确，一般都是针对某个或某几个参数或者是为了解特定通路的行为状况 而开发设计的。测量工具可以独立于测量基础设施，同时也能够加入到不同的测 量基础设施中作为测量系统的一部分以完成其相应的功能。下面分别对相关的一 些测量基础设施和测量工具进行介绍。 2 3 1 测量基础设施 构建测量基础设施的目的是提供髓测某个网络或网络中的某些性能参数的 手段，从而能够深入地分析了解网络行为，定位网络中存在的故障并寻找合理的 解决方案。日前国内外已经存在多个影响广泛的测量基础设施，参与构建测量基 础设施的组织也包括了政府机构、企业和学术研究机构等不同机构。下面简要介 绍部分比较有影响力的测量基础设施。 ( 1 ) n l a n r 为了加强对互联网的研究，美国在n s f 支持下成立了n l a n r l 5 ，2 8 ，1 蝴( 网络 应用研究国家实验室) ，性能测量是其主要研究的三个方向之一。n l a n r 建立了 网络分析基础设施n a i t 2 0 1 ，它致力于通过对互联网的性能钡9 量和流测量，理解 互联网系统级的服务模型，其研究环境与背景主要是n s f 的超高带宽网络服务 ( v b n s 。v e r yh i g hp e r f o r m a n c eb a c k b o n en e t w o r ks e r v i c e ) ，并扩展到其它高性能 连接( h p c ) n 络等。n a i 是现有