（计算机系统结构专业论文）分布式sla监测系统前端处理器的研究与实现.pdf

摘要 分布式s l a 监测系统前端处理器的研究与实现 赵钧丁伟东南大学 s l a 是用户和服务提供商所签署的正式合同，它明确规定了所期望的服务质量的级别，包括所 蝴望的服务的行为和服务质量的参数。当前，许多关键的商务活动依赖于网络、通信和信息服务， 这使得用户对s l a 的需求越来越强烈。对于服务提供商丽言，s l a 有利于了解用户的观点，吸引 川户，建立良好的用户关系。随着市场竞争的日趋激烈，s l a 正变得越来越重要。 s l a 合同中协商定义的s l a 参数及其测量是网络s l a 管理、监测的前提和基础。8 6 3 课题“基 丁= 抽样测量的分布式服务级别约定监测系统”的主要目标是完成一个基于抽样和被动测萤技术的高 速i p 网络端至端s l a 监测系统p e r m e ，该系统作为进行独立测量的第三方，向用户和服务提供商 提供s l a 合同所约定的网络性能指标的实际参数值。p e r m e 系统采用联邦式的分布结构每一测 罐点均为一自治系统，由采样测量器和s l a 分析服务器构成。s l a 分析服务器由前端处理器、后 端处理器和基于w e b 方式的配置报告界面三个功能模块组成。论文的研究工作围绕p e r m e 系统 前端处理器的设计与实现展开，其中包括对高速报文分类、缓冲区管理、单点测度实时计算等关键 问题和技术的研究。 论文第一章对s l a 的概念和网络测量技术进行了简单的介绍，分析了p e r m e 系统的分布结构、 单个系统的构成以及前处理器需要完成的工作。第二章在对多种分类算法研究的基础上，根据 p e r m e 的实际要求，暧计了一种多比特g r i d - o f - t r i e 作为p e p , m e 系统的s l a 分类器，同时采用哈 希表和多比特t r i e 作为报文类型统计的分类器。为了平滑数据到达强度和数据处理能力之间的差异， 必须对接收的数据进行缓冲。第三章对循环队列和双缓存两种缓冲区管理算法进行了比较，通过试 验选择了循环队列算法作为前端处理器的缓冲区管理方案。测度是描述网络性能和可靠性的参数， 而流是测度计算的基础。第四章首先定义了p e r m e 系统中的4 种流：p e r m e 系统的流、单点测度 流、两点澳i 度流和单点测度单向流。然厉在流的基础上定义了前端处理器实时计算的4 个单点测度： 响应时间、重传、失序和吞吐量，并对它们的意义和计算方法进行了分析。前端处理器还需完成数 据接收、报文分类、流的维护、原始数据的保存以及单点测度的实时计算等功能。第五章从系统结 构、数据流、数据结构、功能模块、接口设计等各个方面对前端处理器的设计与实现进行了详细的 介绍。第六章设计了p e r m e 系统的测试环境和测试方案，通过将- - n 实际的s l a 台同作用丁i c e r n e t 实际环境，以静态和动态两种测试方式，检验了包括前端处理器在内系统的各项功能以及 l 作的稳定性。第七章对论文的工作进行了总结并对p e r m e 系统将来的发展和完善进行了展望。 关键字：s l a ，网络测量，分类，流，测度 a b s tr a c t r e s e a r c ha n di m p l e m e n t a t i o no f f o r e - p r o c e s s o ri nd i s t r i b u t e ds l a m e a s u r e m e n ts y s t e m z h a o j u n ，d i n gw e i s o u t h e a s tu n i v e r s i t y s l a - - s e r v i c el e v e i a g r e e m e n t ，i sak ( n d o fc o n t r a c tb e t w e e n s pa n di t s c u s t o m e r st o ro o s p u r p o s e ，i nw h i c hb o t he x p e c t e db e h a v i o ra n dq o sp a r a m e t e r so fs e r v i c ea r ei n c l u d e d n o w a d a y s ，m o r e a n dm o r ec r i t i c a lb u s i n e s sa c t i v i t i e sa r eb e c o m i n gi n t e r n e t d e p e n d e d t h i sm a k e s t h er e q u i r e m e n tf r o m c u s t o m e r sf o rs l ai n c r e a s e d o nt h eo t h e rh a n d s l ac a na l s o h e l p i s pt ou n d e r s t a n dc u s t o m e r s r e q u i r e m e n ta n dm a i n t a i nag o o dr e l a t i o n s h i pw i t ht h e m i tc a l lg i v ea n1 s pab e t t e rp o s i t i o nd u r i n gt h e c o m p e t i t i o ni fs l a i sa v a i l a b l e p a r a m e t e r sn e g o t i a t e di na ns l aa n dt h ew a y so f m e a s u r i n gf o rg e t t i n gt h e ma r et h ek e yp o i n t so f s l am a n a g e m e n ta n dm o n i t o r i n g an a t i o n a l8 6 3p r o g r a mp r o j e c t d i s t r i b u t e ds l am o n i t o r i n gs y s t e m b a s e do ns a m p l i n gm e a s u r e m e n f a i m st od e s i g nap r o t o t y p es y s t e m “p e r m e ”w h i c hc a l lm e a s u r e e n d - t o e n ds l a p a r a m e t e r so nh j i g hs p e e dn e t w o r k su s i n gs a n p l i n gm e t h o da n dp a s s i v em e a s u r e m e n t a s a ni n d e p e n d e n tt h i r dp a r t , t h es y s t e mc a np r o v i d ec u s t o m e r sa n di s p st h ev a l u e so f p a r a m e t e r si nt h e i rs l a c o n t r a c t sw h i c ha c t u a l l yh a p p e n e d i np e r m e ，a 1 1m e a s u r e m e n tn o d e sa r es e l f - c o n t r o l l e da n dh a v et h e s a m es t r u c t u r e ，w h i c hi n c l u d eas a m p l i n gm o n i t o ra n da na n a l y s i ss e r v e r a nf e d e r a lw a yt on e g o t i a t e p a r a m e t e r si su s e db e t w e e n n o d e sf o rc o n t r o jw h e nn e e d e d a ns l a a n a l y s i ss e r v e rc o n s i s t so f t h r e ep a r t s ： af o r e p r o c e s s o r , ap o s t - p r o c e s s o la n daw e b b a s e dd a t ai n t e r f a c e t h et h e s i se o n c e n t m t e so nt h ed e s i g n a n di m p l e m e n t a t i o no ft h ef o r e p r o c e s s o r , a n dg i v e so u tt h er e s u l t so fk e yp r o b l e m s s t u d yo nt h ew a yt o t h et o t a ls o l u t i o n ，w h i c ha r ep a c k e tc l a s s i f i c a t i o n ，b u f f e rm a n a g e m e n t ，r e a l - t i m ec o m p u t a t i o no fo n e p o i n t m e t r i c s t h ef i r s tc h a p t e rg i v e sab r i e fi n t r o d u c t i o no ft h es t u d yb a c k g r o u n di n c l u d i n gt h ec o n c e p to fs l a ，t h e t e c h n o l o g yo f n e t w o r km e a s u r e m e n t a n dt h es t r u c t u r eo fp e r m e t h es e c o n dc h a p t e ra n a l y z e ss e v e r a l a l g o r i t h m s o fp a c k e tc l a s s i f i c a t i o n a n dd e s i g n st h ec l a s s i f i e r sf o rs l am o n i t o r i n ga n dp a c k e tt y p e s t a t i s t i c sa c c o r d i n gt ot h er e q u i r e m e n t so fp e r m e t h et h i r dc h a p t e rc o m p a r e st h ec i r c u l a rb u f f e rw i t ht h e d o u b l eb u f f e r , a n dc h o o s e st h ec i r c u l a rb u f f e ra st h eb u t i e rm a n a g e m e n tm e c h a n i s mo f t h es y s t e mb a s e do n t h er e s u l t so ft h ee x p e r i m e n t m e t r i c sa r ep a r a m e t e r sd e s c r i b i n gt h ep e r f o r m a n c ea n dr e l i a b i l i t yo ft h e n e t w o r k s a n df l o wi st h ef o u n d a t i o no fm e t r i cc o m p u t a t i o n i nc h a p t e r4 、f o u rt y p e so ff l o wi np e r m e a r ed e f i n e d t h e nt h ed e f i n i t i o n sa n dc o m p u t a t i o nm e t h o d so ff o u ro n e p o i n tm e t r i c sa r eg i v e n t h e s e m e t r i c sa r er e s p o n s et i m e ，r e t r a n s m i s s i o n ，m i s o r d e r , a n dt b r o u g h p u t t h ef o r e - p r o c e s s o rs h a l lr e c e i v e st h e d a t a ，c l a s s i f i e st h ep a c k e t s ，m a i n t a i n st h ef l o w , s t o r e st h eo r i g i n a ld a t a ，a n dc o m p u t e s t h eo n e - p o i n tm e t r i c s i nr e a lt i m e ，ad e t a i l e di n t r o d u c t i o no f t h ed e s i g na n di m p l e m e n t a t i o no f t h es y s t e mi sg i v e ni nc h a p t e r5 f r o mt h ea s p e c t so fs y s t e ms t r u c t u r e ，d a t af l o w , f u n c t i o nm o d u l e s ，a n de t c t h es i x t hc h a p t e rd e s i g n st h e t e s t i n ge n v i r o n m e n t a n ds c h e m eo fp e r m e ，a n dv e r i f i e st h ef u n c t i o n a l i t i e sa n ds t a b i l i t yo f t h es y s t e mv i a s t a t i ca n dd y n a m i ct e s t s t h el a s tc h a p t e rs u m m a r i z e st h ew o r ko ft h et h e s i sa n dp r o s p e c t st h ef u t u r eo f p e r m e k e yw o r d s ：s l a ，n e t w o r km e a s u r e m e n t ，c l a s s i f i c a t i o n ，f l o w , m e t r i c i l 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：垒笪日期： z o 口季i 2 q 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括于u 登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：寝塑导师签名： 堡二童堑堡 第一章绪论 1 1 研究背景 1 1 1s l a 简介 随着网络技术的不断发展，新的网络服务不断出现，在很大程度上，这些服务的生存与发展取 决_ 丁二该服务的可用性和与之相配的性能要求。实际上，对一般的用户而言，他们并不关心服务是如 何组成的，而只关心自己所感受到的服务质量。对服务质量的期望驱使用户与服务提供商协商特定 的服务质量级别( o o sl e v e l ) 。这通常是通过s l a ( s e r v i c el e v e l a g r e e m e n t ) 来实现的。 s l a 是用户和服务提供商所签署的正式合同，它明确规定了所期望的服务质量的级别，包括所 期望的服务的行为和服务质量的参数口j 。s l a 合同包涵了用户与服务提供商之间关系的多个方面， 内容包括服务的定义、提供服务的时间、服务质量目标、服务性能的测量方法和时间、向用户报告 的形式、费用、用户和服务提供商各自的责任、处理违约事件的流程、以及解决争端的方法等j 。 当前，许多关键的商务活动依赖于网络、通信和信息服务，这使得越来越多的用户寻求s l a 的 保证米开展他们的商务活动。而对于服务提供商而言，s l a 有利于了解用户的观点，吸引用户，建 立良好的用户关系，并且可以通过遵守对用户的承诺以及违反承诺时的赔偿树立良好的信誉和保持 用户的忠诚度。良好的用户关系以及遵守承诺的能力往往比价格更重要，特别是对商业用户而言。 随着市场竞争的日趋激烈，s l a 正变得越来越重要。 s l a 的管理过程大致分为以下几个阶段：开发、谈判和销售、实施、执行和评估”1 。对服务质 量参数的定义、测量和报告是建立和管理s l a 的关键。除了功能和价格，服务质量是用户最关心的 因素。服务质量是服务性能的总体效果，反应了用户对服务的满意程度，或者说所提供的服务与合 同规定的接近程度。 s l a 合同必须包含服务提供商向用户保证的服务质量参数，这些参数的值用于向用户证明服务 提供商实现了他的承诺。目前还没有s l a 参数的公共标准，国际上的一些跨国电信公司通过各种方 式向用户承诺一系列的s l a 参数，这些参数与具体的业务和实现技术相关联，缺乏普遍性和通用性。 电信管理论坛的t m f 7 0 1 将服务质量的参数分为丽类：一类是与服务本质无关的运行参数，如提供 服务的时间，修复故障的时间，维护的时间等；另一类是与服务本质相关的性能参数，如可用性， 响应时间，延迟，丢包，吞吐量等【l 】。i p p m ( i p p e r f o r m a n c e m e t r i c s ) 工作组则定义了一系列关于互 联网性能和可靠性的标准测度p j ，如连通性测度( r f c 2 6 7 8 ) 1 6 1 、单向延迟测度( r f c 2 6 7 9 ) ”1 、单 向丢包率测度( r f c 2 6 8 0 ) pj 、往返延迟测度( r f c 2 6 8 1 ) 等。 测撞是对性能参数定量的过程，是对s l a 进行有效管理的基础。目前主要的测量方法有主动测 量、被动测量和轮询m i b 数据库等，下一小节将对测量技术作一简单介绍。通过测量，服务提供方 可以监测和控制向用户所提供的服务，并向用户提供性能报告，使他们确信获得了期望的服务级别。 性能报告通常包括两类：一类是服务质量报告，它是根据s l a 参数得出的服务质量的总体评价；一 类是使用情况报告，即对服务使用情况的测量信息( 如流入流出的字：常数、报文数等) ，用户可以检 查服务的当前使用情况，并据此对将来做出计划”j 。 1 1 2 网络流量测量 测攮的目的 一般来说，对互联网流量进行测量包含以下一些主要目的：( 1 ) 计费，计费过程包括测量、定 价、收费、开具帐单等步骤f l o l ，而测曩是最终向用户开出帐单的基础：( 2 ) 网络规划，流量测量提 l 东南大学硕士学位论文 供了当前网络资源的使用信息，有助于两络管理者对将来的发展趋势作出预测，这种应用基于对流 量特性的长期观察；( 3 ) 流量工程，在较小的时间粒度上，测量可以提供网络的当前运行状况，探 测网络故障帮助网络运行人员进行配置更改以更有效地使用网络资源；( 4 ) s l a ，测量服务提供 商向用户所提供的服务质量，向用户提供实时的报告，使他们确信获得了期望的服务级别。另一方 面，通过向用户提供测量技术，使用户能够评估所获得的服务，比较不同服务提供商所提供的服务 冉勺性能，从两促使服务提供商优化他们的网络。同时，测量对于描述网络流量特征，建立网络流量 模型，分析网络行为特征和用户行为特征，入侵检测等研究工作都有着重要的意义。 测量的过程 无论是何种目的，流量测量过程通常包含以下几个步骤：数据的采集、存储、分析和报告。这 些步骤并不一定按上述顺序进行，它们可以多次出现并相互交叉。图l 。l 给出了测量过程的一个可 能的示例。 图1 1 测量的过程 报告 ( 】) 数据采集 对网络流量的测量从采集数据开始。对当前流量数据的采集既可以用软件实现，也可以用硬件 实现，既可以是简单地对报文计数，如i n t e r f a c em 1 b ，也可以截取整个报文做进一步分析，如t c p d u m p 。 大部分网络测量系统是分布式的，如一个中央管理站对应分布于网络上的多个测量装置，这种 方式可以获得整个网络的总体流量特性。在中央管理站从这些分布式的测量袈置搜集数据前，应先 在这些测量装置中进行初步的数据分析，以减少传输数据的总量。这些测量装置一般被称为观测点。 如可以使用简单网管协议( s n m p ) 下载m i b 信息。 ( 2 ) 数据分析 数据分析被认为是流量测量最重要的方面在这一阶段，根据测量的目的从原始数据中提取所 需要的信息。例如，链路吞吐量的相对负荷可以通过实际传输的数据量( 原始数据) 和链路所能承 受的数据最( 背景) 计算得出。从原始数据转换为信息没有一般的方法，必须根据特定的测量目的 确定转换的方法。 另外，数据分析可以减少数据量。在分布式的测量环境中，观测点没有必要将整个网络流餐复 伟日给中央管理站。在大多数情况下，测量者最感兴趣f l q 是i p 报头的信息，因此仅查看i p 报头可以 减少火量的信息传输量。然而，即便是只向中央管理站传输流量中所有的i p 报头，也可能对网络造 成巨大的影响。冈此需要在数据源处炯据测量的目的对数据进行初步的分析，以进一步减少所需传 输的数据琏。 ( 3 ) 数据存储 由于网络测量的原始数据量非常巨大，数据分析的结果也随时间不断积累，冈此必须仔细考虑 在测擐的什么阶段保存什么样的数据，以及这些数据的生命周期。数据的存储形式可以根据实际需 要和实现环境确定，既可以以文件的形式，也可以利用数据库管理系统。测量数据的存储与管理是 任何一个网络涨量系统都必须面对的问题，它直接影响整个系统的性能。其中的关键技术也是目前 2 ( 4 ) 数据的报告 测量的结果必须以恰当的形式反馈给用户，这是测量过程中用户可见的部分。报告的形式可以 多种多样，既可以是表单也可以是图形，既可以是书面报告也可以通过w e b 方式发布，既可以实 时报告也可以定期报告。 测量技术 ( 1 ) 主动测量与被动测量 主动测量向网络中加入测试流量以探测网络的特性。测试流量可以引起网络部件的特殊响应 ( 如：t r a c e r o u j t e ) ，也可以用于观测网络的性能( 如：t r e n o ) 。例如，为了测试网络最大的传输能力 向该网络发送报文，增加发送速率直至该网络饱和。然而，由于主动测量向网络中引入了额外的测 试流量，将干扰网络本身的行为，因而将影响测量结果( h e i s e n b e r g 效应) 。同时。测试流量加重了 网络的负担，特别是如果没有仔细设计测量方法以使得产生的流量最小，网络可能难以承受。主动 测量技术可以用来测量路由信息，发现网络拓扑结构的变化，也可以用于测量端至端的性能。 p i n g 是最常见的主动测量工具，用来对目的主机的可达性进行简单的测试。测量主机向目的主 机发送e c h or e q u e s t 的1 c m p 报文，目的主机返回e c h or e p l a y 的i c m p 报文，由此可以计算出两主 机问的r t t ( r o u n dt r i pt i m e ) 。然而，由于防火墙的存在，可能会阻挡i c m p 擐文的通过因此收 不到e c h or e p l a y 的i c m p 报文并不代表目的主机上的其它服务一定不能被访问。 一些测量方法比另一些测量方法更为主动。例如：p i n g 只向网络中加入非常少量的流量，由此 引起的h e i s e n b e r g 效应造成的偏差要比用t t c p 定时地向网络发送大量的t c p 传输造成的偏差小得多。 被动测量是通过采集和分析网络的正常流量进行的，因此对网络本身没有影响。例如，o c x m o n 监测器通过分光器在光纤上搭线采集报头数据：在主干交换机上配置镜像端口克隆工作端口的数据； 在局域网中，利用数据传播的广播特性，将网卡设置为混杂模式，可以俘获局域网上的所有流量。 这些技术采集网络流量而不对网络产生任何干扰，因此可以消除附加流量所产生的负荷以及 h e i s e n b e r g 效应。然而，许多测度用被动的测量方式难以获得例如确定报文的路由。当我们关心 的不是完整的路由，而只是自治系统( a s ) 之间的路由时，被动地监测对等b g p 之间的流量就可 以测量这个路由，因为随着时间的流逝流量包含了自治系统间的所有路由信息。 某些测量可以在单独的一个点进行，而不需要其它网络部件的合作，例如，估计一条链路上的 有效带宽，可以用一台计算机被动地监测该链路上的流量两获得。而大部分测量，包括所有的主动 测量，需要多个网络部件的参与。例如，用p i n g 来测量主机a 到主机b 的r t t ，需要主机b 对e c h o r e q u e s t 的i c m p 报文进行响应。 某些形式的合作早已部署在互联网中了，如路由器对某些i c m p 请求的响应，对超时报文的 i c m p 错误报告信息。而另一些合作形式则需要特殊的布置。例如，为了测量a 和b 之间的路由是 否对称，需要测量a 到b 的路由和b 到a 的路由如果b 不提供这种路由的测量手段，或者b 的 管理员不同意进行以上测量，则不能进行a b 问路由对称性的测量。 ( 2 ) 抽样和过滤 随着网络传输速度和测量要求的不断提高，对数据采集的要求也不断提高。对于主干网而言， 通常需要钡4 量汇聚的整个流量，而不是其中的某个流。更有甚者某些测量方法不仅需要俘获报文 头部，甚至需要部分的有效负荷。这将导致测量数据的急剧增长，对数据的采集、存储、传输和分 析都提出了更高的要求。在某些情况下，一些专用硬件可以满足这些要求，但同时大大增加了测量 的成本。而测量主要是作为服务提供的一个辅助功能，测量的成本应该限制为服务提供总成本的一 小部分。因此必须考虑如何减少测量的数据量，这可以通过对报文进行选择来实现。目前主要有两 种选择报文的方法：抽样网络流量的子集并保证适当的精度，或者过滤掉与测量目的无关的所有报 文i ”l 。 报文选择技术在观测点生成一个总体流量的子集。抽样的目的在于选择具有代表性的子集，通 过这个子集可以推出总体流量的特性。对报文的选择可以基于报文在流量序列中的位置，报文的内 3 4 东南大学硕士学位论文 报文净荷的整体。过滤的目的在于选择流量总体中具有共有特性的报文子集，这些报文正是测量所 感兴趣的报文。这个共有的特性可以由报文内容导出，或者取决于路由器处理此报文的方式。过滤 是一个确定性的操作，它依赖于报文的内容或路由器的处理方式，而与报文在流量序列中的位置或 随机决定无关。 ( 3 ) 流 流是网络测量与分析中的一个重要概念，它可以定义为满足周一组特性的报文的集合。流的特 性可以从以f 儿个方面进行刻画i l “： 方向性。流可以被定义为单向的和双向的。现在网上许多多媒体流都是单向的，而面向连 接的t c p 流是双向流，从a 到b 的流量会引起从b 到a 的流量，至少有确认流。一个般 向流可以看作是两个单向流组成的。 端点性。流既可以是单端点的，也可以是双端点的。从一个源点发出的所有流域或汇聚丁 一个宿点的所有流量组成单端点的流。而由源点和宿点确定的流是双端点的流。 端点的粒度。根据测量目的的不同，端点可以区分为不同的粒度：子网、i p 地址、传输层 协议类型、端口等。 超时时闻。超时时间用于判断一个流的结束，当观察到的报文时间闻隔小于超时时间时， 认为这个流仍然是活动的，否则认为该流已结束，后观察到的报文属于一个新的流。圈1 2 烂流的示意图，图中黑点代表在测量点观察到的具有相同特性的报文。 满足同一组特性的报文 图i - 2 流的定义 ( 4 ) 相关的研究组织 1 ) i p f i x ( i p f l o we x p o r t ) ：r 作组【l ”的目的在于选择一个协议，使得j p 流信息能够及时地从输出者 ( e x p o r t e r ，通常是路由器或测量设备) 传输到采集站，并定义个使用这一协议的体系结构。流信 息输出的标准化有利于简化后端系统的处理。 2 ) p s a m p ( p a c k e ts a m p l i n g ) 工作组f 1 4 的目的在于定义网络元素的一组功能，这组功能使用统计和 其它的一些方法抽取网络流量的子集。其工作的重点是报文的选择方法，报文的报告信息，向应用 报告报文信息的协议，以及对报文选择和报告进行配置的协议。 3 ) i p p m ( i p p e r f o r m a n c em e t r i c s ) 工作组的目的在于定义关于互联网数据传输服务质量、性能和可 靠性的一组标准测度，这些测度可为网络运行人员、终端用户、以及独立的测试组织所用。这些测 度提供了对性能无偏差的定量测量，而不是好坏的判断。 4 ) b m w g ( b e n c h m a r k i n gm e t h o d o l o d y ) 工作组”的主要目的在于对各种互联网技术的性能特性捌 域提出建议，进一步的，这些建议集中在用这些技术实现的系统和服务上。 5 ) r m o n m i b ( r e m o t e m o n i t o r i n gm i b ) 工作组i l ”定义对网络进行远程监控的管理对象。这些对象满 足在多个网络层次监测远程网络流量的最小需求，提供对故障、配置和性能的管理，并与简单网络 管理协议s n m p 相一致。 6 ) c a i d a ( c o o p e r a t i v e a s s o c i a t i o n f o r i n t e r n e t d a t a a n a l y s i s ) 1 1 ”是互联网数据分析的合作组织，它 提供r 具年l f 分析促进健壮的、可扩展的互联网基础设施的设计与维护。c a i d a 参与了许多测鼙项 日，涉及路由和拓扑、工作负荷特性、网络安全、d n s 、互联网性能特性等多个方面。c a i d a 还提 供了许多测量、数据分析和表示的工具。 4 第一章绪论 7 ) n l a n r ( n a t i o n a ll a b o r a t o r y f o r a p p l i e d n e t w o r k r e s e a r e h ) t t g i ，0n s f ( n a t i o n a ls c i e n c ef o u n d a l i o n ) 高性能网站及高性能网络服务提供商提供技术、工程和流量分析的支持。其中的测量与网络分析组 使用主动和被动的测量技术来描述高性能网络的行为特征。 1 1 3p e r m e 系统简介 s l a 合同中协商定义的s l a 参数及其测量是网络s l a 管理、监测的前提和基础。目前的测量 方法主要是主动测量、被动测量和轮询m 1 b 。主动测量方法简单，但测试流量会影响网络用户实际 流量；被动测量方法在测量期间不影响网络流量，但高速网络环境中容易丢失信息，难以监测端至 端网络性能；轮询m i b 测量方法简单但有些必要的数据难以得到，难以用于大规模高速网络环境 中。 “基于抽样测量的分布式服务级别约定监测系统”是8 6 3 计划信息技术领域中计算机软硬件 技术主题的f 一代互联网技术专题中的课题，课题编号为：2 0 0 1 a a l l 2 0 6 0 。该课题的主要目标就是 完成一个基于抽样和被动测量技术的高速i p 网络端至端s l a 监测系统p e r v i e ，该系统作为进行独 立测量的第三方，向用户和服务提供商提供s l a 合同所约定的网络性能指标的实际参数值。 p e r m e 系统与以往的主动测量和被动测量的区别在于；以往的端至端测量技术大多是采用主 动测量工具或传统的p i n g 工具进行测量，而被动测量一般是基于单个测量点为核心，不同的被动测 量点之间不存在协同关系。p e r m e 系统使用基于标识字段的多掩码抽样测量算法，保证不同测点 之间的协同关系，即不同测点之间报文具有可跟踪性”。 p e r m e 监测系统主要包含二个关键部分：( 1 ) 分布于测量域多个测量点的流量抽样测量系统； ( 2 ) 分布式端至端s l a 监测系统。 ( 1 ) 高速i p 网络抽样测量系统 面向高速i p 网络的流量抽样监听与分析设备。该设各可以运行于高速网络边界，具有分组俘获、 时戳、过滤、抽样事件鉴别、产生分组i d 、事件数据生成、测量结果发送等功能。系统具有适应高 速网络的吞吐量，可根据抽样精度和网络流量调整抽样比率的能力。具有l o o m b p s 高速以太网接口 和1 0 0 0 m b p s 速率的光纤接口。 ( 2 ) 端至端s l a 监测原型系统 在高速流量的抽样技术、体系结构模型的研究、s l a 信息分析、报告技术、s l a 信息查询技术 等各项关键技术的支撑下，研制开发端至端s l a 监测系统。该系统基于通用计算机平台，使用由各 个高速j p 网络抽样测量系统所提供的原始抽样数据，并基于各个单项技术进行两络端至端s l a 分 析，监测网络s l a 的许可水平，根据s l a 所确定的服务标准发现网络中出现的违约事件，提供网 络可用性、基础设施鲁棒性以及分析预计用户将来的需求和发展趋势等端至端s l a 的分析报告。 系统总体结构采用自顶向下的描述方式加以说明，分别是高速i p 网络端至端s l a 监测系统之 间的分布关系，高速i p 网络的网络监测系统内部的分布和主要功能的结构和数据流、控制流，单个 系统的实现模型。 网络端至端s l a 监测系统的分布关系 每一高速i p 网络的网络端至端s l a 监测系统独立存在，成为自治系统，在全局上不存在中央 处理系统平中央控制系统。不同的高速i p 网络的网络端至端s l a 监测系统之间采用相互授权的方式， 为符合其政策的其它高速i p 网络的网络端至端s l a 篮测系统提供所需要的协同信息。但是端系统能 够维护其与不同端系统之间的协作关系，能够发现与其协作的端系统是否正常工作的线索。因此网 络端至端s l a 监测系统的分布依赖于网络拓扑，其示意图如图1 - 3 所示 从示意图可知p e r m e 系统通常以中继子网方式存在，但是这些中继子网一般都处于网络的关 键节点上，例如各个地区的网络中心等等。每p e r m e 系统可以选择和其它p e r v i e 系统协作或 不协作，并且定义所需要的协作关系。 5 东南大学硕士学位论文 服务器 圈1 - 3 高速i p 网络的网络端至端s l a 监测系统的分布关系图 高速i p 网络的网络s l a 监溯系统内的分布结构 在p e r m e 系统内部主要有两种类型的系统存在，一种是测量器，另一种是服务系统。测量器 负责获取具体数据，并且进行简单的过滤和抽样处理，其过滤、抽样需求和提供的数据内容由服务 系统决定。服务系统收集测量器提供的数据，以此进行相关的分析，并且根据需要决定是否需要和 其它p e r m e 系统进行协同或进行特殊的响应动作。服务系统还能够提供用户进行信息查洵的能力 以及管理员对各种具体功能进行管理的能力。 图1 4 是一个p e r m e 系统内部的主要功能结构图，该功能结构图是一个逻辑结构模型，在具体 实现时需要考虑性能问题，如果单一主机的分析处理系统不能够负担全部通信、分析、数据存储、 奇询、管理等功能的性能要求，可以考虑使用分布的体系，但是在逻辑上仍是统一的。 p e r m e 通过不同级别的的配置文件，完成对所有功能模块的各种控制、调度和协商，以及e t r 对相应知识数据信息的使用。 调度 【一一塑重l i 甄莉确r i 塑塑堡里； ，、，、 陶暖酬阳嘲朝阳调卅 、一、 协同 国 厂 甄r 臣互鲨 国 丽 实库库【 ，、 瞻矧 、 豇 图1 4p e p 3 v i e 系统内部的功能结构图 第一章绪论 图i - 5 为详细的数据流图，表示的是从测量器到服务系统的数据传输和分析流。而没有包括反 向的控制流。具体而言，控制流从管理界面开始和管理功能的控制能力方向相同，最终到达各个功 能模块的配置文件或运行的程序和进程。由于控制流的结构和功能依赖的比较紧密，而且如果在图 中表示会使数据流图复杂化，因此没有被具体标出。 图1 5p e r m e 系统的数据流图 单个系统的实现模型 单个p e r m e 系统实现为两台主机，如图i - 6 所示。前台主机是单独的采样测量器，它通过被 动的方式获得主干或网络边界的流量镜像，对其进行分组俘获、标记时戳、简单的过滤和抽样处理、 产生分组i d 、事件数据生成、向后台主机发送结果报文。后台主机为s l a 分析服务器，具有数据 圈l 石单个p e r m e 系统的构成 东南大学硕士学位论文 等功能。相应地，该服务器由前端处理器、后端处理器和w e b 方式的配置报告界面等三个功能模 块组成，如图l 7 所示。其中前端处理器接收前台采样测量嚣发回的数据，进行数据分类和整理， 完成报文数据的按流组织和报文类型统计任务，实时计算s l a 单点测度，并为后端处理器的协同分 析提供原始数据。后端处理器根据前端处理器提供的原始数据进行端至端的s l a 分析，综合统计分 析以及s l a 遵从度分析，并将分析结果按照s l a 分析报告的要求记入各个结论库中。w e b 方 式的配置报告界面向管理员提供了与平台无关的配置管理界面，以及向用户提供了监测结果的查询 界面。 图1 - 7s l a 分析服务器的构成 s l a 分析服务器除了执彳亍上述计算任务之外，还通过n i p 协议，从时钟服务器上获取g p s 全 球定位系统的统一时钟来校准系统时间同时也为前台采样器提供准确的对时服务，保证在数据协 同时，不同p e r m e 系统得到的数据中的时戳具有可比性。 1 2 研究的目标和内容 本论文将围绕p e r m e 系统前端处理嚣的设计与实现展开，对其中的关键问题进行研究。主要 的研究工作围绕以下三个方面进行： 高速报文分类由于pr m e 系统基于被动测量方式工作，为了对s l a 合同所规定的l p 性能 测度进行监测，必须将与s l a 台同相关的用户数据从网络流量中分离出来，并将其组织成流， 也就是对报文进行分类( 过滤) 由于由s l a 合同映射所得到的规则由本地i p 和远端i p 组成， 所以这是一个二维的分类目题 缓冲区管理为了进行数据的保存，前端处理嚣需要定时操作数据库，因此其对数据的处理能 力是不均匀的，而嚣量器剜根据同络的实际漉量地向前端处理器发送数据，当发生突发流量时， 测量数据会急尉增大，为了平港突发数据以及处理能力的不均匀性，应在两者之闻进行缓冲。 缓冲区的管理应满足以下两个条件：( 1 ) 在平均处理能力大于接收能力的条件下。不应发生田 缓冲区写满而造成的数据丢失；( 2 ) 管理简单方便，满足高性能要求 单点测度计算不同的网络应用对不同的l p 性能指标有不同的要求用户的这方面的需求都反 映在s l a 合同中作为进行独立测量的第三方，p e r m e 系统对这些性能指标进行监测。在明 确了所要监测的性能指标后，必须确定这些性能指标的具体含意，研究其计算方法，特别是在 被动测量方式下的计算方法p e r m e 系统前端处理器计算指定i p 对之间t c p 连接的4 种单点 性能测度：响应时间、吞吐量、重传和失序 s 第一章绪论 在上述研究工作的基础上，设计并实现了p e r m e 的前端处理器，全文组织如下： 第一章绪论，介绍课题的背景，p e r m e 系统的结构，以及本论文所做的工作。 第二章对当前的报文分类算法进行了研究，并结合课题的实际情况，设计了前端处理器所使崩 的分类算法。 第三章对循环队列和双缓存两种缓冲区管理方式在工作机制、效率、管理的复杂性、对系统的 影响等方面进行分析和比较。 第四章研究了p e r m e 系统所计算的四个单点测度的计算方法。 第五章介绍了p e r m e 系统前端处理器的设计与实现，包括前端处理器的结构，各功能模块等。 第六章介绍对p e r m e 系统所进行的测试，包括静态测试和动态测试。 最后一章对论文进行了总结和展望。 9 。查堕奎兰塑圭兰篁丝苎 第二章前端处理器报文分类算法的研究 报文分类问题最初是网络中路由器根据报文中的目的地址查找路由表进行转发的i p 查找问题。 随着网络流量的不断增长，简单的线性查找和二分查找己不能满足性能的