（计算机软件与理论专业论文）高校网络流量管理的研究与实践.pdf

山东大学硕士学位论文 置薯, 一 i i i , i i i 量量皇罾| 皇 中文摘要 自2 0 世纪8 0 年代开始，世界上所有发达国家相继建成了国家级的教育和科 研计算机网络，并成为这些国家教育和科研工作最重要的基础设施，从而促进了 其教育和科研事业的迅速发展。1 9 9 4 年，我国开始投资建设中国教育和科研计 算机网络( c h i n ae d u c a t i o na n dr e s e a r c hn e t w o r k ，简称c e r n e t ) 。很多高 校都组建了自己的校园网，伴随网络规模的不断扩大和网络应用的更加广泛，网 络流量也变得越来越复杂。除了正常主业务流，网络游戏、多媒体流、p 2 p 、v i r u s 等抢占了大部分带宽。 如何有效封堵此类p 2 p 应用或限制此类应用的流量，成为网络建设的一个明 确的需求点，聊城大学在网络流量管理方面做了探索。2 0 0 7 年，本文作者根据 聊城大学网络信息中心当时只有e y o u 计费服务器可以做网络流量方面的限制， 经过认真的分析和思考，提出一套思路在e y o u 计费系统对流量带宽进行管理， 使当时急需的h t t p 服务得到了良好保证；2 0 0 8 年，聊城大学网络信息中心购置 了网络流量整形设备a c e ，本论文作者和厂商工程师以及其他同事们共同努力， 仔细分析本单位网络流量的状况，在a c e 上对网络流量管理采取了一系列措施， 既使关键业务得到了充分保证，也使p 2 p 应用得到了一定施展的空间；2 0 0 9 年， 聊城大学总出口带宽进行了扩展，c n c 出口由原来的4 0 0 m 扩容至1 0 0 0 m ，再加上 另一条线路c e r n e t1 5 5 m ，总带宽为1 1 5 5 m ，出口防火墙成为了瓶颈，因为防火 墙的接口是1 0 0 0 m 的，于是购买了设备n p e 解决防火墙瓶颈问题，n p e 使网络带 宽得到了更充分的应用。随着对此问题的研究不断加深，本论文作者提议并建立 了本单位自己的h t t p 日志管理服务器，并与a c e 设备衔接良好，能将每个该校 用户上的h t t p 服务进行统计，为聊城大学以后进行c a c h e 映射做好准备。作为 全程参与该项工作的负责人员，本论文作者提出了完整的解决方案和思路，也阐 述了一些遇到的问题。 本论文在解决网络流量问题时，一直立足于实际，根据单位当时拥有的设备 情况采取相应的措施。本论文没有采取一味搿堵一的措施，而是根据情况，在保 7 山东大学硕士学位论文 证关键应用的同时，对p 2 p 应用给予一定的施展空间。本论文是作者在经历了2 年多的仔细思考和实践探索的基础上完成的。如何解决网络流量面临的问题，需 要不断的实践和探索，只能是慢慢找到适合各自单位网络流量情况的策略和措 施。 s 关键词：校园网；网络流量；流量整形；n e t f l o w ；p 2 p 山东大学硕士学位论文 a b s t r a c t s i n c e19 8 0 s , a l lt h ed e v e l o p e dc o u n t r i e sh a v eb u i l tu pn a t i o n a lc o m p u t e r n e t w o r ko fe d u c a t i o na n ds c i e n t i f i cn e t w o r k , w h i c hh a v eb e e nt h em o s ti m p o r t a n t i n f i a s t r u c t u r eo fe d u c a t i o na n ds c i e n t i f i cr e s e a r c hi nt h e s ec o u n t r i e sa n df a c i l i t a t et h e i r d e v e l o p m e n t c h i n ab e g a nt oi n v e s t i nb u i l d i n gc e r n e t ( c h i n ae d u c a t i o na n d r e s e a r c hn e t w o r k ) s i n c e19 9 4 m a n yc o l l e g e sa n du n i v e r s i t i e sh a v es e tu pt h e i ro w n c a m p u sn e t w o r k a l o n gw i t ht h ec o n t i n u e de x p a n s i o no fn e t w o r ks i z ea n du n c e a s i n g e x t e n s i o no fn e t w o r ka p p l i c a t i o n si nt h ec a m p u sn e t w o r k , t h en e t w o r kt r a f f i ch a s b e c o m em o r ca n dm o r ec o m p l e x e x c e p tt h en o r m a lm a i nb u s i n e s s , n e t w o r kg a m e s , m u l t i m e d i as t r e a m i n g , p 2 p ，v k u sa n ds o0 1 1h a v eo c c u p i e dm o s to f t h eb a n d w i d t h h o wt ob l o c ko f fs u c hk i n do fp 2 pa p p l i c a t i o na n di t sf l o wr a t eh a sb e c o m ea d e f i n i t ed e m a n d m g p o i n tf o rn e t w o r kc o n s t r c t i o n l i a o c h e n gu n i v e r s i t yh a sm a d et h e e x p l o r a t i o ni nn e t w o r kt r a f f i cm a n a g e m e n t i n2 0 0 7 ，t h e r ei so n l ye y o ua c c o u n t i n g s e r v f rt h a tc a nb eu s e dt om a k er e s t r i c t i o no nn e t w o r kf l o wi nn e t w o r ki n f o r m a t i o n c e n t e ro fl i a o c h e n gu n i v e r s i t y t h r o u g hs e r i o u sa n a l y s i sa n dc o n s i d e r a t i o n ，t h e a u t h o rc o n d u c t e dad e s i g nt om a n a g et h eb a n d w i d t h sc h a r g es y s t e ms oa st op r o v i d e t h o m u g hg u a r a n t e ef o rh t r ps e r v i c e i n2 0 0 8 ，t h en e t w o r ki n f o r m a t i o nc _ 总n t c ro f l i a o c h e n gu n i v e r s i t yp u r c h a s e dt h en e t w o r kf l o ws h a p i n gf a c i l i t ya c e t h ea u t h o r w i t hi t sm a n u f a c t u r e r se n g i n e e r sa n dc o l l e a g u e sm a d ee f f o r tt oa n a l y z et h en e t w o r k f l o ws i t u a t i o n t h r o u g has e r i e so fm e a s u r e s0 1 1n e t w o r kf l o wm a n a g e m e n t , t h ek e y b u s i n e s sw a sf u l l yg u a r a n t e e da n dt h ep 2 pa p p l i c a t i o nw a s m a d et ob e s tu s e i n2 0 0 9 。 t h eb a n dw i d t hc a p a c i t yo fi t sc h i ce x i tw a se x p a n d e df r o m4 0 0 mt o10 0 0 m w i t h t h eo t h e rl i n ec e r n e t15 5 m ，t h eg e n e r a lb a n d w i d t hc a p a c i t yi sl 15 5 m h o w e v e r , i n t e r f a c e c a p a c i t yo ft h ee x i tf i r e w a l li s1 0 0 0 m t h u s , t h eu n i tp u r c h a s e dn p e f a c i l i t yt os o l v et h ep r o b l e m ，w h i c hm a d et h en e t w o r kt r a f f i cw o r kb e t t e r t h ea u t h o r p r o p o s e dt ob u i l dt h eu n i t so w nh r r pl o gm a n a g e m e n t r v 盯c o n n e c t e d 、加n lt h e a c e f a c i l i t y i nt h i sw a y ，e v e r yu r s 哪s g 奠 v c ri nc a m p u s c a i nb er e g i s t e r e da n d m a d ep r e p a r a t i o n sf o rc a c h em a p p i n gi nt h ef u t u r e a st h es u b j e c tm e m b e ro ft h i s w o r k , t h ea u t h o rr a i s e dat h o r o u g hp l a na n ds o m ep r o b l e m si nt h i st h e s i s i nt h i sp a p 盯, t h ea u t h o rh a sb a s e do f fr e a l i t yt os o l v et h en e t w o r kt r a f f i cp r o b l e m , 9 山东大学硕士学位论文 a c c o r d i n gt ou n i t - o w n e de q u i p m e n ti nt i m et ot a k ea p p r o p r i a t em e a 双l r s i nt h i sp a p e r , t h ea u t h o rh a sn o tt a k e nb l i n d l y ”b l o c k i n g ”m e a s u r e s , b u th a st a k e nm e a s u r e st om a k e t h a tt h ek e yb u s i n e s sb ef u l l yg u a r a n t e e da n dt h ep 2 pa p p l i c a t i o nb em a d et ob e s tu s e a c c o r d i n gt oc i r c u m s t a n c e s t h r o u g hm o r et h a nt w oy e a r so fc a r e f u lt h o u g h ta n d p r a c t i c a le x p l o r a t i o n ，t h ea u t h o rc o m p l e t e dt h i sp a p e r h o wt os o l v et h en e t w o r k t r a f f i cp r o b l e m ，w h i c hr e q u i r e sc o n s t a n tp r a c t i c ea n de x p l o r a t i o n i tc a n o n l yb es l o w t of i n ds u i t a b l es t r a t e g i e sa n dm e a s u r e s 细廿i en e t w o r kt r a f f i cs i t u a t i o no fr e s p e c t i v e u n i t 1 0 k e y w o r d s ：c a m p u sn e t w o r k ；n e t w o r kt r a f f i c ；t r a f f i cs h a p i n g ；n e t f i o w ；f 2 p 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个入和集体，均己在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名： 日期：嘲。卜、。 关于学位论文使用授权的声明 本人同意学校保留或向国家有关部门或机构送交论文的印刷件 和电子版，允许论文被查阅和借阅；本人授权山东大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：导师签名：! ! 弛 山东大学硕士学位论文 第一章绪论 1 1 课题研究的背景 当前信息技术的飞速发展，导致人类社会向高技术、高学历特征发展。因此， 高等教育引起了世界各国政府的高度重视，高等教育更代表了各个国家教育的发 展水平。同时，信息技术对高等教育产生了史无前例的巨大冲击，从教育环境、 教育模式到教育理念、教育目标，都在这场冲击中发生着变革。高等院校应对这 种冲击的积极响应是大规模、高投入地进行校园信息化建设。它是一项基础性、 长期性和经常性的工作，其建设水平是高校整体办学水平、资源整合共享能力、 学校形象和地位的重要标志【i 】。 1 9 9 5 年，我国建立了“中国教育和科研计算机( c e r n e t ) 一，并不断完善。 伴随全球网络信息化浪潮，许多高校也都纷纷组建自己的校园网与之接入，畅享 网络的丰富资源。随着近几年校园网规模的不断扩大，其在行政办公、教学科研、 学习生活中的影响不断加深，日益凸显了校园网的重要性。校园网用户的倍增， 网上应用的广泛开展，网络流量的大幅攀升，带来了一系列的网络管理问题：如 何保障网络速度；如何保证网络应用正常：如何维护设备和线路，使之正常、稳 定运转；如何更好地为用户解决故障等。这些都给校园网的管理带来了很大的压 力，如何提高校园网的管理水平也就成了我们研究的对象。【妇高校网络流量管 理是目前高校网络管理的一项非常重要的工作。出口的利用率和用户对网速的满 意度成为高校校园网管理人员研究的一个重点。高校网络流量管理的研究与实践 就是在这样的背景下成为了一个课题的。 1 2 课题研究的意义 随着网络技术的高速发展和高等教育改革的逐年加快，现代高等教育正在朝 网络教学、远程教学、教育资源共享、突破学校围墙的方向发展，许多高校正在 对校园网及其信息应用进行不断的升级改造和完善。但是，在建设和完善数字化 校园的过程中，学校将不可避免的面对这样或那样的技术难题【3 】而网络问题， 尤其网络应用越来越广泛，不同的应用有不同的q o s 需求，如不同的带宽、延迟和 山东大学硕士学位论文 抖动要求，这些网络应用的流畅运行成为非常重要的基础保障。对校园网流量进 行分析和管理，合理的分配网络带宽，更好的满足应用需求。互联网迅速发展的 同时，网络安全问题日益成为人们关注的焦点，病毒、恶意攻击、非法访问等都 容易影响网络的正常运行，多种网络防御技术被综合应用到网络安全管理体系 中，流量监控系统便是其中一种分析网络状况的有效方法，它从数据包流量分析 角度，通过实时地收集和监视网络数据包信息，检测是否存在违反安全策略的行 为和网络运行异常的迹象。而对流量设备进行合理的流量整形策略调整，并让流 量整形设备与其他出口设备协调应用，成为这一切的重中之重。 伴随i n t e r n e t 的迅速发展，网络承载的应用也发生了非常大的改变，电子邮 件( e m a i l ) 、文件传输( f t p ) 、远程登录( t e l n e t ) 、w 聊浏览( h t t p ) 等网络传统四 大应用流量虽然仍是i p 网络中的主要部分，但是网络已开始越来越多地承载p 2 p 、 v o d 多媒体以及v o i p 等新应用流量；甚至在一些i s p 网络，如法国电信、美国s p r i n t 的骨干网，这些新应用流量已超过传统应用流量。高校校园网经过近几年的蓬 勃发展，网络流量管理问题也成为一项十分重要的工作任务。精确的网络流量分 析，尤其是基于业务流的监测可以根据不同服务等级用户的流量信息，对不同流 量设置不同的优先级，提供不同的服务质量，从而可以按照服务等级实现科学的 计费。【s 】对校园网网络流量进行分析，并根据各自的实际情况采取相应策略，进 行网络流量整形是一项非常重要的措施。而如何做好这项工作需要不断的摸索， 不断的调整策略。 1 3 论文的主要工作 本论文阐述目前高校校园网流量管理方面的情况。主要以聊城大学为例进行 阐述。伴随全球网络信息化浪潮，网络在高校生活中的地位将越来越重要。在计 算机网络建设中，走在前列的就是高校的校园网。聊城大学校园网已经实现了 “主干光纤万兆，千兆到楼宇，百兆到桌面斗的三层网络结构的建设目标，网络 规模不断扩大，网络流量也变得越来越复杂，所面临的网络管理问题日益繁重。 分析网络流量并进行有效的管理是保证校园网畅通的基础。 本论文作者根据自己的真实体验和想法，阐述了聊城大学在2 0 0 7 年、2 0 0 8 年和2 0 0 9 年针对网络流量面临的问题采取的不同措施和取得的效果，并提到了 在各个过程中遇到的问题或解决问题的局限性等。本论文是作者2 年多的关于网 1 2 山东大学硕士学位论文 囊置芭置鲁罾舞量曼鼍奠鼍目罾寰_ _ b 一1 l m m i u i i 皇皇喜曼皇i _ _ 舅量量曼鲁皇喜量簟 络流量管理方面的实践探索，凝结了作者的大量心血。作为全程参与该校网络流 量管理方面的唯一工作人员，作者的思路和见解是不能一味的“堵，而是在充 分保证关键业务的同时给予p 2 p 一定施展的空间，并在各个阶段努力使工作做的 更好，完全是立足于现实的，而且着眼于未来的。 1 3 山东大学硕士学位论文 第二章网络管理现状及网络流量问题 本章首先对现在的网络管理现状进行了阐述，接着以聊城大学为例对网络流 量管理面临的问题进行了描述。后面用了几个小节对网络流量和网络流量管理的 相关术语进行了概述和解释。 2 1 网络管理现状 一般来说，网络管理就是通过某种方式对网络进行管理，使网络能正常高效 地运行。其目的很明确，就是使网络中的资源得到更加有效的利用。它应维护网 络的正常运行，当网络出现故障时能及时报告和处理，并协调、保持网络系统的 高效运行等。网络管理的对象是指在一个计算机网络中存在的任何一个元素，包 括交换机，路由器，计算机，打印机，线路等等。其中交换机管理是管理的重点。 在网络发展早期，网络规模非常小，网络管理几乎无事可做，对网络的管理 停留在使用i c 肝p i n g 的基础上。通常一个或几个系统管理员采用一些临时措施 来完成初期的网络管理工作。随着网络规模的增大，网络管理者需要知道有关计 算机网络的大量信息以进行有效的管理。网络管理是控制一个复杂的计算机网络 使得它具有最高的效率和生产力的过程。根据进行网络管理的系统的能力，这一 过程通常包括数据收集、数据处理，然后提交给管理者，用于在网络操作中使用。 它还包括分析数据并提供解决方案，生成对管理网络有用的报告。监视网络，还 可以产生网络信息日志并利用这些信息日志去研究和分析网络，同时也可以控制 网络行为。嗍 作为高校校园网的管理员，明显感觉到网络管理变得越来越复杂。并且现在 有个很重要的网络问题是网络流量管理问题。一般来说，网管系统的任务就是要 能达成掌握网络主机状况，加速故障排除，同时减少网管人员的负担。一些网络 或计算机相关厂商也都有网管软件的产品，目前应用最广的就是h p 的o p e n v i e w ， i b mn e t v i e w 等，这类型的网管系统强调的是一个整合型的网络管理解决方案， 由一个网管的作业平台与许多网管功能的模块所组合而成。上述两种作业平台都 有提供基本的网络拓扑功能，m i bb r o w s e rs n m p t o o l ，d a t ac o l l e c t i o n ，绘图 1 4 山东大学硕士学位论文 量鼻i i i, 。 a i m i i 舅喜皇量目薯 与网络事件管理功能。从管理者的角度来看，这些功能十分好用，但是这些软件 都非常昂贵。为此，每个学校都会根据自己的实际情况，采取相应的措施。进行 网络带宽管理和网络流量整形是一种必然趋势。 2 2 聊城大学网络流量管理面临的问题 聊城大学是一所省属综合性大学。聊城大学于1 9 9 7 年组建了自己的校园网。 现在聊城大学校园网已经完成“主干光纤万兆，千兆到楼宇，百兆到桌面 的建 设目标。目前校园网覆盖全校所有院系、研究所、行政管理与教工宿舍、学生宿 舍等1 0 0 余栋楼宇。聊城大学校园网注册上网人数为6 0 0 0 多，同时在线人数每 天最高保持在2 0 0 0 至3 0 0 0 ，现在两个出口带宽总计11 5 5 x ( c e r n e t1 5 5 m 。c n c 1 0 0 伽) 。由于聊城大学的网络收费政策是包月收费，这就造成老师和学生大量使 用b t 、电驴、迅雷等p 2 p 软件来充分利用网络资源下载电影、音乐或文字材 料，或在线看电影、使用视频直播等，造成了带宽大量被抢占，学校网络速度受 到极大影响，也让网络中心面临了很大的压力。而当学校要确保某些电脑上网能 够顺畅、确保某些网络服务( 网络语音、网络视频会议、o a 办公系统) 能够正常 开展时，就需要对整个网络进行有效的带宽分配和流量控制，以确保正常业务能 够顺利进行。如果不能有效控制学校网络实时流量，l o o m 甚至1 0 0 0 m 的i n t e r n e t 出口带宽也是微不足道的，这是因为相对于网络建设的线性增长速度而言，p 2 p 的带宽增长是指数形式的增长，单纯的网络扩容永远跟不上p 2 p 的增长速度。如 何有效封堵此类p 2 p 应用或限制此类应用的流量，成为高校网络建设的一个明确 的需求点。【7 1 2 3 网络性能度量术语 2 3 1 网络性能度量 i e t f 的i p p m t 作组己定义了一些i n t e r n e t 度置的指标，并指出了度量的框 架。常用的分析指标有： 1 、流量指标 ( 1 ) 吞吐量( t h r o u g h p u t ) ：指这条路径所能传送数据的最大速率，通常由该 路径上的传送速度最慢的链路所决定，即所谓的瓶颈带宽： 山东大学硕士学位论文 ( 2 ) 大批传输容量( b u l kt r a n s f e rc a p a c i t y ) ： ( 3 ) 带宽利用率( b a n dw i d t ha v a i l a b i l i t y ) ： ( 4 ) 瓶颈带宽估计( b o t t l en e c kb a n d w i d t he s t i m a t i o n ) ： 2 、连通性指标 可连通性( c o n n e c t i v i t y ) ：连通性指从a 发出的数据包可以传送到b ： 3 、时效指标 ( 1 ) 单向时延( o n ew a yd e l a y ) ： ( 2 ) 往返时间( r o u n dt r i pt i m e ，简称r t l ) ： ( 3 ) 瞬时分组延时差： 4 、综合指标 ( 1 ) 丢包率( p a c k e tl o s s ) ：数据传送中丢失数据包的比率： ( 2 ) 链路利用率( l i n ku t i l i z a t i o n ) ： ( 3 ) 服务有效性( s e r v i c ea v a li a b il it y ) ： ( 4 ) 网络有效性( n e t w o r ka v a l i a b i l i t y ) ： ( 5 ) 周期流( p e r i o d i cs t r e a m s ) ： 2 3 2 网络流量概述 网络流量( n e t w o r kf l o w ) ：网络流量是指在一定时间内网络中的通信总量 ( 从下网口处收到的消息分组总数) ，它等于通信总量除以时间。消息分组的平均 网络延迟，是指平均起来每个消息分组从上网到下网所需要的时间。 2 4 关于p 2 p 简述 2 4 1p 2 p 技术简介 p 2 p 技术的对等概念是指网络中的物理节点在逻辑上具有相同的地位( 主要 指功能特性对等，并非处理能力的对等) ，p 2 p 弱化了服务器的概念，系统中的各 个节点不再区分服务器和客户端的角色关系，每个节点既可请求服务，也可提供 服务，既可下载其它节点的数据，同时也会向其它节点上传数据。节点之间可以 直接交换资源和服务而不必通过服务器。 对等网络( p 2 p ) 被美国 财富杂志称为改变因特网发展的四大新技术之一， 甚至被认为是无线宽带互联网的未来技术。p 2 p 技术不仅为个人用户提供了前所 未有的自由和便利，同时也试图有效地整合互联网的潜在资源，将基于网页的互 1 6 山东大学硕士学位论文 一! in nn uni i p u pi i _ 联网转变成动态存取、自由交互的海量信息网络。p 2 p 技术的发展以及p 2 p 与网 格技术的结合，将影响整个计算机网络的概念和人们的信息获取模式，真正实现 “网络就是计算机，计算机就是网络一的梦想。作为改变现有i n t e r n e t 应用模 式的主要技术之一，计算机对等网络( p 2 p ) 是目前新一代互联网技术研究的热点 之一。嘲 2 4 2 典型的p 2 p 应用 作为改变现有i n t e r n e t 应用模式的一种技术，p 2 p 网络是目前新一代互联网 技术研究的热点之一，充分利用了分布式结构的技术特性。典型p 2 p 应用主要有： p 2 p 分布式存储系统( 文件共享与下载) ，如k a z a a ，e d o n k e y ，m o r p h e u s ， b i tt o r r e n t 等； p 2 p 计算能力的共享，如美国加州伯克利大学开展的寻找外星生命的研究 计划s e t i 鲰。咐； p 2 p 流媒体技术，如p p l i v e 等i 及时通信( i n s t a n c eh e s s a g e ) ，如s k y p e 等。 另外p 2 p 协同工作环境、p 2 p 应用层组播、p 2 p 搜索技术以及更多新的技术不 断出现，不断得到应用。嗍 2 4 3p 2 p 应用对校园网的影响 p 2 p 应用在校园网内造成了校园网的流量持续处于异常的流量峰值，网络中 有超过7 0 带宽被p 2 p 通信占据着，流量的持续走高，引起了网络拥塞、性能下 降等问题，对校园网产生了根本影响，缓慢的网页浏览和收发邮件速度更引起普 通用户的不满。具体表现有：大量占用校园网带宽，极大地消耗了校园网的出 口带宽； ) p 2 p 占用大量的上行流量，使学校提供对外服务的网站访问速度变慢， 校园网对外服务质量下降，在某种程度上影响了学校的形象；增加网络安全隐 患，p 2 p 应用的穿透防火墙和共享机制容易造成蠕虫病毒迅速传播，自从p 2 p 应用 流行起来，校园网用户上网中毒的机率也大大增加了。【l o 】 2 5 带宽管理简述 2 5 1 网络带宽概念 网络带宽( n e t w o r kb a n d w i d t h ) ：网络带宽是指单位时间里一条网络路径上 1 7 山东大学硕士学位论文 能够传输的数据量。通过网络测量可获得网络的状态，从宏观上掌握网络的流量 分布状况，为科学管理和规划网络、网络优化、流量计费等提供依据。 2 5 2 带宽管理概念 带宽管理，或服务质量( o o s ) 是改善广域网连接流量的各种技术中的通用 术语。带宽管理可确保互联网连接中的最大流量以尽可能有效的方式传输一这 样，数据包就不会丢失或重发。同时也提供了一种可以使重要信息在网络中更快 的传输的办法，使得业务应用的响应更快。 2 6 关于网络流量整形 2 6 1 网络流量整形概述 流量整形( t r a f f i cs h a p i n g ) 中文中也称速率整形、流量控制、传输整形、 流量引导等。流量整形技术与流量修正技术紧密相关，整形和修正都是通过定义 参数来对流量分类，并按这些分类来管理流量。区别在于整形试图缓冲流量，并 尽可能以不丢弃报文的方式传送它们。它是平滑流量或对流量整形。流量修正， 大多数情况下，只是简单地丢弃确定的报文或是设定i p 优先级来发送报文。修 正不会缓冲报文，因此，突发的流量会垄断有限的带宽。整形会试图平滑流量， 并阻止单个的流量垄断带宽。和c a r 一样，可以定义平均位速率、一个正常突发 率和一个异常突发率值。与c a r 不同，流量整形只用在路由器接口的输出流量上。 流量整形允许路由器对某类流量捧队来阻止报文丢失，当流量速率超过所定义的 阈值时也是如此。 2 6 2 网络流量整形的必要性 现在互联网上的信息量越来越大，势必需要更大的带宽满足流量的需求；异 常流量的充斥，消耗了不少的资源，此为罪魁祸首；然而网络带宽是有限的。在 如今p 2 p 、i g ( i n s t a n tm e s s a g i n g ) 盛行的时代，对于局域网的流量管理，其精 髓在于抑制、监测、溯源；而对于骨干网络流量的管理，其精髓在于监测和溯源。 随着信息传播媒体从存储转发形式的消息传递( 电子邮件) 演化为客户端一服务 器形式的批量传递“e b ) ，再演化为富媒体应用形式，互联网上的应用组成总体 上也发生了翻天覆地的变化。伴随着信息传播媒体的逐步演化，运营商对流量优 化的需求不断增加，以便获得更高的用户满意度。 作为网络用户和网络应用越来越多的高校，高校校园网的网络流量整形也变 l l 山东大学硕士学位论文 得越来越重要。为了既为师生用户提供更好的网络服务，又保证关键应用得到满 足，对高校校园网的网络流量进行研究与分析，并采取适合自己学校的相关措施 成为一种必然趋势。 1 9 山东大学硕士学位论文 第三章网络流量探测技术 3 1 网络流量探测技术引入 随着网络技术的蓬勃发展，各种网络应用也越来越丰富，网络流量也急剧增 长，改变了传统网络流量的模型，从而导致网络管理的难度不断增大。网络攻击、 病毒、恶意软件等已成为因特网最大的安全隐患。对网络管理者而言，迫切需要 一种网络管理技术手段。能够对业务流向、应用模式以及异常流量进行系统地分 析，明确了解网络上各种应用的带宽占用情况。分析用户流量行为。了解哪种网 络应用是造成网络瓶颈的原因。不同的用户类型上网的行为特性、产生的流量比 重。并获取大量的原始数据为网络安全分析提供依据，以便合理的规划和分配网 络带宽，有效地保障网络的正常运行。【i i 】 网络流量探测技术的用途在于分析网络的流量，找出网络中潜在的问题，如 果网络运行的不是很理想，报文发送速度慢，我们则可以使用流量探测技术查找 问题的所在。 - 2 】传统的安全解决方案不能定位攻击的来源。只能被动防御。如果 采用n e t f l o w 技术，那么可以很清晰地定位攻击的源地址，目的地址，以及从哪 个路由器的物理接口进来，从哪个物理接口出去。这样可以在物理接口上配置 c l ，适时地切断蠕虫或者d d o s 的流量，进而保护整个网络不受影响。根据采集 的n e t f l o w 数据，可综合进行模式匹配、基线分析等。从而快速定位网络中的异 常行为，达到实施监控，使网络管理员尽快决定网络故障并采取行动。t i f f 聊城大学运用的网络流量探测技术或工具主要有n e t f l o w 、i p f i x 和s t a r v i e w 等。n e t f l o w 和i p f i x 是内置于一些设备中的，但是对它的了解和运用也很重要。 s t a r v i e w 是一款网络管理软件，在网络流量分析方面起到很大的作用。下面几个 小节主要对它们做一下概述。 3 2n e t f i o w 简介 3 2 1m e t f i 坩引入 思科公司的n e t f l o w 技术首先被用于网络设备对数据交换进行加速，并可同 山东大学硕士学位论文 量皇量鼍_ a i m 皇h l i 一一i i 鼍一 步实现对高速转发的i p 数据流进行测量和统计。经过多年的技术演进，n e t f l o w 原来用于数据交换加速的功能已经逐步由网络设备中的专用a s i c 芯片实现。而对 流经网络设备的i p 数据流进行测量和统计的功能也已更加成熟，并成为了当今互 联网领域公认的最主要的流量分析、统计和计费行业标准。n e t f l o w 技术 能对i p 网络的通信流量进行详细的行为模式分析和计量，并提供网络运行的详细 统计数据。在2 0 0 4 年被i e t f 组织从5 个候选方案( r f c 3 9 5 5 ) 中确定为i p f i xo pf l o w i n f o r m a tio ne x p o r t ) 标准。【1 3 】【l 羽【l 司 3 2 2n e t fio w 的应用 通过收集路由器和交换机的n e t f l o w 数据。可以帮助网络管理员查看什么应 用、哪个主机、什么时间占用了带宽；网络流量中是否存在病毒攻击、网络流量 是否超过安全门限；对网络流量统计数据进行全面的分析和存储，并出具自动生 成的标准报告和客户化定制报告，可以让您获得想要的所有数据，从而允许您对 全网性能做出准确判断。这一新技术避免了大量部署和配置监测探针的复杂过程 基于n e t f l o w 的应用，根据其侧重点不同。可以分成多种类型的应用： ( 1 ) 网络流量分析及容量规划 为提高用户对网络的使用满意度，需要及时了解网络的负载状况，正确预测 可能出现的网络瓶颈，适时规划未来的网络升级，这些管理需求都可以通过利用 n e t f l o w 技术对网络进行准确的网络带宽监测和网络流向分析来实现。经过长时 间的数据采集。可以了解整体网络流量和重要应用带宽的占用状况及其变化趋 势。用户的使用模式等信息，可以此为依据规划网络是否需要调整和扩容，最终 实现网络的优化使用。为今后的网络规划和升级改造提供参考依据。 ( 2 ) 流量统计和网络计费 利用n e t f l o w 技术，可以精确统计出客户租用的接入链路上传送各种不同类 型业务的通信流量，包括业务类型，服务等级，通信时间和时长，通信数据量等 参数。这些详细的通信流量统计数据可以被计费和帐务系统进行处理，生成基于 客户业务流量的计费账单。基于n e t f l o w 可实现多种计费方式，如基于流量、不 同的时间段、q o s 、应用类型、自治域计费等。 ( 3 ) 网络监测和安全管理 传统的安全解决方案不能定位攻击的来源，只能被动防御。如果采用n e t f l o w 技术，那么可以很清晰地定位攻击的源地址，目的地址，以及从哪个路由器的物 2 l 山东大学硕士学位论文 理接口进来，从哪个物理接口出去。这样可以在物理接口上配置a c l 。适时地切 断蠕虫或者d d o s 的流量，进而保护整个网络不受影响。根据采集的n e t f l o w 数据， 可综合进行模式匹配、基线分析等。从而快速定位网络中的异常行为，达到实施 监控，使网络管理员尽快决定网络故障并采取行动。【t 3 】【i 】【1 5 】 3 3i p f i x 阐述 i p f i x 作为目前标准化的一种网络流量监控标准，统一了流量监控标准，通 过使用单一的、一致的模型，简化了流输出架构，它为高速网络用户带来价值， 目前此标准逐渐被多个厂家的网络设备所支持。目前中锐捷网络在部分以太网设 备上已经提供了i p f i x 功能，后续也会在网络管理和监控方面提供更加丰富的功 能，以满足网络用户在网络管理、网络规划、网络监控方面的需求。聊城大学的 核心和出口设备大都采用了锐捷网络的产品。 i p f i x 全称为i pf l o wi n f o r m a t i o ne x p o r t ，即i p 数据流信息输出，它是由 i e t f 公布的用于网络中的流信息测量的标准协议。该协议主要在于： 统一i p 数据流的统计、输出标准，这使得网络管理员很容易地提取和查看存 储在这些网络设备中的重要流量统计信息。 输出格式具有较强的可扩展性，因此如果流量监控的要求发生改变，网络管 理员也可通过修改相应配置来实现，不必升级网络设备软件或管理工具。 i p f i x 定义的格式以c i s c on e t f l o wv e r s i o n9 数据输出格式作为基础，可 使i p 流量信息从一个输出器( e x p o r t e r ) 传送到收集器( c o l l e c t o r ) 。因为i p f i x 是一种针对数据流特征分析、基于模板的格式输出的协议，因此具有很强的可扩 展性，对于不同的需求都可以定义不同的数据格式 为了较完整的输出数据，i p f i x 缺省使用网络设备的七个关键域来表示每股 网络流量： 源i p 地址 目的i p 地址 t c p u d p 源端口 t c p u d p 目的端口 三层协议类型 服务类型( t y p e o f - s e r v i c e ) 字节 山东大学礓士学位论文 输入逻辑接口 如果不同的i p 报文中所有的七个关键域都匹配，那么这些i p 报文都将被 视为属于同股流量。通过记录网络中这些流量的特征，如流量持续时问、流量 呻i 报文平均长度等， 我们可咀了解到当前网络的应用情况，并根据这些信息对 网络进行优化，安全检测，流量计费。 i p f i x 主要包括三个设备e x p o r t 、c o l l e c t o r 、a n a l y z e r ，三个设备之间的 关系如下圈所示。 图1 e x p o r t 对网络流进行分析处理，提取符合豢件的流统计信息，并将统计信息 输出给c o l l e c t o r 。 c o l l e c t o r 负责解析e x p o r t 的数据报文，把统计敷据收集到数据库中。可供 a n a l y s e r 进行解析。 a n a l y s e r 从c o l l e c t o r 中提取统计数据。进行后续处理为各种业务提供依 据。以图彤界面的形式显示出来。 3 4s t a r v i _ 介 聊城大学拥有一套网络管理软件s t a r v i e w 。它是聊城大学用来做网络流量探 嗣的一个重要工具。对它的介绍如下： s t a r y i e w 网络管理系统是一套基于w i n d o w s 平台的高度集成、功能完善、实 用性强、方便易用的全中文用户界面的网络级网络管理系统。 山东大学硕士学位论文 s t a r v i e w 管理系统能提供整个网络的拓扑结构，能对以太网络中的任何通 用i p 设备、s n 肿管理型设备进行管理，结合管理设备所支持的s n 肝管理、t e l n e t 管理、w e b 管理、脚o n 管理等构成一个功能齐全的网络管理解决方案，实现从网 络级到设备级的全方位的网络管理。 s t a r v i e w 可以对整个网络上的网络设备进行集中式的配置、监视和控制， 自动检测网络拓扑结构，监视和控制网段和端口，以及进行网络流量的统计和错 误统计，网络设备事件的自动收集和管理等一系列综合而详尽的管理和监测。通 过对网络的全面监控，网络管理员可以重构网络结构，使网络达到最佳效果。n 帕 山东大学硕士学位论文 第四章网络流量分析和管理初探 网络流量分类是众多网络活动的基础，根据具体类型动态识别和分类流量的 能力非常关键，如网络运营商可以找出异常网络流用以减轻恶意行为的影响。【1 7 】 因此对网络流量进行分析和管理就变得非常重要。下面主要以聊城大学为例进行 阐述。 4 1 未启用网络流量整形策略时聊城大学的网络情况 没有启用网络流量整形策略( 下一章会详细介绍) 时，学校网络出口总是充 满，打开个网页就很慢。应用锐捷的s t a r v i e w ，做了一些设置，把各个区域的流 量做了统计，发现学生宿舍区占流量最猛，达到了7 0 的总