（计算机科学与技术专业论文）网络流量探针的关键技术研究.pdf

国防科技大学研究生院学位论文 摘要 网络流量监测是流量计费、网络管理、攻击检测与预警、网络设计等诸多应用的重要 前提之一，网络流量探针为流量监测提供精确、完整的流量数据。 随着网络规模的扩大和链路速度的提高，使用网络流量探针来提供流量监测数据存在 着很多困难，如数据规模庞大、报文到达速度快、统计精度低等。此外，新一代网络管理 系统呈现出面向服务的趋势，网络探针在系统中作为一个提供流量监测服务的端系统提供 流量监测服务。目前存在的网络流量探针种类繁多，但是存在着价格昂贵、不利于服务部 署、特定于具体网络或设备、部署代价大等缺点，因此实现一个处理速度快、实现代价小、 适合服务发布的网络探针具有十分重要的意义。 针对目前流量探针实现存在的问题，本文在深入研究高速网络流量统计技术、网络探 针实现技术以及w s d m 服务实现技术的基础上，对流量探针实现的几个关键技术进行了 研究，提出了一个网络流量探针的实现框架，对探针功能模块进行了详细设计，并提供了 探针流量监测服务详细的部署方案。具体工作如下： 提出了一种探针流量的安全统计方法，该方法解决了复杂环境下流量探针部署节 点的选择和流量统计时存在的信息泄露问题。 提出了一种长流识别及统计算法，该算法能够快速有效地对高速链路中影响网络 最大的长流进行精确的识别和统计。 对流量探针关键功能模块如协议分析模块、流量统计模块、i p 报文地址统计模块、 长流识别及统计模块等进行了设计和实现。 设计了探针流量监测服务的实现方案。详细介绍了服务发布的环境设置、服务发 布的流程、w s d m 服务接口描述等。 设计了探针流量监测服务的总体框架。提出了探针流量监测服务实现的三层架构， 并对探针的服务体系结构进行了介绍。 对探针流量监测服务实现进行了仿真与测试。 主题词：网络管理，流量监测，网络探针，面向服务，w s d m 第i 页 国防科技大学研究生院学位论文 a b s tr a c t n e t w o r kt r a f f i cm o n i t o r i n gi so n eo ft h ei m p o r t a n tp r e r e q u i s i t e so ft r a f f i ca c c o u n t i n g ， n e t w o r km a n a g e m e n t ，a t t a c kd e t e c t i o no ra l a r m ，a n dn e t w o r kd e s i g n n e t w o r kp r o b ep r o v i d e s a c c u r a t e ，i n t e g r a t et r a f f i cf o ri t w i t ht h ee x p a n s i o no fn e t w o r ks i z ea n dt h ei n c r e a s eo ft h el i n ks p e e d ，n e t w o r kp r o b ef a c e s m a n yc h a l l e n g e s ，s u c ha sh u g ed a t as c a l e ，h i g hp a c k e t sa r r i v a ls p e e d ，l o ws t a t i s t i cp r e c i s i o n e t c i na d d i t i o n ，n e x tg e n e r a t i o nn e t w o r km a n a g e m e n ts y s t e mt r e n d st ob es e r v i c eo r i e n t e d ，a n d n e t w o r kp r o b ea sa ne n ds y s t e mo fi tp r o v i d e st r a f f i cm o n i t o r i n gs e r v i c e t h ec a t e g o r yo ft h e e x i s t i n gn e t w o r kp r o b e sc u r r e n t l yi sn u m e r o u s ，b u tm a n yw e a k n e s s e ss u c ha sh i g hs p e n d i n g ， d i f f i c u l tt od e p l o ya n dd e p e n d e n to ns p e c i f i cn e t w o r ko rd e v i c e ss t i l le x i s t s oi ti sg r e a t i m p o r t a n tt oi m p l e m e n tan e t w o r kp r o b ew h i c hc a np r o v i d eh i g h - s p e e dp r o c e s s i n g ，a l s ob ec h e a p a n ds u i t a b l ef o rs e r v i c ei s s u e t os o l v et h ep r o b l e m so ft h ei m p l e m e n t a t i o no fc u r r e n tn e t w o r kt r a f f i cm o n i t o r i n g ，t h i s t h e s i ss t u d i e dt h en e t w o r kt r a f f i cs t a t i s t i c s t e c h n o l o g y ，n e t w o r kp r o b ei m p l e m e n t a t i o n t e c h n o l o g ya n dw s d m s e r v i c ei m p l e m e n t a t i o nt e c h n o l o g y ，f o c u s e do nt h ek e yi m p l e m e n t a t i o n t e c h n o l o g yo fn e t w o r kp r o b e ，a n dt h e np r o p o s e dan e t w o r km o n i t o r i n gs e r v i c ef r a m e w o r k b e s i d e s ，t h et h e s i sd e s i g n e dt h ef u n c t i o nm o d u l e si nd e t a i l ，a n dp r o p o s e dad e p l o ys c h e m eo f n e t w o r km o n i t o r i n gs e r v i c e m o r es p e c i f i c a l l y ，t h i st h e s i si n c l u d e st h ef o l l o w i n gc o n t e n t s ： 【1 】as e c u r en e t w o r kt r a f f i cs t a t i s t i c sm e t h o dw a sp r o p o s e d i ts o l v e dt h ep r o b l e m so fh o w t os e l e c tt h en o d e st od e p l o yt h en e t w o r kp r o b e s ，a n di n f o r m a t i o nl e a k i n ge x i s t i n gi n s e r v i c e o r i e n t e dn e t w o r kt r a f f i cs t a t i s t i c s 2 】al a r g ef l o wi d e n t i f i c a t i o na n ds t a t i s t i c sa l g o r i t h mw a sp r o p o s e d t h ea l g o r i t h mc a l l p r e c i s e l yi d e n t i f y a n da c c o u n tt h e l a r g e f l o w sw h i c hi n f l u e n c et h en e t w o r k p r o m i n e n t l y 【3 】t h ek e ym o d u l e so fp r o b es u c ha sp r o t o c o la n a l y s i sm o d u l e ，t r a f f i ca c c o u n t i n gm o d u l e ， l a r g ef l o wi d e n t i f i c a t i o na n ds t a t i s t i c sm o d u l ew e r ed e s i g n e d 【4 a ni m p l e m e n t a t i o no fp r o b e sn e t w o r km o n i t o r i n gs e r v i c e s ，i n c l u d i n gt h ee n v i r o n m e n t s e t t i n g ，t h ep r o c e s s i n go f s e r v i c ei s s u ea n dt h ei n t e r f a c ed e s c r i p t i o no fw s d m 【5 t h ef r a m e w o r ko ft h ep r o b e sn e t w o r kt r a f f i cm o n i t o r i n gs e r v i c ew a sc o m p o s e d i t i n c l u d e st h et h r e el e v e l so fn e t w o r km o n i t o r i n gs e r v i c ei m p l e m e n t a t i o na n dt h e i n t r o d u c t i o no ft h ep r o b es e r v i c ea r c h i t e c t u r e 【6 】t h en e t w o r km o n i t o r i n gs e r v i c eo ft h ep r o b ew a se v a l u a t e da n dt e s t e d k e y w o r d s ：n e t w o r km a n a g e m e n t ，t r a f f i cm o n i t o r i n g ，n e t w o r kp r o b e ，s e r v i c eo r i e n t e d ，w s d m 第i i 页 国防科技大学研究生院学位论文 表目录 表3 1 算法和目前主流算法的比较2 5 表3 2i p 报文格式2 7 表3 3 探针服务类型定义3 6 表3 4 探针服务接口定义。3 7 表3 5 探针服务管理定义3 8 表3 6 探针服务确认3 9 第1 v 页 国防科技大学研究生院学位论文 图目录 图2 1 综合态势网络管理系统物理结构示意图1 2 图3 1 综合态势管理系统中的探针服务15 图3 2 复杂网络环境下的网络流量探针1 6 图3 3 与外部网络连接的流量统计示意图1 8 图3 4 多级过滤器算法原理【2 2 1 。2 1 图3 5 一种改进的长流识别及统计算法2 2 图3 6 将长流分离后小于阀值的流的误报率【2 2 】2 3 图3 7 数据报头信息处理流程2 6 图3 88 0 2 3 数据帧格式2 7 图3 9 报文地址分析功能模块处理流程2 8 图3 1 0i pc o u n t e r 模块2 8 图3 11 b i t c o u n t e r 模块2 9 图3 1 0 报文协议分布统计模块3 0 图3 13 过滤器模块处理流程31 图3 1 4 基于流i d 哈希压缩改进的多级过滤器算法的流量统计模块3 1 图3 1 5 管理和使用探针的m u w s 、m o w s 以及传统w e b 服务一3 3 图3 16 采用w s d m 规范的探针服务的部署3 3 图3 1 7 探针属性和功能的u m l 刚9 1 3 4 图4 1 流量监测探针服务实现结构4 2 图4 2 w e b 服务管理模型1 9 】4 6 图4 3 探针资源作为w e b 服务进行发布4 7 图5 1 测试环境51 图5 2 流量监测图5 3 图5 3 网络数据报文地址统计5 4 图5 4 报文过滤及端口统计5 4 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目：圆终速量拯鲑鲍差鳇技苤盈究 学位论文储擀：嚣埤吼夕纩。夕年? 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：匿终速量拯鱼鲍差链拉盔盈究 学位论文作者签名： 作者指导教师签名： 日期：加7 年c 1 月77 日 醐：矽肛月7 日 国防科技大学研究生院学位论文 第一章绪论 1 1 课题背景及其意义 近年来随着网络技术的迅速发展，高速网络越来越普及，网络规模也越来越庞大。根 据第二十次中国互联网统计调查结果j ：截止到2 0 0 7 年6 月底，我国上网计算机总数达到 了6 7 1 0 万台，网络出口总带宽达到3 1 2 ，3 4 6 m 。随着对计算机网络的依赖性的加强，网络 管理发挥着越来越重要的作用。准确、合理、及时地进行i p 流量数据的采集和分析，是实 现计费管理、性能管理、故障管理等网络管理功能的前提和基础【2 】。网络流量监测，对于 网络的管理、设计、故障检测和规划等具有重要的作用，包括： 【1 】网络运行维护与异常检测。通过对网络进行长期的流量监测分析，可以发现流量 异常，进行实时告警【3 j 。如可以根据网络流量的异常情况，在网络攻击及蠕虫爆 发前提供预警。 2 】网络流量计费与业务管理【4 】。通过对网络节点的流量进行统计，可以实现网络管 理应用中的流量计费，并且能够根据网络流量中报文类型的分析，获取服务分布 信息，从而优化网络设计。 【3 】网络流量预测与规划设计【5 1 。根据长期的流量采集数据，建立流量模型，预测流 量与业务增长，进行网络容量规划设计，减少网络瓶颈，优化配置网络资源，对 链路进行负载均衡等操作来实现业务与资源的科学部署。 【4 】高效协议开发与网络技术研刭6 。随着电子商务、v o l p 、v o d 等业务的发展，用 户需要网络提供传统i n t e m e t 不能提供的时延、丢包率等q o s 保证，i s p 也需要提 高q o s 保证机制以开展新的增值业务。因此，通过监测网络流量建立流量模型是 高效协议开发和网络技术研究的基础。 网络流量监测主要包括流量数据的采集、精简、存储、传输、分析、应用和发布等环 节。准确有效的获取网络流量和性能数据是网络流量监测的前提，这些都依赖于网络探针。 网络探针也叫数据采集探针，是专门用于获取链路流量数据的软件或硬件设备，是能够获 取网络数据和性能参数的实体。 随着互联网规模的不断扩大和网络监测技术研究的深入，目前市场上存在很多流量监 测工具和网络探针，如c i s c o 公司的n e t f l o w 7 1 、i n m o n 公司的s f l o w 8 】等产品。但是目前 各种主流网络探针具有一定的局限性和使用范围，例如存在部署成本高、监测结果不精确、 处理速度低、特定于具体网络或设备等缺点，不利于作为通用设备广泛应用。 此外，新一代的网络管理系统结构呈现从集中式向分布式发展、从面向数据向面向服 第l 页 国防科技大学研究生院学位论文 务转变的趋势，传统的网络探针采用的集中的数据分析、服务由管理系统提供的方式已经 不能适合网络管理的要求。新型的网络探针需要参与到网络管理行为中，主要体现在探针 具备主动汇报、主动请求、自主管理和对外服务的能力，从而具有更灵活的扩展性。 重点科研项目“综合网络态势管理技术是一种基于w s d m t 刿( w e b 服务分布式管理) 的网络管理技术，大规模网络流量态势分析与处理是其关键子课题之一，需要实现流量监 测服务，因此，设计一种提供w s d m 接口的网络探针对于网络流量信息采集、流量服务 发布、网络管理等具有很重要的意义，本课题正是在以上的背景下完成的。 1 2 课题的研究目标及主要内容 根据“综合网络态势管理技术 的项目要求，确定了本课题的研究目标：在深入研究 当前存在的网络探针实现技术、流量监测技术、w s d m 实现技术的基础上，实现一个提供 流量监测服务的网络探针，使其符合w s d m 规范，并作为一项w e b 服务进行发布，为综 合网络念势管理系统提供流量监测数据。 为实现上述课题目标，本课题的具体研究内容如下： 对当前网络探针实现技术、流量监测技术、w s d m 技术进行了详细的研究。 提出了提供流量监测服务的网络探针的实现框架。根据流量数据的处理流程，设 计了网络探针的三层结构，并详细规划了每层结构的功能模块的作用和功能。 定义了网络流量探针的面向服务的提供方式，并描述了w s d m 接口，使其为综合 网络态势管理系统提供流量信息。 利用已有的设计技术，对探针的底层结构中的关键模块进行了详细的设计，包括 报文分析模块、流量统计模块、地址统计模块等多个关键功能模块。 对探针流量监测服务实现的关键技术进行了研究。主要包括高速网络环境下流量 的快速统计的实现、分布式网络探针的安全流量统计方法、长流识别及统计方法、 采用w s d m 规范的服务发布等关键技术的研究。 对探针流量监测服务的原型系统的实现和服务发布的测试。包括对流量监测服务 的仿真实现、服务的测试及评估等。 1 3 课题来源 本课题来源于国防科技大学计算机学院网络与信息安全研究所6 1 2 教研室重点科研项 目“综合网络态势管理技术”。 第2 页 国防科技大学研究生院学位论文 1 4 课题的研究成果 本文根据目前存在的主要流量监测技术和主流网络探针的实现技术，结合网络流量综 合态势管理的需求，提出了一个采用w s d m 规范的网络流量探针的实现模型，主要内容 包括探针的实现架构设计、主要功能模块设计、w s d m 接口定义。此外，本课题着重对流 量探针的关键技术如复杂网络环境下的流量统计方法、长流识别及统计算法、探针关键功 能模块设计以及探针服务部署、测试和功能实现等进行了深入的研究。 在课题研究期间，本人以第一作者发表了分布式网络流量监测系统的关键技术研 究、一种面向高速流量统计探针的设计与实现，流量探针的报文地址统计模块的 设计与实现等多篇论文。 1 5 论文结构 本文共分五章。各章节的内容概述如下： 第一章为绪论，论述了本课题的研究背景、研究目标以及课题的主要内容，并介绍了 在课题的研究中所取得的研究成果。最后给出了本文的组织结构。 第二章为课题相关技术的研究，主要介绍了目前存在的流量监测技术和算法、网络探 针实现技术的比较和分析、w s d m 相关协议以及采用w s d m 规范的探针作为一项w e b 服务在综合态势管理系统中的应用的介绍。 第三章为探针流量监测服务实现的关键技术研究。内容包括介绍了一种安全流量统计 方法、一种长流识别及统计算法、高速流量探针关键模块的实现以及符合w s d m 规范的 探针流量监测服务的实现方案。 第四章为流量探针的总体设计。包括设计方法介绍、探针总体架构设计、基于w s d m 的服务实现等。 第五章为探针服务的测试和评估。对探针的功能和服务实现分别进行了测试和分析。 第六章是结束语，对本文的工作进行了总结，并对下一步的工作进行了展望。 最后是致谢和参考文献。 第3 页 国防科技大学研究生院学位论文 第二章相关技术的研究 本章主要对目前主流的流量监测技术、探针的实现技术以及w s d m 技术进行介绍。 熟悉这些技术对于流量探针服务的设计与实现具有指导意义：通过对不同的流量监测技术 的比较和分析，在对高速网络环境下的流量进行监测时，能够采用合适的方法来满足对处 理速度、缓存大小等的要求；目前存在的探针实现技术也深刻影响着探针的设计；此外， 采用w s d m 标准作为探针服务的封装、发布以及接口的定义来满足新一代面向服务的管 理系统实现和部署的具体要求。因此，对相关技术进行研究，对于新型网络流量探针的设 计实现具有重要的参考作用。 2 1 流量监测技术与算法 由于网络的高速性和流数量的巨大，使得实时流量监测变得很困难，因此，各种流监 测技术、流监测算法成为了研究热点。目前网络流量监测方法主要有主动监测和被动监测 两种方式【l0 1 。而在网络数据报文采集、统计算法方面，目前使用抽样和哈希技术的流识别 和流统计算法等也取得了很重要的进展。本节将对上述流监测技术和监测算法进行简要 的介绍，并发现各种技术和算法都还存在一定的局限性，在实际的流量监测服务实现中， 需要将不同近似的算法和方法相结合使用。 2 1 1 流量监测技术介绍 2 1 1 1 主动监测 主动监测也叫主动测量，是基于端到端的测量，通过测量设备向被测网络注入一些以 探测网络特征或网络流量负载等信息为目的的探测流，并根据这些探测流在网络中传输时 反映出来的属性来理解被测网络的模型特征参数，如t t l 、时延、丢包率等，进而了解被 测网络目前的运行状态和提供数据传输的能力，以此来作为对被测网络进行流量信息统 计、网络状态获取等应用的指导。 目前i p p m t l 2 1 在这方面作了大量的研究，并在i p 网络性能监测方面建立了一系列的测 度( 如网络连通性测度、单向时延测度、单向丢包测度、环回时间测度等) ，通过测量这 些测度可以反映网络数据传输服务的质量、性能以及可靠性等关键参数。这些测度能被网 络管理者、设计者、终端用户或独立的测试组使用。 2 1 1 2 被动监测 被动监测也叫被动测量，是一种分布式的网络监测技术，它是在被测网络的一些离散 观测点上部署一些以观测网络流为目的的设备或网络组件，并通过对该点的数据流进行收 第4 页 国防科技大学研究生院学位论文 集、分类和提取，然后对纪录数据进行归并和处理。观测点一般位于网络中流量聚合的地 方。被动测量几乎不会对原有网络流量造成影响，测量得到的网络数据能真实反映当前网 络的流量分布特点，因此主要用于测量和分析网络流量分布，大量用于网络流量管理等应 用。 对被动监测研究较多的是原r t f m 1 3 】工作组，当前的i p f i x 1 4 】工作组和p s a m p t l 5 l i 作组。其中r t f m 建立了基于被动监测的实时流量监测体系结构；i p f i x 的目的是从信息 传输、信息分析等方面对目前使用的各种i p 流信息导出系统进行监测，建立起一个标准的 数据模型，使得流记录信息能够以一种标准的方式从被监测设备导出到流信息收集设备， 并保证其安全性和完整性；p s a m p 则主要侧重于报文采样监测技术。 2 1 1 3 监测方式的比较 主动监测和被动监测主要存在如下区别： 【l 】在网络监测领域中针对的监测内容不同。主动监测一般监测网络属性( 如网络单 向时延、环回时间等) ，而被动监测一般监测网络流的特点( 如流的分布、统计 等) 。但是被动监测也可以用于网络属性的监测( 如链路带宽、单向时延等) ， 甚至能取得比主动监测更佳的监测效果。 2 】对网络的影响不同。主动监测需要向被监测网络主动发送监测数据包，因此主动 监测能够监测端到端的性能但是容易增加网络流量，甚至严重影响监测结果。而 被动监测不增加网络流量，不修改网络数据，因此不影响网络的正常使用。 在网络流量快速增长的压力下，如何在高速网络中完整、准确、实时地采集和处理网 络流量数据是流量监测研究的重要课题之一。通常要考虑两个方面的问题：一是在物理链 路上为监测体系提供完整准确的监测数据的可能性，二是监测体系自身要有良好的数据处 理机制。 通过对网络综合态势管理系统的流量处理需求的分析，并结合上述两种监测方式的比 较，高速网络环境下的网络探针应该是基于被动监测的。因此，本课题实现的探针采用被 动监测方式，通过部署在网络关键节点或设备来实现对网络流量信息的采集和分析。 2 1 2 流量监测算法介绍 对网络“流【4 6 】，的特性进行测量和分析，可以掌握网络某节点或链路的流量细节，如 运输协议、应用协议、流量强度情况和用户行为特征等。而采用流概念记录测量结果，通 常可以大大节省存储空间。因此，流量监测算法成为网络监测中一个研究热点。 2 1 2 1 抽样监测算法 第5 页 国防科技大学研究生院学位论文 由于高速网络流量给流量监测带来的困难，使用传统的方式对每个数据报文进行统计 是不现实的，为了减少监测操作带来的资源消耗，目前研究的流量采集、统计算法都是基 于抽样算法实现的。 早期经典的抽样算法包括1 9 9 3 年kc l a f f y 1 6 1 提出的基于时间和基于报文到达次序的 随机抽样分层监测技术；1 9 9 8 年c o z z a n i 17 j 研究的基于报文内容抽样的监测技术。随着 2 5 g b p s 和1 0 g b p s 高速主干网络的普遍使用和网络监测技术研究的深入，抽样监测技术有 了较快的发展。美国a t & t 实验室的n g d u f f i e l d 1 8 j 于2 0 0 1 年提出了t r a j e c t o r y 基于报文 内容的抽样技术。2 0 0 3 年i e t f 成立了报文抽样测量工作组( p s a m p ) 专门研究报文抽样 测量技术。目前抽样检测技术也广泛被应用于网络监测设备中，如c i s c o 的n e t f l o w 1 9 】和 n e t t a n m e t 2 0 1 测量器等。 但是抽样方式存在很多缺点：首先，由于i p 流存在的分布特性，抽样报文需要大量的 资源维护流信息；其次，抽样信息丢失了部分详细信息，带来了统计等应用的不精确性； 此外，大量的抽样信息的存储，需要很大的存储空间。 2 1 2 2 哈希算法 在高速流量监测过程中，为每个数据报文保留流i d 、大小、地址等信息需要消耗大量 的资源，并且在新的数据报文到达时进行流相关信息的查询速度也很慢。哈希算法可以解 决这些问题，但是存在一定的局限性：传统的哈希算法能够满足流的快速查询、减少流i d 的存储空间等要求，但是丢失了i p 流的五元组地址信息；采用b l o o mf i l t e r 2 1j 数据结构的 哈希算法能查询一个流是否存在，但是丢失了流大小的相关信息，并且由于对每个报文都 进行处理，要求的内存速度快，需要用s r a m 实现。 2 1 2 3 流识别算法 长流( 1 a r g ef l o w ) 是那些在网络中持续时间长、发送报文数据多、数据量大、对网络 性能影响最显著的流，因此，对于很多的流量监测应用，只需关注长流。2 0 0 2 年c r i s t i a n e s t a n 2 2 】提出了s a m p l ea n dh o l d 算法和m u l t i s t a g ef i l t e r 算法来对长流进行识别和统计。前 者的基本思想是对报文进行抽样，并对每个报文进行处理，当一个流的一个报文被抽到以 后，在内存的哈希表中建立了该流的大小的计数器，这个流的后续报文都需要更新这个计 数器，直到监测过程结束。其实质是通过抽样来识别流，长流的报文数目多，因此被采样 的概率也大。而后者则是使用改进的b l o o mf i l t e r 算法模块来独立为每个流建立多个哈希 站，每个哈希站都采用独立的哈希函数，当一个流到达时只有所有的哈希站都超过预定义 的阀值时才被识别为长流。此外，t a t s u y am o r i 2 3j 提出的长流识别算法的关键是由抽样流 的报文数来确定一个阀值，该阀值是通过b a y e s 定理在平均错误肯定和错误否定的基础上 计算得到的。 第6 页 国防科技大学研究生院学位论文 上述算法在提高了监测的精度的同时也给监测系统带来了很大的访存方面的压力，因 为这些算法基本都要求内存的速度达到线速。因此，在实现面向流量的网络探针时，需要 在监测精度和处理速度两个方面进行折中。 2 1 2 4 其他算法 由于网络流量监测技术的应用需求不同，还存在对于流分布信息的估计等应用算法， 如d u f f i e l d 2 4 】提出的比例法和e m 法等多种算法；c r i s t i a ne s t a n 提出的统计活动流数目的 一族b i t m a p 算法【2 5 】；a b h i s h e kk u m a r 等2 0 0 4 年提出的建立流哈希映射【2 6 1 ，使用b a y e s 统 计估计流大小分布的算法等。 2 2 网络探针实现技术的介绍 在综合态势管理系统中采用的网络探针是作为一项w e b 服务进行部署的，并采用 w s d m 规范，具有独立于部署环境、实现方式、实现代价低、能够对外提供服务等特点。 本节对目前存在的各种探针实现技术进行了比较和分析后发现，目前存在的探针一般存在 部署成本高、特定于设备、设备接口不统一、不具备w s d m 接口等局限性，因此开发一 种新型的提供w s d m 服务的网络探针具有重要的意义。 目前存在很多类型的网络探针，但是根据探针的实现方式和数据采集方法一般分成如 下几类： 2 2 1s n m p r m o n 探针 s n m p 2 7 1 是基于t c p i p 协议的各种互联网络的管理协议，提供从网络设备收集网络管 理信息的方法，并为设备提供了向网络管理站报告故障和错误的途径。采用s n m p 协议的 探针一般是以软件方式实现的。遵照协议的工作原理，s n m p 探针一般由软件实现的流量 监测系统作为s n m p 的管理者( m a n a g e r ) ，路由器等设备充当s n m p 的代理( a g e n t ) 。 管理者定期向a g e n t 发送s n m p 请求s n m p w a l k ，从a g e n t 获取相关的流量信息。一般而言， 所有的网络设备都提供标准的s n m p 功能，通过m r t g 或专用网管系统可提供固定时长 的流量曲线和重要数据，能够满足一般的端口链路流量监视的要求，但是其功能单一，信 息量少，无法进行流向和组分的详细分析和历史分析。 r m o n 协议硎是对s n m p 标准的扩展，定义了远程监视的标准功能以及远程监控代 理的接口，主要是对一个网段乃至整个网络数据进行采集和测量。其实现主要是通过专用 的r m o n 探针，网络管理员直接从探针获取信息并控制网络设备。 主要厂商和产品有：h po p e n v i e w 、c i s c ow o r k s2 0 0 0 、n o r t e lo p t i v i t y 等。 存在缺点：只能实现简单的网络测量数据的获取，实时流量的分析性能差，不能进行 第7 页 国防科技大学研究生院学位论文 故障分析、不支持历史数据的存储、网络协议解码等功能的实现。 2 2 2n e t f i o w s f i o w 探针 n e t f l o w 是c i s c o 公司开发的专用流交换技术，同时也可用于记录流量统计信息。 n e t f l o w 集成在c i s c o 的各类路由器和交换机内，广泛应用于网络监视、流量计费、设计 规划和故障定位。 s f l o w 2 8 j 也是一种嵌入在路由器或交换机内的基于抽样的流量监测技术。s f l o w 的目标 是实现高速网络中多设备、多端口的基于应用的流量测量。支持n e t f l o w 的有c i s c o 、 j u n i p e r 、e x t r e m e 等；支持s f l o w 的有f o u n d r y 、i n m o n 等厂商。 主要产品有c i s c of l o wc o l l e c t o r 、a r b o rp e a k f l o w 、c a i d ac f o w d 、f l o w s c a n 、g e n i en t g 盘占 寸。 存在缺点：特定于厂商的设备，部署复杂，价格昂贵，实时性较差等。 2 2 3 数据采集探针 数据采集探针是专门用于获取网络链路流量数据的硬件设备。硬件架构的数据采集探 针是为了流量监测目的的专门设计的技术方案，能够做到高速端口的线速流量采集，提供 对g e 甚至2 5 gp o s 链路的支持。 主要的厂商和产品有n e t s c o u tp r o b e 、s n i f f e r 硬件探针。 存在缺点：特定于具体的网络的实现，费用较高，部署复杂。 2 2 4 协议分析仪表 协议分析仪表对网络流量的全部数据进行短时的实时采集。具有强大的协议解析能 力，能够提供非常详细的协议和信令交互分析，广泛地应用于网络调试诊断、故障定位和 内容分析。适用于1 0 0 m b i f f s 以下链路。 主要代表厂商有n a is n i f f e r 、a g i l e n t 、f l u k e 、a r k r i s t u 等。 存在的缺点：仅支持低速网络的实时数据的获取，不支持数据流，价格昂贵。 2 3w s d m 技术介绍 w e b 服务分布式管t 里( w s d m ，w e bs e r v i c e sd i s t r i b u t e dm a n a g e m e n t ) 是一种技术规范， 定义了用于管理网络资源( 如探针、路由器和服务) 和w e b 服务( 用于支持网络功能) 的 系统的方法、结构和规范。此外，还可以使用w s d m 管理支持业务应用程序的w e b 服务。 第8 页 国防科技大学研究生院学位论文 本质上，w s d m 是一个用于描述特定设备、应用程序或者组件的管理信息和功能的标准， 其能够在整个环境中应用一个共同管理界面，允许不同厂商的管理软件更加轻松地实现相 互操作，同时实现端到端的管理，甚至跨企业管理。w s d m 为使用w e b 服务来建立管理 应用奠定了基础，还能提供一系列设备来管理资源。 2 3 1w s d m 的应用背景 w s d m 标准是o a s i s ( 结构化信息标准促进组织标准机构) 在2 0 0 6 年为了解决业务 系统管理的复杂性问题而批准的，它通过使用那些用于定义管理工具和接口( 这些管理工 具和接口可以与w e b 服务结合使用) 的开放标准来提供对服务的功能性需求。 w s d m 允许来自不同开发商的管理软件更容易地进行互操作，能够进行端到端甚至是 交叉式的企业管理。w s d m 提供了在i t 环境下对资源的特性进行识别、检查以及修改的 标准。管理应用程序可以利用它们的传递功能，并且可以增大管理软件能够取址的资源数 目和类型。w s d m 还提供了能够以标准的方式使用w e b 服务显示管理接口的能力，而不 管内部的测试设备如何操作。任何管理开发商都可以使用这些w e b 服务接口，这样就减少 了许多所需的自定义支持。 因为w s d m 基于开放标准，所以企业开发的w e b 服务客户机都能够用于支持特定功 能领域的w e b 服务。在网络管理中，w s d m 提供了对不同网络设备的管理和使用的一个 开放的标准，存在如下优点【1 9 j ： 由于w s d m 的实现，客户将能够更加容易管理他们网络中的设备、系统和服务。 可以使用一个管理应用程序来管理和监视同构或异构网络中的所有系统。 i s v 将能够开发支持用户所需的管理流程的软件。因为可以跨网络中的组件和系 统使用w s d m 标准，所以开发管理应用程序将是一件十分简单的事情，即应用 w s d m 标准和使用符合w s d m 标准的系统所发布的资源。 制造商也会从中受益，因为它将简化出于管理目的而向外部公开他们的设备和系 统的过程。许多公司，尤其是o e m ，每年花费数百万美金来开发软件，以便使用 户和管理员能够连接到他们的产品。通过使用w s d m ，他们可以简化外部接口， 从而为他们自己和客户带来更大的便利。 2 3 _ 2w s d m 的主要内容 w s d m 的基础就是w s d l 和x s ds c h e m a 的结合，所有的描述都是通过w e b 服务描 述语言( w s d l ，w e bs e r v i c e sd e s c r i p t i o nl a n g u a g e ) 进行的，后者定义了与特定资源通信 以及定义关于特定资源的信息的方法。通过解析w s d l 和w s d ms c h e m a 来确定如何管理 第9 页 国防科技大学研究生院学位论文 不同的资源。w s d m 事件是用于传递关于资源状态以及状念改变的信息的机制。 w s d m 标准实际上是由两个不同的标准组成的： 【1 1 使用w e b 服务的管理( w s d m - m u w s ，m a n a g e m e n tu s i n gw e bs e r v i c e s ) 2 】w e b 服务的管理( w s d m - m o w s ，m a n a g e m e n to fw e bs e r v i c e s ) 2 3 2 1w s d m m u w s w s d m m u w s 定义了服务资源基本体系结构的概念及所需的组件，提供了如何表示 和访问m u w s 资源的接口定义。例如，m u w s 标准提供了用于公布服务、服务功能所必 需的结构、以及管理资源所需要提供和接收的信息。 w s d m m u w s 系统依赖于一组定义好的属性、操作、事件、元数据以及其他组件来 支持特定的管理任务。可管理性功能定义了这些信息，可以将其看作支持这些信息的w e b 服务的内部工作的接口。本质上，每种可管理性功能都是指向特定能力的标记。可管理性 功能的作用是列出资源的可用操作，以便管理软件可以获得可用操作列表。整个功能列表 是资源功能的内容页面。功能是使用x m l 定义的，并且可能共用相似的属性。在m u w s 标准中定义的标准功能设计用末定义特定的功能或者操作。 m u w s 标准主要包括下列功能的定义： 标识资源的标识 描述定义了标题、描述和版本信息的列表，用于提供资源的可读标识 可管理特征描述了管理这个组件的接口的属性 度量定义了如何表示和访问关于特定属性的信息 配置定义了如何更改资源的配置 状态定义了如何更改资源的状态 操作状况定义了资源的状况级别。m u w s 规范包括三种基本的状态( 可用、 不可用和未知) 2 3 2 2w s d m m o w s w s d m m o w s 规范是w s d m m u w s 的扩展，它定义了如何管理w e b 服务。因为 w e b 服务本质上就是分布式网络中的另一种资源，所以应该能够通过相同w s d m 系统以 及相同w e b 服务样式接口来控制和管理。使用m o w s 为管理服务配置与w e b 服务本身一 样的基本参数。当考虑非基于设备的( n o n d e v i c e b a s e d ) j 匣务时，m o w s 可以通过w e b 服务 将业务功能和管理功能结合在一起。从管理的角度来看，不仅需要发布由系统提供的w e b 第1 0 页 国防科技大学研究