大规模计算机互联网络性能监控模型的设计与实现

1、第37卷第4期2000年4月计算机研究与发展JOU RNAL O F COM PU T ER R ESEA RCH &D EV ELO PM EN T V o l 137,N o 14A p r .2000 原稿收到日期:1999207212;修改稿收到日期:1999211208.本课题得到“九五”国家重点科技项目(项目编号962743201201基金资助.王继龙,男,1973年生,博士研究生,主要研究方向为Internet 运行监控.吴建平,男,1953年生,教授,博士生导师,主要研究方向为网络监控、网络安全、协议测试、路由器设计等.大规模计算机互联网络性能监控模型的设计与实现王继龙

2、吴建平(清华大学中国教育科研网中心北京100084摘要当前,对于Internet 性能监控的研究正面临诸多挑战.国际上有许多针对性能监控问题的研究项目.这些研究成果都得到了广泛的应用.然而,在性能监控工作中仍然存在许多悬而未决的关键问题.针对性能监控系统设计中的体系结构问题给出了一个参考模型.通过对现有研究成果的综述,在借鉴现有体系结构模型思想的基础上进行拓展,设计了能够全面指导大型计算机互联网络性能监控的4层体系结构模型,并以CERN ET 运行性能管理系统为背景分析了模型的实现要点和应用实例.最后分析了该模型的主要特色.关键词因特网,性能监控,模型,体系结构中图法分类号T P 393AN

3、INTERNET PERFOR M ANCE MON IT OR INGMOD EL :D ESIGN AND I M PL E M ENTAT I ONW AN G J i 2L ong and W U J ian 2P ing(CERN E T N a tiona l N et w ork Cen ter ,T sing hua U n iversity ,B eij ing 100084Abstract T he field of In ternet m on ito ring is facing eno r m ou s challenges .B eing unab le to ex

4、p lain o r fu lly understand the phenom enon resu lting from netw o rk changes li m its the ab ility to con tinue scaling the In ternet and under m ine attem p ts to i m p rove its robu stness .Several research effo rts are tack ling th is p rob lem ,no tab ly In ternet Su rveyo r p ro ject ,NLAN R

5、AM P p ro ject ,and so on .A lthough all these w o rk s have p roved their app licab ility in m any cases ,there are still a num ber of p rob lem s to be con sidered .T h is paper addresses and discu sses a m odel fo r netw o rk perfo r m ance m on ito ring ,w h ich is adop ted in the m anagem en t

6、of Ch ina Educati onal &R esearch N etw o rk ,a nati onal w ide info r m ati on netw o rk of Ch ina .Cu rren t state 2of 2the 2art of the In ternet perfo r m ance m on ito ring is in troduced first ,w h ich greatly help s to fo r m u late the set of goals and requ irem en ts that a large 2scale

7、perfo r m ance m on ito ring m u st m eet .T hen an arch itectu re m odel so lu ti on to system atize the i m p lem en tati on of In ternet m on ito ring is given .Som e key po in ts abou t how to ach ieve the m odel are discu ssed together w ith exam p les of the app licati on s of the m odel in CE

8、RN ET s p erfo r m ance m on ito ring .F inally ,it is deduced that the m odel has great advan tages and is su itab le to direct the m on ito ring w o rk s of In ternet .Key words In ternet ,perfo r m ance m on ito r ,m odel ,arch itectu re1引言大规模计算机互联网络指拥有广域骨干网和大量接入网的大型计算机信息网络.这样的网络通常跨地区甚至跨国家,肩负重要的科

9、研教育或商业通信任务.因此,大规模计算机互联网络的运行性能管理一直备受人们关注,成为网络管理研究领域的一个热点.当前,在大规模网络性能监控的研究中存在两个主要障碍.(1“无网可管”即缺乏测试平台和试验床.网络管理是一个实践性相当强的课题,仅通过模拟或形式化的分析方法很难反应现实的网络行为.由于一般的研究机构难以拥有大规模的网络环境, 一直研究任务主要由网络运营机构承担,因此研究力量相对薄弱;(2缺乏体系结构上的指导.由于没有一个宏观的体系结构模型,使得性能监控无法在基础技术研究、产品功能设计和系统设计之间实现和谐统一.本文以CERN ET先进的网络环境为背景,针对实际应用中对体系结构模型的迫切

10、需求,设计了一个性能监控参考模型.文章通过对现有体系结构标准和相关研究成果的综述,在借鉴现有体系结构模型思想的基础上进行拓展,设计了能够全面指导大型计算机互联网络性能监控的4层体系结构模型,并以CERN ET 运行性能管理系统为背景分析了模型的实现要点和应用实例.最后分析了该模型的主要特色.2体系结构模型研究的现状分析网络管理这一学科领域从80年代起逐渐受到重视,许多国际组织先后开发了各类标准、协议来指导网络管理功能和网络管理系统的设计.这些标准都各自适用于一定的场合,也都存在各自的局限性.尤其是来自不同组织的标准之间存在很大的差异,为工程实践带来很大不便.造成这种状况的主要原因是人们在网络管

11、理体系结构的理念上没有达成共识.2.1体系结构及标准涉及网络体系结构及标准定义的国际组织有许多,最重要的3个是ISO,ITU和IET F.除以上3个知名的国际组织,还有其它一些研究机构也为网管标准的开发作出了贡献,如IEEE,NM F,RA CE等.只不过它们的影响相对较弱.(1ISO(T he In ternati onal O rgan izati on fo r Standardizati onISO是在网络管理标准制定中起步最早的一个.制定了“O S IM anagem en t F ram ew o rk”,“O S I System s M anagem en t O vervie

12、w”,“Comm oa M anagem en t Info r m ati on P ro toco l(C M IP”.提出了五大能划分的思想FCA PS.ISO对性能监控如下定义:性能监控是为了优化Q oS(quality of service.为了获知网络性能的变化,必须随机或定时记录收集统计数据.收集的数据记录不仅用于性能的管理,还可用在故障管理中检测故障;用在配置管理中决策需要怎样的配置调整;用在计费管理中调节帐单.ISO定义了3种途经来交换管理信息:系统管理、应用管理、层管理.在ISO O S I参考模型中,系统管理有两个属性:对O S I结构中所有层次的资源及其状态的管理;系统

13、管理协议位于应用层.第1个属性定义被管对象,第2个属性解释如何交换管理信息1,2.在O S I参考模型中,层管理具有下列属性:由(N一层管理来支持(N一层被管对象的监视、控制;(N一层的协议实现由(N-1和更低层来支持;ISO对网络管理体系结构的定义违背了分层原则.允许应用层实体直接操作底层.此外,ISO的体系结构实现效率较低,当前还不适用于In ternet的网络管理.(2ITU的(T分部(T elecomm un icati on Standardizati on Secto r of In ternati onal T elecomm un icati on U n i on的立足点是数

14、据通信网络.电信网络管理的标准则主要由制定.从1985年起开始电信网444计算机研究与发展2000年管的标准化工作,颁布了“T elecomm un icati on M anagem en t N etw o rk ”参考模型.TM N 的概念由M 3010建议定义3.根椐M 3010,TM N 是一个独立的网络,与电信网络在不同的访问点上存在接口.TM N 参考模型最初与O S I 是相对独立的,但从19881992年,TM N 修订中加入了O S I 的思想,因此如今可以说O S I 与TM N 互为补充.(3IET F仔细思索一下我们会发现,在网管协议和技术的开发中,90年代In te

15、rnet 的成长起到了关键作用.起初I AB (In ternet A rch itectu re Board 试图采纳O S I 的管理方案,但当时In ternet 的规模增长使得对管理的需求非常紧迫,而O S I 管理组正忙于讨论O S I 管理框架.由于不可能在短期内实现O S I 管理,I 要求IET F 制定一个暂时的标准.IET F 在一年以后完成了SNM P .之后各厂商开始开发兼容SNM P 的产品.虽然SNM P 在许多方面表现出低效,它已成为网络管理信息交换事实上的工业标准.IET F 没有提供完整的网络管理体系结构的标准, IET F 主要致力于网管协议和M I B 的

16、开发.SNM P 的体系结构如图1所示.图1SNM P 的体系结构其中,C 2M I B 中定义控制变量,I 2M I B 中包含信息变量.(4IEEE众所周知,IEEE 制定了LAN 和W AN 的标准(IEEE 802.这些标准中也对LAN 和W AN 的管理给出了定义.如:IEEE 802.1B LAN W AN M anagem en t ,IEEE 802.1E System L oad P ro toco l ,IEEE 802.1F Comm on D efin iti on s and P rocedu res fo r IEEE 802M anagem en t Info r

17、 m ati on .IEEE 的标准基于ISO 的C M IP ,不同之处在于ISO 的网管协议应用于第7层而IEEE 的C M OL (Comm on M anagem en t O ver LL C 应用于数据链路层.因此它的明显缺陷是无法管理路由器另外一端设备.(路由器位于第3层.C M OL 比较适用于I BM 的组网方案(I BM 的互联策略是“sou rce 2rou ting b ridges ”,可避免使用路由器.(5NM FO S I N etw o rk M anagem en t Fo rum 创建于1988年,目的是促进O S I 和CC IT T 管理标准4,5的开

18、发和实现.这是一个由厂商、公司和科研机构组成的非赢利组织.NM F 也涉及其它来源的管理标准:IET F 的SNM P ,O SF (Op en Softw are Foundati on 的DM E 6,X Open 的“M anagem en t P ro toco l A P I ”(XM P 和“O S I A b stract D ata M an i p u lati on A P I ”(XOM ,OM G (Op en M anagem en t Group 的“Comm on O b jectR equest B roker A rch itectu re ”(CORBA .

19、为了协调工作,NM Fo rum 制订了OM N IPo in t (Op en M anagem en t In teroperab ility Po in t 计划.它由一系列标准、标准的实现说明、标准的测试方法及工具对象库构成,目的是开发具有互操作性的系统及应用7,8.(6RA CERA CE 是欧共体为促进欧州先进通信技术的发展而设立的.RA CE 的目标是在1995年前向欧共体引入I BC (In tegrated B roadband Comm un icati on .为实现这一目标,BA CE 设立了上百个不同的工程,不同工程都针对了I BC 的某些方面,有些甚至涉及了I BC

20、 的所有领域.BA CE 受电信工业及运营工司的控制,因此的研究基于和的工作.5444期王继龙等:大规模计算机互联网络性能监控模型的设计与实现结论:通过以上分析我们看到,当前主要的网管标准和协议都源于ISO 的思想和定义.ISO 主要开发概念性的标准,由于ISO O S I 网络体系结构标准没有相应的物理实现,基于O S I 的网络管理体系结构只能作为开发实用体系结构的参考.ITU 主要针对电信网络开发标准,对于计算机网络的管理,ITU 标准中有许多思想可资借鉴,但却无法作为完整的体系结构解决方案.IET F 是SNM P 的缔造者,SNM P 规定了管理信息交换的体系结构和标准,但是相对于整

21、个网络性能监控体系结构而言,SNM P 仅仅定义了底层标准,因而也是不完整的.除此之外,其它一些标准规范也都各自针对一些局部问题.缺乏透视全局的指导标准,是当前网络性能管理研究偏向于一隅的主要原因.2.2性能监控研究的新进展In ternet 本身的迅速发展给性能监控带来许多新的挑战9.目前,国际上有许多针对性能监控问题的研究项目,主要包括第二代In ternet 计划中的Su rveyo r 工程10、N SF 资助的AM P 工程和N I M I 工程11、W indm ill 工程12等.这些研究项目都着眼于In ternet 应用的未来发展,即对高速率和高服务质量的强调.研究主要集中于

22、两个方面:主动式性能监控和被动式性能监控.主动式性能监控研究端到端的性能测量和分析优化,主要成果有Su rveyo r 软件系统,可以监测端到端的单程延迟.被动式性能监控即流量分析,主要成果有Co ral OCXm on 13监测平台.虽然近年来学术界和工业界在性能监控研究方面取得了丰硕的成果,生产了丰富的工具软件14,我们仍然可以看到许多显著的问题.如一直以来人们的注意力很少放在对性能监控的系统性研究上,因而尽管在许多具体技术上有较好的解决方案,却不能有效的组织和协作,从而在整体上发挥应有的效力.解决这一问题的愿望正是我们设计L IPM 模型的主要动力.3L IP M 模型概述L IPM (

23、large scale In ternet p erfo r m ance m on ito r m odel 模型是网络性能监控的一个整体解决方案.它借鉴了ISO 的层次结构思想,融汇了TM N 在对象管理方面的方法,补充了当前各类体系结构方案所不具备的关于数据分析和数据表示功能的定义.如图2所示,L IPM 分为4个层次,分别为数据采集层、数据管理层、数据分析层和数据表示层.各个层次核心线索是数据.其功能定义如以下各节所述 .图2模型示意图3.1数据采集层数据采集功能包括主动式数据采集和被动式数据采集.主动式数据采集直接针对特定的性能问题,目的性很强.如通过追踪数据包来了解路由状况;通过收

24、发I C M P 包来测算端到端的延迟.被动式数据采集监听网络流量.监听功能通过软件或硬件探针来实现.被动式数据采集积累大量的网络644计算机研究与发展2000年流量数据,通过对这些数据的分析,可以了解各个时段内网络的运行效率.如:带宽利用率;网管信息对带宽的消耗;垃圾流量的大小;路由信息量;ftp ,www ,em ail 等各类应用在通信量上的比例关系.3.2数据管理层数据管理功能包括基本数据管理和事件管理.基本数据管理功能包括数据的存储管理和数据的格式化.性能监控信息的数据量非常之大,以被动式数据采集为例,网络的流量信息是每秒递增的,因此对数据存储管理提出较高的要求.数据格式化的主要目的

25、是便于数据分析,同时对数据进行一定程度的压缩.事件管理的功能是根据预先的定义和当前采集到的数据生成性能事件.提供事件管理机制的主要目的是提高对一些严重性能问题的反应的实时性.数据采集、管理与数据分析之间是一种松耦合关系,数据分析功能的执行通常由人员控制,或者通过定时机制周期性地进行.由此产生了一个问题,即从性能问题发生到得到处理要经过一段延迟,对于一些严重的性能问题而言,这个延迟可能是无法接受的.事件机制可以主动发现和提交问题,因而弥补了这一弱点.3.3数据分析层数据分析包括两层含义,一是对基础数据的分析,二是对事件的分析.基础数据分析包括3方面功能:基本统计功能.如按线路、路由器端口、网络或

26、自治域统计流量,按应用类型统计流量分布;性能趋势预测.按照一些数学模型,如时间序列预测、回归分析、概率预测、判断预测技术.最优分割预测,判断分析预测等,对基础数据做进一步加工处理,作为网络规划的参考;数据关联分析.利用数据挖掘技术对基础数据进行旋转、关联,发现潜在的问题.事件分析主要根据特定的原则进行事件过滤,并决策适当的处理方式.事件按紧急程度划分为不同的优先级,优先级高的事件优先响应.对于由同一问题引发的连锁事件,应尽量归并.对于不同来源的事件应尽量关联.3.4数据表示层数据表示层的功能是提交性能监控的结果,包括数据分析结果和事件处理结果.数据分析结果有两种提交形式:统计报表和可视化.其中

27、可视化的结果相对而言是一种更加直观的形式,它将符号转换成几何,使研究者能观察到他们的研究工作.它变不可见为可见,丰富了科学发现的途径,给予人们意想不到的启示.事件处理结果视具体情况可以有3种方式:告警、分发和日志.告警方式主要适用于特别紧急,需要马上处理的事件.告警手段可以是在值班人员的终端上弹出告警窗口、发出警铃声、自动寻呼等.分发方式针对于一些与其它管理域相关的事件.如与失效管理或配置管理相关的事件.在此,管理域指网络管理的五大功能,即性能管理、失效管理、配置管理、计费管理、安全管理.日志方式适合于优先级较低的事件,对这些事件可以不必立即处理,而是以故障卡片的形式保存起来,网络管理人员任何

28、时刻都可以通过查询故障卡片来了解有哪些事件尚未处理.4L IP M 模型的实现要点及应用实例以下各小节按数据采集、数据管理、数据分析和数据表示4个方面来概括L IPM 模型的实现要点,用单独一节来描述基于事件驱动的性能监控.同时,以CERN ET 性能管理工程的实践为背景,介绍L IPM 模型的实际应用情况.4.1数据采集数据采集是实现性能监控的前提.数据采集的两个要素是数据采集方案的选择和数据采集系统的结构设计.4.1.1数据采集方案数据采集方案通常有以下几类:(1基于SNM P 协议的数据采集是为管理设计的信息交换协议.由一系列15,16文档定义.SNM P 协议简单7444期王继龙等:大

29、规模计算机互联网络性能监控模型的设计与实现而易于实现,以UD P数据包在管理者与被管对象间传递数据,是目前使用最广的网管协议,许多优秀的商品化网管软件都基于SNM P来设计,如H P的OpenV iew,T ri o l的N etV iew.标准SNM P协议的缺点是处理结构化数据的能力较弱,对协议分析和流量分析所需的详细数据无能为力.但SNM P是一个不断发展完善的网络管理标准,投入应用的SNM P协议已经有两个版本:SNM Pv1和SNM Pv2.SNM Pv2在功能上较SNM Pv1有较大改进.IET F目前正在制定新的SNM P版本SNM Pv317.SNM Pv3的目标是进一步增强管

30、理的范围而同时保持配置和实现的简易性.由于受到众多网络设备厂商的支持,SNM P成为网络管理事实上的工业标准.几乎所有智能网络设备都可以通过SNM P来管理.(2基于SNM P2RM ON的数据采集RM ON其实是一种特殊的SNM P M I B.M I B(m anagem en t info r m ati on base是SNM P中的一个重要概念.它描述被管设备所能提供的管理信息.不同的网络设备往往都声明了各自独特的M I B定义.标准的SNM P M I B通常只支持对网络设备的一般性管理,RM ON则定义了从网络体系结构的各个层次来管理一个网络所需要的信息.通过访问RM ON设备,

31、我们可以获得更多的网络管理信息.(3基于代理软件(agen t代理软件是运行在被管设备上收集数据的一类特殊软件.网管系统通过与代理软件的交互获取需要的设备状态数据.事实上,网络设备上的SNM P实现就是代理软件,只不过它由设备厂商来实现,支持一般性的网管任务.理想的情况下,代理软件应可以由除设备厂商外的第3方来实现,可以动态下载到网络设备上执行特殊的网管任务.这是“主动式网络(active netw o rk”研究的领域之一.(4其他网管协议理论上,除SNM P外,还可以基于C M IP,HMM P等网管协议来设计数据采集系统.但这样的方案在当前而言并不可行.不是技术上的原因,而是绝大多数网络

32、设备只支持SNM P协议.这是由历史决定的事实.(5特殊方法以上方案无论优劣,都有标准可依,有理论可循.然而,在一些特殊场合下,尤其在这些“标准”的方法不能奏效时,往往需要“非常之举”.例如,监视主干网络的详细流量几乎是一个必然的需求,具体的解决方案也很多,但是任何一个方案,如果需要主干网络路由器的支持,就会带来性能上的问题.因为支持网管功能就意味着要消耗设备的宝贵资源(CPU、内存.而各类“标准”方法无一例外地要实现在网络设备上.因此,负载已经很重的前提下,就要采取“非常”方法.如用1台工作站来监听数据流.上述方案各具特色,但在实现上或能力上都有各自的局限性.如“方案1”是目前应用最广的形式

33、,一般的网络设备都可以支持SNM P数据交换,实现上也较为简单,但收集数据的能力较弱,提供的信息不够详尽,对协议分析和应用分析支持不足,在管理大型网络时会遇到麻烦.“方案2”利用了RM ON技术弥补了“方案1”在功能上的一些不足,但要求额外的支持,许多网络设备并不支持RM ON,更新设备或购置专用RM ON监测器是否可行决定了“方案2”的价值;“方案3”功能极强,同时也要求被管设备具有下载并执行代理程序的能力,或在被管设备同一网段上的Server上运行代理程序,因此适用范围受到限制;“方案4”的问题也受到应用范围的限制,近年来人们为了弥补SNM P的功能缺陷,定义了C M IP,HMM P等协

34、议,由于这些协议在实现效率上不高,目前没有受到广泛支持.“方案5”则是一种场合手段,过多使用会影响系统的开放性和互操作性.因此在具体的数据采集方案选择上,不应拘泥于既有的方案,而是采用灵活多变的策略.CERN ET网络性能监控系统在数据采集手段上,以SNM P A P I为主,同时也灵活运用了p ing,telnet, T cl T k expect,fp ing等工具收集,诸如响应时间、包丢失率、可连接性、可达性等SNM P力所不及的信息. 4.1.2数据采集系统的设计数据采集系统的设计是一个软件工程问题,主要难点在于:(1不同的性能监测目的要求不同的数据采集能力,难于找出一种手段来满足所有

35、的需求;(2数据采集系统作为一个整体要向上提供统一一致的访问接口;(3数据采集的频度要满足性能分析的需要,同时要尽量减少给被管设备带来的负担和对网络资源的消耗.不难看出,其中前两点恰好构成一对矛盾.如何解决这一矛盾是系统设计成功与否的关键.CERN ET网络性能监控系统处理这一系列问题的策略是采用了面向对象的系统设计方法.面向对象技术具有多态性和封装性,可以有效解决这些问题.对于每个被管设备或资源,定义一个对象,称为被管对象.由被管对象代理所有对被管设备或资源的访问.如图3所示. 图3面向对象的数据采集系统设计为了构造被管对象,定义了“被管对象类”.“被管对象类”是性能指标及其访问方法的集合.

36、利用被管对象隐藏了对具体设备的访问.然而被管对象并不是“被管对象类”直接派生的实例.这是因为评价不同设备或资源所需的性能指标不同,例如,对于令牌环网评价其冲突率是没有意义的.此外,对不同设备或资源所采取的数据采集方法也可能不同.因此,把“被管对象类”定义为虚类,对于不同类型的被管设备或资源,派生其子类.所以被管对象是“被管对象类”子类的实例.在数据采集频度的处理上,把数据采集任务按需求特点分为前台数据采集和后台数据采集.分别服务于随机的实时监测请求和预先定义的大规模数据采集任务.对于前台数据采集任务,当启动一个实时监测程序时执行前台数据采集动作,如实时流量监测.一般而言其涉及的被管对象较少,被

37、管对象在程序启动时指定,数据采集的目的是为了考察一个或几个网络设备的状态.对于后台数据采集任务,由一个专用deam on程序自动完成.定时收集大量网络设备的信息.被管设备由管理者预先向系统注册.4.2数据管理性能数据的存储和管理所面临的主要问题是:(1巨量数据的存储和维护;(2高性能的数据检索和分析处理.为了实现性能分析,需要存储大量的网络运行状态数据.一般的方法是采用数据库技术.利用数据库系统可以较好地解决大量数据的维护问题,却无法克服数据快速增长所带来的检索性能下降和存储空间危机.CERN ET网络性能监控系统采用多级缓存和压缩技术较好地解决了这一难题.数据的存储有基于文件和基于数据库两种

38、方式.采用基于文件的方式可以获得较高的存储效率和存取数据的速度,对于中小规模数据要求的应用是合适的.但由于在数据文件中不利于表示数据之间的关系及复杂的结构,难以实现对数据的完整性控制,因而不利于数据规模大、类型混杂的应用程序实现.主要表现在数据的增、删、改和查询等方面低效,维护困难,需自行开发数据维护工具.此外,专用格式的数据文件不利于数据共享和采用第3方数据处理工具.采用基于数据库的存储方式有许多优点,首先,有成熟的技术,各种数据库系统都提供了数据库操作、维护的工具,使用方便,可靠性强,使得许多在文件系统中需要开发人员完成的工作,都可由数据库系统高效地实现,极大减轻了开发人员的工作量;其二,

39、有利于数据共享,数据库系统提供了标准的SQL语言屏蔽了数据存储的具体方式,使得不同应用软件可以用相同的A P I存取同一组数据,且可保证数据的一致性.数据库存取方案的不足之处在于数据存储的速度方面,频繁的数据库操作将影响系统的性能.通过以上分析,我们设计存储策略时,针对具体应用的性质,综合考虑效率、性能等因素,灵活选择或综合运用不同策略:对小应用程序临时使用的数据,如实时流量数据,存放于二进制数据文件中;对类似于历史数据这样需要保留的大规模数据,则求助于数据库系统.但创建一个二进制数据文件作为存储缓冲,从数据文件到数据库的转换定期批量进行,以缓解数据库操作的低效性对网管服务器性能的影响;进行必

40、要的数据压缩处理.对数据按不同的时间段进行压缩,同时计算出一些基本的性能指标.数据压缩的主要依据是:当按不同的时间间隔考察性能发展趋势时,所需数据采样的粒度不同,例如我们需要至少5m in的数据采样来画出一天的性能走势图,而对于一周,我们则只需要30m in的采样就足够了.数据预处理的实现正是基于这一事实.为了更加客观反映网络性能,每一个数据采样取了该段时间所有数据的平均值,而不是采样一个点的数据.在数据压缩的同时,计算出极值、平均值等性能指标更加提高了系统效率.通过数据预处理,使系统的平均响应速度和效率提高了至少1个数量级:(1+6+24+288 4=80倍.在此强调的一个问题是对稀疏(sp

41、arse类型数据的特殊处理.稀疏类型的数据主要指误码率这样的数据,这些数据的值在通常情况下(无故障均为零,因此,对于稀疏数据类型,如果只记录少数的非零值将极大提高数据管理的效率.4.3数据分析网络性能监控系统应该提供强有力的性能分析能力.然而一个不争的事实是,系统设计者很难全面考虑实际应用中所能遇到的各种需求.即使像N etV iew,OpenV iew这样优秀的网管平台对于数据分析也仅提供了有限的支持.因此,管理者出于特定的性能分析需求,常常需要自行设计分析程序.而要自行设计数据处理的应用程序,就必须首先了解底层数据组织的细节,带来很大的不便,且一些产品常常出于技术保密的考虑,对具体的数据组

42、织细节未作说明,更带来了难度.因此数据分析的关键并不是具体的数据分析技术,而是数据分析机制的开放性.CERN ET性能监控系统在数据分析方面的开放性是通过提供数据扫描器(scanner类库来实现的.数据扫描器的功能是把数据按特定要求格式化,用以生成报告或作图形显示.扫描器的输入参数是被管对象集合和对每个对象要提取的属性.表1所列的例子是一些基本的数据扫描器的类功能定义及继承关系.表1Scanner定义基本的固定数据扫描行为HomoScanner Scanner的子类,从每个被管对象中收集相同的信息Si m p leScanner HomoScanner的子类,可对收集的信息格式化Statist

43、icScanner HomoScanner的子类,可以在被管对象上执行计算操作M eanScanner StatisticScanner的子类,在一组被管对象上计算一个或多个属性的平均值V arianceScanner M eanScanner的子类,计算一个或多个被管对象属性的平均变化情况M in2M axScanner StatisticScanner的子类,计算一组被管对象属性的最小 最大值通过数据扫描器,消除了数据分析对数据管理细节的依赖.4.4数据表示数据表示是性能监控功能的体现.数据表示的两个要点是统计报表设计和数据可视化.统计报表设计即如何实现简练、直观、准确.数据可视化是一种计

44、算技术,包含图像理解与图像综合,它是由复杂的多元时变数据集产生图像的工具和理解复杂现象和大规模数据的重要工具.在可视化工作中必须解决两个基本问题.首先,必须抽象出目标系统的可视化模型;其次,在模型建立之后,找出描绘这个模型的适当方案.性能监控数据可视化的难点恰恰在于,我们很难抽象出可视化对象的物理模型,例如,路由信息的表示.而且,即使我们能够抽象出一个模型,这个模型也很难给我们一个直观感受.因为,一个物理特性通常只对应一类实物,而一个计算机领域的设计则可以对应许多不同的实现,所以,某一可视化模型可能符合某一些人的想法,但却与其他人的想法完全不一致.因此数据表示与其说是一个技术问题,不如说是一个

45、艺术问题. 4.5基于事件驱动的性能监控前面几小节针对基础数据讨论了采集、管理、分析和表示等问题.本节集中探讨基于事件驱动的性能监控技术.从控制行为特点上,性能监控可分为主动式性能监控和被动式性能监控.前面几节叙述的都是与主动式性能监控相关的技术.即为排除某一性能故障或评价、预测网络的性能而主动收集网络的运行状态数据,进行分析、整理,对网络性能状况的把握和优化提供支持.主动式性能监控的特点是:数据采集或数据分析任务之间都存在一定的时间间隔.这是由于数据采集和数据分析本身都要消耗一定的网络资源,因而频度必须在一个合理的范围内.但是这就带来一个问题:欠缺对于严重性能问题的实时反应能力.被动式性能监

46、控,即基于事件驱动的性能监控恰恰弥补了这一不足.管理者列举所有可能出现的需要处理的情况,定义为事件,而由被管对象来通知某一事件的发生.基于事件驱动的性能监控的关键是事件的定义.一般的智能网络设备都提供了一定的失效管理方面的事件告警能力,如通断.如果要求网络设备来提供性能事件告警,通常而言过于苛刻,因为性能的优劣毕竟是相对的,不同情况下的判断标准有很大差异,因此,实际工作中要求IT人员自己来定义性能事件.CERN ET性能监控系统利用阈值来控制事件的生成.由于绝大多数网络性能参数都体现为一个数值,因此设置阈值是定义性能事件的一个非常有效的手段.图4是CERN ET性能监控系统基于阈值的事件告警机

47、制示意图.其中事件过滤器的作用是对事件按类型和优先级分类,以便突出需要紧急处理的事件. 图4基于阈值控制的事件告警机制5模型特色L IPM是一个层次模型,具有以下优点:(1各层功能相对独立.一个层次并不依赖底层的实现细节,仅需了解层间接口所提供的服务.(2结构上易于分隔.各层都可以采用最合适的技术来实现.如文中所述,在各个层次的功能实现上都有多种解决方案.(3易于实现和维护.这种结构使得一个庞大而又复杂系统的实现和调试变得易于处理.(4具有较好的开放性.任何一层发生变化时,只要接口关系保持不变,不会影响上下层的运行.层次模型的缺点是各层功能通过数据关联实现松耦合,一个完整性能监控流程在各层之间

48、的延迟不可预测,无法适应实时性要求强的性能监控需求.针对实时性问题,L IPM提供了基于事件驱动的性能监控机制.L IPM在功能定义上比较全面地考虑了性能监控的各种可能的需求,实现的开销较大,运行效率也受到影响,因此主要适用于规模较大、结构复杂、对性能管理要求高的大型计算机信息网络.参考文献1ISO D IS1016521.Info r m ati on p rocessing system sOpen system s interconnecti onStructure of m anagem ent info r m ati onPart 1:M anagem ent info r m a

49、ti on model,19932ISO TC97 SC21N1388.P ropo sal fo r further considerati on of the O S I m anagem ent arch itecture,19863CC IT T.R ecomm endati on M.3010,P rinci p les fo r a telecomm unicati ons m anagem ent netwo rk,19924Em bry J,M anson P,M ilham D.A n open netwo rk m anagem ent arch itecture:O S

50、I NM fo rum arch itecture and concep ts.IEEE N etwo rk M agazine,1990,4(7:14225Em bry J,M anson P,M ilham D.Interoperable netwo rk m anagem ent:O S I NM fo rum arch itecture and concep ts.In:P roc of the IF IP TC6 W G616Second Internati onal Sympo sium on Integrated N etwo rk M anagem ent.Am sterdam

51、:N o rth2Ho lland,1991.29446A utrata M,Strutt C.DM E F ram ewo rk and D esign,N etwo rk and D istributed System s M anagem ent.Chap ter23.R eading,M A:A ddison2W esley,19947M urrill B.OM N IPo int:A n i m p lem entati on guide to integrated netwo rked info r m ati on system s m anagem ent.In:P roc o

52、f the IF IP TC6 W G6.6T h ird Internati onal Sympo sium on Integrated N etwo rk M anagem ent.Am sterdam:N o rth2Ho lland,1993.4054188N etwo rk M anagem ent Fo rum.D iscovering Om ni po intA Common A pp roach to the Integrated M anagem ent of N etwo rked Info r m ati on System s,1993.h ttp: www.nm t.

53、o rg9C laffy K,M onk T.W hats next fo r internet data analysis.Status and challenges facing the comm unity.P roceedings of the IEEE,1997, 85(10:1563157110Kalidindi S,M atthew J Z.Surveyo r:A n infrastructure fo r Internet perfo r m ance m easurem ents.h ttp: www.isoc.o rg inet9911Paxson V,M ahdavi J

54、,A dam s A et a l.A n arch itecture fo r large2scale Internet m easurem ent.IEEE Comm unicati ons,1998,36(8:48 5412L eizao la M S.T uning IP perfo r m ance:T he righ t too ls fo r the task.D ata Comm unicati ons,1998,27(7:12913013A p isdo rf J,C laffy K,T homp son K et a l.OC3mon:F lexible,affo rdable,h igh2perfo r m ance statistics co llecti on.h ttp: www.isoc.o rg inet9714M alan G R,Jahanian F.A n extensible p robe arch itecture fo r netwo rk p ro toco l perfo r m ance m easurem ent.A CM Computer Comm unicati on R eview,1998,28(4:21521715Case J D,Fedo r M,Schoffstall M L et a l.