网络异常流量检测模型设计与实现

1、0J国科技疋乂任线http /wwv paper edu cn网络异常流量检测模型设计与实现张瑞北京邮电大学，北京(100876)E-mail: zhangrui0082inaLl com摘要：企业信息化的建设，离不开IT系统及其基础设施的支持.网络的普及和发展给 企业信息化带来更加便利的条件，也给IT系统管理帝来了很多麻烦.随着网络技术的发展 和规模的日益扩大，网络流量异常检测在IT系统管理中扮演越来越重要的角色.本文根据 一般网络异常流量检测算法提出在IT管理系统中建立一个流量检测的模型，综合几种检测 方法提升检测准确度"将异常流量监控融入IT系统会较大提升IT管理的作用，使得I

2、T管 理变得更加有效.关镀词：网络异常，异常检测，网络管理1引言针対一个IT系统建立一套仃效的网络钮理系统，网络流磺管理是其屮很璽耍的组成部 分。对J：一个内部组处的网络來说，流吊僭理巫耍性体现在保证和提高网络町靠性和可用性 方而的意义。仃效的流屉tf理一般分为两个步骤，第-步是系统对网络性能问题或故障的吿 警，第二步是提出性能问题和故障的解决办法。目前，在网络流届管理中对流届异常的告警 多是采用慕r阈值的方法，即由冇经验的网络管理员认为的设定某条链路的流吊阈值，、勺系 统发现半前流起超过阈值时产生告警这样的系统冇一个缺点：网络流駅存在突发性和随机 性的特点，在实际网络运行中难以设定这个阈値，

3、如果设定的阈值太少，则系统可能出现告 警风暴，其中误报的町能性很人；如果设定的阈值太人，则不易发现网络中存在的细微流帚 突变，这个时候可能就是某种攻击或病毒的出现，不能及时进行有效的网络管理。在本文中我们提出一种结合阈值和流磺变化检测，当前流磺和历史流磺比较相结合的方 法进彳j流届异常检测，尽磺将系统的误报率和漏报率降到垠低。通过获取内部网络屮巫要链 路的SNMPMIB流駅累积值，通过系统的分析和计算得到一个当前网络运行状态。本文描 述的检测方法对丁管理一个内部网络有着重耍的现实意义。2相关工作网络流晟异常检测的作一直在不断的往前发展，Roy和Frank113定义了网络正常和异 常彳j为的概念

4、，流彊异常检测方法则町以分为两个人类静态检测方法和动态检测方法。静态 检测方法包括恒定闽值检测方法和(适应阈值检测力法oA Maxion, Feather和Lawrence Hop 都提出根据历史数据建立个正常的参数垄线，通过系统在网络运行的过程屮门适应的学习 能力改变告警阈什i。动态检测方法包括AH统计的检测方法，展小波的检测方法。统计检 测方法在实际中最常见的是GLR(Generalized Likelihood Ratio)测试，这种方法由M.Thottan 和C.JW用来检测枝园网络的计算机系子网。GLR考虔两个相邻的时间窗R和S以及这 两个介并组成的窗I I C(t),每个窗II运用

5、自冋归模甲.(AR丿拟介，应用似然比检验方法，检测 两个iSfHZ间发牛的异常变化。当两个窗I I的似然度超过某个设定的阈值时则认为两个窗I I 边界产生异常。Amy Ward141等人提出了另外一种统计检测方法，该方法在网络正常运行卜. 建立一套网络参数，当参数出现偏岸不符合止常运行惰况时产生告警。V.Alarcon-Aqumo和 J.A.Bama5捉出运用小波变换的方法检测网络异常。小波变换可得到低频系数和高频系数， 其屮低频系数反映原始信号的轮廓，而高频系数则是反映信号的细|Vo流鼠的奇异性町以通 过分析细节系数检测出來。流彊异常检测还Paul和DavLd【®对IP流彊流(IP

6、 tafFic flow)异 常进行统计分析。3.网络流量异常检测算法内部的IT系统网络呈现出一个周期性和窠发性很明显的特征【刃，例如在匸作H的流彊 占总流届的绝人部分，节假D的内部网络流量则叮以忽略。匸作I的流最则乂呈现出休息时 间和工作时存在流量突变的情况，如：早上上班时间和中午休息时间，卜午卜班时间 可将工作口的流磺分为三个阶段。第一个阶段流R变化趙势从无到仃存在一个剧烈的变化： 第：个阶段为屮午休息时间，这个阶段存在流址的两个突变，个时中午卜班的突然减少和 中午上班时间的突然增人：第二阶段为卜班以后，流量在下降后呈现个平稳的态势。工作 口则周期性的出现这样-种流彊情况。通过这样分析内部

7、网络流吊特征，我们可以看出如果 仅仅是对流昴进行单-的动态或若静态检测则可能会出现很人的谋报率。动态检测出的流届 窠变异常冇可能是网络本身的特征，如上班的流届高蜂。静态检测的阈值如果定义在一个很 大的范I制内，则可能将出现异常的情况漏报。本文我们还提出了用时间窗的流杲累积比较來判断网络是否出现异常。时间窗的纵向比 较可以得到这个匸作II和上一个匸作HZ间一段时间流最的关系，由J：内部网络存在流最的 口相似性，比较流彊曲线的相似程度町以得到网络流最是否出现异常。时间窗的横向比较则 是比较一段时间内流疏的增幅变化情况。当前工作口的两个流量窗UZ间的比较，上一工作 口相同时间段两个流駁窗11的比较，

8、这两个比较的结果进彳了对比我们可以分析发现，网络流 吊是否存在在静态和动态的单点检测都属正常范国内，但是均处异當吿警的临界状态， 即网络可能已经出现了异常但是系统还没仃告警。这个时候时间窗的横向比较则可以发现这 样-个问题，从而提前发出告警，请求管理人员的处理，使得网络尽早的得到回复，将损失 降到最低。卜面我们将分别介绍以个检测方法和整个系统的检测流程。3.1单点静态检测单点静态检测算法是一种忒阈值的检测算法。由J：网络流吊存右相似性和周期性，所 以可以通过比较不同工作日的同一时间必流最，和每周相同工作日同一时间点可以观测和分 析当前时刻流量所处状态。具体方法是系统获取过去四个工作日同一时刻的

9、流量值,和过去 三周相同匸作IJ同一时刻的流彊值，分别给这两类流磺值不同的权值用J：计算，通过取数学 期里的方式得到一个该工作日当前时刻的基本流量，当前网络流罠值应该在这个基本流臺的 上卜浮动。系统根据网络实际运维人员的经验來调整阈值，在以上一个基本流彊为标准的基 础上检査网络流量是否出现异常。算法公式为：4表示过去四个1作II相同时刻的流昴，明表示过去三周相同匸作II相同时刻的流 昴。和叫分别表示/和X；在计算中所在权重，即流砒主要是考虑那种相似程度更高， 这个值由网络运维人员來设定。y农示计算出來的当前时刻流磺的一个皋值，实际流彊应该 在范由y -人，y十人内波动，如果超出这个范圉则视为异

10、蒂。单点静态检测这种方法虽然最简单最苴接但是在实际的网络运行中有其实际意义，它可 3-0J国科技疋乂任线http /ww paper edu cn以帮助其他检测方法來判断检测时刻点的流战是否异常。如在单点动态检测中发现流罠的突 变，这时候动态检测会给出异常告警，如果这个时候正好是系统心动(刚上班时间)的时刻, 则这种告警我们可以认为的判断是一种谋报。山网络的相似性和周期性特点的存在使得我 们可以用静态检测方法來降低这种汉报的可能性，即浄态通过历史数据的学习认为该时刻点 流鼠在阈值的范围内，则接受，否则发出网络流量异常告警。3.2单点动态检测网络流吊不仅存在相似性和周期性的特点，还存在突发性和可

11、变性的特点。如果仅仅是 依靠静态检测方法來检测网络的运行情况，则网络可能出现的细小的流吊突变则反映不出 来，而这个时候可能是某种入侵或者网络故障岀现的时刻。只冇当网络流帚出现很人变化时, 静态检测算法才可能发现网络出现了问题，而这个时候可能已经错过了处理问题的最佳时 刻。静态检测算法的滞后性要求使用其他的方法来弥补，短期动态检测AR"】(自冋归)模 型能够较好的取得这样的效果。対当询时刻过去一小段时间采集的流磺数据做均值化除公周期项，求対侮个时刻流届的 剩余值，这-係列的剩余值则町近视为剩余平穏序列，叮以对其做口回川模型AR (p)拟 合。我们每次对N个采集值求剩余平稳序列，N个流最

12、值记为开,y2,儿，y. y表 示这N个ffi的平均，则亍的结果为剩余平稳序列的项记为兀。对这些剩余的项选择介 适的阶数p进行拟介，要求剩余序列近似平稳则不能要求N的值过人，p选择的阶数则直接 关系到AR模型拟合中参数的估算帯來的时间上的考虑，所以选择p的阶数为2,则AR模 型为：兀=0" + 0兀7 + StQ和0是AR模型的系数，岂表示t时刻出现的噪声。通过兀的值我们町以对AR模 型参数进行计算：.丫3 = 0宀 + 02心 + 6匚=0宀+ 0凡+ 6 xr =+ 02心_2 + £ Ix表示系数矩阵，丫表示预测拟介矩阵，则0 =©,0矩阵可以rhx和丫计算

13、得出0 = (XTX)XTY.得到AR模熨的参数后我们就可以计算出®的你应该是符介正态分布的随机变杲, J是我们认为当®落在某个范I羽内则认为流届正常，超出某个范围认定网络出现异常流吊。33时间窗纵向比较检测仅仅通过单一时间点的检测我们认为还不能发现网络心在的所自异常，当流最值均在单 点检测的可接受的范II彳内，但每个检测点的流彊值均较过公和同周期的值人或小，即网络在 这个时间窗内的流局总和町能已经偏离了正常范国"这个时候仅做单点检测町能U经不能满 足要求,丁是我们提出了对网络流量进行时间窗的比较,即比较一段时间内的流凰差异。这 样更多的结合历史数据，学习过去网络

14、的行为，自助J我们发现网络中出现的异常。对比纵向的时间窗数据的意思是,抽取当前检测点时间过去的半小时数据,即六个采样 点(系统设计每5分钟对流G进行采样-次)作为一个时间窗，同时从历史数据中抽取过去 一人的相同时间段内的六个采样点的数据作为比较依据。Lb J网络流駁的周期相似性，这两 个时间窗内的数据点形成的曲线应该相似，通过对这两条曲线进行相似度何的比较我们可 以认为网络在这段时间内是否出现异常。记当前时间窗内的流就数据为X, (1</<6),记上一个时间窗的流昴数据为 yz(l</<6),进行计算：工(心-儿y如果为前时间窗和上一个时间窗的曲线相似，则久的值则应趋进

15、f-0.如果2的值超出 某个设定的值，则认为两个曲线差异度较人，即不相似。如果久在某个可以接受的范国内则 认为网络属F正常运行状态。3.4时间窗横向比较检测系统通过对比纵向的时间窗得到网络流起异常，冇町能是一种谋报，这种情况出现在， 当网络流赧曲线相似，但是当前网络的流彊较纵向时间'窗II流吊*一个報体的I:升或者F 降，即可能内部网络承戯了新的业务。由J：业务新的出现开始必然会导致流彊的异常，但是 网络管理员认为这种流彊属止常范H；l (即人町控范用内)，那么系统对/网络出现的这种 业务或是拓扑结构改变帯來的流届变动需耍仃口适应的过程，需耍学习这种网络流彊的变化 到达降低系统谋报率的

16、目的。我们获取当前时间窗的数据记为心(1</<6),当前时间窗上一时间窗数据为 x2r (1 <r<6),上一作H肖前时间窗的数据为儿(1</<6),该时间窗的是一个时间窗 的数据为y2/ (1 <r<6)o这样我们获得了四个时间窗的共24个数据，对这24个数拯做如 下比较：儿=工Gw -儿y2 = e (j -儿 y2,&的值反映、齐前时间窗和上一个工口的半前时间窗流斎的增幅情况，而人反映的是上 一周期两个时间窗的流彊增福情况。通过对比人和入的比值我们得到一个数字A , A反映 了-段时间來网络流磺是否出现如上讨论的那种情况，即上个周期

17、曲网络运维人员确认的流 量变化在这个周期并不将其报告为异常。4.合系统设计原型设计综合系统结构如图1；5-ID国科技疋乂任线http /ww paper edu cn告警模块图l纺:介系统结构(1) 数据采集模块：负贞采集网络的当前流吊。系统可以提供给维护人员选择界面， 來确定监视多个链路或者多个端II,这些被监视的端II是网络的关健节点，被监 视的链路网络的啦耍业务的承我徒路。多个采集模块分别对应到每个监视的对象, 通过统一的检测算法可以得到每个检测对象的运行状态。(2) 数据检测模块：负责对采集的流起进行检测，这是系统的核心部分。(3) 异常告警模块：对每个对象检测出来的结果给出相W的告警

18、，提醒运维人员进 行及时的处理。4.1综合系统检测流程数据检测模块是这个系统的核心部分，定义数据检测流用则是这个模块的核心。数据通 过一个流程的检测才可以判断是否仃卅需存金，而这个流程同我们提出的算法仃惓切的关 系，即数据将经过一个定义好的过程來进行检测。定义的流程如图2所示:图2算法流程乐盘图四个子算法在检测的过程中令运算的先后顺序：单点检测先J时间窗比较。原因是，在 单点检测的过程屮，存在检测不到的异常，这个时候就岛耍通过时间窗的比较來确定网络运 行的状况。单点检测可以同时进行,即静态检测算法和动态检测算法同时进行加快得到监测 结果。时间窗纵向比较在横向比较么前，如來纵向比较得出异常则不需

19、耍进彳:横向比较。4.2异常检测结果分析4.2.1 实验环境实验环境如图3所示，将实验所用数据库服务器和采集分析服务器连接到实验室网络上的交换机， 实验网络由许多主机和服务器构成，通过交换机连接到一个无线网桥，通过网桥和外界进行 实际的通信。采集服务器通过SNMP访问网桥上的MIB变杲发出的字节数(LfOutOcrers) m 获取肖前实验网络内的流最，对这些流杲进行统计和分析检测是否存在流炭异常。ID国科技疋乂任线http /ww paper edu cnID国科技疋乂任线http /ww paper edu cn图3实验坏境ID国科技疋乂任线http /ww paper edu cnID国

20、科技疋乂任线http /ww paper edu cn4.2.2实验数据分析通过一段时间数据采集和分析，截取比中每大一个小时数据采样值.得到如卜观测值:表1流吊采样观测值时伺5月29日9： 009： 059： 109： 159： 209： 259： 309:359 409 459 509 5510005573 3794535 9574294 315S3S(5S<56662 6384233 1566124 295316 (5996349 6449631 2236735 6184660 6755556 04是古并常古甘占苦古古占古&古會否舌修正值时何5月30日91 009： 059：

21、 109： 159： 209： 259： 509:359 409 459509 5510:00涼致KB)475(5 34933% 9362012 4243207.876920 2727235 08464(55 0887226 0918204 45410180 748178 0566895 1736578 06是占并常pi古足是古古占古苦古是是古修正值39207210267230794M5月31日9： 009： 059： 109： 159： 209： 259： 509:359 409 459 509 551000渝做KB)2450 339500C 9581752 04<51177.2341

22、380 5151702 7032549 5694229 33637012478 8572777 S522432.9472965 78是凸杲常否是否苦否否否否否修正值1910ID国科技疋乂任线hnp /ww paper edu cn-#-ID国科技疋乂任线hnp /ww paper edu cnNetuork TrafficTiiie图4流;衣采样观测值OE2-#-ID国科技疋乂任线hnp /ww paper edu cn-#-ID国科技疋乂任线hnp /ww paper edu cn我们将3大一个小时时间段（其他时间采样值不在此列出）采集的流屋和通过检测计算 出来的修iMi列出做一个比较町以看

23、到，对比同时间儿人來的流*:,流量在工作日和菲工 作日中呈现不一样的相似性,5 J129日和5月30日是两个工作日,流量明显较非工作日5 刀31 口平均人出很多，如果按照前两人流駁去估计5 H 31 口的流彊，所采样出來的每个点 都足异常，这足不対的，应该用上一个非丄作口的流量來対比。从图4流就采样观测ffi我们可以看到5月29 口和5月30 口中冇几处流駅冇异常的变动， 由J： IT系统中某个服务的关闭造成流起突然减少，一个根据我们计算的结果，和同上儿个 己有历史非T作II流杲记录比较来看给出我们的修正值，并在IT网络管理系统中发出告警, 让系统管理员能够根据网络出现异常及时反应，将系统带来

24、的危害降到最低。5结论通过计算网络流起，我们可以很好的看到为网络出现异常时IT管理系统能够较及时 发现问题，并在管理系统中发出告警，使得IT系统承我业务能够在较短时间内得到恢复， 使得IT管理系统能够较好的帮助IT系统管理员来管理密个IT网络。参考文献Roy A Maxion, Frank E Feather A Case Study of Ethemet Anomalies m a Distnbuted Computing Envuonmeiit IEEE Transactions on Reliability 'OL 39JNO.4J990 OctoberFrank Feather

25、, Dan Sieuiorek and Roy Maxion, Fault detection in an Ethernet network using anomaly signature matchingC ACM SIGCOMM93 1993 2次4丿 3 rL1J 1 1J 1J 1J 1J4 5 6 7 8 9 rL rL rL rL rL rLManna Thoctan and Chuanyi Ji. Proactive anomaly detection using distnbuted intelligent agents IEEE Network, September/Octo

26、ber 1998Amy Whrd. Peter Glynn and Kathy Richardson Internet Service Performance Failure Detection Performance Evaluation Review; 1998,2Q3丿.V Ahrcon-Aquino and J A Barria Anomaly detection in communication networks usng wavelets LEE Proc -Cominum , December 2001,148(6).Paul Barford and David Plonka Characteristics of network traffic flow anomalies In Proceedings of the ACM SIGCOMM Internet Meaairement Workshop.Nov20C1邹们,/ 毎忠诚 基F AR模型的网络异常检测 微电子学与计算机2002年第12期邹伯贤.刘强基于ARMA模型的网络流量预测 计算机研究与发展2002 V