（通信与信息系统专业论文）分布式流量异常检测方法研究.pdf

摘要 摘要 随着i n t e r a c t 网络规模的扩大以及技术的不断发展，网络攻击不断出现，并且 越来越频繁。异常检测作为网络的安全防护体系逐渐成为网络安全领域的研究重 点。 分布式异常检测作为异常检测的一种方法，监视和分析网络流量、发现和识 别网络中的异常，并给出适当的报警，以便采取进一步的防御手段，保证网络正 常运行。它作为应对d d o s ，蠕虫等大规模网络攻击的有效方法成为异常检测的研 究热点。 本文研究了基于累积队列门限的分布式异常检测方法，介绍了累积队列门限 的设置方法。对检测系统中检测点流量的预测方法做了改进，提高检测系统的准 确性，另外，对误报率定义给出更合理的数学表达式。 本文提出了一种结合预处理和累积队列门限的分布式异常检测方法。预处理 是将网络流量分解，去除周期部分和长趋势部分，得到的随机部分作为检测点的 输入。该方法解决了基于累积队列门限的分布式异常检测对实际采样正常流量产 生的误报和漏报，能够有效的减少检测点和处理中心之间的通信量，同时达到较 好的检测效果。通过仿真实验验证了该方法针对上述问题的有效性。 最后模拟简化的网络环境，在检测点模拟流量的生成，加入不同攻击强度的 攻击，验证了预处理和累积队列门限相结合的分布式异常检测方法的检测效果， 以及检测点和处理中心之间的通信量，同时，对分布式异常检测系统自身的安全 性做了充分的考虑，为实际的分布式异常检测系统设计提供有价值的参考。 关键词：异常检测；分布式；流分解 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rn e t w o r kt e c h n o l o g ya n dt h ee x p a n s i o no f n e t w o r ks i z e ，t h e r ea r em o r ea n dm o r ea t t a c k st oo u rn e t w o r k s a n o m a l yd e t e c t i o n 雒a s e c u r i t yp r o t e c t i n gs y s t e mh a db e e na ni m p o r t a n tp a r to f n e t w o r ks e c u r i t yf i e l d d i s t r i b u t e da n o m l yd e t e c t i o ni so n eo f a n o m l yd e t e c t i o nm e t h o d ，w h o s eg o a li st o m o n i t o rn e t w o r kt r a f f i c ，p r o s st h et r a f f i ci n f o r m a t i o nt h e na n a l y z e ，f i n do u tn e t w o r k a n o m l i e s ，t h e nc h e c ka l a r m s ，e n s u r i n gt h ee 侵c i e n to fn e t w o r ko p e r a t i o n d i s t r i b u t e d a n o m l yd e t e c t i o na sa l li m p o r t a n tm e t h o dt od e a lw i ml a r g es c a l e dn e t w o r ka t t a c k ss u c h a sd d o s ，w o r m s ，b e c o m e sah o t s p o ti nn e t w o r ks e c u r i t yf i e l d t h i sp a p e rf i r s ti n t r o d u c 燧ac u m u l a t i v et r i g g e rd i s t r i b u t e da n o m a l yd e t e c t i o n m e t h o d ，a n dt h e nd i s c u s s e dt d g g e rs e t t i n gm e t h o d w ei m p r o v e dt h ep r e d i c t i o nm o d e l a tt h em o n i t o rs i d ea n dg i v ear e a s o n a b l ef o r m u l ao f m i s sd e t e ：( , - - t i o n w ep u tf o r w o r dat r a f f i cp r e t r e a t e dw i mc u m u l a t i v et r i g g e rd i s t r i b u t e da n o m a l y d e t e c t i o nm e t h o d t i l en e t w o r kt r a f f i cp a r a m e t e r sa r ed e c o m p o s e di n t ot h r e p a r t s p e r i o d i c ，l o n g - t e r mt r e n da n dr a n d o m , i np r e p r o c e s ss t a g ew h i c hl o c a t e di nm o n i t o r s o n l yr a n d o mp a r ti su s e df o ra n o m a l yd e t e c t i o n t i l i sm e t h o dc a ne f f e c t i v e l ym i n i m i z e t h ei n t e r a c t i v i t i e sb e t w e e nm o n i t o r sa n dp r o c e s s i n g - c e n t e r , c a ne f f e c t i v e l yr u d u c et h e m i s sd e t e c t i o nr a t ea n df a l s ea l a r m s 1 1 1 es i m u l a t i o np r o v e do u rt r a f f i cp r e t r e a t e dw i t h c u m u l a t i v et r i g g e rd i s t r i b u t e da n o m a l yd e t e c t i o nm e t h o dw o r ke f f e c t i v e l y w es i m u l a t eas i m p l en e t w o r kc o n d i t i o n , m a k eu s eo fat r a f f i cg e n e r a t i n gm e t h o d a tm o n i t o rs i d e ，a n dt h e ns i m u l a t ed i f f e r e n ta t t a c k sa td i f f e r e n tt i m e s f o rt h ea n o m a l y d e t e ：c t i o ns y s t e m ss e l fs e c u r i t y , w h e nt h em o n i t o rj o i n e dt h ed e t e c t i o ns y s t e mw e i n t r o d u c ei d e n t i t ya u t h e n t i c a t i o nm e t h o d f o rt h ed a t ai n t e g r a l i t yb e t w e e nt h em o n i t o r a n dt h ec o o r d i n a t o r , w ei n t r o d u c ed i g i t a ls i g n a t u r e s a tl a s tw ec h e c kt h et r a f f i c p r e t r e a t e d 谢廿lc u m u l a t i v et r i g g e rd i s t r i b u t e da n o m a l yd e t e c t i o nm e t h o d ，g i v eaw o r t h y r e f e r e n c ef o rd i s t r i b u t e da n o m l yd e t e c t i o nd e s i g ni nr e a l 1 i f e k e y w o r d s ：a n o m a l yd e t e c t i o n ；d i s t r i b u t e d ；t r a f f i cd e c o m p o s i t i o n n 图目录 图目录 图2 1d i d s 结构1 5 图2 - 2g r i d s 网络结构。1 6 图2 3a a f i d 结构1 7 图2 - 4d o m i n o 结构18 图2 5 集中处理结构1 9 图2 6 分层结构2 0 图3 1 流量累积2 2 图3 2 集中排队模型。2 2 图3 3 分布式异常检测框架2 3 图3 - 4 链路瞬时流量r ( 0 2 4 图3 5r ( t ) 对r ( 0 预测2 5 图4 1 采集的网络流量图2 9 图4 2 预处理与累积队n i - j 限结合的分布式检测模型。3 2 图4 3 随机部分3 4 图4 4 网络异常分布3 5 图4 5 随机部分异常分3 5 图4 - 6 加入攻击强度与时间段分布3 6 图4 7 检测效果3 6 图4 - 8 不同攻击强度的通量对比3 7 图5 _ 1 模拟检测图3 8 图5 2 通信过程。3 9 图5 3 模拟生成的流量图4 1 图5 - 4 网络日志流量图。4 2 图5 - 5 基于r s a 的加密解密。4 4 图5 6m d 5 生成信息摘要4 5 图5 7 检测点工作流程图4 7 图5 8 处理中心工作流程图4 8 图5 9 数据采样4 9 图5 10 长趋势部分。5 0 图5 1 1 周期部分5 0 图5 1 2 流量模型部分5 0 图5 1 3 包含异常的随机部分。5 l 图5 1 4 攻击强度的对比5 2 图5 15 通信量对比5 3 v 表目录 表目录 表5 1 分布理论与统计对比表4 0 表5 2 加入异常的分布表5 1 表5 3 加入攻击强度分布表一5 2 表5 - 4 分布式异常检测效果表5 2 v i 独创性声明 本人声明所里交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：早拯主 日期：加夕年，局矿日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：监童导师签名：至垒兰主 日期：如a 夕年6 - 月巧日 第一章绪论 1 1 网络安全概述 第一章绪论 随着计算机网络的不断发展，计算机网络在人们的学习，生活和工作中的作 用越来越大，每天全球都有成千上万台的主机不断的接入i n t e m e t ，网络规模急剧 膨胀，i n t e m e t 作为全球最大的资源共享平台，已经深入到政治、经济、军事、教 育等各行业和部门，成为整个社会基础设施不可缺少的组成部分。全球的网络用 户数量已经超过1 0 亿，中国的网民用户跃居世界第一位。可以预见，未来几年内 我国的网民数量将会继续保持高速增长的趋势。但是由于计算机网络固有的缺陷， 越来越复杂的网络，出现了与设计初衷不同的许多问题，给人们带来了不少危害， 给提高网络安全带来了很大的冲击，同时，随着电子商务，电子政务应用的不断 扩大，机密信息要求的安全性越来越高，i n t e m e t 网络的安全问题成了一个研究热 点。 当前，网络安全领域的研究者对于计算机信息与网络安全模型的描述主要为 两种【1 , 2 , 3 1 。一种是面向应用的，将计算机信息与网络安全划分为网络运行安全、网 络数据安全和网络内容安全。另外一种是面向属性的，将该模型描述为网络与信 息的可用性、完整性和机密性三个方面的安全，也就是所谓的信息安全最主要的 三个研究点。 网络运行安全问题主要体现在接入互联网的主机以及互联网上的各个主机系 统正常运行的保障或破坏的对抗上。保证网络运行安全主要作用有以下两个：系 统的可用性，使得系统任何时候能被授权人所使用；系统的机密性，使得系统任 何时候不被非授权人所使用。 网络数据安全问题主要是在对于互联网上所传输数据各种威胁上。保证网络 数据安全主要作用于以下三个：数据的可用性，主要体现在抗否认性方面，使得 发布信息者无法否认所发布的信息内容；数据的机密性，保证数据在传输、存储 过程中不被截获并解析；数据的完整性，使得数据在传输、存储等过程中不被非 法篡改，保证数据的发送者不是伪造的。 网络内容安全问题主要体现在有害信息渗透与反渗透的对抗上。其主要作用 电子科技大学硕士学位论文 于以下三个：首先是内容的机密性，要保证所传递的内容不被解析；其次是内容 的完整性，确保所传递的内容完整地到达目的地，所传递的信息来自真实的信息 源以及真实地发布者；最后是内容的可用性，保证传送的内容被信息传输送达目 的地。 由于目前的i n t e m e t 的设计是尽最大努力的发送数据包，各种协议和应用软件 以及操作系统的各种漏洞，容易被攻击者所利用，做非法的操作。网络的基础设 施是一种物理安全方式，我们在这里不考虑。近年来借助网络发生的入侵和攻击 行为不断的增加，网络安全问题呈爆炸性增长方式，根据c c r c c c 的统计，1 9 9 4 年的安全事件为2 3 4 0 件，而2 0 0 3 年达到了1 3 7 5 2 9 件，信息的窃取在过去的五年 里以2 5 0 的速度增长，9 9 的大公司都发生过被入侵事件，世界著名的商业网站， 如y a h o o ，b u y ，e b a y ，a m a z o n ，c n n 都被攻击者入侵过，造成了巨大的损失， 尤其是s q l 杀手、冲击波及其变种等蠕虫事件，另外，还频繁发生网页篡改和黑 客竞赛等多起波及全球的大规模安全事件，在世界范围内造成相当严重的影响和 损失。2 0 0 4 年，我国互联网上多次爆发大范围蠕虫传播事件，影响最大的当属利 用微软视窗l s a s s 漏洞的“震荡波 系列蠕虫，感染用户数量达到数以百万。此 外，m u d r o o m 蠕虫等事件都对网络造成一定规模的影响。木马程序带来的危害愈 加严重，据抽样检测统计，我国有大量计算机中被放置木马程序，它所开放的后 门一旦被人恶意利用，后果将十分严重。目前，针对网络欺诈事件投诉显著增加， 大多投诉是因为我国境内主机被欺诈者利用来提供虚假网页。利用i e 浏览器的漏 洞攻击增加，由于其具有隐蔽性，很难被一般用户发现，造成的后果难以预料。 另外，随着互联网应用日益复杂、用户规模扩大，网络上存在的安全漏洞也 越来越多，用来进行攻击的黑客工具也越来越多，对攻击者的技术水平要求不断 降低，使得在网络中从事各种攻击行为变的越来越容易，各种攻击的数目大幅增 长，蠕虫病毒蔓延速度越来越快，可能在较短的时间内造成大面积的主机瘫痪。 每年全球由于计算机网络的安全系统被破坏造成的经济损失达到数百亿美元，网 络安全总体状况不容乐观。 面对日新月异的攻击手段，传统的安全检测和防御体系，如防火墙、身份认 证、数据的加密等技术，已经不能够适应当前网络安全的状况，它们属于静态的 安全技术，无法对当前的各种攻击作出积极主动的响应，不能够满足人们对网络 越来越高的安全需求。异常检测系统是作为应对网络中各种攻击而产生的，检测 并且在发现异常时给出报警，给网络管理员或计算机使用者报告当前的网络状况， 以便让他们采取积极主动的防护措施。 2 第一章绪论 i 2 网络流量异常的分类 网络流量异常是指对网络正常使用造成不良影响的流量模式。异常流量会严 重影响网络性能，造成网络拥塞，严重时网络设备利用率达到1 0 0 ，甚至会造成 网络瘫痪，从而无法为用户提供进一步的服务。造成网络异常流量的原因可能有： 网络扫描、d d o s 攻击、网络蠕虫、用户对网络资源的不当使用( 恶意下载) 、物 理链路损坏或者网络设备不能正常运转、网络配置改变等，本文对前四种原因进 行讨论。 1 网络扫描 网络扫描是一种常见的，比较容易实现的攻击形式，它的主要目的是搜寻有 漏洞的主机或端口，通常是实施网络攻击的前提。扫描采取模拟攻击的形式对目 标可能存在的己知安全漏洞作逐项的检查，扫描者可以采取不同的扫描策略，可 以是对子网内大量主机进行短时间扫描，也可以是对主机上的多个端口扫描，根 据扫描结果向扫描者提供周密的分析报告。 扫描的目的大致分为以下四类： ( 1 ) 扫描目标主机识别其工作状态( 开关机) ； ( 2 ) 识别目标主机的端口状态( 监听关闭) ； ( 3 ) 识别目标主机系统及服务程序的类型和版本； ( 4 ) 寻找目标主机所提供服务的漏洞； 扫描类型：t c p 扫描，u d p 扫描，i c m p 扫描。 这种扫描一般是人为的，持续时间短，数据包数量大，长度小，消耗路由器 的c p u 。现在的许多扫描方法通过一些方法增加检测困难，如：改变检测次序， 将扫描的端口和地址打乱，降低扫描速度，扫描间隔随机化，假冒源地址，以及 分布式扫描等。 2 拒绝服务攻击( d o s ) 和分布式拒绝服务攻击d d o s d o s 的攻击方式有很多种。d o s 攻击的本质是利用合理的服务请求来占用过 多的服务资源，消耗目标系统的大量资源，致使服务超载，无法响应其他的请求 或者目标系统瘫痪。这些服务资源主要包括网络带宽，文件系统空间容量，开放 的进程或者主机的连接请求。这种攻击会导致资源的匮乏，无论计算机的处理速 度多么快，内存容量多么大，互连网的速度多么快都无法避免这种攻击带来的后 果。大多数的d o s 攻击是需要相当大的带宽的，以个人为主的攻击者很难拥有高 带宽。为了克服这个缺点，攻击者开发了分布式的d o s 攻击。 3 电子科技大学硕士学位论文 d d o s 是基于d o s 的特殊形式的拒绝服务攻击，是一种分布、协作的大规模 攻击方式，主要针对大型与知名网站，如商业公司、搜索引擎和政府部门的网站。 d o s 攻击只要一台单机就可实现，与之不同的是d d o s 攻击是利用一批受控制的 主机向被攻击主机发送大量的数据包，这样攻击不仅占用大量带宽，而且使主机 无法给正常用户的合法请求提供服务。 d d o s 用d o s 攻击的方法表现为大量不同的源p 主机对同一目标口主机发送 数据包。单位时间内数据包的量大，数据包长度长，占用大量的带宽资源，对交 换机影响很大。根据d o s 和d d o s 攻击的原理和特点，典型的d o s 攻击特征：s y n f l o o d 异常大量的s y n 报文流发向服务器；p i n go f d e a t hi c m pe c h o 包的数据超 大；s m u r f 大量的i c m pe c h or e p l y 报文发向某服务器；l a n di p 包具有相同 的源和目的地址；t e a r d r o p 数据包被分成多个段，后面的段具有错误的偏移量。 典型的d d o s 攻击特征：t r i n o o 出现大量的全零4 字节u d p 数据包；t f n 综 合s y nf l o o d ，p i n g f l o o d ，u d pb o m b 和s m u r f 的特征。 3 网络蠕虫 网络异常往往伴随着，蠕虫在网络间的复制和传播。网络蠕虫传播速度快、 传播面积广、破坏性强，大量占用路由器和交换机的带宽，导致网络阻塞甚至瘫 痪，全球的信息安全受到了普遍而严重的威胁。r e dc o d e 、s q ls l a m m e r 、冲击波、 振荡波等不断爆发，不但对用户主机造成影响，而且对网络的正常运行也构成了 的危害，因为这些蠕虫具有扫描网络，主动传播病毒的能力，会大量占用网络带 宽或网络设备系统资源。在局部的链路上很难检测到，往往采用对全网的流量特 性进行分析检测，判断是否存在网络蠕虫。 蠕虫主要有以下特征： ( a ) 利用操作系统和应用程序的漏洞主动进行攻击； ( b ) 不同的网络蠕虫病毒扫描的端口不同，使用的协议也不同； ( c ) 传播方式多样化； ( d ) 病毒制作技术与传统的病毒不同； ( e ) 与黑客技术相结合； ( f ) 这些蠕虫病毒表现为网络扫描，共同特征是对随机的目标i p 主机发送报 文，而目标口主机对这些报文的回应报文较少。 蠕虫的传播过程如下： 扫描：由蠕虫的扫描功能模块负责探测存在漏洞的主机。 攻击：攻击模块按漏洞攻击步骤自动攻击步骤( 1 ) 中找到的对象，取得该主 4 第一章绪论 机的权限( 一般为管理员权限) ，获得一个s h c n 。 复制：复制模块通过原主机和新主机的交互将蠕虫程序复制到新主机并启动。 常见的蠕虫有： ( 1 ) 红色代码( c o d er e dw o r m ) 使用的目的端口为8 0 ，协议类型为t c p ，字 节数为1 4 4 。 ( 2 ) 2 0 0 3 蠕虫_ 王( w o n nn e t k i l l e r 2 0 0 3 ) 使用的目的端口为1 4 3 4 ，协议类型为 u d p ，字节数为4 0 4 。 ( 3 ) 冲击波( w o r mb l a s t e r ) 使用的目的端口为1 3 5 ，协议类型为t c p ，字节数 为4 8 。 ( 4 ) 冲击波杀手( w o r mw e l e h i a ) 使用的目的端口为2 0 4 8 ，协议类型为i c m p ， 字节数为9 2 。 ( 5 ) 振荡波( w o r ms a s s e r ) 使用的目的端口为4 4 5 ，协议类型为t c p ，字节 数为4 8 。 蠕虫利用操作系统的漏洞主动传播，并且可以在局域网或者广域网内以多种 方式传播。这种网络蠕虫的攻击方式，除了造成网络大量的流量外，也会消耗大 量的系统资源。 4 对网络资源的不当使用 网络资源主要包括可用带宽、会话数量、通信端口、网络设备利用率。其中 的任何一种被用户不加限制的使用或无止境的消耗，都是对网络资源的不当使用。 常见的主要是恶意下载，例如，有些用户使用p 2 p 下载软件，对下载的流量没法 控制，就会有意或无意的造成下载流量超标，导致网络带宽浪费。 上述分析的几种网络攻击或威胁有一个共同点，即会引起网络流量的急剧变 化，它对网络的影响主要体现在两个方面：第一，占用带宽资源使网络拥塞，造 成网络丢包、时延增大，严重时可导致网络不可用；第二，占用网络设备系统资 源( c p u 、内存等) ，使网络和主机不能提供正常的服务。 1 3 异常检测及其意义 1 3 1 异常检测 异常检测是建立用户或网络正常的行为模式，当实时获得的用户或者网络的 轮廓值与正常的行为模式的差异超过预先设定的门限时，发生报警。异常检测是 5 电子科技大学硕士学位论文 入侵检测技术的一种。入侵检测技术分为两大类型：异常入侵检测( a n o m a l y d e t e c t i o n ) 和误用入侵检测( m i s s u s ed e t e c t i o n ) 【4 】。误用入侵检测系指根据已知的 攻击特征检测入侵，可以直接检测出入侵行为。误用检测方法的优点是误报率低， 可以发现已知的攻击行为。但是，这种方法检测的效果取决于检测知识库的完备 性。为此，特征库必须及时更新。此外，这种方法无法发现未知的入侵行为。本 文主要研究一种异常检测。 网络流量异常指的是网络流量由于某种原因偏离其正常轮廓的情形。1 9 9 0 年，卡内基梅隆大学的m a x i o n r a 对网络的“正常力和“异常 描述【5 】：“正常 意味着符合某种常规或典型的模型，以一种自然的方式，常规的或预料中的状态、 形式、数量或程度发生，“正常强调符合某种已经建立的标准或模式，并保持良 好状态，建立在一定趋势基础上。而“异常意味着违反了这种期望，与期望的 情形有一定程度上的偏差。在网络系统中，“正常一行为会由于网络的动态变化、 噪音而发生改变，网络“正常 行为的确定还必须随着网络环境的改变而改变， 但是，在一定网络环境下的网络行为总是有规律的。异常检测方法的优点是不依 赖于攻击特征，立足于受检测的目标发现入侵行为。对检测选择合理异常指标， 定义正常模式轮廓，及时准确的检测异常，降低误报率，漏报率，都是异常检测 的关键问题。 分布式异常检测方法也是网络入侵检测技术的一种。分布式异常检测系统通 常在网络中多处布置检测点，分析节点。分析节点对多个检测点收集的数据进行 集中分析，从而发现异常行为。检测点与分析节点之间的通信量是分布式异常检 测系统研究的一个重要内容。1 9 9 1 年，s n a p p 提出分布式异常检测系统( d i s t r i b u t e d a n o m a l yd e t e c t i o ns y s t e m , d a d s ) ，即收集和综合处理来自多个检测点的信息以检 测一系列主机的协同攻击。检测点分布在网络关键节点上，如路由器等。此后， 分布式异常检测作为应对大规模网络攻击的重要方法逐渐成为网络安全领域的一 个研究热点【7 ，8 一。和其他的异常检测相比，分布式异常检测能够更早发现攻击，检 测以前未出现的攻击，并且可以更准确地评估网络攻击规模和危害性大小。 1 3 2 网络流量异常检测及其意义 网络流量异常检测主要是对网络数据进行连续的采集，通过连续采样网络数 据、监视网络的流量，获得网络流量数据后对其进行统计和计算，从而得到网络 及其主要成分的性能指标，定期形成性能报表，并维护网络流量数据库或日志， 6 第一章绪论 存储网络及其主要成分的性能的历史数据，网络管理员根据当前的和历史的数据 就可对网络及其主要成分的性能进行管理，通过数据分析获得性能的变化趋势， 在网络性能异常的情况下，网络流量检测系统向网络管理者进行告警，以便采取 有效的防护措施。网络异常检测是网络管理中最基础的部分，网络检测的目的为 了收集关于网络状态和行为的信息，收集的信息包括与配置相关的静态信息和与 网络事件相关的动态信息，以及从动态信息中总结出来的统计信息，及时准确的 发现网络中存在的异常和攻击，并采取有效的方法进行防御，以此保证合法用户 的服务质量、提高网络的可靠性和可用性。网络检测通过检测网络的状态判断网 络的运行状况，它包括检测流量异常及其诊断、发现流量异常后如何采取防御措 施两个阶段。 网络流量检测是网络管理中一个基础也非常重要的一个环节，研究网络流量 检测是非常有意义的。随着网络技术的不断成熟，网络规模的日益扩大，网络带 宽的不断提高，使i n t e r n e t 网络的结构越来越复杂，i s p 使用的网络设备也多种多 样，与此同时，网络上承载的各种业务也越来越多，这些问题都使得网络出现各 种网络异常或者攻击的可能性也越来越大，但是，用户要求的服务质量却没有降 低，他们正常的合法请求都应当得到满足，因此，网络异常检测面l 瞄更大的挑战。 网络异常检测的目的是通过对网络设备和网络运行状况的实时的检测，及时 地发现网络中的各种异常，当网络中出现异常时，能够及时的被检测出来并且发 出报警通知，采取必要的防御措施，来保持网络的正常运行。当网络规模不大， 数据量不多时，可以凭借管理经验来对它们分析，对网络是否安全运行做出判断 和评价。但是，当面对大规模的网络时，迫切需要一种异常检测系统在整个网络 中收集信息，然后实时对这些数据做出处理，当数据中出现异常信息时，能够自 动被发现或者检测出来，实现自动报警，这样的数据处理技术不应当增加网络的 负担，利用较少的网络资源。将各种指标进行综合分析计算，那么将有助于提高 发现异常的能力和判断的准确性。 总之，通过网络异常检测可以检测出许多已有或未知的网络攻击，以及网络 故障，对于提高网络的可用性和可靠性，保证网络的服务质量，网络安全运行都 具有重要意义。 7 电子科技大学硕士学位论文 1 4 异常检测的分类和主要方法 1 4 1 异常检测的分类 流量异常检测根据不同的分类标准有不同的分类方法，根据当前的研究方向 我们将流量异常检测分为时间域的分析方法、频域的分析方法、时频域结合的分 析方法。 第一类是时间域的分析方法，通常是时间序列的分析方法。其中也包括常用 的统计异常检测方法：根据预先定义一组网络“正常”情况的度量或数值，如c p u 利用率、包速率、包校验和等，通过参数统计定义网络正常度量值，将测量的网 络数值与所定义的“正常 情况比较，判断是否存在异常现象。 上述方法时间序列的分析方法，出现的较早，随着网络应用的不断扩大，网 络异常的种类越来越多，分析方法也发展为多时间序列分析。该类方法以网络层 析成像获得的多个o d ( o r i 舀n _ d c s t i n a t i o n s ) 流为依据，将多个流量信号作为一个 整体研究，可以检测多种在单时间序列分析下无法检测出的异常，多时间序列包 含较多的信息量，可以用于异常识别。 目前多时间序列的方法研究很少，a l k a h i n a 等【1 0 , 1 1 】提出主成分分析方法，通 过对o d 流时间序列集的分析，把网络流量度量的高维空间分解成为正常网络情 形的子空间和异常网络情形的子空间，通过异常网络子空间判断是否发生异常。 第二类是时频域分析方法，主要包括频谱分析方法、小波分析方法和魏格纳 维利分布检测方法。 频谱分析方法：该方法首先利用傅立叶变换将时域的流量信号转换到频域， 在频率域对流量信号能量分布进行分析，如c h c n - m o u ，c h c n g l l 2 】等提出了一种频 谱分析方法来识别正常的t c p 流量中的攻击流，研究发现在与r t r ( r o u n d t r i pt i m e ) 相关的包传递中正常t c p 流量一定会呈现周期性，而攻击流量通常不具有这一特 性。防御d o s 攻击的方法是，利用此频谱分析的方法避免丢弃合法的t c p 流量中 的分组。 利用小波分析方法检测异常，2 0 0 1 年v a l a r c o n a q u i n o 等人提出了一种基 u d w t ( u n d e c i m a t e dd i s c r e t ew a v e l e tt r a n s f o r m ) 和贝叶斯分析的算、法【1 3 】。该算法能够 检测和定位给定的时间序列在方差和频率上微弱的改变，但是该方法，思想复杂， 很难选取合理的时间尺度。随后a n ur a m a n a t h a n 提出了一种基于小波分析的 w a d e s ( w a v e l e tb a s e d a t t a c kd e c t e c t i o ns i 鲫u a 吮s ) 方法【1 4 】，用于检测d d o s 攻击， 第一章绪论 将时间域流量信号做小波变换，计算小波系数的方差，以此判断是否存在异常。 该方法的缺点是不具有实时检测的能力，实时性是异常检测系统能否实用性的一 个关键。p b a r f o r d 等提出把网络流量进行多尺度小波分解，并重构综合成高、中、 低三个频段分别用偏离分数进行检测的方法【1 5 1 。该算法能够很好的检测出过去一 段时间内发生的短时突发异常。该方法的缺点是没有很好的解决小波检测尺度的 自适应选取，以及实时检测的问题。s e o n gs o ok i m 等提出了根据分析在边界路由 器中出口流量的目的p 地址，进行流量异常检测的方法f 1 6 1 。其他的还有l a nl i 提 出的一种基于小波分析的能量分布方法【l 丌，用于检测d d o s 攻击，研究发现当流 量被d d o s 攻击影响时，能量分布的方差区别明显。 最后是魏格纳维利分布的分析方法，单纯的时域分析或频域分析都仅从一个 侧面对流量信号进行了分析，不能全面反映流量信号的异常情况。孙钦东和张德 运等人【l 明用魏格纳一维利分布对流量信号进行变换，获得了在时间和频率二维平 面内的波动能量分布，同时进行时域和频域的分析，实现了d d o s 攻击自动检测。 1 4 2 异常检测的方法 本节将对当前研究的各种异常检测方法进行讨论。目前研究异常检测的主要 方法有统计分析、机器学习、贝叶斯技术、神经网络、模式识别、特征选取、免 疫系统、遗传算法、序列匹配、数据完整性等。它们的思想都是首先建立系统正 常的行为轮廓，通过测量值与建立的正常轮廓比较，超过一定的范围或门限，则 发生报警。检测效果的好坏和建立的正常轮廓有很大关系。下面我们对几种典型 的异常检测方法分别介绍。 ( 1 ) 基于统计的异常方法 基于统计的方法是常见的异常检测方法，它利用成熟的统计理论，对系统各 个参数的样本不断的统计或实时采样，形成正常的轮廓。典型的统计方法有平均 值，方差，时序法，马尔科夫模型法等。当实时统计的测量值偏离正常值一定的 范围后，就认为发生异常。 该方法的缺点是很难确定合理的门限，门限设置过高，系统漏报率将会增加， 设置过低，正常的突发业务可能会被误判。选择合理的门限设置方法是基于统计 异常检测方法检测效果好坏的关键，固定门限设置，固定窗口大小设置都各自有 自己的缺点，累计队列门限的设置方法更加有效【1 9 1 。 ( 2 ) 基于数据挖掘异常检测方法 9 电子科技大学硕士学位论文 对于计算机网络来讲，数据挖掘是指从网络的大量审计记录或者数据库中， 提取事先未知的，潜在有用的信息的过程。而基于网络异常检测也是从大量的网 络数据中提取信息，并且发现异常的入侵行为。网络安全领域的研究者，将数据 挖掘技术应用于入侵检测领域，利用数据挖掘中的各种分析方法，比如，序列分 析、关联分析、聚类分析等，提取与异常相关的系统特性，这些信息可以表示为 概念、规律、规则、模式等 2 0 2 3 】，并用这些信息检测已知的入侵行为和异常。 基于数据挖掘的异常检测方法优点是处理的数据量大，能够对数据进行关联 分析。目前可以应用的有k d d 算法，尽管它能处理大量数据，但是对于入侵检测 实时性的要求，该方法还需要改进，需要研究更加有效的数据挖掘算法和相应的 体系结构【2 4 ，2 熨。 ( 3 ) 基于模式预测异常检测方法 根据事件序列的发生不是随机的，而是服从某一种可识别的模式，基于模式 预测异常检测方法其特点是考虑了事件之间相互关系或者顺序。比如，利用时间 规则来识别正常行为的模式，是一种时间推理的方法。该方法是归纳学习产生规 则。规则通常包括两部分，已经发生的事件和接下来可能要发生的事件。如果当 前发生事件与预先定义的模式匹配，而随后的事件不符合，当偏离超过某个阀值， 认为发生异常。 基于模式预测的异常检测方法检测效果的好坏很大程度上依赖规则集的准确 性。规则集的准确性和可信度越高，已发生事件的预测也就越准确，不易产生误 判。该方法信息来源是历史数据，多数基于模式预测的异常检测都是单点异常检 测。 该方法的优点是对用户行为有较强的适应性，适用于不同的网络用户存在较 大差异的、同一用户表现很强的一致性的情形。能够检测试图学习训练系统的攻 击者，有较强的自身防御能力。 ( 4 ) 基于神经网络的异常检测方法 神经网络异常检测是一种通过对训练数据集进行学习，得到正常的行为模式， 使用自适应学习技术提取异常行为。神经网络是由大量模拟神经元的处理单元组 成，处理单元通过具有权值的连接进行信息交互。神经网络本质上是一个输入输 出关系，在此基础上抽象出新的输入输出关系。依据输入数据、处理单元的连接 权值、传递函数就能够得到预测值。 神经网络的基本操作过程如下，神经网络系统将当前命令和当前命令之间的x 个命令作为神经网络系统的输入。其中，x 是神经网络预测下一个命令时所包含的 1 0 第一章绪论 过去命令集的大小。训练神经网络系统采用具有代表性用户的命令序列，该网络 就可形成相应用户的特征，所以，神经网络对下一事件的预测错误率能够反映网 络用户是否存在异常。 目前基于神经网络检测异常的主要方法有：利用自组织映射做基于主机的异 常检测，利用自组织映射和反弹传播神经网络结合的混合检测方法，它们都达到 了较好的检测效果。 基于神经网络的异常检测缺点是神经网络的拓扑结构不稳定，各个处理单元 的权重很难设置，权重的设置好坏是能否达到检测效果的一个重要依据，不能够 检测未知的攻击，优点是不需要对数据做任何假设，能够处理原始数据的随机特 性，实现简单。 ( 5 ) 特征选取的异常检测方法 从一组度量中选取能够检测出异常或攻击的度量，构成子集，进而预测或分 类入侵行为，这就是基于特征选择的异常检测方法。该方法的检测效果好坏的关 键是，在异常行为和入侵行为之间作出正确判断。很难选取合适的度量，因为选 择度量子集依赖于所检测的入侵类型，一个度量集并不能适应所有的入侵类型。 现实中不可能有完备的度量集，必然会存在漏报入侵行为。理想的入侵检测度量 集，必须能够动态地进行判决。假设和入侵相关的度量有刀个，刀个度量则构成2 4 个 子集。由于搜索空间和度量数是一种指数关系，所以搜索理想的度量子集，其计 算量很大，很难满足实时性的要求。 m a c c a b e 【2 叼提出应用遗传方法搜索整个度量子空间，来搜索正确的度量子集。 其方法是通过学习分类器方法，生成遗传交叉算子和基因突变算子，允许搜索的 空间大小比其它启发式搜索方法更加有效。文献【2 7 邡】给出了其它基于特征选择的 异常检测方法。 ( 6 ) 基于应用模式的异常检测方法 通常情况下，攻击者发起的攻击或入侵和其应用有密切的联系。所以，通过 对特定应用行为建模，发现异常入侵行为的方法就是基于应用模式的异常检测方 法。k r u g e l 等人【2 9 】提出一种基于服务相关的网络异常检测方法：根据服务请求类型、 服务请求长度、服务请求数据包大小分布按照不同的比例，计算网络服务的异常 值。其计算表达式公式如下： a = o 3 s 咖+ 0 3 s 砌+ 0 4 s 州 ( 1 6 ) 其中，包和么一分别表示服务请求类型、服务请求长度和服务请求包 的异常值。 电子科技大学硕士学位论文 基于应用模式的异常检测通过现有的各种攻击方法训练异常门限，在实际网 络中实时的测量值检测中和之前确定的异常门限多对比，如果超过了门限就认为 发生了异常。 1 4 3 本文研究思路 本文主要采用分布式异常检测方法来检测网络流量异常。 分布式异常检测作为应对大规模网络攻击的重要方法逐渐成为网络安全领域 的一个研究热点。分布式异常检测通常在整个被监视的网络中配有多个检测点和 一个处理中心，它们协同工作来完成异常检测。 检测点通常情况下有一个门限，作为判断链路流量是否正常的依据，这里的 门限不是一个瞬时值，也不是一个固定时间大小窗口，它是一个队列长度，当在 一段时间内累积的队列大小超过这个长度时，检测点就给处理中心报告自己的情 况，处理中心根据所有检测点的报告情况，判断网络中存在异常。对于低强度的 持续攻击流，正常的突发业务流，采用合理的队列长度作为门限，能够有效的应 对这两种情况。是瞬时门限和固定窗口大小门限无法解决的。 处理中心根据自己的计算，给发送报告的检测点更新它的队列门限，检