（信号与信息处理专业论文）基于模式识别的入侵检测关键技术研究.pdf

基于模式识别的入侵检测关键技术研究 摘要 随着网络技术的飞速发展以及广泛应用，网络安全成了越来越重 要的问题。如何能快速、准确、有效地识别已有的攻击和日益增多的 新的攻击就是入侵检测系统所面临的迫切问题。自从s a n d e e pk u m a r 博士将模式识别技术引入到网络入侵检测中以来，基于模式识别或智 能方法的入侵检测技术得到1 r 迅猛地发展，取得r 令人鼓舞的效果。 相对于传统的入侵检测技术来说，采用模式识别的入侵检测具有检测 准确度高以及能识别大量新型攻击的优点，但是同时也具有计算复杂 度高、难以适应实时入侵检测要求的缺点。本文提出了基于b p 神经 网络分类器的入侵检测模型。由于入侵检测的训练数据具有较高的维 数( 特征数) 和非常大的实例数，因此很有必要对输入到神经网络分 类器的训练数据进行特征压缩和实例压缩。这样就可以大大减少采用 模式识别方法的入侵检测系统的计算开销。为了达到这一目的，本文 对以下几个关键问题进行了研究： 1 、训练数据的特征提取与选择。为了降低神经网络分类器的计 算量，提高分类器的性能，对输入的训练数据进行特征提取与选择。 本文对特征提取与选择算法进行了比较深入地研究。 ( 1 ) 首先研究了基于主成分分析( p c a ) 的特征提取方法。在 该方法中，先使用r e l i e f f 算法去除原始特征中与分类无关的特征， 然后再利用p c a 变换提取合适个数的主成分。 ( 2 ) 接着研究了基于启发式搜索的特征选择方法。提出了一种 基于变量相似性的特征选择算法。先使用r c l i e 球算法去除原始特征 中与分类无关的特征，然后利用最大信息压缩准则去除剩下特征之间 的冗余性。 ( 3 ) 然后又把特征选择算法由启发式的搜索方法扩展到非启发 式的进化搜索方法。提出了基于改进遗传算法的特征子集选择方法。 该方法结合了免疫克隆选择算法和简单遗传算法的优点，性能要优于 简单遗传算法。 ( 4 ) 最后提出了一种基于混合稳态遗传算法的特征选择方法。 该方法是在稳态遗传算法的基础上把选择和交义操作算予结合起来。 该算法具有相对低的计算复杂度以及较好的搜索性能的优点。 提的特征提取与选择算法在保持分类器分类性能的同时均有 效地瓜缩j ，训练数据的特征。 2 、训练数据的烈向l l i 缩。虽然特征提取与选择压缩了特征数日， 但由于训练数据拥有太多的实例数，如不对实例进行压缩选择，一方 面会增加分类器的计算开销，另一方面会导致对分类器进行“过训练” 而影响分类效果。本文提出一种基于主成分分析的特征提取以及基于 混合稳态遗传算法的实例选择的双向数据压缩方法。该方法不仅有效 地压缩了行数据( 特征) ，而且也对列数据( 实例) 进行了很好地压 缩。实验结果表明双向数据压缩方法大大降低了分类器的计算复杂 度。 关键词：入侵检测系统模式识别神经网络主成分分析 ( p c a )变量相似性 混合稳态遗传算法免疫克隆特 征提取特征选择实例选择 北京i l i j l 也人学博i 。学位沦文 摘篮 r e s e a r c ho nk e y t e c h n o l o g i e si n i n t r u s i o nd e t e c t i o nb a s e do n p a t t e r nr e c o g n i t i o n a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n ta n dw i d ea p p i i c a t i o n o fn e l w o r k t e c h n o i o g i e s ，n e t w o r ks e c u r i t yi sb e c o m i n gm o r ea n dm o f ei m p o n a n t i t i sav e r yu f g e n tp m b l e mi ni n t m s i o nd e t c c t i o ns y s t e mt h a th o wt o r e c o g n 洫e x i s t i n ga t t a c k sa n di n c r e a s i n g l yn e wa t t a c l 【sr a p i d l y ，e x a c t l y 觚de f f e c t i v e l y t t l ei n t m s i o nd e t e c t i o nt c c h n o i o g yb a s e do np a t t e m r e c o g n i i o n o ri n t e l l i g e n c em e t h o dh a sb e e nd e v e l o p i n gr a p i d l ya n d y i e l d e de n c o u r a g i n ge f f e c t ss i n c ed r s a n d e e pk u m a fi n t m d u c e dp a t t e r n r e c o g n i t i o nt e c h n o l o g yi n t ot h en e t w o r ki n t m s i o nd e t c c t i o n c o m p a r e dt o t r a d i t i o n a li n t n l s i o nd e t e c t i o n t e c h n o l o g i e s ， m o s eb a s e do np a t t e r n r e c o g n i t i o nh a v et h ea d v a n t a g e so f h i g hd e t c c t i o na c c 【l r a c ya n dt h ea b i l i t y t or e c o g n i z em a n yn e wt y p e so fa t t a c k s h o w e v e r ，t h e s em e t h o d sh a v e h i g hc o m p u t i n gc o m p l e x i t ya n df a i ll om e e t t h er e a i t i m ed e m a n d 1 nt h i s t h e s i s ，w ep r e s e n ta ni n t r u s o nd e t e c t i o nm o d e lb a s e do nb pn e u m n n e t w o r kc l a s s i f i e r i ti sn e c e s s a r yt or e d u c eb o t hm en u m b e ro ff e a t u r e s a n di n s t a n c e so ft r a i n i n gd a t ai n p u ti n t ot h en e u f o nn e t w o r kc l a s s i f i e r ，d u e t ol h eh u g ea m o u n to fd i m e n s i o n s ( f 色a t u r e s ) a n di n s t a n c e s b yd o i n gt h i s ， t h ec o m p u t i n gc o s to ft h ei n t n l s i o nd e t e c “o ns y s t e l nb a s e do np a t t e m r e g n i t i o nc a nb ed e c f e a s e ds 谵n i f i c a n t l y t ot h i se n d ，t h ef o l l o w i n gk e y i s s u e sa r es t u d i e di nt h i st h e s i s ： 1 f e a t u r ee x t f a c t i o na n df e a t u r es e l e c t i o no f t r a i n i n gd a t a w ee x t f a c ta n ds e l e c tt h ef e a t u r e so fi n p u t t m i n i n gd a t ai no r d e rt o l i i 北_ l ；( 1 i i i ；l u 人学埘i 学位论史 捕悭 d e c r e a s et h ec o m p u t i n gc o s t sa n di m p r o v et h ec l a s s i f i e rp e r f o m l a n c e w e s t u d ya l g o r i l h m so ff 色a t u r ee x t r a c t l o na n ds e l e c t i o nd e e p l y ( 1 ) f i r s t l y ，t h ef 色a t u 陀e x t r a c l i o n m e t h o db a s e do np r i n c i p a l c o m p o n e n ta n a l y s i s ( p c a ) i ss t u d i e d i nl h i sm e t h o d ，r e i i e f fa l g o r i l h mi s u s e df i r s t l yt or e m o v et h ec l a s s i f y i n gi r r e l e v a n tf e a t u r e sf r o mt h eo r i g i n a l f e a t u r es e fa n dt h e np c ai s a p p l i e dl oe x i r a c ts u i t e dn u m b e r sp r i n c i p a l c o m p o n e n t s ( 2 ) t h e nt h ef e a t u r es e l e c t i o nm e c h o db a s e do nh e u r i s t i cs e a r c hi s i n v e s t 遮a t e d af e a t u f es e l e c t i o na l g o r i l h mb a s e do nv a r i a b l es i m i l a f i t yi s p r o p o s e d r e l i e f fa l g o r i t h m i su s e df i r s t l yt or e m o v et h ec l a s s i f y i n g i r r e l e v a n tf e a t u r e sf r o mt h e o r i g i n a l f e a c u r es e ta n dt h e nt h em a x i m a l i n f o r m a t i o nc o m p r e s s i o ni n d e xt ob e u s e df o r g e t t i n g i do fi h e r e d u n d a n c ya m o n gt h er e m a n e n if e a t u r e s ( 3 )a n dt h e nt h ef 色a t u r es e l e c t i o na l g o r i t h mi se x c e n d e df r o mt h e h e u r i s t i cs e a r c hm e t h o dt oan o n h e u r i s t i ce v o l u f i o ns e a f c hm e t h o d a m o d i f i e d 星r e n e t i ca l g o r i t h mb a s e df e a t u r es u b s e ts e l e c t i o nm e t h o di s p f o p o s e d t h i sm e t h o dc o m b i n e st h em e r i to fi m m u n ec l o n a ls e l e c t i o n a l g o r i t h ma n ds i m p l eg e n e t i ca l g o r i t h m ，a n dt h ep e r f o n n a n c eo ft h e p r o p e s e dm e t h o di sb e t t e rt h a nt h es i 唧l eg e n e t i ca l g o r i t h m ( 4 ) f i n a h y ，w ep r o p o s eaf e a t u r es e l e c t i o nm e t h o db a s e do n c o m b i n e ds t e a d y - s t a t e g e n e t i ca l g o r i t h m ( c s s g a ) t h i sm e t h o di s c o m b i n e st b es e l e c t i o n o p e f a t o r a n dc m s s o v e fo p e r a t o rb a s e d0 n s t e a d y s t a t eg e n e t i ca l g o r i t h m t h ep r o p o s e da l g o r i t h mh a st h em e r i t so f l o wc o m p u t i n gc o m p l e x i t ya n db e t t e rs e a r c hp e r f b r m a n c e t h ep r o p o s e df e a t u r ee x l r a c t i n ga n ds e l e c f i o na l g o r i i h m sc a nf e d u c e t b en u m b e ro ft r a i n i n gd a t af e a t u r e s e f f b c t i v e l y w h i l e k e e p i n g t h e p e r f o r m a n c eo f d a s s i f i e r 2 r e d u c i n gt h et r a i n i n gd a t ai nt w od i r e c t i o n s a l t h o u g hf e a t u r ee x t r a c t i o na n ds e l e c f i o na l g o r i t h m sr c d u c ef e a t u r e d i m e n s i o n s ，i ti ss t i l ln e e d e dt os e l e c ci n s t a n c e so t h e r w i s et o om a n v i n s t a n c e si nt r a i n i n gd a l aw i l li n c r e a s et h ec o m p u t i n gc o s to ft h ec l a s s i f i e f a n dg i v er i s et oo v e r t r a i n i n gw h i c ha f ：l e c st h ec l a s s i f i c a t i o np e d 0 r m a n c e i nt h i sf h e s i s ，w ep m p o s eap c ab a s e df e a t u r ee x t r a c t i o na i l dc s s g a b a s e di n s t a n c es e l e c t i o nm e t h o d ，w h i c hi sab i d i r e c t i o n a ld a t ar e d u c t i o n l v 毗棚f i u 人学啡i 学化沦文 摘蛭 a l g o “t h m t h em e t h o dn o fo n l yr e d u c e sr o wd a t a ( f e a t u 陀s ) e f 诧c t i v e i y ， b u ta i s or e d u c e sc o l u m nd a t a ( i n s t a n c e s ) w e l l t h er e s u l t so fe x p e r i m e n t s i n d i c a t et h a tt h eb i d i r e c t i o n a ld a i ar e d u c t i o nm e t h o di sa b i et od e c r e a s e t h ec o m p u c i n gc o m p l e x i t yo ft h ec i a s s i f i e rv a i i d l y k e yw o r d s ：i n t r u s i o nd e t e c t i o n s y s t e m p a t t e mr e c o g n i t i o n u r a ln e t w o r k s p r i n c i p a lc o m p o n e n ta n a l y s i s v a “a b l e s i m i l a r i t y c o m b i n e ds t e a d y s t a t eg e n e t i ca l g o r i t h m i m m u n e c l o n a l f e a t u r ee x t r a c t i o nf e a t u r es e l e c “o nl n s t a n c c s e l e c t i o n v 创新性声明 本人声明所呈交的论文是本人在导师指导_ f 进行的研究一l ：作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中刁i 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学何论文与资料若有不实之处 本人签名：差! 缱 本人承担切相关责任。 | = 1 期：圣! ! 墨：占2 乙 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期问论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。 本学位论文不属于保密范围，适用本授权书。 本人签名：基盘室 导师签名：辱j 0 一 r 期：幻。占6 乙z ， r 期：型：型 北京邮i 毡人时十学位论丈 第一章绪论 1 1 本文研究背景 计算机联网技术的发展改变了以唯机为l j 的计算模式。f | i 是，网络入侵的风险性 和机会也相应地急剧增多。设计安全措施来防范末经授权访问系统的资源和数据， 是当前网络安全领域的一个十分重要而迫切的问题。入侵检测就是在这样的背景 下产牛和发展起来的一种网络安全技术。具体来说，入侵检测就是对网络系统的运 行状态进行监视，检测发现各种攻击企罔、攻击行为或攻击结果，以保证系统资源 的机密性、完整性和可用性“】。入侵检测是对传统安全产品的合殚补充，帮助系统 对付网络攻击扩展了系统鸽：理员的安全毹理能力( 包括安全审计、监视、进攻识 别和响应) ，提高了信息安全基础结构的完整性。它从计算机网络系统中的若干关 键点收集信息，并分析这些信息，看看网络中是否有违反安全策略的行为和遭到袭 击的迹象。入侵检测被认为是防火墙之后的第二道安全闸门，在不影响网络性能的 情况下能对网络进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。 这些都通过它执行以下任务来实现。”： 监视、分析用户及系统活动； 系统构造和弱点的审计： 识别反映已知进攻的活动模式并向相关人士报警； 异常行为模式的统计分析； 评估重要系统和数据文件的完整性： 操作系统的审计跟踪锊理，并识别用户违反安全策略的行为； 1 1 1 入侵检测系统分类 按系统所监测的对象分类有如下三种入侵检测系统：基于丰机的入侵检测系统、 基于网络的入侵检测系统和分布式入侵检测系统”“”“”1 。 1 基于手机的入侵检测系统( h o s t - b a s e di n t f u s i o nd e t e c t i o ns v s t e m ：h i d s ) ： 基于丰机的入侵检测一般监视w i n d o w s n t 上的系统、事件、安全日志以及 u n i x 环境中的s y s i o g 文件。一旦发现这些文件发牛任何变化，入侵检测将比较新 北京邮电人学m 十“位论文第审绪论 的日志记录与攻击筝名以发现它们是否i 旭配。如果p 配的活，检测系统就向毹 唯负 发出入侵报警并发应采取的相应的 j ：动。 举于手机的入侵检测系统不受加密传输的影响，它能够了解被监视辛机应用层 的活动细节，有效地榆测出发牛在应用层的入侵活动，并h 可以了角犁某一层入侵行 为是否最终成功。f u 它通常作为用户进程运行，具正常运行依赖于操作系统底层的 支持，与系统的体系结构有关，同时，熟练的入侵者能够篡改这些进程，关闭监控 进程，推迟日志机制，甚至更换系统核心而逃避检测。 摹于丰机的入侵检测系统的丰要优点包括： 1 ) 可以精确地判断入侵事件。 2 ) 可以检测出基于网络的入侵检测系统检测不到的攻击。 3 ) 不受网络信息流的加密和交换网络使用的影响。 4 ) 可以检测到特洛伊木马和其他破坏软件完整性的攻击。 5 ) 接近实时的检测和应答。 6 ) 不需要额外的硬件。 仙基于丰机的入侵检测系统也有如下的一些缺点： 1 ) 丰机入侵检测系统会降低应用系统效率，同时会带来一些额外的安全问题。 2 ) 需要系统提供大量的存储空问。 3 ) 会遭受拒绝服务攻击( d o s ) 而失效。 4 ) 不能检测针对网络发起的多点攻击。 5 ) 本身难于竹；殚且易受攻击。 6 ) 全而布署该系统代价较大企业中很难将所有卡机用该系统进行保护，只能 选择部分手机保护。 2 基于网络的入侵检测系统( n e t w o r k - b a s c di n t r u s i o nd e t e c t i o ns v s t e m ：n i d s ) ： 基于网络的入侵检测系统用于监视网络数据流，网络适配器可以接收所有在网 络中传输的数据包，并提交给操作系统或应用程序进行分析。这种机制为入侵检测 系统提供了必要的数据源。 与丰机系统相比较而言，这类系统对入侵者是透明的，入侵者本身不知道有入 侵检测系统存在。由于这类系统并不需要丰机提供严格的审计，因而对丰机资源消 北康邮l 乜人宁i 啡i ? 位比史 ；i ；审绪论 耗少， l i1 ：例络i 办议足标准的，它可以提供对删络通用的保护而无需考虑异构 f i 机小| j i ：j 架构。 坫j _ ：网络的入侵检测系统f 要具订如卜- 优点： 1 ) 只要很少的系统资源就可以监视一个很大的州络。 2 ) 该系统在网络上的布署对现存的网络影响小。 3 ) 该系统具有较强的抗攻击性，并且可以很细致地提供对实时网络的监视。 4 ) 能检测出未成功的攻击企图。 5 ) 具有独立的操作系统。 同时，也具仃下列。熙缺点： 1 ) 随着所监视的网络的规模和繁忙程度的增加，基于网络的入侵检测系统工作 越来越嗣难。 2 ) 该系统只能检测与它直接相连的网段的通信，不能检测出位于不同网段的网 络包。 3 ) 该系统处理加密的会话过程比较困难。随着攻击技术的发展，这个问题变得 越来越严重。 4 ) 入侵检测的精确度比较差。 3 分布式入侵检测系统( d i s t 曲u t e di n t m s i o nd e t e c t i o ns v s t e m ：d i d s ) ： 分布式入侵检测系统可以检测针对分布式网络的攻击，并且该系统也可以使用 分布式的方法来检测分布式的攻击。关键技术为检测信息的协同处理与入侵攻击的 全局信息提取。 分布式入侵检测系统的优点为： 1 ) 将信息的收集和入侵的判断功能分散到整个网络的多个检测点上，大大节省 了信息传递的开销。 2 ) 能针对分布式网络环境的特点，采用分层的方式对其中的入侵进行检测，并 进行相互协作。 该系统的弱点丰要有： 1 ) 由于设置多个检测点，因此在这些检测点之间传递安全消息增加了通信的风 险，同时也增加了系统销理的复杂度。 北永邮l 乜人学怫 “：位l 史 第尊绪论 2 ) 需要增力多的软件或硬件实体，加大了系统的投入。 1 1 2 入侵检测方法 入侵枪测方法卜要分成两犬类鹎：异常榆测利误用榆测。异常榆测是指能够根 抛昴f k 玎为羽l 使川”竹机资源情况枪测出来的入侵。忧点是1 ；依赖丁攻t l 捭 征，五 足于受检测的日标发现入侵行为。误用入侵检测是指根据已知的攻击特征检测入侵， 可以直接检测出入侵行为。误用入侵检测的优点是误报牢低，可以发现已知的攻击 行为。下而分别对两种入侵检测方法做一个简单的介绍”。 1 异常入侵枪测： 1 ) 肇r 贝nj 斯推理的异常检测方法 基于贝叶斯推弹的异常检测方法，系指在任意给定的时刻，测量4 ，以，4 变 量值，推i 单判断系统是否发牛入侵行为。其中，变量4 表示系统某一方面的特征， 例如磁盘i o 的活动数量、系统中页面出错的数h 等。假定变量爿可以取两个值：l 表示异常，o 表示正常。令威示系统当前遭受入侵攻击。每个异常变量4 的异常可 靠性和敏感性分别用p 一l ，j ) 和p 一1 一j ) 表示。于是，在给定每个4 值的条 件下，由贝n f 斯定理得出的可信度为： “州z ，- ”4 f ) _ p 一z 以而鸶与 ( 1 _ ” r v l ，“2 ，几* ， _ 萸中，要求给出，和，的联合概率分布。假定变量4 ，爿：，4 之间相互独立， 则有攀警矬；尝翼艘 ( ， p ( 1 ，4 ，一：，4 ) p ( 1 ，) 丌：。p ( 4 一，) 因此，根据各种异常测量的值、入侵的先验概率、入侵发牛时每种测量得到的异常 概率，能够判断系统入侵的概率。仙是为了保证检测的准确性，还需要考查各测量丘 之间的独立性。与之相关的入侵检测方法有： 贝叶斯网络异常检测方法。通过建立异常入侵检测贝n i 斯网络，然后将其用 作分析异常测量结果。 贝叶斯聚类异常检测方法。通过在数据序列中发现不同类别的数据集合，定 北京邮电人学时十学位论史 第带绪论 义基本冈粜机制的同属类，以此区分异常用，1 ，类，进而推断入侵事件的发， i 米榆洲 异常入侵行为。 特征选择异常检测方法。通过从组度量t i l 选择能检测出入侵的度量构成r 集，来准确地预测或分类已检测到的入侵。 模式预测异常检测方法。根据观察到的用户行为，侧重考虑事件的序列发其 相可关系，归纳产牛出一套规则集来构成用户轮廓框架，以此判别检测的事件是否 背离根据规则预测到的事件。 2 ) 基于数据挖掘的异常检测方法 计算机联网导致大量审计记录，俩且审计记录大多数以文件形式存放( 妞u n l x 系统中的s u l o g ) 。因此，单纯依靠人工方法发现记录中的异常现象是闻难的，难 以发现审计记录之间的相互关系。k e 和s t o i f 0 将数据挖掘技术引入入侵检测领域， 从审计数据或数据流中提取感兴趣的知识“”1 ，并用这些知识检测异常入侵和已知 的入侵。这种方法的优点是，适于处理大量数据。f u 是，对于实时入侵检测，这种 方法还需要加以改进，需要开发出有效的数据挖掘算法和相应的体系。数据挖掘的 优点在于处理大量数据的能力与进行数据关联分析的能力。因此，基于数据挖掘的 检测算法将会在入侵预警方面发挥优势。 3 ) 基于神经网络的异常检测方法 基于神经网络的异常检测方法是用一系列信息单元( 命令) 训练神经单元，这 样在给定一组输入后，就可能预测出输出。与统计理论相比，神经网络更好地表达 了变量问的非线性关系，并且能自动学习和更新。用于检测的神经网络模块结构大 致是：当前命令和刚过玄的w 个命令组成了网络的输入，其中w 是神经网络预测下 一个命令时所包含的过去命令集的大小。根据用户的代表性命令序列训练网络后， 该网络就形成了相应用户的特征表，于是网络对下一事件的预测错误率在一定程度 上反映了用户行为的异常程度。神经网络方法的优点是能更好地处拌原始数据的随 机特性，并且有较好的抗干扰能力。缺点是网络的拓扑结构以及各元素的权重很难 确定，命令窗口w 的大小也难以确定。 2 误用入侵检测： 1 ) 基于专家系统的误用检测方法 北京邮电人学博十学位论文第瓤绪论 专家系统是璀f 知t ! 的检测中运用最多的利，疗法。将有关入侵的知i = 转化为 i f t h e n 结构的规! f l 【l ，即将构成入侵所要求的条仆转化为i f ! ；i f 分，将发现入侵后采耿 的相应措施转化成t h e n 部分。当其中某个或某部分条件满足时，系统就判断为入侵 行为发牛。其中的j f - t h e n 结构构成了描述具体攻击的j ! l l 则库，状态行为及其语义王1 、 境可根据审计事件得到，推理机根据规则和行为完成判断e 作。 由于存在效率和全面性问题，专家系统一般不用于商业产品中。 2 ) 基于状态迁移分析的误用检测方法 状态迁移分析方法将攻击表示成一系列被监控的系统状态迁移。以状态图表示 攻击特征，不同状态刻画了系统某时刻的特征。初始状态对应于入侵开始前的系 统状态，危害状态对应于已成功入侵时刻的系统状态。初始状态与危害状态之间的 迁移可能有一个或多个中间状态。攻击者执行一系列操作，使状态发牛迁移，可能 使系统从初始状态迁移到危害状态：因此，通过检查系统的状态就能发现系统中的 入侵行为。 3 ) 基于规则的误用检测方法 基于规则的误用检测方法( m l e b a s e dm i s u s ed e t e c t i o n ) 是指将攻击行为或入侵 模式表示成一种规则，只要符合规则就认定它是一种入侵行为。s n o n 入侵检测系统 就采用了基于规则的误用检测方法。该方法按规则组成方式分为两类：向前推理 规则。根据收集到的数据，规则按预定结果进行推理，直到推出结果时为止。这种 方法优点是，能够比较准确地检测入侵行为，误报家低。缺点是，无法检测未知的 入侵行为。向后推理规则。由结果推测可能发牛的原因，然后再根据收集到的信 息判断真正发牛的原因。优点是可以检测未知的入侵行为，缺点是误报牢高。 1 1 3 入侵检测存在的问题 作为一个新的技术，入侵检测技术仍然处在初级阶段，因此会存在很多问题。 目前的入侵检测系统丰要存在以下几个方面的问题”“”“”1 ： i ) 存在过多的报警信息。即使在没有直接针对入侵检测系统本身的恶意攻 击时，入侵检测系统也会发出大量报警。 2 ) 入侵检测系统自身的抗强力攻击能力差。入侵检测系统的智能分析能力 第争绪论 越强，处理越复杂，抗强力攻击的能力就越羞。日前入侵捡测系统的设 计趋贽足越来越多地追踪和分析l 叫络数搬流状态，使系统的智能分析能 力得到提高，f u 由此0 i 起的弊端难系统的健壮性被削弱，并且对商带宽 网络的适麻能力有所下降。 3 ) 缺乏检测高水平攻击者的有效于段。现有的入侵检测系统一般都设置了 阈值，只要攻击者将网络探测、攻击速度和频率控制在闽值之下，入侵 检测系统就不会报警。 4 ) 缺少伸缩性，当今大多数入侵检测系统都是一个整体，扩充新的枪铡模 型和规j i ! i j 常常是一件闻难的事情。 5 ) 缺少可_ 操作性，不同的入侵检测系统无法进行有效的信息交可，难以整 合在一起进行 办剐防御。 从总体上讲，目前除了完善常规的、传统的入侵检测技术外，应重点加强与统 计分析等智能技术相关的研究。 为增强对未知攻击的防御能力，入侵检测系统智能性的提高成为入侵检测技术 发展的一大趋势。如何在入侵检测系统中充分利用成熟的人工智能和模式识别技术， 设计出具有自适应能力、自学习能力的智能入侵检测系统已成为研究的热点“”。 入侵检测的基本功能就是信息收藏、分析并作出判断。 u 由于网络中异种平台、 网络配置、用户知识层次以及攻击方法的不同等因素造成网络中的信息纷繁复杂， 因此一个入侵检测过程同时也是一个复杂的信号处理、识别过程。在入侵检测系统 设计中，可以充分利用许多成熟的信号处理与控制理论技术。如专家系统、神经网 络技术以及遗传算法等模式识别技术”。 目前，尽竹已经有智能体系、神经网络以及遗传算法应用在入侵检测领域， u 这些只是尝试性的研究工作。需要对智能化的入侵检测系统进一步研究，以解决其 自学习与自适应能力”3 ，使其不f u 能更准确地识别出入侵而且能识别出更多的新型 入侵。 因此，目前入侵检测存在的最大的问题就是如何使入侵检测系统具有一定的“智 能”。具体地说，即首先入侵检测系统通过学习已有的攻击和正常数据的行为，然 后能比较准确地识别出即将进入系统的数据是正常数据还是攻击。 北京i l l | j 电人中博 ：学位论文第啦绪论 1 1 4 入侵检测发展方向 存入侵检测技术发展的同时，入侵技术也在更新。h 前对入侵检测技术丰要有 以f j l 个研究方向”“1 。 i 体系结构向分布式演变以及通用入侵榆测架构 入侵检测系统的结构大致可以分丰机型、网络型和分布型二种。丰机型和网络 型入侵检测系统是集中式系统，f u 是，随着网络系统的复杂化和大型化以及入侵行 为所具有的协作性，传统的入侵检测系统对异构系统及大规模的网络的监测明显不 足。入侵检测系统的休系结构由集中向分布式发展。随着攻击行为的变化，对入侵 检测系统提出了更高的要求。不剐的入侵检测系统之间通过共享信息， 办同检测复 杂的入侵行为。因此需要发展通用入侵检测架构。 2 应用层入侵检测 许多入侵的语义只有在应用层才能弹解，而日前的入侵检测系统仅能检测如 w e b 之类的通用办议，而不能处理如l o t u sn o t e s 、数据库系统等其他的应用系统。 许多摹于客户、服务器结构与中间件技术及对象技术的大型应用，需要应用层的入 侵检测保护。已有研究者对基于c o r b a 的入侵检测系统进行研究。 3 智能入侵检测 入侵检测方法越来越多样化与综合化，尽辑已经有智能体、神经网络与遗传算 法在入侵检测领域的应用研究，似是这只是一些尝试性的研究工作，需要对智能化 的入侵检测系统加以进一步地研究以解决其自学习与自适应能力。 4 入侵检测的评测方法 用户需要对众多的入侵检测系统进行评价，评价指标包括入侵检测系统的检测 范围、系统资源的占用、系统自身的可靠性与鲁棒性。从而设计通用的入侵检测测 试与评估方法与平台，实现对多种入侵检测系统的检测已经成为当前入侵检测的另 一个重要的研究与发展领域。 5 与其他网络安全技术相结合 结合防火墙、p k i x 、安全电了交易s e t 等新的网络安全与电了商务技术，提 供完整的网络安全保障。 8 北京邮也人学蚺十学位论文 第啦绪论 6 丽向i p v 6 的入侵检测 1 前绝大多数入侵枪测系统是面向i p v 4 的。l p v 6 是针对l p v 4 地址卒问有限利安 全性i i 够衙提出的。随着l p v 6 应用范围的扩胜，入侵检测系统支持l p v 6 将是大发 展趋势。l p v 6 扩展了地址窄问， 办议本身提供加密和认证功能，睡l 此，面向l p v 6 的 入侵检测系统手要解决如下问题： 大规模网络环境下的入侵检测：由于l p v 6 支持超大规模的网络环境，面向 l p v 6 的入侵检测系统要解决大数据量的问题，需要融合分布式体系结构和高性能计 算技术。 认证和加密情况卜的网络监听：l p v 6m 议本身支持加密和认证的特点，极 大地增加了面向i p v 6 的入侵检测系统监听网络数据包内容的难度，极端情况下，甚 至需要首先获得通信双方的会话密钥。面向l p v 6 的入侵检测技术是未来几年该领域 研究的丰流。 1 1 5 基于模式识别入侵检测的优点 虽然入侵检测技术已经发展了2 0 多年，但是由于其难度较大，现有的入侵检测 系统仍然不够成熟，入侵检测系统在识别精度以及识别新型攻击方面仍然存在很多 问题。为了解决上述问题，模式识别技术在入侵检测中的应用成为现在研究的热点。 应用模式识别技术对于改善入侵检测系统的识别精度利识别能力有着重要的作用。 在入侵检测中得到应用的模式识别技术很多，常用的有统计方法、专家系统、 神经网络、数据挖掘等。 基于模式识别的入侵检测技术与传统的入侵检测技术相比具有如下的优点 4 l 、基于模式识别中统计方法的入侵检测系统可以快速准确地对入侵作出判断。 该方法首先选取合适的统计量，然后每隔一段时间对系统数据进行采样，同时分析 该统计量的概率分布特性。将多个统计量联合分析，最终得出的是当前状态的评价 值，当该评价值超过系统预设的闽值，表明可能存在入侵行为。采用均值、方差、 协方差等统计量进行分析判断，可以合理地舍弃大量原始数据，节省了系统资源， 加快了识别速度。 北京邮电人学搏十学位论文第章绪论 2 、犟丁- 模式泌别巾神经网络方法的入侵检测系统具订如i = _ 优点。 ( 1 ) 神经网络可以用于4 i 精确的模型。mj ：神经刚络具柯自适应、自组织利自 学习能力，因而可以处理一些诸如环境信息复杂、领域知识不祥的问题。毖至i l 】以 允许样本有较大的缺陷和不足。 ( 2 ) 基于神经网络的检测方法具有普适性，町以对多个用户采用相同的检测措 施。 ( 3 ) 基于神经网络的检测方法不必对大量的数据进行存取，精简了系统。 3 、幕于模式识别中数据挖掘技术的入侵检测系统可以从大量的审计记录中发现 异常现象，从而识别出攻击行为。该方法可以处理传统入侵检测技术所不能处弹的 大数据量。同时基于数据挖掘的方法还可以根据以前的数据来预测当前的数据是正 常的还是异常的。因此该方法可以有效地用于入侵检测系统的预警。 基于模式识别的入侵检测系统还具有一些其他的优点，就不一一列出了。总的 说来，识别精度高、能识别出大量的新型攻击是其最大的优点。 1 2 本文研究内容 1 2 1 需要研究的问题 虽然基于模式识别的入侵检测已经研究了很长时间，取得了很多成果，f u 仍有 一些问题需要进一步研究。丰要体现在： 1 、特征选择 由于入侵检测数据的特征维数比较高，如果不对特征进行选择，会使整个入侵 检测系统的计算量很大。这样就会影响到系统的执行效枣。目前虽然在这方面开展 了很多研究，f u 很大一部分都是基于传统的单个特征评价体系的特征选择。虽然也 出现了诸如遗传算法等随机搜索方式的特征了集选择方法， u 采用的都是最普通的 算法，在执行效率方面存在问题。 2 、实例选择 入侵检测数据不仅具有较高的特征数，而且往往也包含有非常多的记录( 或称 为实例) 。如果入侵检测系统直接使用这些数据进行训练，就会产牛巨大的计算开 销。同时由于实例数太多也会使系统对训练数据产牛“过适应”现象。因此有必要 北柬邮i 也人中聃十牛位论文 第一章绪沧 进行实例选择。 前这方而的研究还比较少， 方法。这些方法虽然町以有效地缩减实例数， 牛比较大的影响。 1 2 2 研究方法 t l i i ；本i ：采用的都是暴于聚类或采样等 f l 】对于入侵检测系统的识别精度会产： 模式识别包含了很多的方法和技术，在本文卡要采用了丰成分分析方法、变量 相似性准则、免疫克隆选择算法以及稳态遗传算法对特征选择或提取以及实例选择 进行研究。 1 、丰成分分析方法( p r i n c i p a lc o m p o n e n ta n a l y s i s ：p c a ) 丰成分分析方法是一种窄问变换方法。该方法把原始的数据空间变换到特征空 间中，f u 变换前后的信息量是一样的。然后通过使用变换后的几个丰要的成分来代 替原始的特征信息( 这一过程中信息会有所损失) ，从而可以起到降维的目的。本 文把卡成分分析方法用在特征提取中，与传统的特征选择方法相比，基于丰成分的 特征提取方法在保证识别精度的同时具有更快的速度。 2 、变量相似性准则 常用的变量相似性准则是线性相关系数准则。该准则对变量的缩放是不敏感的， 这一性质对特征选择会产牛负面影响，因而我们选用另一种变量相似性准则一一最 大信息压缩准则，该准则不仅对变量的缩放是敏感的，同时对变量的旋转是不变的。 由于最大信息压缩准则具有优良的特性，本文中将它作为特征选择算法中女儿余特 征的准则。 3 、免疫克隆选择算法 有机体内的免疫细胞的多样性能达到这种程度，当每一种抗原侵入机体都能在 机体内选择出能识别和消灭相应抗原的免疫细胞克隆，使之激活、分化和增殖进 行免疫应答以最终清除抗原，这就是免疫克隆选择思想”“。免疫克隆的实质是在一 代进化过程的候选解附近，依据亲和度的值，产牛一个变异解的群体，扩大了搜索 范围，有利于防止进化早熟和陷于局部最优。 本文结合免疫克隆选择算法以及遗传算