（计算机系统结构专业论文）网络入侵异常检测的统计方法研究.pdf

r e s e a r c ho ns t a t i s t i c a ld e t e c t i o n m e t h o d sf o ra n o m a l yn e t w o r k i n t r u s i o nd e t e c t i o n at h e s i s s u b m i t t e di np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t f o rt h em s d e g r e ei nc o m p u t e rs c i e n c e b y w a n gh a o p o s t g r a d u a t ep r o g r a m d e p a r t m e n to fc o m p u t e r s c i e n c e c e n t r a lc h i n an o r m a lu n i v e r s i t y s u p e r v i s o r ：z h a oe r d u n a c a d e m i ct i t l e ：a s s o c i a t ep r o f e s s o r s i g n a t u r e批d a p p r o v e d a p r i l 2 0 1 1 ： 硕士学位论文 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者张聪 日期：力矾( 年月f e l 学位论文版权使用授权书 学位论文作者完全了解华中师范大学有关保留、使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属华中师范大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅和借阅； 学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手 段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密，在年解密后适用本授权书。 非保密论文注释：本学位论文不属于保密范围，适用本授权书。 作者签名：砂劳 日期- 少【1 年6 月f 日 导师签名：灰心荻 日期：伽纠年6 月1 日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库 中全文发布，并可按“章程 中的 规定享受相关权益。圃童论塞埕銮蜃溢蜃! 旦圭生；旦= 生；旦三生筮查! 作者签名：荔 日期：驯年6b 日 导师签名：- 4o 九导师签名： ，r 、歌l 日期：扫l f 年6 月1 日 摘要 随着互联网进入生活的各方各面，网络入侵也日益成为人们面临的安全问题。 因此，有效地检测到网络入侵行为具有十分重要的意义。网络入侵检测方法分为基 于特征的入侵检测和异常行为检测。基于特征的检测主要针对已知的攻击行为，异 常行为检测则是通过网络的异常来实现检测。但目前的方法，都存在着误报警率高 的问题。对未知入侵行为的有效检测一直是人们研究的热点问题。 网络的异常行为可能是因为攻击，也可能不是因为攻击，但对网络正常运行来 说，都是值得注意的。本文采用统计的方法来对异常行为进行检测，而不检测出现 何种攻击；论文首先对正常行为的网络实验数据进行统计采集，获得正常行为的统 计特征参数；然后统计分析含有入侵的数据，获得入侵行为影响到的主要特征参数； 提出采用参数检验的方法和基于距离判别的方法来实时检测异常行为，并通过实验 数据进行检验。 主要的研究包括： ( 1 ) 介绍了在网络入侵检测系统中广泛应用的l i n c o l n 实验室的网络入侵的 数据集；探讨和研究了s n o r t 等网络入侵检测系统，并设计了采集网络入侵数据集 的算法：分析了网络入侵的主要方式，并对数据集中出现的网络入侵进行原理分析， 分析其表现出来的异常统计特征。 ( 2 ) 通过对网络入侵特征的分析，获得一些能够反应网络入侵的统计特征参数， 确定了需要统计的网络行为统计特征，如i p 流量、i c m p 流量、端口访问量等；利 用设计的采集系统采集正常流量数据，获得正常网络流数据的统计特征；采集含网 络入侵行为的数据集，并对比网络中正常数据流和入侵数据流的的统计特征，证实 了某些统计参数特征能正确反应入侵的行为。 ( 3 ) 提出网络异常行为的参数检验方法，对正常情况下的统计获得正常样本的 经验分布，当某种统计特征数值出现在正常样本经验分布的小概率事件范围时，可 以判断其出现了异常；提出基于距离判别的方法来实时检测异常行为，在综合各种 入侵特征的基础上，给出一组特征组成测试样本向量，对正常情况下各个特征统计 出样本向量的样本均值和样本协方差矩阵，求出检验样本向量是否与正常网络流有 较大的距离，从而判断是否出现了网络异常。 关键词： 网络入侵检测；异常检测；统计特征；参数检验；距离 判别 t 硕士学位论文 m a s t e r st h e s i s a b s t r a c t w i t l lt h ep o p u l a ra p p l i c a t i o ni ns o c i a ll i f e ，t h en e t w o r ki n t r u s i o nb e c o m e sa l l e m e r g e n c yt h r e a t s oi ti ss i g n i f i c a n ti m p o r t a n tt od e t e c tt h en e t w o r ki n t r u s i o ne f f e c t i v e l y t h en e t w o r ki n t r u s i o n sa r ed i v i d e di n t ot w oc a t e g o r i e s ：t h ed e t e c t i o nm e t h o db a s e do n i n t r u s i o nf e a t u r e sa n dt h ea n o m a l yd e t e c t i o n t h ef o r m e ri sa i mt od e t e c tt h ek n o w n a t t a c kb e h a v ea n dt h el a t e ri sb a s e do nt h ea n o m a l yb e h a v i o r so fn e t w o r kf l o w s b o t ho f t h e ma r es u f f e r e df r o mt h eh i g hr a t eo fm i s a l a r m i ti sb o t hw o r t h yo fp a y i n ga t t e n t i o nt of o rt h en e t w o r km a i n t a i n e rw h e t h e rt h e n e t w o r ka n o m a l yb e h a v ei si n t r u s i o no rn o t t 1 1 i st h e s i si sd e v o t e dt od e t e c tt h en e t w o r k a n o m a l y , n o tt od e t e r m i n a t ew h i c ha t t a c kh a sh a p p e n e do re v e nw h e t h e ri ti sa na t t a c k t h et h e s i sf i r s t l yd e s i g n sad a t ac o l l e c t i o nm e t h o df o rt h ee x p e r i m e n td a t a s e ta n do b t a i n s t h es t a t i s t i c a lp a r a m e t e rf e a t u r e su n d e rt h en o r m a lc o n d i t i o na n dt h ei n t r u s i o nc o n d i t i o n n e p a r a m e t e rt e s tm e t h o da n dd i s t a n c ed i s t i n g u i s hm e t h o da r ee m p l o y e dt od e t e c th e a b n o r m a lb e h a v e t h ee x p e r i m e n tr e s u l t sa r eg i v e nb a s e do nt h ef a m o u se x p e r i m e n t d a t a s e t t h em a i nr e s e a r c h e si n c l u d et h ef o l l o w i n ga s p e c t s ： ( 1 ) t h en e t w o r ki n t r u s i o ne x p e r i m e n td a t a s e tf r o ml i n c o l nl a bi si n t r o d u c e d w h i c hi sf a m o u sa n dw i d e l yu s e di nn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m t h ef a m o u si d s s y s t e ms n o r ti sa n a l y s i z e da n dad a t ac o l l e c t i o na l g o r i t h mi sd e s i g n e db a s e do ns n o r t t h e n e t w o r ki n t r u s i o nt h e o r e ma n dt h es t a t i s t i c a lf e a t u r e so ft h e s ei n t r u s i o nb e h a v ea r ea l s o d i s c u s s e d ( 2 ) t h r o u g ht h ea n a l y s i so fn e t w o r ki n t r u s i o nf e a t u r e s t h es t a t i s t i c a lp a r a m e t e r s f o ri n t r u s i o nb e h a v e sa r eo b t a i n e d s u c ha si pf l o w , i c m pf l o w , p o r tv i s i t e dn u m b e ra n d s oo n t h es t a t i s t i c a lf e a t u r e sf o rn o r m a ln e t w o r kf l o wa n da b n o r m a lf l o wa r eo b t a i n e d b yc o l l e c t i n ga n da n a l y s i so ft h ed a t a s e tw i t ht h ed a t ac o l l e c t i o ns y s t e m w i t ht h e c o m p a r i s o nf o rt h es t a t i s t i c a lf e a t u r e sb e t w e e nt h a tf r o mn o r m a lf l o wa n da b n o r m a lf l o w , i ti sp r o v e dt h a tt h es t a t i s t i c a lf e a t u r e ss e l e c t e dc a ni n d e e dr e f l e c tt h ei n t r u s i o n ( 3 ) t h en e t w o r ka b n o r m a lb e h a v ed e t e c t i o nm e t h o db a s e do np a r a m e t e rt e s ti s p r e s e n t e d t h ee x p e r i e n c ed i s t r i b u t i o nf o rn o r m a ln e t w o r kf l o wi sg i v e n w h e nt h e s a m p l ed a t ai sd i s t r i b u t e db e y o n dt h en o r m a lr a n g eo ft h ee x p e r i e n c ed i s t r i b u t i o n ，i tc a n b ed e d u c e dt ob eaa b n o r m a lb e h a v e ad i s t a n c ed i s c r i m i n a t i o nd e t e c t i o nm e t h o di s p r e s e n t e dw h i c hc a nc o n s i d e rs e v e r a ls t a t i s t i c a lf e a t u r e s a tt h es a l t l et i m e t h es a m p l e m e a n sa n dc o v a r i a n c em a t r i xu n d e rt h en o r m a ln e t w o r ke n v i r o n m e n ta r es t a t i s t i c a l l y c a l c u l a t e d t h ed i s t i n g u i s h i n gb e t w e e nt h en o r m a lo ra b n o r m a lb e h a v ea r eb a s e do nt h e d i s t a n c eb e t w e e nt e s ts a m p l ew i t ht h es a m p l em e a nv e c t o r 1 1 k e y w o r d ： n e t w o r ki n t r u s i o nd e t e c t i o n ；a n o m a l yd e t e c t i o n ；s t a t i s t i c a lf e a t u r e ； p a r a m e t e rt e s t ；d i s t a n c ed i s c r i m i n a t i o n i i i 硕士学位论文 m a s t e r st h e s i s 目录 摘要 a b s t r a c t i i 第一章绪论1 1 1 引言。1 1 2 网络入侵检测系统1 1 2 1网络入侵检测的概念l 1 2 2网络入侵检测的分类4 1 2 3网络入侵检测目前存在系统5 1 2 4网络入侵检测系统中存在的问题7 1 3 网络异常行为检测7 1 3 1 异常行为检测的原理7 1 3 2 网络异常检测的研究方法9 1 3 3 网络异常检测的存在的问题l o 1 4 本文的研究内容及组织结构1 1 第二章网络入侵数据的采集及入侵特征分析1 2 2 1 网络入侵数据集的介绍1 2 2 2 网络入侵实验数据采集1 3 2 2 1l i n c o l n 实验室入侵实验数据1 3 2 2 2 数据集的采集方法1 7 2 2 3 数据集的采集及分析示例18 2 3 网络入侵特征分析2 0 2 3 1网络入侵的种类2 0 2 4 本章小结2 3 第三章网络入侵行为的数据统计特征分析。2 4 3 1 协议包的流量特征分析2 4 3 1 1 刻画包流量的统计量及统计方法2 4 3 1 2i p 包流量的特征统计2 4 硕士学位论文 m a s t e r st e s i s 3 1 3i c m p 包流量的特征统计2 5 3 1 4t c p 包流量的特征统计一2 6 3 1 5u d p 包流量的特征统计2 7 3 2 网络来源统计特征分析2 8 3 2 1 不同时间窗内出现的不同i p 的个数2 8 3 2 2 不同时间窗内出现的携带i c m p 的i p 包的不同地址的个数2 9 3 2 3 不同时间窗内出现的携带t c p 的i p 包的不同地址的个数3 0 3 2 4 不同时间窗内m 地址的t c p ，u d p 包不同端口的平均数3 l 3 3 网络行为的统计特征分析- 3 2 3 3 1 不同时间窗内i p 地址的i p 包数的平均数、最大值、最小值3 3 3 3 2 不同时间窗内i p 地址的i c m p 包的平均数，最大值，最小值3 3 3 3 3 不同时间窗内i p 地址的t c p ，u d p 包的平均数3 4 3 3 4 不同时间窗内i p 地址发起连接的t c p 包的平均数，最大值3 5 3 4 网络异常行为对流量的影响3 6 3 5 本章小结3 7 第四章网络入侵行为的统计检测方法3 8 4 1 统计参数检测法3 8 4 1 1 参数检验法的原理3 8 4 1 2 流量异常特征检测3 8 4 1 2 网络来源异常特征的参数检验4 0 4 1 3 异常行为的统计特征的参数检验：4 3 4 2 距离判别的异常检测方法4 5 4 2 1 距离判别的原理4 5 4 2 2 异常检测的原理4 6 4 3 网络异常行为统计检测的分析与探讨4 9 4 4 本章小结4 9 第五章总结5 0 参考文献5 1 在校期间发表的论文、参加的科研项目。5 4 致谢5 5 7 ： 、 硕士学位论文 m a s t e r st l i e s i s 第一章绪论 1 1 引言 互联网已成为我们同常生活中的一部分n 1 。它现在是我们与外界交流的基本工 具，在教育，商业，等许多领域都起着重要作用。特别是企业将互联网的使用作为 它们经营的重要组成部分。企业不仅利用互联网的w e b 、电子邮件应用与他们的客 户沟通，而且客户也会经常计算机通过网络来访问、存储他们的重要信息和专有信 息。这些都有效的帮助企业。但是这也可能非常容易受到攻击，例如窃取数据。这 些风险经常会在网络上发生的。为了防止攻击的发生，设计和提议了很多入侵检测 系统和方案。同时也取得了很大的成就。例如最常用和最著名的基于特征的入侵检 测系统具有较高的检测率和较低的误报率，但是这些攻击在检测未知类型的攻击时 显的无能为力。关于异常检测系统虽然能识别新型的攻击却带来了较高的误报率。 本文提出了基于统计方法的异常检测的方法，旨在提高检测的有效性和减少误报 率。 1 2 网络入侵检测系统 1 2 1网络入侵检测的概念 网络入侵检测系统是为了检测那些未经授权不合法的使用网络上的计算机系 统，例如互联网。网络入侵检测系统最早是由j a m e sp a n d e r s o n 于1 9 8 0 年提出的 n 1 ，他将用户日志进行审计追踪。网络入侵检测系统当今已成为了网络信息安全基 础架构不可分割的一部分。为了能够准确的检测出入侵行为，一些机器学习算法， 如：神经网络，支持向量机，遗传算法，模糊逻辑，数据挖掘等都已经广泛的用于 大型的复杂的动态的数据集来检测已知和未知的入侵行为。入侵检测系统观察由操 作系统按时间顺序记录的活动记录数据集，通过生成规则来区分数据集中正常行为 和异常行为。入侵检测系统用机器学习算法是为了解决分析海量数据和实现性能最 优化的检测规则。入侵检测系统检测电脑上的攻击然后向计算机应急响应小组发出 警报。异常检测系统检测那些没有在系统活动数据集中出现过的新的攻击，并将它 分类为正常的或异常的。当今一个重要的挑战是发展自适应的入侵检测系统来提高 识别率，减少误报。 1 入侵检测系统历史回顾“1 硕士学位论文 m a s t e r st h e s i s 1 9 8 0 年，入侵检测系统的概念在a n d e r s o n s 论文中被首次提出，在他的论文 中他介绍了记录一些计算机中重要信息，这些重要信息是在跟踪滥用行为和用户的 行为得到的。这些工作是基于主机的入侵检测系统的开端。1 9 8 6 年d o r o t h yd e n n i n g 博士发布了揭示商业入侵检测系统所需要的一些重要信息的模型。1 9 8 8 年，m u l t i c s 入侵检测系统和报警系统发布，该系统是一个使用p b e s t 和l i s p 开发专家系统。 同时h a y s t a c k 也制定了使用统计计数来减少审计记录。1 9 8 9 年，基于统计分析的 异常检测系统1 i s d o m s e n s e 问世，该系统是基于统计分析来构建规则库然后用 这些规则来检测异常。1 9 9 0 年，h e b e r l e i n 第一次提出了网络入侵检测系统的概念、 网络安全监控的发展前景和混合式入侵检测系统。l u n t 提出了名为s r i 的入侵检测 专家系统，该系统既是基于规则的专家系统同样也是基于统计分析的异常检测系 统，它运行在s u n 工作站上，能分析用户和网络的数据。同年商业入侵检测系统开 始发展。1 9 9 1 年，美国加州大学的研究者开发完成了专家系统一分布式入侵检测系 统。1 9 9 3 年，l u n t 提出了下一代入侵检测专家系统，该系统使用到人工神经网络。 1 9 9 8 年，劳伦斯伯克利国家实验室提出了名为b r o 的规则语言，该规则语言用于 1 i b p c a p 数据集中的数据包分析。2 0 0 0 年，审计数据分析和挖掘入侵检测系统使用 t c p d u m p 来建立分类规则的概要。 2 入侵检测系统的功能 入侵检测系统是自动检测和报警一切已经发生或即将发生的入侵行为的系统。 由d a r p a g i j 建于1 9 9 8 年的工作组一通用入侵检测框架小组9 1 ( c o m m o ni n t r u s i o n d e t e c t i o nf r a m e w o r k ) 在该领域完成一些重要的工作。该工作组主要致力于协调 并定义入侵检测领域中的通用框架。在2 0 0 0 年集成至t j l e t f 和采纳了新的入侵检测工 作组( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ) 后，此工作组定义了一个基于四种 功能模块的通用的入侵检测系统结构1 ： 事件模块( e v e n tb l o c k s ) ：此模块是由监控目标系统的传感模块组成的， 从而获取信息的事件以被其它模块进行分析。 数据库模块( d a t a b a s eb l o c k s ) ：此模块用来储存来自事件模块的信息， 提供给分析模块和响应模块作后续处理。 分析模块( a n a l y s i sb l o c k s ) ：此模块用来分析事件和侦测潜在的异常行 为的处理，如有必要的话将会产生报警。当今，机器学习算法成为了分析其中不可 或缺的工具。 响应模块( r e s p o n s eb l o c k s ) ：此模块的主要功能就是当入侵发生时，产 生响应来阻止入侵行为。 2 硕士学位论文 m a s t e r st h e s i s 图1 1 入侵检测系统结构 根据信息源的不同( 图1 1 里面的事件模块) ，一个入侵检测系统可以是基于 主机或基于网络的。一个基于主机的入侵检测系统分析如进程标识符和系统调用的 事件所涉及到操作系统的信息。在另一方面，一个基于网络的入侵检测系统分析网 络相关的事件，如：网络流量，i p 地址，服务端口，协议的使用等，本文的重点是 后一种类型的入侵检测系统。 根据分析的类型( 图1 1 里面的分析模块) ，入侵检测系统被划分为基于标识 的或基于异常的。基于标识的模型( 也被指为基于滥用的) 在分析的数据里寻求定 义的形式或标识。为此，一个与已知攻击绑定的标识数据库被标记为高优先级。另 一方面，基于异常的入侵检测系统尝试着保护那些被估计为正常的系统行为，并当 某时刻的观察和正常行为有偏差或超过了预定义的阈值时则产生异常警报。另一种 可能性是将系统的异常行为模型化，当所观察到的行为和预期行为的差异小于一个 给定的限值时引发报警。 入侵检测系统的功能可简要描述如下： 监测用户的行为 监测系统的活动 审计系统的配置 评估数据文件 识别已知的攻击 确定异常活动 管理审计数据 更正系统的配置错误 记录入侵者的相关信息 7 ： 、 硕士学位论文 m a s t e r st h e s i s 1 2 2 网络入侵检测的分类 入侵检测系统可以按不同的方法进行分类，下面介绍两种最主要的分类方式 【1 5 l o 1 根据入侵检测系统数据来源的不同，可以将入侵检测系统分为基于网络的 入侵检测系统、基于主机的入侵检测系统、基于协议的入侵检测系统、基于应用协 议入侵检测系统、混合式入侵检测系统。 ( 1 ) 基于网络的入侵检测系统 基于网络的入侵检测系统( n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) 负责检 测与网络相关的攻击，网络入侵检测系统通过与网络设备相连，监视传入和传出的 网络数据流来发现可疑的行为。如果网络入侵检测系统没有被保护主机的一些附加 的信息，网络入侵者可以通过不同入侵检测系统和目的主机对t c p i p 协议碎片处 理方式的不同的特点非常轻易的绕过检测。 ( 2 ) 基于主机的入侵检测系统 基于主机的入侵检测系统( h o s t b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，h b i d s ) 通常 用在服务器上，用来审查内部端口。基于主机的入侵检测系统可以使用标准的审计 工具也可以使用特定的操作系统工具或应用平台。它通过分析系统调用，程序同志 记录，文件系统的修改和其它的与主机相关的活动来检测入侵。 ( 3 ) 基于协议的入侵检测系统 基于协议的入侵检测系统( p r o t o c o l 。b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，p i d s ) 通 常监视w - e b 服务器的动态活动和协议的使用状况。基于协议的入侵检测系统位于 w r e b 服务器的前端，监视和分析h t t p 协议数据流。它通过过滤某些i p 地址和端 口的数据流来保护w 曲服务器。 ( 4 ) 基于应用协议入侵检测系统 基于应用协议入侵检测系统( a p p l i c a t i o np r o t o c 0 1 b a s e di n t r u s i o nd e t e c t i o n s y s t e m ，a p i d s s ) 监视和分析某个特定的应用程序协议、某些进程之间的协议和计 算机系统使用的一组服务。基于应用协议入侵检测系统可以被设在w e b 服务器和数 据库管理系统之间，这样它可以监视某些业务逻辑的s q l 的协议状态。一般说来， 基于应用协议入侵检测系统旨在保证正确的使用协议。 ( 5 ) 混合式入侵检测系统 混合式入侵检测系统( h y b r i di n t r u s i o nd e t e c t i o ns y s t e m ，h i d s ) 结合两个或更 多的入侵检测方法。混合式入侵检测系统提供网络的和基于主机入侵检测系统的报 4 警通知。 2 根据入侵检测系统的检测模型的不同可以分为乜1 误用入侵检测和异常入侵检 测。 ( 1 ) 误用入侵检测 误用入侵检测( m i s u s e ) 也称为基于特征的入侵检测( s i g n a t u r e b a s e d i n t r u s i o nd e t e c t i o n ) ，该类检测只进行简单的与数据库中己知的攻击类型模式匹 配。这种类型的检测系统的检测率相对较低，因为攻击者往往会尝试修改一些基 本的攻击特征，这样它就不能检测到数据库中不存在的新的攻击类型。 ( 2 ) 异常入侵检测 异常入侵检测( a n o m a l yi n t r u s i o nd e t e c t i o n ) ，该类检测试图通过分析正常 和异常的数据后来确定新的攻击。它往往具有相对较高的对新的攻击类型的检测 率。该类系统的缺点是一般情况下是没有正常数据用来分析学习和往往会产生一些 误报。 1 2 3网络入侵检测目前存在系统 本小节将对目前比较著名的入侵检测系统进行简单的介绍和分析1 钉。 1 d i d s d i d s ( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ) 由美国加州大学d a v i s 分校 在9 0 年代初提出的。d i d s 采用“分布采集、集中处理”的策略，通过两种采集器 进行数据的采集：一种采集的是主机的数据，另一种用于采集网络数据。所有采集 的数据被送到分析器进行分析和处理。d i d s 系统是基于网络的入侵检测系统和基于 主机的入侵检测系统的结合体，从而实现了两种系统的优势互补。该系统的缺陷是 在高速的网络中将遇到系统瓶颈，大量的数据处理使得分析器不堪重负。 2 c s m c s m ( c o o p e r a t i n gs e c u r i t ym a n a g e r s ) 是由t e x a sa & m 大学于1 9 9 6 年提出 的。c s m 体系有许多个c o o p e r a t i n gs e c u r i t ym a n a g e r s ( c s m ) 组成，每个c s m 本 身就是一个检测系统，它们不是层次型的架构而是采用对等的机制。各个c s m 之间 可以互相交换信息进行合作。因此c s m 的特点是“分布分析，动态协调”。 3 e m e r a l d e m e r a l d ( e v e n tm o n i t o r i n ge n a b l i n gr e s p o n s et oa n o m a l o sl i v e d i s t u r b a n c e s ) 是s r ii n t e r n a t i o n a l 公司的系统设计工作组在d a r p a 的资助从1 9 9 7 年到现在进行的研究。他用来检测和跟踪大型网络上的恶意行为的工具。e m e r a l d s 提出一种分布式的入侵检测构架：使用分布式模块化的方法进行网络监控、攻击隔 离和响应，而且将大量的事件相关的方法和入侵检测的方法有机的结合在一起，这 是该系统的特色。通过关联可以将数据中包含的信息最大限度的提取出来，从而提 高了系统的灵敏度和准确性。 4 从f i d a a f i d ( a u t o n o m o u sa g e n t sf o ri n t r u s i o nd e t e c t i o n ) 是由普渡大学设计的 一种入侵检测系统，在该系统中首次提出了自治代理的概念。自治主体是指它们都 是单独执行的实体，它们只受到操作系统的控制。a a f i d 由5 个部分构成：主体、 过滤器、收发器、监视器、用户终端。这些组成部件之间进行通信和协同工作来完 成系统的各种工作。该系统的缺陷是随着监视器所要监视的收发器和监视器的数目 逐渐增多，网络中的通信量就会不断增加，从而使网络状况变的很差。所以在网络 规模比较大的情况下并不是一种比较有效的检测方法。 5 n e t s t a t n e t s t a t 入侵检测系统是由美国加州大学u c s b 分校的可靠软件小组研究和开发 的。它将s t a t 状态转移的技术应用到网络环境中，用状态图描述攻击过程。该系 统由网络事实库、状态迁移脚本数据库、探测器和分析器组成。其中网络事实库包 括网络的拓扑结构，网络提供的一些服务等信息。管理员可以通过图形界面来访问 该库。状态迁移脚本数据库存储了已经检测到的攻击状态迁移图。探测器按照相应 的配置来检测网络数据流。分析器用于决定检测的内容、检测事件的地点、需要保 存的网络状态信息。用状态图描述攻击过程是该系统的主要特点。 6 g r i d s g r i d s ( g r a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 是最早的大规模的入侵 检测系统模型。它的特点是通过分层分解受保护的组织和网络，将时间和网络监测 报告集成到图形中，然后进一步在高层次的分层结构中被集成为更容易处理的简单 的图形，从而减少了处理的信息量。 g r i d s 主要的工作是： 抽象化网络中的各种活动。 按照规则将图形进行合并。 将主机的相关数据属性进行存储。 根据全局集成的图形来判断攻击。 该系统的缺陷是在设计中没有考虑到部件的相互影响，如某个部件不能正常工 作时往往会影响到其它部件的工作，这导致该系统的灵活性大大降低。 6 = ： 硕士学位论丈 m a s t e r st i - i e s i s 1 2 4网络入侵检测系统中存在的问题 世界信息技术的飞速发展同时也给网络入侵检测系统带来了新的问题9 ，如网 络带宽的飞速增大，给网络入侵检测系统的处理能力提出了更高的要求，否则会出 现严重的漏报，误报情形。还有当今协议更新问题，这样会有新的网络缺陷的暴露 新的攻击类型出现。目前大多数入侵检测系统都是基于误用的检测方法1 1 0 1 通过 模式匹配已知的攻击特征来判断攻击的发生。该方法只能检测出已知的攻击，对未 知的新型攻击无能为力。异常检测能够检测到未知的新的攻击，异常检测的研究也 取得了一些成就，但是也存在许多待解决的问题。第1 3 3 小节对一样检测存在的 问题详细描述。 1 3 网络异常行为检测 1 3 1异常行为检测的原理 虽然存在着不同的异常检测的方法，一般来说他们都包括如下几个基本模块或 阶段( 如图1 2 ) ： 参数化( p a r a m e t e r i z a t i o n ) ：在这个阶段，目标系统的所观察到的实例是用 一个事先确定的形式参数来表示的。 培训阶段( t r a i n i n gs t a g e ) ：在这个阶段，分析学习系统正常( 或异常) 的 行为，且建立相应的模型。这可以用不同的方式来处理( 自动或手动) ，这取决于 涉及的异常检测的类型( 图1 3 ) 。 检测阶段( d e t e c t i o ns t a g e ) ：一旦此系统模型是可用的，它就与参数设定 的观察流量相比较，如果发现偏差超过( 或低于，对不正常的模型而言) 给定阈值 便会触发报警。 图1 2 异常检测方法基本模块 7 入侵报告 ： 硕士学位论文 m a s t e r st h e s i s 根据与目标系统中与行为模型相关的处理类型，异常检测技术可大致分为三大 类别( 图1 3 ) ：基于统计的、基于理论的和基于机器学习的。在基于统计的情况下， 系统行为通过随机理论的观点来表现。另一方面，基于理论的异常检测技术尝试从 现有的系统数据( 协议说明、网络流量情况等) 中捕获异常的行为。最后，基于机 器学习的异常检测技术则是基于一个明确或模糊的模型的建立，此模型能够分析模 式并进行归类。 图1 3 异常检测研究方法分类 对于入侵检测方法的性能评价及比较有两方面比较重要的评价指标：即检测过 程的效率以及检测过程中涉及的开销。在不考虑检测过程中所涉及的开销，只强调 检测过程的效率方面。这种前提下存在四种情况，与一个被分析事件的检测结果( 正 常或入侵) 和它的实际性质( 正常或恶意) 的关系是有密切联系的。这些情况便是： f a l s ep o s i t i v e ( f p ) ，如果被分析的事件从安全的角度来说是无害的，但是 它被划分为恶意的类别； t r u ep o s i t i v e ( t p ) ，如果被分析的事件被j 下确地划分为入侵或恶意类； f a l s en e g a t i v e ( f n ) ，如果被分析的事件是恶意的，但是被划分为正常的或 无害的； 8 t r u en e g a t i v e ( t n ) ，如果被分析的事件被j 下确地划分为正常或无害。 很显然，低的f p 和f n 比例、高的t p 和t n 比例将会带来较好的效率值。 效率问题应该是选择和实施a - n i d s 策略的首要考虑的问题。基于统计、基于理 论和基于机器学习的异常检测的研究方法将在下一小节介绍。 1 3 2 网络异常检测的研究方法 1 基于统计的异常检测技术( s t a t i s t i c a l b a s e da n i d st e c h n i q u e s ) 在基于统计的异常检测技术中，通过捕获网络流量活动来构建与它们随机行为 相对应的指标。这些指标是基于一些统计量，如：通信速率、各个协议的数据包的 数量、连接速率、不同i p 地址的数量等。网络流量中有两个数据集在异常检测的 过程中分析：一个对应着实时监测的指标，另一个是以前经过训练的统计指标。当 网络事件发生时，当前的指标被确定下来，通过对比两个指标间的差异来评估异常 的分值。异常的分值是用来表示某个特定网络事件的异常的程度，这样当异常的分 值超过某个设定的阈值时入侵检测系统将标记异常发生。 在基于网络和主机的入侵检测系统中最早的统计方法都采用单变量模型，该模 型中的随机变量都属于独立的高斯随机变量，这样就只需要去确定每一个变量的值 的可接受范围。后来，考虑到两个或更多的变量相关性的多变量模型被提出。这是 非常有意义的模型，因为实验数据表明通过结合相关变量而不是单独考虑可以得到 更好水平的区分度。另外一些研究与时间序列有关，这种方法使用间隔定时器并且 结合时间计数器，然后对监测的活动的序列和到达时间的间隔进行分析。当在特定 的时间内观察到的某个事件发生的概率太低时该时间被标记为异常。 基于统计的异常检测系统除了具有异常检测技术所固有的特点外还有自身的 优点。首先，他们不需要目标系统的正常活动的先验知识，而是他们有能力通过观 察来学习