（机械电子工程专业论文）基于学习的入侵检测算法研究.pdf

基于学习的入侵检测算法研究 摘要 随着互联网的广泛应用，网络信息安全已经成为计算机网络系统需要解决的重要问题 之一。传统的数据加密和防火墙技术已经不能完全满足信息安全的要求，入侵检测系统作 为一种积极主动的防御措施，成为近年来网络信息安全领域研究的热点。 网络入侵攻击方法具有多样性和复杂性。单一的基于模式匹配或统计分析的入侵检测 算法存在较大局限，具有自主学习的智能入侵检测算法日益受到人们的重视。针对现有入 侵检测系统存在的误检率高，不能很好地处理网络中存在的不确定性等问题，本文研究具 有学习能力的网络入侵检测算法，主要贡献和创新表现为： ( 1 ) 对评估入侵检测算法性能的数据集k d d c p u 9 9 进行了预处理，包括数据集的数 值化，归一化。用信息增益的方法对数据集进行特征提取，有效降低了数据集维数。 ( 2 ) 提出了基于余弦相似度的否定选择算法，并用对称交叉熵的模糊相似度量在否 定选择算法的检测阶段判断出攻击数据的攻击类型，对该入侵检测算法进行了仿真实验， 结果表明该算法具有较高的检测率。 ( 3 ) 针对目前网络中传输的数据存在不确定性，提出了d s 证据理论和广义神经网 络相结合的入侵检测算法。该算法运用广义神经网络确定入侵证据的信任分配函数，有效 降低了由人为因素带来的主观性，利用改进的证据融合算法对这些信任分配函数进行融合 并对融合的结果选取较大的值作为决策结果。仿真实验表明，d s g r n n 检测算法不仅可 以确定网络中不确定性，还大大降低了误报率。 关键词：入侵检测；信息增益；否定选择算法；广义回归神经网络；d s 证据理论 k - i ； r 、i r e s e a r c ho nl e a r n gb a s e di n t r u s i o n d e t e c t i o na l g o r i t h m s a b s t r a c t w i t ht h ee x t e n s i v ea p p l i c a t i o n so fi n t e m e tt e c h n o l o g y ，n e t w o r ki n f o r m a t i o ns e c u r i t yi s b e c o m i n go n eo ft h ek e yi s s u e su r g e n tt ob es o l v e df o rt h ec o m p u t e rn e t w o r ks y s t e m t r a d i t i o n a l d a t ae n c r y p t i o n t e c h n i q u e sa n df i r e w a l l t e c h n i q u e sa r en ol o n g e rc a p a b l eo fm e e t i n gt h e i n c r e a s i n gr e q u i r e m e n t so ft h ei n f o r m a t i o ns e c u r i t yf i e l d a sa c t i v es e c u r i t yd e f e n d i n gm e a n s ， i n t r u s i o nd e t e c t i o nm e t h o d sh a v er e c e i v e dm u c hi n t e r e s ti nd e a l i n gw i t ht h en e t w o r ki n f o r m a t i o n s e c u r i t yi s s u e s d u et ot h ev a r i e t ya n dc o m p l e x i t yo fn e t w o r ki n t r u s i o na t t a c km e a n s ，s i m p l e p a t t e r n m a t c h i n gb a s e do rs t a t i s t i c a la n a l y s i sb a s e dm e t h o d sd oh a v ec e r t a i nl i m i t a t i o n s i n t r u s i o n d e t e c t i o na l g o r i t h m sw i t ht h es e l f - l e a r n i n gc a p a b i l i t yh a v ep o s e dg r e a tp o t e n t i a l s a i m i n ga tt h e h i g hf a l s e d e t e c t i o nr a t e so fc u r r e n t l y w i d e l y u s e di n t r u s i o nd e t e c t i o nm e t h o d sa n dt h e u n c e r t a i n t ye x i s t i n gi nt h en e t w o r k ，s e v e r a li n t r u s i o nd e t e c t i o na l g o r i t h m sb a s e do nl e a r n i n ga r e f o c u s e di nt h i sd i s s e r t a t i o n t h em a i nc o n t r i b u t i o n sa n di n n o v a t i o n sa r eg i v e na sf o l l o w s ： ( 1 ) d a t ap r e p r o c e s s i n go fk d d c p u 9 9 ，i n c l u d i n gn u m e r i c a l ，n o r m a l i z a t i o n ，f e a t u r ee x t r a c t i o n u s i n gi n f o r m a t i o ng a i nf o rp e r f o r m a n c ee v a l u a t i o n so ft h e p r o p o s e d i n t r u s i o nd e t e c t i o n a l g o r i t h m sa r ep e r f o r m e d ，w h i c he f f e c t i v e l yr e d u c et h ed i m e n s i o n so fd a t as e tk d d c p u 9 9 ( 2 ) a ni m p r o v e dn e g m i v es e l e c t i o na l g o r i t h mb a s e do nc o s i n es i m i l a r i t yi sp r o p o s e di n t h i s d i s s e r t a t i o n s y m m e t r i c a lc r o s se n t r o p yw i t hf u z z ys i m i l a r i t ym e a s u r ei su s e dt od e t e r m i n et h e t y p eo fa t t a c kd a t ai nt h ed e t e c t i o np h a s eo ft h en e g a t i v es e l e c t i o na l g o r i t h m s i m u l a t i o nr e s u l t s h a v es h o w nt h a tt h ep r o p o s e da l g o r i t h mh a sh i g h e rd e t e c t i o nr a t e ( 3 ) a i m i n ga tt h eh i g hf a l s ea l a r mr a t e so fc u r r e n t l yu s e dn e t w o r ki n t r u s i o nd e t e c t i o n m e t h o d s ，an e wm e t h o do fe v i d e n c ea s s i g n m e n ta n dc o m b i n a t i o nw i t hd e m p s t e r - s h a f e rt h e o r yi s p r o p o s e dt oi d e n t i f yn e t w o r ka t t a c kd a t a i nt h i sm e t h o d ，e x t r a c t e df e a t u r e sa r ei d e n t i f i e db ya m u l t i g e n e r a l i z e dr e g r e s s i o nn e u r a ln e t w o r kc l a s s i f i e r ，w h i c hd e t e r m i n e st h eb a s i cp r o b a b i l i t y a s s i g n m e n tr e s p e c t i v e l y t h eo u t p u tr e s u l to ft h em u l t i c l a s s i f i e ri sr e g a r d e da se v i d e n c et of o r m t h ef i n a lm a s sf u n c t i o nf o rd e c i s i o nm a k i n gu s i n gc e r t a i nc o m b i n a t i o nr u l e d u et ot h ea b i l i t yo f s e l f - l e a m i n ga n dg e n e r a l i z i n gc o m p e t e n c eo fg e n e r a l i z e dr e g r e s s i o nn e u r a ln e t w o r ka n dt h e a b i l i t yo fd e m p s t e r 。s h a f e rt h e o r yt od e a lw i t hi g n o r a n c ea n dm i s s i n gi n f o r m a t i o n ，t h ep r o p o s e d m e t h o dc a ne f f e c t i v e l yr e c o g n i z et h eu n c e r t a i nn e t w o r kd a t a ，a n dt h u sr e d u c ef a l s ea l a r mr a t e s i g n i f i c a n t l y t h ev a l i d i t yo ft h i sm e t h o di sv e r i f i e db yc o m p u t e rs i m u l a t i o n u t i l i z i n g k d d c u p 9 9e v a l u a t i n gd a t a s e t k e yw 。r d s ：i n t r u s i 。nd e t e c t i 。n ，i n f o r m a t i 。ng a i n ，n e g a t i v es e l e c t i 。na l g 。r i t ，g e n e r a l i z e d r e g r e s s i o nn e u r a ln e t w o r k ，d - se v i d e n c et h e o r y 目录 摘要i a b s t r a c t i i 第1 章绪论1 1 1 选题的背景和意义l 1 1 1 选题的背景1 1 1 2 选题的目的l 1 1 3 选题的意义2 1 2 入侵检测的研究现状3 1 2 1 国外现状3 1 2 2 国内现状4 1 3 本文的主要研究内容与章节安排4 第2 章入侵检测系统6 2 1 入侵检测系统的概念与基本结构6 2 1 1 入侵检测的概念6 2 1 2 入侵检测系统的基本结构6 2 2 入侵检测系统的分类7 2 2 1 根据入侵检测系统的数据来源不同分类7 2 2 2 根据检测方法不同分类8 2 2 3 根据检测系统对数据模块运行的分布方式不同分类9 2 2 4 根据检测系统对数据分析发生的时间不同分类9 2 3 入侵检测系统标准化9 2 3 1 c i d f 的体系结构9 2 3 2 c i d f 的通信机制1 0 2 3 3 c i d f 语言1 0 2 3 4 c i d f 接口1 0 2 4 入侵检测系统发展趋势1 1 2 5 小结1 l 第3 章入侵检测数据的预处理及特征提取13 3 1 入侵检测数据源的选集及数据集的介绍1 3 3 1 1 数据源的选择1 3 3 1 2k d d c p u 9 9 数据集介绍1 3 3 2 入侵检测数据集的预处理1 4 3 2 1 实验说明。1 4 3 2 2k d d c p u 9 9 数据的数值化处理1 4 3 2 3k d d c p u 9 9 数据的归一化处理1 5 3 3 入侵检测数据集的特征提取1 6 3 3 1 主成分分析在入侵检测特征提取中的应用1 6 3 - 3 2 采用主成分分析方法的仿真实验1 7 3 3 3 信息增益在入侵检测特征提取中的应用1 9 3 3 4 采用信息增益方法的仿真实验2 1 3 4p c a 和信息增益在入侵检测数据特征提取的比较2 3 3 5 小结2 4 第4 章基于人工免疫否定选择算法和对称交叉熵的入侵检测2 5 4 1 否定选择算法2 5 4 2 可变半径否定选择算法2 6 4 3 改进的否定选算法2 7 4 3 1 基于余弦相似度的可变半径否定选择算法。2 7 4 3 2 基于对称交叉熵的模式识别2 9 4 4 仿真实验及结果分析3l 4 5 总结3 5 第5 章基于d s g r n n 组合模型的入侵检测3 6 5 1d s 证据理论3 6 5 1 1 d s 证据理论的概念3 6 5 1 2 b p a 确定的常用方法3 7 5 1 3 d s 证据理论的优缺点3 7 5 1 4 d e m p s t e r 合成法则3 7 5 2 广义回归神经网络3 8 5 2 1 g r n n 神经网络理论基础和结构模型3 8 5 2 2 g r n n 的学习算法3 9 5 3 入侵检测数据融合4 0 5 3 1 数据预处理4 0 5 3 2 利用g r n n 确定入侵证据的基本可信分配( b p a ) 4 0 5 3 3 d s 证据的融合和决策4 2 5 4 入侵检测仿真实验4 3 5 4 1 实验数据的准备4 3 5 4 2 入侵证据b p a 计算4 3 5 4 3 d s 证据理论对入侵证据的融合4 6 5 5 本章小结4 7 第6 章结论和展望4 8 6 1 本文主要的工作和结论4 8 6 2 论文的展望4 8 参考文献4 9 攻读硕士学位期间发表的学术论文5 2 致谢5 3 北京服装学院硕十学位论文 第1 章绪论 1 1 选题的背景和意义 1 1 1 选题的背景 随着社会的信息化程度日益提高和互联网技术的飞速发展，计算机网络已经成为一个 国家最为关键的政治、经济和军事资源，也成为国家实力的象征。但是伴随网络的日益普 及，网络信息安全问题也成为互联网和网络应用发展中面临的重要问题之一。 ( 1 ) 根据最新数据显示，目前我国9 5 的与因特网相联的网络管理中心都遭到过境内 外黑客的攻击或侵入，受害涉及的覆盖面越来越大、程度越来越深。 ( 2 ) 全球因为网络安全而遭受的经济损失也相当巨大。据有关方面统计，目前美国 每年由于网络安全问题而造成的经济损失超过1 7 0 亿美元，德国、英国也均达数十亿美元， 法国为1 0 0 亿法郎，日本、新加坡损失也很严重。在国际刑法界列举的现代社会新型犯罪 排行榜上，计算机犯罪已名列榜首。 因此，如何防范黑客的入侵，尤其是采用新攻击手段的入侵，已经成为目前社会需要 迫切解决的问题。目前常用的安全技术有防火墙、防病毒软件、加密技术、用户认证、入 侵检测系统等。其中，入侵检测作为一种积极主动的防护措施对于保护信息网络的安全尤 为重要。 入侵检测系统是一种通过收集和分析计算机系统或网络中关键点的信息，以检查计算 机或网络中是否存在违反安全策略的行为和被攻击的迹象，并对此做出反应，从而保护网 络和主机安全的系统。入侵检测系统能识别外部对计算机或者网络资源的恶意企图和行 为，以及内部合法用户超越权限的非法行为。 本课题就是以信息安全技术中的入侵检测为研究背景。 1 1 2 选题的目的 尽管关于入侵检测方法及技术的研究已经有2 0 多年的历程，但目前入侵检测系统仍 处于相当初级的阶段。当前入侵检测系统普遍存在的最突出问题有： ( 1 ) 检测方法单一 由于攻击方法越来越复杂，单一的基于模式匹配或统计的分析方法已经难以发现某些 攻击。 ( 2 ) 检测新攻击能力的缺乏 由于目前产品中主要还是以误用检测为主，采用模式匹配的方法，对新攻击和变化的 网络配置来说，检测模型的更新十分缓慢和昂贵，因而系统缺乏检测未知和变形攻击的能 】 第1 章绪论 力。 ( 3 ) 误报率高 一个有效的入侵检测系统应该限制误报出现的次数，但同时又要能够有效地阻止入 侵。误报是入侵检测系统最头疼的问题。攻击者往往利用包的结构，伪造无威胁的“正常” 假报警，而诱使没有警觉性的用户把入侵检测系统关掉或者使管理员忙于应付虚假警报。 ( 4 ) 无法适应数据大规模增大的趋势 入侵检测中，收集到得数据越多，分析结果就越明确。随着网络技术的突飞猛进，数 据量日益增大，如何从其中提取出入侵行为和正常行为，单靠专家的人工分析十分困难。 ( 5 ) 不同的入侵检测系统之间不能互操作 目前各种入侵检测系统各自为阵，系统之间的互操作性很差，c i d f 也没有作为一个 正式标准为众多厂商所接受。 因此，如何提高入侵检测系统对环境的自适应行，实现入侵检测的智能化，降低系统 的误报率和漏报率，成为当前入侵检测研究的热点。智能化技术在入侵检测中的应用时通 过把生物学、医学、数学中学习算法的最新研究成果应用到入侵检测中，使入侵检测系统 具有自学习的功能。本课题研究的目的是通过实现入侵检测系统的智能化，来优化目前入 侵检测系统。 1 1 3 选题的意义 ( 1 ) 入侵检测的必要性 保障网络安全是一个系统工程，仅仅依靠某种单一的安全技术来保证网络安全是不现 实的，必须依靠现有的各种安全技术的优势，针对不同的网络规模、网络应用环境和安全 需求实施不同的安全策略。除此之外，还应该保证网络的物理环境的可靠性，同时在政策 法规、网络管理、人员管理等各个方面加强保护，才有可能满足网络安全的需求。然而无 论何种网络安全需求，发现当前网络中出现的入侵行为是必不可少的，这是实施安全策略 的前提，因此想要有针对性的阻止攻击者对保护网络的危害行为，高效的入侵检测技术是 必不可少的，同时如果对告警进行深层的关联分析，还可以对攻击者的入侵意图进行推理， 从而发现潜在的攻击，为制定有效的防御措施提供可靠的依据，赢得宝贵的时间。因此， 入侵检测技术是必要和必需的。 ( 2 ) 网络或者系统中存在漏洞 由于网络或者系统中存在漏洞，如系统设计开发中造成的漏洞，还有对系统的错误使 用和管理造成的漏洞。这是导致入侵行为存在原因之一。 2 北京服装学院硕士学位论文 ( 3 ) 现有的网络安全防护措施的局限 防火墙不能阻挡来自内部的攻击，不可以处理病毒。加密方法本身存在一定的问题等 等。 ( 4 ) 现有入侵检测方法存在许多不足 由于神经网络、遗传算法、模糊数学的发展，智能检测技术得到了很好研究和发展， 并且在检测正确率和自学习方面具有的良好性能而引起了广泛的关注。但是现有的智能入 侵检测技术仍然存在一些不尽如人意的地方需要进一步的改进。在大规模的网络环境下， 现有的检测技术在检测正确率、误报率、漏检率和检测效率方面还不能满足要求。需要重 新设计新型智能检测技术解决同益增长的网络规模以及随之而来的处理数据量日益增大 的问题。 1 2 入侵检测的研究现状 1 2 1 国外现状 ( 1 ) 入侵检测的概念最早是由j a m e sa n d e r s o n 于1 9 8 0 年4 月为美国空军做的一份题 为( 计算机安全威胁监控与监视) ( ( c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ) ) 的技术报告中第一次详细阐述了入侵检测的概念。他还提出了一种对计算机系统分类和威 胁的分类方法：并将威胁分为外部渗透，内部渗透和不法行为三种。这份报告被认为是入 侵检测的开创性工作。 ( 2 ) 从1 9 8 4 年到1 9 8 6 年，d o r o t h yd e n n i n g 和p e t e rn e u m a n n 研究并发展了第一个 实时入侵检测系统模型，命名为i d e s ( 入侵检测专家系统) 。它包含一个异常检测器和一 个专家系统。异常检测器采用统计技术描述异常行为，专家系统采用的是基于规则的方法 检测已知的危害安全的行为。 ( 3 ) 1 9 8 8 年，t e r e s al u n t 等人针对当时爆发的莫旱斯蠕虫，基于d o r o t h yd e n n i n g 提 出的入侵检测模型开发出了用于检测单机上入侵企图的入侵检测专家系统i d s 。 ( 4 ) 从1 9 8 9 年到1 9 9 1 年，h a y s t a c k 采用“特征”集合来描述系统审计数据中的信 息。对每个会话的特征数目进行统计和排序，检验会话的两个不同的统计分析技术来发现 异常的用户活动。他们的工作极大的促进了主机型入侵检测技术的发展。 ( 5 ) 1 9 9 0 年加利福尼亚大学d a v i s 分校的t o d dh e b e r l i e n 发表在i e e e 上的论文a n e t w o r ks e c u r i t ym o n i t o r ) ) ( m s n 系统) ，首次提出网络入侵检测的概念，第一次将网络 数据包作为审计信息源，并由此开发出了第一个网络入侵检测系统m s n 。人们称1 9 9 0 年 是入侵检测发展史上的一个分水岭。 3 第1 章绪论 ( 6 ) 1 9 9 1 年d i d s 第一次尝试了将主机入侵检测和网络入侵检测的能力集成在一起， 它是第一个具有收集攻击者证据能力的入侵检测系统。 ( 7 ) 1 9 9 5 年s r i 公司推出了i d s 的改进版本，下一代入侵检测系统n i d e s ( n e x t g e n e r a t i o ni n t r u s i o nd e t e c t i o ne x p e gs y s t e m ) 。它采用了两种不同的入侵检测机制： 一种是基于规则的检测，另一种是基于统计方法的检测。它可以检测多个主机上的入侵。 ( 8 ) 1 9 9 6 年g r i d s ( g r a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 的设计和实现，该系统 使得对大规模自动或协同攻击的检测更为便利，这些攻击有时甚至可能跨过多个管理区 域。 最近十几年，入侵检测技术的研究呈现出多样性，并在智能化和分布式两个方向取得 了长足的进展。现有的入侵检测系统多采用代理、概率统计、专家系统、神经网络、模式 匹配、遗传算法等来实现系统的检测机制【l 】。 1 2 2 国内现状 虽然入侵检测技术的研究已经有2 0 多年的发展史，但仍是一种比较新的技术。尤其 是在国内，国内对入侵检测系统的研究起步较晚。不过近年来国内许多大学和研究机构也 投入了对入侵检测技术的研究，如中科院软件所提出的基于a g e n t 的分布式入侵检测系 统模型框架、清华大学设计了基于s v m 分类机的入侵检测系统、北京航空大学提出了基 于资源监视的入侵检测概念、西安电子科技大学提出的基于神经网络入侵检测、东北大学 对基于应用的高速网络入侵检测系统的研究和李之裳等人建立了一种基于模糊专家系统 的入侵检测框架模型，将模糊理论引入大入侵检测中。 当前入侵检测技术研究无论在理论方面还是技术方面都还有很多不完备的地方。理论 方面的不完备主要体现在入侵检测技术还未能构成一个完整的、健全的理论体系，甚至还 有一些基本的概念和理论研究人员未能达成共识；技术方面体现在误检率高，不能很好识别 未知攻击和网络中传输的数据存在不确定性等【2 】。 1 3 本文的主要研究内容与章节安排 本论文将人工免疫技术和d s 证据理论引入了传统的入侵检测领域，给出了基于改进 的否定算法和基于d s g r n n 模型的入侵检测算法。研究的主要内容包括以下几个方面： 第一章：介绍了课题研究的背景和意义，入侵检测系统研究现状，论文的主要研究内 容和章节安排 第二章：深入了解网络入侵检测技术的概念、分类、原理以及相关应用。 第三章：介绍了评价入侵检测算法最常采用的权威数据集k d d c p u 9 9 数据集，并对 北京服装学院硕士学位论文 它进行了预处理，包括数值化，归一化，并利用信息增益的方法进行特征提取。 第四章：介绍了生物免疫原理和人工免疫系统的基本概念、然后重点介绍否定选择算 法的功能和算法存在的不足，提出基于余弦相似度可变否定选择算法，并和对称交叉熵的 模糊相似度量相结合，可以识别出具体的攻击类型。最后对算法进行了仿真实验，实验结 果表明不仅可以识别出攻击类型，还提高了检测率。 第五章：介绍了d s 证据理论和广义神经网络的基础理论，并提出了基于d s g r n n 入侵检测模型，并详述了其实现流程，在此基础上对算法进行了仿真实验，并对实验结果 分析比较。 第六章：对本文所做的工作进行总结，并对下步的工作进行展望。 s 第2 章入侵榆测系统 第2 章入侵检测系统 2 1 入侵检测系统的概念与基本结构 2 1 1 入侵检测的概念 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ) 是对计算机网络和系统的运行状态进行监 测，从中发现各种违反安全策略的行为和企图，来保证系统资源的机密性、完整性与可用 性。一个完善的入侵检测系统必须具有以下特点【3 】： 经济性：为了保证系统安全策略的实施而引入的入侵检测系统必须保证不能妨碍系统 的正常运行。 时效性：必须及时地发现各种入侵行为，理想情况是在事发f ； 发现攻击企图，比较现 实的情况则是在攻击行为发生的过程中检测到。如果是事后才发现攻击结果，必须保证时 效性，因为一个已经被攻击过的系统往往就意味着后门的引入以及后续的攻击行为。 安全性：入侵检测系统自身必须安全，如果入侵检测系统自身的安全性得不到保障， 首先意味着信息的无效，而更严重的是入侵者控制了入侵检测系统即获得了对系统的控制 权，因为一般情况下入侵检测系统都是以特权状态运行的。 可扩展性：可扩展性有两方面的意义，首先是机制与数据的分离，在现有机制不变的 前提下能够对新的攻击进行检测；第二种是体系结构的可扩充性，在有必要的时候可以在 不对系统的整体结构进行修改的i j i 提下对检测手段进行加强，以保证能够检测到新的攻 击。 2 1 2 入侵检测系统的基本结构 入侵检测系统是用来检测网络的系统，或者从更广泛意义上说，是检测对信息系统进 行非法攻击的系统。入侵检测系统主要由以下4 个部分组成h ： ( 1 ) 数据收集装置：收集反映状态信息的审计数据，传给检测器。 ( 2 ) 检测器：负责分析和检测入侵，并发出警告信息。 ( 3 ) 知识库：提供必要的数据信息支持。 ( 4 ) 控制器：根据警报信号，人工或自动做出响应动作。 其结果如图l 所示： 6 北京服装学院硕上学位论文 图1 a 侵检测系统的基本框架 2 2 入侵检测系统的分类 依照的标准不同，入侵检测系统有不同的分类方法，下面介绍几种常用的分类标准。 2 2 1 根据入侵检测系统的数据来源不同分类 ( 1 ) 基于主机的入侵检测系统( h o s ti n t r u s i o nd e t e c t i o ns y s t e m ) ：用于保护单台主 机不受网络攻击行为的侵害，需要安装在被保护的主机上。它以本地主机系统的数据作为 数据源，以发现主机的非法使用和入侵，其中常用的数据源就是审计日志，也可扩展到系 统日志、应用程序日志、系统状态、系统调用信息等。 基于主机的入侵检测系统具有检测效率高、分析代价小、分析速度快的特点， 能够迅速并准确定位入侵者，并可结合操作系统和应用程序的行为特征对入侵进 行详细分析。而基于主机的入侵检测系统存在的问题是：首先，它严重依赖于操作系统平 台，所以，对不同的系统平台而言，它是无法移植的；其次，入侵检测系统运行时对所 依赖的服务器性能会产生影响。 ( 2 ) 基于网络的入侵检测系统( n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ) ：用于对所在的 网络进行主动监控，以检测网络中的异常行为。它是以网络中传输的数据包作为数据源， 在目前网络广泛使用的今天，它已经称为主流的检测方式。 基于网络的入侵检测系统分析的数据是网络协议，通常是标准化的，独立于主机操作 系统类型的，所以不存在移植性的问题，并且它不影响主机或者服务器的性能。但是不能 预测命令的执行结果，对加密通信和高速网络无能为力也是必须要解决的问题。 ( 3 ) 混合型入侵检测系统：把主机入侵检测系统和网络入侵检测系统结合在一起。这 7 第2 章入侵检测系统 种综合了基于网络和基于主机两种结构特点的入侵检测系统也叫分布式系统。可以避免单 纯使用一种会造成主动防御体系不全面的缺点，还可以同时发现网络中和系统日志里异常 情况。 2 2 2 根据检测方法不同分类 根据采用的检测方法不同，可将入侵检测系统分为异常检测( a n o m a l yd e t e c t i o n ) 和 误用检测( m i s u s ed e t e c t i o n ) 。 ( 1 ) 异常入侵检测：基于异常的检测技术则是先统计一组系统或用户“正常”情况 的数值，如c p u 利用率、内存利用率、文件校验和、特定用户的操作习惯与某些操作的频 率等等，然后将系统运行时的数值与所定义的“正常 情况比较，判断是否有入侵行为存 在。 异常检测只能识别出那些与正常过程有较大偏差的行为，由于对各种网络环境的适应 性不强，且缺乏精确的判定标准，异常检测经常会出现误报的现象。 异常入侵检测系统的效率取决于统计用户轮廓的所谓“正常”行为的完备性和监控的频率。 这就要求在建立j 下常模型时，选取的特征量既要能准确地体现系统或用户的行为特征，又 能使模型最优化，即以最少的特征量涵盖系统或用户的行为特征。其次，提高检测方法准 确率的至关重要的另一个因素是用户建立的正常行为的特征知识库必须不断更新，最好系 统能针对用户的改变进行自我调整和优化，这就需要一定的人工智能，而由于人工智能领 域的发展还不是很快，基于异常检测模型建立的入侵检测系统的工作进展也不是很好。 在异常入侵检测中，最广泛使用的较为成熟的技术是统计分析，另一种主要的异常检 测技术是神经网络技术。此外，还有许多其它异常检测方法出现在各种文献之中，如基于 贝叶斯网络的异常检测方法、基于模式预测的异常检测方法、基于数据挖的异常检测方法 以及基于计算机免疫学的检测技术等。 ( 2 ) 误用入侵检测：这个模型的特点是收集非正常操作也就是入侵行为的特征，它 把入侵的特征或模式保存在特征库中，在后续的检测过程中，收集到的数据与特征库中的 特征进行匹配从而判断是否存在入侵行为。 误用入侵检测系统是依据具体特征库进行判断，那么它就只需收集相关的数据，这样 系统的负担明显减少。该方法类似于病毒检测系统，其检测的准确率和效率都比较高，而 且这种技术比较成熟，国际上一些顶尖的入侵检测系统都采用的是该方法。但是它也存在 一些缺点：首先不能检测未知的入侵行为，由于其检测机理是对己知的入侵方法进行模式 提取，所以新的攻击受到已知知识的局限就不能进行有效的检测，也就是漏报率会比较高； 8 北京服装学院硕十学位论文 其次，系统的相关性很强，对于不同的操作系统由于其实现机制不同，对其攻击的方法也 不尽相同，所以很难定义出统一的模式库。 误用入侵检测中常用的技术有基于专家系统的攻击检测技术，基于模型推理的攻击检 测技术，基于模式匹配的检测技术，特征分析技术，状态转移分析等。 2 2 3 根据检测系统对数据模块运行的分布方式不同分类 按照数据分析的时间不同，可以分为：集中式入侵检测系统和分布式入侵检测系统。 ( 1 ) 集中式：系统的各个模块包括数据的收集与分析以及响应模块都集中在一台主 机上运行，这种方式适用于网络环境比较简单的情况。 ( 2 ) 分布式：系统的各个模块分布在网络中不同的计算机、设备上，一般来说分布 性主要体现在数据收集模块上，如果网络环境比较复杂，数据量比较大，那么数据分析模 块也会分布，一般是按照层次性的原则进行。 2 2 4 根据检测系统对数据分析发生的时间不同分类 ( 1 ) 脱机分析：就是在行为发生后，对产生的数据进行分析，而不是在行为发生的 同时进行分析。一般而言，脱机分析也不会隔很长时间，所谓的脱机只是与联机相对而言 的。 ( 2 ) 联机分析：就是数据产生或发生改变的同时对其进行检查，以发现攻击行为。 这种方式一般用于网络数据的实时分析，对系统资源要求比较高。 2 3 入侵检测系统标准化 由于入侵检测系统缺乏统一的标准，目前各个开发商开发的入侵检测系统之间无法实 现通信和协作。为了实现入侵检测系统的标准化，美国国防高级研究计划署( d a r p a ) 提 出了公共入侵检测框架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ) ( c i d f ) 。它主要包括 i d s 体系结构、通信机制、描述语言和应用编程接d a p i 。 2 3 1 c i d f 的体系结构 c i d f 把一个入侵检测系统划分为四个相对独立的功能模块：事件产生器( e v e n t g e n e r a t o r s ) ，事件分析器( e v e n ta n a l y z e r s ) 、响应单元( r e s p o n s eu n i t s ) 、事件数据库( e v e n t d a t a b a s e s ) 。所有四个部件所交换数据的形式都是通用的入侵检测对象( g e n e r a l i z e d i n t r u s i o nd e t e c t i o no b j e c t s ( g i d o ) ) 8 - 7 。 9 第2 章入侵检测系统 图2c i d f 体系结构 事件产生器从系统入侵检测环境中抽取感兴趣的信息，并把信息转化为标准的格式 g i d o ，传送到系统的其它组件；事件分析器分析从其它组件接收到的g i d o ，进行真正意义 上的入侵检测，并把分析的结果发送给其它组件；事件数据库不仅被用来保存事件，还被 用来持久地保存所需要保存的g i d o 对象：响应单元负责处理接收到的g i d o ，并进行相应 的反击行为。 2 3 2 c i d f 的通信机制 c i d f 组件间的通信机制是通过一个层次的结构来完成的，它包括三个层，分别是： g i d o 层，消息( m e s s a g e ) 层，协商传输( n e g o t i a t e dt r a n s p o r t ) 层。g i d o 层对各种事件 如何表示做了定义，以便入侵检测系统可以理解传输的数据。消息层可靠地将鉴别过的数 据从发送发传给接收方，而且可以通过防火墙等。协商传输层规定了g i d o 在各个组件之 间的传输机制。它们各层之间相对独立，层中不应该包含其它层的信息。 2 3 3 c i d f 语言 c i d f 最主要的工作就是对不同组件所使用的语言进行了标准化也就是公共入侵规范 语言c i s l ( c o m m o ni n t r u s i o ns p e c i f i c a t i o nl a n g u a g e ) 。c i s l 用来描述组件之间传输事件 记录、分析结果、反应策略和相关的信息编码协议。c i s l 的编写要求有广泛描述性，表达 方式唯一性、精确性，表达格式的有效性、可扩展性和可移植性等。 2 3 4 c i d f 接口 c i d f 的a p i 接口定义了和g i d o 相关的编码解码以及传输。 1 0 北京服装学院硕士学位论文 2 4 入侵检测系统发展趋势 由于目前入侵检测系统存在误报和漏报率高，在检测大规模的数据时容易出现速度瓶 颈和不同的入侵检测系统之间不能互操作等问题。针对这些问题，入侵检测技术将大致朝 着以下几个方向发展： ( 1 ) 入侵检测系统的标准化 虽然美国国防高级研究计划署( d a r p a ) 提出了通用入侵检测框架( c i d f ) ，但是这个标 准仍然在不断的进步和完善中，还没有应用到实际的入侵检测系统中，现在的各个入侵检 测系统( i d s ) 主要厂商生产的入侵检测系统都不支持当前的标准，造成各个i d s 之间几乎 不可能进行互操作。但入侵检测系统标准化终究是i t 行业充分发展的一个必然趋势。 ( 2 ) 分布式入侵检测 随着网络系统的复杂化、大型化以及入侵行为所具有的协作性，现代网络技术的发展 带来的新问题是，i d s 不但需要进行海量计算，而且不同i d s 系统还要进行协同操作。因而 高性能并行计算技术的入侵检测系统将称为入侵检测领域的研究热点。 ( 3 ) 入侵检测系统的智能化【8 】 目前，入侵技术的不断提高，入侵方法越来越多样化和综合化，新型攻击方法也层出 不穷，传统的入侵检测系统无法确保系统安全。尽管目前已经出现了许多智能算法应用在