（信号与信息处理专业论文）基于免疫机制的入侵检测系统模型研究.pdf

摘要 借鉴和模拟自然免疫系统的保护原理和机制，构造具有准确性、分布性、多 样性、轻巧性、鲁棒性和扩展性的入侵检测系统( i d s ) 是一个新颖而有发展前 景的研究方向。早在1 9 8 7 年，计算机安全系统与自然生物系统的相似性就由于 “计算机病毒”的出现而被认识到了。然而，迄今为止，保护计算机及计算机网 络的产品，无论是针对病毒还是针对其它的入侵和攻击，都还没有利用自然生物 系统对自身的保护机制。具体到基于免疫机制的入侵检测系统的研究也只局限于 f o r r e s t ，d a s g u p t a 和k i m 三个研究小组所做的研究工作。为此，在深入细致地 分析了入侵检测系统的各种体系结构、数据源和检测技术，并充分了解和认识了 它们各自相应的特点及优缺点的基础上，在导师黄厚宽教授的指导下，沿着上面 三个研究小组所做的工作，本文对结合免疫机制和数据挖掘技术的入侵检测系统 模型及其在各种不同条件下的性能进行了研究，取得了以下主要成果： ( 1 ) 目前，尚未有关于免疫系统的原理、机制以及相应免疫i d s 模型的全 面、完整和准确的形式化描述，也没有关于入侵检测系统性能度量的统一标准。 针对这一现状，本文在理解、分析和综合了当前各种免疫i d s 模型的基础上， 结合数据挖掘技术，提出了一个新的基于免疫机制的i d s 模型，并对该模型以 及其中所应用的各种免疫机制进行了全面、完整和准确的形式化描述：同时，对 所提出的免疫i d s 模型的一些具体实现技术进行了探讨。另外，本文还提出了 一种度量入侵检测系统检测性能、鲁棒性和扩展性的标准及相应公式。 ( 2 ) 由于当前还没有关于统计计算给定模式集覆盖规模的快速有效的算法 ( 当前的算法都是指数型算法) ，所以，无法对真实应用环境中免疫i d s 模型的 各种性能进行详细的分析和准确的估计，而只能针对随机分布假设进行一些理论 探讨。为了解决这个问题，本文提出了模式模板及其覆盖的概念，引入了模板之 间重叠规模的一种度量方式；在此基础上，推导出了给定模式集覆盖规模的计算 公式，并据此设计了相应的算法。该算法使得快速统计计算给定自我模式集的检 测盲点数、有效检测子数和检测盲点率成为了可能，也使得快速统计计算给定检 测子集对非我模式空间的覆盖规模成为了可能，这样就可以对单个检测节点和多 北方交通大学博士学位论文 个检测节点形成的入侵检测系统在不同应用环境和参数条件下的各种性能做出 快速准确的估计，以此指导实际入侵检测系统的设计，从而使得基于免疫机制入 侵检测系统模型的设计具有了可预测性。本文利用上述算法对所提出的免疫i d s 模型在不同环境条件和不同模型参数值下的检测性能变化规律进行了分析、总结 和预测，并据此对系统参数值的设计和选择提出了一些指导性的建议。实验证明 了预测结果的可靠性和准确性。 ( 3 ) 在当前的免疫 d s 模型中，生成检测子集的算法都采用的是随机尝试 法，而该算法的时间复杂度与模式编码长度、连续位匹配长度和自我模式集规模 都呈指数关系，因此，生成检测子的效率极低，在有些情况下，甚至根本无法在 合理的时间内l 三成一个检测子。尽管f o r r e s t 小组后来又曾给出了线性时削算法 和贪婪算法t 但这两个算法在空间复杂度上又都是指数型算法，因此，并未在实 践中得以应用。为此，本文设计实现了一个新的基于划分的检测子生成算法 s b d g 算法，该算法的时侧复杂度与模式编码长度和连续位匹配长度呈线性关 系，与自我模式集觇模呈二次多项式关系，而空间复杂度与上述参数都呈线性关 系。不仅如此r 该算法还可以保证检测子集的质量，使得每个检测子集都可以覆 盖尽可能最大的非我模式空间。由于该算法可以在各种条件下快速有效地生成检 测子集，从而使得基于免疫机制的入侵检测模型具有了实用性。 ( 4 ) 在上述免疫i d s 框架下，本文还提出了一个基于主机的入侵检测组件。 孩组件利用了变长记忆马尔可夫链模型、信息率失真理论、最小描述长度原理和 确定性退火算法，可以通过对一个主机系统用户账户中命令行字符序列轨迹的分 析，来判断是否存在“伪装”及其它具有相同或相似特征的入侵行为。该组件具 百捕捉用户在击键行为中存在的不定长频繁短序列的能力，可以通过不同用户的 1 _ f = = 同击键特征对命令行字倚序列中具有显著差异的不同行为方式进f 亍区分，从而 可以检测和判断一个用户的账户是否存在被入侵和利用的安全问题。实验结果表 明，该模型确实可以将具有不同统计特眭的行为方式区分开来。 关键词：计算机网络，网络安全， 长记忆马尔可夫链，信息率失真理论 入侵硷测，免疫计算，免疫i d s 模型，变 最小描述长度原理，确定性退火算法 a b s t r a c t i ti san o v e la n dp r o m i s i n gw a yt oc o n s t r u c ti n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) w h i c hi n c o r p o r a t e sm a n yp r o p e r t i e so fn a t u r a li m m u n es y s t e m s ，i n c l u d i n ga c c u r a c y ， l i g h t w e i g h t ，r o b u s t n e s s ，d i v e r s i t y ，a d a p t a b i l i t y ，s c a l a b i l i t y a n dd i s t r i b u t a b i l i t y e a r l y f r o m19 8 7 ，w h e nt h et e r mo f “c o m p u t e rv i r u s ”w a si n t r o d u c e d ，i th a sb e e nn o t i c e d t h a tt h e r ea r em a n ys i m i l a r i t i e sb e t w e e nc o m p u t e rs e c u r i t ys y s t e m sa n db i o l o g i c a l i m m u n es y s t e m s h o w e v e r , a f t e rs om a n yy e a r sp a s s e d ，t h em e c h a n i s m so fn a t u r a l i m m u n es y s t e m sh a v ey e tt ob ee m p l o ye ds of a r i nt h es e c u r i t yp r o d u c t s ，e i t h e r a g a i n s tc o m p u t e rv i r u s e so ra g a i n s tc o m p u t e ri n t r u s i o n s b a s e do nd e t a i l e da n a l y s i s a n df u l l yu n d e r s t a n d i n go fc u r r e n ti d sm o d e l sa n dt h e i ra r c h i t e c t u r e s d a t as o u r c e s a n dt e c h n i q u e s ，t h i sp a p e rp r e s e n t sa ni m m u n i t y b a s e di n t r u s i o nd e t e c t i o ns y s t e m m o d e lw h i c h i n c o r p o r a t e si m m u n e m e c h a n i s m sa n dd a t am i n i n gm e t h o d ，a n dm a k e sa d e e ps t u d yo f i t sp e r f o r m a n c e s o m ea c h i e v e m e n t sa r eo b t a i n e da sf o l l o w s ： ( 1 ) t od a t e ，t h e r ei sn of u l la n da c c u r a t ef o r m a ld e s c r i p t i o no fi m m u n e p r i n c i p l e s i m m u n i t y b a s e di d s s a n da u t h o r i z e dp e r f o r m a n c ec r i t e r i o no nt h eb a s i so fad e t a i l e d a n a l y s i s a n da f u l l yu n d e r s t a n d i n g o fc u r r e n ti d sm o d e l s a n i m m u n i t y - b a s e d i n t r u s i o nd e t e c t i o nm o d e l 、w h i c hi n c o r p o r a t e si m m u n em e c h a n i s m sa n dd a t am i n i n g m e t h o d ，i sp r e s e n t e da n df o r m a l l yd e s c r i b e d i na d d i t i o n ，ap e r f o r m a n c ec r i t e r i o ni s p r o p o s e da n d i sa l s of o r m a l l yd e s c r i b e d ( 2 ) b e c a u s et h ep r e s e n ta l g o r i t h m sf o rc a l c u l a t i n gt h es i z eo f c o v e r a g eo f a g i v e n p a t t e r n s e ta r ea l i e x p o n e n t i a le i t h e ri nt i m ec o m p l e x i t yo ri ns p a c ec o m p l e x i t y ，t h e p e r f o r m a n c eo fi m m u n i t y - b a s e di d sm o d e l si np r a c t i c a la p p l i c a t i o n sc a nn e i t h e rb e f u l l ya n a b z e dn o rb ea c c u r a t e l ye s t i m a t e d t os o l x 7 et h i s p r o b l e m ，ad e f i n i t i o no f p a t t e r nt e m p l a t e s a n dam e a s u r e m e n to ft h e i r o v e r l a p p e dc o v e r a g es p a c e a r e i n t r o d u c e d af o r m u l ao fc a l c u l a t i n gt h es i z eo fc o 、e r a g eo fag i v e np a t t e r ns e ti s d e d u c e df r o mt h e m w i t ht h ea l g o r i t h md e v e l o p e da c c o r d i n gt ot h ef o r m u l a i ti s p o s s i b l et og e tt h en u m b e ro fh o l e sa n dt h en u m b e ro fc a n d i d a t ed e t e c t o r sf o rag i v e n s e l fs e ti nar e a s o n a b l et i m e i ti sa l s op o s s i b l et oe f f i c i e n t l yg e tt h es i z eo f c o v e r a g eo f n o n s e l fs p a c eo fad e t e c t o rs e t t h u s ，t h e p e r f o r m a n c eo fas i n g l en o d ea n dt h e v 北方交通大学博士学位论文 s y s t e mc o m p o s e do f ag r o u po fn o d e sc a l lb ee s t i m a t e dq u i c k l ya n da c c u r a t e l yb o t hi n d i f f e r e n ta p p l i c a t i o n sa n di nd i f f e r e n tc o n d i t i o n sa st h e s ee s t i m a t e sc a l lb ea g u i d et o t h e d e s i g n o fa ni n t r u s i o n d e t e c t i o n s y s t e m ，i m m u n i t y b a s e d i d sm o d e l s g e t p r e d i c t a b l e w i t ht h eh e l po ft h ea l g o r i t h m ，t h ep e r f o r m a n c eo fp r o p o s e dm o d e li s a n a l y z e d a n dp r e d i c t e d t h ep r e d i c t i o ni sc o n f i r m e d b y o u r e x p e r i m e n t a lr e s u l t s ( 3 ) i na l lc u r r e n ti m m u n i t y b a s e di d sm o d e l s d e t e c t o r sa r eg e n e r a t e du s i n gt h e r a n d o m l y g e n e r a t e a n d t e s ta l g o r i t h m t h et i m e c o m p l e x i t y o ft h e a l g o r i t h m i s e x p o n e n t i a li nt h es i z eo f s e l f s e t ，p a t t e r nl e n g t ha n dc o n t i g u o u sb i t s i ns o m ec a s e s ，i t i s i m p o s s i b l et og e n e r a t ee v e nas i n g l ed e t e c t o ri nr e a s o n a b l et i m e f o r r e s tg r o u pe v e r i n t r o d u c e dt w od e t e c t o r g e n e r a t i n ga l g o r i t h m st h a tr u ni nl i n e a rt i m e b u tt h e s et w o a l g o r i t h m sa r en e v e ru s e di np r a c t i c e ，b e c a u s eo nt h i so c c a s i o nt h e ya r ee x p o n e n t i a li n s p a c ec o m p l e x i t y i n t h e p a p e r , an e wd e t e c t o r g e n e r a t i n g a l g o r i t h m s b d gi s d e s c r i b e d t h et i m e c o m p l e x i t yo ft h ea l g o r i t h mi s l i n e a ri n p a t t e r nl e n g t ha n d c o n t i g u o u s b i t sa n d q u a d r a t i c a l l yp o l y n o m i a l i nt h es i z eo fs e l fs e t t h e s p a c e c o m p l e x i t y o f t h ea l g o r i t h mi sl i n e a ri na l la b o v ep a r a m e t e r s b e s i d e s ，e a c hd e t e c t o r s e t g e n e r a t e db y t h ea l g o r i t h mc o v e r sn o n s e l f s p a c e a s l a r g e a s p o s s i b l e t h e a l g o r i t h mm a k e si m m u n i t y b a s e di d sm o d e lp r a c t i c a l ( 4 ) i nt h ep a p e r ，ah o s t - b a s e da n o m a l y d e t e c t i o n c o m p o n e n t i si n t r o d u c e d w h i c h c a nb ei n c o r p o r a t e di n t ot h e p r o p o s e dm o d e l t h ec o m p o n e n ti sb a s e do nm a r k o v c h a i nm o d e l ，r a t ed i s t o r t i o n t h e o r y ，m d lp r i n c i p l e a n dd e t e r m i n i s t i c a n n e a l i n g a l g o r i t h m a n dh a st h ea b i l i t yt oc a p t u r es h o r ts t r i n g st h a ta r es i g n i f i c a n tp r e d i c t o r sf o r u s e r sb e h a v i o ro fk e ys t r o k e i td e t e c t s m a s q u e r a d e sa n do t h e rm a s q u e r a d e l i k e i n t r u s i o n sb y a n a l y z i n gc h a r a c t e rs e q u e n c ec o m p o s e do fc o m m a n dl i n e sf r o mu s e r a c c o u n t s e x p e r i m e n t a lr e s u l t ss h o wi t sf e a s i b i l i t y , k e yw o r d s ：c o m p u t e rn e t w o r k n e t w o r ks e c u r i t y , i n t r u s i o nd e t e c t i o n i m m u n e c o m p u t a t i o n ，t h e m o d e lo f i m m u n i t y b a s e d i d s m a r k o vc h a i n sw i t hv a r i a b l e m e m o d r a t ed i s t o r t i o nt h e o r y , m d lp r i n c i p l e ，d e t e r m i n i s t i ca n n e a l i n g 第一章绪论 本章首先对入侵检测系统的基本概念及研究的必要性和重要意义作了介绍， 然后从体系结构、数据源和检测技术三个方面对入侵检测系统的研究现状和发展 趋势进行了评述，最后对当前入侵检测系统存在的问题、本文的主要贡献和本文 的组织安排进行了说明。 1 1 研究的必要性和意义 i n t e m e t 是一个全球各种计算机网络的互连系统，它把政府组织、余融证券、 商业企业、国防军事等各种计算机网络系统相互连接在了一起。目前，通过i n t e r n e t 实现包括政府、企业与个人的全社会信息共享已经逐步成为了现实。随着社会对 网络信息和网络应用系统的需求和依赖日益增强，计算机网络系统正在成为一个 国家极为关键的政治、经济、军事和文教资源，同时，它也正在成为一个国家实 力的新的象征和社会发展的重要保证。在计算机网络中存在着一些重要的信息系 统，其中存储着大量敏感的甚至是机密的信息，如国家的军事能源信息、政府的 调控决策信息、科研机构的研究技术信息和商业企业的技术经济信息等等；在计 算机网络中还存在着大量重要的应用系统，如金融、证券、税务、商务、文教等 电子系统。由于上述原因，一个国家的政府、组织、公司和个人在利用i n t e r n e t 提高了效率的同时，在保卫它们的系统免受网络入侵和网络攻击方面也正面临着 巨大的风险和挑战，越来越多的安全问题正在对网络应用造成巨大的威胁。据美 国g a o ( g e n e r a l a c c o u n t i n go f f i c e ) 、d i s a ( d e f e n s ei n f o r m a t i o ns y s t e ma g e n c y ) 、 f b i 、n s a 以及其它一些网络安全组织的统计调查表明，世界上“黑客”袭击计 算机网络的事件每年以3 0 的速度增长，商业信息被窃取的事件以每月2 6 0 的 速率在增加。与此同时，网络入侵者的经验正在变得越来越丰富，攻击工具和技 术水平不断提高，攻击方法也在不断地创新和更加丰富多样化。这些攻击从最好 处说，只是造成了一些麻烦和经济上的损失，而从最坏处说则可能严重地威胁到 国家政治经济环境的稳定和国防安全。 在我国，随着近年束计算机网络技术的飞速发展，对基于计算机网络的应用 需求也越来越多、越来越深入和越来越复杂。在高教、金融、税务、证券和通信 北方交通大学博士学位论文 等网络系统建立和完善之后，电子商务、信息传播、网上教学等应用_ i f 在发展， 以政府上嘲为日标的电子政务工程也正在逐步实施。嗵着我匿社会各个领域的活 动对i n t e l - n e t 的依赖性r 益增强计算机犯罪问题也r 益成为了网络应用在运行、 管理和维护中的重要问题，中共中央关于制定国民经济和社会发展第十个九年 计划的建议中也特别强调了要“强化信息网络的安全保障体系”。然而，网络 安全问题在我国还没有得到普遍和充分的重视。许多大型信息港和企、i p 的i n t e r n e t 配置方案中仅配置了一道防火墙。我们的网络管理处在一种十分虚弱的“健康” 状态。目6 ，幽内外的不法“黑客”已丌始将注意力转同中国的互联网用户及互 联网提供商，而我国的计算机网络系统却还普遍存在着安全隐患多、入侵防范和 入侵检测的能力弱、入侵信息和入侵证据的收集手段少等问题。对网络安全的信 任程度已经成为了各种i n t e m e t 应用能否实施的基础。 计算机网络安全是目前计算机科学技术中最重要的研究领域之一，是一个涉 及计算机科学、网络技术、通信技术、密码技术、信息安全技术、应用数学、数 论、信息论等多种学科的边缘性综合学科。传统的网络安全技术包括访问控制、 加密和认证。这些技术在应用中存在的问题是：为保证机密性与一致性对系统的 限制太死，灵活性差且效率低( 安全访问控制等级和用户的使用效率成反比) ； 传统的网络安全技术无法防止和发现隐信道的产生以及授权用户滥用授权的非 法操作，对来自内部的非法操作、口令或密钥的泄露、软件中的缺陷、系统配置 不当以及拒绝服务攻击更是无能为力。近年来流行的结合包过滤、应用层网关以 及虚拟子网的防火墙技术可以阻挡多种入侵和攻击手段，为网络环境提供安全的 数据通道。但由于防火墙假设了网络的边界和服务，并且还要考虑到网络分组的 传输速度和效率问题，因此，对内部的非法访问难咀有效地控制，对应用层和通 过加密通道进行的攻击方面具有很大的局限性，对网络环境下f 1 新月异的攻击手 段缺乏主动的反应，被动阻挡还会对合法用户和正常的网络分组流造成拒绝服 务；另外，防火墙还缺乏对入侵事件的跟踪、监视和分析功能以及对入侵证据的 收集功能。 入侵检测技术是动态安全技术的最核心技术之一。它采取的不是被动防御的 策略，而是主动监视、检测和识别j 下在进行的入侵企图或己经成功的入侵者和入 侵行为，为阻止入侵事件的发生和发展、为防止入侵所造成损失的扩大、为系统 或数据的恢复以及为入侵事件的处理提供信息s n i i e 掘。入侵检测问题的研究最早 可追溯到2 0 世纪5 0 年代在贝尔实验室的出现的专用e d p ( 电予数据处理) 审计 程序的设计和实现，以及r a n d 公司早期的工作”“。而入侵检测系统作为一个清 晰明确的研究领域出现是在上个世纪8 0 年代初。a d e r s o n 的文章“c o m p u t e r 第一章绪 论 s e c u r i t vt h r e a tm o n i t o r i n 2a n ds u r v e i l l a n c e ”1 6 9 被认为是关于入侵检测的开创性的 工作。他首先提出了入侵检测的思想，并提出审计追踪可应用于监视入侵威胁。 1 9 8 7 年d e n n i n g 在，“中提出了一个入侵检测系统的抽象模型，首次将入侵检测的 概念作为一种全新的与传统加密认证和访问控制完全不同的计算机系统安全防 御措施而提出。该文被认为是对入侵检测研究的推动性的工作。自此，国外对入 侵检测的模型和技术进行了大量的研究工作，同时研制开发了大量采用不同实现 技术的入侵检测系统，并被应用于一些重要的政治、军事和经济网络，以对非法 入侵实旌监控。这些系统在保障信息网络安全、尽早发现入侵攻击迹象、分析入 侵攻击的技术手段方面发挥着重要的作用。入侵检测系统正在成为继访问控制、 加密认证、防火墙之后的又一安全防护手段。随着研究的深入展开，入侵检测系 统必将在信息系统安全中占据越来越重要的地位。 国内在网络安全方面的研究主要集中在加密、认证、防火墙和网络监控等技 术和系统的实现上，投入较大且应用也较多，而对主动性的网络入侵检测系统的 研究力度不够，特别是对智能化的、自适应的、分布式的、可演化的入侵检测系 统的基础理论和应用技术的研究尤其不足。相应地，我国商业入侵检测系统产品 的技术和性能水平很低，市场几乎全部为国外厂商所占据，如i s s 公司的 r e a l s e c u r e 、a x e n t 公司的i n t r u d e r a l e r t 和n e t p r o w l e r 、c i s c o 公司的n e t r a n g e r 、 n e t w o r k a s s o c i a t i o n g 公司n a i 实验室的c y b e r c o p 和n e tf l i g h tr e c o r d e r 公司的 n f r 等( 国内入侵检测系统产品主要有中科网威的“天眼”和启明星辰的“天阗”) 。 总的来说，国内在入侵检测领域的研究仍处于起步阶段，投入少且研究力量分散， 与n # b 的研究水平相比有相当大的差距。为了提高信息系统的防护能力，我们应 当充分认识到迅速在该领域展开研究的必要性，并尽快填补在该领域理论和实际 应用上的空白。 由于计算机网络系统的安全涉及到一个国家的国防军事安全和政治经济稳 定，因此，在关于网络入侵检测系统的理论分析和技术实现的研究过程中，必须 学习借鉴国外的先进理论和技术，走自力更生的道路，研究具有国际先进甚至领 先水平的网络安全技术，研制具有自主知识产权的国产网络安全产品。 建立和强化国家信息网络的安全保障体系，不仅要从法律、法规和管理上采 取有效措施，而且还要从技术上提供有力的防范、检测和分析的手段。面对日盏 严重的网络信息安全问题，保障计算机网络系统以及整个信息基础设施的安全已 经成为刻不容缓的重要课题。因此，该课题的研究不仅具有现实的迫切性和必要 性，而且具有非常重大的意义和价值。 北方交通大学博士学位论文 1 2 入侵检测系统及其研究进展 1 2 1 入侵和入侵检测系统 入侵是指系统的未授权用户试图或已经窃取了系统的访问权限，以及系统的 授权用户超越或滥用了系统所授予的访问权限【l ” ，从而威胁或危害了网络资源 的完整性、机密性或有效性的行为集合。其中，完整性是指防止网络资源被非法 删改和破坏：机密性是指防止网络系统内信息的非法泄漏；有效性是指网络系统 数据资源可以被授权用户随时正常地访问，以及程序资源能够按期望的方式和作 用正常地运行。从分类角度可将入侵划分为信息收集( 如路由探测、拓扑重建、 系统探查、端口扫描等) 、系统侵入、系统渗透、伪装隐形、系统攻击( 如洪流、 邮件炸弹等) 和恶意使用等类型 u 4 a 6 7 】。 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 是一种计算机软件系统，用 于自动检测上述入侵行为，并收集入侵证据，为数据恢复和事故处理提供依据。 有些入侵检测系统在检测到入侵特征后还试图做出某些响应【2 0 , 4 8 , 1 5 5 ，以遏制或阻 止对系统的威胁或破坏。 入侵检测系统通常包括以下功能【”6 ： ( 1 ) 审计系统的配置和存在的脆弱性： ( 2 ) 评估关键系统和数据文件的完整性和一致性； ( 3 ) 分析用户和系统的活动情况； ( 4 ) 检测并响应正在进行的或已经实现的违反系统安全策略的入侵活动： ( 5 ) 收集入侵证据。 在设计网络入侵检测系统时，要特别对来自组织机构内部的入侵行为予以更 多的重视。据f b i 的研究，8 0 的入侵和攻击行为来自于组织机构内部。这是由 于内部人员具有访问系统资源的合法身份、了解系统数据的价值和熟悉系统的安 全措施，从而可以使用某些系统特权或调用比审计功能更低级的操作来逃避审 计。 理想的入侵检测系统模型除了应该具备很高的准确性和较大的检测范围以 外，下面几个方面的特性也是应该追求的目标【8 7 m l ： ( 1 ) 鲁棒性：入侵检测系统应该具有监视、检测和防止自身被入侵者攻击和 渗透的能力，即使在遭到攻击的情况下，也不应当完全丧失其正常工作的能力和 必要的性能【2 “。 ( 2 ) 容错性：若是由于意外事件或者由于恶意攻击而造成了系统的崩溃，入 侵检测系统应该具备恢复到系统正常运行时或崩溃、启动前的状态，并重新开始 第一章绪论 执行其功能的能力。 ( 3 ) 轻巧性：入侵检测系统应当尽可能减小施加给所监视系统或网络的额外 负荷，不能使被监视的系统或网络由于性能严重恶化而影响了其本身功能的实 现。另外，保持最小的系统丌销还可以保证入侵检测工作的高效性。 ( 4 ) 适应性：入侵检测系统应该能够动态地和精细地调整自身，以适应计算 机系统和网络环境的特定需求( 系统配置、系统应用、用户行为、网络拓扑和安 全策略等) 以及这些需求随时问的变化。此外，入侵检测系统还要能够适应入侵 行为模式的变化，从而既不会对大量系统和网络环境的正常变化造成很多误报， 又能动态地检测变化的入侵行为【】8 “。 ( 5 ) 扩展性：当网络系统的规模或入侵检测问题的规模扩大对，入侵检测系 统应该能够容易地延伸到新引入的主机、操作系统或应用，能够方便地插入和配 置新引入的检测功能或检测模型，并保证及时准确地实现其功能【”2 1 。 ( 6 ) 智能性：入侵检测系统应该具有分析、学习和创新的能力，通过与所在 环境和其它系统组件的交互作用，不断提升自身的检测能力和检测性能。 入侵检测系统中使用的检测技术与系统的体系结构和系统所使用的数据源 是密不可分的。因此，本章接下来的部分将首先介绍入侵检测系统的体系结构和 数据源的发展演变过程，然后再对建立在不同体系结构和数据源基础上的入侵检 测技术进行系统地介绍。 1 2 2 入侵检测系统体系结构的发展 根据数据分析和入侵检测功能的实现方式，可以将网络入侵检测系统的体系 结构从逻辑上( 系统的物理结构和逻辑结构不一定是一致的) 分为集中式、层次 式和分布式三种【8 71 叫。 ( 1 ) 集中式体系结构( c e n t r a l i z e d a r c h i t e c t u r e ) 集中式体系结构的入侵检测系统如图1 1 所示。这种体系结构由一个中心站 ( 客户) 和若干主机监控代理( 服务器) 构成，采用客户一服务器工作模式。主机 监控代理负责收集本地审计数据，并将其转换成与操作系统无关的格式，从而可 以支持异质网络环境。要收集哪些审计数据可以预先确定，也可以由中心站根据 数据分析的要求来确定。审计数据接着被送到中心站进行缓冲，由数据分析系统 ( 通常是一个专家系统) 进行远程分析和决策。在这种结构中，中心站和监控代 理之间是控制与被控制的关系。中心站提供对被监控主机的安全管理控制它们 的审计功能，通过轮询获取它们的新的审计数据，并返回分析系统的分析决策。 中心站与各代理之间的通信采用s e c u r er p c 。 北方交通大学博士学位论文 圈11 集中式体系结构的入侵检测系统 在集中式体系结构中，数据分析的功能不是在被监视的主机上，而是在具有 较高性能的中心站上，因此，对被监视主机的性能没有显著的影响，系统的工作 效率也很高。而且由于数据是集中分析的，因此更容易进行全局性的检测和决策。 另外，中心站远较被监视主机具有更高和更加严格的安全措施，这可以保证入侵 检测功能更加可靠地实现：另外，集中式的策略管理显著简化了安全管理工作， 从而可以保证安全策略的有效性和一致性能够得到提高，所以集中式体系结构还 有安全方面的优点。这种结构的主要不足是中- i i , 站与各主机监控代理之间的通信 过于繁重。随着网络规模的增长，大量的审计数据和控制信息需要在主机监控代 理和中心站之间进行传送，从而可能会造成网络性能的严重下降；而且，一旦中 心站因攻击( 如拒绝服务) 而失效，则将导致全部检测功能的丧失。另外，这种 单一的中心站难以使其配置适应所有被监视主机的各种不同的本地需求，在引入 新的检测问题和新的检测模型时，重新配置所有被监视主机以适应这一变化也是 不容易的。由于集中式体系结构的系统在健壮性、扩展性和配置性方面不理想， 因此，较适用于小型的网络系统。 在入侵检测系统的发展初期所采用的都是集中式体系结构，这与那时所面对 的都是小规模单一操作系统的网络环境有关。现在面对小规模网络环境时集中式 体系结构仍然是一种理想的选择。采用这种体系结构的典型的入侵检测系统有： s r i 研制的i d e s 【7 5 t ”j n i d e s l “，c a l i f o m i a 大学s a n t ab a r b a r a 分校开发的 s t a t n s t a t l l t 2 1 ，c a l i f o m i a 大学d a v i s 分校开发的d i d s i ”4 】和n s m ，p u r d u e 大 学研制的i d i o t 【2 1 ”_ 9 2 】，l o s a l a m o s 国家实验室研制的n a d i r l 7 2 3 1 ，b r a n d e n b u r g 工业大学c o t t b u s 分校( 德) 研制开发的a i d ”“，以及原w h e e l g r o u p 公司( 现被 c i s c o 兼并) 研制开发的n e t r a n g e r 等。 一 望二皇堕堡 ：! ： 一一 ( 2 ) 层次式体系结构( h i e r a r c h i c a l | 4 x c h i t e c t u r e ) a 物理结构 b 逻辑结构 圈l2 层次式体系结构的入侵榆测系统 现在大多数商业入侵检测系统均采用层次式结构。图1 2 为p u r d u e 大学研制 的入侵检测系统a a f i d 的体系结构图【1 2 ”。可以注意到，它的逻辑结构( 而不是 物理结构) 是层次式结构。层次式结构可以描述成树形结构：叶节点为本地主机 基本事件的收集、分析和检测实体( 基于主机或基于网络) ：中间节点或根节点 为监视域中综合事件的收集、分析和检测实体( 根节点通常还同时是管理控制 台) 。每个检测实体都由一组具有独立检测功能的被称为是自治a g e n t 的基本检 测单元组成。叶节点只根据从本地主机上收集的基本事件信息进行入侵检测。同 一监视域中的叶节点将本地基本事件进行进一步的集成、抽取和数据约简，然后 传送到负责本监视域的同一个中间层父节点，该父节点根据这些综合事件信息， 就可以对诸如多主机扫描、协同扫描等入侵行为进行检测。这样的若干父节点可 以构成更高层中问节点的监视域，从而可以根据更抽象的综合信息进行更加整体 北方交通大学博士学位论文 化和全局化的检测和决策 17 1 , 1 8 4 , 9 6 1 。以此类推，直到负责最高层次监视域的根节 点。根节点通常作为一个管理控制台，用以评估攻击状况并做出响应。系统管理 员可以据此了解系统状态和发送命令。通过逐层向上精简信息和逐层向下精简控 制，层次式结构可以获得有效的通信效果。 层次式体系结构具有准分布特性，这在于整体入侵检测系统的功能分布在了 并发执行、互相协作的大量检测实体上。然而，它又不是一个完全意义上的分布 式结构，这是因为其高层节点对低层节点具有依赖性，不是完全独立的；而且， 这种依赖关系是人为指定的，而不是像分布式结构中的独立检测实体那样是通过 不同检测实体间的交互作用而自组织形成的，所以，高层节点的失效后，其结构 和功能是无法自修复的。 层次式体系结构具有集中式体系结构的轻巧性，也具有分布式结构的部分鲁 棒性。此外，在层次式结构中，每个自治的智能体( a g e n t ) 都可以单独编程调试、 升级维护、精细配置，可以根据需要安装、运行、停止和卸载，既不影响其它自 治智能体的工作，又具有极大的灵活性。另外，层次式结构的入侵检测系统的网 络流量( 数据流和控制流) 比较适中，对被监视主机的影响在于配置的自治智能 体的数量和检测模型的复杂程度。这种结构的入侵检测系统可以监视出几千台主 机组成的网络系统。 层次式体系结构也有明显的不足。首先，如何根据具体的网络系统应用环境 设计相应的入侵检测层次结构，以及如何选择合适的智能体并配置其检测模型和 运行参数就是一个复杂的问题；其次，当网络拓扑结构变化时，原来的层次结构 和上传汇总机制也要变化；再者，当一个较高层次的节点被攻击或崩溃时，所有 像网络协同攻击这样的需要通过对较低层次的综合事件信息进行全局分析才能 进行识别的入侵模式将很容易地逃过检测，而更高层节点的检测能力和准确性也 要受到影响：最后，在趋于演化的通信线路和功能之间，过紧的绑结使其缺乏灵 活性。 典型的层次式体系结构的入侵检测系统有p u r d u e 大学开发的a a f i d t l 2 7 、 c a l i f o m i a 大学d a v i s 分校开发的g r i d s l 2 2 , 1 2 9 ，s i l l 研制的e m e r a l d 川和n a m u r 大学( 比利时) 研制开发的a s a x 等。 ( 3 ) 分布式体系结构( d i s t r i b u t e d a r c h i t e c t u r e ) 分布式体系结构由分布在各主机或者各子网中的若于平行、独立、并发的自 治实体组成。每一个独立的自治实体都通过与自身所在的本地环境的交互作用形 成各自独有的决策规则，并基于所收集的数据进行分析决策1 1 “，。4 , 1 7 2 。在必要时， 各自治实体之间可以互相协作，以作出更全面和更准确的结论。它们还可以进行 第一章绪 论 9 关联事件的一致性推理，从而实现全局决策，以检测像协同攻击这样的行为。各 检测实体通过相互作用有可能自发形成定的组织结构和功能结构，这种自组织 特性使得整个入侵检测系统不需要先验知识和人工干预就可以自发地重新组织， 以适应所在系统环境所发生的变化。 分布式体系结构可以部分地解决集中式体系结构中存在的问题。首先，当网 络系统中的单个或部分自治实体由于受到攻击或其他原因而失效时，由于每个检 钡9 实体都只是实现整体检测任务的一个很小的功能单位，因此对整个入侵检测功 能没有明显影响或只有较小的影响；而且，各自治实体之闯可以进行交叉检验， 实现互监视和互检测，从而可以获得较好的鲁棒性。另外，每个被监视主机上的 入侵检测组件可以单独配置以满足本地系统特定的关于应用或安全策略的需求。 若各入侵检测组件间可以通过相互作用而实现自组织特性，则还具有自动适应系 统和网络环境变化( 如网络拓扑结构的变化等) 的能力。再者，当网络系统的规 模扩大时，只需对新加入的主机配置相应的入侵检测组件即可，对其它主机上的 入侵检测组件不需要