（计算机软件与理论专业论文）基于代理的协作化层次型入侵检测模型.pdf

东北大学硕士学位论文摘要 基于代理的协作化层次型入侵检测模型 摘 要 本文针对计算机网络安全这一热点问题，研究了近些年来国际上主要的入侵 检测技术，对其中一些解决方案的优缺点进行了分析，主要做了以下一些工作: 本文首先分析了入侵检测技术的一般流程及入侵检测技术的各种分类，并对 分布式入侵检测技术近些年来所取得的主要研究成果进行了简单的总结。 目前的入侵检测系统在联合使用各种检测技术上仍面临着许多问题。本文在 此方面做了一些工作，提出了一个基于代理的协作化层次型入侵检测模型。本文 在详细地阐述了模型的两个设计出发点之后，对整个模型的各个部分进行了 详细 的分析。分析节点的设计采用了多代理技术，在数据的采集、分析和管理方面， 具有一些较好的特性。分析节点间的通讯，控制台间的通讯，则采用了i d wg工 作组的i d x p协议和i d me f消息格式。 本文还对x ml消息的数据库存储进行了 一定的分析。 关键词入侵检测 模型 代理 协作化 层次型 东北大学硕士学位论文ab s tra c t a g e n t - b a s e d c o o p e r a t i o n h i e r a r c h i c a l i n t r u s i o n de t e c t i o n mo d e l abs tract t h i s t h e s i s m a k e s o m e r e s e a r c h o n m a j o r i n t r u s i o n d e t e c t i o n t e c h n o l o g y f a c i n g t h e h o t s p o t o f n e t w o r k s e c u r it y . a n d i t m a k e s o m e a n a l y s e s o n a d v a n t a g e s a n d d i s a d v a n t a g e s o f s o m e s o l u t i o n s . t h i s t h e s i s a n a l y z e n o r m a l p r o c e s s o f i n t r u s i o n d e t e c t i o n t e c h n o l o g y a n d m a k e s o m e a n a ly s e s o n c l a s s i f i c a t i o n o f i n t r u s i o n d e t e c t i o n t e c h n o l o g y . i t a l s o g i v e a s i m p l e s u m m a ry o n m a j o r r e s e a r c h o f d i s t r i b u t e d i n t r u s i o n d e t e c t io n s y s t e m s . a c t u a l i d s h a v e s o m e p r o b l e m s f a c i n g t h e c o m b i n i n g u s e o f a n a l y z i n g t e c h n o l o g y . t h i s t h e s i s d i d s o m e w o r k o n t h e p r o b l e m a n d p r o p o s e a a g e n t - b a s e d c o o p e r a t i o n h i e r a r c h i c a l i n t r u s i o n d e t e c t i o n mo d e l . a ft e r m a k e a d e e p r e s e a r c h o n t h e t w o d e s i g n p o i n t s o f m o d e l s , t h e t h e s i s a l s o a n a l y z e p a r t s o f m o d e l d e e p l y . a n a l y z i n g n o d e s u s e t h e m u l t i - a g e n t s t e c h n o l o g y a n d it h a s s o m e g o o d p r o p e r t y o n d a t a - g a t h e r i n g , a n a l y z i n g a n d m a n a g e m e n t . t h e c o m m u n i c a t i o n a m o n g a n a l y z i n g n o d e s a n d a d m i n i s t r a t i o n c o n s o l e s u s e s t h e i d x p p r o t o c o l a n d i d me f m e s s a g e . t h i s t h e s i s a l s o m a k e s o m e a n a l y z i n g o n t h e x ml s t o r i n g t o d a t a b a s e . k e y w o r d s i n t r u s i o n d e t e c t i o n , mo d e l a g e n t , h i e r a r c h y , c o o p e r a t i o n i t 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成 果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也 不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中作了明确的说明并表示谢意。 学 位 论 文 作 者 签 名 : 足学)司 期 :a ., . s - . / - 0 9 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规 定:即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论 文被查阅和借阅。本人授权东北大学可以将学位论文的全部或部分内容编入有关 数据库进行检索、交流。 ( 如作者和导师同意网上交流，请在下方签名;否则视为不同意。 ) 学 位 论 文 作 者 签 名 : 足 1阅 导师签名: 签 字 日 期 : 夕 ，女 . , . 2 ?签字日期: 东北大学硕士学位论文 1引言 1引 言 1 . 1网络入侵检测研究的主要意义 近十几年来，随着科学技术的飞速发展，计算机技术和网络技术深入到社会 的各个领域，而网络也正在越来越多地离开原来单纯的学术环境，融入到社会的 各个方面。网络的发展和应用正逐步改变着人们的工作和生活方式，互联网成为 人们实现知识共享和信息交流的主要手段。 互联网的发展已经引起新的产业革命， 变革了经济的运行模式，对人类社会的影响将是深远的。由于互联网对于社会资 源的巨大节约及其产生的社会效应，尽管受到包括制度、观念、语言 在内的各种 障碍的制约，互 联网仍然在全球范围内得到了飞速发展。 中国互联网络信息中心 ( c n n i c )于 2 0 0 4年 7月发布了第十四次 中国互 联网络发展状况统计报告 1 。 从宏观角度看， 我国的互联网发展继续保持了高 速的发展势头， 上网用户总人数已达8 7 0 0 万， 上网计算机总数己 达3 6 3 0 万， c n 域名总数己达3 8 2 2 1 6 个， www站点总数约为6 2 6 6 0 0 个，国际出口 带宽总量已 达 5 3 9 4 1 m. 计算机网络的发展，给人们的工作和生活带来了极大地方便。但是，由于网 络系统的开放性、资源的共享性、连接形式的多样性、终端分布的不均匀性、网 络边界的不可知性，给我们带来了许多问题。其中，最引人注目的当属安全性问 题。据美国 金融时报报道，目前全球平均每2 0 秒就发生一起i n t e r n e t 计算机 入侵事件。 在i n t e m e t 上的网络防火墙超过1 / 3 被突破。 而且后果可能更严重的是， 由于网络应用越来越深地渗透到金融、商务、国防等等关键要害领域，网络安全 己不仅仅是个人或者某个小集体所面临的问题，而日益成为与国家、政府休戚相 关的 “ 大事情” 1 .2网络安全及入侵检测 传统的安全防御策略采用了静态的安全防御技术，对网络环境 f 日新月异的 攻击手段缺乏主动反应。目 前网络安全系统主要采用的是以防火墙为主的被动管 理。 但防火墙本身容易受到攻击， 且对于内部网络出现的安全问题经常束手无策。 根据统计大于3 5 %的网络攻击是针对具有防火墙的系统 2 1 ， 且很多是从内部进行 东北大学硕士学位论文 1引言 1引 言 1 . 1网络入侵检测研究的主要意义 近十几年来，随着科学技术的飞速发展，计算机技术和网络技术深入到社会 的各个领域，而网络也正在越来越多地离开原来单纯的学术环境，融入到社会的 各个方面。网络的发展和应用正逐步改变着人们的工作和生活方式，互联网成为 人们实现知识共享和信息交流的主要手段。 互联网的发展已经引起新的产业革命， 变革了经济的运行模式，对人类社会的影响将是深远的。由于互联网对于社会资 源的巨大节约及其产生的社会效应，尽管受到包括制度、观念、语言 在内的各种 障碍的制约，互 联网仍然在全球范围内得到了飞速发展。 中国互联网络信息中心 ( c n n i c )于 2 0 0 4年 7月发布了第十四次 中国互 联网络发展状况统计报告 1 。 从宏观角度看， 我国的互联网发展继续保持了高 速的发展势头， 上网用户总人数已达8 7 0 0 万， 上网计算机总数己 达3 6 3 0 万， c n 域名总数己达3 8 2 2 1 6 个， www站点总数约为6 2 6 6 0 0 个，国际出口 带宽总量已 达 5 3 9 4 1 m. 计算机网络的发展，给人们的工作和生活带来了极大地方便。但是，由于网 络系统的开放性、资源的共享性、连接形式的多样性、终端分布的不均匀性、网 络边界的不可知性，给我们带来了许多问题。其中，最引人注目的当属安全性问 题。据美国 金融时报报道，目前全球平均每2 0 秒就发生一起i n t e r n e t 计算机 入侵事件。 在i n t e m e t 上的网络防火墙超过1 / 3 被突破。 而且后果可能更严重的是， 由于网络应用越来越深地渗透到金融、商务、国防等等关键要害领域，网络安全 己不仅仅是个人或者某个小集体所面临的问题，而日益成为与国家、政府休戚相 关的 “ 大事情” 1 .2网络安全及入侵检测 传统的安全防御策略采用了静态的安全防御技术，对网络环境 f 日新月异的 攻击手段缺乏主动反应。目 前网络安全系统主要采用的是以防火墙为主的被动管 理。 但防火墙本身容易受到攻击， 且对于内部网络出现的安全问题经常束手无策。 根据统计大于3 5 %的网络攻击是针对具有防火墙的系统 2 1 ， 且很多是从内部进行 东 北大学 硕士学位论文1引言 的，所以这种被动的安全机制已不能满足目 前的网络安全需要。 入侵检测技术是动态安全技术的核心技术之一，是防火墙的合理补充，是安 全防御体系的一个重要组成部分。这种技术不仅能够防止外部的入侵，还能够检 测内部的非法使用者，具有很强的实际意义和应用价值。 有关入侵检测系统的 最早论述来自 于1 9 8 0 年a n d e r s o n 3 1 的 报告 c o m p u t e r s e c u r it y t h r e a t m o n i t o r in g a n d s u r v e il l a n c e ) 。 在这 篇 报告中， 他 提出 必须 改 变 现 有 的系统审计机制，以便为专职系统安全人员提供安全信息。 1 9 8 4 至1 9 8 6 年， d o r o t h y d e n n i n g 4 和p e t e r n e u m a n n 联合开发了一个实时 入侵检测系统i d e s ( i n t r u s i o n d e t e c t i o n e x p e rt s y s t e m ) 5 . i d e s采用异常检测 和专家系统的混合结构。 d e n n i n g 1 9 8 6 年的论文 a n i n t r u s i o n d e t e c t i o n m o d e ) 亦被公认为是i d s 领域的另一篇开山 之作 6 0 随着网络应用的迅速普及和入侵检测技术的进一步发展，1 9 9 0年 h e b e r l e i n 提出 一 个 新概 念 一基 于网 络的 安 全 监视 ( n s m n e t w o r k s e c u r it y m o n i t o r ) 。 与以 前的入侵检测系统相比，它的不同点在于它不是检查主机系统的审计记 录，而是 通过主动监视局域网上的信息流来发现可疑行为。这一概念的提出使得入侵检测 系 统的应用开始面向网络。 1 9 9 4 年， m a r k c r o s b i e 和g e n e s p a f f o r d 提出使用自 治代理 ( a u t o n o m o u s a g e n t ) 来提高入侵检测系统的 可扩展性、可维护性和容错性。 1 9 9 6 年c h e u n g s . 提出了g r i d s ( g r a p h - b a s e d i n t r u s i o n d e t e c t i o n s y s t e m ) . 该技术对大规模的自 动或协同攻击的检测更为有利。随着广域网的不断发展和黑 客攻击技术的提高，早期集中式的网络入侵检测系统己不再适用于大型的网络。 于 是就有了 用于大型网络的分布式入侵检测系统，如e m e r a l d , g r i d s 等。 这 种分布式入侵检测方法的容错能力强、扩展能力强，能检测大范围的网络入侵活 动。 1 .3本课题的主要研究内容 本课题首先对近些年入侵检测技术的主要发展进行了深入的研究。在此过程 中，我们注意到很多入侵检测技术在针对某一种具体情况时，都有着其他检测技 术无法比拟的优点，但在其他情况下又有很多局限。同时，现在世界上己经出现 了 一 种趋势，就是入侵检测框架的标准化和入侵检测通讯协议的标准化，力图使 各种入侵检测技术和产品能做到相互通讯，相互合作。本课题研究的最终目 标是 东 北大学 硕士学位论文1引言 的，所以这种被动的安全机制已不能满足目 前的网络安全需要。 入侵检测技术是动态安全技术的核心技术之一，是防火墙的合理补充，是安 全防御体系的一个重要组成部分。这种技术不仅能够防止外部的入侵，还能够检 测内部的非法使用者，具有很强的实际意义和应用价值。 有关入侵检测系统的 最早论述来自 于1 9 8 0 年a n d e r s o n 3 1 的 报告 c o m p u t e r s e c u r it y t h r e a t m o n i t o r in g a n d s u r v e il l a n c e ) 。 在这 篇 报告中， 他 提出 必须 改 变 现 有 的系统审计机制，以便为专职系统安全人员提供安全信息。 1 9 8 4 至1 9 8 6 年， d o r o t h y d e n n i n g 4 和p e t e r n e u m a n n 联合开发了一个实时 入侵检测系统i d e s ( i n t r u s i o n d e t e c t i o n e x p e rt s y s t e m ) 5 . i d e s采用异常检测 和专家系统的混合结构。 d e n n i n g 1 9 8 6 年的论文 a n i n t r u s i o n d e t e c t i o n m o d e ) 亦被公认为是i d s 领域的另一篇开山 之作 6 0 随着网络应用的迅速普及和入侵检测技术的进一步发展，1 9 9 0年 h e b e r l e i n 提出 一 个 新概 念 一基 于网 络的 安 全 监视 ( n s m n e t w o r k s e c u r it y m o n i t o r ) 。 与以 前的入侵检测系统相比，它的不同点在于它不是检查主机系统的审计记 录，而是 通过主动监视局域网上的信息流来发现可疑行为。这一概念的提出使得入侵检测 系 统的应用开始面向网络。 1 9 9 4 年， m a r k c r o s b i e 和g e n e s p a f f o r d 提出使用自 治代理 ( a u t o n o m o u s a g e n t ) 来提高入侵检测系统的 可扩展性、可维护性和容错性。 1 9 9 6 年c h e u n g s . 提出了g r i d s ( g r a p h - b a s e d i n t r u s i o n d e t e c t i o n s y s t e m ) . 该技术对大规模的自 动或协同攻击的检测更为有利。随着广域网的不断发展和黑 客攻击技术的提高，早期集中式的网络入侵检测系统己不再适用于大型的网络。 于 是就有了 用于大型网络的分布式入侵检测系统，如e m e r a l d , g r i d s 等。 这 种分布式入侵检测方法的容错能力强、扩展能力强，能检测大范围的网络入侵活 动。 1 .3本课题的主要研究内容 本课题首先对近些年入侵检测技术的主要发展进行了深入的研究。在此过程 中，我们注意到很多入侵检测技术在针对某一种具体情况时，都有着其他检测技 术无法比拟的优点，但在其他情况下又有很多局限。同时，现在世界上己经出现 了 一 种趋势，就是入侵检测框架的标准化和入侵检测通讯协议的标准化，力图使 各种入侵检测技术和产品能做到相互通讯，相互合作。本课题研究的最终目 标是 东 北大学 硕士学 位论文1引言 要实现一个能够使各方技术和产品工作于同一框架下的入侵检测系统。作为该项 目的初期研究，本课题采用多代理技术来实现对多种检测技术的共同使用，采用 分布式检测来实现入侵检测系统对多数据源、多分析节点的要求。 本文的组织如下:前两章是引言 和入侵检测的简单介绍，介绍了网络入侵检 测研究的主要意义，回顾了入侵检测技术的发展，并分析了入侵检测技术的一般 流程以及入侵检测技术的各种分类。第三章分布式入侵检测由于是我们所采用的 主要技术之一，因此我们在这章中详细讨论了分布式入侵检测系统近些年所取得 的主要研究成果。第四章我们给出了基于代理的协作化层次型入侵检测模型的设 计框架。在首先详细介绍了我们的两个设计出发点之后，对整个框架各部分进行 了详细的介绍。第五章详细探讨了监测分析节点所采用的多代理技术，对其工作 机制、相互合作机制进行了分析，并介绍了几种所采用的代理。第六章详细探讨 了相互间通讯所采用的i d x p协议，对其所具有的特性、数据模型和连接规范都 进行了说明，并用j a v a 进行了简单的实现。第七章对报警消息格式进行了研究， 介绍了采用x ml 作为数据载体的原因， 分析了i d m e f 的数据模型及各种消息类， 并对将 x ml中的数据存储于数据库进行了说明。文章最后对全文进行了总结， 提出了下一步要开展的工作和 一 些设想，并对整个入侵检测技术未来的发展方向 进行了预测。 东北大学硕士学位论文2网络妥全及入侵检测 2网络安全及入侵检测 目 前网络安全系统主要采用的是以防火墙为主的被动管理。但防火墙本身容 易受到攻击，且对于内部网络出现的安全问题经常束手无策。根据统计大于3 5 % 的网络攻击是针对具有防火墙的系统，且很多是从内部进行的。所以这种被动的 安全机制不能够满足目前的网络安全需要了。本文所讨论的安全技术是网络入侵 检测技术。它是一种相对比较主动的技术，通过检测系统和网络内部的数据和活 动，发现可能的入侵者，并进行报警或主动切断入侵通道。 这种技术不仅能够防止外部的入侵，还能够检测内部的非法使用者，具有实 际的应用价值。 2 . 1 2 . 1 . 1 入侵检测系统的一般工作流程 信息收集 入侵检测的第一步是信息收集。内容包括系统、网络、数据及用户活动的状 态和行为，而且需要在计算机网络系统中的若干不同关键点、不同网段和不同主 机收集信息。这除了尽可能扩大检测范围的因素外，还有 一 个重要的原因就是从 一 个源来的信息有可能看不出疑点，但从几个源来的信息的不一致性却是可疑行 为或入侵的最好标识。 2 . 1 . 2信息分析 对收集到的有关系统、网络、数据及用户活动的状态和行为等信息，一般通 过三种技术手段进行分析一模式匹配、统计分析和完整性分析。其中前两种方法 用于实时的入侵检测，而完整性分析则多用于事后分析。 2 . 1 .3信息存储 为了便于系统管理员对攻击信息进行查看和分析，需要将入侵检测系统收集 到的信息进行保存，存储的信息同时也为攻击保留了数字证据。 东北大学硕士学 位论文 2 . 1 .4攻击响应 z网络安全及入慢检测 在对攻击信息进行分析并确定攻击的类型后， 我们要对攻击进行相应的处理。 如利用发出警报，给系统管理员发出邮件等手动干预的方式来对付攻击，或是利 用自 动装置直接处理，如切断连接、过滤攻击者的i p 地址等。 2 .2入侵检测系统的分类 随着入侵检测技术的发展，到日 前为l l 出现了很多入侵检测系统。不同的入 侵检测系统具有不同的特征。根据不同的分类标准，入侵检测系统可分为不同的 类别。 对于入侵检测系统，要考虑的因素、分类依据主要有:检测技术方法、检测 原理、检测对象以及体系结构等。 2 .2 . 1根据所采用的检测技术方法分类 概括地说来，目 前入侵检测采用的技术 7 l 及可能的发展如下: 2 .2 . 1 . 1用户行为概率统计模型 这种入侵检测方法是基于对用户历史行为建模以及在早期的证据或模型的基 础上，审计系统实时地检测用户对系统的使用情况。根据系统内部保存的用户行 为概率统计模型进行检测，当发现有可疑的用户行为发生时，保持跟踪并监测记 录该用户的行为。 2 .2 . 1 .2 模式匹配 模式匹配【 8 1 检查对照一系列已 有的攻击比 较用户活动， 从而发现入侵。 这种 想法的先进之处在于定义己知的问题模式，然后观察能与模式匹配的事件数据。 应用此技术的研究包括:选择和实施模式匹配引擎、收集攻击模式集以及对攻击 模式库的更新。 2 . 2 . 1 .3 神经网络 这种方法对用户行为具有学习和自 适应功能。能够根据实际检测到的信息有 效地加以处理并做出入侵可能性的判断。利用神经网络所具有的识别、分类和归 纳能力，可以使入侵检测系统适应用户行为特征的可变性。与统计理论相比，神 东北大学硕士学 位论文 2 . 1 .4攻击响应 z网络安全及入慢检测 在对攻击信息进行分析并确定攻击的类型后， 我们要对攻击进行相应的处理。 如利用发出警报，给系统管理员发出邮件等手动干预的方式来对付攻击，或是利 用自 动装置直接处理，如切断连接、过滤攻击者的i p 地址等。 2 .2入侵检测系统的分类 随着入侵检测技术的发展，到日 前为l l 出现了很多入侵检测系统。不同的入 侵检测系统具有不同的特征。根据不同的分类标准，入侵检测系统可分为不同的 类别。 对于入侵检测系统，要考虑的因素、分类依据主要有:检测技术方法、检测 原理、检测对象以及体系结构等。 2 .2 . 1根据所采用的检测技术方法分类 概括地说来，目 前入侵检测采用的技术 7 l 及可能的发展如下: 2 .2 . 1 . 1用户行为概率统计模型 这种入侵检测方法是基于对用户历史行为建模以及在早期的证据或模型的基 础上，审计系统实时地检测用户对系统的使用情况。根据系统内部保存的用户行 为概率统计模型进行检测，当发现有可疑的用户行为发生时，保持跟踪并监测记 录该用户的行为。 2 .2 . 1 .2 模式匹配 模式匹配【 8 1 检查对照一系列已 有的攻击比 较用户活动， 从而发现入侵。 这种 想法的先进之处在于定义己知的问题模式，然后观察能与模式匹配的事件数据。 应用此技术的研究包括:选择和实施模式匹配引擎、收集攻击模式集以及对攻击 模式库的更新。 2 . 2 . 1 .3 神经网络 这种方法对用户行为具有学习和自 适应功能。能够根据实际检测到的信息有 效地加以处理并做出入侵可能性的判断。利用神经网络所具有的识别、分类和归 纳能力，可以使入侵检测系统适应用户行为特征的可变性。与统计理论相比，神 东北大学 硕士学位论文2网络安全及入侵检测 经网络更好地表达了变量间的非线性关系，并且能自 动学习并更新。 2 . 2 . 1 . 4 专家系统 该技术根据安全专家对可疑行为的分析经验来形成一套推理规则，然后在此 基 础上建立相应的专家系统 9 1 , 由 此专家系统自 动进行对所涉及的入侵行为的分 析工作。该系统应当能够随着经验的积累而利用其自学习能力进行规则的扩充和 修正。 2 . 2 . 1 .5数据融合技术 为了有效地对付各种入侵威胁，系统应该把几种入侵检测方法结合起来。我 们需要把各主机的基于网络的分析结合起来做分析，所以有必要把不同来源的数 据结合进行分析。 2 . 2 . 1 .6 数据挖掘 入侵检测的数据挖掘 1 0 是指离线的知识发 现过程。最早被 w e n k e .l e e i i 用 于 入侵检测中，即:将先前收集的大量的数据进行过滤、转换和组织成信息集。 这些信息用来发现以前未检测到的隐藏的入侵模式。 2 2 ， 1 7 状态迁移法 状态迁移图【 1 2 可用来描述系统所处的状态和状态之间可能的迁移。状态迁 移图用于入侵检测时，它表示入侵者从合法状态迁移到最终的危害状态所采取的 一系列行动。 2 .2 .2根据检测原理分类 传统的观点根据入侵行为的属性将其分为异常和误用两种，然后分别对其建 立异常检测模型和误用检a模型。可根据系统所采用的检测模型，将入侵检测分 为两类 1 3 :异常检测和误用检测。 2 . 2 . 2 . 1异常检测 异常入侵检测是指能够根据异常行为和使用计算机资源的情况检测出来的入 侵。 异常入侵检测试图用定量的方式描述可以接受的行为特征， 以区分非正常的、 东北大学 硕士学位论文2网络安全及入侵检测 经网络更好地表达了变量间的非线性关系，并且能自 动学习并更新。 2 . 2 . 1 . 4 专家系统 该技术根据安全专家对可疑行为的分析经验来形成一套推理规则，然后在此 基 础上建立相应的专家系统 9 1 , 由 此专家系统自 动进行对所涉及的入侵行为的分 析工作。该系统应当能够随着经验的积累而利用其自学习能力进行规则的扩充和 修正。 2 . 2 . 1 .5数据融合技术 为了有效地对付各种入侵威胁，系统应该把几种入侵检测方法结合起来。我 们需要把各主机的基于网络的分析结合起来做分析，所以有必要把不同来源的数 据结合进行分析。 2 . 2 . 1 .6 数据挖掘 入侵检测的数据挖掘 1 0 是指离线的知识发 现过程。最早被 w e n k e .l e e i i 用 于 入侵检测中，即:将先前收集的大量的数据进行过滤、转换和组织成信息集。 这些信息用来发现以前未检测到的隐藏的入侵模式。 2 2 ， 1 7 状态迁移法 状态迁移图【 1 2 可用来描述系统所处的状态和状态之间可能的迁移。状态迁 移图用于入侵检测时，它表示入侵者从合法状态迁移到最终的危害状态所采取的 一系列行动。 2 .2 .2根据检测原理分类 传统的观点根据入侵行为的属性将其分为异常和误用两种，然后分别对其建 立异常检测模型和误用检a模型。可根据系统所采用的检测模型，将入侵检测分 为两类 1 3 :异常检测和误用检测。 2 . 2 . 2 . 1异常检测 异常入侵检测是指能够根据异常行为和使用计算机资源的情况检测出来的入 侵。 异常入侵检测试图用定量的方式描述可以接受的行为特征， 以区分非正常的、 东北大学硕士学位论文2网络安全及入侵检测 潜在的入侵行为。a n d e r s o n 做了如何通过识别异常行为来检测入侵的早期工作。 2 . 2 . 2 . 2 误用检测 误用入侵检测是指利用已知系统和应用软件的弱点攻击模式来检测入侵。与 异常入侵检测不同，误用入侵检测能直接检测不利的或不可接受的行为。而异常 入侵检测是检查出与正常行为相违背的行为。误用检测基于己知的系统缺陷和入 侵模式，故又称特征检测。它能够准确地检测到某些特征的攻击，但却过度依赖 事先定义好的安全策略，所以无法检测系统未知的攻击行为，从而产生漏警。 2 .2 .3根据检测对象的不同进行分类 入侵检测系统要对其所监控的网络或主机的当前状态做出判断，并不是凭空 臆测。它需要以原始数据中包含的信息为基础，做出判断。按照检测对象的不同 可以 将入侵检测系统分为基于主机的入侵检测系统【 1 4 f q 基于网络的入侵检测系 统 1 5 e 2 .2 . 3 . 1基于主机的入侵检测系统 主要用于保护运行关键应用的服务器。它通过监视与分析主机的审计记录和 日志文件来检测入侵。日志中包含发生在系统上的不寻常和不期望活动的证据。 这些证据可以指出有人正在入侵或己 成功入侵了系统。通过查看日 志文件，能够 发现成功的入侵或入侵企图，并很快地启动相应的应急响应程序。 基于主机的入侵检测系统主要有以下这些优点: . 能确定攻击是否成功 主机是攻击的目的所在，所以基于主机的入侵检测系统使用含有己发生的事 件信息，可以比基于网络的i d s 更加准确地判断攻击是否成功。 . 监控粒度更细 基于主机的入侵检测系统监控的目 标明确，视野集中，它可以检测一些基于 网络的入侵检测系统不能检测的攻击， 对敏感文件、目录、程序或端口的存取 它可以很容易地监控系统的一些活动，如 . 配置灵活 每一个主机有其自己的基于主机的入侵检测系统，用户可根据自己的实际情 况对其进行配置。 东北大学硕士学位论文2网络安全及入侵检测 潜在的入侵行为。a n d e r s o n 做了如何通过识别异常行为来检测入侵的早期工作。 2 . 2 . 2 . 2 误用检测 误用入侵检测是指利用已知系统和应用软件的弱点攻击模式来检测入侵。与 异常入侵检测不同，误用入侵检测能直接检测不利的或不可接受的行为。而异常 入侵检测是检查出与正常行为相违背的行为。误用检测基于己知的系统缺陷和入 侵模式，故又称特征检测。它能够准确地检测到某些特征的攻击，但却过度依赖 事先定义好的安全策略，所以无法检测系统未知的攻击行为，从而产生漏警。 2 .2 .3根据检测对象的不同进行分类 入侵检测系统要对其所监控的网络或主机的当前状态做出判断，并不是凭空 臆测。它需要以原始数据中包含的信息为基础，做出判断。按照检测对象的不同 可以 将入侵检测系统分为基于主机的入侵检测系统【 1 4 f q 基于网络的入侵检测系 统 1 5 e 2 .2 . 3 . 1基于主机的入侵检测系统 主要用于保护运行关键应用的服务器。它通过监视与分析主机的审计记录和 日志文件来检测入侵。日志中包含发生在系统上的不寻常和不期望活动的证据。 这些证据可以指出有人正在入侵或己 成功入侵了系统。通过查看日 志文件，能够 发现成功的入侵或入侵企图，并很快地启动相应的应急响应程序。 基于主机的入侵检测系统主要有以下这些优点: . 能确定攻击是否成功 主机是攻击的目的所在，所以基于主机的入侵检测系统使用含有己发生的事 件信息，可以比基于网络的i d s 更加准确地判断攻击是否成功。 . 监控粒度更细 基于主机的入侵检测系统监控的目 标明确，视野集中，它可以检测一些基于 网络的入侵检测系统不能检测的攻击， 对敏感文件、目录、程序或端口的存取 它可以很容易地监控系统的一些活动，如 . 配置灵活 每一个主机有其自己的基于主机的入侵检测系统，用户可根据自己的实际情 况对其进行配置。 东北大学硕士学位论文2网络安全及入侵检测 . 可用于加密的以及交换的环境 加密和交换设备加大了基于网络 i d s收集信息的难度，但由于基于主机的 i d s安装在要监控的主机上，根本不会受这些因素的影响。 . 对网络流量不敏感 基于主机的i d s一般不会因为网络流量的增加而丢掉对网络行为的监视。 . 不需要额外的硬件 基于主机的入侵检测系统的主要缺点是:它会占用主机的资源，在服务器上 产生额外的负载。缺乏平台支持，可移植性差，因而应用范围受到限制。 2 . 2 . 3 . 2基于网络的入侵检测系统 主要用于实时监控网络关键路径的信息。它侦听网络上的所有分组来采集数 据，分析可疑现象。基于网络的入侵检测系统使用原始网络包作为数据源。基于 网络的i d s 通常利用一个运行在混杂模式下网络的适配器来实时监视并分析通过 网络的所有通信业务，当然也可能采用其它特殊硬件获得原始网络包。 基于网络的检测有以下优点: . 监测速度快 基于网络的监测器通常能在微秒或秒级发现问题，而大多数基于主机的产品 则要依靠对最近几分钟内审计记录的分析。 . 隐蔽性好 一个网络上的监测器不像一个主机那样显眼和易被存取，因而也不那么容易 遭受攻击。基于网络的监视器不运行其它的应用程序，不提供网络服务，可以不 响应其它计算机，因此可以做得比较安全。 . 视野更宽 可以 检测一些主机检测不到的攻击， 如泪滴 ( t e a r d r o p ) 攻击、基于网 络的 s y n洪水等，还可以检测不成功的攻击和恶意企图。 . 较少的监测器 由于使用一个或者几个监测器就可以保护一个共享的网段，所以你不需要很 多的监测器。相反地，如果基于主机，则在每个主机上都需要一个代理。这样的 话，花费昂贵，而且难于管理。但是，如果在一个交换环境下，就需要特殊的配 a l . . 攻击者不易转移证据 东 北大学硕士学位论文z网 络妥全及入侵检测 基于网络的入侵检测系统使用正在发生的网络通信进行实时攻击的检测，所 以攻击者无法转移证据。被捕获的数据不仅包括攻击的方法，而且 还包括可识别 黑客身份和对其进行起诉的信息。 . 操作系统无关性 基于网络的入侵检测系统作为安全监测资源，与主机的操作系统无关。与之 相比， 基于主机的系统必须在特定的、 没有遭到破坏的操作系统中才能正常工作， 生成有用的结果。 . 可以配置在专门的机器上 不会占用被保护的设备上的任何资源。 基于网络的入侵检测系统的主要缺点是:只能监视本网段的活动、精确度不 高。在交换环境下难以配置，防入侵欺骗的能力较差，难以定位入侵者。 2 .2 .4根据数据分析节点的体系结构分类 按照数据分析节点的体系结构入侵检测系统可分为协作式、等级式和集中式 三种。 2 . 2 . 4 . 1 协作式 协作式入侵检测系统将中央检测服务器的任务分配给多个基于主机的入侵检 测系统。 这些入侵检测系统不分等级， 各司其职， 负责监控当地主机的某些活动， 相互之间协同工作，进行全局决策。所以，可伸缩性、安全性都得到了显著的提 高， 但维护成本却很高， 并增加了监控主机的工作负荷， 如通信机制， 审计开销， 踪迹分析等。 2 . 2 .4 .2 等级式 等级式入侵检测系统定义了若干个分等级的监控区，每个入侵检测系统负责 一 个区，每一级入侵检测系统只负责所监控区的分析，然后将当地的分析结果传 送给上一级入侵检测系统，这样，高层的入侵检测系统只需分析 卜 一级传来的报 告， 而不是将所有数据踪迹都交给中央检测器。 这种结构仍存在两个问题: 首先， 当网络拓扑结构改变时，汇总机制也需要做相应的调整;第二，最后还是要把各 地收集到的结果传送到最高级的检测服务器进行全局分析，所以系统安全性没有 实质性的改进。 东 北大学硕士学位论文z网 络妥全及入侵检测 基于网络的入侵检测系统使用正在发生的网络通信进行实时攻击的检测，所 以攻击者无法转移证据。被捕获的数据不仅包括攻击的方法，而且 还包括可识别 黑客身份和对其进行起诉的信息。 . 操作系统无关性 基于网络的入侵检测系统作为安全监测资源，与主机的操作系统无关。与之 相比， 基于主机的系统必须在特定的、 没有遭到破坏的操作系统中才能正常工作， 生成有用的结果。 . 可以配置在专门的机器上 不会占用被保护的设备上的任何资源。 基于网络的入侵检测系统的主要缺点是:只能监视本网段的活动、精确度不 高。在交换环境下难以配置，防入侵欺骗的能力较差，难以定位入侵者。 2 .2 .4根据数据分析节点的体系结构分类 按照数据分析节点的体系结构入侵检测系统可分为协作式、等级式和集中式 三种。 2 . 2 . 4 . 1 协作式 协作式入侵检测系统将中央检测服务器的任务分配给多个基于主机的入侵检 测系统。 这些入侵检测系统不分等级， 各司其职， 负责监控当地主机的某些活动， 相互之间协同工作，进行全局决策。所以，可伸缩性、安全性都得到了显著的提 高， 但维护成本却很高， 并增加了监控主机的工作负荷， 如通信机制， 审计开销， 踪迹分析等。 2 . 2 .4 .2 等级式 等级式入侵检测系统定义了若干个分等级的监控区，每个入侵检测系统负责 一 个区，每一级入侵检测系统只负责所监控区的分析，然后将当地的分析结果传 送给上一级入侵检测系统，这样，高层的入侵检测系统只需分析 卜 一级传来的报 告， 而不是将所有数据踪迹都交给中央检测器。 这种结构仍存在两个问题: 首先， 当网络拓扑结构改变时，汇总机制也需要做相应的调整;第二，最后还是要把各 地收集到的结果传送到最高级的检测服务器进行全局分析，所以系统安全性没有 实质性的改进。 东 北大学 硕士学位论文 2 .2 .4 .3 集中式 z网络妥全及入侵检测 这种结构的入侵检测系统可能有分布于不同主机上的多个审计程序，但只有 一 个中央入侵检测服务器，审计程序将当地收集到的数据踪迹发给中央服务器进 行分析处理。显然，这种结构的入侵检测系统在可 伸缩性，鲁棒性和可配置性方 面存在致命的缺陷:第一，随着网络规模的增加，主机审计程序和服务器之间传 送的数据量就会骤增，导致网络性能恶化:第二，系统安全性脆弱，一旦中央服 务器出现故障，整个系统就会陷入瘫痪状态;第三，根据各个主机的不同需求配 置服务器非常复杂。 东北大学硕士学位论文3分布式入侵检侧系统 3分布式入侵检测系统 随着网络技术的快速发展， 百兆甚至千兆的网络已经开始大规模的投入商用。 同时， 由 于网络系统结构的复杂化和大型化， 系统的弱点或漏洞也趋向于分布化。 入侵行为也不再是单一的行为，而是表现出相互协作入侵的特点。然而，传统的 基于主机或基于网络的入侵检测系统局限于单一架构，缺乏对异构系统及大规模 网络的监测能力，不同入侵检测系统之间也不能协同工作，故难以对不断发展的 网络提供安全保障。 入侵检测系统要求可适应性、可训练性、 高效性、 容错性、 可扩展性等要求。 不同的入侵检测系统之间也需要共享信息，协同检测。为保护大范围异构网络， 需 发 展分 布式 入侵 检 测系 统 1 6 ( d is t r i b u t e d i n t r u s i o n d e t e c t io n s y s t e m , d i d s ) 以克服传统入侵检测系统在大规模网络环境下的局限性。分布式入侵检测系统可 以从不同子网发生的攻击来判断整体网络可能发生的入侵，并进行实时检测和预 警。 分布式入侵检测的思想就是对不同的检测环境进行分类，对不同的环境采用 不同的检测方法和技术手段。它采用多个检测部件，各检测部件选用不同的检测 方法，协同合作，完成检测任务。这有利于汲取各种检测方法之长，可大幅度地 提高检测效率和准确性。 分布式入侵检测是目前入侵检测乃至整个网络安全领域的热点之一。国内外 众多的大学、研究机构、安全团体、商业组织都致力于这方面的研究工作。到目 前为止，还没有严格意义上的分布式入侵检测的商业化产品，但研究人员已经提 出并完成了多个原型系统，下面简单介绍一些有代表性的系统: u c d a v i s 的d i d s ( d i s t r ib u t e d i n t r u s i o n d e t e c t i o n s y s t e m ) 1 7 集成了 两种己 有的入侵检测系统: h a y s t a c k 和n s m。 前者用于多用户主机的系统日 志分析， 后 者则针对网络数据流的入侵检测。d i d s综合了两者的功能，并在系统结构和检 测技术上进行了改进。d i d s由主机监视器、局域网监视器和控制器三个组件组 成，其核心组件采用基于规则的专家系统作为分析引擎。d i d s虽然在结构 巨 引 入了分布式的数据采集和部分的数据分析，但其核心分析功能仍然由单一的中心 控制器来完成，因此并不是完全意义上的分布式入侵检测。 东 北大学 硕士学 位论文3分布式入侵检测系 统 g r i d s ( g r a p h - b a s e d i n t r u s io n d e t e c t io n s y s t e m ) 1 8 同 样由u c d a v i s 提出 并 完成。该系统实现了一种在大规模网络中使用图形来描述网络行为的方法， 其设 计目标卞要针对大范围的网络攻击，例如扫描、协同攻击、网络蠕虫等。g r i d s 的缺陷在于只是给出了网络连接的图形化表示，具体的入侵判断仍然需要人1 _ 完 成，系统的有效性和效率也有待进一步的验证。 p u r d u e大学的 研究人员提出了 一种基于代理 ( a g e n t )的入侵检测系统， 称 为 入侵 检测自 治 代理 ( a u t o n