（计算机应用技术专业论文）入侵检测中模式挖掘技术的研究.pdf

摘要。 入侵检测作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击和误操作的 实时保护，在网络系统受到危害之前拦截和响应入侵。现有入侵检测系统不但误警率高，且 实时性差，这是因为入侵检测需要处理大量数据。数据挖掘技术的优势在于能从大量数据中 发现特征和模式。 。本文通过研究入侵检测系统和数据挖掘技术，将数据挖掘技术应用于传统的入侵检测系 统来处理入侵检测系统中的海量数据通过更新入侵检测系统的规则库以提高整个系统的检 测性能，有效的减少整个系统的虚警率和误警率。而关联规则挖掘。序列模式挖掘等可以用 于入侵检测从而得到入侵规则库。本文所做的工作有以下几点： 1 通过研究和分析传统入侵检测系统，论证入侵检测系统规则库的建立对于海量网络行 为数据的依赖性，而数据挖掘技术正是一个强有力的数据处理工具，从而说明了数据挖掘技 术应用于入侵检测系统的必要性。 2 在对常用的数据挖掘算法进行了深入研究的基础上，为了提高数据挖掘算法的效率， 得到有用的规则，我们对关联规则算法从算法以及入侵检测实际应用环境的角度进行了改进 和优化，并用实验证明了我们的算法的有效性。针对序列模式挖掘的应用情形，我们也给出 了相应的优化方案。 3 讨论了数据挖掘算法在入侵检测中运用的基本情形。针对基于误用检测的入侵检测系 统的特点，提出一个混合运用关联规则及序列模式进行模式挖掘的解决方案，详细描述了用 改进的关联规则及序列模式挖掘算法挖掘网络连接数据，然后将结果转化为入侵检测规则的 算法具体实现过程。并以实验说明了应用模式挖掘算法构建入侵检测系统的可行性。通过我 们的解决方案，还可以有效挖掘出攻击特征出现在数据包负载中的攻击，这是目前入侵检测 中的一个难点，从而有效地提高了对攻击的检测率。 ? 4 基于前面实验中存在的问题，应用数据挖掘技术构建系统正常行为模式，将误用检测 和异常检测相结合，给出一个改进的入侵检测系统模型。 关键词：入侵检测；数据挖掘；关联规则；序列模式 a b s t r a c t a sa ni m p o r t a n ts e c u r i t yi n s p e c t i o na p p r o a c h , l f f t r u s i o nd e t e c ts y s t e mr i d s ) s u p p o r t st h ep r o t e c t i o no f c 饼n p u t e rs y s t e ma g a i n s tt h ee x t e r n a la n di n t e r n a li n t r u s i o n d u et ot h ed i f f i c u l t yo fd e a l i n gw i t hal a r g ea m o u n t o f d a t a , t h ee x i s t i n gi n t r u s i o ns y s t e m sh a v eh i g hd i s t o r t i o nr a t i o sa n db a dr e a l t i m ec a p a b i l i t i e s t h ea d v a n t a g eo f d a t am i n i n g ( d m ) l i e si nf i n d i n go u tp a t t e r n sa n df e a t u r e sf r o ml a r g en u m b e r so fd a t a i no r d e rt oi m p r o v et h ea b i l i t yo fe n t i r es y s t e m a t i cd e t e c t i n ga n dr e d u c et h er a t eo ff a l s e p o s i t i v ea n d f a l s e n e g m i v ee f f e c t i v e l y , t h i sp a p e rw i l la p p l yd m t e c h n o l o g yt ot r a d i t i o n a li d st ou p g r a d i n go f t h er u l e sg r e a t l y t h em i n i n gm e t h o do fa s s o c i a t ea n ds e q u e n t i a lr u l e sc a nb eu s e dt oi da n dg e ti n t r u s i o nr u l eb a s et h e r e b y t h e m a i nw o r ko fu sw i l lb ed e s c r i b e da sf o l l o w i n g ： 1 b ys t u d y i n ga n da n a l y z i n gt h ed e f e c to f t r a d i t i o n a li d s ，i ti sp o i n t e do u tt h a te x t r a c t i o no fr u l e so fi d si s m a i n l yr e l i e so nh o w t oe f f i c i e n t l yp r o c e s st h eh u g ea m o u n to fn e t w o r kd a t a i ti sk n o w nt h a td mt e c h n o l o g y i se x a c t l yaf o r c e f u ld a t ap r o c e s s i n gt o l lt h a tc a r ld r a w o u tk n o w l e d g ea n dr u l e sf r o mi m m e n s eo fd a t a t h e n e c e s s i t yo fa p p l y i n gd mt e c h n o l o g yi ni d si sr e a s o n a b l ye x p l a i n e di nt h i sp a p e r 2 b a s e do ns t u d y i n gt h ec 沁m m o na l g o r i t h m si nd a t am i n i n gi nd e p t h i no r d e rt oi m p r o v et h ee f f i c i e n to f a l g o r i t h ma n dg e tt h eu s e f u lr u l e s w eh a v et oi m p r o v et h ea s s o c i a t i o nr u l e sa l g o r i t h mf r o mt h ea s p e c t so f a l g o r i t h ma n dt h ee n v i r o n m e n to fp r a c t i c a la p p l i c a t i o n t h e nu s e de x p e r i m e n tt op r o v et h ee f f e c t i v e n e s so f o u ra l g o r i t h m m i n i n gs e q u e n t i a lp a t t e r nf o rt h ea p p l i c a t i o n ，w eh a v ep u tf o r w a r dt h ec o r r e s p o n d i n g p r o g r a m 3 d i s c u s s e dt h eb a s i cc i r c u m s t a n c e so fi n t r u s i o nd e t e c t i o ni nw h i c ht h ed a t am i n i n ga l g o r i t h m sh a v eb e e n u s e d t h e na i ma tt h ec h a r a c t e r i s t i c so ft h em i s u s ei n t r u s i o nd e t e c t i o ns y s t e m ，w ep r o p o s e das t r a t e g yw i t h m i x e du s eo fa s s o c i a t i o nr u l e sa n ds e q u e n c ep a t t e r nm i n i n ga l g o r i t h m ，a n dd e s c r i b e dt h ei m p l e m e n t a t i o n p r o c e s so fh o w t ob s ct h ei m p r o v i n ga l g o r i t h mi nm i n i n gn e t w o r kc o n n e c t i o nd a t aa n dt r a n s l a t et h ep a t t e r n s i n t ot h er u l e so fi n t r u s i o nd e t e c t i o ni nd e t a i l t h e nu s e de x p e r i m e n tt op r o v et h ee f f e c t i v e n e s so fo u rs t r a t e g y i ni n t r u s i o nd e t e c t i o ns y s t e mc o n s t r u c t i o n t h r o u g ho u rs o l u t i o n sc a na l s ob ee f f e c t i v ee x c a v a t e ds i g n a t u r e a p p e a r si nt h ep a c k e tl o a di n t h ea t t a c k , w h i c hi s c u r r e n t l yi nad i f f i c u l ti n i n t r u s i o nd e t e c t i o n ，t h e r e b y i m p r o v e dt h ed e t e c t i o nr a t ef o rt h ea t t a c ke f f e c t i v e l y 4 b a s e do ns o m ep r o b l e m se x i s t i n gi np r e v i o u sw o r k ，w eu s e dd a t am i n i n gt e c h n o l o g yt oc o n s t r u c tt h en o r m a l b e h a v i o rp a t t e r no fs y s t e m ；w ec o m b i n e dt h em i s u s ed e t e c t i o na n da n o m a l yd e t e c t i o n ，a n dg i v ea ni m p r o v e d m o d e lo fi n t r u s i o nd e t e c t i o ns y s t e m k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；d a t am i n i n g ；a s s o c i a t i o nr u l e ；s e q u e n c ep a t t e r n ； i i 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行 研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的科研成果。对本文的研究在做出重要贡献的 个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律责 任由本人承担。 论文作者签名：日期： 2q q 基生月 关于学位论文使用授权的声明 本人完全了解贵州大学有关保留、使用学位论文的规定，同意学校保留 或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅；本人授权贵州1 大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：芝盏导师签名论文作者签名：缁型导师签名 贵州大学硕士研究生学位论文 第一章概论 1 1 1 研究背景 近年来，入侵检测技术不仅成为网络安全研究的热点，而且具有广阔的市场前景。信息 安全技术逐步打破常规的被动检测和过滤的方法，正朝着主动防御的方向发展，以防火墙为 主的安全架构模式已经难以满足网络安全的需求，在这样的形势下，入侵检测越来越受到人 们的重视入侵检测己被普遍认为是网络防火墙的补充，扩展了系统管理员的安全管理能力。 入侵检测技术是继“防火墙”、“数据加密”等传统安全保护措施后新一代的安全保障技 术，它是一种积极主动的安全防御技术i l 】。目前，入侵检测即通过对计算机网络或计算机系 统中的若干关键点收集信息并对其进行分析，从而发现网络或系统中是否有违反安全策略的 行为和被攻击的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系统( i n t r u s i o n d e t e c t i o ns y s t e m ，i d s ) 。入侵检测技术实质上归结为对安全审计数据的处理。这种处理可以 针对网络数据，也可以针对主机的审计记录或应用程序的日志文件。 然而，随着操作系统的日益复杂化和网络数据流量的急剧膨胀j 导致了安全审计数据以 惊人的速度递增。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高抽象 层次的分析，以便更好地利用这些数据。 数据挖掘本身是一项通用的知识发现技术，其目的是要从海量数据中提取出潜在的、有 价值的知识( 模型或规则) 。数据挖掘技术按其功能可划分为：关联规则分析、序列模式分析、 分类分析、聚类分析等 2 1 。数据挖掘技术在国外各个领域都已经得到了广泛的应用。将数据 挖掘技术应用于入侵检测系统中，能够广泛收集审计数据，并在此基础上计算模型，从而精 确地捕获实际的入侵和正常行为模式。这种自动化的方法无需再手工分析和编码入侵模式， 在创建正常使用轮廓时也不再像以前那样需要凭经验来选择统计方法。而且相同的数据挖掘 工具可应用于多个数据流，这些优势都有利于创建自适应的入侵检测系统。 因为数据挖掘可以利用各种分析工具从海量数据中发现模型和数据间的关系并做出预 测。本文针对基于误用检测的入侵检测系统的特点，介绍了将适当改进的关联规则与序列模 式挖掘算法相结合挖掘原始审计数据中频繁模式的过程，并着重研究了这两种算法结合扩展 关联规则的算法应用。 为了从大量的、有时是冗余的网络及审计数据中提取出对安全功能有用的信息，设计和 实现基于网络信息的系统安全自动分析和检测工具是非常必要的。该工具应当可以从大量的 第一章概论 审计跟踪信息中筛选出与安全相关的重要信息，这思路与当前流行的数据挖掘技术是一致 的。数据挖掘技术通过在大量数据的基础上进行训练，得到数据对象间的关系模式，这些模 式反映了数据的内在特征，是对数据包含信息的更高层次的抽象目前数据挖掘已经在电信 警报管理、欺骗检测和信用卡检测等领域得到应用，并取得了很好的效果。因此，我们完全 可以将数据挖掘应用于入侵检测中，使系统能自动挖掘相关信息。 入侵检测系统所要处理正是大量的、不完全的、有噪声的、模糊的、随机的数据，理解 它们已经远远超出了入的识别能力，使得其中的大量数据变成了“数据坟墓 ，即从中无法得 到有用的知识。数据挖掘正是为处理这样的数据而产生的一个强有力的分析工具，将它应用 于现有的入侵检测系统来处理庞大的检测数据，必然会发现数据中的潜在联系，从而将“数 据坟墓 转换成“知识金块。随着对它的深入研究，将会日益提高其应用的广泛性和解决问 题的有效性。本文通过将数据挖掘技术引入入侵检测系统，力图获得更好的检测性能。而入 侵检测系统的检测性能很大程度上取决于规则库的更新。网络安全的日益严峻对入侵检测系 统的规则提取提出了更高要求。因此本文提出了将关联规则及序列模式挖掘算法运用于入侵 检测系统中规则库更新的设想，阐述了传统的关联规则算法和序列模式挖掘算法，并针对其 在入侵检测系统中的应用进行改进详细描述了用改进的关联规则算法和序列模式挖掘算法 挖掘网络数据集，然后将结果转换为入侵检测规则的过程，并以实验说明了利用模式挖掘算 法构造入侵检测规则的可行性。因此，本课题的研究具有相当大的实用意义。 1 2 主要工作及创新点 本文通过研究入侵检测系统和数据挖掘技术，将数据挖掘技术应用于传统的入侵检测系 统来处理入侵检测系统中的海量数据，以提高整个系统的检测性能，有效的减少整个系统的 虚警率和误警率。数据挖掘技术主要是用来对带有大量攻击特征的网络行为数据进行挖掘， 使其变为可以对规则集合进行训练的有效的样本数据。基中关联规则挖掘、序列模式挖掘等 可以用于入侵检测进行模式挖掘从而得到入侵规则库。本文的主要工作及创新点： 1 通过研究和分析传统入侵检测系统，论证入侵检测系统规则库的建立对于海量网络行为 数据的依赖性，而数据挖掘技术正是一个强有力的数据处理工具，从而说明了数据挖掘 技术应用于入侵检测系统的必要性。 2 在对常用的数据挖掘算法进行了深入研究的基础上，为了提高数据挖掘算法的效率，得 到有用的规则，我们对关联规则算法从算法以及入侵检测实际应用环境的角度进行了改 进和优化，并用实验证明了我们的算法的有效性。针对序列模式挖掘的应用情形，我们 2 贵州大学硕士研究生学位论文 也提出了相应的优化方案。 3 讨论了数据挖掘算法在入侵检测中运用的基本情形。针对基于误用检测的入侵检测系统 的特点，提出_ 个混合运用关联规则及序列模式进行模式挖掘的算法，详细描述了用改 进的关联规则及序列模式挖掘算法挖掘网络连接数据，然后将结果转化为入侵检测规则 的算法具体实现过程。并以实验说明了应用模式挖掘算法构建入侵检测系统的可行性。 通过我们的解决方案，还可以有效挖掘出攻击特征出现在传输层数据包负载中的攻击， 这是目前入侵检测中的一个难点，从而有效地提高了对攻击的检测率。 4 基于前面实验中存在的问题，在总结与进一步的工作中我们应用数据挖掘技术构建系统 ： 正常行为模式，将误用检测和异常检测相结合，给出一个改进的入侵检测系统模型。 1 3 本文的组织结构 第一章简要地介绍了国内外网络安全和入侵检测技术的研究现状，阐述了本课题的研究 目的和意义。 第二章讨论了入侵检测技术的一般原理和方法，详细地介绍了目前流行的几种入侵检测 系统的模型，并给出了入侵检测系统的分类。并对开源的s n o r t 框架作了一个详细的分析。 第三章对数据挖掘的基本概念以及常用的数据挖掘算法作了一个详细探讨，并对数据挖 掘在入侵检测中的应用的必要性作出论证。 第四章深入研究了常的数据挖掘算法，为了提高数据挖掘算法的效率，得到有用的规则， 我们对关联规则算法从算法以及入侵检测实际应用环境的角度进行了改进和优化，并用实验 证明了我们的算法的有效性。针对序列模式挖掘的应用情形，我们也提出了相应的优化方案。 第五章首先阐述了入侵检测中模式挖掘方法运用的基本情形及原理，针对基于误用检测 的入侵检测系统的特点，提出一个混合运用关联规则及序列模式进行模式挖掘的算法，详细 描述了用改进的关联规则及序列模式挖掘算法挖掘网络连接数据，然后将结果转化为入侵检 测规则的算法具体实现过程。并以实验说明了应用模式挖掘算法构建入侵检测系统的可行性。 通过我们的解决方案，还可以有效挖掘出攻击特征出现在传输层数据包负载中的攻击，这是 目前入侵检测中的一个难点，从而有效地提高了对攻击的检测率。 第六章对所做工作作了一个简要总结，最后，针对我们实验中出现的问题，提出一个改 进的入侵检测框架，并作了简要分析。并对以后需要进一步进行研究的工作作了简要说明。 第三章数据挖掘与入侵检测 第二章入侵检测系统 1 9 8 0 年，j a m e sp ：。e r s o n 【3 1 】第一次系统地阐述了入侵检测的概念。他将入侵尝试或威胁 定义为：潜在的、有预谋的、未经授权的方问信息、操作信息，致使系统不可靠或无法使用 的企图。入侵检测技术是一种能够及时发现并报告系统中以上的入侵现象，并主动保护自己 、 、 ! 免受攻击的网络安全技术，入侵检测系统是一类专门面向网络入侵检测的网络安全监测系统， 它的主要功能包括： 一 j ，j， 。检测出正在发生的攻击活动。 ( 2 ) 发现攻击活动的范围和后果 ( 3 ) 诊断并发现攻击者的入侵方式的入侵地点，并给出解决建议。 ( 4 ) 收集并记录入侵活动证据。 2 1 入侵检测系统的基本原理 入侵检测8 1 本质上是一种电子数据处理( e l e c t r o n i ed a t ap r 0 6 e s s ) 过程，按照预先确定的方 ， 法对收集到的安全审计数据进行分析处理，根据分析结果得出系统是否被入侵的结论。收集 到的数据一般是系统日志或网络事件日志，预先确定的方法即分析引擎采用的分析技术，一 般是某种模式匹配技术或者统计学分析技术，或者是二者的结合。 入侵检测一般分为3 个步骤【1 刀，依次为信息收集、数据分析、响应( 被动响应和主动响 应) 。相应地，i d s 一般由信息收集、数据分析、响应三个功能模块组成，分别承担上述3 个 步骤的任务。 信息收集模块收集的内容包括系统、网络及用户活动的状态和行为。入侵检测采用的数 。 据源一般来自系统日志( 含操作系统审计记录、操作系统系统日志、应用日志) 、目录以及文 件的异常改变、程序执行中的异常行为、网络数据包等几个方面。 数据分析模块是i d s 的核心，它完成对原始数据的同步、整理、组织、分类，进行各种 类型的细致分析，提取其中隐含的系统活动特征或模式，用于i d s 判断是否有入侵行为发生。 一般分为3 个阶段：构建分析引擎、执行分析、利用反馈信息优化分析引擎。在构建分析引 擎阶段，用收集到的训练数据经处理后建立一个行为分类模型( 实质上是一个数据分类器) ， 最后将模型保存在知识库中供实际检测过程使用。在执行分析阶段，先将待检测的数据流预 处理为格式化的事件记录，然后利用模式匹配、统计分析和完整性分析等技术，将格式化的 事件记录同知识库中的内容相比较，将此事件记录分类为正常或异常，并根据预定的策略产 4 贵州大学硕士研究生学位论文 生响应在优化分析引擎阶段，主要是更新入侵模式特征知识库以反映新攻击的相关信息， 或定期更新用户和系统行为的历史统计模式以反映用户和系统行为的正常j 壬：移，这阶段实 质是i d s 利用反馈信息优化分析引擎以适应环境的新变化，这也体现了保障信息系统安全是 一个动态的过程 ， i d s 在发现入侵后应该根据预定的策略及时做出响应，包括切断网络连接、记录事件和 报警等。响应一般分为主动响应( 阻止攻击或者影响攻击进程) 和被动响应( 记录和报告所检测 出的入侵事件) 两种类型主动响应由用户驱动或系统本身自动执行，可对入侵者采取行动如 断开连接、修正系统环境或收集有用信息；被动响应则包括告警、设置s n m p ( 简单网络管理 协议1 陷阱等，信息收集模块、分析引擎和响应模块是相辅相成的，信息收集模块为分析引擎 提供原始数据，分析引擎执行实际的入侵或异常行为检测，并将结果提交给响应模块，响应 模块采取必要和适当的措施，阻止进一步的入侵行为或恢复被损害的系统。响应模块可以按 照预定的策略反作用于信息收集模块和分析引擎，例如可以设置信息收集模块的过滤控制参 数以屏蔽掉一些干扰数据，或者依据运行时的数据调整分析引擎的检测规则以适应新的环境。 2 2 入侵检测系统的分类 由于观察的角度不同，i d s 有多种分类标准【1 0 l 。其中，主要的分类标准由功能模块派生 形成，即i d s 可以分别从信息收集、分析引擎和响应这3 个角度进行分类。按照信息收集模 块的数据来源，i d s 可以分为基于主机的i d s 和基于网络的i d s 。基于主机的i d s 的数据 源主要来自主机的日志文件，这些文件包括操作系统的审计记录、系统日志、应用程序日志( 例 如数据库系统日志和w w w 服务器日志) 。 基于网络的i d s 的基本原理是：当网络数据包在网段中传播时，可以被特殊的数据提取 技术收集起来( 例如在广泛使用的以太网中将网卡设置为混杂模式) ，作为i d s 的数据源。这 两种数据来源各有其优缺点。主机数据源的优势在于：针对性强、检测准确性高、适于检测 复杂的攻击、不受交换式网络环境和数据加密的影响，并且可以准确的判定攻击是否成功。 网络数据源的优点在于：适用范围广、性价比高、对主机和网络的性能影响较小，并且适于 检测基于网络协议的攻击方法。为了收集更加全面的信息，很多i d s 的同时采用来自主机和 来自网络的数据源，形成一种混合型的系统，这也是当前大型i d s 的发展趋势。 2 2 1 基于数据源分类 基于主机的入侵检测系统( h i d s ) 5 第三章数据挖掘与入侵检测 基于主机的入侵检测系统( h o s t b a s e di n t r u s i o nd e t e c t i o ns y s t e m , h i d s ) 将检测模块驻留 在受保护系统上，通过提取被保护系统的运行数据并进行入侵分析来实现检测功能。i - l i d s 的检测目标主要是主机系统和系统本地用户，而不监测网络上的情况，一主要目的是检测特权 滥用攻击、关键数据访问及修改、安全配置的变化。基于主机的入侵检测产品通常是安装在 被重点检测的主机之上，主要是对该主机的网络实时连接以及系统审计日志进行智能分析和 判断： 基于主机的入侵检测系统最早用于审计用户的活动，比如用户的登陆、命令操作、应用 程序使用资源情况等。通用的入侵检测模型就是建立在h i d s 之上的。基于主机入侵检测系 统并不是孤立的单个系统，它可以在其他主机上用代理进行相互之间的通信或者不采用代理 而用某种特殊的a p i 来提供数据源的远程控制。 基于主机的入侵检测系统具有检测效率高，分析代价小，分析速度快的特点，能够迅速 并准确地定位入侵者，并可以结合操作系统和应用程序的行为特征对入侵进行进一步分析、 响应。比如，。一旦检测到有入侵活动，我们可以立即使该用户的账号失效，用户的进程中断? 通常情况下，它的误报率比基于网络入侵检测系统的要低，能够提供更详尽的相关信息。而 ，。 。 ，、 且，许多网络通信采用了加密技术，只有主机系统进行解密后才能分析数据内容，而基于网 络的入侵检测系统是不能检测加密通信的。另外，内部人员越权操作的威胁在安全事件中占 ，|，c 的比重很大，这使得基于主机的监控很重要。但基于主机的i d s 也有其不足之处：首先它在 一定程度上依赖于系统的可靠性，它要求系统本身应该具备基本的安全功能并具有合理的设 置，然后才能提取入侵信息：即使进行了正确的设置，对操作系统熟悉的攻击者仍然有可能 在入侵行为完成后及时地将系统日志抹去，从而不被发觉；并且主机的日志能够提供的信息 有限，有的入侵手段和途径不会在日志中有所反映，日志系统对网络层的入侵行为无能为力。 另外，h i d s 通常安装在我们需要保护的设备上，这会降低应用系统的效率，即使是使用代理。 它还会带来一些额外的安全问题，安装了基于主机的入侵检测系统后，将本不允许安全管理 员有权力访问的服务器变成他可以访问的了。 基于网络的入侵检测系统( n i d s ) 近年来随着网络的迅速普及应用，来自网络的入侵事件逐渐成为信息系统的最大威胁， 基于网络的入侵检测系统( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) 己经成为当前i d s 发展的主要趋势。n i d s 放置在比较重要的网段内，通过线路窃听的手段对截获的网络分组进 行处理，从中提取有用的特征模式，再通过与已知入侵特征相匹配或与正常网络行为原型相 6 贵州大学硕士研究生学位论文 比较来识别入侵事件。n i d s 根据网络流量、协议分析、简单网络管理协议信息等数据来检测 入侵，如n e t s t a t 。 基于网络的入侵检测系统搜集来自网络层的信息。这些信息通常是使用嗅探技术，从混 杂模式的网络接口中获得。基于网络的入侵检测系统位于客户端与服务端的通信链路中央， 它可以访问到通信链路的所有层次。因此，这种i d s 可以监视和检测网络层的攻击。 由于n i d s 不需要主机提供严格的审计，因而对主机资源消耗少，并且由于网络协议是 一 一 标准的，它可以提供对网络通用的保护而无需顾及异构主机的不同架构。另外n i d s 不需要 在业务系统的主机中安装额外的软件，因此不会影响业务系统的性能。部署一个n i d s 的风 险比部署h i d s 的风险少得多，且在一个网段安装套系统就可以监视整个网段的通信，因 而花费较低。除此之外，n i d s 还有很多优点，比如：基于网络的入侵检测系统发生故障时不 会影响正常业务的运行：基于主机的i d s 不查看包头，因而会遗漏掉一些关键信息，而基于 网络的i d s 检查所有的包头来识别恶意和可疑行为；基于网络的i d s 宿主机通常处于比较隐 蔽的位置，基本上不对外提供服务，对于攻击者来说，消除攻击证据非常困难；基于网络的 i d s 具有更好的实时性，如，它可在目标主机崩溃之前切断t c p 连接，从而达到保护的目的； 基于网络的i d s 还可检测到不成功的攻击企图。基于网络的入侵检测系统的主要问题是监视 数据量过于庞大，并且它不能结合操作系统特征来对网络行为进行准确的判断。另外，n i d s 只检查它直接连接的网段的通信，不能检测在不同网段的数据包：在使用交换以太网的环境 中就会出现监测范围的局限( 当然可以采取在交换机端口抓取数据包，需另外协调) 。而安装 多台n i d s 的传感器又会使部署整个系统的成本大大增加。n i d s 为了性能目标通常采用特征 检测的方法，可检测出普通的一些攻击，而很难实现一些复杂的需要大量计算与分析时间的 攻击检测。如果网络数据被加密，i d s 就不能扫描协议或内容。虽然目前通过加密通道的攻 击尚不多，但随着i p v 6 的普及，这个问题会越束越突出。 2 2 2 按检测方法分类 入侵检测系统根据其采用的检测方法口5 i ，可以分为异常检测和误用检测，均可用于实时 检测和事后检测。 1 异常检测( a n o m a l yd e t e c ti o n ) 异常检测又称为基于行为( b e h a v i o r b a s e d ) 的检测，根据使用者的行为或资源使用状况 是否偏离正常的情况来判断入侵是否发生。通过对系统异常行为的检测，可以发现未知的攻 击模式。其结构如图2 1 所示： 第三章数据挖掘与入侵检测 图2 - 1 异常检测系统 异常检测基于己掌握了被保护对象的正常工作模式，并假定正常工作模式相对稳定。一般方 法是建立一个对应“正常活动 的系统或用户的正常轮廓，检测入侵活动时，异常检测程序 产生当前的活动轮廓并同正常轮廓比较，当活动轮廓与正常轮廓发生显著偏离时即认为是入 侵。异常检测的关键问题在于正常模式( n o r m a lp r o f i l e ) 的建立以及利用该模式对当前的系 统用户行为进行比较，从而判断出与正常模式的偏离程度 异常检测主要有以下几个优点： ， 1 ) 异常检测与系统相对无关，通用性较强。 。， 2 1 具有较强的适应性，能检测出以前从未出现过的攻击方法； 同时，异常检测也存在如下缺点： 1 ) 由于不可能对整个系统内的所有用户行为进行全面的描述，而且每个用户的行为是经常 改变的，所以它的主要缺陷在于误检率很高； 2 ) 由于行为模式的统计数据不断更新，入侵者如果知道某系统处在检测器的监视之下，他 们可以通过恶意训练的方式，促使检测系统缓慢地更改统计数据，以至于最初认为是异 常的行为，经一段时间训练后也被认为是正常的。 2 误用检淤j ( m i s u s ed e t e c t i o n ) 误用检测又称为基于知识的检沏, t j ( k n o w l e d g e b a s e dd e t e c t i o n ) 或特征检 9 1 i ( s i g n a t u r e b a s e d d e t e c t i o n ) 。它是指运用已知攻击方法，根据已定义好的入侵模式，通过判断这些入侵模式是 否出现来检测。误用入侵检测系统首先对标识特定入侵的行为模式进行编码，建立入侵模式 库。如果入侵者攻击方式恰好匹配检测系统中的模式库，就能准确发现违背安全策略的行为。 它能直接检测不利的或不可接受的行为，而异常入侵检测则是检查出与正常行为相违背的行 贵州大学硕士研究生学位论文 为。其结构如图2 - 2 所示： 图2 - 2 误用检测系统 误用检测的优点： 由于依据具体模式库进行判断，所以检测准确度很高，并且因为检测结果有明确的参照，也 为系统管理员做出相应措施提供了方便，可以有针对性的建立高效的入侵检测系统。 误用检测的缺点： 1 主要缺陷在于与具体系统依赖性太强，不但系统移植性不好，维护工作量大，而且将具 体入侵手段抽象成知识也很困难； 2 检测范围受已知知识的局限，还难以检测出内部人员的入侵行为，如合法用户的泄漏； 3 检测模式的更新需要依靠安全专家束手工完成，而面对日益增加的大量网络数据流，安 全专家很难发现所有的入侵模式，这样就不能及时更新模式库，势必会使得入侵检测的 误报率和漏报率明显增加。 2 3s n o r t 入侵检测系统分析 s n o r t 是一个开放源代码的网络入侵检测系统( n i d s ) 。1 9 9 8 年1 2 月，m a r o yr o e s c h 在网 上发布了第一个s n o r t 版本。最初s n o r t 只是一个简单的网络管理工具，后来发展成为功能强 大的网络入侵检测系统。s n o r t 通常被称为轻量级的n i d s ，所谓轻量级的含义是指占用系统 资源很少，系统管理员可以轻易地将s n o r t 安装到网络中去，可以在很短的时间内完成配置， 可以很方便地集成到网络安全的整体方案中，使其成为网络安全体系的有机组成部分【1 3 】。 由于s n o r t 是一个优秀的免费开源软件，因此s n o r t 得到了广泛的应用。许多企业在s n o r t 9 第三章数据挖掘与入侵检测 的基础上进行二次开发，扩展s n o r t 的功能，以适应不同的网络安全需求。同时，s n o r t 简洁 的结构、高效的代码使其成为众多学者进行入侵检测学习和研究的对象 s n o r t 作为一个优秀的n i d s ，具有以下特点： 1 ) 数据包嗅探器：负责采用l i b p c a p 或w i n p c a p 抓取数据包。 2 ) 解码器：负责对抓取的数据进行解码分析，并把分析的结果放置到一个指定的数据结构 中。 3 1 4 ) 5 、 6 、) 预处理器：主要是调用预处理函数列表中的函数对解码后的数据包进行匹配前的选项处 理，这些函数包括数据分片重组，流重组、代码转换等。 检测引擎：将数据包与规则链表中的规则进行匹配，以判断是否发生入侵行为。 规则库：保存各种入侵检测规则。 输出模块：将日志或报警信息按指定的方式输出。 2 3 1 工作原理 ， 从本质上来说，s n o r t 是一个基于误用检测的n i d s 。它使用规则库中的定义的规则来检 查网络中有问题的数据包，一个规则被触发后会产生一条报警信息。s n o r t 启动后，进行实始 化工作，对命令进行解释，从规则库中读入检测规则，生成用于入侵检测的二维规则链表， 然后进行循环抓包、规则匹配过程。数据包嗅探器从网络中抓取数据包，再通过解码器进行 解析后转换成特定的数据结构，然后预处理器调用处理函数对解码后的数据包进行预处理， 接着检测引擎将数据包与规则连表中的规则进行匹配，若匹配成功，则表明发生了入侵行为， 最后调用应用的输出函数进行报警并保存日志。 2 3 2 模块分析 1 数据包嗅探器 数据包嗅探器负责从网络上抓取数据包，为入侵检测提供数据源。s n o r t 把网卡设置为 i 混杂模式，使得数据包嗅探器可以监听连接在集线器上的所有流量，然后使用l i b p c a p 库中的 函数抓取网络数据包。l i b p c a p 库允许开发人员在不同的u n i x 平台上从数据链路层接收数据 ? 包，而不必考虑网卡以及驱动程序的不同。s n o r t 的w i n d o w s 版本使用w i n p c a p 库来代替 l i b p c a p ，w i n p c a p 是w i n d o w s 版本的l i b p c a p ，是意大利的一个研发组织开发的。解码器当数 据包被捕获后，s n o a 需要对数据链路层的原始数据包进行解码。s n o r t 能够识别以太网、 8 0 2 11 、令牌环以及诸如i p ，t c p 和u d p 等高层协议。在解码的过程中，s n o r t 将捕获的数 贵州大学硕士研究生学位论文 据存储到p a c k e t 数据结构中，以便为后续的预处理器和检测引擎的分析做准备。p a c k e t 数据 结构用于保存对数据包进 亍协议解析所需要的各种数据结构、指针和信息，以及解析后的结 果。 2 预处理器 预处理器在检测引擎被调用之前先运行。当数据包到达预处理器时，s n o r t 会调用预处理 函数列表中的所有函数对数据包进行处理，每个预处理函数对数据包只运行一次。预处理器 的作用是对数据包进行预处理，以方便检测引擎对数据包进行检查和处理。预处理器并不是 简单的数据转换，它具有数据分片重组、流重组、代码转换、一次性检测和过滤数据等功能 1 3 s n o r t 的预处理器是模块化的插件，可以根据具体的需要来选择，开发者也可以自己来开发 所需要的预处理器，而不必依赖其它的工作细节。预处理器的使用，弥补了检测引擎特征匹 配的不足，增强了s n o r t 的检测能力。 3 规则库 规则库由众多规则文件组成。每个规则文件存放一类入侵检测规则。用户也可以建立一 个自己的文件，将自己编写的规则集存放到里面，然后只需在s n o r t 配置文件中添加该规则 文件的路径和文件名，就可以在s n o r t 中使用这些规则。s n o r t 使用一种简单、轻量级的语法 来定义规则，这种语法不仅灵活，而且具有很强的描述能力。s n o r t 的规则在逻辑上分为两部 分规则头和规则选项。规则头包含了规则的行为、所匹配网络报文的协议、源i p 地址、目标 i p 地址、子网掩码、源端口和目标端口等信息。规则选项包含了报警消息内容和要检查的包 的具体部分。 s n o r t 有许多规则语法，由于篇幅的关系，不能一一列出。下面以一个具体的例子来说明 s n o r t 的规则语言结构： a l e r tt c pa n ya n y 一 1 9 2 1 6 8 1 0 2 41 1 1 ( c o n t e n t ：”1 0 00 18 6a s l ”；m s g ：”m o u n t da c c e s s ”；) 第一个括号前的部分是规则头，包含在括号内的部分是规则选项。规则选项部分中冒号 前的单词称为选项关键字。需要指出的足，并不是所有规则都必须包含规则选项部分，选项 部分只是为了使对要收集或报警，或丢弃的包的定义更加严格。组成一个规则的所有元素对 于指定的要采取的行动都必须是真的。当多个元素放在一起时，可以认为它们组成一个逻辑 与( a n d ) 语句。同时，s n o r t 规则库文件中的不同规则可以认为组成一个大的逻辑或( o r ) 语句。 该规则的表达的意义是：对任何目标i p 址是1 9 2 1 6 8 1 1 1 9 2 1 6 8 1 2 5 5 。目标端口号是1 1 1 的 t c p 数据包，检查数据包是否包含信息 0 0 0 18 6a l 5 ”，若是，则输出信息“m o u n t da c c e s s ”，并 第三章数据挖掘与入侵检测 发出警报。 4 检测引擎 检测引擎采用误用检测技术对数据包进行检查，其实质就是一个规则匹配的过程。s n o r t 在初始化的时候会将规则库中的规贝l j 添加到规则链表中，当一个数据包预处理后，检测引擎 会将数据包与规则链表中的规则进行匹配。s n o r t 系统将检测规则组成一个二维链表结构，主 要分为两个部分：r u l e t r e e n o d e ( 规则头) 和o p t t r e e n o d e ( 规则选项) 。r u l e t r e e n o d e 保存了规 则头的相关信息，：如规则处理函数指针，指向下一个规则头的指针等等。o p t t r e e n o d e 保存 了规则选项的相关信息，如检测引擎插件的函数指针，指向下一个规则选项的指针等。 当检测引擎接收到一个数据包之后，会将数据包与规则链表中的规则头进行匹配，如果 与某一规则头结点匹配成功，则依次匹配该规则头结点下的规则选项链表，如果与规则选项 链表某一结点匹配成功，则调用相应的输出函数。所有符合协议类型的链表被匹配完毕，则 继续检测下一个数据包。 在匹配的过程中，检测引擎会根据规则选项的内容调用不同的检测引擎插件来检查数据 包用户可以自己编写检测引擎插件，以满足特定的需求。 5 输出模块 输出模块的作用在于根据检查的结果输出数据，s n o r t 有