入侵检测系统中两种异常检测方法分析【我的论文】_百度文库(精)

1、网络入侵检测系统的研究 摘要：随着互联网络的广泛应用，网络信息量迅速增长，网络安 全问题日趋突出。入侵检测作为网络安全的重要组成部分，已成 为目前研究的热点，本文介绍了入侵检测系统的概念、功能、模 式及分类，指出了当前入侵检测系统存在的问题并提出了改进措 施，特别是针对异常入侵检测方法的研究，着重分析了基于神经 网络的和层次聚类的异常检测方法，并从理论和试验层次队两种 检测技术进行分析比较，客观分析了两种算法的优缺点。同时预 测了入侵检测系统的发展趋势。关键词：入侵检测；入侵检测系统；BP神经网络；层次聚类；网络安全。在基于网络的计算机应用给人们生活带来方便的同时，网上 黑客的攻击活动正以每年

2、10倍的速度增长，因此，保证计算机系 统、网络以及整个信息基础设施的安全已经成为刻不容缓的重要 课题。防火墙作为一种边界安全的手段，在网络安全保护中起着重要 作用，其主要功能石控制对网络的非法访问，通过监视、限 制、更改通过网络的数据流，一方面尽可能屏蔽内部网的拓扑 结构，另一方面对内屏蔽外部危险站点，以防范外对内的非法 访问。然而，由于性能的限制，防火墙通常不能提供实时的入 侵检测能力，为了弥补防火墙存在缺陷，弓I入了入侵检测IDS（ In trusion Detection System技术。入侵检测是防火墙之后的 第二道安全闸门，是对防火墙的合理补充，在不影响网络性能 的情况下，通过对网

3、络的检测，帮助系统对付网络攻击，扩展 系统管理员的安全管理能力（包括安全审计、监视、进攻识别 和响应），提供对内部攻击、外部攻击和误操作的实时保护。、入侵检测系统的概念入侵检测定义为识别为被授权使用的计算机系统和有合法权 利使用系统但却滥用特权的过程。即通过对计算机网络或系统中 的若干关键点收集信息并对其进行分析，从而发现是否有违反安 全策略的行为和被入侵的迹象。进行入侵检测的软件与硬件的组 合便是入侵检测系统（IDS）。一个入侵检测产品通常由两部分组 成，即传感器与控制台。传感器负责采集数据、分析数据并生成 安全时间；控制台主要起到中央管理作用。商品化的产品通常提 供图形界面的控制台，这些控

4、制台基本上都支持Windows NT平台。入侵检测系统的主要功能有：1、监视、分析用户及系统活动；警.6、操作系统日志管理，并识别违反安全策略的用户活动。2、核查系统配置和漏洞；3、识别已知进攻并向相关人员报4、统计分析异常行为；5、评估重要系统和数据的完整性；二、入侵检测系统模型美国斯坦福国际研究所（SRI ）的D.E.Denning于1986年首次 提出一种入侵检测模型。该模型的检测方法就是建立用户正常 行为的描述模型，并以此同当前用户活动的审计记录进行比 较。如果有较大偏差，则表示有异常活动发生：这是一种基于 统计的检测方法。随着技术的发展，后来人们又提出了基于规 则的检测方法。通用入侵

5、检测架构（CIDF）组织，试图将现有 的入侵检测系统标准化，阐述了一个入侵检测系统分为以下4个组件：事件产生器、事件分析器、相应单元和事件数据库， 同时将需要分析的数据统称为事件。事件可以是基于网络的数 据包，也可以是基于主机的系统日志中的信息。事件产生器的 目的是从整个计算机环境中获得事件，并向系统其他部分提供 此事件；事件分析器分析得到的事件并产生分析结果；响应单 元则是队分析结果做出反应的功能单元，它可以做出切断连 接、修改文件属性等强烈反应；事件数据库是存放各种中间和 最终数据地方的通称，它可以是复杂的数据库也可以是简单的 文本文件。三、入侵检测系统的分类对入侵检测系统主要从数据源、检

6、测方法、分布形式、响应方 式等方面分类，其中前两种为主要的分类方式。（一）按照数据来源分类1网络型网络型入侵检测系统部署在网络设备节点上，优点是 能够检测基于协议的攻击，攻击者不易转移证据；检测 实时性强，无需改动网络拓扑，对外透明，能降低本身 守攻击的可能性；可在几个关键点上配置并观察多个系 统。主要缺点是对于加密信道和某些基于加密信道的应 用层协议无法实现数据解密，不能起到监视作用；无法 得到主机系统的实时状态信息，检测复杂攻击的准确率 低；在实时检测中，需对每个数据包都进行协议解析和 模式匹配，系统开销大。2、主机型主机型入侵检测系统部署在主机上，监视分析主机审计记录 以检测入侵，效率高

7、，能准确定位入侵并进一步分析。有点是不 需要额外的硬件，可用于加密以及交换环境，对网络流量不敏 感，检测粒度细，目标明确集中，可监测敏感文件、程序或端 口。缺点是占用主机资源，依赖于系统可靠性，可移植性差，只 能检测针对本机的攻击，不适合检测基于网络协议的攻击，数据 源主要包括系统审计信息、系统日志信息、内核信息、应用审计 信息、系统目标信息。3、混合型混合型入侵检测结合了网络入侵检测和主机入侵检测二者的 优点，在关键主机上采用主机入侵检测，在网络关键节点上采用 网络入侵检测。(二) 按照检测方法分类1、异常检测(Anomaly Detection )异常检测志根据用户行为或者资源状况正常程度

8、，将当前情况 和轮廓(Profile )比较以发现入侵，不依赖具体行为，可发现未知 攻击。异常检测认为入侵是异常的子集，有统计分析、非参量统 计分析、专家系统、量化分析和基于规则的检测，但关键在正常 模式(Normal Profile )的建立及利用该模式与当前状况比较。异常检测的主要优点：与系统相对无关，通用性较强；不需要 过多系统缺陷的知识，适应性强，能检测位置入侵；不同的描述 模式可使用不同的概率统计模型。异常检测的主要缺点：由于不 可能对系统所有用户行为全面描述，且用户的行为常改变，所以 误报率高；入侵者通过恶意训练，使检测系统习惯攻击而无法识 别。2、滥用检测(Misuse Dete

9、ction)滥用检测方法定义入侵模式，通过模式是否出现来判断，也 称基于知识的检测(Knowledge Based Detection)。它依据具体攻 击特征细微变化就会使之无能为力，漏报率较高，对系统依赖性 高，一致性较差，检测范围守已知知识局限，难以检测内部入 侵，而且将具体入侵手段抽象成知识也很困难，该方法主要有简 单模式匹配、专家系统、状态转移法、条件概率、击键监控、信 息反馈批处理分析等。3、特征检测(Specification-Based Detection)特征检测定义系统轮廓，将系统行为与轮廓比较，不属于正 常行为的事件定义为入侵，该方法常采用某种特征语言定义系统 的安全策略，

10、当系统特征不能准确囊括所有的状态时就会漏报或 误报。上述检测方法各有优缺点，因此实际入侵检测系统可采用多 种检测方法的结合。入侵检测系统的结果方式有单一式、完全分 布式、部分分布式。单一结构的数据分析处理在单机上完成，早 期多采用这种结构（如IDES等），它等于管理和协调，当单点失 效后果严重。完全分布式结构无中心，分布性和容错性好，但管 理和信息综合较困难。四、目前，异常检测已经成为当前入侵检测系统研究的热点 之一，本文将着重介绍聚类分析与神经网络两种异常检测技术， 并进行分析比较。（一）、两种异常入侵检测技术1、BP神经网络的入侵检测技术BP神经网络是一种多层前馈网络，也是目前应用最广泛的

11、一 种网络，采用梯度最速下降搜索技术，按代数函数（网络实际输 出的均方误差）最小的准则递归求解网络的权值和各节点的阀 值。它包含输入层、隐含层、和输出层，同层单元之间不相连。 由于具有学习能力，因此IDS可用其来学习用户的行为，并根据 最新变化进行调整。将BP神经网络用于如陪你检测的具体过程包括两个阶段：第 一阶段是采用代表用户行为的历史数据进行训练；构造入侵检测 分析模型，由于已标识个数据的类型，因此可通过此模型区分个 行为的类型。第二阶段是入侵分析的实际执行阶段；给定某一阀 值对网络中采集的数据进行分析，以判断属于正常或异常类型。2、聚类分析的入侵检测技术聚类分析又称群分析，是研究（样品或

12、指标）分类问题的一 种多元统计方法，所谓类是指相似元素的集合。而聚类就是按照 一定的要求和规律进行区分和分类的过程，在这一过程中没有任 何关于类分的先验知识，没有教师指导，仅靠事物间的相似性作 为类属划分的准则，即同一聚类之间最小化，而不同聚类之间数 据最大化。本文着重介绍一种聚类算法，即层次聚类算法。该算 法队给定的数据集进行层次分解，指导某种条件满足为止。将层次聚类算法用于异常入侵检测的过程主要有三部分：一 是数据预处理部分。主要包括数据离散化、归一化处理，当涉及 到求解各种数据记录间距离时，由于连接记录中存在不同的数据 类型，必须采用合适的异构数据间的距离度量方法来完成。二是 进行无监督

13、的聚类分析过程。即利用聚类模型对新的检测样本进 行分类。(二)、理论分析1、BP神经网络应用于入侵检测(1)、优点第一，BP神经网络具有非线性处理和概括抽象的能力。对于 处理网路环境中常常出现信息丢失不完整或者变形失真的情况， 具有一定的容错处理能力。第二，BP神经网络具备高度的学习和自适应能力。通过对输 入正常样本和异常样本的不断训练，神经网络不仅能够以很高的 准确率识别出新的入侵行为特征，而且能够以一定的概率识别出 新的入侵行为特征和已知入侵行为的变种形式。从而可克服基于 专家系统检测技术的局限性。第三，BP神经网络的内在并行计算和存储特性。在传统的计 算技术中，计算和存储是完全独立的两个

14、部分，即计算机部件必 须从存储部件中取出指令和待处理数据，然后进行计算，最后将 计算结果返回存储器。因此，存储器和计算器间的传输带宽成为 制约计算机性能的瓶颈。而在神经网络模型中，信息的存储和计 算是合二为一的，各个神经元的工作方式是完全并行的，从输入 到输出的计算过程实际上就是权值的传递过程，而在权值传递的过程中，就同时完成了信息的存储过程。此种并行计算模式所具 有的潜在高速计算能力对于入侵检测来说，可在很短时间内，处 理更多的检测规则或特征值，即在更短时间内发现入侵行为，减 少可能的系统损失。(2)、不足第一、不同的神经网络类型和拓扑结构，都存在学习能力的 限制容量。面对现实环境中数以千计

15、的不同攻击特征，要做到完 整识别，还需要进一步的研究。第二、神经网络具备很强的学习能力，能给出判定的类别信 息，但是对于具体发生的事件类型，则缺乏明确的解释能力。对 于入侵检测，仅判定当前事件是否异常往往不够，通常还需要得 到关于该异常事件具体类型的明确信息。此外，神经网络的训练 和学习能力，往往是通过内部的权值连接和拓扑结构来实现和存 储的，对于最终判定结果的产生，通常难以具体解释详细的判定 过程以及确定性的判定步骤。第三、构造入侵检测网络模型是根据个特征属性之间的相关性 建立的，是横向的结合，同时在建立模型前必须有相当数量已知 的训练样本，需经过样本数据的训练使得网络模型适用于具体的 应用

16、领域，属于有监督的入侵检测分析方法。第四、理论上讲神经网络具备并行经计算机的强大能力，但在 当前计算机的存储-计算架构下来完全实现神经网络的并行计算潜 力有一定的难度。2、层次聚类分析应用于入侵检测(1)、优点第一、由于入侵检测的层次聚类分析法是无监督的检测方法。 不需要人工或其他的方法来对样本数据进行训练分类，可直接进 行异常分类得出分类模型。同时具有高度的自学习和自适应能力，能够根据模型检测出已有的攻击以及一定数量的未知攻击类 型，克服误用检测的局限性。第二、由于聚类方法是从数据角度进行分析，其最终结果是一 个面向对象的概念化知识，该知识反应了数据的内在特性，是对 数据所包含的信息的更高层

17、次的抽象。将其应用于入侵检测，以 入侵检测样本数据集作为分析粒度，采用层次聚类法，可使分类 过程易于理解与实现，所得结果可以树状图的形式表示，体现可 视化的特点。第三、针对描述系统和网络活动的情况特征集既有数值特征又 有符号特征，在利用层次聚类进行入侵检测分析时，选用混合型 数据样本间距离计算方法，增强了算法与实际应用的关联性。同 时层次聚类算法具有用户无需设置参数，算法简单易懂，结果确 定性的特点。(2)、不足第一、构造聚类分类模型时，主要依据数据记录与记录之间的 距离来评判所属类别，即只从纵向角度对数据进行分析，对横向 属性之间的关联性有所忽略。第二、层次聚类法虽然比较客观，但已被合并的样

18、本不参与以 后的分类，这会导致聚类结果与聚类的次序有关，所以易陷入局 部最优。第三、层次聚类法必须用户自己选择合适的子树来确定自己所 关心的类，并且算法的复杂度随着特征的增加增幅较大，因此对 算法的伸缩性影响较大。(三) 、实验分析选用KDDCUP 99的实验数据进行对比实验。考虑到聚类分析 的特点，采用3份数据子集进行验证，每个数据子集中正常数据 记录个数占本子集所有数据记录个数的比例约98.5% 99%，因此入侵活动的数据记录个数仅占本子集记录个数的 1% 同时，4类入侵行为数据也相应被分配到这 3个子集中。 MATLAB语言中相关函数进行编程分析。1.5%。运用表一选用KDDCUP 99

19、的实验数据进行对比实验样本数据集子集1子集2子集3记录总数290729343436异常记录个数364145BP训练样本数200019342000BP检测样本数90710001436BP网络检测率)91.790.293.3BP网络误报率)BP聚类检测率)88.990.291.1BP聚类误报率其中：检测率=被分类出的入侵事件样本数/总入侵事件样本 数。误报率=被当作入侵事件检测出的正常事件/数据集中正常样本 数。BP算法参数为：初始学习率lr=0.01，学习率自调整系数=最大 训练系数500最终网络误差为1/10000。实验结果分析如下:1、由表1可得，采用BP

20、神经网络的检测结果为：平均检测率 分别为91.7%和1.93%，而采用层次聚类算法的检测结果为：平均 检测率与误报率分别为 90.1%和2.2%，这两项指标通常是一对矛 盾，随着检测率的提高，常常伴随着误报率的升高。由此可见两 种入侵检测算法是可行的。2、同时在实验中发现对于 DOS、PROBE两大类攻击检测效果 较高，而U2R、R2L效果不太理想，一方面与所选取的攻击样本 多少有关，另一方面是因为很多 R2U入侵是伪装合法用户身份进 行攻击的，这就使得其特征与正常数据包比较相似，造成算法检 测的困难。3、从检测率、误报率来看，BP神经网络的检测效果优于层次 化聚类分析。这主要有两方面的原因：

21、（1）、BP神经网络是有监督的异常入侵检测方法，具有自学 习与自适应的特点，通过训练，网络模型能够很好地识别出正常 网络行为，而层次聚类分析属于无监督的自动识别异常的检测技 术，只通过样本数据间的聚类来判断，因此造成该聚类检测方法 在误报率上偏高于 BP神经网络检测方法。(2)、文中采用的层次聚类属于硬聚类，即判断样本类别时 具有 非此即彼”的特点。而实际情况下，某一网络行为由于制约 的因素较多，很难肯定地判断其所属的类别，即出现即属于其他 类的情况，这时应根据其属于某一类的隶属度来判断其所属类 别，这样更为客观。这也是造成层次聚类算法的检测算法的检测 效果低于神经网络的因素之一。综上所述，神

22、经网络具有自适应、自组织和自学习的能力，可 以处理一些环境复杂、背景知识不详，数据样本有敬爱殴打的缺 陷和不足的情况，应用于建立入侵检测模型时允许含有少量不合 理数据的存在，同时移植性较强，能降低数据的存取量，保证入 侵检测系统的检测性能。聚类分析属于无监督的分类算法，适合 于正常数据与异常数据在数量上存在较大差异情况下建立入侵检 测模型，因具有可理解性的特点，能提供给用户可视化的分析过 程与结果，适用于需通过该方法理解攻击行为并对其进行进 操作的情况。总之，在实际选择检测方法时，应综合考虑数据样 本的特征及入侵检测系统提出的整体要求权衡选择，同时也可以 采用其他领域的相关知识对所选对所选方法

23、进行优化、完善。五、入侵检测系统存在的问题1、误/漏报率高。IDS常用的检测方法有特征检测、异常检 测、状态监测、协议分析等。但这些检测方法都存在缺陷，如异 常检测通常采用统计方法来进行检测，而统计方法中的阀值难以 有效确定，太小的值会产生大量的误报，太大的值又会产生大量 的漏报。而在协议分析的检测方式中，一般的IDS只简单地处理了常用的如HTTP、FTP、SMTP等，其余大量的协议报文完全可 能造成IDS漏报，如果考虑支持尽量多的协议类型分析，网络的 成本将无法承受。2、没有主动防御能力。IDS技术采用了一种预设置式、特征 分析式工作原理，所以检测规则的更新总是落后于攻击手段更 新。3、缺乏

24、准确定位和处理机制。IDS仅能识别IP地址，无法定 位IP地址，不能识别数据来源。IDS系统在发现攻击事件的时 候，只能关闭网络出口和服务器等少数端口，但这样关闭的同时 会影响其他正常用户的使用。因而其缺乏更有效的响应处理机 制。4、性能普遍不足。现在市场上的 IDS产品已不能适应交换技 术和高带宽环境的发展，在大流量冲击、多 IP分片情况下都可能 造成IDS的瘫痪或丢失，形成 DOS攻击。六、入侵检测系统的发展趋势入侵检测系统（IDS）是近十多年发展起来的新一代安全防范 技术，它通过对计算机网络或系统中的若干关键点收集信息并对 其进行分析，从中发现是否有违反安全策略的行为和被攻击的迹 象。这

25、是一种集检测、记录、报警、响应于一体的动态安全技 术，不仅能检测来自外部的入侵行为，同时也监督内部用户的未 授权活动。IDS技术主要面临者三大发展趋势。1、提高入侵检测系统的检测速度，以适应网络通信的要求。 网络安全设备的处理速度一直是影响网络性能的瓶颈，虽然IDS通常是以并联方式接入网络的，但如果其检测速度跟不上网络数 据的传输速度，那么检测系统就会漏掉其中的部分数据包，从而 导致漏报而影响系统的准确性和有效性。在IDS中，截获网络的每一个数据包，并分析、匹配其中是否具有某种攻击的特征需要 花费大量的时间和系统资源，大部分现有的IDS只有几十兆的检测速度，随着百兆、甚至千兆网络的大量应用，IDS技术发展的速度已经远远落后于网络速度的发展，因此，提高入侵检测系统 的速度势在必行。2、降低入侵检测系统的漏报和误报，以提高静安创系统的准 确度。基于模式匹配分析方法的IDS将所有入侵行为和手段及其 变种表达为一种模式或特征，检测主要是判别网络中搜集到的数 据特征是否在入侵模式库中出现。因此，面对每天都有新的攻击 方法产生和新漏洞发布，攻击特征库不能及时更新是造成IDS漏报的一大原因。而基于异常发现的IDS通过流量统计分析简历系统正常行为的轨迹。当系统运行时