Snort入侵检测系统的警报日志分析

1、 Snort 入侵检测系统警报日志分析摘 要网络的飞速发展有目共睹，但是，在网络提供给人类大量信息与快捷方便通信的同时，网络也给人们带了许多不安因素，这些因素往往会引起巨大的经济损失。因此，网络安全变得越来越重要。网络安全防护措施多种多样，有防火墙技术，杀毒技术，系统脆弱性分析等，这些措施都是根据系统存在的各方面漏洞而创建。虽然这些措施能够有效地应对入侵攻击，但是仍然存在不足之处。例如，防火墙技术只能防范来自外部的攻击。因此，动态防护理念随之而生，检测、策略、响应及防护构成了动态防护模型，人们根据此模型概念提出了入侵检测技术以供动态地防护系统，改善传统防护技术的不足之处，提高实时性性能。现今入

2、侵检测技术还处于发展阶段，各方面都不成熟。其中一个较为突出的问题为：误报率高；警报数据量大，危害较大的攻击行为淹没在大量信息中；对管理者技术要求较高。这个问题大大限制了入侵检测技术的发展。本文首先针对此问题做出研究，找出产生此问题的原因之一为缺乏有效的分析工具。然后介绍 Snort 入侵检测系统及其相关的各种现有数据分析工具。其次研究数据挖掘理论，提出一种警报日志分析系统，主要介绍了数据分析模块和报表模块。数据分析模块运用分类分析理论，以警报数据的源 IP 地址、目的 IP 地址、攻I 击类型及攻击时间为分类分析所用的类，以攻击次数作为分类的依据，完成对庞大的警报数据分析；报表模块以报表形式输

3、出分析后的数据，达到易于观察的目的。然后本文介绍如何实现此系统，最后测试实现的系统并对测试结果做出评价。关键词：网络安全，入侵检测，误报率，数据挖掘。II ALARM DATA ANALYSIS OF SNORT IDSABSTRACTThe rapid development of network is obvious to all people. Butwhen network bring human beings large amount of information and fastand convenient communication, it also bring many uns

4、afe factors tohuman beings, which always result in huge economic lose. Therefore,network security becomes more and more important.Protection measures of network security are various, which includeFirewall technique, Anti-virus technique, System Vulnerability Analysisand so on. These measures are cre

5、ated in terms of many kinds of systemflaws. Though these measures have effect on protecting system fromintrusion attack, they also have some shortcomings. For example,Firewall technique only can protect attack from outside. Then dynamicprotection concept emerges because of these shortcomings. Detect

6、ion,Policy, Response and Protection consist of dynamic protection model.According to this model concept, people propose intrusion detectiontechnique in order to realize dynamic protection of system, which willimprove real-time performance.At present, intrusion detection technique is also at the stag

7、e ofdevelopment and many aspects of it dont come to maturity. One of theIII most serious problems is as follows: high wrong alarm rate; a largeamount of alarm data so that many great harmful attacks are hiddenbehind them; high requirement for supervisor. This problem has a greatlimitation on the dev

8、elopment of IDS. This paper firstly makes a study onthis problem and finds one of the reasons is the lack of effective analysistool. Then this paper introduces Snort IDS and relative data analysis toolswhich are in use. Thirdly, this paper introduces the theory of data mining,and then proposes the d

9、esign of a system of alarm data analysis,especially data analysis module and report module. Data analysis moduleuses partition analysis theory, which classifies alarm data by source ipaddress, destination ip address, attack type and attack timestamp andaccording to attack number of times. Report mod

10、ule outputs analyzeddata in the form of report, which make data easily observed. Fourthly, thispaper introduces how to realize this system. At last, this paper makes atest on the system and concludes on the result of test.KEY WORDS: network security, intrusion detection, wrongalarm rate, data mining

11、.IV 上海交通大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：朱赟日期： 2007 年 01 月11 日 上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容

12、编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密 ，在 2 年解密后适用本授权书。本学位论文属于不保密。（请在以上方框内打“”）学位论文作者签名：朱赟指导教师签名：薛质日期： 2007 年 01 月 11 日日期： 2007 年 01 月 11 日 第一章 绪论随着信息技术和计算机技术的高速发展，网络也获得了飞速的发展。网络的发展给人们的工作、学习、生活带来了极大的改变和便利。但是人们在获得便利的同时，网络的发展也给人们带来了种种不安全的因素。可以说，网络是一个双刃剑。我们常常看到某某网站遭受黑客攻击，某某服务器由于受到攻击停止运行很长一段时间，类似此种事件

13、都会带来很大的经济损失。据报道，在 2003 年，全球 13 台最重要的母服务器中的 9 台都遭到了黑客袭击，因此，网络安全的重要性越来越受到关注。1.1 网络存在的安全问题网络安全与保密主要是指保护网络信息系统，使其没有危险、不受威胁、不出事故。从技术角度来说，网络信息安全与保密的目标主要表现在系统的保密性、完整性、可控性、可靠性、可用性、不可抵赖性等。(1) 保密性是指防止信息泄露给非授权个人或实体，信息只为授权用户使用的特性。(2) 完整性是指网络信息未经授权不能进行改变的特性。(3) 可控性是指对网络信息的传播及内容具有控制能力的特性。(4) 可靠性是指网络信息系统能够在规定条件下和规

14、定时间内完成规定功能的特性。(5) 可用性是指网络信息可被授权实体访问并按需求使用的特性。(6) 不可抵赖性是指在网络信息系统的信息交互过程中，确保所有参与者都不可能否认或抵赖曾经完成的操作和承诺的特性。要避免网络安全问题的产生，我们首先要了解什么原因会影响上述所提及的网络安全的特性。总结起来，主要是由于我们的计算机网络中存在着各种各样的安全弱点、漏洞以及不安全的配置，主要表现在操作系统、网络服务、 TCP/IP协议、应用程序（如数据库、浏览器等）、网络设备等几个方面。正是这些弱点、1 漏洞和不安全设置的存在才给了一些人以可乘之机，让他们发动黑客攻击。1.2 传统的网络安全防护技术针对上述所提

15、及的网络安全特性，现今采用的传统网络安全防护技术有以下几种：(1) 加密技术：密码是实现秘密通讯的主要手段，是隐蔽语言、文字、图象的特种符号。凡是用特种符号按照通讯双方约定的方法把电文的原形隐蔽起来，不为第三者所识别的通讯方式称为密码通讯。在计算机通讯中，采用密码技术将信息隐蔽起来，再将隐蔽后的信息传输出去，使信息在传输过程中即使被窃取或载获，窃取者也不能了解信息的内容，从而保证信息传输的安全，这样，就能够达到保护网络安全保密性特性的目的。(2) 数据签名技术：类似与加密技术，一般是签名者利用私密秘钥对需签名的数据进行加密，验证时利用签名者的公开秘钥对签名数据做解密运算。这样，在保证私密密钥安

16、全的情况下，数据通信的安全保密性就能够得到保证。同时，数字签名可以解决否认、伪造、篡改及冒充等问题，达到了网络传输中不可抵赖的目的。(3) 访问控制技术：对信息系统资源进行保护的重要措施，决定了谁能够访问系统，能访问系统的何种资源以及如何使用这些资源。当的访问控制能够阻止未经允许的用户有意或无意地获取数据。访问控制的手段包括用户识别代码、口令、登录控制、资源授权（例如用户配置文件、资源配置文件和控制列表）、授权核查、日志和审计。(4) 身份认证技术：计算机及网络系统确认操作者身份的技术，能够密切结合企业的业务流程，阻止对重要资源的非法访问，用于解决访问者的物理身份和数字身份的一致性问题，给其他

17、安全技术提供权限管理的依据。(5) 系统脆弱性检测技术：由于系统存在各方面的漏洞，外部黑客或内部人员可以利用这些漏洞对于系统进行攻击，因此，定时进行漏洞检测对于系统安全的维护有极大的意义。(6) 防火墙技术：一种由计算机硬件和软件的组合，使互联网与内部网之间建立起一个安全网关；从而保护内部网免受非法用户的侵入，它其实就是一个把2 互联网与内部网（通常这局域网或城域网）隔开的屏障。防火墙按照一定的安全策略规则检查网络包或服务请求，来决定网络之间的通信是否被允许，从而能够有效地实现内部网络的信息不受外部非授权用户的访问或者过滤信息的目的。(7) 防毒杀毒技术：通过监测用户运行的程序，检测代码文件，

18、当出现异常时，阻止程序运行，保证系统不被破坏。1.3 入侵检测技术的产生从上面提及的传统的网络安全防护技术可以看出，此类技术主要针对于系统自身的加固和防护。例如，在信息传输和存储中采用加密技术，在外部网络和内部网络交互出采用防火墙技术等等。然而，传统的网络安全防护技术存在不足之处：(1) 由于网络安全防护技术大多采用静态防护措施，因此，无法实时反应异常状态的产生。例如：系统脆弱性检测技术，只有当用户运行检测程序时，才能够获取系统的漏洞，从而采取一定的补救措施，但是，一旦针对系统漏洞的攻击早于用户检测系统发生，那么此技术就无法阻止系统遭受破坏。(2) 某些防护技术存在局限性。例如：防火墙技术主要

19、针对外来攻击，无法保护系统免于遭受内部攻击。即它很难解决内部网控制内部人员的安全问题。其次，由于防火墙技术发展并不成熟，没有统一的标准，因此管理和配置方面相当复杂，这样就要求使用者对网络安全攻击的手段及其与系统配置的关系有相当深刻的了解。(3) 类似加密技术，访问控制技术及认证技术等网络安全防护技术在实际运用中无法彻底填补一个系统的所有安全漏洞，攻击者可以绕过此类技术的防护达到攻击目的。因此，针对上述阐述的不足之处，我们需要一个动态的网络安全防护模型来满足安全的需求，而 PPDR 模型就能够满足此类需求。PPDR即 Policy Protection Detection Response ，其

20、基本思想如下：以安全策略为核心，通过一致性检查、流量统计、异常分析、模式匹配以及基于应用、目标、主机、网络的入侵检查等方法进行安全漏洞检测。检测使系统从静态防护转化为动态防护，为系统快速响应提供了依据。当发现系统有异常时，根据系统安3 全策略快速做出反应，从而达到网络安全防护的目的。PPDR的模型如下图：防护（protection）响应（response）图 1-1 PPDR 网络安全防护模型Figure 1-1 PPDR network security safeguard model从图 1-1 中可以看出，PPDR 防护模型主要由检测，策略，响应，防护四部分组成。而入侵检测系统其运作模式

21、与效果正好符合 PPDR 网络安全防护模型，因此，在计算机网络中采用入侵检测系统将越来越流行。但是，入侵检测系统由于处于发展阶段，各方面存在着不足之处，尤其是随着网络快速的发展，网络传输的信息量大大增加，导致入侵检测系统的警报数据量过多，误报率及漏报率加大，并且由于数据显示较为复杂，要求操作人员对于入侵检测系统的构架及其相关的网络知识有较深的了解。所以，采用数据分析的方法来处理入侵检测系统的警报数据，达到精简数据，从巨大的信息量中提取关键的信息的目的，这是十分必要的。本文组织结构如下：在第二章中将介绍入侵检测系统，包括入侵检测的概念，运行原理，分类，检测技术，性能指标，存在问题及发展趋势等。第

22、三章介绍一种运用较为广泛的入侵检测系统Snort。第四章介绍了针对 Snort 入侵检测系统警报数据现有的分析工具及可运用于 Snort 的数据挖掘方法。第五章介绍了警报日志系统的设计与开发，并对实现后的系统进行测试，分析测试的结果。最后，第六章中提出了对整篇论文的总结以及进一步的工作展望。4 第二章 入侵检测系统概述2.1 入侵检测的概念入侵(Intrusion)是指任何试图危害资源的完整性、可信度和可获取性的动作。所谓入侵检测，则是指发现或确定入侵行为存在或出现的动作。入侵检测系统(IDS)是近十多年发展起来的新一代安全防范技术，它通过对计算机网络或系统中的若干关键点收集信息并对其进行分析

23、，从中发现是否有违反安全策略的行为和被攻击的迹象。这是一种集检测、记录、报警、响应的动态安全技术，不仅能检测来自外部的入侵行为，同时也监督内部用户的未授权活动。入侵检测系统的作用有以下几种：(1) 监视、分析用户和系统的运行状况，查找非法用户和合法用户的越权操作；(2) 检测系统配置的正确性和安全漏洞，并提示管理修补漏洞；(3) 对用户非正常活动的统计分析，发现攻击行为的规律；(4) 检查系统程序和数据的一致性和正确性；(5) 能够实时地对检测到的攻击行为进行响应；(6) 对操作系统的审计跟踪管理，并识别用户违反安全策略的行为。2.2 入侵检测系统的架构及过程由于入侵检测概念出现的时间不长，为

24、了更好地发展和完善入侵检测系统，提高入侵检测系统产品与其他安全产品之间的互操作性，美国国防高级研究计划署(DARPA)和互联网工程任务组(IETF)的入侵检测工作组 IDWG 一起制定了一系列标准。DARPA 提出了公共入侵检测框架 CIDF(Common Intrusion DetectionFramework)的建议，这个建议被延用至今，构建了现今入侵检测系统的模型。入侵检测系统分为四个基本部分：数据采集子系统、数据分析子系统、控制台子系统、数据库管理子系统，如图 2-1 所示。5 图 2-1 入侵检测系统结构Figure 2-1 IDS structure(1) 数据采集子系统位于入侵检

25、测系统的最底层，从入侵检测系统之外的计算机网络环境中收集数据（数据包或服务请求等），并将这些数据转换为入侵检测系统所处理的格式。例如：目前比较流行的做法是：使用 libpcap 和 tcpdump，将网卡置于“混杂”模式，捕获某个网段上所有的数据流。(2) 数据分析子系统主要负责从收集到的数据中检测是否有异常，并将检测结果传输给控制台子系统和数据库管理系统。其检测手段主要分为滥用监测和异常检测两种。例如：检查现在的事件是否可能与以前某个事件来自同一个时间序列；检查事件序列中是否有已知的滥用攻击特征。(3) 数据库管理子系统用于记录数据，以便于日后需要取证时重建某些网络实践。例如：Snort 入

26、侵检测系统中采用 MYSQL 数据库或 LOG 日至方式来存储警报数据。(4) 控制台子系统的主要任务两个：一、管理数据采集分析中心，以友好、便于查询的方式显示数据采集分析中心发送过来的警报消息；二、根据安全策略进行一系列的响应动作，以阻止非法行为，确保网络的安全。6 根据入侵检测系统的架构，入侵检测过程可以分为：信息收集、信息分析和结果处理。2.3 入侵检测系统的分类入侵检测系统根据检测针对的对象主要分为基于主机的入侵检测系统HIDS(Host Intrusion Detection System)和基于网络的入侵检测系统 NIDS(NetworkIntrusion Detection Sy

27、stem)。2.3.1 主机入侵检测系统基于主机的入侵检测系统（HIDS）通常是安装在被重点检测的主机之上，主要是对该主机的网络实时连接以及系统审计日志进行智能分析和判断。如果其中主体活动十分可疑(特征或违反统计规律)，入侵检测系统就会采取相应措施。主机入侵检测系统的优点有以下几点：(1) 主机入侵检测系统对分析 “可能的攻击行为”非常有用。举例来说，有时候它除了指出入侵者试图执行一些“危险的命令”之外，还能分辨出入侵者干了什么事：他们运行了什么程序、打开了哪些文件、执行了哪些系统调用。主机入侵检测系统与网络入侵检测系统相比通常能够提供更详尽的相关信息。(2) 主机入侵检测系统通常情况下比网络

28、入侵检测系统误报率要低，因为检测在主机上运行的命令序列比检测网络流更简单，系统的复杂性也少得多。(3) 主机入侵检测系统可布署在那些不需要广泛的入侵检测、传感器与控制台之间的通信带宽不足的情况下。主机入侵检测系统在不使用诸如“停止服务” 、“注销用户”等响应方法时风险较少。同样，主机入侵检测系统也存在以下几点缺点：(1) 主机入侵检测系统安装在我们需要保护的设备上。举例来说，当一个数据库服务器要保护时，就要在服务器本身上安装入侵检测系统。这会降低应用系统的效率。此外，它也会带来一些额外的安全问题，安装了主机入侵检测系统后，将本不允许安全管理员有权力访问的服务器变成他可以访问的了。(2) 主机入

29、侵检测系统的另一个问题是它依赖于服务器固有的日志与监视能力。如果服务器没有配置日志功能，则必需重新配置，这将会给运行中的业务系7 统带来不可预见的性能影响。(3) 全面布署主机入侵检测系统代价较大，企业中很难将所有主机用主机入侵检测系统保护，只能选择部分主机保护。那些未安装主机入侵检测系统的机器将成为保护的盲点，入侵者可利用这些机器达到攻击目标。(4) 主机入侵检测系统除了监测自身的主机以外，根本不监测网络上的情况。对入侵行为的分析的工作量将随着主机数目增加而增加。2.3.2 网络入侵检测系统基于网络的入侵检测系统 (NIDS) 被放置在比较重要的网段内，不停地监视网段中的各种数据包。对每一个

30、数据包或可疑的数据包进行特征分析。如果数据包与入侵检测系统内置的某些规则吻合，入侵检测系统就会发出警报甚至直接切断网络连接。网络入侵检测系统的优点有以下几点：(1) 网络入侵检测系统能够检测那些来自网络的攻击，它能够检测到超过授权的非法访问。(2) 一个网络入侵检测系统不需要改变服务器等主机的配置。由于它不会在业务系统的主机中安装额外的软件，从而不会影响这些机器的 CPU、I/O 与磁盘等资源的使用，不会影响业务系统的性能。由于网络入侵检测系统不像路由器、防火墙等关键设备方式工作，它不会成为系统中的关键路径。网络入侵检测系统发生故障不会影响正常业务的运行。布署一个网络入侵检测系统的风险比主机入

31、侵检测系统的风险少得多。(3) 网络入侵检测系统近年内有向专门的设备发展的趋势，安装这样的一个网络入侵检测系统非常方便，只需将定制的设备接上电源，做很少一些配置，将其连到网络上即可。同样网络入侵检测系统也存在以下的缺点：(1) 网络入侵检测系统只检查它直接连接网段的通信，不能检测在不同网段的网络包。在使用交换以太网的环境中就会出现监测范围的局限。而安装多台网络入侵检测系统的传感器会使布署整个系统的成本大大增加。(2) 网络入侵检测系统为了性能目标通常采用特征检测的方法，它可以检测8 出普通的一些攻击，而很难实现一些复杂的需要大量计算与分析时间的攻击检测。(3) 网络入侵检测系统可能会将大量的数

32、据传回分析系统中。在一些系统中监听特定的数据包会产生大量的分析数据流量。一些系统在实现时采用一定方法来减少回传的数据量，对入侵判断的决策由传感器实现，而中央控制台成为状态显示与通信中心，不再作为入侵行为分析器。这样的系统中的传感器协同工作能力较弱。(4) 网络入侵检测系统处理加密的会话过程较困难，目前通过加密通道的攻击尚不多，但随着网络的快速发展，这个问题会越来越显现出来。(5) 基于网络的入侵检测系统。它通过在网段上对通信数据的侦听来采集数据。当它同时检测许多台主机的时候，系统的性能将会下降，特别是在网速越来越快的情况下。由于系统需要长期保留许多台主机的受攻击信息记录，所以会导致系统资源耗竭

33、。尽管存在这些缺点，但由于基于网络的入侵检测系统易于配置和易于作为一个独立的组件来进行管理而且它们对受保护系统的性能不产生影响或影响很小，所以它们仍然很受欢迎。2.4 入侵检测技术对各种事件进行分析，从中发现违反安全策略的行为是入侵检测系统的核心功能。从技术上，入侵检测分为两类：一种基于标志(signature-based)，另一种基于异常情况(anomaly-based)。2.4.1 基于标志入侵检测对于基于标志的检测技术来说，首先要定义违背安全策略的事件的特征，如网络数据包的某些头信息。检测主要判别这类特征是否在所收集到的数据中出现。此方法非常类似防毒杀毒技术，故又可称作误用检测。基于标志

34、的入侵检测有以下几种：(1) 模式匹配：将收集到的信息与入侵检测系统的误用模式数据库进行比较，从而发现违背安全策略的行为。例如，通过字符串匹配方式发现一个简单的条目9 或指令，或者利用形式化的数学表达式来表示安全状态的变化。模式匹配方式的优点是只需收集与入侵相关的数据集合，可以减少系统负担，提高检测的准确率和效率。(2) 专家系统：将相关的入侵特征转化为 if-then 结构的规则，即将构成入侵所要求的条件转化为 if 部分，将发现入侵后所采取的相应措施转化为 then 部分。当其中某个条件满足时，就判定入侵行为发生。由于此种规则库可以从历史事件中获得，所以现今专家系统的运用较多。但是此种检测

35、方法也存在不足之处：首先就是全面性问题，即从历史事件中总结出较为全面的入侵检测规则是极其困难的；其次就是效率问题，由于需要将收集到的信息和所有的规则进行比较，所以处理的数据量较大。(3) 模型推理：结合攻击脚本推理出入侵检测行为是否成立。其中有关攻击者性行为的知识可以是攻击者的目的，攻击者达到此目的所可能采取的行为步骤，以及对系统的特殊使用等。人们可以根据这些知识来建立自身检测所用的攻击脚本库，其中每一个脚本都由一系列攻击行为组成。当实行误用检测时，首先将攻击脚本的子集将设为系统可能面临的攻击行为。然后通过一个预测器的程序模块根据当前行为数据，产生下一个需要验证的攻击子集，并将它传给决策器。决

36、策器收到相关信息后，根据这些假设的攻击行为在审计记录中出现的方式，将它们处理成与特定系统匹配的审计记录格式。然后在审计记录中叙照可能存在的攻击数据信息。初始攻击脚本自己的设定应该满足以下条件：易于在审计记录中识别，并且出现频率较高。当然，由于攻击技术的不断发展，攻击脚本也要随之不断更新。(4) 状态转换分析：应用状态转换图于入侵行为的分析。状态转换法将入侵过程看作一个行为序列，这个行为序列导致系统从初始状态转入被入侵状态。分析时首先针对每一种入侵方法确定系统的初始状态和被入侵状态，以及导致状态转换的转换条件，即导致系统进入被入侵状态必须执行的操作，也就是所谓的特征事件的发生。然后采用状态转换图

37、来表示每一个状态和特征事件，这些事件被集成于模型中，所以检测时不需要一个个地查找审计记录。但是，状态转换分析只能分析事件序列，而无法检测与系统状态无关的入侵。10 2.4.2 基于异常入侵检测基于异常的检测技术则是先定义一组系统“正常”情况的数值，如 CPU 利用率、内存利用率、文件校验和等（这类数据可以人为定义，也可以通过观察系统、并用统计的办法得出），然后将系统运行时的数值与所定义的“正常”情况比较，得出是否有被攻击的迹象。这种检测方式的核心在于如何定义所谓的“正常”情况。基于异常的检测技术有以下几种：(1) 统计分析：一种概率统计方法，是基于行为的入侵检测中应用最早和最多的一种方法。首先

38、，检测器根据用户对象的动作为每个用户都建立一个用户特征表，通过比较当前特征与已存储定型的以前特征，从而判断是否是异常行为。其中，用于体现用户特征的参数包括：操作执行的速率；在记录中所有操作类型的分布；一定动作范畴内特定操作的分布情况；CPU 使用量，I/O 使用量等等。统计分析利用的理论较为成熟，但是，也有一些不足之处，由于对于事情发生的次序无法做到检测，因此，可能出现漏检那些采用关联攻击方式的入侵行为。其次，对于统计的结果，定义判断是否出现入侵行为的次数阈值较为困难，当阈值定义较低时，漏检率将大大提高；反之，当阈值定义较高时，误报率将大大提高。(2) 完整性分析：关注某个文件或对象是否被更改

39、，这经常包括文件和目录的内容及属性。完整性分析在发现被更改的、被特洛伊化的应用程序方面特别有效。完整性分析利用强有力的加密机制，称为消息摘要函数（例如MD5），它能识别哪怕是微小的变化。其优点是不管模式匹配方法和统计分析方法能否发现入侵，只要是成功的攻击导致了文件或其它对象的任何改变，它都能够发现。缺点是一般以批处理方式实现，用于事后分析而不用于实时响应。例如，可以在每一天的某个特定时间内开启完整性分析模块，对网络系统进行全面地扫描检查。(3) 神经网络：在入侵检测系统中，只要提供系统的审计数据，就可以通过自学习从中提取正常的用户或系统活动的特征行为，而不必对大量的数据进行存取，适用于不精确模

40、型，主要依赖用户行为的主观设计。同时，神经网络可以对多个用户采取同样的检测措施。但是，基于神经网络的入侵检测系统计算量过大，实时性不佳，因此，使用神经网络构造入侵检测系统可以采用和其他的技术相结合的方式。11 (4) 网络流量分析：采用基于网络流量特征向量分层划分的思想。将流量特征分为两个层次：基本特征集合和组合特征集合。其中基本特征集合是实时从网络流量中提取的一些网络流量的基本特征数据，比如流量的大小、包长的信息、协议的信息、端口流量的信息、TCP 标志位的信息等。这些基本特征比较详细地描述了网络流量的运行状态。而组合特征集合是可以根据实际需要实时改变设置的。针对某种特定的攻击行为，将涉及该

41、攻击行为的基本特征的子集作为描述该种攻击行为的特征。比如对于 SYN FLOOD 攻击，组合特征就可以选取 pkts/s、平均包长、SYN 包的个数等信息。利用以往基本特征集合的数据对该种攻击行为的特征进行学习和训练，就可以实时得到该攻击行为组合特征的正常和异常模型。用此模型就可以实时地对网络上该种攻击行为进行检测。同时，对于已知攻击种类和行为的数据集进行学习还能对人为选取的攻击组合特征进行优化，使之更能反映该攻击行为的特点。由于数据集是通过对网络流量实时提取获得的，真实地反映了网络的实时状态。网络流量分析通过组合不同的基础特征能比较灵活地检测不同的网络攻击，同时每种组合特征又标示着某种攻击，

42、所以能使网络流量异常的报警更具实际意义；其还提供了一个压缩比较高且能比较全面反映实际网络流量的基础特征，这为将来的异常检测提供了一个较好的数据平台，具有比较好的可扩展性，同时该数据集还能为不同域之间异常检测信息的交互提供一种可能。2.4.3 其他检测方法 免疫系统方法根据生物体保护自身的机理，使计算机能够自我形成保护。作为一个信息处理系统，免疫系统具有以下特征：(1) 自我/非自我识别：识别系统中正常/非正常模式；(2) 噪声容忍（非完美匹配）：能够在噪声环境中进行识别；(3) 分布式结构：使系统具有很好的鲁棒性；(4) 增强学习：免疫系统具有学习能力；(5) 免疫记忆能力有助于免疫系统加速二

43、次免疫应答。12 当然，免疫系统方法不能解决所有问题。例如，其无法检测身份伪装，违反安全策略等攻击行为。 遗传方法遗传算法是基于自然选择,在计算机上模拟生物进化机制的寻优搜索法 .在自然界的演化过程中,生物体通过遗传、变异来适应外界环境，一代又一代地优胜劣汰，发展进化。遗传则模拟了上述进化现象。它把搜索空间映射为遗传空间，即把每个可能的解编码为一个向量，称为一个染色体，向量的每个元素称为基因。所有染色体组成群体，并按预定的目标函数对每个染色体进行评价，根据结果给出一个适应度的值。算法开始时先随机地产生一些染色体，计算其适应度，根据适应度对各染色体进行选择复制、交叉、变异等遗传操作，剔除适应度低

44、的染色体，留下适应度高的染色体，从而得到新的群体。由于新群体的成员是上一代群体的优秀者，继承了上一代的优良形态，因而明显优于上一代。遗传算法就这样反复迭代，向着更优解的方向进化，直至满足某种预定的优化指标。同样，遗传算法也存在着缺点：(1) 在没有特定事件发生时，不能处理和产生攻击行为；(2) 不能检测多个同时的攻击行为；(3) 如果某些攻击事件或事件组是普遍存在的，系统无法找到最佳向量表达方式；(4) 无法在审计记录中准确定位。 数据融合数据融合是针对一个系统中使用多个和（或）多类传感器这一特定问题展开的一种新的数据处理方法，因此数据融合又称多传感器信息融合或信息融合。多传感器信息融合的基本

45、原理就像人脑综合处理信息的过程一样，它充分利用多个传感器资源，通过对各个传感器及其观测信息的合理支配和使用，将各种传感器在空间和时间上的互补与冗余信息根据某种优化准则组合起来，产生对观测环境的一致性解释和描述。它的最终目的是利用多个传感器共同或者联合操作的优13 势，来提高整个系统的性能。把数据融合引入入侵检测领域，可以从不同角度、不同位置收集反映网络状态的数据信息，如网络数据包、系统日志、系统操作者发出的口令等。对这些信息进行分析和结果融合，给出检测系统的判断结果和响应措施。 基于代理检测分布式入侵检测现已成为主流，基于代理的检测就是一种不错的分布式检测方式。代理是在网络中执行特定监视任务的

46、软件程序。其能够独立地在主机上运行，只受操作系统控制，不受其他程序进程的影响。代理与代理之间可以相互通信，互通信息。因此，基于代理的入侵检测系统有很好的可扩展性。Purdue 大学的研究者提出了一种基于代理的入侵检测系统的原形 AAFID。其实体结构图如图 2-2 所示：次监视器(Secondarymonitor)图 2-2 AAFID 系统实体结构Figure 2-2 AAFID system entity structure14 2.5 入侵检测系统性能指标由于现今入侵检测系统多为网络入侵检测系统或者是网络入侵检测系统配合另外的防护方法。因此，评价一个入侵检测系统的性能多以网络入侵检测系统

47、的性能指标为准。网络入侵检测系统的指标主要为 3 类：准确性指标、效率指标和系统指标。2.5.1 准确性指标准确性指标是指入侵检测系统能够出的入侵活动的精度。在很大程度上，准确性指标取决于测试时采用的样本集和测试环境，主要体现在三个方面：检测率、误报率和漏报率。(1) 检测率是指被检测网络在发生入侵攻击事件时，系统能够产生正确报警数据的概率。利用概率学理论来分析，检测率=入侵攻击事件造成系统报警的数量/入侵攻击事件的数量。(2) 误报率是指系统将正确的网络行为事件作为入侵攻击事件而产生报警数据和将入侵攻击行为事件作为正确的网络事件而不产生报警数据的概率。误报率=错误报警数量/总体网络事件的数量

48、。(3) 漏报率是指当被检测网络受到入侵攻击时，系统不能产生报警数据的概率。漏报率=没有产生报警数据的数量/入侵攻击事件的数量。过多的误报会降低报警的可信度，增加系统管理员的负担，甚至导致系统不能使用。漏报则更具危害性，可能会给用户带来难以估量的损失。2.5.2 效率指标效率指标是指在保证检测质量的前提下，能够满足用户系统需求的程度。同准确性指标相同，其也取决于不同的测试环境和设备。例如，入侵检测系统再败兆网络上的效率性能表现于千兆网络上的效率性能表现一定是有极大区别的。效率指标主要体现在三方面：最大处理能力、每秒并发 TCP 会话数、最大并发 TCP会话数等。(1) 最大处理能力是指在一定检

49、测率下系统没有漏报时的最大处理能力。15 (2) 每秒并发 TCP 会话数是指系统每秒最大可以增加的 TCP 连接数。(3) 最大并发 TCP 会话数是指系统最大可以同时支持的 TCP 连接数。2.5.3 系统指标系统指标是指系统在保证一定检测质量的前提下，其运行的稳定性和便利性。主要表现为最大规则数和平均无故障间隔等。(1) 最大规则数是指系统允许配置的入侵检测规则条目的最大数目。(2) 平均无故障间隔是指系统无故障连续工作的时间。2.6 入侵检测系统存在的矛盾和发展趋势虽然入侵检测弥补了传统信息安全防护技术的不足，使系统不但可以发现外部的攻击，也可以发现内部的恶意攻击行为。但不可否认，目前

50、大多数入侵检测系统或多或少地存在着问题，总结起来有 6 大矛盾问题。(1) 误报和漏报的矛盾。入侵检测系统对网络上所有的数据进行分析，如果攻击者对系统进行攻击尝试，而系统相应服务开放，但是漏洞已经修补，那么这一次攻击是否需要报警，这就是一个需要管理员判断的问题。因为这也代表了一种攻击的企图。但大量的报警事件会分散管理员的精力，反而无法对真正的攻击做出反映。和误报相对应的是漏报，随着攻击的方法不断更新，入侵检测系统是否能报出网络中所有的攻击也是一个问题。同样，在报警设置时，当我们想降低系统误报率时，不可避免地会出现漏报率上升的情况；反之亦然。(2) 隐私和安全的矛盾。入侵检测系统可以收到网络的所

51、有数据，同时可以对其进行分析和记录，这对网络安极其重要，但难免对用户的隐私构成一定风险，这就要看具体的入侵检测系统是否能提供相应的功能以供管理员进行取舍。(3) 被动分析与主动发现的矛盾。入侵检测系统是采取被动监听的方式发现网络问题，无法主动发现网络中的安全隐患和故障。如何解决这个问题也是入侵检测系统面临的问题。(4) 海量信息与分析代价的矛盾。随着网络数据流量的不断增长，入侵检测系统在处理数据时不可避免地会出现丢包的现象，导致检测质量的下降，因此，入侵检测产品能否高效处理网络中的数据也是衡量入侵检测系统的重要依据。16 (5) 功能性和管理性的矛盾。随着入侵检测产品功能的增加，可否在增加功能

52、的同时，不增大管理上的难度？例如，入侵检测系统的所有信息都储存在数据库中，此数据库能否自动维护和备份而不需管理员的干预？另外，入侵检测系统自身安全性如何？是否易于部署与设置？采用何种报警方式？这些都是需要考虑的问题。(6) 单一的检测系统与复杂的网络应用的矛盾。入侵检测系统最初的目的是为了检测网络的攻击，但仅仅检测网络中的攻击远远无法满足目前复杂的网络应用需求。通常，管理员难以分清网络问题：是由于攻击引起的还是网络故障。入侵检测检测出的攻击事件又如何处理，可否和目前网络中的其他安全产品进行配合使用。针对以上的问题，现今入侵检测系统研究的相关人士提出了一些发展方向的建议：(1) 改进分析技术。在

53、原有的分析方法的基础上，综合使用多种分析技术，同时及时更新规则库。(2) 引入内容恢复和网络审计功能。内容恢复即在协议分析的基础上，对网络中发生的行为加以完整地重组和记录。网络审计即对网络中所有的连接事件进行记录。入侵检测的接入方式决定入侵检测系统中的网络审计不仅类似防火墙可以记录网络进出信息，还可以记录网络内部连接状况，此功能对内容恢复无法恢复的加密连接尤其有用。内容恢复和网络审计让管理员看到网络的真正运行状况，但使用此功能的同时需注意对用户隐私的保护。(3) 集成网络分析和管理功能。入侵检测可以收到网络中的所有数据，对网络的故障分析和健康管理也可起到重大作用。当管理员发现某台主机有问题时，

54、也希望能马上对其进行管理。入侵检测也不应只采用被动分析方法，最好能和主动分析结合。(4) 提高系统安全性和便利性。入侵检测是个安全产品，自身安全极为重要。因此，目前的入侵检测系统大多采用硬件结构、黑洞式接入，免除自身安全问题。同时，对便利性的要求也日益增强，例如：全中文的图形界面、自动的数据库维护、多样的报表输出。这些都是优秀入侵检测系统的特性和以后继续发展细化的趋势。17 (5) 改进对存在大数据量的网络的处理方法。随着对大数据量处理的要求，入侵检测的性能要求也逐步提高。但如果入侵检测系统不仅具备攻击分析，同时具备内容恢复和网络审计功能，则其存储系统也很难完全工作在千兆环境下。这种情况下，网

55、络数据分流也是一个很好的解决方案，性价比也较好。这也是国际上较通用的一种作法。(6) 防火墙联动功能。入侵检测发现攻击，自动发送给防火墙，防火墙加载动态规则拦截入侵，称为防火墙联动功能。但是无限制的使用联动，如未经充分测试，对防火墙的稳定性和网络应用会造成负面影响。但随着入侵检测系统检测准确度的提高，联动功能日益趋向实用化。18 第三章 基于 Snort 的入侵检测系统本文中主要针对现今较为流行的一种入侵检测系统 Snort 出现的报警日志数据量大，报警数据复杂难以理解等问题，提出利用数据分析的方法解决问题，因而，在此介绍一下 Snort 的概况。3.1 Snort 简介Snort是一个基于

56、libpcap 的数据报嗅探器并可以作为一个轻量级的网络入侵检测系统(NIDS)。所谓的轻量级是指在检测时尽可能低地影响网络的正常操作，一个优秀的轻量级 NIDS 应该具备跨系统平台操作，对系统影响最小等特征并且管理员能够在短时间内通过修改配置进行实时的安全响应。Snort 是轻量级系统中的典型范例。3.2 Snort 运行原理Snort作为一个基于网络的入侵检测系统，其工作原理为在基于共享网络上检测原始的网络传输数据，通过分析捕获的数据包匹配入侵行为的特征，进而采取入侵的预警或记录。从检测模式而言，Snort 属于误用检测，对已知攻击的特征模式进行匹配，包括利用工作在网络混杂模式下的嗅探器进

57、行被动的协议分析，以及对一系列数据包解释分析特征。从本质上来讲，Snort 是基于规则检测的入侵检测工具，即对每一种入侵行为，都提炼出它的特征值并按照规范写成检测规则，从而形成一个规则数据库。其次将捕获的数据包按照规则库逐一匹配，若匹配成功，则认为该入侵攻击行为成立，产生报警数据。图 3-1 显示了 Snort检测后所得的输出数据，从而可以得到 Snort 的检测方式为检测数据包中 Content内容进行数据匹配。19 20:59:49.153313 0:10:4B:A9:66 - 0:60:97:7:C2:8E type:0 x800 len:0 x7D:23 - :1031 TCP TTL

58、:64 TOS:0 x10 DF*PA* Seq: 0 xDF4A6536 Ack: 0 xB3A6FD01 Win: 0 x446AFF FA 22 03 03 E2 03 04 82 0F 07 E2 1C 08 82 04 .09 C2 1A 0A 82 7F 0B 82 15 0F 82 11 10 82 13 FF F0 0D 0A 46 72 65 65 42 53 44 20 28 65 6C 72 69 .FreeBSD (elri63 2E 68 6F 6D 65 2E 6E 65 74 29 20 28 74 74 79 ) (tty70 30 29 0D 0A 0D 0A

59、 p0)图 3-1 Snort 处理后的输出数据Figure 3-1 output data processed by Snort3.3 Snort 系统结构Snort的体系结构由几个基本模块组成，包括数据包嗅探器、预处理器、检测引擎和报警日志四模块。图 3-2 是 Snort 的体系结构图。(Preprocessor)(Alerts/Logging)(Packets)Files/Database)图 3-2 Snort 体系结构Figure 3-2 Snort system structure3.3.1 数据包嗅探器数据包嗅探器是一个接入网络中的设备（无论是硬件还是软件）。其工作模式类似于电

60、话窃听装置，不同之处在于数据包嗅探器窃听数据包而电话窃听装置窃听声音数据。一个网络嗅探器使用一个应用程序或硬件设备在数据网上偷听数据。在互联网上，这包括 IP 数据包，同时也包括 IPX 和 AppleTalk 网络协议数据包。由于 IP 数据包包括各种网络协议，如 TCP，UDP，ICMP 等，因此，数20 据包嗅探器的功能不止窃听数据包，其功能如下：(1) 网络分析与故障发现及解决；(2) 性能分析与基准测试；(3) 窃听明文密码及有用数据3.3.2 预处理器预处理器在获取原始数据包之后，利用某些插件对此数据包进行核对。这些插件核对数据包中是否包含某种特定行为。一旦数据包被确定包含某种特定