计算机网络安全5入侵检测技术

1、第5章 入侵检测技术内容提要：入侵检测概述入侵检测的技术实现分布式入侵检测入侵检测系统的规范入侵检测系统例如本章小结5.1 入侵检测概述 入侵检测技术研讨最早可追溯到1980年James P.Aderson所写的一份技术报告，他首先提出了入侵检测的概念。1987年Dorothy Denning提出了入侵检测系统IDS，Intrusion Detection System的笼统模型如图5-1所示，初次提出了入侵检测可作为一种计算机系统平安防御措施的概念，与传统的加密和访问控制技术相比，IDS是全新的计算机平安措施。前往本章首页前往本章首页 入侵检测技术研讨最早可追溯到1980年James P.A

2、derson所写的一份技术报告，他首先提出了入侵检测的概念。1987年Dorothy Denning提出了入侵检测系统IDS，Intrusion Detection System的笼统模型如图5-1所示，初次提出了入侵检测可作为一种计算机系统平安防御措施的概念，与传统的加密和访问控制技术相比，IDS是全新的计算机平安措施。前往本章首页 1988年Teresa Lunt等人进一步改良了Denning提出的入侵检测模型，并创建了IDESIntrusion Detection Expert System，该系统用于检测单一主机的入侵尝试，提出了与系统平台无关的实时检测思想，1995年开发的NIDES

3、Next-Generation Intrusion Detection Expert System作为IDES完善后的版本可以检测出多个主机上的入侵。前往本章首页 1990年，Heberlein等人提出了一个具有里程碑意义的新型概念：基于网络的入侵检测网络平安监视器NSMNetwork Security Monitor。1991年,NADIRNetwork Anomaly Detection and Intrusion Reporter与DIDSDistribute Intrusion Detection System提出了经过搜集和合并处置来自多个主机的审计信息可以检测出一系列针对主机的协同

4、攻击。前往本章首页 1994年，Mark Crosbie和Gene Spafford建议运用自治代理autonomous agents以提高IDS的可伸缩性、可维护性、效率和容错性，该理念非常符合计算机科学其他领域如软件代理，software agent正在进展的相关研讨。另一个努力于处理当代绝大多数入侵检测系统伸缩性缺乏的方法于1996年提出，这就是GrIDSGraph-based Intrusion Detection System的设计和实现，该系统可以方便地检测大规模自动或协同方式的网络攻击。前往本章首页 近年来，入侵检测技术研讨的主要创新有：Forrest等将免疫学原理运用于分布式入

5、侵检测领域；1998年Ross Anderson和Abida Khattak将信息检索技术引进入侵检测；以及采用形状转换分析、数据发掘和遗传算法等进展误用和异常检测。前往本章首页5.1.1 入侵检测原理 图5-2给出了入侵检测的根本原理图。入侵检测是用于检测任何损害或企图损害系统的严密性、完好性或可用性的一种网络平安技术。它经过监视受维护系统的形状和活动，采用误用检测Misuse Detection或异常检测Anomaly Detection的方式，发现非授权的或恶意的系统及网络行为，为防备入侵行为提供有效的手段。前往本章首页图5-2 入侵检测原理框图 前往本章首页 入侵检测系统Intrusi

6、on Detection System，IDS就是执行入侵检测义务的硬件或软件产品。IDS经过实时的分析，检查特定的攻击方式、系统配置、系统破绽、存在缺陷的程序版本以及系统或用户的行为方式，监控与平安有关的活动。 一个根本的入侵检测系统需求处理两个问题：一是如何充分并可靠地提取描画行为特征的数据；二是如何根据特征数据，高效并准确地断定行为的性质。前往本章首页5.1.2 系统构造 由于网络环境和系统平安战略的差别，入侵检测系统在详细实现上也有所不同。从系统构成上看，入侵检测系统应包括事件提取、入侵分析、入侵呼应和远程管理四大部分，另外还能够结合平安知识库、数据存储等功能模块，提供更为完善的平安检

7、测及数据分析功能如图5-3所示。前往本章首页图5-3 入侵检测系统构造前往本章首页 入侵检测的思想源于传统的系统审计，但拓宽了传统审计的概念，它以近乎不延续的方式进展平安检测，从而可构成一个延续的检测过程。这通常是经过执行以下义务来实现的：监视、分析用户及系统活动；系统构造和弱点的审计；识别分析知名攻击的行为特征并告警；异常行为特征的统计分析；评价重要系统和数据文件的完好性；操作系统的审计跟踪管理，并识别用户违反平安战略的行为。前往本章首页5.1.3 系统分类 由于功能和体系构造的复杂性，入侵检测按照不同的规范有多种分类方法。可分别从数据源、检测实际、检测时效三个方面来描画入侵检测系统的类型。

8、 1基于数据源的分类 通常可以把入侵检测系统分为五类，即基于主机、基于网络、混合入侵检测、基于网关的入侵检测系统以及文件完好性检查系统。前往本章首页 2基于检测实际的分类 从详细的检测实际上来说，入侵检测又可分为异常检测和误用检测。 异常检测Anomaly Detection指根据运用者的行为或资源运用情况的正常程度来判别能否入侵，而不依赖于详细行为能否出现来检测。 误用检测Misuse Detection指运用知攻击方法，根据已定义好的入侵方式，经过判别这些入侵方式能否出现来检测。 前往本章首页 3基于检测时效的分类 IDS在处置数据的时候可以采用实时在线检测方式，也可以采用批处置方式，定时

9、对处置原始数据进展离线检测，这两种方法各有特点如图5-5所示。 离线检测方式将一段时间内的数据存储起来，然后定时发给数据处置单元进展分析，假设在这段时间内有攻击发生就报警。在线检测方式的实时处置是大多数IDS所采用的方法，由于计算机硬件速度的提高，使得对攻击的实时检测和呼应成为能够。前往本章首页前往本章首页5.2 入侵检测的技术实现 对于入侵检测的研讨，从早期的审计跟踪数据分析，到实时入侵检测系统，到目前运用于大型网络的分布式检测系统，根本上已开展成为具有一定规模和相应实际的研讨领域。入侵检测的中心问题在于如何对平安审计数据进展分析，以检测其中能否包含入侵或异常行为的迹象。这里，我们先从误用检

10、测和异常检测两个方面引见当前关于入侵检测技术的主流技术实现，然后对其它类型的检测技术作简要引见。前往本章首页5.2.1 入侵检测分析模型 分析是入侵检测的中心功能，它既能简单到像一个已熟习日志情况的管理员去建立决策表，也能复杂得像一个集成了几百万个处置的非参数系统。入侵检测的分析处置过程可分为三个阶段：构建分析器，对实践现场数据进展分析，反响和提炼过程。其中，前两个阶段都包含三个功能：数据处置、数据分类数据可分为入侵指示、非入侵指示或不确定和后处置。前往本章首页5.2.2 误用检测Misuse Detection 误用检测是按照预定方式搜索事件数据的，最适用于对知方式的可靠检测。执行误用检测，

11、主要依赖于可靠的用户活动记录和分析事件的方法。 1条件概率预测法 条件概率预测法是基于统计实际来量化全部外部网络事件序列中存在入侵事件的能够程度。前往本章首页 2产生式/专家系统 用专家系统对入侵进展检测，主要是检测基于特征的入侵行为。所谓规那么，即是知识，专家系统的建立依赖于知识库的完备性，而知识库的完备性又取决于审计记录的完备性与实时性。 产生式/专家系统是误用检测早期的方案之一，在MIDAS、IDES、NIDES、DIDS和CMDS中都运用了这种方法。前往本章首页 3形状转换方法 形状转换方法运用系统形状和形状转换表达式来描画和检测入侵，采用最优方式匹配技巧来构造化误用检测，加强了检测的

12、速度和灵敏性。目前，主要有三种实现方法：形状转换分析、有色Petri-Net和言语/运用编程接口API。前往本章首页 4用于批方式分析的信息检索技术 当前大多数入侵检测都是经过对事件数据的实时搜集和分析来发现入侵的，然而在攻击被证明之后，要从大量的审计数据中寻觅证据信息，就必需借助于信息检索IR，Information Retrieval技术，IR技术当前广泛运用于WWW的搜索引擎上。 IR系统运用反向文件作为索引，允许高效地搜索关键字或关键字组合，并运用Bayesian实际协助提炼搜索。前往本章首页 5Keystroke Monitor和基于模型的方法 Keystroke Monitor是一

13、种简单的入侵检测方法，它经过分析用户击键序列的方式来检测入侵行为，常用于对主机的入侵检测。该方法具有明显的缺陷，首先，批处置或Shell程序可以不经过击键而直接调用系统攻击命令序列；其次，操作系统通常不提供一致的击键检测接口，需经过额外的钩子函数Hook来监测击键。前往本章首页5.2.3 异常检测Anomaly Detection 异常检测基于一个假定：用户的行为是可预测的、遵照一致性方式的，且随着用户事件的添加异常检测会顺运用户行为的变化。用户行为的特征轮廓在异常检测中是由度量measure集来描画，度量是特定网络行为的定量表示，通常与某个检测阀值或某个域相联络。 异常检测可发现未知的攻击方

14、法，表达了强壮的维护机制，但对于给定的度量集能否完备到表示一切的异常行为仍需求深化研讨。前往本章首页 1Denning的原始模型 Dorothy Denning于1986年给出了入侵检测的IDES模型，她以为在一个系统中可以包括四个统计模型，每个模型适宜于一个特定类型的系统度量。 1可操作模型 2平均和规范偏向模型 3多变量模型 4Markov处置模型 前往本章首页 2量化分析 异常检测最常用的方法就是将检验规那么和属性以数值方式表示的量化分析，这种度量方法在Denning的可操作模型中有所涉及。量化分析经过采用从简单的加法到比较复杂的密码学计算得到的结果作为误用检测和异常检测统计模型的根底。

15、 1阀值检验 2基于目的的集成检查 3量化分析和数据精简 前往本章首页 3统计度量 统计度量方法是产品化的入侵检测系统中常用的方法，常见于异常检测。运用统计方法，有效地处理了四个问题：1选取有效的统计数据丈量点，生成可以反映主体特征的会话向量；2根据主体活动产生的审计记录，不断更新当前主体活动的会话向量；3采用统计方法分析数据，判别当前活动能否符合主体的历史行为特征；4随着时间推移，学习主体的行为特征，更新历史记录。前往本章首页 4非参数统计度量 非参数统计方法经过运用非数据区分技术，尤其是群集分析技术来分析参数方法无法思索的系统度量。群集分析的根本思想是，根据评价规范也称为特性将搜集到的大量

16、历史数据一个样本集组织成群，经过预处置过程，将与详细事件流经常映射为一个详细用户相关的特性转化为向量表示，再采用群集算法将彼此比较相近的向量成员组织成一个行为类，这样运用该分析技术的实验结果将会阐明用何种方式构成的群可以可靠地对用户的行为进展分组并识别。前往本章首页 5基于规那么的方法 上面讨论的异常检测主要基于统计方法，异常检测的另一个变种就是基于规那么的方法。与统计方法不同的是基于规那么的检测运用规那么集来表示和存储运用方式。 1Wisdom&Sense方法 2基于时间的引导机TIM前往本章首页5.2.4 其它检测技术 这些技术不能简单地归类为误用检测或是异常检测，而是提供了一种有别于传统

17、入侵检测视角的技术层次，例如免疫系统、基因算法、数据发掘、基于代理Agent的检测等，它们或者提供了更具普遍意义的分析技术，或者提出了新的检测系统架构，因此无论对于误用检测还是异常检测来说，都可以得到很好的运用。前往本章首页 1神经网络Neural Network 作为人工智能AI的一个重要分支，神经网络Neural Network在入侵检测领域得到了很好的运用，它运用自顺应学习技术来提取异常行为的特征，需求对训练数据集进展学习以得出正常的行为方式。这种方法要求保证用于学习正常方式的训练数据的纯真性，即不包含任何入侵或异常的用户行为。 前往本章首页 2免疫学方法 New Mexico大学的St

18、ephanie Forrest提出了将生物免疫机制引入计算机系统的平安维护框架中。免疫系统中最根本也是最重要的才干是识别“自我/非自我self/nonself，换句话讲，它可以识别哪些组织是属于正常机体的，不属于正常的就以为是异常，这个概念和入侵检测中异常检测的概念非常类似。 前往本章首页 3数据发掘方法 Columbia大学的Wenke Lee在其博士论文中，提出了将数据发掘Data Mining, DM技术运用到入侵检测中，经过对网络数据和主机系统调用数据的分析发掘，发现误用检测规那么或异常检测模型。详细的任务包括利用数据发掘中的关联算法和序列发掘算法提取用户的行为方式，利用分类算法对用户

19、行为和特权程序的系统调用进展分类预测。实验结果阐明，这种方法在入侵检测领域有很好的运用前景。前往本章首页 4基因算法 基因算法是进化算法evolutionary algorithms的一种，引入了达尔文在进化论中提出的自然选择的概念优胜劣汰、适者生存对系统进展优化。该算法对于处置多维系统的优化是非常有效的。在基因算法的研讨人员看来，入侵检测的过程可以笼统为：为审计事件记录定义一种向量表示方式，这种向量或者对应于攻击行为，或者代表正常行为。 前往本章首页 5基于代理的检测 近年来，一种基于Agent的检测技术Agent-Based Detection逐渐引起研讨者的注重。所谓Agent，实践上可

20、以看作是在执行某项特定监视义务的软件实体。基于Agent的入侵检测系统的灵敏性保证它可以为保证系统的平安提供混合式的架构，综合运用误用检测和异常检测，从而弥补两者各自的缺陷。前往本章首页5.3 分布式入侵检测 分布式入侵检测Distributed Intrusion Detection是目前入侵检测乃至整个网络平安领域的热点之一。到目前为止，还没有严厉意义上的分布式入侵检测的商业化产品，但研讨人员曾经提出并完成了多个原型系统。通常采用的方法中，一种是对现有的IDS进展规模上的扩展，另一种那么经过IDS之间的信息共享来实现。详细的处置方法上也分为两种：分布式信息搜集、集中式处置；分布式信息搜集、

21、分布式处置。前往本章首页5.3.1 分布式入侵检测的优势 分布式入侵检测由于采用了非集中的系统构造和处置方式，相对于传统的单机IDS具有一些明显的优势： 1检测大范围的攻击行为 2提高检测的准确度 3提高检测效率 4协调呼应措施前往本章首页5.3.2 分布式入侵检测的技术难点 与传统的单机IDS相比较，分布式入侵检测系统具有明显的优势。然而，在实现分布检测组件的信息共享和协作上，却存在着一些技术难点。 Stanford Research InstituteSRI在对EMERALD系统的研讨中，列举了分布式入侵检测必需关注的关键问题：事件产生及存储、形状空间管理及规那么复杂度、知识库管理、推理技

22、术。 前往本章首页5.3.3 分布式入侵检测现状 虽然分布式入侵检测存在技术和其它层面的难点，但由于其相对于传统的单机IDS所具有的优势，目前曾经成为这一领域的研讨热点。 1Snortnet 它经过对传统的单机IDS进展规模上的扩展，使系统具备分布式检测的才干，是基于方式匹配的分布式入侵检测系统的一个详细实现。主要包括三个组件：网络感应器、代理守护程序和监视控制台。前往本章首页 2Agent-Based 基于Agent的IDS由于其良好的灵敏性和扩展性，是分布式入侵检测的一个重要研讨方向。国外一些研讨机构在这方面曾经做了大量任务，其中Purdue大学的入侵检测自治代理AAFID和SRI的EME

23、RALD最具代表性。 AAFID的体系构造如图5-10所示，其特点是构成了一个基于代理的分层顺序控制和报告构造。 前往本章首页前往本章首页 3DIDS DIDSDistributed Intrusion Detection System是由UC Davis的Security Lab完成的，它集成了两种已有的入侵检测系统，Haystack和NSM。前者由Tracor Applied Sciences and Haystack实验室针对多用户主机的检测义务而开发，数据源来自主机的系统日志。NSM那么是由UC Davis开发的网络平安监视器，经过对数据包、衔接记录、运用层会话的分析，结合入侵特征库和

24、正常的网络流或会话记录的方式库，判别当前的网络行为能否包含入侵或异常。 前往本章首页 4GrIDS GrIDSGraph-based Intrusion Detection System同样由UC Davis提出并实现，该系统实现了一种在大规模网络中运用图形化表示的方法来描画网络行为的途径，其设计目的主要针对大范围的网络攻击，例如扫描、协同攻击、网络蠕虫等。GrIDS的缺陷在于只是给出了网络衔接的图形化表示，详细的入侵判别依然需求人工完成，而且系统的有效性和效率都有待验证和提高。 前往本章首页 5Intrusion Strategy Boeing公司的Ming-Yuh Huang从另一个角度对

25、入侵检测系统进展了研讨，针对分布式入侵检测所存在的问题，他以为可以从入侵者的目的Intrusion Intention，或者是入侵战略Intrusion Strategy入手，协助我们确定如何在不同的IDS组件之间进展协作检测。对入侵战略的分析可以协助我们调整审计战略和参数，构成自顺应的审计检测系统。 前往本章首页 6数据交融Data Fusion Timm Bass提出将数据交融Data Fusion的概念运用到入侵检测中，从而将分布式入侵检测义务了解为在层次化模型下对多个感应器的数据综合问题。在这个层次化模型中，入侵检测的数据源阅历了从数据Data到信息Information再到知识Kno

26、wledge三个逻辑笼统层次。 前往本章首页 7基于笼统Abstraction-based的方法 GMU的Peng Ning在其博士论文中提出了一种基于笼统Abstraction-based的分布式入侵检测系统，根本思想是设立中间层system view，提供与详细系统无关的笼统信息，用于分布式检测系统中的信息共享，笼统信息的内容包括事件信息event以及系统实体间的断言dynamic predicate。中间层用于表示IDS间的共享信息时运用的对应关系为：IDS检测到的攻击或者IDS无法处置的事件信息作为event，IDS或受IDS监控的系统的形状那么作为dynamic predicates

27、。 前往本章首页5.4 入侵检测系统的规范 从20世纪90年代到如今，入侵检测系统的研发呈现出百家争鸣的昌盛局面，并在智能化和分布式两个方向获得了长足的进展。为了提高IDS产品、组件及与其他平安产品之间的互操作性，DARPA和IETF的入侵检测任务组IDWG发起制定了一系列建议草案，从体系构造、API、通讯机制、言语格式等方面来规范IDS的规范。 前往本章首页5.4.1 IETF/IDWG IDWG定义了用于入侵检测与呼应IDR系统之间或与需求交互的管理系统之间的信息共享所需求的数据格式和交换规程。 IDWG提出了三项建议草案：入侵检测音讯交换格式IDMEF、入侵检测交换协议IDXP以及隧道轮

28、廓Tunnel Profile。 前往本章首页5.4.2 CIDF CIDF的任务集中表达在四个方面：IDS的体系构造、通讯机制、描画言语和运用编程接口API。 CIDF在IDES和NIDES的根底上提出了一个通用模型，将入侵检测系统分为四个根本组件：事件产生器、事件分析器、呼应单元和事件数据库。其构造如图5-15所示。 前往本章首页前往本章首页5.5 入侵检测系统例如 为了直观地了解入侵检测的运用、配置等情况，这里我们以Snort为例，对构建以Snort为根底的入侵检测系统做概要引见。 Snort 是一个开放源代码的免费软件，它基于libpcap 的数据包嗅探器，并可以作为一个轻量级的网络入

29、侵检测系统NIDS。 经过在中小型网络上部署Snort系统，可以在分析捕获的数据包根底上，进展入侵行为特征匹配任务，或从网络活动的角度检测异常行为，并完成入侵的预警或记录。 前往本章首页5.5.1 Snort的体系构造 Snort在构造上可分为数据包捕获和解码子系统、检测引擎，以及日志及报警子系统三个部分。 1数据包捕获和解码子系统 该子系统的功能是捕获共享网络的传输数据，并按照TCP/ IP协议的不同层次将数据包解析。 2检测引擎 检测引擎是NIDS实现的中心，准确性和快速性是衡量其性能的重要目的。 前往本章首页 为了可以快速准确地进展检测和处置，Snort在检测规那么方面做了较为成熟的设计

30、。 Snort 将一切知的攻击方法以规那么的方式存放在规那么库中，每一条规那么由规那么头和规那么选项两部分组成。规那么头对应于规那么树结点RTNRule Tree Node，包含动作、协议、源目的地址和端口以及数据流向，这是一切规那么共有的部分。规那么选项对应于规那么选项结点OTNOptional Tree Node，包含报警信息msg、匹配内容content等选项，这些内容需求根据详细规那么的性质确定。前往本章首页 检测规那么除了包括上述的关于“要检测什么，还应该定义“检测到了该做什么。Snort 定义了三种处置方式：alert 发送报警信息、log记录该数据包和pass忽略该数据包，并定义

31、为规那么的第一个匹配关键字。 这样设计的目的是为了在程序中可以组织整个规那么库，即将一切的规那么按照处置方式组织成三个链表，以用于更快速准确地进展匹配。 如图5-17所示 。前往本章首页前往本章首页 当Snort 捕获一个数据包时，首先分析该数据包运用哪个IP协议以决议将与某个规那么树进展匹配。然后与RTN 结点依次进展匹配，当与一个头结点相匹配时，向下与OTN 结点进展匹配。每个OTN 结点包含一条规那么所对应的全部选项，同时包含一组函数指针，用来实现对这些选项的匹配操作。当数据包与某个OTN 结点相匹配时，即判别此数据包为攻击数据包。 详细流程见图5-18所示。前往本章首页前往本章首页 3日志及报警子系统 一个好的NIDS，更应该提供友好的输出界面或发声报警等。Snort是一个轻量级的NIDS，它的另外一个重要功能就是数据包记录器，它主要采取用TCPDUMP的格式记录信息、向syslog 发送报警信息和以明文方式记录报警信息三种方式。 值得提出的是，Snort 在网络数据