09周课题：先进入侵检测技术2

1、课题：先进入侵检测技术课 时 第九周 第3、4课时2007年10月26日一、教学目的：1、掌握先进入侵检测算法的相关基本概念2、理解掌握先进入侵检测算法：数据融合、计算机免疫学、进化计算二、教学重点：1、理解掌握先进入侵检测算法：数据融合、计算机免疫学、进化计算三、教学难点：1、理解掌握先进入侵检测算法：数据融合、计算机免疫学、进化计算四、教学方法：讲授/操作演示法五、教学用具：科技楼404六、教学过程：一、数据融合与入侵检测技术数据融合是一种多层次的、多方面的处理过程，这个过程是对多源数据进行检测、结 合、相关、估计和组合以达到精确的状态估计和身份估计，以及完整、及时的态势评估和威 胁估计。

2、简而言之，数据融合的基本目的就是通过组合，可以比从任何单个输入数据元素获 得更多的信息。目前的入侵检测系统还存在若干缺陷，首先，现有的实时IDS系统在技术上还不具备足以 检测到由受到良好训练的黑客发起的复杂隐蔽的攻击行为的能力。其次，虚假警报问题也是 一个令许多网络管理员头疼的事情。最后，来自各种来源的大量泛滥的数据、系统消息等常常没有得到很好和及时的处理，非但无助于解决问题，反而浪费和降低 了 IDS系统的处理能力和检测性能。为解决上述问题，多传感器数据融合技术提供了一条重要的技术途径。它能够把从多个 异质分布式传感器处得到的各种数据和信息综合成为一个统一的处理进程，来评估整个网络 环境的安

3、全性能。基于数据融合的入侵检测系统的输入可以是从网络嗅探器处得到的各种网 络数据包、系统日志文件、SNMP信息、用户资料信息、系统消息和操作命令等，甚至包括 各种“带外”数据源等，系统输出是入侵者的身份估计和位置确定、入侵者的活动信息、危险 性信息、攻击的等级和对整个入侵行为危险程度的评估等。推理类型威胁分析形势评估入侵者行为入侵者身份入侵级别入侵存在性关于数据融合在入侵检测领域内的应用，迄今为止还没有太多的研究工作。T. Bass提出 了入侵检测中数据融合的一般层次模型，如图7-3所示，但是还没有涉及具体的技术方法。推理层次高中图7-3 IDS数据融合层次模型入侵检测的数据融合技术同样面临着

4、若干挑战，例如，如何开发通用的结构化“元语言” 来描述入侵检测和网络管理的对象，以及对动态网络攻击行为的检测技术，还有将具有强烈 数学背景的多传感器数据融合理论应用到实际的IDS系统所面临的若干复杂问题等。数据 融合技术在入侵检测中的应用还需后继的大量研究工作，但是应用前景非常广阔。二、计算机免疫学与入侵检测技术计算机免疫技术是直接受到生物免疫机制的启发而提出的。与现有的计算机安全系统相 比较，生物免疫系统具备如下重要的特征：多层次保护机制。高度分布式的检测和记忆系统。多样化的个体检测能力。识别未知异体的能力。S.Forrest等人在将计算安全与生物免疫学进行类比研究的基础上，最早提出了计算机

5、免 疫学的概念，并将其应用在入侵检测的研究领域。Forrest等人认为，免疫系统最重要的任 务是如何准确识别本体和异体。生物免疫系统使用诸如蛋白质片断（肽）等特征来完成本体 的识别，而计算机系统同样具有多个特征可供选择，例如，单个主机上资源访问的模式、主 机网络流量信息、用户输入的命令等。Forrest等人认为主机上运行的特权程序，在运行过 程中产生的系统调用序列是相当稳定的，可以使用这些系统调用序列来识别特权程序的“本 体”，他们在此前提假设下进行了实验工作。Forrest等人在实验工作中，确定使用系统调用的短序列为入侵检测系统的输入数据源， 其中仅考虑系统调用序列中的时间顺序，而忽略掉系统

6、调用的参数信息。在实际检测工作中， 首先建立了反映某个特权程序（Sendmail、wftpd或者lpr）正常系统调用序列情况的数据库， 然后收集特权程序在实际运行中所产生的系统调用序列，并与数据库中的正常序列信息进行 比较，如果偏离了正常情况，则认为该特权程序的运行出现了异常。具体的，Forrest提出了短序列匹配算法，原理如下。假设观察到如下的系统调用序列数据：openreadmmap mmapopenread mmap那么，使用长度为 k 的时间 窗口对系统调 用序列进行分割处理，得到如下多个长度为3的系统调用短序列：openreadmmapread mmap mmapmmap mmapo

7、penmmapopenreadopenreadmmap实际检测过程中，首先对于训练数据样本集所包含的系统调用序列，采用长度为k的时 间窗口进行分割处理，形成对应正常系统调用模式的短序列集合。之后，这些正常调用模式 的序列信息按照一定结构被存放到数据库中。然后，在特权程序实际运行期间，收集所产生 的系统调用序列，同样采用长度为k的时间窗口进行划分，对于分割得到的每个短序列，在 正常调用模式数据库中进行匹配，从而可以计算出所有不匹配的短序列数目占全部数目的百 分比。之后，设置一个经验检测阈值（例如，2%），就可以获得最后的检测结果。对于时间窗口大小k的选择，Forrest只是根据经验，选择了 k=

8、6。如何确定最佳的k值， 目前并没有提出具体的方法。后继的研究工作提出了更加复杂的数据建模技术，例如采用隐 性马尔可夫过程等，但是，比较简单的短序列匹配算法而言，性能并没有很大的提高。Forrest开展的计算机免疫学在入侵检测中的应用工作，其重点放在了对特权程序本体 特征的识别上。对于其他不涉及特权程序异常使用的入侵行为，则需要进行进一步的应用研 究工作。Forrest工作的最大意义在于从一个全新的视觉来看待计算机安全问题，并提供了 成功的初期应用例子。三、进化计算与入侵检测技术对生物进化过程的仿生学研究工作，促进了进化计算（evolutionary computation）技术 领域的发展。

9、进化计算技术在本质上属于一种模仿某些自然规则的全局优化算法，其思想起 源可以追溯到达尔文的“进化论”思想，包括自然选择和适者生存的观点。进化计算的主要算 法包括以下5种类型：遗传算法（GA）、进化规划（EP）、进化策略（ES）、分类器系统（CFS）和遗传规划（GP）。这些进化算法通常都维护一组对象的群体，这些对象按照一定的选择规则和遗传算子（例如， 重组、变异、交叉互换）不断进行进化演变。群体中的每个对象个体都具有一个反映其本身 与所处环境之间适应性的度量值。遗传算子中的复制操作主要应用于那些具备较高适应性的 个体，以发掘个体中蕴藏的适应性特征；而重组和变异等操作，则用于对个体特征进行适当 的

10、扰动，以进行启发性的适应性搜索过程。此点类似于生物进化中保留对生存有利的基因以 及进行基因突变以更好适应环境的过程。上述5种进化算法从理论上讲，都可以应用在入侵检测中，但是目前主要是对遗传算法 和遗传规划的应用进行了研究工作。二者之间的主要区别在于：遗传算法中构成群体的对 象个体主要是具有固定长度的字符串或者是比特组（用来模拟染色体片断），而遗传规划中 群体的构成个体通常是可供执行的程序（用来解决特定的问题）。遗传算法在入侵检测中的应用，通常分为以下步骤来完成：首先，使用一组字符串或 者比特组对可能出现的检测结果进行编码；然后，采用定义好的最适应性函数，对所有的字 符串或者比特组个体进行测试，

11、找出最优个体，并对所有的个体执行重组、变异和复制等操 作，不断产生新的字符串个体；之后，不断重复上述的测试、选择、重组或变异等操作步骤， 直到获得满意的结果。以Superlec和Ludovic Me开发的GASSATA系统为例，该系统采用了基于遗传算法的 检测技术，通过一组向量表示形式，使用遗传算法对系统事件流进行分类检测。每个系统事 件数据流用一个n维的向量H来表示其所处的状态情况，其中n代表当前所知的攻击类型 的总数，而向量H中各个分量的取值代表当前事件流中是否发生了特定类型的攻击活动。 然后，系统应用所定义的最适应性函数，对最初假定的各个向量（比特组）进行测试，并根 据测试结果，对每个向

12、量进行遗传算子操作（重组、复制和变异），其中包括对不符合实际 的分量值进行修改等。最后，经过若干次的循环过程，达到一个比较稳定的结果。遗传规划的主要任务是提供能够自动生成可用于解决问题的计算机程序的技术方法。应 用遗传规划来解决问题的一般步骤如下：生成初始的包含多个计算机程序的群体，其中每个程序个体都包括函数和变量集合 的随机组合。执行群体中的每个程序个体，然后根据它们解决问题的性能，赋予每个个体一个适 应性度量值。通过执行遗传算子操作（复制、变异和交叉交换），创建一个新的程序个体群体。选择群体中的一个或多个最佳程序个体作为解决问题的方法。在异常入侵检测技术中，通常需要具备对用户行为的学习能力

13、，而遗传规划的应用主要 集中在提供学习能力这一点上。Crosbie和Spafford在1995年提出早期基于代理的入侵检测 架构时，对遗传规划在构造代理程序中的应用情况提供了一个基本架构，如图7-4所示。图7-4基于遗传规划的IDS架构(引自Crosbie等人文献)在图7-4的基本架构中，每个代理代表程序个体，负责执行特定的检测任务。代理程序 的编程语言为了方便遗传规划算法的应用，采用了类似LISP的语言。解析器(evaluator) 负责解释执行代理程序，实际上每个代理程序都是经过遗传规划算法而获得的较优个体。系 统抽象层负责提取审计记录中的字段信息，并计算出系统所需的审计信息。下面介绍如何

14、应用遗传规划算法来选择恰当的代理程序个体。基本的步骤与前述的一般 步骤相同，关键在于如何确定每个程序个体适应性度量值的大小。首先，对于某个用于训练 的审计数据，每个代理程序都计算出检测结果，判断是否可疑，并给出相关的可疑度。计算 出的可疑度与期望输出值的绝对值差定义为：6 = I outcome - suspicion!接着，计算出对应的性能衰减值penalty如下：penalty = (6 *ranking)/100)其中ranking代表每个训练样本按照重要程度划分的预定级别。最后，给出适应性度量值的 计算公式：fitness = (100- 6 )-penalty)如果计算得到较高的适应性度量值，则代表对应的代理个体具备较强的检测能力。 在实际应用遗传规划的工作中，对于给定的训练数据集，要对候选的多个代理个体进行多次 的训练。在每次的训练过程中，训练数据和期望输出值都要进