电子科技大学 计算机入侵检测技术2

计算机入侵检测技术—基于多传感器数据融合的入侵检测技术第二章基于多传感器数据融合的入侵检测技术

第一节引言

下一代的IDS需要通过各种异质的分布式网络传感器来获取并融合数据，以形成对网络系统的态势估计。

这样的IDS用到了多传感器数据融合技术，其概念最早出现于20世纪70年代的军事领域，具有较强的军事特色它已成功应用于军事和民用的诸多方面。

定义2.1数据融合（DataFusion）：是一个多级多侧面的加工过程，包括对多个数据源的数据和信息的自动化检测、互联、相关、估计和组合处理。

第一节引言本章的主要内容包括：

1、提出了一种新型基于多传感器数据融合的网络入侵检测机制DFIDM；

2、结合数据融合技术中的分布式多传感器系统，分别针对单目标和多目标的情况进行理论分析，提出了数据融合技术能较大程度提高入侵检测系统的有效性和准确性的理论依据；

3、基于理论分析得出的依据，详细讨论DFIDM机制的设计与实现；

4、研究DFIDM机制中数据校准、实时性保证等其它一些重要问题；

5、对该机制进行了实验验证和性能分析；第二节数据融合技术的理论依据

一、数据融合技术的意义

1、提高系统稳定性：即使某些传感器失效、受到干扰或无法覆盖事件和目标的全体时，仍有传感器可以提供信息；

2、扩大观测在空间和时间上的覆盖范围：利用多个传感器，可以在不同时间和视点上观测同一目标，扩大了系统检测的时空范围；

3、增加对象的信息量：由于采用了不同种类的、在时空上分布的传感器，可以在不同层面上获取对象更多的互补信息；

4、增加信息的准确性；

5、提高决策的准确性。第二节数据融合技术的理论依据二、融合系统的功能模块

从整体框架上看，一个融合系统的主要功能模块包括：传感器及其管理模块、数据管理模块、信息优化融合模块和数据传输通道。三、融合系统的基本结构

根据多传感器系统中观测、决策和融合的关系，大体上可分为集中式和分布式两种基本结构。

三、融合系统的基本结构

1、集中式结构中，各传感器对目标进行观测所得到的原始数据全部送到融合中心FC（FusionCenter），由融合中心完成对数据的各种处理，然后做出最终决策。图2.1集中式融合系统三、融合系统的基本结构

2、分布式结构分为以下三种 （1）并行结构对信道带宽与融合中心处理能力的要求较低，本章的DFIDM就采用这种结构。图2.2并行分布式融合系统三、融合系统的基本结构

（2）串行分布式融合系统。第一个检测器，其余每个检测器在接收自己的观测数据之外，还能获得上一个检测器的决策，融合后的最终结果由最后一个检测器输出。串行结构在链路发生故障时会导致整个系统都会受到影响，故应用场合比并行结构少图2.3串行分布式融合系统

三、融合系统的基本结构

（3）网络分布式融合系统。第0层的各个检测器接收自己的观测矢量并做出决策，形成第1层输入矢量。从第1层到第k层为中间融合层，第k＋1层为最终融合层。这种多层决策融合网络可以实现比单纯并行或串行更优的功能，但会大大增加系统的开销。图2.4网络分布式融合系统四、分布式检测与决策融合的概念模型由传感器、决策器和融合中心组成，其模型如下图。图2.5单目标并行分布式检测与决策融合系统入侵行为u........u1unu2决策器g2决策器gn传感器2传感器nu2…………融合中心（FC）检测器（DM）g传感器1决策器g1四、分布式检测与决策融合的概念模型a、先给出其概念模型：设有个假设（Hypothesis）：，，…，（对于二元假设为，可表示入侵行为的有或无）

b、设有n个检测器，每个检测器DM（DecisionMaker）由传感器（Sensor）和决策器组成。第i个检测器对目标的观测矢量为

=，i=1,2,…,n

，每个检测器DM根据其目标观测矢量，按一定方法和准则做出相应本地决策=C、该模型仅对检测一种入侵行为有效，称为“单目标多传感器二元融合系统”；当系统需要同时对多种入侵行为进行检测，则需要对该模型进行扩展，称为“多目标多传感器二元融合系统”。（H）

五、通过多传感器提高系统准确性的几个结论结论一：在适当的融合策略方式下，多传感器融合之后的条件熵不大于单传感器的条件熵，即多传感器系统的融合输出可以获得更小的不确定度。结论二：当观测信息相关性最小，也即它们相互独立时，融合系统对输出不准确性的压缩能力（CompressAbility）最大。为此，在系统中各传感器之间应相互无关，互不干扰。结论三：融合系统的性能还取决于是否最大程度的提取了系统的先验信息，即系统的融合性能与各检测器的自身性能密切相关。第三节单目标多传感器二元融合系统

系统模型图如下：图2.6单目标、二元并行分布式融合系统

第三节单目标多传感器二元融合系统a、设二元假设：

表示不存在目标，表示存在目标，它们的先验概率分别为和。各检测器将各自决策和决策水平与传递到融合中心，融合中心基于这些本地决策作出最后的决策。b、通过推导可得最终融合可靠性函数：第三节单目标多传感器二元融合系统结论四：对于单目标二元的多传感器融合系统，a、融合后的最终可靠性由被检测目标的先验概率、各检测器的虚警概率和漏报概率所决定，可表达为以上函数关系；b、由于各不相同，各检测器会对最终决策产生不同程度的影响。虚警率和漏报率越小的检测器对最终决策的影响越大；c、为保证融合公式中的准确性，在系统运行前和运行过程中，都应进行统一的功能测试；第三节单目标多传感器二元融合系统 d、在得到最终融合可靠性系数后，系统还需要提供阈值和判决函数来得出最终的判决结果，可表示如下：第四节多目标多传感器二元融合系统

在实际应用场合下，如果需要对同时发生的多种入侵行为进行判断，可将其扩展为多目标多传感器二元融合系统。其系统模型图如下：图2.7多目标、二元并行分布式融合系统第四节多目标多传感器二元融合系统一、基本思路：将多目标多传感器二元融合系统的问题，转化为m个单目标多传感器二元融合系统的问题。二、系统所检测的目标是二元目标，每个目标代表了一种已知入侵类型，每个类型的二元假设分别代表了该入侵类型的发生与否，n个检测器仍然通过分布式结构对多个目标进行检测。三、依据：从系统的设计目标来看，并不需要在检测过程中建立不同入侵类型之间的关联，因而以上方法是符合设计要求的。第四节多目标多传感器二元融合系统四、数据结构的变化： 1、本地检测为向量，对于检测器i的本地决策可表示如下，一般地，表示检测器对攻击类型的检测结果。

2、本地决策经过融合中心处理后得到的最终融合结果，也是一个与表达方式相同的向量。 3、在融合中心进行数据融合的过程中，数据样本并非向量而是一个m×n的矩阵。第五节多目标多传感器二元融合系统

DFIDM的层次模型和功能布局如图2.8所示

图2.8DFIDM的层次和功能模型第五节多目标多传感器二元融合系统一、按整个系统的功能划分为5个层次：1、首先通过遍布系统各处的分布式传感器获取原始数据；2、原始数据经过校准过滤后填写标准的原始数据记录库，并形成相关对象；3、对象提取在时间（或空间）上相关联，其数据按统一标准关联、配对、分类，形成一个基于对象的集合；4、利用融合决策算法，对状态进行提取以形成对入侵行为的威胁评估；5、根据威胁评估进行最终决策；6、在以上层次结构以外，管理策略独立存在并管理、维护整个系统。第五节多目标多传感器二元融合系统二、各部分功能说明

1、分布式传感器DS（DistributingSensors）布置在系统的各个部分，主要分为两类，即基于主机的传感器和基于网络的传感器，这些传感器用来获取来自网络或者主机的原始数据；

2、数据提取模块DR（DataRefinement）应布置于传感器本地，以便于提高效率；

图2.8DFIDM的层次和功能模型二、各部分功能说明

3、为保证检测的实时性，传感器网络必须比被保护的目标网络快，这样才能及时做出分析和响应，关于保证该系统检测功能的实时性问题，本章将在后面详细讨论；

4、对象提取OR（ObjectRefinement）和威胁估价TA（ThreatAssessment）两个模块可一同布置于融合中心FS（FusionCenter）。这有利于对象提取时，通过配准形成一个基于对象的聚集的集合，同时也有利于状态提取和威胁评估时的数据集中处理；图2.8DFIDM的层次和功能模型第六节DFIDM的数据与对象提取

一、入侵行为的表示与存储 在DFIDM中选择类似于SNMPMIB（ManagementInformationBinary）的结构来分类存贮各类入侵行为，称之为入侵规则数据库，或规则树，如图2.9。图2.9规则树示意图

第六节DFIDM的数据与对象提取二、分布式传感器DS（DistributingSensors）

DS布置在系统的各个部分来获取原始数据，其输出应该是完整的网络原始数据样本。三、数据提取模块DR（DataRefinement） DR应布置于传感器本地，以减小传输开销，其作用是对DS的原始数据进行预处理。主要功能为：

1、对DS所提供的数据进行过滤，保证数据的规范性；

2、对DS提供的原始数据进行本地决策，并形成相关对象；

三、数据提取模块DR（DataRefinement）

3、对本地决策后形成的对象标志符OID，加上时间标记TT（TimeTag）和空间标记ST（SpaceTag），由此形成带有时空标记的OID。

DFIDM为保证从目标系统获取的数据具有时间上的一致性，在网络各节点处维护标准的系统时间周期SSTC（SystemStandardTimeCycle），该时间周期在系统内具有一致性和唯一性。

4、DR输出的对象为本地决策LDM（LocalDecision－Making），主要包括时间标记、空间标记和入侵类型等，如图2.10所示。

图2.10本地决策LDM示意图第六节DFIDM的数据与对象提取四、对象提取OR（ObjectRefinement） OR针对各节点传来的LDM进行处理，应布置于融合中心FC。对象提取的作用，是按照共同的入侵类型，对数据进行区分，并形成一个基于对象的集合。 按以下几个步骤进行

1、OR通过初始数据缓存空间ODC（OriginalDataCache）接收并存储来自各节点LDM，该空间是一个对象存储的集合； 2、网络故障或延迟等因素可能导致同时产生的对象会异步到达，为此采用了三级延迟缓存的设计思想来加以解决。ODC作为第一级缓存；二级缓存空间SDC用作时间校准；三级缓存空间TDC用作对最后按规则选出的输出对象集合进行缓存。四、对象提取OR（ObjectRefinement）

3、对于SDC中创建时间等于DV的集合，OR可认为已通过时间校准。其中，每个对象的时间标记都相同。即将从SDC送到TDC的一个集合的情况如图2.11所示：图2.11即将从SDC传输到TDC的集合情况四、对象提取OR（ObjectRefinement） 4、按入侵类型对对象进行处理，形成若干集合，OR输出的是经过时间校准、基于不同入侵类型并包含n个集合的集合群（n为该时刻入侵行为的类型数，数量可变）。从系统初始化10ms后，每1ms产生n个集合，在没有入侵的情况下，OR输出为空。四、对象提取OR（ObjectRefinement）

从TDC最终输出的若干集合的情况如图2.12所示：图2.12OR最终输出到TA的集合群四、对象提取OR（ObjectRefinement）

5、工作流程如图2.13所示来自各节点的LDM1，2,...，nODCSDCTDC存放原始数据的对象集合存放时间标记相同的对象集合存放按特定规则选取后的对象集合，例如相同入侵类型的集合输出到TA图2.13OR的工作流程图

四、对象提取OR（ObjectRefinement）接收各节点LDM1,2,…,n并存入ODC中每个WT对ODC内的对象进行一次处理该对象所对应时间标记的集合是否存在?是将该对象加入SDC中的相应集合创建集合，并将该对象加入SDC中相应集合START系统对SDC内的各集合不断轮询集合创建时间>=DV?系统将该集合内各元素，按不同入侵类型重新划分并形成集合群，存入TDC否否是END图2.13OR的工作流程图

第七节融合与最终决策

本节讨论DFIDM的最后一个部分TA（ThreatenAssessment），其作用主要有三个，即融合策略与算法、威胁评估以及启动响应办法。

一、各本地决策与本地检测器的可靠性系数 1、可靠性系数的调整 DFIDM维护一个基于各检测器可靠性系数的二维矩阵，一般地，为第i个检测器对第j种入侵行为的可靠性系数，并根据系统实际性能不断对其进行调整。一、各本地决策与本地检测器的可靠性系数

2、可靠性系数的计算

将一次融合过程的检测器可靠性系数值记为

,并应用于最终融合决策公式的计算中。从系统角度来看，考虑到各检测器的可靠性本身具有相同的可信度，简化起见，DFIDM将函数

g设定为算术平均和，即：第七节融合与最终决策二、根据入侵检测系统的实际需要，DFIDM在进行融合决策时还引入了空间因素、时序因素、历史记录、人工加权这四个主要因素： 1、空间因素，是指目标系统各节点上检测器对同一种入侵行为的联合预警。

2、时序因素，是指当真实攻击发生时，各节点由于网络拓扑和路由的不同，可能在对同一入侵行为的检测上出现异步性。

3、历史记录因素可针对具有一定规律的入侵行为提高准确性，本文仅选取特定的攻击源IP地址段这一情况加以分析。为此，系统维护一个对应于攻击类型来源的列表，使用可变阶二维矩阵表达。

4、鉴于入侵行为并非完全按可预知的方式进行，而常常具有突发性、阶段性，在融合因素中人为的权衡也有其存在的合理性，为此引入了人为判断系数。

第七节融合与最终决策三、融合结果

最终决策结果表达为各影响因素的函数。

由于无论对函数f的准确性怎样进行优化，这5个因素实际上应该对决策结果施加的影响大小，都难以被准确的反映为具体数值。DFIDM的最终决策结果以定性分析为主，定量计算为辅。

三、融合结果1、定性结果的描述

系统能详细、规范地对融合过程中所涉及的因素进行描述，并提交相关报告，系统管理者能很详细地对目标系统中可能发生的各类入侵状况进行了解，并在此基础上进行相应处理。2、定量公式计算

设系统最终决策为

Z，可用一维数组表达，其分量表示对第j种入侵行为的决策值，将所有因素等同考虑，则可得：2、定量公式计算 最终决策Z是元素值介于0到1之间的一维数组，分别对应了各类入侵在某个时刻，经过DFIDM融合后的发生概率。由于各个影响因素在入侵实际发生时，可能会对融合决策起到不同作用，故可以加入调整系数序列，对于不同因素进行调整，扩展的计算公式为：第七节融合与最终决策四、处理与响应办法

在得到最终融合可靠性系数L(u)后，系统还需要提供阈值A和判决函数f()，来得出最终判决结果f(L(u))。

四、处理与响应办法

当系统具有低、中、高响应办法时，阈值A和判决函数f()的方式可以设置如下：取值在[0,0.3]（阈值条件）之间对应威胁程度为低；[0.3,0.7]（阈值条件）对应威胁程度为中；大于0.7（阈值条件）为高。然后根据判决结果，系统启动不同的响应处理办法。第七节融合与最终决策五、管理策略

最后是系统管理策略，在以上层次结构以外，系统的整体管理策略独立存在并管理、维护整个系统。其功能包括：规则库升级、各层次数据库的维护（初始化、定期清空等）、系统各部分的性能检查与调优，等等。图2.14FDIDM最终决策报告

第八节DFIDM的及时性和准确性一、DFIDM的及时性

1、在以网络为平台的融合系统中，分布式传感器所获得的数据需要尽可能地在本地处理，这是实现DFIDM及时性的第一个重要措施。

2、为保证及时性，还需要通过建立独立、高速的检测网络或对目标网络进行限速来实现。二、DFIDM的准确性与性能优化，需要通过定期测试和调优来加以解决。第九节实验环境、结果与性能分析

一、实验准备： 实验环境为1个融合中心FC（Intel服务器1G），5个节点（PC赛扬666），攻击数据由1台PC赛扬666提供。为了既验证DFIDM机制的有效性，又易于操作，实验中下载了五种开放源码的入侵检测系统，分别是snort（版本1.7）、PSAD（版本1.2）、Bro（版本0.7）、preclude（版本0.7）、IDES（版本0.4）。

第九节实验环境、结果与性能分析1、漏报率的比较实验： 为测试DFIDM的漏报率，选择了5种入侵类型。分别对同时攻击类型为1、3、5的情况进行3组实验，每组实验分别进行了1000次，得出3组数据，这些数据为融合后的结果。以0.5为阈值，判断其检测结果是否正确，正确记为1，否则为0。最后对每组实验中同一入侵类型，计算所有样本数据之和的算术平均值e，得到DFIDM漏报率的平均值1－e。此后，对snort和Bro同样进行上述3组实验，各1000次，采用同样方法得到其漏报率，并列表比较。第九节实验环境、结果与性能分析漏报率的比较数据如下表2.1：(1)、同时攻击种类为1时：攻击类型攻击实现工具

漏报率（％）SnortBroDFIDMTCPFloodTFN4.13.70.9表2.1攻击种类为1时的结果比较第九节实验环境、结果与性能分析(2)、同时攻击种类为3时：

攻击类型

攻击实现工具漏报