《支持向量机理论及其在网络安全中的应用》课件第4章

第4章支持向量机在入侵报警过滤中的应用4.1入侵报警过滤概述4.2支持向量机应用于入侵报警过滤的可行性分析4.3基于支持向量机的入侵报警过滤方法4.4小结

4.1入侵报警过滤概述

下面给出真报警和误报警的定义。

定义4.1.1(真报警)由入侵检测系统对攻击情况产生的正常报警称为真报警。

定义4.1.2(误报警)由入侵检测系统对正常情况产生的错误报警称为误报警。4.1.1入侵检测系统中的误报警及产生的原因

入侵检测系统中误报警产生的原因主要分为两类[92]：

(1)攻击特征描述不完善或者检测系统自身在算法与分析方法等方面存在缺陷。例如某个IDS检测到一个Nmap攻击从而触发报警，实际是由某个用户正在发起一个点对点(peer-to-peer)请求引起的，这个Nmap报警就是一个第一类误报警[93]。第一类误报警可以通过提高攻击特征的描述准确性及检测算法的准确性加以解决。随着入侵检测技术的提高，这种误报警会越来越少。

(2)网络数据包内确实包含攻击特征，但是对于具体的目标或者环境没有作用或不构成威胁，仍被判定为攻击。例如某个IDS检测到一个子网受到CodeRed攻击而产生报警，实际上这个被攻击的子网是UNIX子网，CodeRed攻击根本不起作用，但是由于数据包中含有CodeRed攻击特征“default.ida”，导致IDS还是产生了CodeRed攻击的报警，这个报警即为第二类误报警。当前入侵检测系统中急需解决的主要是第二类误报警。4.1.2误报警过滤方法的研究现状

目前，研究者已经在降低IDS误报警方面取得了一定的研究成果：

(1) Manganaris等人通过分析报警流来发现关联规则，并提出一个过滤误报警的框架[94]。

(2) Wang等人通过对黑客行为进行分析，得出了与误报警相关的7个属性，然后使用三种基于数据挖掘和统计模型的方法估计误报警发生的可能性，以降低误报警[95]。

(3) Alharby等人首先对“正常”报警进行特征提取，然后使用连续和离散序列模式来检测报警数据中的误报警情况以降低误报警[96]。

(4)数据挖掘技术也被用来降低IDS中的误报警，该方法通过建立一个误报警的分类模型来降低网络入侵检测系统的误报警[97]。即先建立一个误报警的分类模型，然后通过使用误报警分类规则对当前报警进行判断，以降低误报警同时提高IDS的检测率。

(5) Pietraszek采用RIPPER规则建立真报警和误报警的分类器，开发出了一个降低误报警的原型系统ALAC(AdaptiveLearnerforAlertClassification)，能够显著降低误报警[98]。

(6) Zhang等人使用文本分类的方法抑制入侵检测的误报警[99]。即通过对传统的tf-idf权重模型进行修正，在考虑了进程和会话的必要信息的基础上使用KNN和OneClassSVM两种方法来抑制入侵检测系统中的误报警。

(7)异常检测的思想也被应用于降低IDS的误报警，即通过对IDS的正常报警模式进行建模，使用最近邻法(KNN)构造分类器对输入的报警进行异常检测[100]。

4.2支持向量机应用于入侵报警

过滤的可行性分析

入侵检测系统产生的报警数据包含非常丰富的信息，我们通过对报警数据进行分析，获得根源性报警属性和时间性报警属性(具体定义见4.3节)以区分真报警和误报警。根据这些属性，我们将每条报警数据转化为一个向量，此时报警数据集上的误报警过滤问题，可转化为在该数据集上的分类问题，即通过某个分类器将报警数据分为真报警和误报警，从而可将误报警从真报警中分离出来。和入侵检测系统需要处理的数据特性一样，报警过滤所处理的数据同样具有高维、小样本和不可分性[101]。由第3章的内容可知，支持向量机是在小样本学习的基础上发展起来的分类器设计方法，专门用于小样本数据，而且对数据维数不敏感。上述数据的一些困扰传统分类器设计的难点，如高维、小样本、输入空间不可分等问题，对SVM而言均不受影响。因此SVM方法适合于入侵检测领域的分类器设计，将其应用于入侵检测领域是可行的。具有小样本学习能力的支持向量机理论可以较好地解决这个分类问题。在此，我们利用标定的训练数据得到支持向量机的训练模型，并使用标定的测试数据进行分类(测试数据的标定结果只用来验证分类的效果)，从而达到过滤误报警的目的。

4.3基于支持向量机的入侵报警过滤方法

4.3.1基本报警属性

IDS的原始报警数据包含着非常丰富的信息，图4.3.1给出了Snort在完整模式下的一段报警数据。图4.3.1中共包含两条完整的报警数据，其中包含了报警时间、报警名称、优先级、源IP、目的IP、源端口、目的端口、协议类型、数据包长度、漏洞信息等。图4.3.1Snort的报警数据

定义4.3.1(根源性报警属性)从报警发生的根源的角度出发，以分析黑客的攻击行为而获取的报警属性称为根源性报警属性。

如Wang等人通过对黑客行为进行分析，从原始的报警信息中得出了与误报警相关的7个属性[95]。

定义4.3.2(时间性报警属性)从报警发生的时间的角度出发，以调整时间窗的大小而获取的报警属性。

如Pietraszek分别以1分钟、5分钟和30分钟时间窗中满足一定条件的报警的个数作为不同属性的值，用于增加报警分类的效果[98]。我们在二者研究的基础上，综合根源性报警属性和时间性报警属性，总结出了区分真报警和误报警的19个基本报警属性，既弥补了Wang等人过多的考虑根源性报警属性而忽略了时间性报警属性的不足，又改正了Pietraszek仅仅考虑时间性报警属性而较少考虑根源性报警属性的缺陷。19个属性具体描述如下[102]。

(1) IP地址的分类属性：Source-IP-Class，Destination-IP-Class。将源IP和目的IP按照不同的子网进行分类，即分为外网、内网、非军事区(DMZ)，分别用1、－1和0表示。

(2)黑客行为的时段属性：Source-IP-Timing-Regularity，Destination-IP-Timing-Regularity。将一天24小时分成四个时间段，上午：6:00～12:00，下午：12:00～18:00，前半夜：18:00～24:00，后半夜：24:00～6:00。Source-IP-Timing-Regularity和Destination-IP-Timing-Regularity的计算公式为：

Source-IP-Timing-Regularity=NumS-S-IP-S-TR/NumS-S-IP

(4.3.2)

其中，NumS-S-IP-S-TR表示一天中和当前报警同源IP且同时间段的报警数目，NumS-S-IP表示和当前报警同源IP的报警数目。

Destination-IP-Timing-Regularity=NumS-D-IP-S-TR/NumS-D-IP

(4.3.3)

其中，NumS-D-IP-S-TR表示一天中和当前报警同目的IP且同时间段的报警数目，NumS-D-IP表示和当前报警同目的IP的报警数目。

(3) 1、5、30分钟内同源IP攻击属性：Same-Source-IP-1，Same-Source-IP-5，Same-Source-IP-30。

Same-Source-IP-1=NumS-S-IP-1/Num1

(4.3.4)

其中，NumS-S-IP-1表示从当前报警发生的时间起，前1分钟时间内与当前报警同源IP的报警数目，Num1表示这1分钟内所有的报警数目。

Same-Source-IP-5=NumS-S-IP-5/Num5

(4.3.5)其中，NumS-S-IP-5表示从当前报警发生的时间起，前5分钟时间内与当前报警同源IP的报警数目，Num5表示这5分钟内所有的报警数目。

Same-Source-IP-30=NumS-S-IP-30/Num30

(4.3.6)

其中，NumS-S-IP-30表示从当前报警发生的时间起，前30分钟时间内与当前报警同源IP的报警数目，Num30表示这30分钟内所有的报警数目。

(4) 1、5、30分钟内同目的IP攻击属性：Same-Destination-IP-1，Same-Destination-IP-5，Same-Destination

-IP-30。

Same-Destination-IP-1=NumS-D-IP-1/Num1

(4.3.7)

其中，NumS-D-IP-1表示从当前报警发生的时间起，前1分钟时间内与当前报警同目的IP的报警数目。

Same-Destination-IP-5=NumS-D-IP-5/Num5

(4.3.8)其中，NumS-D-IP-5表示从当前报警发生的时间起，前5分钟时间内与当前报警同目的IP的报警数目。

Same-Destination-IP-30=NumS-D-IP-30/Num30

(4.3.9)

其中，NumS-D-IP-30表示从当前报警发生的时间起，前30分钟时间内与当前报警同目的IP的报警数目。

(5) 1、5、30分钟内同种攻击属性：Same-Attack-Name-1，Same-Attack-Name-5，Same-Attack-Name-30。

Same-Attack-Name-1=NumS-S-IP-S-N-1/NumS-S-IP-1

(4.3.10)

其中，NumS-S-IP-S-N-1表示从当前报警发生的时间起，前1分钟时间内与当前报警同源IP且同攻击名称的报警数目。

Same-Attack-Name-5=NumS-S-IP-S-N-5/NumS-S-IP-5

(4.3.11)其中，NumS-S-IP-S-N-5表示从当前报警发生的时间起，前5分钟时间内与当前报警同源IP且同攻击名称的报警数目。

Same-Attack-Name-30=NumS-S-IP-S-N-30/NumS-S-IP-30

(4.3.12)

其中，NumS-S-IP-S-N-30表示从当前报警发生的时间起，前30分钟时间内与当前报警同源IP且同攻击名称的报警数目。

(6) 1、5、30分钟内同种漏洞属性：Same-Vulnerability-1，Same-Vulnerability-5，Same-Vulnerability-30。

Same-Attack-Name-1=NumS-D-IP-S-Vul-1/NumS-D-IP-1

(4.3.13)

其中，NumS-D-IP-S-Vul-1表示从当前报警发生的时间起，前1分钟时间内与当前报警同目的IP且同漏洞的报警数目。

Same-Attack-Name-5=NumS-D-IP-S-Vul-5/NumS-D-IP-5

(4.3.14)其中，NumS-D-IP-S-Vul-5表示从当前报警发生的时间起，前5分钟时间内与当前报警同目的IP且同漏洞的报警数目。

Same-Attack-Name-30=NumS-D-IP-S-Vul-30/NumS-D-IP-30

(4.3.15)

其中，NumS-D-IP-S-Vul-30表示从当前报警发生的时间起，前30分钟时间内与当前报警同目的IP且同漏洞的报警数目。

(7) 1、5、30分钟黑客行为的攻击阶段属性：Prophase-Attack-Name-1，Prophase-Attack-Name-5，Prophase-Attack-Name-30。

一般可将黑客的攻击分为4个阶段：扫描、漏洞探测、权限提升或者拒绝服务攻击、窃取。

Prophase-Attack-Name-1=NumS-D-IP-P-Pha-1/NumS-D-IP-1

(4.3.16)

其中，NumS-D-IP-P-Pha-1表示从当前报警发生的时间起，前1分钟时间内在当前报警攻击阶段之前的且同目的IP的报警数目。

Prophase-Attack-Name-5=NumS-D-IP-P-Pha-5/NumS-D-IP-5

(4.3.17)其中，NumS-D-IP-P-Pha-5表示从当前报警发生的时间起，前5分钟时间内在当前报警攻击阶段之前的且同目的IP的报警数目。

Prophase-Attack-Name-30=NumS-D-IP-P-Pha-30/NumS-D-IP-30

(4.3.18)

其中，NumS-D-IP-P-Pha-30表示从当前报警发生的时间起，前30分钟时间内在当前报警攻击阶段之前的且同目的IP的报警数目。4.3.2误报警过滤的评价指标

我们使用三个性能指标来评价误报警过滤方法的性能。这三个性能指标分别为真报警率TP、误报减少率DFP和漏报增加率IFP，它们可以全面而有效地反映出误报警过滤方法的性能。各个性能指标的计算方法如下：

(4.3.19)

(4.3.20)

(4.3.21)上述三式中，T表示测试数据中标定的真报警样本数目；TT表示标定的真报警被判定为真报警的样本数目；FF表示标定的误报警被判定为误报警的样本数目；F表示标定的误报警样本数目；TF表示标定的真报警被判定为误报警的样本数目。根据式(4.3.19)和式(4.3.21)可得如下关系式：

(4.3.22)4.3.3基于支持向量机的误报警过滤方法

Step1样本预处理：对原始的报警数据进行文本解析，将其表示成式(4.3.1)所示格式，并对报警数据进行初步过滤，即剔除明显错误的野值，如一个无效的时间戳；根据保护域内的主机的漏洞信息对部分误报警先行过滤。

Step2属性获取：对式(4.3.1)所示格式的报警数据进行统计，获得每条报警的19个基本报警属性值，形成待处理的数据集。

(4.3.23)图4.3.2基于支持向量机的误报警过滤系统的框架图4.3.2中有一个能够支持异类入侵传感器的通信代理(CommunicationAgent，CA)，该通信代理主要有两大功能：

(1)统一异类入侵报警格式。基于描述IDS输出信息的数据模型，定义符合实际应用需求的统一报警格式，即CcidmAlert数据结构，包括Analyzer、Source、Target、Signature、AdditionalData等子类，分别描述Sensor的地址和属性、攻击发起者/被攻击者的地址和主机属性、攻击事件详细说明等信息。同时用XML语言封装，以XML语言表示CcidmAlert格式的入侵报警。将异构型IDS的Sensor监测到的信息转换成这种统一的数据格式，其发送的信息到达CA后就成为统一格式的数据，实现对异类入侵传感器的支持。

(2)保证通信的安全。Sensor所发送的信息在通过CA传输的过程中不能被窃听，所以必须对信息进行加密，同时要对Sensor进行身份验证，以保证通信平台不会接收到无用的或者恶意的信息，进一步保证入侵报警关联引擎(IACE)所分析、推理的数据的正确性。为此，采用一种改进的SSL安全通信机制[103]用于CA和Sensor之间的通信。4.3.4误报警过滤实验和结果分析

1.对DARPA99的Snort报警数据实验和结果分析

DARPA99数据共收集了5个星期的数据，包含了58种攻击、超过200个攻击实例。我们对Snort产生报警数据作为实验数据，并根据MIT林肯实验室提供的DARPA99数据的评估结果对之进行标定。实验中所采用的粗糙集分析软件是由挪威科技大学计算机和信息科学系的知识系统研究小组开发的软件包ROSSETA[105]，支持向量机软件采用LIBSVM软件，并选用径向基核函数。原始DARPA99数据中第一、二、三周的数据为训练数据，第四、五周的数据为测试数据，我们利用这两个数据集分别使用Snort产生用于训练和测试的报警数据集DATA1和DATA2。DARPA99中第一周和第三周的原始数据不包含攻击数据，但是在使用Snort监控时仍然产生了多条报警数据，显然这些报警数据就是误报警。报警数据集DATA1共有78748条数据，经过标定后只有2659条真报警；数据集DATA2共有16115条数据，标定后只有2473条真报警。对两个报警数据集进行文本解析，并从数据集DATA1中随机的抽取10%形成DRS；利用ROSSETA软件进行属性约简，并取其中统计属性值相对较为简单的一组属性：(1) Destination-IP-Class；

(2) Source-IP-Timing-Regularity；

(3) Destination-IP-Timing-Regularity；

(4) Same-Source-IP-1；

(5) Same-Source-IP-5；

(6) Same-Source-IP-30；

(7) Same-Destination-IP-1；

(8) Same-Destination-IP-5；

(9) Same-Destination-IP-30；

(10) Same-Vulnerability-30。为了方便进行结果比较，将基于支持向量机的误报警过滤方法简记为AF-SVM。我们同时在相同的计算机上使用19个属性对DARPA99数据集进行SVM分类(记做SVM-All)，与使用分类结果比较如表4.3.3所示。AF-SVM的结果与ALAC和KNN方法的结果比较见表4.3.4所示(其中“－”表示文献中未曾提供该项数据)。Wang使用DARPA99数据中的4月8号到9号的数据进行测试，AF-SVM在这个数据集上的测试结果与Wang的结果比较见表4.3.5所示。

2.对XJTU-sensor报警数据的实验和结果分析[5]

如果一条报警数据满足：

(1)源IP地址符合模拟攻击的攻击机IP地址；

(2)目的IP地址符合模拟攻击的受害机IP地址；

(3)报警的时间戳在模拟攻击所发生的时间窗之内。

则该条报警被标记为真正的攻击报警；否则就被标记为误报警。标定后的数据集含有3868条真正的攻击报警和22125条误报警。分析上述实验结果，可以得出以下结论：

(1)基于支持向量机的误报警过滤方法在CNSIS测试环境中的各个性能指标上均具有较好的指标值，是解决IDS误报警问题的理想方法。

(2)现有的IDS均会产生一定的误报警，XJTU-sensor也不例外。基于支持向量机的误报警过滤的方法对XJTU-sensor报警数据的实验结果表明了该方法具有良好的性能，是XJTU-sensor现有问题的理想的解决方案。

1.入侵报警关联

我们构造的动态可扩展的网络安全知识库系统包括以下几个知识库：

(1)攻击特征库(Policy)。攻击特征库收集了现有的各种攻击的特征，主要包括攻击名称、攻击类型，协议，攻击特征、攻击描述、严重程度、对应的漏洞信息等信息。

(2)漏洞库(Bug_list)。漏洞库收集了现有的各种漏洞，主要包括漏洞名称、漏洞描述、漏洞优先级、漏洞的破坏方法、漏洞的修补方法，所影响的操作系统，对应特征信息等信息。

(3)案例库(Instance)。案例库中的数据是描述对应于攻击特征库中某个攻击的具体案例，包括该攻击案例所属模式、源IP、目的IP、源端口、目的端口、发生的时间、所属的攻击模式的阶段等信息。

(4)模式库(Pattern)。模式库包括两个部分：行为习惯表(SchemaDB)中的数据用于描述黑客的攻击一般行为模式，包括模式名称、阶段1的类型、阶段2的类型、……阶段n的类型，以及模式描述等信息；阶段攻击特征表(AttackSignature)用于描述对应于模式的某个阶段的攻击特征，主要包括攻击特征名称、所属阶段名称、特征描述、所用的攻击工具、所影响的操作系统、攻击发生的条件、攻击的目的、攻击的危害程度、所属的模式的名称等信息。

(5)攻击代码及工具库(Attack_code_tool)。攻击代码及工具库收集了目前典型攻击的攻击代码和攻击工具。

(6)安全管理策略库(Manage_Policy)。安全管理策略库包括安全防御策略和联动