电子科技大学计算机入侵检测技术5

第五章一种基于流量自相似性的DDoS攻击检测方法第一节引言一、介绍

近年来对计算机网络的研究表明，无论是WAN还是LAN，网络中的业务流在几毫秒至几个小时甚至几天的时间段上，均表现出很强的突发性。而并不同于传统上基于泊松分布的业务流模型。

“自相似性”或者“分形”模型能更好的描述这种业务流特点。

第一页，共66页。第一页，共66页。二 本章内容1、以自相似性模型作为网络业务流模型，对自相似性系数及其相关特性、各类自相似业务模型以及各种系数估计方法进行了研究；2、通过实验验证了真实局域网业务流量具有严格的自相似性；3、比较各种系数估计方法的性能和特点；4、通过实验验证DDoS攻击对自相似性系数的影响；5、并最终在实验数据和分析的基础上给出了DDoS攻击发生和结束的判定条件。第二页，共66页。第二页，共66页。第二节

网络业务的自相似性一、自相似性

定义5.1 自相似性（self-similarity）：指一个随机过程在各个时间规模上具有相同的统计特性。网络通信中的自相似性表现在一段较长时间里，单位时间内分组数的统计特性不随时间规模的变化而改变自相似过程具有很多特性，典型的特性包括：

第三页，共66页。第三页，共66页。第二节

网络业务的自相似性1、长程相关LRD（Long-RangeDependence），自协方差函数不可加；2、随着时带来的方差的缓慢衰减；

3、重尾分布（Heavy-tailedDistributions），即 当时，存在α>0，使得；4、自相似过程的功率谱密度函数S(w)在且时有5、具有分形维度d。

第四页，共66页。第四页，共66页。第二节

网络业务的自相似性 定义5.2 分形：一个图形通过变比例（可能是x，y都变比 例，变比例的系数可能不同），与原图形相同（自相似），或是分数维。其中分数维是指同一形状图形的拷贝次数的N.下图的分数维为

图5.1N＝3时的分形情况第五页，共66页。第五页，共66页。第二节

网络业务的自相似性 定义5.3

图形的自相似：

1、一个具有一定形状的图形， 通过变比例（对于宽、高使用同一放大因子）， 与原图形相同；

2、两者的概率特性相同。第六页，共66页。第六页，共66页。第二节

网络业务的自相似性二、自相似性系数计算的示例

下面给出一个通过网络流量计算系数的示例：图5.2为一个局域网中对两周网络流量进行的数据采样，样本均值为3.3789e+005、标准偏差为4.2389e+005。对左图中的取(6000-8000)间的点作为子样本，其均值为3.6231e+005、标准偏差为4.2189e+005，与总样本为同一数量级，但有细微的差别。对子样本变比例，对乘以，对乘以，得到5.2中的右图，使两者同概率特性。第七页，共66页。第七页，共66页。第二节

网络业务的自相似性图5.2局域网中网络流量变化及其比例图第八页，共66页。第八页，共66页。第二节

网络业务的自相似性三、自相似性的统计描述 定义5.4

过程被称为严格二阶自相似的，且具有自相似 系数，如果其阶聚集过程具有与 原过程X

同样的相关函数，即对所 有成立。第九页，共66页。第九页，共66页。第二节

网络业务的自相似性

定义5.5

过程X

被称为是渐近二阶自相似的，且具有自相 似系数，如果及

第十页，共66页。第十页，共66页。第二节

网络业务的自相似性

尽管存在着大量具有自相似特性的随机模型，但通过与真实业务流量数据比较之后，目前主要有分形布朗运动和分形ARIMA过程，被认为适于作为突发业务建模的随机模型，而且它们都基于分形高斯噪声。

当时，分形高斯噪声就是具有Hurst系数的严格二阶自相似过程，因其系数简单目前已成为自相似业务建模的主要工具。第十一页，共66页。第十一页，共66页。第二节

网络业务的自相似性 四、网络业务的自相似性

自相似（Self-Similarity）模型是目前已知的流量 模型中，最能描述网络中数据流长程相关性的流 量模型。所谓数据流的自相似性，就是网络上的 数据流没有一个本质的突发长度，在每个时间规 模上，从微秒到分钟，从分钟到小时，突发期由 一些突发子周期构成，这些突发子周期又由一些 更小的突发子周期构成。

第十二页，共66页。第十二页，共66页。第三节自相似性模型及对自相似性的研究一、

常见自相似性业务模型 常见的自相似数据业务模型分为单源和聚合源两类。中单源模型有：Pareto分布、对数正态分布；聚合源模型有：ON－OFF模型、分形布朗运动模型、分形高斯噪声模型、分形ARIMA过程模型、分形Lévy过程模型、基于混沌映射的确定性模型。第十三页，共66页。第十三页，共66页。第三节自相似性模型及对自相似性的研究1、单源模型 (1)Pareto分布模型 (2)对数正态分布模型2、聚合源模型 (2)ON-OFF模型 (2)分形布朗运动模型 (3)分形高斯噪声模型 (4)分形ARIMA过程模型第十四页，共66页。第十四页，共66页。第四节自相似性系数的估计方法及其讨论一、自相似性系数的快速估计算法 目前，对自相似性Hurst系数进行测量的方法有多种，可大致分为图形法和非图形法两种。

第十五页，共66页。第十五页，共66页。第四节自相似性系数的估计方法及其讨论二、图形法

1、绝对值法（AbsoluteValueMethod）

2、方差法（VarianceMethod）

3、方差冗余法（VarianceofResidualsMethod）

4、R/S法（RescaledRangeMethod）

5、周期图法（PeriodgramMethod）第十六页，共66页。第十六页，共66页。第四节自相似性系数的估计方法及其讨论三、非图形法

1、Whittle法（WhittleMethod）

2、集合Whittle法（AggregatedWhittlemethod）

3、局部Whittle法（LocalWhittleMethod）

4、小波法（WaveletMethod）第十七页，共66页。第十七页，共66页。第五节流量数据采集与Hurst估计方法的比较一、业务流模型的相关理论研究 前面已给出常见的自相似数据业务模型，分为单源和聚合源两类，每类又细分为一些具体的种类。其中基于分形布朗运动FBM，以及分形高斯噪声FGN的模型应用最广，Norros给出了基于FGN模型的一些数学表达，并采用数学方法求出了一些近似的排队特性。

第十八页，共66页。第十八页，共66页。第五节流量数据采集与Hurst估计方法的比较 就数学模型而言，自相似模型与传统使用的模型具有明显不同： 首先，对于自相似过程，样点均值的方差不随样点个 数的增加呈反比的减少； 其次，自相似过程是长相关的，其自相似函数不以指 数形式下降； 最后，自相似过程的谱密度在原点附近符合 －噪声分布，而泊松过程的谱密度是集中于原 点附近的。第十九页，共66页。第十九页，共66页。第五节流量数据采集与Hurst估计方法的比较二、真实业务流量的数据采集 数据采集工作主要使用Libpcap进行，Libpcap（PacketCapturelibrary）由Berkeley大学LawrenceBerkeleyNationalLaboratory研究院开发，通过直接访问数据链路层，利用了在LINUX中比较成熟的伯克利包过滤器BPF(BerkeleyPacketFilter)机制，为应用层程序捕获底层数据包API的代码库。

第二十页，共66页。第二十页，共66页。第五节流量数据采集与Hurst估计方法的比较三、真实业务流量的Hurst计算和自相似性验证

为研究LAN上的业务流量并验证Hurst计算方法，选取在电子科技大学网络中心206室子网网段监测的两周数据。数据为从2002年12月24日0：00am开始到2003年1月4日0：00am为止的所有该子网上传送的数据包的大小（以byte记）（采样间隔1s），监测时间共11天，这些数据基本可以代表LAN中，及LAN-WAN互联时传输的流量业务。第二十一页，共66页。第二十一页，共66页。第五节流量数据采集与Hurst估计方法的比较图5.3LAN上两周真实业务流量第二十二页，共66页。第二十二页，共66页。第五节流量数据采集与Hurst估计方法的比较 将对数据进行期望值规正后，用前面所述的方法进行处理，估计采样序列的Hurst系数。将总数据样本分为94个子样本，每个子样本大小为10000秒（实际时间长度上为2.78小时），然后对每个子样本运用六种方法进行Hurst系数估算，得到值。第二十三页，共66页。第二十三页，共66页。第五节流量数据采集与Hurst估计方法的比较 图5.4为使用聚集方差法、R/S法和周期图法得到的值（其中聚集方差法为○、R/S法为x、周期图法为+）

图5.4运用聚集方差法、R/S法、周期图法得到的H值第二十四页，共66页。第二十四页，共66页。第五节流量数据采集与Hurst估计方法的比较以下为其它三种方法计算出的值。

1、whittle（fGN）方法，如图5.5所示：

图5.5Whittle（fGN）法得到的H值第二十五页，共66页。第二十五页，共66页。第五节流量数据采集与Hurst估计方法的比较 2、whittle（fARIMA）方法，共94个子样本，其中有4 个空值为由奇异阵引起的无解，如图5.6：

图5.6Whittle（fARIMA）方法得到的H值第二十六页，共66页。第二十六页，共66页。第五节流量数据采集与Hurst估计方法的比较

3、运用局部Whittle法，如图5.7所示：

图5.7运用局部Whittle法得到的H值第二十七页，共66页。第二十七页，共66页。第五节流量数据采集与Hurst估计方法的比较 若时，表示具有一定程度的自相似性，H的值越大，自相似性越强。若时，缺乏或不具有自相似性。通过上面的实验可得出以下结论：

1、局域网流量具有严格的自相似性；

2、对比各种系数估计方法可见：R/S方法较为稳 定，Whittle（fGN）次之，周期图法对向高端突变 较为灵敏，聚集方差法对向低端突变较为灵敏； 局部Whittle也较为灵敏；Whittle（fARIMA）最为 灵敏，但Whittle（fARIMA）计算运算量较大，且 有部分空值；

3、经过以上对比，本课程拟在后面的实验中优先采 用R/S法或Whittle法对Hurst系数进行计算，以实 现对DDoS攻击的检测。第二十八页，共66页。第二十八页，共66页。第六节DDoS攻击的实验环境与实现一、根据自相似性系数检测DDoS攻击的可行性 对于网络业务流量聚合后的特征，根据相关文献有以下两条相关推论：

推论一：当一个数据流具有长程相关性时，多个数据流与之聚合后仍然具有长程相关性，不论加入的其它数据流本身是短程相关还是长程相关的；

推论二：同时，聚合数据流的Hurst系数、均值、方差等都会有所改变。第二十九页，共66页。第二十九页，共66页。第六节DDoS攻击的实验环境与实现

根据以上推论，提出以下假设：在正常网络业务中，来自大量不同数据源的数据之间，通常不具有时间和分组特征方面的相关性，因而不会改变网络流量的自相似性；而DDoS攻击是由MASTER控制大量不同的SLAVES，在同一时段向攻击目标发送大量请求，将会导致其流量模型的相关系数发生变化，并破坏网络流量的自相似性。第三十页，共66页。第三十页，共66页。第六节DDoS攻击的实验环境与实现二、

实验环境

1、实验环境

图5.8实验环境示意图第三十一页，共66页。第三十一页，共66页。第六节DDoS攻击的实验环境与实现 为验证DDoS对自相似性系数的影响，进行了一系列攻击实验，实验环境为：1台100兆交换机，1台路由器（CiscoCatalyst3550），1台产生背景数据的BT（backgroundTraffic）计算机（Win2K），8台攻击计算机（Win2K），1台用于检测的AD（AttackDetection）计算机（RedHatLinux8.0），其网络拓扑结构图如5.8所示。 实验开始后，BT持续提供正常的背景流量，数据流的路由全部指向检测机；攻击开始后，多个攻击机进行攻击协同，在一个时间段内同时向检测机发动DDoS攻击。此时，检测机将接收到来自路由器上的正常流量和攻击流量。第三十二页，共66页。第三十二页，共66页。第六节DDoS攻击的实验环境与实现

2、攻击类型的选取与实现 为简化起见，实验中的攻击类型选取了常见的SYN flood。通过C语言编程实现后，安装于各攻击机 上，在攻击开始时同步启动，就能模拟真实的攻 击行为了。此外，生成攻击数据还可以采用DDoS 工具TFN2k等方式进行。第三十三页，共66页。第三十三页，共66页。第六节DDoS攻击的实验环境与实现

3、背景流量的选取

为模拟真实情况下的DDoS攻击，对电子科技大学信息中心Web服务器进行了流量数据采样，共进行了40小时。在模拟攻击时，可以将TDF作为真实的背景流量使用，将TDF分为160个子样本，每个子样本大小为900秒，记为TDF1～TDF160。第三十四页，共66页。第三十四页，共66页。第六节DDoS攻击的实验环境与实现三、实验准备工作

1、攻击流量大小： 在准备好160个真实背景流量的数据样本之后，在攻击软件中设定了4种不同流量大小的攻击过程，分别为100kBps、500kBps、1MBps、1.5MBps，并记为P1、P2、P3、P4。用于验证在同样背景流量下，不同大小的攻击流量所造成的结果。第三十五页，共66页。第三十五页，共66页。第六节DDoS攻击的实验环境与实现 2、攻击方式：一次真实的DDoS攻击过程可看作如下4种情况，或这4种情况的组合，如图5.9所示。

图5.9DDoS攻击方式第三十六页，共66页。第三十六页，共66页。第六节DDoS攻击的实验环境与实现四、实验过程 通过对160个背景流量子样本（TDF1～TDF160）、3种攻击方式（A1～A3）、4种攻击流量大小（P1～P4）进行组合来完成，共160×3×4＝1920次，并采集了1920个攻击过程中的流量数据样本，每个子样本采样时间总长度为900秒（实验数据与背景流量的子样本时间相等）。 限于篇幅，本次授课仅从1920个数据采样中，任意选取了子样本TDF38，并给出此数据样本下各种攻击方式和流量大小对自相似性系数Hurst的影响情况。其余子样本的实验分析过程和结论与之类似，故略去。

第三十七页，共66页。第三十七页，共66页。第六节DDoS攻击的实验环境与实现1、恒定流量的攻击实验（A1）图5.10背景流量TDF38、攻击方式A1下的Hurst变化第三十八页，共66页。第三十八页，共66页。第六节DDoS攻击的实验环境与实现2、渐增方式的攻击实验（A2）

图5.11背景流量TDF38、攻击方式A2下的Hurst变化第三十九页，共66页。第三十九页，共66页。第六节DDoS攻击的实验环境与实现3、渐减方式的攻击实验（A3）

图5.12背景流量TDF38、攻击方式A3下的Hurst变化第四十页，共66页。第四十页，共66页。第六节DDoS攻击的实验环境与实现五、实验分析对以上3个示例图，及其所代表的所有样本图进行分析，均可得出以下结论：1、在攻击没有发生时（区间为0s<T<200s)，Hurst系数随时间变化较为平稳，处于0.5到1.0之间，具有较好的自相似性；

2、在攻击发生后的较短时间内，Hurst值将发生较大变化，并跃升至1.0以上，这表示随着攻击的发生，流量的自相似性受到破坏。这一现象符合前面的两条推论，攻击流量加入正常背景流量后，网络的长程相关性不会改变，但在聚合后，新流量的一些系数值会发生改变；

第四十一页，共66页。第四十一页，共66页。第六节DDoS攻击的实验环境与实现3、攻击持续过程中，Hurst系数值发生较大抖动，

H<0.5，0.5<H<1.0，以及H>1.0都有发生。同时还发现，所有1920个攻击样本的实验数据都显示出一个共同规律，Hurst系数在攻击持续过程中的抖动不会全部集中于0.5～1.0之间（只有自相似性程度较好的正常流量才应完全符合此条件）。从全部实验样本可得，在攻击持续过程中，Hurst系数在0.5～1.0之间变化的最大连续时间间隔个数为4，本文将其记为CCmax（continuouscountmax）。该数值反映了在特定背景流量、特定的攻击方式和大小下，Hurst系数在攻击持续过程中的变化程度，可作为描述攻击持续过程的重要特征参数。第四十二页，共66页。第四十二页，共66页。第六节DDoS攻击的实验环境与实现4、攻击结束后的较短时间内（实验中该时间间隔小于1秒），Hurst系数再次发生较大变化，表示网络流量的自相似性特性再次受到较大影响；5、对于不同大小的攻击流量，其Hurst系数值在攻击发生时，变化幅度有一定差异，表现出攻击流量越大系数抖动越大的现象。这可以解释为不同流量的攻击对网络自相似性系数的影响程度，是随攻击大小成正比关系的。但在本章的实验中，无论攻击大小，此时的Hurst系数都大于1.0；第四十三页，共66页。第四十三页，共66页。第六节DDoS攻击的实验环境与实现6、对于变速（渐增或渐减）攻击而言，流量逐渐变化对网络自相似性的影响，基本与连续的、恒定速率的攻击区别不大；7、攻击发生和结束时，Hurst系数变化相对较大，其值都达到1.0以上，但在实验过程中，甚至无攻击流量时，Hurst系数本身也有较大抖动。因而不能以此作为攻击发生或结束的准确判断条件；8、由于计算Hurst系数的时间很小，该方法能保证检测的及时性。第四十四页，共66页。第四十四页，共66页。第六节DDoS攻击的实验环境与实现六、

DDoS攻击的判决依据1、实验原始数据不能直接作为判据不能直接以Hurst系数作为准确的判据条件，有以下两个原因：在攻击持续过程中所计算出的Hurst系数值，随时间变化很大，并且有时大于1.0或小于0.5；在攻击没有发生、仅有正常流量的情况下，Hurst系数值也会随时间而发生变化，有时还比较大；第四十五页，共66页。第四十五页，共66页。第六节DDoS攻击的实验环境与实现2、变换计算进一步分析可知，攻击发生时的Hurst系数变化程度远大于此前一段时间的变化，而在攻击持续过程中，任一时刻的变化程度都不具有此特征，只要能将此本质特征表达出来就可以作为判决依据，方差这一数学工具就能满足以上需求。为此，对原始实验数据进行变换计算，将时刻t的Hurst方差定义为从0到t的所有Hurst系数值的方差，并得出DDoS攻击发生前后Hurst系数方差变化图。第四十六页，共66页。第四十六页，共66页。第六节DDoS攻击的实验环境与实现 限于篇幅，本文仅给出方差变化图示例，如下图所示，对其它数据样本进行变换计算后的结果与此类似，这里从略。

图5.13背景流量TDF38、攻击方式A1下的Hurst方差变化第四十七页，共66页。第四十七页，共66页。第六节DDoS攻击的实验环境与实现

图5.14背景流量TDF38、攻击方式A2下的Hurst方差变化第四十八页，共66页。第四十八页，共66页。第六节DDoS攻击的实验环境与实现

图5.15背景流量TDF38、攻击方式A3下的Hurst方差变化第四十九页，共66页。第四十九页，共66页。第六节DDoS攻击的实验环境与实现3、对变换计算的结果进行分析(1)在没有攻击发生时，相邻计算时间间隔的Hurst系数方差变化比较平稳；(2)发生了较大变化，在1920个实验样本数据中，该变化值均大于2倍；(3)在攻击持续过程中，方差值也随时间有一定变化，但即便在较大情况下也小于1.5倍。对1920个实验样本数据进行全面分析，攻击持续过程中相邻时间间隔的Hurst系数方差变化值没有任何1次大于2倍；第五十页，共66页。第五十页，共66页。第六节DDoS攻击的实验环境与实现(4)如攻击发生时那样显著，因而不能把方差变化作为结束的判据；(5)不同大小的攻击流量对方差变化的影响程度不同，在同样背景流量下，方差变化程度与攻击流量的大小成正比；(6)另外，在Hurst系数已知的基础上，进一步求出系数方差的计算开销不会显著增长。第五十一页，共66页。第五十一页，共66页。第六节DDoS攻击的实验环境与实现4、DDoS攻击发生判据由以上分析可得结论，DDoS攻击发生的判据为：按设定时隔，不断对网络流量自相似性系数Hurst的方差进行计算，当相邻两个时隔的变化超过2倍时，可判决为攻击发生。第五十二页，共66页。第五十二页，共66页。第六节DDoS攻击的实验环境与实现5、DDoS攻击结束判据攻击结束时，实时判决所存在的困难可以通过延迟判决的方法来加以解决。只要没有新的攻击到达，其Hurst系数由于具有自相似特性，将一直在0.5～1.0之间变化，不会受到CCmax值的约束，由此可得出DDoS攻击的结束判据。

DDoS攻击的结束判据为：当攻击发生后，如果从某个时刻起，超过系统给定的CCmax个计算时隔，Hurst值的变化都持续保持在0.5~1.0，则可判断为攻击结束。第五十三页，共66页。第五十三页，共66页。第六节DDoS攻击的实验环境与实现6、CCmax值大小的选取

CCmax不应选取过大，这会导致判决的延迟过长以及系统“空转”而引起的开销增加；

CCmax更不能选取过小，否则会出现系统误判；

权衡以上两个因素，误判的损失远大于增加系统开销所带来的损失。所以在实际防护系统的设计中，CCmax可以在经验值基础上适当加大。

第五十四页，共66页。第五十四页，共66页。第六节DDoS攻击的实验环境与实现图5.16DDoS攻击起止判据示意图第五十五页，共66页。第五十五页，共66页。第七节判决攻击发生的有效性 攻击结束判决条件：从实验过程、数据和分析可知，攻击的结束判决条件是以网络自相似性定义作为理论依据，并已通过了实验的验证，无需进一步分析。一、发生条件：1、针对攻击发生时的判决条件的充要性进行研究。从形式逻辑的角度看，与等价应有与互为充要条件，只有在此情况下，满足条件时所做出的结论才是准确的。2、条件是指“相邻时隔Hurst方差变化大于2倍”，而结论则为“攻击发生”。它们是否互为充要条件？

3、问题的表述。在并非攻击流量，而是突发的大量正常流量到达时，是否会满足同样的判决条件，这是针对该判决条件虚警率的研究；对于主要针对主机资源耗尽的DDoS攻击，该判决条件是否有效，这是针对该判决条件漏报率的研究；第五十六页，共66页。第五十六页，共66页。4、以上判决条件的有效性问题可用图的形式加以表示，图中的交叉区域是判决条件等价于结论的情形，而非交叉区域是误判和漏判情况。第七节判决攻击发生的有效性图5.17判决条件的有效性第五十七页，共66页。第五十七页，共66页。第七节判决攻击发生的有效性二、虚警情况的研究1、数据采集 主要针对大量正常流量到达对Hurst系数方差变化造成的影响，进行了相关实验和分析。为此，采集了两组大流量的正常数据样本，一组是在电子科技大学信息中心对Web服务器访问高峰期进行的流量数据采样数据采集时间2.5小时，即9000秒，并将其分解为20个正常流量的数据样本（NaturalDataFile）NDF1～20，每个450秒，这部分数据可作为中等正常网络流量的代表；另一组是对电子科技大学出口流量的高峰期进行的流量数据采样，数据采集时间2.5小时，即9000秒，并将其分解为20个正常流量的数据样本（NaturalDataFile）NDF21～40，每个450秒，这部分数据可作为较大正常网络流量的代表。第五十八页，共66页。第五十八页，共66页。第七节判决攻击发生的有效性2、实验过程与结果将NDF1～40分别叠加到背景流量TDF1～TDF160中，叠加方法为当TDF开始450秒后，再将NDF叠加上去，实验共进行40×160＝6400次。计算每次开始叠加时相邻时隔Hurst方差的变化情况，共记录了6400个样本数据，并按照背景流量样本TDF为序作图，共160幅。分析实验数据可知，在所有160幅图的6400个方差变化数据中，仅在TDF74与NDF7以及TDF133与NDF32进行叠加时出现了方差值略大于2倍的情况，前者为2.23，后者为2.11，其余的6398个方差变化