应用层DDOS攻击检测技术研究

1、应用层ddos攻击检测技术研究熊俊(湖南警察学院 湖南长沙410138)【摘 要】随着检测底层ddos攻击的技术不断成熟和完善，应用层ddos攻击越来越多。由于应用层协议的复杂 性，应用层ddos攻击更具隐蔽性和破坏性，检测难度更大。通过硏究正常用户访问的网络流量特征和应用层 ddos攻击的流吊特征，采用固定时间窗口内的请求时间间隔以及贝面作为特征。通过正常用户和僵厂程序访问表 现出不同的特点，对会话进行聚类分析，从而检测出攻击，经过实验，表明本检测算法具有较好的检测性能。关键词】ddos：应用层：聚类异常检测xiong jun(hunan police academy hunanchangs

2、ha 410138)0引言根据世界著名网络安全公司arbor ne two rks在2 0 11年发布的安全报告显示，分布式拒绝服务攻击是运 营商、服务提供商以及密切依赖网络的企业最人的威 胁。国内的网络安全公司绿盟科技2011年发布的 网络安全冋顾指出，目前网络攻击者逐渐将目标聚集到 实施破坏和信息窃取上來，而实施破坏的主要途径就是 针对网络空间发动ddos攻击。国家互联网应急中心 cncert在2 0 1 1发布的安全态势综述屮指岀，ddos攻 击仍然呈频率高、规模大等特点，我国日均发生流最大 于1 g的ddos攻击事件达3 6 5起。大多数攻击针对网 站如政府网站、游戏服务器以及dns服

3、务器，造成受害 者损失大量收入，对dns服务器的攻击会导致大片地 区互联网用户不能使用网络服务，典型案例如2009年 暴风事件，导致江西、河北等9个省市大量用户遭遇上 网故障c安全公司卡巴斯基发布的2011下半年安全监 控报告中指出，http类型的ddos攻击占据了所有的 ddos攻击类型的80%可见应用层ddos危害之大。ddos攻击最早开始于1996年，2002年开始在国 内出现，2003年便初具规模。ddos攻击发展超势为从 低层协议向高层协议发展，传统ddos攻击利用协议漏 洞或者洪水攻击等对受害者发起攻击，如网络层nuke 攻击利用发送畸形的icmp数据包使得受害者当机，网 络层泪滴

4、攻击利用发送重叠的ip分片使得口标主机 tcp/ip协议栈崩溃而拒绝服务。udp flood、tcp flood 等传输层的洪水攻击利用发送超出受害者服务能力的 人量数据包，消耗掉受害者的网络带宽、cpu处理能力、内存、网络连接等有限的资源从而使受害者主机拒绝服 务。随着广大学者、安全公司对传统的ddos攻di进行 深入的研児 目前低煤的ddos攻击检测己趋成熟，并 且有很多的专门检测ddos攻击的产品，能较有效地检 测这些低层的攻击。网络攻击者为了躲避检测，并让 ddo s攻击具有更大的破坏力，逐渐将攻击转移到应用 层。应用层ddos攻击和传统的低层ddos攻击有较 大不同，首先，应用层dd

5、os攻击数据包在数据包格式 上和正常用户的数据包格式完全相同，没有畸形包、界 常的字段值，这使得从特征匹配的检测算法宣告失效， 因为攻击包和正常包在格式上是相同的。其次，应用层 ddos攻击山于和服务器耍建立t c p连接，因此采用的 都是真实i p地址。另外，由于应用层协议更加复杂，如 h t t p协议，条请求语句可能会耗费服务器大量的数据 库査找操作，耗费大量资源，因此，应用层ddos攻击可 以只利用很低速率的攻击流，就耗尽受害者主机，使得 主机宕机，而防火墙等安全产品却根本检测不到攻击， 典型攻击如近几年盛行的cc攻击。这些新特性使得应 用层的ddos攻击危害更大，且更加难以检测。学者

6、和 网络安全公司针对应用层的ddos攻击已经有了一些 研究，但尚无比较有效、成熟的检测方法。1应用层流量特征1.1正常用户访问特征正常用户访问网站一般为如下过程，首先进入网站 主页，然后在主页浏览一段时间，阅读相关的内容，发现 感兴趣的内容，点击链接，进入下一个页面。然后阅读下 一个页ifii，并在该页面驻留一段时间。阅读完该页面后， 用户可以直接关闭该页面，或者点击相关链接继续访问 其他页面，或者是回退到前一页而或者返回到主页。请求时间间隔的研究山于不同的用户感兴趣的内容不一样，因此不同的 用户在一段时间如io分钟内浏览过的页面也不同，另 外，不同用户由于阅读习惯、关注点不同，导致不同的用

7、户在不同的页面上停留的时间不同。文献8屮有如图1 直观的展示。对网站记录h志文件，包括epa-http日志（一个 访问量较大的网站1 9 9 5年8月2 9日全天的日志记 录）、sdsc-http （另-个网站在1 9 9 5年8月2 2日全天 的访问记录日志）、nasa （美国国家宁航局在弗罗里达请求间隔示童图1 be圈2谓求间pi分布s3谓茨页面分布的数据空间网站的2个月的日志记录）.cl a rknc t-http 0个网站的1995年8月的2个星期的记录文件）进行分析，重点研究了会话的请求间隔时间分布以及时间窗 口时间内访问的页面分布。图2是epa数据包中一个时段的请求间隔分布， 具有

8、典型代表性，时间窗口内一共有62个http会话，横 坐标轴为秒，可以看出來，请求间隔时间分布较分散，从 0到 300s。请求页而的研究各个用户由于感兴趣的内容不容，因此浏览的页面 也不同。但同时网站上有的内容属于热点内容，是公众 都关心的，访问的频率更岛，如网站主页，特定的消息。对日志文件的分析验证了这一结论，图3是其中的 一张图，横坐标是网页编号，在半个小时时间窗口内被 访问的页面，竖坐标为被访问的次数。从中可以看出來， 有的页面被访问的频率很高，剩下被访问的页面的频率 大致相同。1.2应用层ddos攻击特征根据应用层d d。s攻击的原理，可以总结出ddos 攻击具有的特征。ddos攻击会话

9、的请求频率较高，即请求间隔较小。 这是因为为了达到使受害者拒绝服务攻击的目的，攻击 者必须达到一宦的服务请求速率才能将主机的资源消 耗尽。攻击程序为了易于编写，往往将请求间隔设为固 定值。文献5指出，应用层的ddos攻击程序mydoom 融flz®送ddos攻击时，每秒发g 6 4个g e t请求。 变种的攻击可能会不釆用固定时间间隔，而是经过一个 随机时间间隔，但仍然是较小，并且各个攻击会话表现 出共性。ddos攻击请求往往是请求单一页面，卡巴斯基安 全报告中指出，请求同一网页的攻击占据所有的http攻 击类型的5 5%另外攻击程序也町以对网站进行遍历或 者随机爬取。2应用层ddo

10、s攻击检测方法21现有的ddos攻击检测技术文献4 提出一种防御方案，要求访问者冋答一些问 题以此来判断用户是正常用户还是僵厂程序，它的主要 思想是僵尸程序为了隐蔽一般代码较少，没有足够的能 力回答出服务器提出的问题，比如识别图片中的验证 码，回答常识性问题，而正常用户却可以轻松完成这些 验证工作。服务器将那些不能正确回答问题的用户判定 为僵尸程序，不为其提供服务，从而到达防御的口的。但是这种方法也有很明显的弊端，首先，这会使得 正常用户，网站的绝大多数用户感到很厌烦，因为要输 入很多的验证码。其次，这也会影响搜素引擎的检素，因 为搜索引擎的爬虫本质上也是机器程序，同样不能够回 答出这些问题，

11、使得网站页面不能被正确检索，对网站 不利。再次，当机器程序进行改进后，可以冋答验证问 题，则该方法就失效。文献5对用户的访问行为进行建模，利用马尔可夫 链来模拟用户所请求页面的模式，对每个会话记录访问 其各个页面跳转概率，然后归纳出大多数用户的访问模 式，将流与人多数用户的访问模式的偏离作为流的异常 程度。但是，这种方法要求非常大的计算量，以及存储空 间，尤其是稍具规模的网站就拥有上万的页面，像新浪 这样的大型网站扶至是上亿级页面，这使得该算法不能 够在线检测攻击，不适宜来检测应用层ddos攻击。文献6根据单位时间内请求页面的嫡来检测攻击， 主要假设如下，正常用户访问网站时，由于各h感兴趣 的

12、内容不同，较均匀的访问网站的各个页面，即请求比 较分散，炳值较大。而攻击程序往往是在开始攻击之前 就设定了一个固定的页面，攻击时，所有的僵尸程序反 复频繁的请求同一页面，打破了页面的均匀分布，爛值 变小。该方法有以下不足，当攻击流是低速率攻击时，爛 值变化不大，不能检测出攻击，另外，由于网络流具有突 发性，可能会将正常用户访问误判为攻击。最后，该方法假设攻击程序只请求同一页面，但是 攻击程序可以遍历整个网站或者随机爬取页面，当是后 面这两种形式时，即使攻击发生也不会是的爛值增大很 多，相反对能会使嫡值变小，因为请求页面更分散。文献7提出了一种根据单位时间内平均每个会话 的服务器请求次数anrc

13、的波动悄况来检测攻击的方 法，该检测方法认为正常情况下访问服务器的anrc较 稳定，可以用一阶线性模型进行预测，当实际观测值明 显高于预测值时，则认为是可能发生了 ddos攻击，并 对访问频率较高的ip进行验证，判断是否是僵尸程序。 这种方法存在一些缺陷，首先，当ddos攻击流较小，即 发生了低速率ddos攻击时，anrc的值并不会显著上 升，因为攻击流彊被犬背景流淹没，因而漏检。共次，验 证同样面临着挑战，随着攻击程序的能力增强，一旦能 够冋答验证问题即宣告该检测算法失效。22木文使用的检测算法通过以上的数据分析，正常会话的请求间隔以及请 求页面具右相似性，攻击会话的请求间隔和请求页面具 有

14、很强的相似性，而两者之间的相似性较小。从而得出 本文的检测算法，根据会话的请求间隔和请求页面作为 相似性的度量，利用数据挖掘中基于谱图理论的谱聚类 算法，对会话进行聚类，从而将正常会话聚成若干簇，攻 击会话聚成一个簇如果有攻击)，从而实现应用层 ddos攻击检测木文来源 f http:/taobaoxuexi.sinaapp.eom/o检测过程：(1) 时间窗口设为2分钟，将时间窗口内的访问服 务器的每个ip作为一个会话，提取出每个会话的在时 间窗口内每次请求页面的时间，请求的页面，侮个时间 窗纪录50条，没有的纪录置为0。（2）计算各个会话间的相似性矩阵。相似性的度量 包括两个部分，一是间隔

15、分布的相似性，二是请求页面 的相似性，两者之和占总相似性的。a）时间间隔相似性如下，先将各会话的后一个请 求时间减去前一个得到请求间隔，然后按照从大到小排 序，对应项相减得到绝对值z和，然后处理两个会话中纪 录中较少纪录数的纪录u50distan 土巴 | a（-bi ib为会话a, b的第i个请求间隔值。b）请求页面相似性的计算。两个会话在时间窗口 内请求的相同页面数越多，相似性越大，距离越小。dista nce2 = 50 pco mm o n （ a , b） c ommo n （a, b）计算会话a , b请求相同的贝而数。 总距离计算如下：distance- di$tancel+di

16、stance2（3）谱聚类算法进行聚类a）利用前面计算的相似性矩阵，构造一个用邻接 矩阵表示的图w,每个会话由一个顶点代表，顶点z间 的边的权值为对应会话的相似性人小d i s lance,b）将w的每一列求和，得到n个数，将这n个数 放在n*n的方阵的主对角线上，得到方阵d,并令 l = d-w.求出矩阵l的前3个特征值及对应的特征向量。c ）将3个特征列向量依次排列，得到一个n * 3的 矩阵，将这个矩阵的行视为3维空间的向量，利用k均 值聚类算法进行聚类，属于同一簇的行对应的会话属于 同一簇。d）分别计算三饬的均方误差sse,若其中一个 簇的sse较明显的小于另外两个簇，试验中可进行调节

17、 如小于另外簇的均方差的1/5可以定义为较明显小 于），并且簇中的元素个数也较少，则判定该簇是攻击会 话簇，及判定攻击发生。反之，则判定为没有攻击发生。 3结论本文提出的基于谱聚类的应用层ddos攻击检测 能够较好的检测出攻击，并且误检率也较低，具有较好 的性能。经过实验，算法检测时间也较短，能够在攻击2 分钟内检测到。检测算法还需要进-步进行完善，如自 动确定聚类个数，这是一个较难的问题.另外cc攻击 的变速率的攻击形式还有待检验，是接下来可以继续研 究的内容c才文来源于 （ddos 攻击器）参考文献1 arbor f）ctworks.wbrldwide infrastructure security rcpoitr.usa: <uix>r networks,2011.2 绿盟安全研究院.2011网络安全态势回顾r.北京：北京神 州绿盟信息安全科技股份有限公司,2011.3|国家互联网应急中心.2011年我国互联网网络安全态势综述r 北京:国家计算机网络应急技术处理协调中心2011.4 kandula s , katabi d acob m , et d.suniving organized ddos attacks that mimic flash crowd