（计算机应用技术专业论文）入侵检测中的数据包采样算法研究及实现.pdf

硕士学位论文 摘要 随着网络安全问题的日益严重，入侵检测系统( i n t 】n j s i o nd c t e c t i o ns ) ，s t e m ，缩写： i d s ) 已经成为计算机与网络安全的重要组成部分。随着网络带宽的不断增加，由于处理 能力的限制，现有入侵检测系统面临挑战，如何提升i d s 的处理能力备受关注。提升硬 件的处理速度是常用的方法，然而，硬件处理速度的提升却远远跟不上网络带宽的增加 速度，i d s 的处理能力面临着瓶颈。 数据包采样是提升数据包处理能力的很好方法，在网络流量监测分析中得到了广 泛应用。然而，传统的数据包采样算法，都是针对网络流量监测所设计的，初始设计时 并没有考虑应用在入侵检测中。近些年来，逐渐开始有研究者开始研究入侵检测中的数 据包采样算法，分析了几种传统的应用于网络测量中的数据包采样算法，验证了这些算 法直接应用在高速链路入侵检测中的不适用性，但并没有提出新的有效算法。基于此， 本文将针对高速链路入侵检测研究新的数据包采样算法。 本文的主要研究内容和工作成果如下： 1 分析了网络中典型的入侵攻击方式，通过对经典数据集进行入侵检测后的日志统计， 得出入侵过程的一个重要特点：入侵攻击过程在时间上具有连续性。依据此特点， 为高速链路中的入侵检测设计了一种新的数据包采样算法。 2 在入侵检测系统s n o r t 的基础上设计实验平台，把s n o r t 数据包捕获速率从百兆提升 至千兆，使其能应用于真实高速链路中的实验。 3 搭建真实高速链路环境，利用新设计的实验平台对采样算法进行实验。实验结果证 明，新的数据包采样算法在高速链路下可以大大提升检测速度，同时，与传统数据 包采样算法相比，有更高的检测成功率。 关键词：入侵检测系统：数据包采样；高速链路：s n o r t ；成功率 入侵检测中的数据包采样算法研究及实现 a b s t r a c t w i t ht h e i i l c r e a s m g l y s e r i o u s p r o b l e m i nn e t w o r k s e c u r i t y ，i r l t r u s i o n d e t e c t i o n s y s t e m ( i d s ) h 鹤a l r e a d yb e c o m e 锄i m p o r t 锄t m p o n e n to fc o m p u t c r 柚dn e t w o r k s e c u r i t y h o w e v e r ，w i t ht h ec o n t 咖o u si i l c r e a s ei l ln e t w o r kb 觚d w i d t l l t h ee x i s t m gi d s ，b yt h e p r o c e s s i i l gs p e e dr e s t r i c t i o r 塔，c a n tc o p ew i t ht l l ee x i s t i l l g1 1 i g hs p e e dl i i l ：k s o ，i ti sr 忙e da m e t h o dt 0i i l c r c 嬲et h ep r o c e s s i i l gc a p a c i t yo fi d s u p 孕们i i 唱t h ep r o c e s s i n gs p e e do f h 矾w a r ci sc o m i i l o i l l yu s e dm e t h o d h o w e v 盯，t h eu p 伊a d i i l go fh a r d w a r cp r o c 髂s m gs p d c 锄tk e 印p a c ew i t ht h er a t eo fn e t w o r kb 肌d w i d t h si n c r e 鹊e i d s sp r o c c s s i i l gs p e e d f a c e st h eb o t t l e n e c k p a c k e t 鼢n 】p l m g 帖c hw i d e l yl i s e di i ln e t 、釉r ki n 0 血。血gi sa9 0 0 dm 甜1 0 dt 0i i l l p r o v c d a t ap a c k e tp c e s s i l l gc 印a c i t y b u t ，t h et r a d i t i o m lp a c k e t 鼢m p l i l l ga l g o r i t h mi sd e s i g i 面向r n e t w o r kr n o n i t o 血培a n dd o 懿n o tc 0 璐i d e rt h a ti t 删码，b eu s c di i l 硫n l s i o nd e t e c t i o n i nr e c e n t y e a r s ，r e s e a r c h e r s 粤们u a l l yb e g i i l t or e s e a r c hp a c k e ts 锄p l i i l ga l g o m h mi i ln m s i o n d e t e c t i o l l t l l e ya m l y s es e v e r a lt r a d i t i o m lp a c k c ts 锄p l i i l ga l g o r i t l m l s 邯e di i lm t w o r k m o n i t o 血g ，c 0 i r l p a r et h ee 行托t so fp a c k e ts a m p l i i l ga l g o r i t h f 啮w h e nt h e yd i r e c t l yu s e di i lt h e 访t r 吣i o nd e t e c t i o 玛锄dp o i i l tt h a tt h e s ea l g o r i t h i n sd 01 1 0 t 跚i t 硒ri m m s i o nd e t e c t i o no fh i g h s p e c dl 证k b u t ，t h e yt h e yd o tp r o p o s e wa n de 毹c t i v ca l g o r i t h ma c c o r d m gt oi t ，p 印e r w i l lr e s e 鲫c hm w p a c k c ts a m p l i n ga 1 9 0 m h m 南r i r i t m s i o nd e t e c t i o n t 1 1 em a i l la c h i e v e m e n t so f t h i sw o r kc 0 璐i s to f 旬l l o w i n g 嬲p e c t s ： 1 加l a l y s i i l g v e r a ln l c t h o do ft ) i p i c a ln e t w o r ka t t a c k s a c c o r d i i l gt o 锄l y s et h ec l 弱s i c d a t as e t s si n t r u s i o nd e t e c t i o n1 0 9 s ，a 佗a t u r eo fm ei n t r u s i o nl l a sb e e n 白u n d ：抽t r u s i o n a n a c l ( sl l a v cc o m i l l u i t yi 1 1t h et i i t l e b 硒e do nt k sc h a r a c t c r i s t i c ，d e s i g nan e wp a c k e t s a m p l i n ga l g o r i t h l t l 2 d e s i g n i l l ge x p e r i r i l e n t a lp l a t 南mb 嬲e do ns n o n u p 乒a d i n gs n o r t sc 印t u r e d a t ap a c k e t s r a t e 劬m1o o mt og i g a b i t s o ，i tc 锄b eu s e di i lt h er lh i g h - s p e e dl i l l l ( 3 b u i l d i n gt h er e a lh i g h s p e e dl i r l l 【朗v 的n m e n t ，a n dd o i r 唱e x p e r i n l e n t i nf o r t h en e w a l g o r i t h mi i lt h i se n v i r o m n e n t t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h en e wp a c k e ts a m p l i l l g a l g o r i t h mc a nb e 伊e a t l ye n h a n c e dp r o c e s sr a t e i i lh i g hs p e e dl i n l ( ，w h i l eh 弱h i g h e r s u c c e s sr a t et h a nt h et r a d i t i o n a lp a c k e ts a m p l 访ga l g o r i t h m k e yw o r d s ：i n t 川s i o nd e t e c t i o ns y s t e m ；h i g hs p e e du n k ；p a c k e ts a m p i i n g ；s u c c e s sr a t e n i 硕士学位论文 插图索引 图2 1 使用四种采样算法后t r w s y n 检测的成功率1 4 图2 2 使用四种采样算法后t r w s y n 检测的误警率1 4 图2 3 使用四种采样算法后t a p s 检测的成功率1 5 图2 4 使用四种采样算法后t a p s 检测的误警率1 6 图3 1 应用于入侵检测的数据包采样算法流程图2 6 图3 2 白名单检测流程2 7 图3 3 黑名单检测流程2 8 图4 1s n o r t 体系结构图3 3 图4 2s n o r t 工作流程图3 4 图4 3 实验平台运行流程3 5 图5 1 数据包采样算法实验拓扑图3 9 图5 2 使用新采样算法前后的处理能力对比4 0 图5 3 成功率与传统采样算法对比4 1 图5 3 误警率与传统采样算法对比4 2 v i 入侵枪测中的数据包采样算法研究及实现 附表索引 表2 1 在不同采样算法下检测到的流量异常数目1 3 表3 1t c p 攻击总数统计2 5 表3 。2u d p 攻击芑矗帮l 统计。2 5 表3 3t c p 攻击总数统计2 5 表3 4 算法中使用的变量列表2 7 表5 1a x 4 0 0 0 构造正常数据流量4 0 表5 2a x 4 0 0 0 构造异常流量与正常流量1 ：1 混合后数据流量4 l v i t 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：删 日期：孙醒年争月压日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“”) 日期：z 凹吕年j 月易日 日期：嬲年f 月f 6 日 硕士学位论文 1 1 课题背景及意义 第1 章绪论 国家计算机网络应急技术处理协调中心( c n c e r l c ) 发布的2 0 0 6 年网络安全工 作报告”n ，显示： 在木马方面，c n c e r l c 抽样监测发现我国大陆地区约4 5 万个i p 地址( 以下 无特殊说明均包含动态i p ) 的主机被植入木马，与去年同期相比增长一倍。同时还发现 境外约2 7 万个木马攻击源，主要位于美国、韩国和中国台湾。 在僵尸网络方面，c n c e r l c 抽样监测发现我国大陆地区约有l 千多万个i p 地址的 主机被植入僵尸程序；境外约1 6 万个i p 对我国境内的僵尸主机实施控制，主要仍位于美 国、韩国和中国台湾。 在网站页面被篡改方面，c n c e r t c c 监测到中国大陆被篡改网站总数达到2 4 4 7 7 个，与去年同期相比增长接近一倍，其中9 0 v 网站被篡改数量为3 8 3 1 个，占整个大陆地 区被篡改网站的1 6 。 总体来看，我国的公共互联网网络安全状况令人堪忧，在利益的驱动下网络安全 事件更加频繁、隐蔽和复杂。这就迫切需求一种有效的方案来保护我们的网络。 在网络安全领域，入侵检测系统( i n t r u s i o nd e t c c t i o ns y s t 锄，缩写：i d s ) 是目前广泛 使用的网络保护方案。i d s 对网络中的数据包，除了对i p 地址，端口号，协议进行分析外， 还能进行深度包解析( d e 印p a c k e ti n s p e c t i o 玛d p i ) 。i d s 有自己的规则库，记载着各种入 侵攻击的特征字符串，通过与从网络上捕获的数据包的有效载荷进行比对，由此来判断是 否属入侵攻击包。通过不断研究新的入侵攻击的特征，我们可以对i d s 的规则库进行升 级，使其能对新出现的攻击也能做出识别。 目前的常见的网络入侵检测系统，根据其检测引擎实现方式可分类两类：基于软 件实现和基于硬件实现。基于软件实现的i d s ，例如：s n o r t 昭1 ，使用通用c p u 进行数据包 检测，有很好的灵活性和可扩展性，但由于软件实现的复杂性和通用c p u 的处理速度瓶 颈，无法应用在高速网络中嘲。基于硬件实现的i d s ，使用专用硬件进行检测，拥有很 高的处理速度，但它不够灵活，而且成本较高h 1 。虽然使用专用硬件可以极大的提高检 测速度，但由于网络带宽的增长远远快于硬件处理速度的提升，因此，仅仅提升硬件处 理速度很难跟上网络带宽的增长，而且也会导致成本的不断攀升，这就给高速主干网络 的保护带来了很大挑战口，。 为了解决现有入侵检测技术处理能力有限与网络带宽飞速增长之间的矛盾，对数据 入侵检测中的数据包采样算法研究及实现 包采样是一种可能的解决方法佑1 。现有的数据包采样算法儿7 1 ，在网络流量监测分析中得 到了广泛应用，例如，思科公司的产品n e t f l o w 呻1 。通过对少量采样得到的关键数据包的 监测，从而推导出整个流量特征，数据包采样方法使网络流量监测分析在高速网络中得 以实现。因此，可以借鉴网络监测的成功案例，在入侵检测中使用数据包采样方法，来 提升其处理能力。然而，由于传统数据包采样算法设计时并没有考虑到将会应用到入侵 检测中，因此，可能会造成不适用，这就有必要为入侵检测设计专用的数据包采样算法。 1 2 入侵检测概述 1 2 1 入侵检测研究的历史 入侵检测从最初实验室里的研究课题到目前的商业产品，已经有2 0 多年的发展历 史。入侵检测( i n t r u s i o nd e t e c t i o n ) 是在1 9 8 0 年由a n d e r s o n 在文献四1 中首先提出的，他 将入侵行为划分为外部闯入，内部授权用户的越权使用和滥用等三种类型。以便为专职 系统安全人员提供安全信息，此文被认为是有关入侵检测的最早论述。 最早进行入侵检测研究的是j a m e sp a n d e r s o n ，他在1 9 8 0 年所著的报告中提出 了一种对计算机系统风险和威胁的分类方法，给出了一个威胁矩阵模型，并建议把对某 些用户的行为分析作为判定系统不正常的标志，这一建议为下一个入侵检测研究领域的 里程碑式的i d e s 项目所采用。1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h y e d n n i n g u 叫 和s r i 公司计算机科学实验室的p e t e rn e u m a n 研究并实现了一个实时入侵检测系统模 型i d e s ，该模型基于用户特征轮廓，用统计学方法来描述系统主体相对于系统客体的行 为。这是入侵检测研究中最有影响的一个系统。1 9 8 9 年，加州大学戴维斯分校的t o d d h e b e r l e i n n 在论文中提出把监视器用于捕获t c p i p 分组，第一次直接将网络流作为审 计数据来源，因而可以在不将审计数据转换成统一格式的情况下监控异种主机，于是网 络入侵检测由此诞生，一系列关于入侵检测的研究工作也随之展开。 随着人工智能、分布式技术等等的引入，特别是i n t e r n e t 的日益膨胀，入侵、攻 击事件频频发生。以2 0 0 3 年夏季发生的冲击波( b l a s t e r ) 攻击为例，全球所有安装了微 软w i n d o w s 操作系统的p c 用户，几乎无人幸免，都受到了不同程度的损失。另据国家 计算机网络应急技术处理协调中心的统计数据表明，2 0 0 3 年上半年仅网页篡改一项我国 大陆就至少有1 5 0 个网站的网页被篡改，其中包括8 7 个政府网站。由此可见，网络用 户迫切需要实时的、智能的入侵检测系统及其他安全保障措施的出现，这些需求都进一 步的推动了入侵检测的发展。 这几年，国外入侵检测的产品发展很快。流行的入侵检测系统也比较多，如美国 c i s c o 公司的n e t r a n g e r ，n e t w o r ks e c u r i t yw i z a r d s ( n s w ) 公司的d r a g o n 。由v p a x s o n 领衔开发的b r o 系统，s o u r c e f i r 公司的s n o r t 等等。在国内，目前的现状是，我国的 入侵检测研究还主要停留在实验室和实验样品阶段，或者是防火墙中集成较为初级的入 2 硕士学位论文 侵检测模块，一些产品的关键技术仍需要借鉴国外的先进经验，这很难应付大规模的、 突发性的攻击与入侵。由此可见，入侵检测技术仍留有很大的发展空间。 1 2 2 入侵检测技术的定义及分类 a d e n r s o n 在8 0 年代早期使用了“威胁 这一概念术语，其定义与入侵含义相同。 将入侵企图或威胁定义为未经授权蓄意尝试访问信息，窜改信息，使系统不可靠或不能 使用呻】，h e a d y ，给出另外的入侵定义一入侵是指有关试图破坏资源的完整性，机密性及 可用性的活动集合。s m a h a 从分类角度指出入侵包括尝试性闯入，伪装攻击，安全控制系 统渗透，泄漏，拒绝服务，恶意使用6 种类型。 入侵检测技术主要分成两大类型：异常入侵检测和误用入侵检测。异常入侵检测 是指能够根据异常行为和使用计算机资源情况检测出来的入侵。异常入侵检测试图用定 量方式描述可接受的行为特征，以区分非正常的，潜在的入侵性行为。a d e n r s o n 做了如 何通过识别“异常”行为来检测入侵的早期工作。他提出了一个威胁模型，将威胁分为 外部闯入，内部渗透和不当行为3 种类型，并使用这种分类方法开发了一个安全监视系 统，可检测用户的异常行为。外部闯入是指未经授权计算机系统用户的入侵；内部突破 是指已授权的计算机系统用户访问未经授权的数据；不当行为是指用户虽经授权，但对 授权数据和资源的使用不合法或滥用授权。误用入侵检测是将收集到的数据与预先确定 的特征知识库里的各种攻击模式进行比较，如果发现有攻击特征，则判断有攻击。特征 知识库是将已知的攻击方法和技术的特征提取出来，来建立的一个知识库。与异常入侵 检测相反，误用入侵检测能直接检测不利的或不可接受的行为，而异常入侵检测是检查 出与正常行为相违背的行为。 相比而言，误用检测的原理简单，很容易配置，特征知识库也容易扩充，但它存 在一个致命的弱点只能检测到已知的攻击方法和技术。异常检测可以检测出已知的 和未知的攻击方法和技术，问题是正常行为标准只能采用人工智能、机器学习算法等来 生成，并且需要大量的数据和时间，同时，现在人工智能和机器学习算法仍处于研究阶 段。所以现在的入侵检测系统大多采用误用检测的分析方法。 1 2 3 入侵检测系统 “ 当越来越多的公司将其核心业务向互联网转移的时候，网络安全作为一个无法回 避的问题呈现在人们面前。传统上，公司一般采用防火墙作为安全的第一道防线。而随 着攻击者知识的日趋成熟，攻击工具与手法的日趋复杂多样，单纯的防火墙策略已经无 法满足对安全高度敏感的部门的需要，网络的防卫必须采用一种纵深的、多样的手段。 与此同时，当今的网络环境也变得越来越复杂，各式各样的复杂的设备，需要不断升级、 补漏的系统使得网络管理员的工作不断加重，不经意的疏忽便有可能造成安全的重大隐 患。在这种环境下，入侵检测系统成为了安全市场上新的热点，不仅愈来愈多的受到人 们的关注，而且已经开始在各种不同的环境中发挥其关键作用。 入侵榆测中的数据包采样算法研究及实现 具体说来，入侵检测系统的主要功能有： 监测并分析用户和系统的活动； 核查系统配置和漏洞； 评估系统关键资源和数据文件的完整性； 识别已知的攻击行为； 统计分析异常行为； 操作系统日志管理，并识别违反安全策略的用户活动。 由于入侵检测系统的市场在近几年中飞速发展，许多公司投入到这一领域上来。除 了国外的i s s 、a ) 【e n t 、n f r 、c i s c 0 等公司外，国内也有数家公司( 如中联绿盟，中科网 威等) 推出了自己相应的产品。但就目前而言，入侵检测系统还缺乏相应的标准。目前， 试图对i d s 进行标准化的工作有两个组织：i e t f 的i n t m s i o nd e t e c t i o nw b r k h 唱m u p ( i d w g ) 和c o 眦n o ni n t n l s i o nd e t e c t i o nf r a m e 、阳r k ( c i d f ) ，但进展非常缓慢，尚没有被广 泛接收的标准出台。 一般来说，入侵检测系统可分为主机型和网络型。 。 主机型入侵检测系统往往以系统日志、应用程序日志等作为数据源，当然也可以 通过其他手段( 如监督系统调用) 从所在的主机收集信息进行分析。主机型入侵检测系 统保护的一般是所在的系统。 网络型入侵检测系统的数据源则是网络上的数据包。往往将一台机子的网卡设于 混杂模式( p r 0 i n i s cm o d e ) ，监听所有本网段内的数据包并进行判断。一般网络型入侵检 测系统担负着保护整个网段的任务。 不难看出，网络型i d s 的优点主要是简便：一个网段上只需安装一个或几个这样 的系统，便可以监测整个网段的情况。且由于往往分出单独的计算机做这种应用，不会 给运行关键业务的主机带来负载上的增加。但由于现在网络的日趋复杂和高速网络的普 及，这种结构正受到越来越大的挑战。一个典型的例子便是交换式以太网。 而尽管主机型i d s 的缺点显而易见：必须为不同平台开发不同的程序、增加系统 负荷、所需安装数量众多等，但是内在结构却没有任何束缚，同时可以利用操作系统本 身提供的功能、并结合异常分析，更准确的报告攻击行为。 入侵检测系统的几个部件往往位于不同的主机上。一般来说会有三台机器，分别 运行事件产生器、事件分析器和响应单元。在安装i d s 的时候，关键是选择数据采集部 分所在的位置，因为它决定了“事件”的可见度。 对于主机型i d s ，其数据采集部分当然位于其所监测的主机上。 对于网络型i d s ，其数据采集部分则有多种可能： 。 ( 1 ) 如果网段用总线式的集线器相连，则可将其简单的接在集线器的一个端口上 即可； ( 2 ) 对于交换式以太网交换机，问题则会变得复杂。由于交换机不采用共享媒质 4 硕士学位论文 的办法，传统的采用一个s n i f 断来监听整个子网的办法不再可行。可解决的办法有： a 交换机的核心芯片上一般有一个用于调试的端口( s p 锄p o r t ) ，任何其他端口的进 出信息都可从此得到。如果交换机厂商把此端口开放出来，用户可将i d s 系统接到此端 口上。 优点：无需改变i d s 体系结构。 缺点：采用此端口会降低交换机性能。 b 把入侵检测系统放在交换机内部或防火墙内部等数据流的关键入口、出口。 优点：可得到几乎所有关键数据。 缺点：必须与其他厂商紧密合作，且会降低网络性能。 c 采用分接器( t a p ) ，将其接在所有要监测的线路上。 优点：再不降低网络性能的前提下收集了所需的信息。 缺点：必须购买额外的设备( t a p ) ；若所保护的资源众多，i d s 必须配备众多网络 接口。 d 可能唯一在理论上没有限制的办法就是采用主机型i d s 。 入侵检测系统的通信协议： i d s 系统组件之间需要通信，不同的厂商的i d s 系统之间也需要通信。因此，定义 统一的协议，使各部分能够根据协议所致订的的标准进行沟通是很有必要的。 i e t f 目前有一个专门的小组i n t m s i o nd e t e c t i o nw r o r k i i 冯u p ( i d w g ) 负责定义这 种通信格式，称作i n t m s i o nd e t e c t i o ne x c l l a n g ef o m 龇。目前只有相关的草案( 硫e m e t d f a f i ) ，并未形成正式的r f c 文档。尽管如此，草案为i d s 各部分之间甚至不同i d s 系 统之间的通信提供了一定的指引。 i a p ( i m r u s i o n a l e np r o t o c 0 1 ) 是i d w g 制定的、运行于t c p 之上的应用层协议，其设 计在很大程度上参考了h t t p ，但补充了许多其他功能( 如可从任意端发起连接，结合 了加密、身份验证等) 。 以下是设计一个入侵检测系统通信协议时应考虑的问题： 1 分析系统与控制系统之间传输的信息是非常重要的信息，因此必须要保持数据 的真实性和完整性。必须有一定的机制进行通信双方的身份验证和保密传输( 同时防止 主动和被动攻击) 。 2 通信的双方均有可能因异常情况而导致通信中断，i d s 系统必须有额外措施保 证系统正常工作。 i e t f 将一个入侵检测系统分为四个组件：事件产生器( e v e n tg e n e r a t o r s ) ；事件分 析器( e v e n t 觚a l y z 盯s ) ；响应单元( r e s p o n s eu n i t s ) ；事件数据库( e v e n td a t a b a s e s ) 。 事件产生器的目的是从整个计算环境中获得事件，并向系统的其他部分提供此事 件。事件分析器分析得到的数据，并产生分析结果。响应单元则是对分析结果作出作出 反应的功能单元，它可以作出切断连接、改变文件属性等强烈反应，也可以只是简单的 5 入侵检测中的数据包采样算法研究及实现 报警。事件数据库是存放各种中间和最终数据的地方的统称，它可以是复杂的数据库， 也可以是简单的文本文件。- 入侵检测作为一种积极主动地安全防护技术，提供了对内部攻击、外部攻击和误 操作的实时保护，在网络系统受到危害之前拦截和响应入侵。入侵检测系统面临的最主 要挑战有两个：一个是漏检率太高，一个是检测速度太慢。现有的入侵检测系统还有其 他技术上的致命弱点。因此，可以这样说，入侵检测产品仍具有较大的发展空间，从技 术途径来讲，除了完善常规的、传统的技术( 模式识别和完整性检测) 外，应重点加强 统计分析的相关技术研究。 但无论如何，入侵检测不是对所有的入侵都能够及时发现的，即使拥有当前最强大 的入侵检测系统，如果不及时修补网络中的安全漏洞的话，安全也无从谈起。 1 3 网络测试中的数据包采样技术概述 1 3 1 网络测试研究的历史 i m e m 就是一个巨大的分布式系统，它组成了网络的基础结构，连接在i n t 锄e t 中的 主机产生了庞大的数据流，主机之间的通信协议控制了网络中的数据包传输。主机对带 宽的需求的易变性以及主机之间交互的复杂性，对网络提供商来说是一个巨大的挑战， 因为网络提供商必须确保网络资源根据需要合理的配置。网络测试的目标就是为网络控 制提供信息，网络提供商以此来描述网络状态，带宽需求以及网络的性能。 对i n t e n l e t 服务提供商来说，它获得的关于网络的信息总觉得太少了。因为不太可 能实时的测量网络质量。然而，对于网络测试设备，它将面的信息却又太多了，因为它 需要收集海量的网络数据。一个大的服务提供商，需要收集成千上万个网络接口的数据。 一个高速网络接口一天就可以产生数百g 的流量。而且，收集数据的速率也在不断增加。 因此，网络中需要测量的流量远远大与网络测量设备的处理能力。 之所以没有在最初就把网络测试在i n t 涨t 设计之初就构建进去，是因为在最初设 计i n t e m e t 时，并不需要像现在这样的测试能力。i n t e n l e t 一个重要的优点就是，终端并 不是需要了解链接入网络的其它终端的细节。更进一步，数据从一个主机到另一个主机 是通过标准的接口，而具体的下层协议是对主机是透明的。例如，传输层为主机传输数 据到另一个主机提供了一个媒介：下层协议来与路由器通信，以及在物理链路上进行传 输。因为i n t e m e t 的分层设计，所以很难在标准的i n t e n l e t 协议族中加入网络测试相关的 机制。 最初为i n t e m e t 设计的b e s te 硒r t 服务模型，也缺少网络测试能力。b e s te 肺r t 没 有为测试的一致性提供硬性的保证。连接的鲁棒性是网络层的任务，因此不需要终端的 参与。在路由器中，所有流量都是按统一的标准来服务，并没有对不同流量进行区分。 6 硕士学位论文 目前，路由器只能报告流量的统计信息。 1 3 2 网络中数据包采样技术的背景 伴随飞速增加的带宽、实时和多媒体应用的普及、几乎持续的以指数规律增长的规 模，i m e 删的控制机制和行为特征也日趋复杂和难以理解。为了认识和理解现代互联 网络的行为特征和性能表现、保证和提高现有网络服务质量、推动互联网络和信息基础 结构的健康发展、有必要建立套完整韵网络测量体系。 于是，数据包采样技术随之产生了。数据包采样技术是实现高速网络流量监测非常 重要的关键技术之一，i e t f ( i i l t e n l e te n g i i l e e r i n g 协kf o r c e ) 的p s a m p ( p a c k e ts a i l 】p l i i 培) 工作组n 2 1 在数据包采样技术方面做了相关的标准化工作，其中定义了一种数据包采样框 架，包括数据包选择过程、分析报告产生过程以及数据导出过程。 通过数据包采样技术，网络测量设备可以只收集，分析少量的网络流量来推测整 个网络状态。虽然采样技术降低了网络测量的精确度，但它大大提升了网络测量设备的 处理能力。 数据包采样在网络测量领域，已经是其中不可分割的一个部分。随着网络带宽的 飞速增加，采样技术大大降低了网络测量设备所消耗的资源。已经广泛的使用在网络测 试设备中。例如思科的n e t f l o w 。 准确监测网络流量是网络管理的重要内容。随着i n t 锄e t 的快速发展，带宽不断增 加，在高速链路下能够实时准确地监测网络流量变得非常重要。由于监测设备软硬件性 能的限制，在高速链路中利用采样技术实现流量监测分析成为一种重要方法，也是i e t f 的i p f i x 和p s a m p 工作组推荐的方法。 流( n o w ) 是指一组具有相同属性的数据包集合最常用的流定义是五元组，即源 i p 地址、目的i p 地址、源端口号、目的端口号和协议类型! 基于流的流量特征分析是协 议研究、网络管理以及流量计费等的基础，特别是在高速链路下估计流大小分布在网络测 量和管理中有很多应用。首先，流大小分布有助于服务供应商推断网络的使用模式，有 利于计费、架构设计以及资源分配等。其次，利用流大小分布可以检测出动态网络中影 响网络模式的事件以及估计流量矩阵。此外，流大小分布也有助于i n t e m e t 安全管理， 例如发现d d o s 和i n t e m e t 蠕虫攻击。 网络流量具有动态变化的特征，业务流分布也是如此。研究表明，目前网络中的 流呈现“大象与老鼠n 3 们 的关系，即网络中很大部分的小流占据了很少的流量，而 数量比例很小的大流占据了大部分流量，传统的采样方法对于估计较小流会产生很误 差。设计用于高速网络流量分析的采样方法的最重要的两个方面是：准确性和高效性， 即采样结果要能够用尽量少的数据准确估计出原始流量的大小及流分布特征。对于监测 分析系统而言，由于受软硬件资源的限制，采样方法需要兼顾系统的处理能力。 1 3 3 网络中数据包采样技术的研究现状 7 入侵检测巾的数据包采样算法研究及实现 i e t f 的p s 脚工作组已经提供了各种包采样和过滤技术的详细描述，用于指导 包采样；i p f i x 工作组定义了将数据包转换成流记录的详细架构，可将选择的流记录打 包成i p f i x 消息并发送到指定的收集器。 采样的目的是通过少量样本获得整个样本空间某些指标的精确估计，比如估计流 量大小、流大小分布、数据包大小分布等。最简单的采样方法是固定概率采样，例如采 样概率为1 p ，则对网络数据包的采样是每p 个数据包采样一个，将其添加到流中存储。 该方法简单易于实现，可以较好地估计“大象 流。，但会严重影响“老鼠 流的准确估 计，因此不能提供准确的流大小分布，例如n e t f l o w 等。d u f f i e l d 等人提出一种自适应 采样算法，其主要思想如下：假设监测设备已经收集了一组类似于n e t f l o w 的流记录， 一段时间后，由于系统存储能力有限，其中只有小部分流可以被保存。他们使用不同的 采样概率对不同大小的流进行采样，即利用一段时间内已经收集到的流信息计算出流大 小，然后根据流大小调节采样概率，对收集的流记录进行采样，因此它是对流记录进行 离线分析和采样。k u m a r 等人提出一种可以实时分析高速链路的s g s ( s k e t c hg u i d c d s a m p l m g ) n 副采样方法。s g s 方法的主要思想是利用数据流算法估计流大小，对于每个 到来的数据包，根据流大小实时调节采样概率，对该数据包进行采样。该方法可以准确 分析流分布，并且是对数据包进行在线分析和采样。不足的是，s g s 方法没有考虑监测 系统的处理能力，在理想情况下，即系统处理能力始终满足负载时，该方法准确高效， 但实验表明，当系统处理能力受限时，该方法的准确性则迅速降低。 1 4 本文的主要研究工作和组织结构 论文所完成的研究工作包括： 1 研究了在网络测试中广泛使用的四种传统数据包采样算法，分析了它们直接应用 在高速链路入侵检测中出现的不适用。 2 研究了主要的入侵攻击方式，详细统计了两个数据集中的入侵数据包在时间上的 分布，总结出了入侵在时间上具有连续性这一特点。基于入侵的这个特点，设计并实现 了一种应用于高速链路入侵检测中的数据包采样算法。 3 研究了入侵检测系统s n o r t 的结构和特点，通过对s n o n 进行修改，增强其功能， 使其能作为千兆链路上数据包采样算法的实验平台。 4 在以上基础上，搭建真实高速链路环境，对新设计的算法进行实验，验证了其有 比较优越的性能。 本文在前人的基础上，消化现有研究成果，以提高入侵检测的速度和检测成功率为 目标，针对数据包采样算法和入侵检测进行了深入的研究。在对常用入侵手段的研究中， 发现了入侵的特点，并基于此特点设计和实现了一种应用于入侵检测的数据包采样算 法。本论文分为5 章，组织结构如下： 硕士学位论文 第1 章：叙述了入侵检测技术及其产生的背景， 同时介绍了数据包采样技术的主 要应用领域和研究现状，阐述了对应用于入侵检测中的数据包采样技术进行研究的重要 意义，并对本论文的主要研究工作和论文组织结构进行了说明。 第2 章：介绍入侵检测中的数据包采样算法的研究现状。分析了四种目前在网络 监测中常用的传统数据包采样算法，三种常用的入侵检测方法，以及在把传统数据包采 样算法应用在入侵检测中时出现的问题。最后得出结论，目前的数据包采样算法并不适 用高速链路入侵检测，需要重新设计一种应用于高速链路入侵检测的数据包采样算法。 第3 章：分析了一些常用入侵攻击方式，得出其一个重要的特点：入侵在时间上 有连续性，即：如果在一个源地址上的流中发现了一定数量的入侵，那么可以认为在下 一时间段中它的包有很大概率也是入侵。基于此设计了一种应用于高速链路入侵检测的 数据包采样算法。 第4 章：介绍了一个开源入侵防御系统s n o r t ，分析了s n o n 的特点与体系结构。本 章对s n o r t 进行修改，使其能作为高速链路下的实验平台。 第5 章：搭建真实网络环境，在上一章所设计的实验平台上，对采样算法进行实 验，并与传统采样算法进行对比。 最后，对全文的研究做出总结并对未来的工作进行了展望。 9 第2 章传统数据包采样算法对入侵检测的影响 数据包采样方法广泛应用在了网络测量设备( 例如：思科的n e t f l o w ) 中，用来减 少需要测量的总流量。数据包采样中一个关键问题是，它本质上是一种有损耗的过程， 会丢弃可能有用的信息。 在本章中，将介绍前人在采样技术对入侵检测的影响方面所做的工作。j i a n n i n g m a i n 刚等人分析了四种常用的采样算法：随机包采样算法( r a n d o mp a c k c t 鲫1 】p l m g ) ，随 机流采样算法( i h n d o mn o w 髭m p l 蚴，灵活采样算法( s m a r ts a m p l i n g ) 和采样并持有算法 ( s 锄p l e - 锄d h o l d ) 。检测的数据集为两种常用的入侵：流量异常和端口扫描。用作入 侵检测的算法考察三种：基于小波的流量异常检测技术和两种端口扫描检测技术。最终 结果将证明，四种采样算法在千兆链路中都将大大降低这三种检测算法的检测率。 2 1数据包采样算法 采样技术被引入到网络测量中，用来减轻高速网络中测量设备的内存和c p u 的消 耗n 7 1 。有两种采样技术被广泛的使用：包采样和流采样。包采样可以在使用很少c p u 能力和内存的前提下方便的实现。然而，进一步研究发现n 邮n 引，包采样不能准确的推断 出流的统计特性。自适应包采样技术可以调整采样速率，从而降低内存消耗或者增加统 计的准确度。 流采样的出现克服了包采样的局限性。它可以提高准确率，但是需要消耗更多的 内存和c p u n 。为了部分的解决这些问题，特别是为了减少内存和带宽消耗，灵活采样 算法( s m a ns 锄p l i n g ) n 8 3 和采样并持有算法( s 锄p l e - a n d h o l d ) 啪1 两种流采样算法被提出 了。 下面是这四种常用的数据包采样算法： 1 随机包采样( r a n d o mp a c k e t 鼢m p l i l l g ) ： 随机包采样简单的以一个小的概率r 1 来采 样一个包。被采样的流量用5 元组( 源i p 地址，目的i p 地址，源端口号，目的端 口号，协议) 来区分。 2 。 随机流采样( r a n d o mf l o ws a m p l i n g ) ：随机流采样首先根据五元组，把数据包分配进 一个流。然后，以概率p l 来对流进行采样。 3 灵活采样算法( s m a n 鼢m p l i n g ) ：由d u 衔e l d 1 8 1 提出，这个算法是一种依赖于大小的 流记录选择算法。给定一个流大小的集合s = 五，以l ，s m a r ts a m p l i n g 将以概 率p ( x ) 选择一个大小为x 的流来形成一个新的流集合s 。算法的目标是通过采样计 算出来的总字节数x = 工p o ) 尽可能的接近真实流量的总字节数x2 x 。 1 0 硕士学位论文 下面的公式用来在保持x 比较小和减少采样大小n = l s i 之间取一个折中： 如果而 = z