（计算机系统结构专业论文）ids测试系统aoles的设计与实现.pdf

摘要 摘要 1 d s 测试系统a o l e s 的设计与实现 汪洋 龚俭东南大学 随着对入侵检测技术研究的发展 出现了许多入侵检测系统 因此对各种入侵检测系统 的功能和性能评估也形成了需求 在需求的推动之下 对于i d s 系统的测试也相应处于不 断发展之中 1 9 9 6 年n i c h o l a sj p u k e t z a 等人提出通过模拟被监测系统上用户韵行为来测试 i d s 系统的方法 1 9 9 8 1 9 9 9 年m i t 的l i c o l nl a b o r a t o r y 通过模拟美军空军基地的日常网 络流量进行了i d s 系统豹两次测试 2 0 0 0 年时 m i t 在测试数据中加入了对于d d o s d i s t r i b u t e dd e n yo fs e r v i c e 攻击的模拟 2 0 0 1 年t e r r e n e ec h a m p i o n 等人专门对于i d s 系统检测d d o s 攻击的能力进行了测量 同时还考虑了i d s 系统响应功能的评测 与此同 时 一些商业厂家也给出了自己的入侵检测系统的评估方法 本文在对已有测试方法研究的基础上指出在测试过程中背景流量韵应用方式对测试结 果有重要的影响 不使用背景流量只能进行功能测试 不能反映被测系统在实际环境中的工 作情况 使用重复相同的或髓机的背景流量不适用于测试进行协议内容分析的i d s 系统 使用从真实环境中采集的背景流量 测试结果会受到背景流量中未知数据韵干扰 且牵涉到 数据的隐私问题 因此使用测试平台模拟实际的网络流量是一种很好的解决方案 本文根据已有的测试工作 列举了一组用于i d s 测试的重要指标 这组指标可以被按 照功能测试 性能测试和稳定性测试分为三类 并且根据各种测试指标席9 定了一个较为完 整的评估指标集 该指标集是功能指标 性能指标和稳定性指标的量化体现 本文指出n i c h o l a sj p u k e t z a 等人的评估工作和m i t 的评估工作在构造网络背景流量时 采用的是自项向下的方法 既通过模拟各种应用层程序的行为来生成网络流量 这种方法受 到应用层程序功能复杂和数量众多的制约 在实现上有很大的困难 并且这种方法也不能有 效的控制背景流量的大小和概率特性 本文提出了一种模拟协议栈的工作过程 使用概率参 数和协议模板相结合来构造网络背景流量的方法 实验数据表明本文的背景流量构造方法能 够克服已有背景流量构造方法遇到的困难 通过使用概率参数可以很好韵控制背景流量的大 小平 流量中的报文到达率 通过使用模板可以完成特定应用层协议的交互过程和协议内容的 模拟 本文构造的背景流量可以很好的模拟目前常见的网络环境 本文设计了入侵检测系统测试平台a o l e s 的体系结构 接着对a o l e s 的测试数据生 成 测试数据播放和测试结果评分的相关算法分别进行了介绍 在测试结果的评分过程中 a o l e s 通过引入同步点的概念来解决已有测试在评分上遇到的困难 依靠同步点来进行评 分使得评分过程更加简单和准确 本文最后利用m i t 数据和a o l e s 数据对s n o r t 进行了对比测试 测试结果表明由于攻 击实例过于陈旧 使用m i t 的数据对目前主流的i d s 进行测试不能取得有意义韵结果 而 a o l e s 的测试数据能够对入侵检测系统进行有效的测试 测试结果能够很好的反映被测系 统的工作情况 关键词 入侵检测系统 背景流量 a o l e s 同步点 a b s t r a c t a b s t r a c t t h e d e s i g na n di m p l e m e n t a t i o no f i d s t e s ts y s t e r n a o l e s w a n g y a n g g o n gj i a ns o u t h e a s tu n i v e r s i t y w mt h ed e v e l o p m e n to fi n t r u s i o nd e t e c t i o nt e c h n o l o g y m o r ea n dm o r ei d s s i n t r u s i o n d e t e c t i o ns y s t e m s a 陀b e i n gu s e d t h ef u n c t i o na n dp e r f o r m a n c eo fl d ss h o u l db ee v a l u a t e d t h sr e q u i r e m e n tp r o m o t e st h ed e v e l o p m e n to fi d se v a l u a t i o nt e c h n o l o g y l u1 9 9 6 n i c h o l a s j p u k e t z a e t a lu s e ds c r i p tt os i m u l a t eu s e rb e h a v i o r o fm o n i t o r e ds y s t e mt 0t e s ti d s i n1 9 9 8a n d 1 9 9 9 m i t sl i c o l nl a b o r a t o r ys i m u l a t e dt h ed a i l yn e t w o r kf l o wo f a l lu sa i rf o r c eb a s et ot e s t l d s l n2 0 0 0 m 疆a d d e dd e l o s d i s t r i b u t e dd e n yo f s e r v i c e d a t ai r i t et h ea t t a c kd a t a s e t i n2 0 0 1 t e r r e n c ec h a m p i o n s p e c i a l l ye v a l u a t e dt h ei d s sa b i l i t yt od e t e c td d o s a t t a c ka n dh i sw o r ka l s o e v a l u a t e dt h ea u t o m a t i cr e s p o n s ef u n c t i o no f t e s t e di d sa tt h es a m et i m e s o m eb u s i n e s sc o m p a n y a l s od e s c r i b e dt h e i ri d se v a l u a t i o nm e t h o dj ut h e s ey e a r s b a s e do nt h ek n o w ni d se v a l u a t i o nm e t h o d t h i sp a p e ri n d i c a t e s 也a th e wt h eb a c k g r o u n d f l o wu s e di nt h ee v a l u a t i o n d i r e c t l y a f f e c t st h ee v a l u a t i o nf e s u l t t h ee v a l u a t i o nw i t h o u t b a c k g r o u n df l o wc a l lo n l yb eu s e dt ot e s tt h ef u n c t i o no fi d s a n dt h er e s u l tc a nn o ts h o w t h e l d s ss t a t u si nr e a lw e r k i n ge n v i r o n m e n t t h es a m eo rr a n d o mb a c k g r o u n df l o wi sn o ta b l et ot e s t i d sw h i c ha n a l y s e st h ep r o t o c o lc o n t e n t u s i n gt h ed a t ac o l l e c t e df r o mr e a ln e t w o r ke n v i r o n m e n t m a y c a u s e p r o b l e m s s u c ha su n k o w n a t t a c k o r e x p o s u r e o f p r i v a t e i n f o r m a t i o n f r o m t h e s e d a t a s o t h a tu s i n gt e s t b e dt op r o d u c en e t w o r kb a c k g r o u n df l o wi sa l ll d e a lm e t h o d t h i sp a p e re n u m e r a t e sas e to fi d sb e n c h m a r km e t r i c s a l it h em e t r i c sc a l lb ec l a s s i f i e di n t o f u n c t i o nt e s tb e n c h m a r kp e r f o r m a n c et e s tb e n c h m a r ka n ds t a b i l i t yt e s tb e n c h m a r k t h i sp a p e r a l s ou s e st h e s eb e n c h m a r km e t r i c st od e s i g nab e n c h m a r km e t r i t ss e t n i c h o l a sj p u k e t z aa n dm 1 t g e n e r a t e d t e s tb a c k g r o u n df l o w sb y s i m u l a t i n gt h eb e h a v i o r so f a p p l i c a t i o np r o g r a m s b e c a u s et h e r e a r el o t so fa p p l i c a t i o np r o g r a m s a n de a c ho ft h e mh a s d i f f e r e n tf u n c t i o n s u s i n gt h i sm e t h o dt os i m u l a t eb a c k g r o u n df l o wi sv e r yc o s t l y t h i sm e t h o d a l s oc a nn o te f f e c t i v e t yc e n t r e lt h ef l o ws p e e da n di 坞o t h e rc h a r a c t e r i s t i c s t h i sp a p e rh a s d e s i g n e dam e t h o d w h i c hu s e dp m b a h i l i t ym o d e l a n dt e m p l a t ef i l et od e s c r i b et h ef e a t u r e so f b a c k g r o u n df l o wa n ds i m u l a t e dt h ef u n c t i o no fp r o t o c o ls t a c kt op r o d u c eb a c k g m u n df l o w t h e e x p e r i m e n tr e s u l ts h o w s t h a tp r o b a b i l i t ym o d e lc a n e f f e c t i v e l yc q q t r o lt h es p e e da n dp a c k e ta r r i v e r a t eo fb a c k g r o u n df l o w t h ee x p e r i m e n tr e s u l ta l s oi n d i c a t e st h a tw i t ht e m p l a t ef i l e t h ep r o c e s s a n dc o n t e n to f c o m m u n i c a t i o nc a nb es i m u l a t e da sw e l l t h i sp a p e rh a sd e s i g n e dt h eo v e r a l ls t r u c t u r eo fa o l e sa n di n t r o d u c e dt h em e t h o d so ft e s t d a t ac o n s t r u c t i o n t e s td a t ap l a y b a c ka n dt e s tr e s u l tb e n c h m a r k w h i t h i nt h eb e n c h m a r k a o l e s u s e ds y np o i n tt or e s o v l et h ed i 施c u l t ye n c o u n t e r e di nm i t st e s t t h i sm e t h o d e dh a sb e e ns h o w n t oh em o r es i m p l ea n da c c u r a t e a tl a s t t h i sp a p e ru s e dm t sd a t a s e ta n da 0 毛e s sd a t a s e tt o 把s ts n o r tc o n t r a s t i v e l y 羊魏e r e s u l ts h o w st h a tm i t sa t t a c kd a t ai so u 掰a t e da n ds h o u l dn o th eu s e dt ot e s tu pt od a t ei d s a o l e s st e s td a t ai sv a l i da n dr e s u l tc a ns h o wt h er e a ls t a t u so f t e s t e di d s k e y w o r d i n t r u s i o n d e t e c ts y s t e m b a c k g r o u n d f l o w a o l e s s y n p o i n t i i 东南大学学德论文独麓性声鹾 本人声明所呈交的学像论文是我个人在导师搬导下进行的研究工作及取缛 静研究成采 尽我掰帮 豫了文中特弱燕班拣淀帮致瀣的麓方辩 论文串不 包含其他人已经发表或撰写过的研究成果 也不包含为获得东南大学或麓它 教育桃橡的学位或诞书面使用过的毒手料 与我一圈工作的同志对本研究 j 唾傲 豹任穗薅献均已在论文中作了明确的说明著表示了滚意 研究生签名 i 兰叠日期 望世 东南大学学位论文使用授权声明 东南大学 中国科学技术信息研究所 国家图书馆有投缣窝本人所送交学位 论文的复印件和电子文档 可以采用影印 缩印或其他复制手段保存论文 本人魄予文挡约内容秘纸质论文赡内容籀一致 除在保密麓内的保密论文 外 允许论文被查瀚和借阕 可以公布 包括聱j 登 论文静众部或部分内容 论文的公布 包括刊登 授权东南大学研究生院办理 研究生签名 逛连 导师签名 筮 网期 趔 第一章绪论 第一章绪论 1 1 入侵检测及其实现 笪联网络自诞生馘来就一壹箍l 裕着安全问题 入侵者希望通过挖掘操作系统和皮朔程序 的弱点溅者缺陷 b u g 米侵入系统 入侵被定义为试圈破坏主机系统戚计算机网络的机密性 完整性和可用性或绕过已经存在的安全政策的行为 出于系统的复杂性 配置和管理上的错 误 特投媚户滥用权力 致使键多计箨搬系统都存在饕安全漏洞 印使采取最安全的保护 措施 计算机系统也不缝迭至 绝对安全 建立毪较黎荡实现酌安全系统 再采翔入侵检溯系 统作为嶷全辅助系统怒目前普遍采用方法 入侵检测 1 是指通过对计算机网络或计算机系统中的若干关键点收集信息并进行分析 从中发现网络或系统申是否有违反安众策略的行为期被攻击迹象的过程 按照分析数据的方 式不瓣 入授控彗 l 技零可嚣分为 髯常检涮窝滚蠲梭溅 入艇检测钧发展经历了以下几个阶段 最早的入侵检测是系统管理员通过靛视器监视 系统用户的行为 通j 过发现用户的异常行为来完成入侵检测 2 0 馓纪七八十年代 人工审 计系统同志成为一种入侵检测方法 但是由于信息黛的巨大和人工分析的效率低1 j 该方法 哭能稼为发生安全事传蔟的一秘取渡方法 无法实骥瓣入经的实时梭溅 九十年代警翘透过 程序寅时审计系统箕悫完成了对入镘静实时检测 班上方法都逵基予主机系统豹 1 9 9 0 年 出现了通过网络监听进行入侵检测的系统 1 9 9 1 年出现分布式入侵检测体系 2 0 世纪9 0 年代中腑期入侵检测的体系结构的研究又有了许多发展 例如m a r k c r o s b i e 和g e n e s p a f f o r d 躲自治代理概念被广泛接受 入投捡溺系统跫羽来发瑷彝酶止入僮麓系统 嚣嚣通零将a 侵缎涮系统分秀鏊予主辊豹 入侵检测系统h i d s h o s tb a s e di n t r u s i o nd e t e c t i o ns y s t e m 和熬子弼络的入侵检测系统 n i d s n e t w o r kb a s e di n t r u s i o nd e t e c t i o ns y s t e m 基于主机的i d s 通常运行在被保护主机上 通过分析主机的目志 进程列表和进辊的系统调用序列米进行入侵检测 基于网络的入侵检 测系统遗过分辑弱络上的流量寒发瓣存在的久侵露为 1 2 论文研究背景 瓣蕊对灭棱捡测按謇疆究貔发鼹 窭瑗了诲多入经捡测系统 瓣魏霹各穆 橙梭溺系统 的功能和性能评估也澎戒 需求 现有韵对入侵检测系统评估研究的目的在于 1 给出对 特定i d s 系统的功能 性能的评估 使用入侵检测系统的组织必须知道自己使用的入侵检测 系统的二c 作效率如何 并且由此决定对此系统的依赖程度的火小 雌及是否需要使用其他的 安全措施 2 逶逑辩溅试结栗鲍分橱 改进入侵撩测的算法 3 总结现有舅法蕊不足 发现新麴入侵检测算法 4 探讨一释统一豹测试方法和评话标准 评储入侵检测系统存在的难点为 鉴别一个特定i d s 系统将遇到的攻击集越十分周难 甚至是不可行的 原闳有三 首先目前已知的攻击技术的总数目十分巨大 其次一个特定的 i d s 系统不会遇到过去发现的所有攻击 最后攻击前会找寻系统新的漏洞 并且以此构造糖 旋攻拳方法 i d s 豹王捧效率将受到萁赝在静瓣络中众多条 孛麓彰噙 澄努统一豹 测试方法和评估标准 虽然u cd a v i s 分校提出了c i d f t 1 ec o m m o ni n t r u s i o nd e t e c t i o n 东南大学硕士学位论文 f r a m e w o r ka r c h i t e c t u r e i e t f 的i d w g 也提出了相应的安全检测框架模型 但是到目 前为止没有入侵检测系统的公认框架标准 所以要针对实现各异的入侵检测系统制定统一的 测试方法和评估标准十分困难 至今没有研究机构给出一种适用的评估框架 因此对于各种 入侵检测系统没有办法做出有效的量化比较 构造测试所需的网络环境 背景数据 攻击 数据以及对测试结果进行分析是耗时和工作量巨大的 网络的发展和新攻击的不断出现推动了入侵检测系统的发展和完善 入侵检测系统的测 试技术也在不断进步 从9 0 年代中期 测试基于主机的入侵检测系统 发展为测试基于网 络的入侵检测系统 测试混合型入侵检测系统 目前的发展方向是测试具有协同和响应功能 的大规模分布式网络入侵检测系统 测试所使用的方法也从提供主机的审计文件发展到提供 模拟网络流量的静态数据集 由离线的黑盒测试发展为在线的实时测试 测试平台应该能够 提供各种特定场景和攻击数据 具有模拟大规模网络流景和分布式攻击的能力 目前的测试 工作还侧重于滥用检测系统的测试 对于采用异常检测算法 免疫学算法的新式系统的测试 方法还有待完善 a o l e s a d a p t a b l eo f f l i n ee v a l u a t i o ns y s t e m 是由华东北地区网络中心设计的用于测试 基于网络的入侵检测系统的测试平台 a o l e s 能够根据需求生成多种网络环境下的背景数 据流和特定的攻击数据流 能够将生成的数据集进行播放和存储 能够利用存储的数据进行 重复测试 能够对测试数据进行分析并给出测试结果 1 3 入侵检测评估工作的现状 随着入侵检测系统的不断发展 对于i d s 系统的测试也相应处于不断发展之中 1 9 9 6 年n i c h o l a sj p u k e t z a 等人提出通过模拟被监测系统上用户的行为来测试i d s 系统的方法 1 9 9 8 1 9 9 9 年m i t 的l i c o l nl a b o r a t o r y 通过模拟美军空军基地的日常网络流量进行了 i d s 系统的两次测试 2 0 0 0 年时 m i t 在测试数据中加入了对于d d o s d i s t r i b u t e dd e n yo f s e r v i c e 攻击的模拟 2 0 0 1 年t e r r e n c ec h a m p i o n 等人专门对于i d s 系统检测d d o s 攻击 的能力进行了测量 同时还考虑了i d s 系统响应功能的评测 与此同时 一些商业厂家也 给出了自己的入侵检测系统韵评估方法 1 3 1n i c h o l a sj p u k e t z a 等人的工作 n i c h o l a sj p u k e t z a 等人的测试方法针对当时已有的i d s 系统 提出检测范围 检测的系 统开销 高负荷下的检测能力是三项通用评估指标 并对应三项指标进行了入侵鉴别测试 资源使用率测试 高负荷测试 每项测试包含两个步骤 测试用例选择和测试过程 测试用 例的选择基于分类的方法 对已有攻击进行分类 然后从每一个类别中挑选一个攻击用于测 试 测试在一个独立的局域网上进行 使 1 iu n i x 平台上的e x p e c t 和t c l 来运行一段脚本以 模拟一个计算机的用户 同时运行多个脚本就可以模拟出多个用户使用多台计算机的效果 通过组合不同的脚本 可以同时模拟正常用户的行为和入侵者的行为 测试过程通过一些精 心设计的测试场景来实现 每一个测试场景均由下面的基本测试过程组合而成 1 创建或 者选择测试脚本集 测试脚本集中的脚本描述了用于本次测试的正常用户行为和攻击行为 2 建立必要的测试环境 如创建测试环境中计算机之间系统级的底层通讯 3 启动i d s 4 运行测试脚本 5 分析i d s 的输山 通过对照i d s 的输出与模拟攻击行为的脚本可以 给出被 1 4i d s 的检测率 通过测试过程中纪录的资源使用状况可以给出i d s 的资源使用率 n i c h o l a sj p u k e t z a 等人运用上述测试方法对u cd a v i s 开发的n e t w o r ks e c u r i t ym o n i t o r n s m 2 第一章螭论 进行了测试 测试结粜表明该测试方法能够提供和i d s 性能相关的有用信息 但即使是针对 当时的i d s 系统而言 该测试方法还存在一些缺陷 1 不能够完全模拟使用图形界面用户 熬行冀 2 溅试方法是为捷矮灌弱羧测冀法熬i d s 浚诗麴 霹予攘羯异霉检溅算法熬i d s 不适羽 n i c h o l a sj p u k e t z a 等人的方法的要点是设置了一缀番不相同的i d s 邋用的性能 目标 使得测试工作不再是针对某个特定系统 l 3 2m i t 熬王终 m 1 1 饷林肯实验室 l i n c o l nl a b o r a t o r y 在d a r p a 资助下所开展的i d s 评借一亡作是目 前国际上最为领先和兜魅的 他们在1 9 9 8 年为研究入侵检测系统赢进行了第一次系统性的实 嚣测试 隽参燕溅试静6 个系统了鬟苇 l 封趣戆溅试鬈壤拳l 溅斌蘸数攘集 透过熏盒涮斌撰蜀 测试结聚 对钡8 试绪粜的分析方面 m i t 通过使用接受者运行特禚 r o c 蓝线来搦示被测系 统检测率和误报率的函数关系 m i t 的测试数据模拟了一个美军空馨基地的扫常嗣络流量 通过使用由a f r l a i r f o r c e r e s e a r c h l a b o r a t o r y 修改过的u n i x 内核 一个具有十几台 e 作站 豹网络掰以模拟出一个具有超过1 0 0 0 台王作蛄鞠1 0 0 个用户靛网络 这个网络县髯掰个逻辑 部势 内部 弼鲐 基逢内部 和 外部 翻知 i n t e r n e t 通过路由器实现互联 林肯实黢室通过这个独立的计算机剐络制造了适应性数据和测试数据 其中适应性数据和测 试数据恩有相同的流墩特征 但是适应性数据只含有已知的攻击数搬 而测试数据中具有新 的攻击数据 透应性数撼用来对使用黪常检测算法的系统进行训练 丽钡4 试数据用予正式测 试 9 8 每弱玫老粪鹫燕罄集孛在u n i x 赣壶程囊载竣蠢方瑟 测试籀维采表臻吝个靛溅系统 对于搛测 p r o b e 和本地超户权限窃取 u 2 r 攻击的检铡情况眈较好 而对于远穰获得本地 权限 r 2 1 和新型韵o o s 攻击的检测情况比较差 9 8 年的测试结粜袁明下一步的入侵检测 研究不能只基于通过使用攻击特征来榆测攻击的方法 而是应该研究能够发现新攻击的算 法 1 9 9 9 年有8 个系统参加了测试 菸中包括了使鲻髯常检测算法的系统 9 9 年m 糟韵测试 沿用t 9 8 年的框架 假它涵盖了更多的攻击类型 9 9 年测试加入的新特征为 加入t n t 工作站作为被攻击对致 背景数据中谢t n t 产生的数据 攻击数据集中增加了对予n t 的攻 击 增加了内部攻击 不再提供披攻击主机上全部文件系统的d u m p 数据 只提供文件 系统羹鞭都分戆痿惑 因为攻击数据是被人为的混入背景数据的 因此攻击数据没有办法和背景数据进行交 互 例如栈溢出攻击可以使被攻击的w e b 服务器停止工作 但背景流量中和该w e b 服务器交互的数据可能还会继续被播放 剔除背景流量中已有的攻击数据同样也是很困难的 2 2 5 模拟实际的网络环境 通过测试平台人工构造背景流量 5 m i t 的林肯实验室采用了这种方式 精心构造的测试数据模拟了一个美军空军基地的日 常网络流量 使用测试平台来生成测试数据是目前最为通用的测试方法 1 这种方法的 好处在于可以确认背景流量中不会包含任何攻击数据 测试的数据集可以被用于重复测试 由于不牵涉到隐私数据 测试的数据集也可以用于公开发布 缺点在于构造一个测试平台冉勺 花费和工作量都很大 构造的背景流量只能反映一个特定的网络环境 例如m i t 模拟的网络 拓扑简单 背景流量很小 不能用于测试n i d s 在各种网络环境中的表现 虽然通过测试平台人工构造背景流量也存在一些问题 但是通过和其他4 种方法的比较 这种方法在实现难度和测试效果上是晶可行和晟实用的 2 3 测试指标的选取 2 3 1 测试指标的误选 目前由于没有统一的测试标准 很多机构在选择测试指标的时候仅仅考虑自己设备的情 况 有些指标甚至对测试结果产生误导 例如有些机构使用路由器等网络设各的测试指标端 口吞吐率来测试i d s 表2 吞吐率测试 1 系统端口到达流量攻击流量在流量中的比例检测率 j a 1 g b p s 1 0 8 0 1 b 1 g b p s 1 0 1 0 0 从表2 的数据米看 在相同的端口到达流量f 系统b 比系统a 具有更好的检测率 但是通常i d s 只处理流量中的特定报文 所以到达i d s 端口的报文并不等于i d s 实际处理 9 东南大学硕士学位论文 的报文 i d s 实际处理的流量和i d s 的检测算法有关 如果系统a 是对所有的报文按照会 话进行重组后进行分析 而b 系统只对特定协议和端1 3 的报文进行分析 而测试时使用的 攻击类型正好被b 系统的检测范围覆盖 那么就会出现以上的结果 但是此时a 系统比b 系统处理了更多的网络流量 并且比b 系统有更广的检测范围 所以无法确定在实际使用 环境中b 系统的检测能力会优于a 系统 上面的例子说明在对i d s 进行测试时要能够确定 哪些测试指标是不合适的 并选取一组合理的综合指标 2 3 2 测试指标的漏选 由于i d s 的功能越来越复杂 因此在进行i d s 测试的时候很难确认需要测试哪些指标 从而导致漏选了某些测试指标 本文的研究发现如下测试指标常常被i d s 测试忽略 1 规则容量和规则更新复杂度的指标 目前的i d s 大都使用滥用检测算法 因此需要通过规则来描述异常行为 规则数的多 少了决定了i d s 的检测范围 但是规则数的增加和更新规则是否会对i d s 的处理能力造成 影响很少有测试来进行衡量 通常情况下较小的规则集会使i d s 具有较高的处理能力 图2 n i d s 的实现逻辑 如图2 所示 n i d s 通常具有报文采集 报文过滤 报文分类 报文拼装和特征匹配几 个逻辑层次 在实现这些功能的时捩要依靠软硬件的合作来完成 各种n i d s 在实现这些逻 辑功能层次的时候 软硬件分工的界限不同 i d s 在检测过程中要用到如h a s h 模式匹配等 关键算法 而这些算法也可以分别通过硬件和软件实现 硬件实现的优点是 可以有较高的 运算速度 系统c p u 资源耗费小 但是缺点在于相应的规则容量小 更新复杂 软件实现的 优点是 可以支持很大的规则数目 规则更新速度快 但是缺点是运算速度和硬件有数量级 上的差异 对于系统的资源耗费量很大 由于以上的特点 对于只配置少数规则的单项测试 靠硬件实现的系统在性能上比靠软件实现的系统优越 但是如果要实现规则的动态更新 靠 软件实现的系统在性能上比靠硬件实现的系统优越 所以规则容量和规则更新复杂度的测昔 可以综合衡量各种系统实现方法 一一v圜且一童 萤一v烈儿一 第二肇入 受检测系统涮谴方睦 2 1 系绕的可靠性指标 系统的质量指标包括性能指标和可靠性指标两类 目前对于i d s 的测试只进行了性能 揍蠡鹣涮慧 共浚奏遵瑟可靠性指标鹣测量 i d s 宙嫒传帮菰俘嚣个辩分组成 软黪耨分x 包括搡作系统和i d s 的应用软 串 磷件和操作系统鲍可靠性指标邋常自提供商提供 不需 要进行专门的测量 翻此对于i d s 可靠性的测量主簧是对j d s 的戚用软件的可靠性进行测 量 i s o9 0 0 1 是应用于软件工程的质鬣保证标准 谯该标准中使用系统的平均无故障运行 时间 m t b f m e a n 强m eb e t w e e nf a i l u r e 来测量软l 譬系统的可靠谯 一个系统豹m t b f 可 能掇长 无法透过直接测量褥至l 税据较箨测试理论 瘫翔软铎静平均无数簿运褥对闻帮 圈3 的x 宜接相关 削w 蛰 r a t e 强3 漆筮麴凌 图3 被称为 浴盆曲线 是通过大餐软件系统的测试数据得出的 阶段2 是软件系统的稳 定运行期 在这个阶段中可以认为软件骶统出现故障的概率x 为一个常数 参加测试的i d s 的痤角软 睾被认为处于除段2 导致被测试软件系绒避入故障状态的主导因素是软传系统中 漶含的b u g 寝据对大攮软俘系统溺试结暴约统诗 款待系统麴擎筠无藏簿遮抒露闫 1 m b t f 二 具体的计算方法不是本文的研究内容 因此不做讨论 这样只要确定貉数 丑 就可以算出潞t f 研以用如下方法确定 l 由殍发强俸的嚣发筑力决定 遗过分辑该爱傣以镳牙蓑的软搏的m b t f 可钍褥囊x 鲍 韬计僮 2 邋溉高强度和加速测试得到的数据 利用参数估计的方法得出 2 4 本章小结 本章对已有的入侵检测测试方法进行了研究 从最早进行入侵检测系统的测试j 二作至 今 对 f 采用离线测试还是实时测试就存在着争论 率章总结了两种商法的优缺点 并通过 比较指出构造测试平台 通过测试平台根据测试需求离线构造测试数据用于测试是一种比较 磐豹方案 本章还对a 较捡涮系统弱潮基王作中死个对灞试缝果毫繁鬃影瘸熬翔瑟逡行了讨 论 在测试过程中背景流量的应用方式对测试结栗脊蘸要的影响 不使用背景流登必能进行 功能测试 不能反映被测系统在实际环境中的工作情况 使用重复相同的或随机的背景流量 不适用于测试进行协议内容分析的i d s 系统 使用从真实环境中来粲的背景流避 测试结 果会受到鹜景流量中来稚数据的于扰 熊牵涉到数攒豹缝私目题 馕翊测试平台援挫实际缒 疆络瀛虢是一静报好的鳃凌方案 可以根据溅试i d s 的各静需求是铡测试鼗嚣 测试数据 也可以被用于功能测试和公开发布 夕 一 j 蚺 r 一糯 象穗 犬学疆圭学霞论文 本章对目前测试中存在的问题进杼了研究 指出对i d s 的测试酋先需要合理选取测试 指标 在实际测试中存程测试指标误选靼测试指标漏逸的情况 本文通过一个例子表明不合 理戆测试獾标将产生镂谟戆溅试缝象 i d s 翁巍剐褰爨和更赣复杂度 i d s 魏可靠羧是曩蔻 大多数测试忽路韵指标 规剐容量和囊新复杂度和i d s 实际处理能力直接相关 廊该被仔 细的测鬣 i d s 的可靠性指标虽然不能反映i d s 的梭测能力的好坏 但是反映了i d s 的可 t i i j 性 因此在实际测试中也应该包含诚指标 第三章入侵检测系统评估指标 第三章入侵检测系统评估指标 入侵检测系统作为一种新型的网络设备在功能上与路由器或防火墙等传统的网络设备 有着很大的区别 因此对于入侵检测系统的评估也不能沿用已有的测试传统网络设备的指 标 例如端1 2 吞吐量 报文转发速率等 对于入侵检测系统进行评估首先需要确认使用哪些 指标进行评估 3 1 重要的评估指标 要能够对i d s 进行系统的评估t 必须提供一组量化测试指标 这些指标能够从功能 性能并 稳定性方面测试i d s 本文根据已有的入侵检测系统的评估经验 和上一章讨论的若 干问题 总结出以f 一组重要的评估指标 3 1 1 功能指标 1 检测范围 目前所有入侵检测系统的测试都含有该指标 该指标测试在理想的情况下i d s 能够检 测到的攻击数量 对于基于特征匹配的i d s 该指标检测i d s 支持的匹配规则数和将实际攻 击映射到规则的能力 对于基于异常检测的i d s 来说 由于只定义了正常的行为集合 因 此很难确定具体的检测范围 在实际测试中比较两个i d s 的检测范围存在以下问题 1 i d s 对于攻击的描述各不相同 无法确认不同的i d s 是否检测出了同一个攻击 该问题 最好的解决方法是要求i d s 使用c v e c o m m o nv u l n e r a b i l i t ya n de x p o s u r e 来描述攻击 c v e 是己知攻击或漏洞的标准化描述 2 直接比较检测范围的大小没有意义 因为不同的用户对于不同的攻击的侧重程度不伺 单纯的看i d s 的检测范围的大小不能反映i d s 对用户需求的满足程度 2 检测率 该指标测试i d s 在特定环境和特定时间段内正确检测出攻击的比率 测试该指标存在着以下难点 1 i d s 对于攻击的检测率依赖于测试时使用的攻击集合 2 i d s 对于攻击的检测率和误报率相关 通常情况下检测率越高 误报率也越高 闳此在 对比测试的时候应该是在相同的误报率水平上比较t d s 的检测率 3 i d s 对于攻击的检测率依赖于发起攻击的方式 对于同一种攻击 在直接发起该攻击的 情况下被测f d s 可以检测出 但是当经过伪装之后被测i d s 就无法检测出 通常所用的 伪装技术有 报文分片 报文内容编码 使用非正常的t c p 标志 报文加密 分布攻击 到多个会话中 从多个源点发起攻击 1 3 误报率 该指标测试i d s 在特定环境和特定时间段内错误检测攻击的比率 误报是指i d s 对正 枣掰大学硕士学馥玲文 常网络流量做出的错谈报警 测试该揩标存在着以下难点 1 i d s 的误报率依赖于工作的网络环境 不存在标准的网络环境供测试使用 2 耍确定霹终流量秘烹撬滔砖孛摄蠢链够健l i d s 产垒误摄翦方囊卡努困难 3 有狠多和实际环境相关的调整和粼置方法可醴降低i d s 的误报攀 但是狠难决定在测试 时成该使用哪种配鼹 4 r e c e i v e ro p e r a t i n gc h a r a c t e r i s t i c r o c 基m e 1 5 l r o c 藩线是m i t 撬出麓一种爱疑被涮i d s 静梭测率帮误擐率关系豹指标 盎予该指标 能够给出在不同误报宰情况下的t d s 的检测率 因此在i d s 测试中热有很重要的地位 围4 r o c 曲线 圈4 缭出了两个i d s 系统静r o c 曲线 x 轴绘出了渊试时误撤静攻击数占总攻击数的 百分比 y 轴给出了在特定误报率时系统正确检测出的攻击数占总攻击数的百分比 根据图 争可以看出系统1 的棱测率和误报率的相关性要小于系绒2 因此通过调整参数 系统1 可 以在1 6 的误报率水平1 f 达到s 0 嫠j 梭测率 丽系统2 在1 6 豹谈撤率承平f 只自 达到4 0 静梭溅率 透过r o c 整线可菇囊瓣豹反歇出 1 0 s 系统谖报率鞠检涮率煞关系 麸孬 霉 出被测i d s 在实际工作环境中的可操作性 5 对米知攻击的检测能力 该糖标溅试i d s 对予获未逶劐避瓣攻壶缒捡溯撩力 该摆稼爨m i t 静溅试王 睾营先g 入 2 0 0 0 年以前i d s 测试中使用的攻击类型大多数为基于u n i x 平台豹攻击 德是随着 w i n d o w s 系统的发展 特别是w i n d o w s2 0 0 0 的大量使用 出现了徽多针对于w i n d o w s 系统 的未知攻击 针对w i n d o w s 平台的米知攻击出现速度快且种类繁多 因此目前的i d s 必须 具有较好鼹识别未知攻鹰的能力 对予使用特征检测救系统来说这项搓标的意义誉大 因为 这类系绞只能检测其蠢特定特征静已知攻击 毽是辩予使翊吴常梭溯箨法豹穰多磷究系统 该指标能够反映异常梭测算法的好坏 6 对于攻击的标识麓力 该攘褥测试1 d s 对检测窭载玻懑躲稼瑷躯力 梭溅i d s 是否戆够透过一秘遴惩豹攻击 或漏洞鼬名字来标识攻击或仅仅是对敬击给出类别信息 从检测的角度来看 攻击特征描述 1 4 第三章入授捡潮拳缝译侮蹭耘 鹃越清楚 越商魏予降繇谟攘率 麸瓣试鹊受袭来看 瓣予玫毒播述戆统一豫释怒范他将大 大降低评分工作的难度 提高评分的准确性 7 确认攻击避番成功的姥力 该指糖测试i d s 是孬裁捡溅到对于远程系统的一个玻盎戆结果 擞多i d s 只蕤授测出 攻击的特褫 但是不能区分攻击的结果魑成功述是失败 具有该功能的i d s 能够有效的降 低误报率 该指标的测量也有助于分析i d s 对于攻击的综合和响应能力 8 安全枣抟的综台能力 该措栎颡4 试i d s 对梭测出躺安全事律进抒分析懿缝力 随着攻蠢技术羽发震 竣卷行 为变的越来越复杂 一次攻击被往会产生多个安全事件 该指标测试i d s 魑否能够将有联 系熬安全枣律进行关联从嚣捡浏出复杂麴蝗毒 例如燧敷 9 对予玻是的羧罄能力 该指标测试i d s 是否能对即将发生的攻击或对已经歼始的攻击行为的下 个步骤做出 准确的预测 具谢预警功能冉勺i d s 为主渤晌癜提供了条件 从而能更肖散的确保被保护系 统瀚正常运嚣 3 1 2 性能指标 大背景流最 f 的检溅能力 该搔撅鞭l 试在离强凌瓣鹜最漩量下i d s 的芏捧绩援 缀多基于穗辫匏i d s 在流爨增犬 时开始出域甚包 因此引越漏报 当流鬃选到菜一个阀值时 i d s 系统由干资源耗尽而停止 检测攻击 该指标也能够殷映出i d s 在遒受到拒绝服务攻击肘的工作情况 2 规则容艇和更新复杂度指标 2 3 2 节对该撞标进行了讨论 该指标用予友映i d s 猩大瓣m 集会藏靛刹嵩速更新储凝 f 的 作能力 该规则能够测鬣 d s 的检测算法在实现中的工作情况 3 1 3 系统的可靠瞧指标 i d s 作为保护主机和网络的必键性设餐 自身必须具有很商的可靠性 该指标测试i d s 耱够稳定燹数醛运行鹩乎溜辩润疆及在各辩特稼环境审i d s 静稳定瞧 测试该指标鹃雉煮 在于 对于越够长时间运行的设鍪 无法通过或接测量的手段得到设备的平均薏故障运行时 黼 s 东南大学硕士学位论文 3 2 入侵检测系统评估指标集 3 2 1 入侵检测系统评估指标集的作用 对于各种评估指标进行合理的综合运用 才能客观的反映被评估i d s 的功能和性能 完善的入侵检测系统评估指标集可以对不同的入侵检测系统进行定量的 可重复的测试 由 于没有统一的评估指标集合 目前很多机构进行的评估工作仅仅选取几个指标对参与评测的 入侵检测系统进行对比或非量化测试 2 9 是目前可以见到的最为完整的一套入侵检测系 统评估指标 3 2 2 本文制定的入侵检测系统评估指标集 论文对目前国内外各种机构给出的评估指标进行总结 归纳给出以下一个较为全面和通 用的测试指标集 测试指标分为三个部分 基本指标为i d s 必须满足的要求 功能指标反 映了i d s 应该具备的功能要求 性能指标反映了i d s 应该具有的性能要求 表格中n i d s 表示基于网络的i d s h i d s 表示基于主机的i d s 通用指标表示该指标对n