（运筹学与控制论专业论文）基于信息论的入侵检测模型优化及评估方法.pdf

摘要 摘要 入侵检测技术越来越成为信息安全系统中不可缺少的技术 入侵检测技术 的研究也是近些年信息安全研究领域的一个热点 但在审计数据的分类处理 模型的选择 入侵检测系统的评估等方面还没有一套相对成熟的数学理论 信 息论在处理信源 信道方面已经有了成熟的理论和方法 有些信息论的方法可 以借鉴并用于描述审计数据的规律性 指导检测模型的建立和评估检测效果 本文将借鉴信息论在处理相关问题时的方法 基于信息论与入侵检测的结合点 改进并创新地用于计算机入侵检测模型的优化以及评估方面 主要研究内容如 下 1 针对高效的入侵检测技术审计数据特征提取 数据压缩及评估问题 通 过对入侵检测收集的审计数据的分析 用信息熵对原始的数据集进行初步评估 然后 对数据集进行数据压缩 其中对训练模型的数据进行压缩处理应遵循数 据处理不等式 最后 计算压缩后数据集的信息冗余度 对比评估经不同方法 压缩的数据冗余度 选择较好的数据源 实验结果表明 原始数据进行的特征 提取等处理次数越少 得到的处理后的数据丢失信息越少 对同一数据集用不 同方法处理后 得到的新数据集的冗余度越大 则新数据集的实际信息熵越小 数据之间的依赖关系越强 冗余度越小 则检测传输效率越好 对比选择适中 的冗余度有利于后期的入侵检测研究 2 在入侵检测系统中如何基于给定的训练数据选择较好的异常检测模型 文中使用相对熵密度偏差作为模型之间差异的度量 通过分析模型的分布与训 练数据真实分布的差异 根据原数据本身的相依关系 使用较少的数据选择出 较好的适用的检测模型 实验结果证明 针对所给的数据 隐马氏模型要好于 马氏链模型 3 目前 入侵检测系统的漏报率和误报率高一直是困扰用户的主要问题 而入侵检测系统主要有误用型和异常型两种检测技术 根据这两种检测技术各 自的优势 将两种检测技术结合起来的方案越来越多地应用于入侵检测系统 通过引入入侵检测能力度量函数 从理论上深刻解释了系统协作的必然性 提 出了异常检测技术和误用检测技术相结合的入侵检测系统模型及其评估方法 摘要 减少了单独使用某种入侵检测技术时的误报率 从而提高系统的安全性 4 针对多入侵检测系统可信度评估问题 研究对每个入侵检测系统关注度 比例的分配策略 提出了系统整体可信度最优的求解模型 该模型揭示了可信 度期望收益 偏差和相关系数的关系 管理员可以据此产生对整体安全态势的 判断 并动态的反馈 调整网络中各个入侵检测设备 从而加强对有攻击意图 的数据进行重点检测 关键词 入侵检测异常检测冗余度熵密度偏差入侵检测能力 i i a b s t r a c t a b s t r a c t i n t r u s i o nd e t e c t i o nt e c h n o l o g yh a sb e e nb e c o m i n ga l li n d i s p e n s a b l et e c h n i q u eo f t h ei n f o r m a t i o ns e c u r i t ys y s t e m i n t r u s i o nd e t e c t i o nt e c h n o l o g yr e s e a r c hi sa l s oa r e c e n th o ti nt h ef i e l do fi n f o r m a t i o ns e c u r i t y b u tt h e r ei sn o ty e tar e l a t i v e l ym a t u r e m a t h e m a t i c a lt h e o r yi nt h ea u d i td a t ac l a s s i f i c a t i o n t h em o d e lo fc h o i c e i n t r u s i o n d e t e c t i o ns y s t e ma s s e s s m e n ta n do t h e ra s p e c t s i n f o r m a t i o nt h e o r yh a st h em a t u r e t h e o r i e sa n dm e t h o d si n d e a l i n gw i t ht h es o u r c ea n dc h a n n e l s o m ei n f o r m a t i o n t h e o r i e sa n dm e t h o d sc a nb eu s e dt od e s c r i b et h er e g u l a r i t yo fa u d i td a t a g u i d a n c et h e d e t e c t i o nm o d e lb u i l d i n g e v a l u a t eo ft h er e s u l t s t l l i sa r t i c l ew i l lr e f e r e n c e i n f o r m a t i o nt h e o r ym e t h o d si nd e a l i n gw i t hr e l a t e di s s u e s t h e s em e t h o d sa r e i n n o v a t e da n di m p r o v e df o ra s s e s s m e n ta n do p t i m i z a t i o no ft h ei n t m s i o nd e t e c t i o n m o d e lb a s e do nt h ec o m b i n a t i o np o i i l t so fi n f o r m a t i o nt h e o r ya n di n t r u s i o nd e t e c t i o n t h em a i nc o n t e n t sa r ea sf o l l o w s 1 a i m i n ga te f f i c i e n ti n t r u s i o nd e t e c t i o na u d i td a t af e a t u r ee x t r a c t i o n d a t a c o m p r e s s i o na n de v a l u a t i o ni s s u e s t h r o u g ha n a l y z i n gt h ec o l l e c t e da u d i td a t ao ft h e i n t r u s i o nd e t e c t i o n t h i sp a p e l u s e se n t r o p yo nt h et e s tr e s u l td a t as e tt om a k ea p r e l i m i n a r ya s s e s s m e n tf o rt h et r a i n i n gd a t a t h e nt h ed a t as e ti sc o m p r e s s e d t h e t r a i n i n gm o d e l sd a t af o rc o m p r e s s i o ns h o u l d f o l l o wt h er e g u l a r i t yo ft h ed a t a p r o c e s s i n gi n e q u a l i t y f i n a l l y t h er e d u n d a n c yo ft h ec o m p r e s s e dd a t as e ti sc a l c u l a t e d t h er e d u n d a n c i e so fv a r i o u sc o m p r e s s e dm e t h o d sa r ec o m p a r e da n de v a l u a t e d w r ec a n c h o o s et h eb e t t e rd a t as o u r c e e x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h el e s sf e a t u r e e x t r a c t i o nt i m e so ft h eo r i g i n a ld a t a t h el e s sl o s so fd a t ai n f o r m a t i o n o nt h es a m e d a t as e tw i t hd i f f e r e n tp r o c e s s i n gm e t h o d s t h eg r e a t e ro ft h en e wd a t as e t s r e d u n d a n c y t h es m a l l e ro ft h en e wd a t as e t sp r a c t i c a li n f o r m a t i o ne n t r o p y t h em o r e i n t e n s eo ft h ed a t ad e p e n d e n c i e s t h es m a l l e ro ft h er e d u n d a n c y t h eb e t t e ro ft h e t r a n s m i s s i o ne f f i c i e n c y a l la p p r o p r i a t er e d u n d a n c yi sc o n d u c i v et ot h el a t t e rp a r to f i n t r u s i o nd e t e c t i o n 2 w ew a n tt ok n o wh o wt oc h o o s et h eb e t t e ra n o m a l yd e t e c t i o nm o d e lb a s e do n t 1 1 et r a i n i n gd a t ai ni n t r u s i o nd e t e c t i o ns y s t e m i nt h i sp a p e r w eu s et h er e l a t i v e e n t r o p yd e n s i t yd i v e r g e n c ea sam e a s u r eo ft h em o d e l s d i f f e r e n c e t h r o u g ha n a l y z i n g t h ed i f f e r e n c eb e t w e e nt h em o d e l sd i s t r i b u t i o na n dt h et r a i n i n gd a t a sr e a ld i s t r i b u t i o n w eu s ef e wd a t at of i n dt h eb e t t e rs u i t a b l ed e t e c t i o nm o d e lb a s e do nt h ed e p e n d e n c e o f 也eo r i g i n a ld a t a t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h eh i d d e nm a r k o vm o d e li s b e t t e rt h a n 也em a r k o vc h a i nm o d e l i nv i e wo ft h e 西v e i ld a t a 3 a tp r e s e n t i n t r u s i o nd e t e c t i o ns y s t e mh a st h eh i g hf a l s en e g a t i v er a t ea n d f a l s ep o s i t i v er a t e t h i sh a sa l w a y sb e e nam a j o rp r o b l e mt ot h eu s e r a n di n t r u s i o n 1 1 1 a b s t r a c t d e t e c t i o ns y s t e m m a i n l yh a st w od e t e c t i o nt e c h n o l o g i e s m i s u s ed e t e c t i o na n d a n o m a l yd e t e c t i o n a c c o r d i n g t ot w od e t e c t i o n t e c h n o l o g i e s b e n e f i t s t h e c o l l a b o r a t i v ed e t e c t i o ni si n c r e a s i n g l ya p p l i e dt oi n t r u s i o nd e t e c t i o ns y s t e m b y i n t r o d u c i n gam e a s u r ef u n c t i o no fi n t r u s i o nd e t e c t i o nc a p a b i l i t y i nt h e o r y t h i sp a p e r p r o f o u n d l ye x p l a i n st h en e c e s s i t yo fc o l l a b o r a t i v es y s t e m p r o p o s e st l l ec o i l a b o r a t i v e i n t r u s i o nd e t e c t i o ns y s t e mm o d e lo fa n o m a l yd e t e c t i o na n dm i s u s ed e t e c t i o na n di t s e v a l u a t i o nm e t h o d w h i c hh a sl o w e rf a l s ep o s i t i v er a t et h a nt h es i n g l eu s eo fa n i n t r u s i o nd e t e c t i o nt e c h n o l o g y t h e r e b yi m p r o v e st h es y s t e m ss e c u r i 劬 4 a i m i n ga ta na s s e s s m e n to ft h em u l t i p l ei n t r u s i o nd e t e c t i o ns y s t e m s c r e d i b i l i t y t h ep o l i c yo fe a c hi n t r u s i o nd e t e c t i o ns y s t e m s a t t e n t i o np r o p o r t i o ni s s t u d i e d a n dt h eo p t i m a ls o l u t i o nm o d e lo ft h ew h o l es y s t e m se r e d i b i l i t yi sp r o p o s e d t h i sm o d e le x p o s e st h er e l a t i o n s h i pa m o n gt h ec r e d i b i l i t ye x p e c t e dg a i n d e v i a t i o n a n dc o r r e l a t i o nt o e 伍c i e n t h e r e b y t h ea d m i n i s t r a t o r sc a l li u d g et h ew h o l es e c u r i t y s i t u a t i o n d y n a m i cf e e d b a c k a d j u s te a c hi n t r u s i o nd e t e c t i o ns y s t e m si nt h en e t w o r k t h e r e b yt h ed e t e c t i o no ft h ed a t aw i t ha t t a c ki n t e n t i o ni ss t r e n g t h e n e d k e yw o r d s i n t r u s i o nd e t e c t i o n a n o m a l yd e t e c t i o n r e d u n d a n c y r e l a t i v ee n t r o p y d e n s i t yd i v e r g e n c e i n t r u s i o nd e t e c t i o nc a p a b i l i t y i v 第 章绪论 第一章绪论 在二十一世纪 随着黑客入侵事件的日益增多 1 只从防御的角度构造安全 系统是不够的 也是不完整的 入侵检测技术足继 防火墙 数据加密 等传统 安全保护措施后新一代的安全保障技术 这项技术对计算机和网络资源上的恶 意使用行为进行识别和响应 不仅可以检测来自外部的入侵行为 而且也监督 内部用户的未授权活动 计算机联网技术的发展改变了以单机为主的计算模式 但随之网络入侵的 风险性和机会也相应地急剧增多 这些给计算机系统安全造成极大的威胁 设 计一个安全措施来防范未经授权的对系统资源和数据的访问 足当前网络安全 领域的一个十分重要而迫切的问题 1 9 9 1 年 g a r f i n k e l 和s p a r f o r d 2 1 给出安全计 算机系统的广义定义 认为安全计算机系统指能够可靠地实现期望行为的系统 而狭义的计算机安全的定义则是基于机密性 完整性和可用性在计算机系统中 的实现 机密件要求系统中信息只能被己授权的用户访问 完整性则是指信息 不会被偶然的或恶意的行为所破坏 而可用性意味着计算机系统能够一直保持 正常的工作而其访问性能不会下降 同时能为授权的用户提供资源 一个安全的计算机系统至少应该满足用户系统的机密性 完整性及可用性 的要求 但是 随着网络连接的迅速扩展 特别是i n t e r n e t 大范围的开放以及金融领 域网络的接入 越来越多的系统受到入侵的威胁 3 这些威胁大多数是通过挖掘 操作系统和应用服务程序的弱点或者缺 1 f i b u g 来实现的 目前 对付破坏系统 企图的理想方法是建立一个完全安全的系统 但这样的话 就要求所有的用户 都能识别和认证自己 还要采取各利r 各样的加密技术和加强访问控制策略来保 护数据 而从实际上看 这根本是不可能的 第一 在实践当中 建立完伞安 全系统是不可能的 m i l l e r l 4 给出了一份有关现今流行的操作系统和应用服务程 序研究报告 指出软件中不可能没有缺陷 此外 设计和实现一个整体安全系 统相当困难 第二 要将所有已安装的带安伞缺陷的系统转换成安全系统需要 相当长的时间 第三 加密技术方法本身存在着一定问题 第四 安全系统本 身易受内部用户滥用特权的攻击 第五 安全访i 口 j 控制等级和用户的使用效率 第 章绪论 成反比 第六 访问控制和保护模型本身存在一定的问题 第七 在软件工程 中存在软件测试不充足 软件生命周期短 大型软件复杂性等难解问题 基于上述几类问题的解决难度 一个实用的方法是 建立比较容易实现的 安全系统 同时按照一定的安全策略建立相应的安全辅助系统 入侵检测系统 i n t r u s i o nd e t e c t i o ns y s t e m 简称i d s 就是这一类系统 现在的安全软件的开 发方式基本上就基于这个理论 入侵检测技术研究是按照这个思路进行的 就 目前系统安全状况而言 系统存在被攻击的可能性 如果系统遭到攻击 只要 尽可能地检测到 最好是实时地检测到 然后采取措施 i d s 一般不是采取预防 的措施以防止入侵事件的发生 入侵检测作为安全技术其作用在于 1 识别入 侵者 2 识别入侵行为 3 检测和监视己经成功的安伞突破 4 为对抗入侵及 时提供重要信息 阻止事件的发生和事态的扩大 因此 入侵检测是非常有必 要的 本文就是在计算机信息安全不断发展的背景下提出的 5 力求利用信息论的 一些方法 建立入侵检测的部分数学理论基础 研究和解决一些入侵检测活动 的特征刻画 模型优化和评估 第一节计算机安全与入侵检测系统 1 1 1 计算机安全概念及常见安全技术 通常 计算机安全主要是指如何保护计算机资源和存储在计算机系统当中 的重要信息 但具体如何详细定义呢 国际标准化委员会对计算机安全的定义提出建议 即 为数据处理系统建 立和采取的技术的和管理的安全保护 保护计算机硬件 软件 数据不因偶然 的或恶意的原因而遭破坏 更改 显露 从这定义中可看出计算机安全不仅涉及到技术问题 管理问题 甚至还涉 及有关法学 犯罪学 心理学等问题 可以用四部分来描述计算机安全这一概 念 即实体安全 软件安全 数据安全和运行安全 而从内容来看 包括计算 机安全技术 计算机安全管理 计算机安全评价与安全产品 计算机犯罪与侦 查 计算机安全法律 计算机安全监察 以及计算机安全理论与政剩6 1 2 第一章绪论 信息系统的安全防护是一项非常复杂的工程 围绕它目前已经形成了众多 安全技术 而一个安全的信息系统通常要综合采用多种技术和部署相应的安全 产品 通过建立一个纵深的安全防护体系 从而增加攻击者入侵系统所花费的 时间 成本和所需要的资源 以最终降低系统被攻击的危险 达到安全防护的 目标 当今安全领域内所采用的主要安全技术 7 8 包括身份认证 访问控制 内容安全 审计和跟踪 响应和恢复等 身份认证 身份认证是对网络中的主体和客体的身份进行验证的过程 所包括的典型技术有 口令认证机制 公开密钥基础设施 p k i 强认证 机制 基于生物特征的认证等 访问控制 访问控制的主要任务是保证网络资源和应用系统不被非法使 用和访问 访问控制所包括的典型技术有 防火墙 虚拟专用网 v p n 授权管理基础设施 p m i 等 内容安全 内容安拿主要是直接保护系统中传输和存储的数据 主要是 通过对信息和内容本身进行变形和变换 或者对具体的内容进行检查来 实现 内容安全所包括的典型技术有 加密 防病毒 内容过滤等 审计和跟踪 利用计算机信息系统所提供的审计跟踪工具 对计算机信 息系统的工作过程进行详尽的跟踪记录 同时保存好审计记录和审计日 志 并从中发现和及时解决问题 保证计算机信息系统安全可靠地运行 审计和跟踪所包括的典型技术有 入侵检测系统 i d s 漏洞扫描系统 安全审计系统等 备份和恢复 备份系统通常由备份管理系统和备份设备构成 备份设备 主要有 磁带库 磁盘阵列 光盘等 备份系统的目的是尽可能快地全 盘恢复计算机系统所需的数据和系统信息 备份不仅在网络系统硬件故 障或人为失误时起到保护作用 也在入侵者非授权访问或对网络攻击及 破坏数据完整性时起到保护作用 1 1 2 入侵检测与入侵检测系统 入侵检测是一种主动保护网络和系统安全的技术 它从计算机系统或网络 中采集 分析数据 查看网络或主机系统中是否有违反安伞策略的行为和遭到 3 第一章绪论 攻击的迹象 并采取适当的响应措施来阻挡攻击 降低可能的损失 它能提供 对内部攻击 9 外部攻击和误用操作的保护 入侵检测系统 i n t r u s i o nd e t e c t i o ns y s t e m i d s 是一类专门面向网络入侵 检测的网络安全监测系统 是安全基础设施的补充 它从计算机网络系统中的 若干关键点收集信息 并分析这些信息 查看网络中是否有违反安全策略的行 为或遭到袭击的迹象 入侵检测被认为是防火墙 lo 之后的第二道安全防线 在 不影响网络性能的情况下能对网络进行检测 提供对内部攻击 外部攻击和误 操作的实时保护 1 1 1 图1 1 给出的是一简单的入侵检测系统示意图 审计记录 图1 1 简单入侵检测模型 操作 入侵检测系统主要执行以下任务e 1 2 监视 分析用户及系统活动 系统构造和弱点的审计 识别反映已知进攻的活动模式并报警 异常行为模式的统计分析 评估重要系统和数据文件的完整性 对操作系统的审计追踪管理 并识别用户违反安全策略的行为 4 第一 章绪论 第二节入侵检测技术的分类 入侵检测根据检测方法分为两类 误用 m i s u s e 检测和异常 a m o m a l y 检测 1 3 误用检测也叫滥用检测或基于知识的检测 误用检测的技术基础是分析各 利 类型的攻击手段 并找到可能的 攻击特征 集合 误用检测利用这些特征集合 或是对应的规则集合 对当前的数据来源进行各种处理后 再进行特征匹配或 规则匹配工作 如发现满足条件的匹配 则指示发生了一次攻击行为 异常检测也被称为基于行为的检测 它试图建立一个对应正常活动的系统 或用户的活动轮廓来检测入侵活动 系统运行时 异常检测程序产生当前活动 轮廓并同原始轮廓比较 当发生显著偏离时即认为是目前的活动异常 异常检 测只能识别出那些与正常过程有较大偏差的行为 而无法知道具体的入侵情况 从数据来源看 入侵检测分为两类 基于主机的入侵检测系统 h i d s 和基 于网络的入侵检测系统 n i d s 基于主机的入侵检测系统 h i d s 是根据主机的审计跟踪数据和系统的日志 等信息来发现可疑事件 它的目标环境是主机系统 检测的是本系统用户 其 优点是可精确判断入侵事件 及时进行反应 而且可针对不同操作系统的特点 判定应用层的入侵事件 缺点是占用宝贵的主机资源 由于这种系统研究的时 间比较长 因而技术上相对比较完善 如最初的h a y s t a c k 模型 m i d a s 系统 i d e s 系统 到现在的c s m c o o p e r a t i n gs e c u r i t ym a n a g e r 协作安全管理员 u s t a t 等 基于网络的入侵检测系统 n i d s 是通过对共享的网段或特定网络节点上的 通信数据进行侦听 并配合网络流量 协议分析等数据来判断入侵是否发生 这类系统不需要主机通过严格的审计 主机资源消耗少 可提供对网络通用的 实时保护而无需顾及异构主机的不同构架 但缺点是它只能监视经过本网段的 活动 且精确度较差 在交换网络环境下难于配置 防欺骗能力也较差 典型 的系统有 n s m d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m b r o 等 根据系统结构分类 集中式i d s 集中式i d s 由一个集中的入侵检测服务器和运行于各个主机 的简单的审计程序组成 被监视的各个主机将收集的数据传送到检测服务器 由服务器进行分析 这种结构适用对规模较小的网络检测 分层式i d s 在监视大规模的网络时 须将网络分层管理 每层的i d s 分 5 第一章绪论 析相应的网络段监视数据 将分析结果传到邻近的上层 高一层的i d s 只分析 下一层的分析结果 分层式i d s 通过分析分层式数据使系统具有更好的可升级 性 分布式i d s 分布式i d s 将总体i d s 任务划分为多个子任务 当然这种划 分不是简单的 零部件式 的划分 并将子任务分给多个相互合作的i d s 部件 每个i d s 部件完成i d s 一部分功能 多个i d s 部件同时运行 相互合作 相互 参考做出总体决策 1 2 1 入侵检测的发展历史及发展 对入侵检测的研究最早可追溯到2 0 世纪8 0 年代 但受到重视和快速发展 还是在i n t e r n e t 兴起之后 l4 1 以下是入侵检测技术发展过程中的一些标志性事件 和研究成果 1 9 8 0 年 j a m e sa n d e r s o n b 在为美国空军做的技术报告中首次提出了入侵 检测的概念 他将入侵划分为外部闯入 内部授权用户的越权使用和滥用3 种 类型 指出可以利用审计踪迹来监测对文件的非授权访问 并给出了一些基本 术语的定义 包括威胁 攻击 渗透 脆弱性等 1 9 8 7 年 d e n n i n g t l 6 提出了一 个经典的入侵检测系统的通用模型首次将入侵检测的概念作为一种计算机系统 的安全防御措施提出 在此之后开发的i d s 系统基本都沿用了这个结构模型 1 9 9 0 年 h e b e r l e i n 等提出新概刽r 7 基于网络安全检测n s m n e t w o r ks e c u r i t y m o n i t o r 从此 入侵检测被分为两个基本类型 基于主机的和基于网络的 1 9 8 8 年的m o n i e s 蠕虫事件发生之后 i8 1 美国空军 国家安伞局 n s a 和能源部 d o e 共同资助空军密码中心 a f c s c l a w r e n c e l i v e m o r e 国家实验室 加州大学 d a v i s 分校 h a y s t a c k 实验室 开展对分布式入侵检测系统 d i d s 的研列1 9 2 0 1 将基于主机和基于网络的检测方法集成到一起 1 9 9 1 年d i d s 基本完成 1 9 9 7 年d a r p a 的t e r e s al u n t 等提出制定公共入侵检测框架c i d f c o m m o n i n t r u s i o nd e t e c t i o nf r a m e w o r k 现在已经完成 1 9 9 9 年6 月 入侵检测工作组 i d w g i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p 就入侵检测也出台了一系列草案建议 目前草案建议还处于逐步完善之中 新近几年出现了很多不同的系统原型和检测技术 2 卜2 3 1 包括神经网络 遗 传算法 模糊识别 数据挖掘 免疫系统等 这些技术的研究目前大都处在理 6 第 章绪论 论研究阶段 近年来入侵检测技术的主要发展方向 1 分布式入侵检测与通用入侵检测架构传统的i d s 一般局限于单一的 主机或网络构架 而如今的大型网络应用正朝着分布式的迅速发展 在检测针 对分布式系统的攻击和分布式攻击时 传统的i d s 存在明显的不足 主要在于 不同的i d s 系统之间不能很好的协同工作 分析数据源难等问题 为解决这些 问题 需要分布式入侵检测技术与通用入侵检测构架 2 智能的入侵检测如今入侵方法种类越来越繁杂 其隐蔽性也越来越 高 尽管已经有智能体 神经网络与遗传算法在入侵检测领域的应用研究 但 这些技术还很不成熟 存在自学习 自适应能力差等诸多问题 需要对智能化 的i d s 加以进一步地研究以解决其自学习与自适应能力差的问题 3 应用层入侵检测许多入侵的语义只有在应用层才能理解 例如用基 于解析数据包的技术检测口令猜测攻击 只有在应用层解析数据包 用户数据 宁段才能理解其语义 目前的i d s 仪能检测如w e b 之类的通用协议 而不能处 理如l o t u sn o t e s 数据库系统等其他的应用系统 4 入侵检测的评价方法在很大程度上i d s 也是一个软件系统 从软件 工程的角度就肯定存在i d s 的软件评价这一重要问题 评价指标包括i d s 复杂 性 可用性 可靠性 鲁棒性等 从而设计通用的入侵检测测试与评估方法和 平台 实现对不同i d s 的有效评价已成为当前i d s 的另一重要研究与发展领域 近年来 各种新技术 新思路层出不穷 这些技术正从原有的独立为政中 走出 各种技术的相互融合 取长补短已成为信息安全技术的发展趋势 1 2 2 入侵检测性能评估指标 一个成功的入侵检测系统至少要满足以下五个主要功能要求 2 4 2 6 1 实时性要求 如果攻击或者攻击的企图能够尽快的被发现 这就使得有 可能查找出攻击者的位置 阻止进一步的攻击活动 有可能把破坏控制在最小 限度 并能够记录下攻击者攻击过程的全部网络活动 并可作为证据回放 实 时入侵检测可以避免常规情况下 管理员通过的对系统日志进行审计以查找入 侵者或入侵行为线索时的种种不便与技术上的限制 7 第t 一章绪论 2 可扩展性要求 因为存在成千上万种不同的己知和未知的攻击手段 它 们的攻击行为特征也各不相同 所以必须建立一种机制 把入侵检测系统的体 系结构与使用策略区分开 一个已经建立的入侵检测系统必须能够保证在新的 攻击类型出现时 可以通过某种机制在无需对入侵检测系统本身进行改动的情 况下 使系统能够检测到新的攻击行为 并且在入侵检测系统的整体功能设计 上 也必须建立一种可以扩展的结构 以便系统结构本身能够适应未来可能出 现的扩展要求 3 适应性要求 入侵检测系统必须能够适用于多种不同的环境 比如高速 大容量计算机网络环境 并且在系统环境发生改变 比如增加环境中的计算机 系统数量 改变计算机系统类型时 入侵检测系统应当依然能够不作改变正常 工作 适应性也包括入侵检测系统本身对其宿主平台的适应性 即 跨平台工 作的能力 适应其宿主平台软 硬件配置的各种不同情况 4 安全性与可用性要求 入侵检测系统必须尽可能的完善与健壮 不能向 其宿主计算机系统以及其所属的计算机环境中引入新的安全问题及安全隐患 并且入侵检测系统应该在设计和实现中 能够有针对性的考虑几种可以预见的 对应于该入侵检测系统的类型与工作原理的攻击威胁 及其相应的抵御方法 确保该入侵检测系统的安全性与可用性 5 有效性要求 能够证明根据某一设计所建立的入侵检测系统是切实有效 的 即 对于攻击事件的误报与漏报能够控制在一定范围内 入侵检测系统的 检测准确度可以通过误报率 f a l s ea l a r mr a t e 和检测率 d e t e c t i o nr a t e 两个指标 来反映 误报率是指正常行为被错误判为入侵行为的概率 检测率则是指入侵 行为被正确判为入侵行为的概率 如果在误报率相同的情况下 一个入侵检测 系统的检测率比另一个系统的检测率高 则认为前者具有更高的检测准确度 误报率和检测率是相互制约的 检测率越高 误报率一般也会越高 过高的误报率会影响一个入侵检测系统的可用性 入侵检测研究巾的一个 关键问题就是在保证误报率处于可接受范围内的前提下尽可能地提高检测率 r o c r e c e i v e ro p e r a t i n gc h a r a c t e r i s t i c 曲线是描述虚警概率与检测概率之 间变化关系的曲线 它是判断一个系统检测准确度的通用标准 r o c 曲线的横 坐标为误报率 纵坐标为检测率 8 第 章绪论 第三节入侵检测的相关研究工作 入侵检测从一组数据中 检测出符合某一特点的数据 攻击者进行攻击的 时候会留下痕迹 这些痕迹和系统正常运行的时候产生的数据混合在一起 任 务就是从这些混合数据中找出是否有入侵的痕迹 如果有入侵的痕迹就报警 入侵检测一般分为三个步骤 信息收集 数据分析 结果处理 入侵检测的第一步是信息收集 内容包括系统 网络 数据及用户活动的 状态和行为 入侵检测利用的信息一般来自以下四个方面 1 系统日志 2 7 2 目录以及文件中的异常改变 3 程序执行中的异常行为 4 物理形式的入侵信息 数据分析一般分为四种手段进行分析 模式匹配 统计分析 专家系统和 完整性分析 其中前三种方法用于实时的入侵检测 而完整性分析则用于事后 分析 结果处理是控制台按照告警产生预先定义的响应采取相应措施 可以是重 新配置路由器或防火墙 终止进程 切断连接 改变文件属性 也可以只是简 单的报警 目前运用的检测方法 1 基于专家系统 是早期入侵检测系统常采用的方法 它根据安全专家对 可疑行为的分析经验事先形成一套推理规则 构成专家系统 2 基于神经网络 系统的自适应学习功能 利用神经网络模仿用户行为 根据最近的变化进行调整 3 基于统计 利用统计分析技术建立一个反映系统统计特征的 仅包括与 正常活动相关的数据的 被周期更新的模式 4 基于模型推理 人们为某种行为建立特定的模型 从而能够监视具有特 定行为特征的某些活动 2 8 3 0 1 5 基于状态转换分析 将攻击行为描述为系统一系列状态的转化 通过监 视系统状态来发现攻击 3 l 6 基于代理 是基于分布式机器中一组代理主机 这些主机彼此之间独立 的监控 通信和协作 9 第一章绪论 7 基于计算机免疫 模拟生物免疫系统原理和机制 使网络安全系统具有 适应性 自我调节性和扩展性 8 基于误用预测系统 它的推测是基于一系列的外部事件 攻击的概率 9 基于数据挖掘 用数据挖掘程序处理搜集到的审计数据 为和正常操作建立精确的行为模式 3 2 1 最后得到发生 为各种入侵行 1 0 基于进化计算 运用遗传算法使网络安全系统的搜索具有全局性 并 行性 随机性和自适应性 异常检测又是入侵检测中研究的一个重要方向 e b i e r m a n n 3 3 j 对异常检测 中的采用的几种方法进行了比较 l if e n g 等人 3 4 通过分析程序执行过程产生的 系统调用序列来构建特征轮廓的方法 并用实验证明了程序执行轨迹的局部模 式 系统调用的短序列 可以完全刻画程序行为的特征 这种基于程序行为的 分析方法可以大大减少由用户行为的不可测性带来的系统虚警率 d a n i e l q n a i m a n 3 5 对短序列的分析采用的是统计的方法 但这些算法仍需要较大的 空间来存储特征数据库 而且缺少对偶然事件和入侵变异的应变力 很容易产 生误报 为了得到一个适应性更强 误报率更低的系统 研究人员开始将各种 智能方法运用到入侵检测技术中 例如 t h e u n sv e r w o e r d t 3 6 等人用数据挖掘的 方法研究系统调用数据的采样 用一个较小的规则集合来描述正常数据的模式 特征 在监控时 违反这些特征的序列被视为异常 神经网络当然也被用于入 侵检测中 例如 r i c h a r dp 3 7 等人提出了一种用神经网络对程序行为的特征进 行分析的方法 他们将系统调用短序列变换到一个从样本中随机选取的x 维空 间上 并以每个短序列在x 维空间的坐标为神经网络的输入进行异常检测 第四节入侵检测中存在的一些问题 科研人员虽然不断的在改进检测技术和算法 但我们仍然应该承认 至今 为止入侵检测中仍存在一些问题 1 缺少有效性 i d s 评价事件经常是要实时的 它的代价因素有操作代 价 破坏代价 响应代价等 这些代价在当今网络规模不断扩大 带宽增加时 是非常可观的 2 误警率高 误警就是对不是入侵攻击的事件误发警报 检测率和误报 1 0 第一一章绪论 率是一对矛盾 二者的关系可由r o c 曲线图反映 因而 人们须在检测率和误 报率之间权衡利弊 做出选择 现在的i d s 多追求高检测率 忽视了误报率 严重地影响了检测的精确性 3 i d s 自身可靠性 鲁棒性差 由于i d s 本身是软件程序 所以它也存 在这样那样的漏洞 它往往容易成为攻击者的目标 一旦攻击者攻击i d s 成功 那i d s 所保护的计算机系统就得不到保护 4 入侵检测系统不能很好的检测所有的数据包1 38 基于网络的入侵检测 系统难以跟上网络速度的发展 截获网络的每一个数据包 并分析 匹配其中 是否具有某种攻击的特征需要花费时间和系统资源 现有的入侵检测系统在 1 0 m 网上检查所有数据包巾的几十种攻击特征时可以很好地工作 现在很多网 络都是5 0 m 1 0 0 m 甚至千兆网络 网络速度的发展远远超过了数据包模式分析 技术发展的速度 5 攻击特征库的更新不及时 绝大多数的入侵检测系统都是适用模式匹 配的分析方法 这要求攻击特征库的特征值应该是最新的 但现在很多入侵检 测系统没有提供了某种方法来实时更新攻击特征 在如今每天都有新漏洞发布 每天都有新的攻击方法产生的情况下显然不能满足安全需求 6 检测分析方法单一 攻击方法的越来越复杂 单一的基于模式匹配或 统计的分析方法已经难以发现某一些攻击f 3 9 1 另外 基于模式匹配和基于统计 的分析方法各有所长 入侵检测系统的发展趋势是在同一个系统中同时使用不 同的分析方法 现在几乎所有的入侵检测系统都使用了单一的分析方法 7 不同的入侵检测系统之间不能互操作 在大型网络中 网络不同的部 分可能使用了不同的入侵检测系统 但现在的入侵检测系统之间不能能够交换 信息 使得发现了攻击时难以找到攻击的源头 甚至给入侵者制造了攻击的漏 洞 8 不能和其他网络安全产品互操作 入侵检测不是安伞的终极武器 一 个安全的网络中应该根据安全政策使用多种安全产品 但入侵检测系统不能很 好的和其他安全产品协作 比如 一个网络中每两个小时自动运行一次漏洞扫 描程序 如果他们不能够互操作 入侵检测系统将每两个小时产生一次警报 9 结构存在问题 现在的很多入侵检测系统是从原来的基于网络或基于 主机的入侵检测系统不断改进而得来的 在体系结构等方面不能满足分布 开 放等要求 第 章绪论 另外 在具体的操作中还存在理论与实践之间的局限性 检测方法局限 n i d s 常用的检测方法有特征检测 异常检测 状态检测 协议分析等 实 际巾的商用入侵检测系统大都同时采用几种检测方法 n i d s 不能处理加密后的数据 如果数据传输中被加密 即使只是简单的替 换 n i d s 也难以处理 例如采用s s h h t t p s 带密码的压缩文件等手段 都 可以有效的防止n i d s 的检测 n i d s 难以检测重放攻击 中间人攻击 对网络 监听也无能为力 目前的n i d s 还难以有效的检测d d o s 攻击 系统实现局限 由于受n i d s 保护的主机极其运行的程序各种各样 甚至对同一个协议的实 现也不尽相同 入侵者可能利用不同系统的不同实现的差异来进行系统信息收 集