（计算机软件与理论专业论文）协同入侵检测技术的研究.pdf

摘要 论文题目：协同入侵检测技术的研究 学科专业：计算机软件与理论 研究生：谢宁签 名： 指导教师：王尚平教授签名： 摘要 随着网络技术和入侵攻击技术的不断发展，面对大规模、有组织的分布式入侵行为， 传统的入侵检测技术已经不能满足网络安全的需要。针对目前m s 系统存在的自身安全 性不足、对新型攻击检测能力的缺乏、响应智能化的缺乏和严重的误报漏报等问题，本文 研究了基于攻击策略分析的协同入侵检测模型，该模型在现有协同入侵检测研究的理论基 础上融入了攻击策略分析技术和移动代理技术，通过与漏洞扫描、防火墙等网络安全措施 的联动使得系统能协同分析和响应报警信息。模型中各个代理模块都可以独自进行入侵捡 测工作，还可以彼此协同工作。模型中有中央代理和局部代理，中央代理是高于局部代理 的核心代理，它起到整合高级信息，分析协同警报和预警信息，负责分发各局部代理嗅探 和检测策略的命令，是整个入侵检测系统的关键部分。模型中各模块间通过协同数据采集、 数据关联分析和策略分析，可以减少了误报和漏报的问题：又因为引入了移动a g e n t 的迁 移技术，可以解决协同入侵检测系统的通信问题。给出了数据采集、数据分析和响应的可 行方案，为模型的开发和实现奠定了理论基础。 关键词：入侵检测；协同；攻击策略；移动代理 本研究得到陕西省教育厅专项科学研究计划基金的资助 备 a b s t r a c t t i t i e ：r e s e a r c ho nc o o p e r a t i o ni n t r u s i o nd e t e c t i o n t e c h n o l o g y m a j o r ：c o m p u t e rs o f t w a r ea n dt h e o r y n a m e ：n i n gx i e s u p e r v i s o r = p r o f s h a n g p i n gw a n g a b s t r a c t s i g n a t u r e ： s i g n a t u r e ：、 ， 1 i 啄 w i t ht h ed e v e l o p m e n to ft h ec o m p u t e rn e t w o r ka n da t t a c kt e c h n i q u e ，t h et r a d i t i o n a l t e c h n i q u eo fi n t r u s i o nd e t e c t i o nh a sn o tb e e ns u f f i c i e n tf o rt h er e q u i r e m e n to fs e c u r i t yb e c a u s e o ft h em o r ea n dm o r el a r g e s c a l e da n do r g a n i z a t i o n a ld i s t r i b u t e di n t r u s i o n ac o o p e r a t i o n i n t r u s i n nd e t e c t i o nm o d e lb a s e do nt h ea t t a c ks t r a t e g ya n a l y s i si sp r e s e n t e d ，t h em o d e li sa i m e d a tt od e a lw i t ht h ep r o b l e mt h a ta tp r e s e n tt i m et h ei d ss y s t e ml a c k sf o rs e c u d t yo fi t s e l f , t h e a b i u t ro fd e t e c t i o nf o rn 州a t t a c k s i n t e l l i g e n tr e s p o n s ea n d s e v e r ef a l s ep o s i t i v e sa n df a l s e n e g a t i v e s t h em o d e lu s e st h el e a r n i n ga t t a c ks t r a t c g i e sf r o mi n t r u s i o na l e r t sa t t a c ks t r a t e g y t e c h n o l o g y , m o b i l ea g e n tt e c h n i q u e a sw e l la st h em o d e mc o o p e r a t i o ni n t r u s i o nd e t e c t i o n t h e o r y i nt h em o d e le a c ha g e n tc a nd e t e c ti n t r u s i o nb yo n e s e l fa n dc o - o p e r a t ed e t e c t i n g i n t r u s i o n i tc a l lc o - o p e r a t 略w i t ht h ef l a ws c a n n e r , f i r e w a l la n ds oo n t b e r ci sac e n t r a la g e n t a n dm a n yl o c a la g e n t si nt h em o d e l ，t h ec e n t r a la g e n ti st h ek e ya g e n tb e c a u s ei tc a ni n t e g r a t e t h ec o r r e l a t e da l e r t ss e n tb yt h el o c a la g e n t s ，a n a l y z et h ei n t e g r a t e di n f o r m a t i o na n do r d e rt h e l o c a la g e n t st od os o m e t h i n ga c c o r d i n gt ot h er e q u i r e m e n t s t h ec o o p e r a t i o ni d sm o d e l p r e s e n t e di nt h i sp a p e rc a nd e c r e a s et h ef a l s ep o s i t i v e sa n dp o s i t i v en e g a t i v e st h r o u g h c o s n i f f i n gd a t a , d a t ac o r r e l a t i o na n ds t r a t e g ya n a l y s i s ，a n dt h ep r o b l e mh o w t oc o m m u n i c a t e b e t w e e nt h ea g e n t si ss o l v e di nt h em o d e la st h em o b i l ea g e n ti sa d o p t e d w h a t sm o r e , t h i s p a p e rs h o w sas c h e m e 0 1 1d a t as n i e m g , d a t aa n a l y s i s ，a n dr e s p o n s ef o r t h ef u r t h e rs t u d y k e yw o r d s ：i n t r u s i o nd e t e c t i o n ：c o o p e a r a t i o n ；a t t a c ks t r a t e g y ：m o b i l ea g e n t 2 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明：本人所呈交的学位论文是我个 人在导师指导下进行的研究工作及取得的成果。尽我所知，除特别加以标注和致谢的地 方外，论文中不包含其他人的研究成果。与我一同工作的同志对本文所论述的工作和成 果的任何贡献均已在论文中作了明确的说明并已致谢。 本沧文及其相关资料若有不实之处，由本人承担一切相关责任 论文作者签名：遗妻少i 年弓月v 丑 学位论文使用授权声明 本人举 在导师的指导下创作完成毕业论文。本人已通过论文的答辩，并 已经在西安理工大学申请博士硕士学位。本人作为学位论文著作权拥有者，同意授权 西安理工大学拥有学位论文的部分使用权，即：1 ) 已获学位的研究生按学校规定提交 印刷版和电子版学位论文，学校可以采用影印、缩印或其他复制手段保存研究生上交的 学位论文，可以将学位论文的全部或部分内容编入有关数据库进行检索；2 ) 为教学和 科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、资料室 等场所或在校园网上供校内师生阅读、浏览。 本人学位论文全部或部分内容的公布( 包括刊登) 授权西安理工大学研究生部办 理。 ( 保密的学位论文在解密后，适用本授权说明) 论文作者签名：迅li 导师签名： 秭卞飞月冲 前言 1 前言 计算机和信息的安全问题由来已久随着i n t e r n e t 的迅速发展和电子商务的兴起，信 息资源的安全问题越发显得重要。提到网络安全，大家都会想到防火墙。防火墙是一种静 态的访问控制类安全产品，通常使用包过滤的技术来实现网络隔离。根据用途进行适当配 置的防火墙虽然可以将非预期的访问请求拦阻在外，但是它并不能检查出经过它的合法流 量中的恶意的入侵代码，并且它是一种静态的防御，不能主动的对入侵行为进行预防。随 着入侵技术的提高，防火墙明显已经不能满足用户的安全要求。入侵检测系统( d s i n t r u s i o nd e t e c t i o ns y s t e m ) 应运而生。 入侵检测系统是将电子数据处理、安全审计、模式匹配、协议分析、神经网络、数据 挖掘、遗传算法、免疫原理及统计技术等有机的结合在一起，通过分析待检测系统的审计 数据或( 和) 从网络捕获而来的数据发现违背安全策略或者危及系统安全的行为和活动【1 1 随着网络应用的普及，人们也越来越依赖网络，入侵的复杂化和频繁化使得入侵事件给全 球经济和个人、企业造成的损失也越来越大，针对这一没有硝烟的网络信息世界的战争， 专家们越来越感受到应对的重要性和紧迫性，同时目前带来巨额损失的入侵活动和行为也 引起了人们对网络安全的监控和入侵检测技术的格外重视，并且把它提升到计算机互联网 络安全非常重要的环节 作为一种传统的信息安全技术之一，入侵检测技术在构建动态的网络安全防护体系中 处于核心地位。这种以入侵检测为核心建立的实时检测入侵行为、实时调整防护策略、实 时保障系统安全地动态防护体系，体现着入侵检测的重要价值，对它的研究，在学术和经 济方面都有很大的现实意义。 1 1 课题研究的目的及意义 本课题来源于陕西省教育厅专项科学研究计划资助项目：基于协同的入侵检测系统的 研究( 项目编号0 6 j k 2 3 1 ) 本文主要研究基于攻击策略分析的协同入侵检测技术，目的 是为了在现有技术的基础上寻找一种能够提高协同入侵检测的效率，以适应网络高流量和 攻击多样化的特点的d s 。 随着网络在现代化社会中各个行业、各个阶层的广泛应用，其所起到的作用也越来越 大，为各种目的而进行的计算机网络犯罪也呈现出明显的上升趋势，如何建立安全而又健 壮的网络系统，保证网络用户信息的安全性，已经成为入侵检测领域研究的焦点，也是网 络安全急需解决的难题 网络安全的本质是保护核心资产完整性，将已经发生的入侵所带来的损失减到最低限 度，并尽快的检测出将要产生的入侵，尽力保障国家、企业或者个人的合法信息资源。传 统的静态安全防护措施主要是集中在待保护系统自身的安全加固和防护上，都具有被动防 西安理工工大学硕士学位论文 御的特点，已经无法适应现在网络高流量和攻击多元化、复杂化和智慧化【2 】的特点，很难 保证系统的安全。针对这些新问题，为了满足网络安全的更高的要求，研究协同入侵检测 系统具有重要的理论和实际应用价值 1 2 入侵检测技术国内外研究现状 入侵检测技术被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下能 够对网络进行检测，从而提供对内部攻击、外部攻击和误操作的实时保护。 1 2 1 入侵检测技术的发展 入侵检测的研究最早可以追溯到1 9 8 0 年，j a m e sa n d e r s o n 首先提出了入侵检测的概 念1 3 1 ，他将入侵行为划分为外部闯入、内部授权用户越权使用和滥用，并提出用审计追踪 来监视入侵威胁。入侵是指任何试图破坏资源完整性、机密性、可用性的行为，还包括用 户对系统资源的误用。1 9 8 7 年，d o r o t h yed e n n i n g 提出了入侵检测的模型o l ，首次将入 侵检测作为一种计算机安全防御措施提出，该模型为构建入侵检测系统提供了一个通用的 框架，但是它的最大缺点是它没有包含已知系统漏洞或者攻击方法的知识，而这些知识在 许多情况下是非常有用的信息。1 9 8 8 年，t e r e s ai a n t 等人改进了d e n n i n g 提出的入侵检 测模型，并创建了i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) ，提出了与平台无关的实时检 测思想。1 9 9 0 年，h e b e r l e i n 等提出基于网络的入侵检测- n s m ( n e t w o r ks e c u r i t y m o n i t o r ) 这一新概念，从此入侵检测被分为两个基本类型：基于主机的入侵检测和基于 网络的入侵检测。1 9 9 1 年，n a d i r ( n e t w o r ka n o m a l yd e t e c t i o ns y s t e m ) 提出了收集和 合并处理来自多个主机的审计信息来检测针对一系列主机的协同攻击。1 9 9 4 年，m a r k c r o s b i e 和g e n es p a f f o r d 建议使用自治代理( a u t o n o m o u sa g e n t s ) 以便提高i d s 的可伸 缩性、可维护性。效率和容错性。1 9 9 5 年，i d e s 的完善版本n i d e s ( n e x t - g e n e r a t i o n i n t r u s i o n d e t e c t i o ns y s t e m ) 实现了可以检测多个主机上的入侵。1 9 9 6 年，g r i d s ( g r a p h b a s e d i n t r u s i o nd e t e c t i o ns y s t e m ) 系统设计和实现对大规模自动或协同攻击的检测很有效，这种 跨越多个管理区域的自动协同攻击显然是入侵行为发展的方向【4 1 。同年，f o r r e s t 将免疫原 理运用到分布式入侵检测领域，此后在i d s 中还出现了遗传算法、遗传编程的运用 1 9 9 7 年，c i s c o 要求w h e c l g r o u p 公司将入侵检测与他的路由器结合同年，i s s 成 功开发了r c a l s c c m e ，他是在w i n d o w sn t 下运行的分布式网络入侵检测系统，被人们广 泛使用。1 9 9 6 年的第一次开发是传统的基于探测器的n i d s ( n e t w o r ki n t r u s i o nd e t e c t i o n s y s t e m , 网络入侵检测系统，功能是监视整个网段) ，在w i n d o w s 和s o l a r i s 2 6 上运行。 1 9 9 8 年后期，r e a l s e c u r e 发展成为一个混合式的入侵检测系统，他对入侵行为具有广泛 的反应能力包括断开连接、发送s n m p 信息、e m a i l 提醒、运行客户程序记录会话内容等， 并能根据检测策略自动生产审计策略。近年来的技术创新还有f o r r e s t 将免疫原理运用到 分布式入侵检测中网，1 9 9 8 年r o s s a n d e r s o n 和a b i d a k h a t t k 将信息检索技术也引入这个 2 前言 领域旧。 2 0 0 2 年，针对玎d s 响应方式的被动性，基于入侵检测和防火墙协同响应的技术得到 应用，然而，由于i d s 居高不下的误报率和漏报率、海量信息难以被及时和完全分析以 及在对入侵行为响应延迟等问题，入侵防御系统( i p s ，i n t r u s i o np r o t e c t i o ns y s t e m ) 这一 新技术产生。i p s 可以进行主动防御，但是目前该系统所采用的技术还是模式匹配和异常 检测等1 d s 的所使用的技术，并没有解决i d s 的漏报、误报以及海量信息处理的问题， 对于串接在网络中的i p s 来说，分析越追求清晰准确，计算复杂度越高，传输延迟就会越 大。在i p s 和网络安全需要的推动下，i d s 向着协同方向发展，而且日益成为入侵检测领 域的一个热点和发展趋势。 在入侵检测算法方面，主要研究如何同时应用多种检测算法协同工作以弥补各算法自 身的不足，例如，基于神经网络的入侵检测方法更好地表达了变量间的非线性关系，不依 赖于任何有关数据种类的统计假设，能较好地处理噪声数据，并且能自动地学习和更新， 但是这种方法存在这样一些弱点，即网络的拓扑结构和每个元素的分配权较难以确定，其 输出准确性往往依赖于最近输入执行的命令序列集合的大小，如果设置太低，则工作就差： 如果设置太高，网络则将忍受无关的数据。基于实时数据挖掘的异常检测方法通过分析大 量实体数据来建立入侵检测模型并进行检测，从海量数据中提取感兴趣的知识，这些知识 往往是隐含而又潜在有用的信息。提取的知识表示为概念、规则、规律、模式等形式，可 以用来检测入侵行为。这种方法适应于处理大量数据的情况，但是对于实时入侵检测系统， 该方法还存在如何开发出有效的数据挖掘算法和相适应的体系的问题。基于专家系统的误 用入侵检测方法的局限性在于专家系统的建立依赖于规则库的完备性，该类系统的基础是 推理规则，一般都是根据已知的安全漏洞策划的，而对系统最危险的威胁主要来自于未知 的安全漏洞，在大型网络系统中，周到考虑网络安全的所有已知和潜在的安全漏洞，建立 完备的知识库几乎是不可能的，另外，它也不能很好的应对系统出现的一些不确定性。因 此，较适用的方法是将专家系统与采用软计算方法技术的入侵检测系统结合在一起，构成 一个以已知的入侵规则为基础，可扩展的、自适应的动态入侵检测系统。如何在入侵检测 的算法方面取得突破，也是未来制约入侵检测技术发展的重要一面。 国内的中科院、清华大学、东北大学、北京理工大学、中国人民大学、解放军理工大 学、西安交通大学、北京航天航空大学、南京大学、天津大学在动态系统方面作了一定的 研究，有向智慧化分布式方面发展的趋势。也有少数院校如浙江大学、武汉大学、国防科 技大学开始采用分布式智能代理技术进行i d s 的研究，但是总的来说国内的新一代基于 高速网络环境下的d s 尚处于初级阶段 国外针对以上问题作了一些研究和改进。例如普渡大学开发的a a f i d 7 系统，该系 统是p u r d u e 大学设计的一种采用树形分层构造的代理群体，根部的是监视器代理，提供 全局的控制、管理以及分析上一层结点提供的信息，在树叶部分的代理专门用来收集信息。 处在中间层的代理被称为收发器，这些收发器一方面实现对底层代理的控制，一方面可以 3 西安理工工大学硕士学位论文 起到信息的预处理过程，把精练的信息回馈给上一层的监视器。这种结构采用本地代理处 理本地事件，中央代理负责整体分析的模式。与集中式不同，它强调通过全体智能代理的 协同工作来分析入侵策略。这种方法明显优于前者，但同时带来一些新的问题，如代理问 的协作、代理间的通信等。 1 2 2 入侵检测技术的应用及其存在的问题 入侵检测技术大致经历了四代嘲，现在已经发展到第四代。 第一代入侵检测技术是基于协议分析和模式匹配的技术，它的主要缺点是，高超的黑 客采用变形手法或者新技术可以轻易躲避检测，漏报率很高。 第二代入侵检测技术是基于模式匹配+ 简单协议分析+ 异常统计技术，实际上是在第 一代的基础上增加了部分对异常行为的分析，能够分析处理一部分协议，可以进行重组， 缺点是匹配效率较低，管理功能较弱。 第三代入侵检测技术是基于完全协议分析十模式匹配十异常统计技术，它的优点是误 报率、漏报率较低，效率高，可管理性强，并在此基础上实现了多级分布式的检测管理， 缺点是可视化程度不够，防范及管理功能较弱，也就是说，高端的产品可能因功能、操作 等方面的不便而被束之高阁。 第四代入侵检测技术是基于安全管理+ 协议分析+ 模式匹配+ 异常统计，它的优 点是入侵管理和多项技术协同工作，建立全局的主动保障体系，以它为核心，可以构造一 个积极的动态防御体系。 入侵检测的发展过程是入侵与防御技术的抗衡过程，同时也是入侵检测自身不断超越 和完善的过程。但是随着网络的普及和入侵攻击技术的发展，现今的入侵检测技术很难在 巨大的网络规模和流量中动态保护网络段的安全，出现一些网络安全的瓶颈： a ) 很难满足入侵检测系统的实时性要求； 蚧自身安全性能较脆弱； c ) 不能自动快速的检测新的入侵攻击： d ) 人机交互能力还比较缺乏； 曲误报漏报依然很严重： f ) 响应( 如报警系统) 缺乏智能化； 其中人机交互能力的改善可以使得入侵检测系统方便使用，缺乏人机交互能力的入侵 检测系统提高了对使用者的技术要求，而响应智慧化特性可以提高入侵检测系统的应用 面，缺乏智能化的入侵检测系统将会限制入侵检测系统的使用场合。 4 1 3 本文的主要工作和组织结构 1 3 1 本文主要工作 本文在对现有的入侵检测系统模型进行分析和研究的基础上，提出了基于策略分析的 协同入侵检测系统模型。主要研究工作如下： 幻总结了当前入侵检测技术的发展； m 分析了目前入侵检测所面临的问题； 曲研究分析了协同入侵检测技术的研究状况： 西给出了一个基于攻击策略分析的协同入侵检测模型； c ) 给出基于攻击策略分析的协同入侵检测模型的实现方案，并对其性能进行了分析。 1 3 2 本文组织结构 本文在对现有的入侵检测系统模型进行分析和研究的基础上，提出了基于策略分析的 协同入侵检测系统模型。论文共分为五个部分，其中： 第一章主要叙述了研究的背景和意义、国内外关于入侵检测技术的研究现状，同时介 绍了入侵检测的主要应用领域；并对本论文的主要工作和组织结构进行了说明。 第二章对入侵检测做了较为系统的综述，包括入侵检测的定义、作用、分类以及发展 历史，并对传统的入侵检测技术做了概括，通过对一些入侵行为的分析，分析了当前入侵 检测技术存在的一些问题。 第三章提出了一个基于攻击策略分析的协同入侵检测模型，并对其进行了细化，介绍 了各个模块的功能，是本文的重点工作。 第四章给出了基于攻击策略分析的协同入侵检测模型的一种实现方案，并由模型使用 的两种关键技术：移动代理和攻击策略分析入手分析比较了该模型的性能特点和以往分布 式协同入侵检测系统的不同及其优势。 第五章对全文工作的总结，并对本课题研究进行了展望。 5 入侵检测技术综述 2 入侵检测技术综述 入侵检测技术是继防火墙之后又一种不同的网络安全技术，是动态安全技术的核心之 一，被认为是防火墙之后的第二道安全闸门。它能在不影响网络性能的情况下对网络进行 检测，从而提供对内部、外部攻击和误操作的实时保护。代理技术是因应网络安全需要和 网络流量和攻击的增强而出现的一种新技术，它具有智慧化检测和分析功能，可以很好的 提高入侵检测系统的工作效率。 2 1 入侵检测技术概述 入侵行为主要指对系统资源的非授权使用，它可以造成系统数据的丢失和破坏，甚至 会造成系统拒绝对合法用户服务等后果。入侵者可以分为两类：外部入侵者f 系统中的非 法用户，即黑客) 和内部入侵者( 有越权使用系统资源行为的合法用户) p 2 d r 模型是具有代表性的安全模型之一虽然有很多变种，但实质没有变，它包括 策略( p o l i c y ) 、防护( p r o t e c t i o n ) 、检测( d e t e c t i o n ) 、回应( r e s p o n s e ) 。 入侵检测就是p 2 d r 模型中的“检测”，它的作用在于承接防护和回应的过程。而防 火墙技术、v p n 技术、认证和p i e d 技术都立足于防护。入侵检测是p 2 d r 模型作为一个 动态安全模型的关键所在，提出p 2 d r 模型的原因就是入侵检测技术。防护技术只能做到 尽量阻止攻击企图的得逞或者延缓这个过程，而不能阻止各种攻击事件的发生。防火墙在 网络安全中起到大门警卫的作用，对进出的数据依照预先设定的规则进行匹配，符合规则 的就予以放行，起访问控制的作用，是网络安全的第一道闸门。但防火墙的局限性是：它 只能对进出网络的数据进行分析，对网络内部发生的事件完全无能为力。同时，由于防火 墙处于网关的位置，不可能对进出攻击作太多判断，否则会严重影响网络性能。丽入侵检 测通过旁路监听的方式不问断的收取网络数据，对网络的运行和性能无任何影响，同时判 断其中是否含有攻击的企图，通过各种手段向管理员报警，不但可以发现从外部的攻击， 也可以发现内部的恶意行为。所以入侵检测是网络安全的第二道闸门，是防火墙的必要补 充，构成完整的网络安全解决方案。 综上所述，我们可以把入侵检测定义为：对( 网络) 系统的运行状态进行监视，发现各 种攻击企图、攻击行为或者攻击结果以保证系统资源的机密性、完整性与可用性i 1 0 1 入侵检测系统是一种能够通过分析安全相关数据来检测入侵活动的系统。一般来说， 入侵检测系统在功能结构上基本一致，均由数据采集、数据分析、响应以及用户接口等几 个功能模块组成，只是具体的入侵检测系统在采集数据、分析数据的方法上有所不同。 通用入侵检测系统结构【1 1 】如图2 - 1 所示。 7 西安理工工大学硕士学位论文 图2 - 1 通用入侵检测系统结构图 f i 9 2 - 1s 缸u c 眦o fc m n c r a li d s 数据提取模块为系统提供数据，数据的来源可以是结点上的日志信息、审计记录、网 络上的数据信息。数据提取模块在获取数据之后需对数据进行简单处理，如简单的过滤、 数据格式的标准化等，然后将经过处理的数据提交给事件分析器。事件分析器对资料进行 深入分析，发现攻击并根据分析的结果产生事件，传递给入侵响应模块，事件分析的方式 多种多样，该模块是入侵检测系统的核心入侵响应模块用于告警和回应。 将i d s 要分析的数据统称为事件，它可以是网络中的数据包，也可以是从系统日志 或其它途径得到的信息。 以上四个组件只是逻辑实体，一个组件可能是某台计算机上的一个进程甚至线程，也 可能是多个计算机上的多个进程，它们以g i d o ( g e n c r a li n t r u s i o nd e t e c t i o n 侧c 鸭统一入 侵检测对象) 格式进行数据交换。g i d o 是对事件进行编码的标准通用格式( 由c i d f 描述 语言c i s l 定义) ，g i d o 数据流可以是发生在系统中的审计事件，也可以是对审计事件的 分析结果。 8 a 事件产生器 入侵检测的第一步就是信息收集，收集的内容包括整个计算机网络中的系统、网 络、数据及用户活动的状态和行为，这些由事件产生器来完成。研究资料收集机制的 重要性是显而易见的，就准确性、可靠性和效率而言，i d s 收集到的数据是它进行检 测和决策的基础。如果收集数据的时延太大，系统很可能在检测到攻击的时候，入侵 者已经长驱直入；如果数据不完整，系统的检测能力就会大打折扣；如果数据本身不 冬堡丝型查簦鲨 正确，系统就无法检测某些攻击，从而给用户造成一种很虚假的安全感，后果是不堪 设想的。入侵检测很大程度上依赖于信息收集的可靠性、正确性和完备性，因此要确 保收集、报告这些信息的软件工具的可靠性，这些软件本身应具有相当强的安全性和 可用性，能够防止被篡改而收集到错误信息 入侵检测收集和利用的信息主要有以下几个方面： i 系统和网络日志文件 黑客经常在系统日志文件中留下他们的踪迹，因此充分利用系统和网络日志 文件信息是检测入侵的必要条件。日志中包含发生在系统和网络上的不寻常和不 期望活动的证据，这些证据可以指出有人正在入侵或已成功入侵了系统。通过查 看日志文件，能够发现成功的入侵或入侵企图，并很快地启动相应的应急响应程 序。日志文件中记录了各种行为类型，每种类型又包含不同的信息，例如记录“用 户活动”类型的日志，就包含登录、用户m 改变、用户对文件的访问、授权和认 证信息等内容。显然地，对用户活动来讲，不正常的或不期望的行为就是重复登 录失败、登录到不期望的位置以及非授权访问重要楷等。 i i 目录和文件中不期望的改变 网络环境中的文件系统包含很多软件和数据文件，其中包含重要信息的文件 和私有数据文件经常是黑客入侵的目标。目录和文件中的不期望的改变( 包括修 改、创建和删除) ，特别是那些正常情况下限制访问的，很可能就是入侵产生的一 种指示和信号。黑客经常替换、修改和破坏他们已经获得访问权的系统上的文件， 同时为了隐藏系统中他们的表现及活动痕迹，都会尽力去替换系统程序或修改系 统日志文件。 i i i 程序中执行中不期望的行为 网络系统中的程序执行一般包括操作系统、网络服务、用户起动的程序和特 定目的的应用，例如数据库服务器。每个在系统上执行的程序由一到多个进程来 实现。每个进程执行在具有不同权限的环境中，这种环境控制着进程可访问的系 统资源、程序和数据文件等一个进程的执行行为由它运行时执行的操作来表现， 操作执行的方式不同，它利用的系统资源也就不同。操作包括计算、传输、设备 和其它进程，以及与网络问其它进程的通讯。 一个进程出现了不期望的行为可能表明黑客正在入侵你的系统。黑客可能会 将程序或服务的运行分解，从而导致它失败，或者是以非用户或管理员意图的方 式操作。 i v 物理形式的入侵信息 物理形式的入侵包括两个方面的内容：一是未授权的对网络硬件连接；二是 对物理资源的未授权访闯。黑客会想方设法去突破网络的周边防卫，如果他们能 够在物理上访问内部网，就能安装他们自己的设备和软件。依此，黑客就可以知 9 西安, 理- r - t 大学硕士学位论文 1 0 道网上的由用户加上去的不安全的侏授权的) 设备，然后利用这些设备访问网络。 例如，用户在家里可能安装m o d e m 以访闯远程办公室，与此同时黑客正在利用自 动工具来识别在公共电话在线的m o d e m ，如果一拨号访问流量经过了这些自动工 具，那么这一拨号访问就成为了威胁网络安全的后门黑客就会利用这个后门来 访问内部网，从而越过了内部网络原有的防护措施，然后捕获网络流量，进而攻 击其它系统，并盗取敏感的私有信息等。 数据收集可以分成直接监控和间接监控两种方法。直接监控是指从数据生成地 或属地直接获取数据。例如，如果要直接监控某结点的c p u 负载情况，就需要从结 点相应的内核结构中获取数据；如果要直接监控i n e t d 后台进程所提供的网络服务的 情况，就需要直接从i n e t d 获取关于那些访问情况的数据。 间接监控是指从能反映监控目标行为的数据源处获取数据。还以前面的两个例 子为证，间接监控可以通过读取记录c p u 负载的日志文件，完成对结点c p u 负载 的监控；通过读取i n e t d 后台进程所产生的日志文件，或通过类似t c p - w r a p p e r s 的 辅助程序，间接监控网络服务的访问情况；也可以通过监视发往结点特定端口的数 据包进行间接监控 数据收集可采用外部探测器和内部探测器。有些入侵检测系统在实现数据收集 时采用了外部探测器和内部探测器，如普渡大学的a a f i d ，使用外部探测器时，监 控组件与被监控程序分离，而内部探测器则在所监控的程序代码内实现。 b 事件分析器 事件分析器是入侵检测系统的核心，其效率的高低直接决定了整个入侵检测系统 的性能。事件分析器可以采用不同的入侵检测技术，可根据具体情况综合采用多种检 测技术事件分析器分析从其它组件收到的g i d o ，并将产生的新g i d o 再传送给其 它组件。分析器可以是一个轮廓描述工具，统计性地检查现在的事件是否可能与以前 某个事件来自同一个时间序列；也可以是一个特征检测工具，用于在一个事件序列中 检查是否有已知的滥用攻击特征；此外，事件分析器还可以是一个相关器，观察事件 之间的关系，将有联系的事件放到一起，以利于以后的进一步分析。常用的分析方法 有如下几种； ( 1 ) 模式匹配 模式匹配就是将收集到的信息与已知的网络入侵和系统误用模式数据库进 行比较，从而发现违背安全策略的行为。该过程可以很简单( 如通过字符串匹配以 寻找一个简单的条目或指令) ，也可以很复杂( 如利用正规的数学表达式来表示安全 状态的变化) 。一般来讲，一种进攻模式可以用一个过程( 如执行一条指令) 或一个输 出( 如获得权限) 来表示。该方法的一大优点是只需收集相关的数据集合，显着减少 系统负担，且技术已相当成熟。它与病毒防火墙采用的方法一样，检测准确率和效 入侵检测技术综述 率都相当高但是该方法存在的弱点是需要不断的升级以对付不断出现的黑客攻击 手法，不能检测到从未出现过的黑客攻击手段。 ( 2 ) 统计分析 统计分析方法首先给系统对象( 如用户、文件、目录和设备等) 创建一个统计描 述。统计正常使用时的一些测量属性( 如访问次数、操作失败次数和延时等) 。测量 属性的平均值将被用来与网络、系统的行为进行比较，任何观察值在正常值范围之 外时，就认为有入侵发生。例如，统计分析可能标识一个不正常行为，因为它发现 一个在晚八点至早六点不登录的账户却在凌晨两点试图登录。其优点是可检测到未 知的入侵和更为复杂的入侵，缺点是误报、漏报率高，且不适应用户正常行为的突 然改变。具体的统计分析方法如基于专家系统的、基于模型推理的和基于神经网络 的分析方法，目前正处于研究热点和迅速发展之中。 ( 3 ) 完整性分析 完整性分析主要关注某个文件或对象是否被更改，这经常包括文件和目录的内 容及属性，它在发现被更改的、被特洛伊化的应用程序方面特别有效。完整性分析 利用强有力的加密机制，称为消息摘要函数，它能识别哪怕是微小的变化。其优点 是不管模式匹配方法和统计分析方法能否发现入侵，只要是成功的攻击导致了文件 或其它对象的任何改变，它都能够发现。缺点是一般以批处理方式实现，不用于实 时响应。尽管如此，完整性检测方法还应该是网络安全产品的必要手段之一。例如， 可以在每一天的某个特定时间内开启完整性分析模块，对网络系统进行全面地扫描 检查。 c知识库 知识库( 也称为事件分析数据库或者规则特征库) 是存放各种中间和最终数据地 方的统称，它可以是复杂的数据库，也可以是简单的文本文件考虑到数据的庞大性 和复杂性，一般都采用成熟的数据库产品来支持。知识库的作用是充分发挥数据库的 长处，方便其它系统模块对数据的添加、删除、访问、排序和分类等操作。 d 入侵响应模块 当事件分析器发现入侵迹象后，入侵检测系统的下一步工作就是响应，而响应的 对象并不局限于可疑的攻击者。目前较为完善的入侵检测系统具有以下响应功能：根 据攻击类型自动终止攻击；终止可疑用户的连接甚至所有用户的连接，切断攻击者的 网络连接，减少损失；如果可疑用户获得账号，则将其禁止；重新配置防火墙更改其 过滤规则，以防止此类攻击的重现；向管理控制台发出警告指出事件的发生；将事件 的原始数据和分析结果记录到日志文件，并产生相应的报告；可以以鸣铃或发e - m a i l 等方式向安全管理人员发出提示性的警报；可以执行一个用户自定义程序或脚本，方 1 1 西安理工工大学硕士学位论文 便用户操作，同时也提供了系统扩展的手段。 在一般入侵检测系统中，事件产生器和事件分析器是比较重要的两个组件，在设 计时采用的策略不同，其功能和影响也有很大的区别，而入侵响应模块和知识库则相 对来说比较固定 2 2 入侵检测技术分类及其作用 入侵检测一般要经过资料收集与归纳、行为的分析与分类、报告与回应等过程。按照 数据来源、分析方法和工作模式的不同，目前的入侵检测系统主要有3 种分类方法。 2 2 。1 按采用的技术分类 a 异常入侵检测技术( n o a a l yd e t e c t i o n ) 异常检测假定：用户行为表现为可预测的、致的系统使用模式，而入侵者活动异常 于正常用户的活动。根据这一理念建立用户正常活动的“行为模型”。进行检测时，将使 用者的行为或资源使用状况与“行为模型”相比较，从而判断该活动是否是入侵行为例 如事先定义一组系统“正常”情况的阈值，如c p u 利用率、内存利用率、特定类型的网 络连接数、访问文件或目录次数、不成功注册次数等( 这类数据可以人为定义，也可以通 过观察系统、并用统计的办法得出) ，然后将系统运行时的数值与所定义的“正常”情况 比较，得出是否有被攻击的迹象。异常检测与系统相对无关，通用性较强，它甚至有可能 检测出以前未出现过的攻击方法异常检测的关键在于如何建立“行为模型”以及如何设 计检测算法来降低过高的误检率和漏检率，因为不可能对整个系统内的所有用户行为进行 全面的描述，况且每个用户的行为是经常改变的，尤其在用户数日众多，或工作目的经常 改变的环境中异常检测模型的结构如图2 2 图2 _ 2 异常检测模型 f i 9 2 2 a n 】a l yd e t e c t i o nm o d e l 异常检测技术常用的检测方法有基于概率统计的异常检测方法、基于贝叶斯推理的入 入侵检测技术综述 侵检测方法、基于模式预测异常检测方法、基于神经网络异常检测方法、基于机器学习异 常检测方法、基于数据挖掘异常检测方法等等【1 1 】，而现阶段基于异常的检测系统主要采 用了统计、神经网络等方法。 异常检测技术的优点在于可以实现对未知入侵行为的预报能力，但它存在较高的误报 率。异常检测技术的关键在于用户行为的建模、阈值的选取及其系统特征量的选择，这些 都与检测的准确性有很大关系。 b 误用检测( m i s u s ed e t e c t i o n ) 误用检测也称特征( s i 鲷a t l l r e ) 检测，这一检测假设入侵活动可以用某种模式特征来表 示，系统的目标是检测主体活动是否符合这种模式特征该方法的一大优点是只需收集相 关的数据集合并依据具体特征库进行判断，显着减少了系统负担，且技术已相当成熟。它 与病毒防火墙采用的方法类似，检测准确率和效率都相当高。但是，该方法存在的弱点在 于与具体系统依赖性太强，系统移植性不好，且不能检测到从未出现过的黑客攻击手段， 需要不断的升级以对付新出现的入侵手段。 误用检测技术通过攻击模式、攻击签名的形式表达入侵行为。它很类似于病毒检测技 术的特征码技术，同样的，对于入侵行为的变种形式，该方法也有很好的效果。它对已知 的入侵行为进行分析，提取检测特征，构建攻击模式或攻击签名，通过系统当前状态与攻 击模式或攻击签名的匹配，判断是否为入侵行为。该模型的结构如图2 - 3 所示。 图2 - 3 误用检测模型 f i 萨- 3m i s u s cd e t e c t i o nm o d e l 误用检测有很多种方法【切，而现阶段基于误用的检测系统主要采用了专家系统、模式 识别等人工智能技术。 误用检测技术的优点在于可以准确地检测已知的入侵行为，但它不能检测未知的入侵 行为误用检测技术的关键在于入侵行为的表达，即攻击模式和攻击签名的构建，检测过 程中的推理模型。 西安理工工大学硕士学位论文 2 2 2 按照i d s 所检测的对象分类【埘 a 基于主机的入侵检测系统( hid s h o s t - b a s e d in t r u sio nd e t e c tio ns y s t e m ) 早期基于主机的入侵检测是通过监视与分析主机的审计记录来检测入侵。这些系统的 实现也不全在目标主机上，例如使用网络将主机的信息传送到中央分析单元。基于主机的 入侵检测系统在发展过程中也融入了其它技术，如通过定期检查对关键系统文件和可执行 文件以便发现意外的变化。另外还将基于网络的入侵检测的方法融入到基于主机的检测环 境中，如监听并记录特定端口的活动等。 基于主机的入侵检测系统有如下优点： 可监视特定的系统活动 由于基于主机的 d s 使用含有已发生事件信息，能够检测到基于网络的 d s 检 测不出的攻击，如监视用户访问文件的活动，包括文件访问、主要系统文件和可执 行文件的改变、试图建立新的可执行档或者试图访问特殊的设备；还可监视通常只 有管理员才能实施的非正常行为，包括用户账号的添加、删除、更改的情况等。 适用于加密及交换的环境 交换设各可将大型网络分成许多的小型网段加以管理。基于主机的 d s 可安 装在所需检测的重要主机上，在交换的环境中具有更高的能见度。而且，基于主机 的i d s 也能适应加密的环境。 对网络流量不敏感 基于主机的i d s 只检测和分析与本地主机相关的通信，一般不会因为网络流 量的增加而丢掉对网络行为的监视。 不要求额外的硬设备 基于主机的e ) s 存在于现行网络系统结构之中，包括文件服务器、w e b 服务 器及其它共享资源。它们不需要在网络上另外安装、维护和管理硬设备。 b 基于网络的入侵检测系统( n i d s h e t w o r k - b a s e di n t r u s i o l ld e t e o t i o ns y s t e m ) 基于网络的入侵检测系统在共享网段上对通过网络的所有通信业务数据进行侦听，采 集原始网络包作为数据源并分析可疑现象由于这类系统并不需要主机提供严格的审计， 因而对主机资源消耗少，并且由于网络