（计算机应用技术专业论文）基于特征选择的轻量级入侵检测系统.pdf

摘要摘要计算机和网络技术的普及，在给人们的生活带来极大便利的同时，也将安全隐患传播到整个网络。正是由于网络的普及率越来越高，一旦发生有目的、大规模的网络入侵行为，造成的影响就越恶劣。做为保护网络安全手段之一的入侵检测技术，一直被广大国内外学者所关注。由于网络规模的不断扩大，网络流量的不断增长和黑客技术的不断发展，对入侵检测的性能提出了更高的要求。基于全部特征的入侵检测系统处理的数据含有大量的冗余与噪音特征，使得系统耗用的计算资源很大，导致系统训练时间长、实时性差，检测效果不好。针对高维数据对象，特征选择一方面可以提高分类精度和效率，另一方面可以找出富含信息的特征子集，能够很好地消除冗余和噪音特征，有利于提高入侵检测系统的检测速度和效率，因而对基于特征选择的入侵检测系统进行研究是必要的，也符合入侵检测领域的发展趋势。本文提出了一种基于过滤器模式的轻量级入侵检测系统，无论是在数据集的特征选择算法还是分类器的参数优化上，都给出了有效的实施策略，提高了检测速度，降低了分类干扰，提高了入侵检测的检测率。关键词：特征选择；轻量级入侵检测系统；过滤器；封装器a b s t r a c ta b s t r a c tw i t ht h ep o p u l a r i t yo fc o m p u t e ra n dn e t w o r k ，p e o p l ee n j o yt h ec o n v e n i e n c e sg i v e nb yt h e s ea d v a n c e dt e c h n o l o g i e s b u ta tt h es a m et i m e ，p e o p l ea r ea l w a y se x p o s e dt ot h er i s ko fm a l i c i o u sa t t a c k s b e c a u s eo ft h ep o p u l a r i t yo fn e t w o r k ，i tw i l lb r i n gg r e a td a m a g ew h e nh a p p e n sp u r p o s i v ea n dl a r g es c a l ei n t r u s i o n s a so n eo ft h ek e ym e t h o d st op r o t e c tt h en e t w o r ks e c u r i t y ，i n t r u s i o nd e t e c t i o nt e c h n o l o g yh a sb e e np a i dm o r ea t t e n t i o nt ob o t l li nh o m ea n da b r o a d w er e q u i r eb e t t e rp e r f o r m a n c eo fi n t r u s i o nd e t e c t i o nt e c h n o l o g yb e c a u s eo ft h es p r e a do f n e t w o r k ，i n c r e a s e m e n to f n e t w o r kt r a f f i ca n dt h ed e v e l o p m e n to f h a c k e rt e c h n o l o g y t h ei n t r u s i o nd e t e c t i o ns y s t e mb a s e do na l lf e a t u r e sd e a l sw i mh u g ea m o u n to fd a t aw h i c hc o n t a i n sr e d u n d a n ta n dn o i s yf e a t u r e sc a u s i n gs l o wt r a i n i n ga n dt e s t i n gp r o c e s s ，h i g hr e s o u r c ec o n s u m p t i o na sw e l la sp o o rd e t e c t i o nr a t e f o rh i g l ld i m e n s i o nd a t a , f e a t u r es e l e c t i o nn o to n l yc a ni m p r o v et h ea c c u r a c ya n de f f i c i e n c yo fc l a s s i f i c a t i o n , b u ta l s od i s c o v e ri n f o r m a t i v es u b s e t f e a t u r es e l e c t i o nc a l le l i m i n a t er e d u n d a n ta n dn o i s yf e a t u r e sw e l l ，i sa d v a n t a g e o u si nt h ee n h a n c e m e n to fi n t r u s i o nd e t e c t i o ns y s t e m sd e t e c t i o ns p e e da n dd e t e c t i o nr a t e , t h u sas u r v e yo fi n t r u s i o nd e t e c t i o ns y s t e mb a s e d0 1 1f e a t u r es e l e c t i o ni sn e c e s s a r y , a l s oc o n f o r m st ot h et r e n di nt h ef i e l do fi n t r u s i o nd e t e c t i o n t h i sp a p e rp r o p o s e san e wl i g h t w e i g h ti n t r u s i o nd e t e c t i o ns y s t e m sb a s e do nf i l t e rm o d e ,w h e t h e rt h ef e a t u r es e l e c t i o na l g o r i t h mi nt h ed a t as e to ro p t i m i z a t i o no ft h ep a r a m e t e r so fc l a s s i f i e r ，a r eg i v e ne f f e c t i v ei m p l e m e n t a t i o ns t r a t e g yt h a tw i l lr a i s et h ed e t e c t i o ns p e e d ，r e d u c ec l a s s i f i c a t i o ni n t e r f e r e n c e ，a n dt h u si m p r o v et h ei n t r u s i o n d e t e c t i o nr a t e k e yw o r d s ：f e a t u r es e l e c t i o n ；l i g h t w e i g h ti n t r u s i o nd e t e c t i o ns y s t e m ；f i l t e r ；w r a p p ei i河北大学学位论文独创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所傲的任何贡献均已在论文中作了明确的说明并表示了致谢。作者签名：墨 ：丛兰日期：衅月旦日学位论文使用授权声明本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。本学位论文属于1 、保密口，在年月日解密后适用本授权声明。2 、不保密。( 请在以上相应方格内打“4 )保护知识产权声明本人为申请河北大学学位所提交的题目为舷鸦h 沏辛。辨暖n 呈锻江幻幻的学位论文，是我个人在导师忉j 价私指导并与导师合名下取得的研究成果，研究工作及取得的研究成果是在河北大学所提供的研究经费及导师的研究经费资助下完成的。本人完全了解并严格遵守中华人民共和国为保护知识产权所制定的各项法律、行政法规以及河北大学的相关规定。本人声明如下：本论文的成果归河北大学所有，未经征得指导教师和河北大学的书面同意和授权，本人保证不以任何形式公开和传播科研成果和科研工作内容。如果违反本声明，本人愿意承担相应法律责任。声明人：垄! 未乙日期：垒啤年丘月旦日作者签名：导师签名：日期：盘12 年月! 三日日期：地卜年月立日第1 章绪论1 1 引言第1 章绪论随着计算机网络的不断普及和网速的提升，网络安全问题也日益凸显。h t 锄e t 最早起源于美国国防部高级研究项目署( 虹心a ) 1 9 6 9 年设计的一个实验性网络a r p a n e t 。这个实验性网络将美国许多大学和多个分散于各个研究机构中从事国防研究项目的计算机连接在一起，为大学和科研机构进行科学研究提供数据共享服务，为了适应当时的形势发展，i n t e m e t 的首要设计目标确定为保证数据的可靠传输和可达，并遵循着d a v i dc l a r k 教授提出的“边缘论 设计原贝j j ( e n d - - t o - - e n da r g u m e n t ，e 2 e 原则) 。但是随着i n t c r n c t 的商业化运作和相关技术的不断发展，应用不断丰富，i n t c r n c t 已经远远超越了当时的应用范围和设计目标。它已经深入到我们周围的很多领域，并已经和我们的日常生活紧密地联系在一起，我们也越来越离不开我们周围的这个网络，许多关乎国计民生的关键应用都以i n t e m e t 为传输媒介，门户网站、电子商务、电子政务、电子办公、网络游戏已经成为大家所熟悉的名词术语。建立在i n t e m e t 基础网络之上的电子商务应用更是在最近几年得到了蓬勃的发展。但是我们也逐步意识到，互联网在为大家带来便利的同时，也带来了新的问题网络安全问题。我们所日益依赖的i n t e m e t 已经成为黑客们处心积虑的攻击目标。然而当前互联网的现状，还缺乏针对网络恶意行为的基本监督和控制。这是因为互联网在设计之初确立了多个有主次层次关系的设计目标，根据e 2 e 原则，i n t e r a c t 的中间传输网络力求简单，除了保存一些必不可少的路由状态外，基本不保存其他网络状态，网络的出发点仅仅是根据目的地址转发报文。这种起源于设计之初的历史遗留问题使得我们无法对网络行为进行行之有效的监督和审计，进而使得防范和抵御网络攻击成为很棘手的问题。计算机网络安全问题是一个没有国际范围限制的问题，很多国家都已经把建立和维护网络安全和健康列入到重点管理范畴之内，这是因为随着入侵行为和经济利益的挂钩，网络中的恶意行为越来越猖狂，无论政府、商务，还是金融、媒体的网站都在不同程度上受到过不同程度的入侵与破坏。据统计，2 0 0 5 年我国共处理网络安全犯罪事件近1河北人学t 学硕士学位论文3 万起，开设网络货币交易功能的银行等金融机构成为网络诈骗和攻击的“重灾区，在此方面造成的直接经济损失约1 0 亿元人民币。2 0 0 6 年，电脑病毒呈爆炸式增长，几乎达到了2 0 0 3 年至2 0 0 5 年三年间病毒总和的三倍，并且在新的入侵类型中有9 0 以上带有明显的利益特征。2 0 0 8 年的病毒数量继续暴增，比2 0 0 7 年增长1 2 倍以上，病毒数量逼近千万数量级。一方面网络入侵日益泛滥，另一方面一些网络安全事件的发生显得更加不可思议，除了系统漏洞、应用软件漏洞等层出不穷外，2 0 0 7 年5 月1 8 日，赛门铁克公司出品的诺顿杀毒软件在升级病毒库后，把w i n d o w s 简体中文版操作系统中的关键系统文件当作病毒删除，导致大量用户的操作系统崩溃，数以百万计的电脑瞬时遭受了灭顶之灾n 】。此次由网络安全产品带给网络的灾难更加摧毁了人们对网络安全的信心。用户对于互联网安全的评价也越来越低，网络的安全性能正在经历前所未有的挑战。目前，网络安全领域的相关技术和方法主要包括v p n ( v i r t u a lp f i v a t en e t w o r k ) 、防火墙和入侵检测。v p n 是利用基于公共基础设施建设起来的公开网络，借助相关安全技术和手段，能够提供安全、可靠、可控的保密数据通信的一条安全通道。v p n 是一种被动的入侵防护技术，研究方向集中在系统自身的加固和防护上，不能适用于大规模的计算机公开网络。防火墙是一个由软件和硬件设备组成、设立在内部网和外部网之间、专用网与公共网之间的保护屏障，用于实现内外网的隔离与访问控制，用户通过检测、限制或更改跨越防火墙的数据流，对外屏蔽内部网络信息。防火墙主要包括服务访问规则、验证工具、包过滤和应用网关4 部分，是保护内网安全的最经济最有效的措施之一，防火墙是不同网络之间的唯一出入口，能够根据企业的安全政策和要求灵活的控制出入网络的信息流，防火墙本身抗攻击能力较高，是提供安全信息服务、信息交换和网络安全的重要基础设施，能够通过过滤不安全的服务较大幅度的提高内部网络的安全性。因为在防火墙的设置中只有经过事先选择的应用协议才能通过防火墙，所以这种手段使得网络环境变得更安全。总之，防火墙具有以下五大基本功能：第一，管理进、出网络的访问行为；其次，过滤进、出网络的数据；第三，记录通过防火墙的活动内容；第四，对网络攻击的检测和告警；最后，封堵被禁止的业务。然而防火墙自身也有其难以规避的缺点，如配置复杂、对未知类型的攻击行为无法判断和阻止、对来自网络内部的攻击束手无策等。然而，据统计，全球五分之四的入侵是来自于网络内部的。所以，在防火墙的基础上我们急需采取更高级的安全措施，比如入侵检测。入侵检测是防火墙的合理2第1 章绪论而必要的补充，是一种利用入侵者攻击时留下的蛛丝马迹来发现源自内部或者外部的非法入侵的安全保障技术。从入侵检测概念的提出，入侵检测相关领域的研究发展接近3 0 年了。在这3 0 年的研究过程中，一些商业性的入侵检测系统已经得到了实际应用，但是对入侵检测系统的研究却方兴未艾，现有的产品都不是很成熟，存在很多实际问题，不能真正实现通用，尤其随着具体网络环境的不断变化，对入侵检测系统的性能要求也会相应变化，当前，随着入侵频发，对入侵检测系统的性能要求也越来越高，在保证一定水平检测率的前提下，只有加快检测速度，才能及时处理网络中传输的海量数据，现在很多入侵检测系统因为所采用的检测方法不当，来不及处理入侵数据而造成漏警，给系统带来不必要的损失，随着网速的进一步提升，这一问题会日益凸显。时间性能已成为入侵检测系统实时性要求的一个重要指标，也成为入侵检测系统性能提高的一个瓶颈问题，如何在保证检测正确率的前提下开发出检测速度快的轻量级入侵检测系统嘲，成为当务之急。怎样提高入侵检测的时间性能，成为当前国内外入侵检测研究的趋势蜘h 瑚，入侵检测一般要根据从网络或主机收集到的一些特征信息来判断是否有入侵行为发生，隐藏于这些特征信息中的噪音和冗余信息使得入侵检测的速度难以提高，于是人们越来越关注到能否通过特征选择来解决上述问题，事实上，有些特征没有包含或者包含极少的状态信息，它们对检测结果几乎没有甚至有反面影响，所以，去除冗余特征和相关特征，9 + 保留能够反映系统状态的重要特征，是提高入侵检测速度的一种行之有效的方法。对特征选择领域的研究正成为入侵检测领域研究的新热点，加快入侵检测速度，开发轻量级入侵检测系统也成为目前网络环境下必须要面对的实际问题。1 2 国内外研究现状1 2 1 国外研究现状入侵检测的概念首先由a n d e r s o n 拍1 在1 9 8 0 年提出，他将入侵行为定义为：潜在的、有预谋的、未经授权的访问信息和操作信息，包括有致使系统不可靠或无法使用的企图。他把入侵行为划分为内部用户未经授权的滥用，授权用户的越权越限访问和来自系统外部的入侵闯入，并在此基础上提出了采用审计追踪方法对入侵威胁进行监视。1 9 8 6 年，河北大学t 学硕士学位论文d e n n i n g 和n e u m a n n 研究并设计了一个基于异常检测技术的实时入侵检测系统模型盯1 ，采取的检测算法是利用统计学方法发现用户的异常操作行为，本系统是基于主机的入侵检测系统，为后续入侵检测系统的发展起了很好的指导作用。1 9 8 7 年，d e n n i n g 对于入侵检测模型的论述嘲首次将入侵检测作为计算机系统安全的一种防御措施提出。1 9 8 8 年1 1 月，世界上第一个蠕虫病毒m o r r i s 蠕虫事件爆发，致使当时连接互联网电脑总数的1 0 陷入瘫痪，这次经历让人们更加重视网络安全的重要性，也导致了许多i d s 系统的开发与研制。这一年，l u n t 等人改进了d e n n i n g 等人研制的入侵检测模型，提出了一种与系统平台无关的实时检测方案。1 9 9 0 年，h e b e r l e i n 等人提出了一种基于网络的入侵检测系统n s m 【9 】，n s m 通过在局域网环境中主动监视网络传输的信息流量检测追踪异常行为。第二年，n a d i r 提出了一种审计信息方法，信息来自多个主机的并集，侧重检测针对系列机群的协同攻击。1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d 提出了自治代理的概念，提高入侵检测系统的检测率、可伸缩性、可维护性，使开发大型综合入侵检测系统成为可能。1 9 9 5 年，i d s 后续版本- n i d e s ( n e x t - g e n e r a t i o ni n t r u s i o nd e t e c t i o ns y s t e m ) 实现了可以检测多个主机上的入侵。1 9 9 6 年，g r i d s ( g r a p h - b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 能够对大规模自动或协同攻击进行检测，该系统试图为入侵检测技术扩展到大型网络环境提供一个实际的解决方案，该系统的优点是能够检测到网络环境下蠕虫攻击、跨域的协同式攻击、s w e e p 攻击等大规模的攻击行为，g r i d s 采用层次化的系统架构，以图表格式描述各级网络和主机的活动，采用基于规则的图表进行处理。1 9 9 8年，r o s sa n d e r s o n 和a b i d ak h a t t a k 将信息检索技术应用于入侵检测系统领域。同时，很多不同的新的入侵检测技术，如神经网络、遗传算法、模糊识别、免疫系统、数据挖掘等1 0 m 邮州1 3 1 逐步应用到智能入侵检测系统中，1 9 9 9 年，l o sa l a m o s 的v p a x s o n 开发了用于高速网络环境下入侵检测的b r o 系统，b r o 系统不仅考虑了系统的安全性、鲁棒性，而且侧重处理众多反规避方面的技术问题。2 0 0 0 年，p u r d u e 大学的d i e g oz a m b o n i和e s p a f f o r d 实现了自治代理结构的系统a a f i d ( a u t o n o m o u sa g e n t sf o ri n t r u s i o nd e t e c t i o n ) 。a a f i d 的每个代理都相对独立的收集、上传信息和进行数据的处理和判断，只有认为出现了异常情况或入侵时才上报。由于引入了分布式代理结构的入侵检测框架，a a f i d 跨越了基于主机的入侵检测系统和基于网络的入侵检测系统的界限，自治代理机制的引入使系统能够广泛地收集网络环境中的数据，这种基于代理的分布式入侵4第1 章绪论检测系统，成为经典的入侵检测系统框架结构，流行至今。1 2 2 国内研究现状对入侵检测的研究，国内起步较晚，直到2 0 0 1 年，清华大学在c e r n e t 骨干网环境中开发设计了国内第一个分布式入侵检测系统d c i d s n 钔n 目，此系统具有对网络性能影响较小，可适应性较强，系统本身通信安全有所保障等优点。国内，学者们从九十年代末才开始关注入侵检测相关知识，对入侵检测方法的研究一直是入侵检测系统研究的重点。北京邮电大学的魏宇欣n 6 1 等提出一种智能网格的入侵检测系统，结合智能检测技术，采用分布式体系结构，该系统在网格环境中采用基于神经网络的检测技术，能够充分利用网格上的资源进行入侵行为的发现，实现了资源使用的负载均衡，在大流量网络情况下能够获得较高的检测效率。上海交大的张连华n 刀西安交通大学的蔡忠闽n 耵将粗糙集理论应用于入侵检测领域，提高了检测效率。南京大学的俞研等n 钔提出了一种基于改进多目标遗传算法的入侵检测集成方法，针对多类型攻击检测的不均衡性和冗余特征导致的检测模型复杂化和检测精度下降的问题，利用改进的多目标遗传算法，采用选择性集成方法，挑选精确的、多样性的基分类器来构造集成入侵检测模型，有效地解决了入侵检测中存在的特征选择问题，并对不同类型的攻击检测具有良好的均衡性。哈尔滨工程大学的陶新民等咖3 将模糊聚类和免疫原理相结合，提高了检测率。国防科技大学的胡华平乜订等提出一种面向大规模网络的移动自组网络的安全策略，提高了移动网络系统的应急响应能力，使入侵检测范围扩展到无线通信。1 2 3 入侵检测系统相关产品入侵检测系统的开发使用虽然时间不长，但在这个过程中出现了很多具有很高实用价值的相关软件，以下是入侵检测领域比较著名的入侵检测系统和用于入侵检测系统开发的相关辅助工具：1 1s n o r t ：这是一个流传甚广的开源i d s ，采用灵活的基于规则的语言进行通信描述，将签名、协议和异常行为的检测方法结合起来。s n o r t 通过协议分析、内容查找和各种预处理程序，能够检测出成千上万的蠕虫、利用漏洞的企图、端口扫描企图和各种可疑的不正常行为。速度极快，是全球部署最为s河北大学工学硕十学位论文广泛的入侵检测技术，甚至成为防御技术的标准。2 )o s s e ch i d s ：本i d s 是基于主机的开源入侵检测系统，功能包括日志分析、完整性检查、w i n d o w s 注册表监视、r o o t l d t 检测、实时警告，可以实现动态的实时响应。因为其日志分析引擎强大，互联网供给商、大学和数据中心对o s s e ch i d s 都非常青睐，用其监视和分析防火墙、i d s 、w e b 服务器和用于身份验证的日志。3 )b a s e ：基本的分析和安全引擎，b a s e 是一个基于p h p 的分析引擎，能够搜索、处理由入侵检测系统、防火墙、网络监视工具生成的各种安全事件数据。其特性是其查询生成器查找接口能够发现不同匹配模式的警告，b a s e包括一个数据包查看器解码器和基于时间、签名、协议、口地址的统计图表等。4 )f r a g r o u t e f r a g r o u t e r ：是一款能够逃避网络入侵检测的工具箱，这是一个具有自分段能力的路由程序，能够截获、修改并重写发往一台特定主机的通信信息，能够实施插入、逃避、拒绝服务攻击等。系统拥有一套简单的规则集，可以延迟发送、复制、丢弃、分段、重叠、打印、记录、源路由跟踪发往某一台特定主机的数据包。事实上，f m g r o u t e 主要用于协助测试网络入侵检测系统和防火墙。5 )s g u i l ：这是一款用来为网络安全专家监视网络活动的工具，可以用于网络安全事件分析。可以从s n o r t b a r n y a r d 中提取实时的事件活动。可借助其它部件，进行网络安全监视活动和i d s 警告的事件驱动分析。国外商用入侵检测系统约出现在上世纪9 0 年代初，以下是几种典型的入侵检测系统产品：1 )n f r n i d 系统：n i d ( 早期版本为i d a ) 是n f r 公司的网络入侵检测产品，是一种基于规则检测的i d s ，提供了从百兆以太网链路到千兆范围的全系列探测器。n f r 公司开发的n c o d e 脚本语言，能够创建用于入侵检测的检测特征库。n c o d e 具有强大的数据包分析功能，可以检测复杂攻击、减少漏报和误报。而且可以通过编写n c o d e 代码收集特定模式的信息，选择警告的方式等。n f r n i d 的灵活性是其最大的特点。6第1 章绪论2 )r e a l s e c u r e 系统：r e a l s e c u r e 是i s s 公司的第一个商用入侵检测系统，该系统把分布式技术、基于网络和基于主机的入侵检测技术、可生存技术结合在一起，为网络提供实时监控。采用基于规则的入侵检测方法，入侵事件触发时，根据安全员的安全配置能够自动作出响应。其优势在于简洁性和价格低廉，而且升级方便。3 )c i s c os e c u r ei d s ：c i s c os e c u r ei d s 是基于网络的实时入侵检测系统，可以检测、报告和终止网络中未得到授权的活动，c i s c os e c u r ei d s 的最大优点是其在检测入侵时不仅检查单包内容，而且还能根据上下文，即从当时的状态环境中得到线索进行推断，该系统具有路径备份功能，如果一条路径中断，信息可以从备份路径传送，这款入侵监测系统还有很好的兼容性。4 )c y b e r c o pi n t r u s i o np r o t e c t i o n ：c y b c r c o pi n t r u s i o np r o t e c t i o n 是n a i 公司的产品，集成了安全扫描、网络入侵检测、动态响应和审计分析功能。近几年国内的i d s 主流产品包括：1 )联想的网御入侵检测系统：网御i d s 采用分布式入侵检测系统构架，综合使用模式匹配、异常分析、状态协议分析、行为分析、内容恢复、网络审计等入侵检测和分析技术，全面监视网络的通信状态，可以实时捕获入侵、误用、滥用等违反网络有关安全策略的行为，并针对可疑的入侵行为，依据策略做出主动反应、及时的告警及事件日志记录，最大限度保障网络系统安全。2 )启明星辰的天清入侵检测与管理系统：天清入侵检测系统除了能够利用全面流量监测发现异常，还提供了结合地理信息显示入侵事件的定位状况的功能，应用入侵和漏洞之间的关系，报告入侵威胁和本身脆弱性之间的风险评估，有效地管理安全事件并对入侵行为进行及时处理和响应。3 )绿盟科技的“冰之眼 入侵检测系统：“冰之眼 入侵检测系统由网络探测器、s s l 加密传输通道、日志分析系统、中央控制台、s q l 日志数据库系统和绿盟科技中央升级站点几部分组成。其先进的引擎架构使“冰之眼”i d s成为世界上x 8 6 体系线速处理能力唯一达到2 g b 线速的n i d s 。4 )冠群金辰入侵检测系统：该i d s 设有内建的用于防止破坏的预防功能，使网络入侵检测软件本身具有全面的入侵防护能力。这种性能高、简单易用的解7河北大学工学硕士学位论文决方案在一个软件包中提供了监视、入侵和攻击检测、非法u r l 检测、阻塞、报警、记录以及实时响应等一系列入侵检测和防御功能。1 2 4 存在的问题入侵检测概念的提出开创了入侵检测领域的研究先河，自此入侵检测技术的发展十分迅猛，但目前i d s 相关研究仍然是一个年轻的研究领域，并且随着互联网技术的不断发展，有关i d s 理论研究和实际应用中会出现很多新的难题有待研究和探索。目前阶段存在的问题主要集中在：1 ) 漏误报率高。i d s 常用的检测技术有异常检测、误用检测、协议分析等，到目前为止，这些检测方式本身都尚存一定的问题。例如异常检测技术中涉及到很多统计方法的应用，而统计方法中的阈值确定一直是个难题，太小的阈值会产生大量的误报，太大了又会产生大量的漏报，统计学中很多理论都是在样本无限大的前提下才能适用的，这一要求在入侵检测的建模过程中却很难实现的，在协议分析检测方式中，一般只能简单地处理基本的h t t p 、f t p 、s m t p 协议类型，其余大量未涉及的协议报文漏报较高，如果想支持尽量多的协议类型，网络开销又会变得非常大。2 ) 处理机制不完善。入侵检测系统只能识别i p 地址，无法物理定位i p 地址，不能从源头上根本解决问题，发现攻击事件后所能采取的方法也只能是关闭网络出口和服务器少数端口等处理机制，但由此又会带来其他正常用户的使用会受到连带影响的一系列问题。3 ) 入侵检测系统的体系结构可扩展性问题。i d s 分布式体系结构已成为发展方向，但目前分布式体系结构通常由几个中央智能代理和大量分布的本地代理节点组成，然而在目前的大规模网络环境下，代理之间如何组织协作、相互通信和任务的分配等又成为需要解决的新问题。4 ) 主动防御能力差。i d s 采用通过分析入侵痕迹和事后处理的工作原理，所以更新检测规则和采取相应措施总是落后于攻击手段的更新，缺乏主动防御机制。5 ) 缺乏统一标准。i d s 领域没有统一的标准，通用性较差，虽然美国国防高级研究计划署和互联网工程任务组的入侵检测工作组一直在做着这方面的努力，尝试从体系结构、通信机制、a p i 、语言格式等方面对入侵检测系统规范标准，但目前还处于逐步完r第1 章绪论善阶段，尚未被采纳和推广。6 ) 性能有待提高。现在市场上的入侵检测产品大多采用的是特征检测技术，特征处理已经不能适应交换技术和高带宽环境的发展，新的攻击类型可能造成i d s 的瘫痪或丢包，尤其无法应对d o s 攻击。7 ) 同其他安全技术的联动问题。入侵检测能够一定程度上保障网络安全，但网络安全的保障任务又不能单纯依靠入侵检测系统，如何能够使入侵检测和其他安全技术手段连同协作，提供全方位、纵深的协同网络安全防护体系，是目前面临的新问题。1 3 研究目标特征选择有两种模型，过滤器( f i l t e r ) 和封装器( w r a p p e r ) ，本文试图采用f i l t e r 模式设计一种高效的特征选择方法，不仅要体现出f i l t e r 模式的传统优点，更要尽量克服f i l t e r模式选择效果较差的缺点，实现一种基于特征选择的轻量级入侵检测系统，并通过仿真试验验证它的可行性。本课题的主要目的是降低入侵检测的特征数目提升入侵检测系统的性能设计轻量级的入侵检测系统1 4 论文结构本文共分五章，按照如下方式组织：第一章：绪论，介绍了本文的研究背景，国内外对入侵检测系统的研究现状，以及本文的研究目标。第二章：相关理论知识与技术，介绍了相关理论知识与技术，包括轻量级入侵检测系统、入侵检测系统的分类、检测技术的评价指标。第三章：基于r e l i e f f 改进算法和偏f 检验的特征选择，提出了基于r e l i e f f 改进算法和偏f 检验相结合的特征选择算法，详细叙述了其实现理论。第四章：基于过滤器模式特征选择的轻量级入侵检测系统，提出一种过滤器模式特征选择的轻量级入侵检测系统，对其理论依据进行了详细的分析，并进行了试验论证，0河北大学t 学硕士学位论文在实验基础上进行科学的性能评价。第五章：结束语，对本文所做的工作进行了总结，并对下一步的工作进行了展望。1 0第2 章相关理论知识与技术第2 章相关理论知识与技术2 1 轻量级入侵检测系统入侵是指潜在的、有预谋的、未经授权的访问和操作，是违背安全策略的行为。入侵检测通过收集入侵痕迹或入侵先兆，发现系统中危及安全的行为或企图。入侵检测系统魄1 是指具有入侵检测功能的系统，功能主要体现在以下几个方面：( 1 ) 监视并分析用户和系统活动，识别入侵主体。( 2 ) 对异常行为模式进行分析，识别入侵活动。( 3 ) 对入侵行为提供实时的响应。( 4 ) 对入侵事件采取及时的措施，预防入侵并阻止事态继续扩大。( 5 ) 采取应对措施并恢复系统，收集入侵证据。通过对主机和网络中的关键参数信息进行实时有效的采集和分析，入侵检测系统对非法用户的访问和合法用户滥用资源的行为，做出判断并采取相应的对策。相对于传统的防火墙等网络安全技术而言，能够检测入侵并做出响应，起到了主动防御的效果。所谓轻量级入侵检测系统，是相对于传统的入侵检测系统而言具有较高的时间和空间效率，即在保证检测正确率的前提下检测速度更快的一类入侵检测系统。2 2 入侵检测系统的分类在对入侵检测系统进行分类的研究中，文献睁别具有一定的代表性。国内外的研究人员在此领域经过三十多年的研究过程取得了丰硕的成果，也设计和实现了很多入侵检测系统模型和相关产品。将这些研究成果进行分类，不仅可以帮助我们对入侵检测加深了解，而且我们可以从中掌握今后的发展趋势。下面从入侵检测系统的体系结构、检测数据源和采用的数据分析技术三个方面进行分类。2 2 1 基于体系结构的分类体系结构指入侵检测系统的各个组成部件的分布及部件之间的相互关系。根据数据河北大学工学硕士学位论文分析和入侵检测功能的实现方式，将网络入侵检测系统的体系结构从逻辑上分为集中式、层次式和分布式。1 ) 集中式体系结构( c e n t r a l i z e da r c h i t e c t u r e ) 中的数据收集、分析、响应等模块集中运行于同一台网络主机。结构、安装和配置都相对简单，适用于比较简单的网络环境，这种结构利于进行全局性的检测和决策，但随着网络中数据流量的迅速增加，用单台主机处理网络中所有的入侵检测工作变得不切实际。而且一旦集中式入侵检测系统的中心站点失效，系统网络将全部暴露于危险的网络环境中。2 ) 层次式体系结构( h i e r a r c h i c a la r c h i t e c t u r e ) 的入侵检测系统的逻辑结构是树形结构，适用于大型网络环境，这种结构将系统划分为若干个等级单元，每个层次的入侵检测系统负责一个单元，分析所监控的等级单元的运行情况，然后各自将分析结果传送给上一级入侵检测系统。层次式体系结构是介于集中式体系结构和分布式体系结构的过渡阶段，各节点具有一定的独立性，但又没有完全独立，在高层节点失效情况下，系统结构和功能无法自行修复，并且当网络拓扑结构改变时，单元分析结果的报告机制也要相应调整，配置复杂。3 ) 分布式体系结构( d i s t r i b u t e da r c h i t e c t u r e ) i 扫分布于主机或者子网中的若干平行、独立、并发的自治实体组成。每个自治实体在所负责范围内形成各自所特有的决策规则，只有在发现异常或入侵时，各自治实体之间才进行协同工作，这种结构在很大程度上克服了集中式和层次式体系结构的不足。现有的入侵检测系统艄2 3 以分布式体系结构为多，但这种体系结构也不是完美的。首先，分布式体系结构把集中的数据分析和入侵检测功能分散到自治实体上，提高了系统的鲁棒性、适应性和可配置性，但这种分散也给各被监控主机增加了额外的负担，因为这会消耗大量的系统资源，使被监视主机的系统性能受到影响，削弱其本身的应用功能。另外，分布式的入侵检测组件也为入侵提供了更多可能的安全隐患和攻击的突破口，从而增加了该系统本身被入侵和颠覆的可能。2 2 2 基于检测数据源的分类依据i d s 决策所参照和依据的数据源不同，将入侵检测系统分为三类：1 ) 基于主机的i d s 。早期的入侵检测系统大多是基于主机的，此类入侵检测系统所用的检测数据来自单个主机的审计记录和系统日志1 ，通过从这些数据中发现某种攻击1 2第2 章相关理论知识与技术模式或系统行为的异常情况检测入侵，保护被监视主机的安全。主机内由操作系统记录的审计信息具有较高的可信度，因而基于主机的入侵检测系统具有较高的效率，可以全面地监视主机系统中的所有用户行为，并从中发现潜在的恶意使用。基于主机的入侵检测系统分析效率高，而且还可灵活的应对不同操作系统判断应用层的入侵事件，准确性高；其缺点是占用主机的计算资源和网络带宽，可能会影响系统的稳定性和可靠性，另外，基于主机的入侵检测系统针对网络协议的攻击无能为力，是一种孤立的i d s ，无法协作运行和综合判断。2 ) 基于网络的i d s 。随着网络的不断延伸，基于主机的入侵检测系统已经不能满足需要，基于网络的i d s 通过监听网络数据包的包头信息和过滤数据负载( p a y l o a d ) 来发现网络攻击。网络协议具有统一的标准，因此系统的通用性较好。基于网络的入侵检测系统可以同时监测多台主机，不需要改变系统和网络的工作模式，也不会影响受保护主机的性能和网络性能，隐蔽性好，检测系统自身很少遭到故意攻击。基于网络的入侵监测系统可以在对网络数据包的过滤过程中发现尚未实施的攻击企图，并采取相应的阻断措施，能做到事先预防；但是基于网络的入侵监测系统也有其本身难以客服的固有缺点，比如只能管理本网段的网络活动，在交换网络环境下配置相对复杂，需要监视的数据量庞大且不能结合具体的操作系统特征来对网络行为进行准确具体的判断，而且随着数据通信技术的逐步发展，网速不断提升，同步过滤网络中的数据包和过滤算法的选择变得越来越困难，容易出现漏警。3 ) 混合型i d s 。上述基于主机的入侵监测系统和基于网络的入侵检测系统各有优缺点，汲取二者各自的长处，即在入侵检测中既参照网络数据又结合系统审计记录和系统日志，充分利用不同来源的数据，使之有机结合，以期取得更好的检测效果，与前面介绍的两种入侵检测系统相比，混合型i d s 能够从更加全面的角度对主机及其所处网段进行检测和监控。2 2 3 基于入侵检测技术的分类按入侵检测技术进行分类，可以分为误用入侵检测与异常入侵检测。1 误用入侵检测系统误用检测( m i s u s ed e t e c t i o n ) ，也被称为基于知识的检测，基本思想是：如果所有1 3河北大学工学硕十学位论文的入侵行为和手段都能够以同一种模式或特征来表达，那么所有已知类型的入侵行为就可以用匹配算法来发现。误用入侵检测系统的基本工作流程为：1 ) 收集必要的系统信息。2 ) 对信息进行分析，寻找入侵活动的特征。3 ) 自动响应检测到的入侵行为。4 ) 存储并报告检测过程和结果。5 ) 定期或按一定的触发条件更新入侵模式库。具体实现方法是通过对已知的各种入侵形式进行编码，建立入侵模式库。在进行入侵检测阶段，将与主机系统及网络安全相关的特征信息与入侵模式库中的模式逐条进行匹配来发现入侵。这一操作方式的基本前提是假定所有可能的入侵行为都能被识别和表示，即入侵类型必须已经包含在入侵模式库中，一旦这一前提条件不能满足，系统将有可能出现较高的漏警率。因为模式库中是对已知入侵类型的精确建模，误用入侵检测系统的误警率较低。要想提高误用检测的检测性能关键在于特征的匹配搜索和特征信息库的更新升级，因为如果需要不断更新模式库，维护工作量是相当大的，在维护入侵模式库的过程中另外一个难点就是如何设计匹配模式，使得既能明确表达入侵，又不会将正常的系统或网络活动包含进来。由此我们看出，误用入侵检测的主要局限性主要体现在其只能对已知类型的攻击行为进行检测，在当前环境中，入侵类型不断翻新，误用入侵检测的检测效率的提高受到了一定程度的限制，而且，可以预期入侵种类的还会不断增加，入侵模式库中的数据也会相应增长，如果检测算法的复杂度不能降低的话，将会导致误用检测技术的入侵检测系统的实时性受到严重的制约，另外，误用检测对具体系统环境的依赖性较强，移植性不好。但误用检测采用的原理明确，方法简单、时间性能高、扩展性好、误警率低，目前为止还是入侵检测领域中应用最为广泛的检测手段之一，商用系统中大部分采用基于误用检测的入侵检测技术，下面介绍几种典型的误用检测方法。1 ) 基于专家系统的误用检测专家系统是人工智能的一个分支，把专家系统应用于入侵检测领域有利于提高检测的自动化和智能化程度，本系统包含了描述攻击的一组规则，这组规则是由安全专家对1 4第2 章相关理论知识与技术入侵行为积累的经验而做出的判断，是以专家知识、既往入侵数据、已知的系统弱点和安全政策为依据而构造的。专家系统是最早使用的误用检测方案之一，已经被许多经典的检测模型所采用。基于专家系统的入侵检测系统模型如图1 所示：，历事件弓i 擎r 。叫事实库1人机接口留f(数据包过滤1知识获取机制ifl1 l 机h ：n 蜘m 戽，一l米果器弓i 翠i么彩涉fj 己网络数据流响应器i，愀日志数据库l一i)通信一，系统的入侵检测系统模型类似于i f ( 前提) t h e n ( 结论) 或( 动作) 的规则格式，输入已有的攻击模式，系据知识规则库中的记录对检测数据进行检测评估，如果有处于被高度怀疑级别的入据，则首先将相关信息写入日志数据库，与此同时向管理员报警或通知防火墙采取措施。否则进行下一个事实的判断分析工作，或等待后继数据包的到达。专家系统点在于用户无须了解专家系统内部的推理过程，也不需要采取干预措施，智能化程高。然而，专家系统用于入侵检测时，也存在一定的缺点：专家系统是安全专家用知识构造的，专家知识决定了系统能力。另外专家系统还存在数据处理效率低的和很好处理序列数据能力的缺点；同时专家系统属于误用检测技术范畴，所以系统只测已知类型的攻击。转移分析法的误用检测法是采用优化的模式匹配来处理误用检测问题。这种方法采用系统状态和状态的表达式来定义已知的攻击模式，利用状态转移图(statet r a n s t i o n河北大学t 学硕+ 学位论文d i a g r a m ) 描述已知攻击类型。这种入侵检测方法最早运行于u n i x 环境下，并随着系统更新换代，逐步脱离了基于主机的传统的系统结构，转为网络环境下的分布式结构。由于此检测方法处理速度上的优势和基于此理念开发的系统灵活，状态转移法已成为当今具有一定竞争优势的入侵检测模型之一。状态转移图是一种图形化表示方法，针对入侵或渗透的过程提供了一种高层的、直观的、独立于审计数据具体格式之外的表示方法，克服了直接采用审计记录序列表示攻击的不直观的缺点，使规则库的更新速度加快，状态转移图的组成如图2 所示，其中节点表示状态，弧线代表状态的转变。图2 状态转移图状态转移分析法将入侵过程看作行为序列，并用行为序列表示系统从初始状态转入被入侵状态的变