（计算机应用技术专业论文）基于马尔柯夫链的入侵检测方法研究.pdf

哈尔滨捌人学硕士学位论文 摘要 入侵检测技术是现代计算机系统安全技术中的重要组成部分，并且是当 前的研究热点。 目前，绝大多数入侵行为都通过攻击特权进程来破坏计算机系统的安全 性。特权进程通常完成特定的、有限的行为，所以其行为在时间上和空间上 比其他用户程序要更稳定。一定的系统调用排列应对应一定的程序功能，即 程序行为的局部规律性应很强。并且入侵行为应具有某种功能行为特性，即 系统调用序列应具有特定顺序排列。对每一个系统调用赋予一个数值，则可 以将系统调用序列看作是一个时间序列。因此，可以用数字信号处理与时间 序列分析的方法来处理，对入侵和征常两种信号进行分类。这样，可以从短 系统调用序列所要完成具体功能的确定性来提取局部特征；通过对进程的运 行过程进行观察，利用随机过程的知识建立随机模型来描述系统调用序列( 进 程) 的整体行为。 本文提出了基于线性预测与马尔科夫模型相结合的入侵检测方法。首先 提取特权进程的行为特征，引入时f , j 序列分析技术用线性预测技术对特 权进程产生的系统调用序列提取特征向量来建立正常特征库，并在此基础上 建立了m a r k o v 链模型。由m a r k o v 链模型产生的状态序列计算状态概率，根 据状态序列概率来评价进程行为的异常情况。然后，利用马尔科夫信源熵进 行参数选取，对模型进行优化，进一步提高了检测率。实验表明该算法准确 率高、实时性强、占用系统资源少。本文所提方法算法简单、预测准确，适 合于进行实时检测。 关键词： 网络安全；入侵检测；马尔柯夫链 哈尔滨f 。程人学硕+ 学位论文 1 _ l l l l _ _ _ _ _ - - _ - l _ - _ _ _ _ - - - l - l a b s t r a c t i n t r u s i o nd e t e c t i o ni sv e r yi m p o r t a n ti nt h ed e f e n s e - - i n - - d e p t hn e t w o r ks e c u r i t y f r a m e w o r ka n da h o t t o p i ci nc o m p u t e r n e t w o r k s e c u r i t yi n r e c e n ty e a r s a tp r e s e n t ，m o s to ft h ea t t a c k se x p l o i tt h ev u l n e r a b i l i t i e so rf l a w so ft h e p r i v i l e g e dp r o c e s s e s i n c o m p u t e r ap r o g r a mp r o f i l e c a l lb e g e n e r a t e db y m o n i t o r i n gt h ep r o g r a m e x e c u t i o na n dc a p t u r i n gt h es y s t e mc a l l sa s s o c i a t e dw i t h t h ep r o g r a m c o m p a r e dt ou s e rb e h a v i o rp r o f i l e s ，p r o g r a mp r o f i l e s a r em o r e s t a b l eo v e rt i m eb e c a u s et h e r a n g e o fp r o g r a mb e h a v i o ri sm o r el i m i t e d f u r t h e r m o r e ，i tw o u l db e m o r ed i f f i c u l tf o ra t t a c k e r st o p e r f o r m i n t r u s i v e a c t i v i t i e sw i t h o u tr e v e a l i n gt h e i rt r a c k si nt h ee x e c u t i o nl o g s t h e r e f o r ep r o g r a m p r o f i l e sp r o v i d ec o n c i s ea n ds t a b l et r a c k sf o ri n t r u s i o nd e t e c t i o n n o w ，a l m o s ta l l t h er e s e a r c hi nl e a r n i n gp r o g r a mb e h a v i o rh a su s e ds h o r ts e q u e n c e so fs y s t e m c a l l sa st h eo b s e r v a b l e ，a n dg e n e r a t e dal a r g ei n d i v i d u a ld a t a b a s eo fs y s t e mc a l l s e q u e n c e sf o re a c hp r o g r a n a ap r o g r a m sn o r m a lb e h a v i o ri sc h a r a c t e r i z e db yi t s l o c a l o r d e r i n g o fs y s t e mc a l l s ，a n dd e v i a t i o n sf r o mt h e i rl o c a l p a t t e r n s a r e r e g a r d e da sv i o l a t i o n so f a ne x e c u t i n gp r o g r a m i nt h ep a s t ，w ed e a lw i t ht h e s e q u e n c e a saf e a t u r e b u tw ed o n tf i n do u tt h er e l a t i o n s h i pb e t w e e nt h ef e a t u r e s s ot h ec a p a b i l i t yi sv e r yl i m i t e d ，w h e nw e o n l y u s et h el i m i t e dd a t at ot r a i n i nt h i sp a p e r ，an e wm e t h o db a s e do ni i n e a rp r e d i c t i o na n dm a r k o vc h a i nm o d e i i sp r o p o s e dt ol e a r np r o g r a mb e h a v i o ri ni n t r u s i o nd e t e c t i o n l i n e a rp r e d i c t i o ni s e m p l o y e d t oe x t r a c tf e a t u r e sf r o m s y s t e mc a l l ss e q u e n c e s o ft h e p r i v i l e g e d p r o c e s s e s w h i c ha r eu s e dt om a k eu po ft h ef c a t u r ed a t a b a s eo ft h o s ep r o c e s s e s b yo n l yc o n s i d e r i n g t h es y s t e mc a l l so f p r i v i l e g e p r o g r a m s a st i m es e r i e s a n dt h e n t h em a r k o vc h a i nm o d e li sf o t r a d e d b a s e do nt h e f e a t u r e s 。a n dm a r k o v i n f o r m a t i o ns o u r c e e n t r o p y a n dc o n d i t i o na r eu s e dt os e l e c t p a r a m e t e ra n d o p t i m i z et h em o d e l 刀培m e r i t so f t h em o d e la r es i m p l ea n de x a c tt op r e d i c tt h e e x p e r i m e n t ss h o w t h i sm e t h o di se f f e c t i v ea n de f f l c i e n ti nr e a lt i m ea n d l i g h tl o a d a n dc a l lb eu s e dt oi n p r a c t i c et om o n i t o r t h ec o m p u t e r s y s t e m i nr e a lt i m e k e y w o r d ：n e t w o r ks e c u r i t y ；i n t r u s i o nd e t e c t i o n ；m a r k o vc h a i n 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用己在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均己在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) ：茳：羞二! 垒 日期：7d 。，年p 月2 ，、目 哈尔滨j 稃人学硕士学位论文 l_ l - l - _ _ _ _ _ - l _ _ - _ l _ - - i _ 第1 章绪论 1 1 网络安全现状 由于互联网络的发展，整个世界经济正在迅速地融为一体，而整个国 家犹如一部巨大的网络机器。计算机网络已经成为国家的经济基础和命脉。 计算机网络在经济和生活的各个领域f 在迅速普及，整个社会对网络的依 赖程度越来越大。众多的企业、组织、政府部门与机构都在组建和发展自 己的网络，并连接到i n t e m e t 上，以充分共享、利用网络的信息和资源。网 络已经成为社会和经济发展强大动力，其地位越来越重要。伴随着网络的 发展，也产生了各种各样的问题，其中安全问题尤为突出。了解网络面临 的各种威胁，防范和消除这些威胁，实现真正的网络安全已经成了网络发 展中最重要的事情。网络安全是网络应用最重要的基础，网络安全已经引 起了全世界人们的高度重视，每个国家都为了商业或者军事的目的，不惜 重金来研究网络安全，网络安全方面的研究是目前网络领域研究的重要课 题之一。 网络安全是指网络系统的部件、程序和数据的安全性，它通过网络信 息的存储、传输和使用过程体现。网络安全包括物理安全和逻辑安全。网 络安全从其本质上来讲就是网络上的信息安全。从广义来说，凡是涉及到 网络上信息的保密性、完整性、可用性、真实性和可控性的相关技术和理 论都是网络安全的研究领域。确保网络系统的信息安全是网络安全的目标， 信息安全包括两个方面；信息的存储安全和信息的传输安全。信息的存储 安全是指信息在静态存放状念下的安全，如是否会被非授权调用等。信息 的传输安全是指信息在动态传输过程中安全w 。 目前，网络面临的威胁主要来自下面几方面” ( 1 ) 黑客的攻击 黑客对于大家来说，不再是一个高深莫测的人物，黑客技术逐渐被越 来越多的人掌握和发展。目前，世界上有2 0 多万个黑客网站，这些站点都 介绍一些攻击方法和攻击软件的使用以及系统的一些漏洞。因而系统、站 点遭受攻击的可能性就变大了。尤其是现在还缺乏针对网络犯罪卓有成效 的反击和跟踪手段，使得黑客攻击的隐蔽性好，“杀伤力”强，是网络安全 的主要威胁。 ( 2 ) 管理的欠缺 。 网络系统的严格管理是企业、机构及用户免受攻击的重要措施。事实 哈尔滨f + 烈人学硕士学位论文 上，很多企业、机构及用户的网站或系统都疏于这方面的管理。粥1 1 界企 业团体i t a a 的调查显示，美国9 0 的i t 企业对黑客攻击准备不足。目前， 美国7 5 - - 8 5 的网站都抵挡不住黑客的攻击，约有7 5 的企业网上信息 失窃，其中2 5 的企业损失在2 5 万美元以上。 ( 3 ) 网络的缺陷 因特网的共享性和开放性使网上信息安全存在先天不足。因为其赖以 生存的t c p s p 协议族，缺乏相应的安全机制，而且因特网最初的设计考虑 是该网不会因局部故障而影响信息的传输，基本没有考虑安全问题。因此 它在安全可靠、服务质量、带宽和方便性等方面存在着不适应性。 ( 4 ) 软件的漏洞或“后门” 随着软件系统规模的不断增大，系统中的安全漏洞或“后门”也不可 避免的存在，比如我们常用的操作系统，无论是w i n d o w s 还是u n i x 几乎 都存在或多或少的安全漏洞。众多的各类服务器、浏览器、些桌面软件 等等都被发现过存在安全隐患。大家熟悉的尼姆达、中国黑客等病毒都是 利用微软系统的漏洞给企业造成巨大损失，可以说任何一个软件系统都可能 会因为程序员的一个疏忽、设计中的一个缺陷等原因而存在漏洞，这也是 网络安全的主要威胁之一。 ( 5 ) 企业网络内部 网络内部用户的误操作，资源滥用和恶意行为使再完善的防火墙也无 法抵御来自网络内部的攻击，也无法对网络内部的滥用做出反应。 面对如此复杂的安全问题，要向建立一个万无一失、绝对安全的系统 是不可能的。安全是相对的，我们只能通过一些技术措施来提高系统的安 全性。 1 2 网络安全技术 随着计算机网络的发展，网络的丌放性、共享性、互连程度的扩大，特 别是i n t e m e t 网在全球的迅猛普及，一些网络新业务如电子商务( e l e c t r o n i c c o m m e r c e ) 、数字货币( d i g i t a lc a s h ) 、网络银行等方兴未艾，网络上的信 息安全问题变得越来越突出，信息安全技术变得日益重要，逐渐成为关键 所在a 网络安全技术也在与网络攻击的对抗中不断发展。从总体上看，经 历了从静态到动态、从被动防范到主动防范的发展过程。 目前，网络安全防范技术主要从信息安全、网络访问和网络协议入手， 有下面一些具体的技术”s 】： ( 1 ) 密码学技术 数据加密技术是网络中最基本、应用最广泛的一项安全技术。数据加密 技术的目的是保护网络内的数据、文件、口令以及网上传输的数据。信息 哈尔滨f ：烈人学硕士学位论文 加密的过程是由许多种加密算法柬具体实施。按照收发双方砸铡是宙相i 司 来分类，可以将这些加密算法分为常规密码算法和公钥密码算法。在常规 密码中，收信方和发信方使用相同的密钥。比较著名的常规密码算法有： 美国的d e s 、欧洲的i d e a 等。常规密码有很强的保密强度，但其密钥! 西 须通过安全的途径传送。因此，其密钥分发成为系统安全的重要因素。在 公钥密码中，收信方和发信方使用的密钥互不相同，而且几乎不可能从加 密密钥推导出解密密钥。比较著名的公钥密码算法有：r s a 、背包密码、 m e e l i e c e 密码等，其中以r s a 算法应用最为广泛。 用于网络安全的加密技术通常有两种形式：一种是面向服务的，另一种 是面向网络的。面向服务的加密技术即通常所说的信息加密，它是指利用 好的密码算法对有些敏感数据、文件和程序进行加密，并以密文方式存取， 以防泄密。其优点在于实现相对简单，不需要对网络数据所经过的网络的 安全性提出特殊的要求。而向网络的加密技术是指通信协议加密，它是在 通信过程中对包中的数据进行加密，包括完整性检测、数字签名等，这些 安全协议大多采用了诸如r a s 公钥密码算法、d e s 分组密码、m d 系列 h a s h 函数及其它一些序列密码算法实现信息安全功能，用于防止黑客对信 息进行伪造、冒充、篡改，从而保证网络的连通性和可用性不受损害。加 密技术是网络信息最基本、最核心的技术措施。但加密的有效性完全取决 于所采用的密码算法。 ( 2 ) 身份验证技术 身份识别是指用户向系统出示自己身份证明的过程，身份认证是系统 核实用户身份的过程，通常把这两项工作统称为身份验证。身份验证是判 明和验证通信双方真实身份的重要环节。常用的验证方式有：报文鉴别、 身份鉴别、数字签名。 ( 3 ) 信息完整性技术 信息完整性是指信息不被篡改或破坏。信息完整性技术的关键在于如何 鉴别信息的完整性。通常是在传输信息中加入一定的冗余信息，以便发现 对信息的任何修改、增加或删除，或者对信息传输次序的颠倒。信息的完 整性包括数据单元的完整性和数据单元序列的完整性两种形式。前者要求 在每个数据单元增加分组校验( 类似c r c 校验) 或密码校验；后者则要求增 加序列号或时间标记。 ( 4 ) 访问控制技术 访问控制技术是按事先确定的规则决定主体对客体的访问是否合法。 防止未授权访问是信息保护的前缘屏障和最基本的技术。访问控制技术的 主要任务是保证网络资源不被非法使用和访问。它是保证网络安全的重要 策略之一。访问控制涉及的技术比较广，包括入网访问控制、网络权限控 制、目录级控制以及属性控制等多种手段。 i n t r a n e t 中的防火墙( f j r e w a l l ) 技术就是访问控制技术的一种具体实现， 哈尔滨l 科人学硕士学位论文 是目前应用最广泛、最重要的网络安全技术。防火墙就是一个或一组湖珞 设备，用束在两个或多个网络问加强访问控制，阻止区域外的用户对区域 内资源的非法访问。使用防火墙可以进行安全检查、记录网上安全事件， 隐藏用户地址等，在维护网络安全的过程中起着重要的作用a ( 5 ) 漏洞扫描技术 漏洞是指可能被未经授权的非法用户利用获得访问权限的硬件或软件 的失误。每个平台无论是硬件还是软件都存在漏洞。漏洞扫描技术就是通 过对系统当前的状况进行扫描、分析，来发现存在漏洞的系统配置及不恰 当的口令和设置等，并予以修复，从而降低系统的安全风险。目前国外已 经出现了利用神经网络技术和专家系统原理的智能扫描技术。 ( 6 ) 安全监控技术 安全监控技术主要是对入侵行为的及时发现和反应，利用入侵者留下 的痕迹( 例如试图登录的失败记录、异常网络流量) 来有效地发现来自外部或 内部的非法入侵；同时能够对入侵做出及时的响应，包括断开非法连接、 报警等措施。安全监控技术以探测与控制为主，起主动防御的作用。 ( 7 ) 网络反病毒技术 计算机病毒是- - d 段具有极强破坏性的恶意代码，它可以将自身纳入 其它程序中，以此来进行隐蔽、复制和传播，从而破坏用户的文件、数据 甚至硬件。从广义上讲，它还包括逻辑炸弹、特洛伊木马和系统陷井等。 计算机病毒的主要传播途径有：文件传输、软盘拷贝、及屯子邮件等。网 络反病毒技术主要包括检测病毒和杀除病毒。 传统的保护网络安全的方法就是进行病毒防治和使用防火墙。这种被 动的对系统自身进行加固和防护方法已经不能满足当今网络安全的需求。 因为各种安全技术都有针对性，都是针对某个领域或某一方面进行的安全 防护。因此要建立一个完整的网络安全体系，需要综合应用多种安全技术， 从不同的角度、层次上进行安全防护。防火墙和身份认证负责把黑客挡在 门外，使黑客“进不来”：访问控制技术负责控制对信息的读写，使黑客“拿 不走”重要信息；信息加密技术使黑客“看不懂”获得的信息。而要及时 的发现入侵攻击，就需要入侵检测技术。 因此要建立个完整的网络安全解决方案必须从多方面入手。需要安 装入侵检测系统，及时的发现入侵攻击的迹象；建立完善的访问控制措施， 安装防火墙，加强授权管理和认证：其次要用系统漏洞检测软件定期对网 络内部系统进行扫描分析，找出可能存在的安全隐患；加强数据备份和恢 复措施；对敏感的设备和数据要建立必要的隔离措施；对在公共网络上传 输的敏感数据加密；加强网络的整体防病毒措施；建立详细的安全审计日 志等。其中，入侵检测技术是一种动态的安全防护技术，它可以识别针对 计算机或网络资源的恶意企图和行为，并对此做出反应。入侵检测技术提 供了对内部攻击、外部攻击和误操作的及时保护，在网络系统受到危害之 1 3 本文的工作 入侵检测技术属于安全监控技术，是网络安全领域中的新技术。入侵检 测技术不仅涉及网络技术，还涉及人工智能、机器学习和模式识别等智能 技术，是一门交叉学科。 进行入侵检测研究的前提是入侵行为与正常行为是有区别的，即可以 对入侵和正常行为进行精确的分类。因此对目标( 用户、程序、网络) 行 为进行分析，从中寻找可以精确反映主体目标内在规律的特征就成为建立 一个切实可行的入侵检测系统的关键。对于正确进行特征提取的方法的研 究，永远是入侵检测算法研究面i 临的最大挑战。本文从分析特权进程的特 点着手，利用时间序列分析技术提取特征。 目前，绝大多数入侵行为都通过攻击特权进程来破坏计算机系统的安全 性。一定的系统调用排列应对应一定的程序功能，即程序行为的局部规律 性应很强。特权进程通常完成特定的、有限的行为，所以其行为在时间上 和空间上比其他用户程序要更稳定。并且入侵行为应具有某种功能行为特 性，即系统调用序列应具有特定顺序排列。 对每一个系统调用赋予一个数值，则可以将系统调用序列看作是一个 时间序列。因此，可以用数字信号处理与时间序列分析的方法来处理，然 后对入侵和正常两种信号进行分类。这样，可以从短系统调用序列所要完 成具体功能的确定性来提取局部特征；通过对进程的运行过程进行观察， 利用随机过程和概率论的知_ 【 建立随机模型来描述系统调用序列( 进程) 的整体行为。 本文的基本思想是特定的程序有特定的、相对稳定的结构，因此将确 定性方法( 短序列建库) 与随机性方法( m a r k o v 模型) 相结合来建立模型。 首先从提取特权进程的行为特征入手，引入时间序列分析技术用线性 预测技术对特权进程产尘的系统调用序列提取特征向量来建立正常特征 库，并在此基础上建立了m a r k o v 模型。由m a r k o v 模型产生的状态序列计 算状态概率，并根据状态序列概率来评价进程行为的异常情况。然后，利 用马尔科夫信源熵和条件熵进行参数选取，并对模型进行优化。 以下是本文的内容安排； 第1 章：绪论。简要介绍网络安全现状，以及常用安全技术。 第2 章：入侵检测技术综述。简要介绍入侵检测技术的发展过程与现状。 对现有技术进行了初步的总结。 第3 章：特权进程系统调用的特征提取。从分析特权进程的特点着手，引 入时间序列分析方法进行特征分析与提取。 第4 章：基于马尔科夫链模型的入侵检测系统。详细介绍了利用线性预测 哈尔滨f ：烈人学硕十学位论文 技术提取特权进程系统调用的方法，以及建立马尔柯夫链模型检 测入侵的过程。并且讨论了对此方法进行评价( 信源熵) 、改进的 方法( 动态马尔柯夫链) 。 第5 章：试验及结果分析。首先介绍了实验中所使用的数据的来源、实验 评价方法；分别对马尔柯夫模型以及动态马尔柯夫模型进行试验， 对实验结果进行讨论。 哈尔滨l ：科入学硕士学位论文 _ 一_ - _ - i _ _ i _ _ _ - i - _ l _ - _ - l _ - 第2 章入侵检测技术综述 2 1 入侵检测技术研究历史 通常情况下防火墙作为局域网络连接到i n t e r a c t 的第一道安全防线。像 城墙对要塞的保护一样，对来自i n t e r n e t 的攻击它确实起到了非常强大的保 护作用。但任何事情都不可能尽善尽美，防火墙并非无坚不摧。很多攻击 可以透过或绕过防火墙，因此需要有其它的防御措施来保护网络。入侵检 测系统成为网络纵深防御的重要组成部分。 关于入侵检测技术的发展历史最早可追溯到1 9 8 0 年，j a m e sa n d e r s o n 在他的技术报告c o m p u t e rs e c u r i t yt h r e a dm o n i t o r i n ga n ds u r v e i l l a n c e 中首 次提出了入侵检测的概念m 1 。在该文中，a n d e r s o n 提出将审计数据应用于监 视入侵威胁，但这一设想的重要性当时并未被理解。该文被认为是入侵检 测研究的开创之作。 1 9 8 7 年，d o r o t h yd e n n i n g 发表的文章a n i n t r u s i o nd e t e c t i o nm o d e l 提 出了i d s 的抽象模型。”，如图2 1 所示。该文首次将入侵检测作为一种计算 机系统安全防范的措施提出，与传统的加密、识别与认证、访问控制相比， 入侵检测是一种全新的计算机安全措施。模型的主要组成部分是主体 ( s u b j e c t s ) 、对象( o b j e c t s ) 、审计记录( a u d i t r e c o r d s ) 、行为轮廓( p r o f i l e s ) 、 异常记录( a n o m a l yr e c o r d s ) 及活动规则( a c t i v i t yr u l e s ) 。在该模型中， 主体是指目标系统上活动的实体，通常指的是用户，也可能是代表用户行 为的系统进程，或者是系统自身。主体的所有行为都是通过命令来实现的。 对象是指系统资源，如文件、命令、设备等。它是主体的行为的接受者。 对于主体和对象没有明显的界限，往往在某一环境下的主体在另一环境下 则成为对象。审计记录是指主体对对象进行操作而在目标系统上产生的记 录，如用户的登录、命令的执行、文件的访问等都会在系统中产生相应的 记录。它是由 构成的六元组。其中活动是指主体对对象的操作，如登录、退出、读、写 等；异常条件是指主体活动出现异常情况时系统的报告；资源使用状况是 指系统的资源消耗情况；时间戳是指活动发生的时间。行为轮廓是描述主 体对对象正常行为的模型，它包含有系统正常活动的各种相关信息。异常 记录是指当系统检测到异常行为时而产生的记录，由事件、时间戳、行为轮 廓组成。规则集是一个普通的核查事件和状态的检查器引擎，它根据模型、 7 规则、模式和统计结果来检测入侵行为。此外，反镊也是模型嗣一个里晏 组成部分，现有的事件会引发系统的规则学习，加入新的规则或者修改已 有规则。系统的子系统是独立的，可以分布在不同的计算机节点上运行。 这是个基于用户特征轮廓的入侵检测通用模型“，该模型被后来的许多入 侵检测系统采用，被认为是入侵检测研究的又一里程碑。 图2 1d e n n i n g 的通用入侵检测模型 1 9 8 6 年为检测用户对数据库异常访问，在i b m 主机上用c o b o l 开发 的d i s c o v e r y 系统可说是最早期的入侵检测系统雏形之一。1 9 8 8 年的m o r r i s i n t e r a c t 蠕虫事件使i n t e r a c t 近5 天无法使用“。该事件使得对计算机安全的 需要迫在眉睫，从而导致了许多i d s 系统的开发研制。早期的i d s 系统都 是基于主机的系统，也就是说通过监视与分析主机的审计记录检测入侵。 1 9 8 8 年，t e r e s al u n t 等人进步改进了d e n n i n g 提出的入侵检测模型，并 创建了，i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) “，该系统用于检测单一主机 的入侵尝试，提出了与系统平台无关的实时检测思想，1 9 9 5 年开发了i d e s 的新的版本n e s ( n e x t g e n e r a t i o ni n t r u s i o nd e t e c t i o ns y s t e m ) 可以检测 多个主机上的入侵。另外，在1 9 8 8 年为了协助美国空军安全官员检测误用 空军基地使用的u n i s y s 大型主机丌发了h a y s t a c k 系统m ；同时，出现了为 美国国家计算机安全中心开发的m i d a s ( m u l t i e si n t r u s i o nd e t e c t i o na n d a l e r t i n gs y s t e m ”1a 1 9 8 9 年，l o s a l a m o s 美国国家实验室开发了w & s ( w i s d o m a n ds e n s e ) 系统，p l a n n i n gr e s e a r c h 公司开发了i s o a ( i n f o r m a t i o ns e c u r i t v o f f i c e r sa s s i s t a n t ) 。 入侵检测发展历史上又一个具有重要意义的里程碑就是n s m ( n e t w o r k 8 哈尔滨j ：群人学硕士学位论文 s e c u r i t ym o n i t o r ) 的出现，它是由l t o d dh e b e r l e n 在1 9 9 0 年提出”a n s m 与此前的i d s 系统最大的不同在于它并不检查主机系统的审计记录t 它可以通过在局域网上主动地监视网络信息流量来追踪可疑的行为。1 9 9 1 年，n a d i r ( n e t w o r ka n o m a l y d e r e c t i o na n di n t r u s i o n r e p o r t e o 与 d i d s ( d i s t r i b u t ei n t r u s i o n d e t e c t i o ns y s t e m ) 提出了采集和合并处理来自多个 主机的审计信息以检测协同攻击。 1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d 提出使用自治代理( a u t o n o m o u s a g e n t s ) p a 便提高i d s 的可伸缩性、可维护性、效率和容错性【9 1 。该理念非常 符合正在进行的计算机科学其他领域( 如软件代理，s o t h a r ea g e n t ) 的研究， 这使得入侵检测的研究又向着更高层次发展了一步。 而1 9 9 6 年g r i d s ( g r a p h b a s e i n t r u s i o nd e t e c t i o ns y s t e m ) 的设计和实 现大大弥补了绝大多数的入侵检测系统伸缩性不足的问题，使得对大规模 自动或协同攻击的检测更为便利。关于入侵检测的新的创新有：s t e p h a n i e f o r r e s t 等人将免疫学原理应用到入侵检测中”；w e n k el e e 等人将数据挖 掘和信息论测度引入到入侵检测中2 i ；r o s sa n d e r s o n 和a b i d ak h a t t a k 将 信息检索技术引入到入侵检测中。虽然很多都只是处在试验研究阶段，但 是这些新思路的开创为入侵检测领域打开了新的研究前景。 近年来，人们对入侵检测的研究仍如火如荼，1 9 9 8 年国际上启动了一 个以入侵检测最新进展为主题的研讨会( r a i d ：r e c e n t a d v a n c e s i n i n t r u s i o n d e t e c t i o n ) ，这里所涉及的入侵检测研究的涉猎面很广，可见入侵检测将是 今后计算机安全研究领域的热点。 2 2 研究现状 自二十世纪八十年代以来，国外就丌始对入侵检测的研究，最早资助进 行这方面研究的是美国国防部高级研究计划署，这是启动计算机网络研究 的开山鼻祖，对入侵检测的研究同样超着引路的作用。早期的研究只是一 种试验阶段，产品的针对性强，即为了保护专门的网络而进行研究设计的。 而且系统大多以基于主机的入侵检测系统为主。进入九十年代，随着基于 网络的入侵检测系统的问世，给入侵检测研究领域注入了新的活力。很多 的网络公司开始开发商业化的产品。而且对于入侵检测的研究已经进入很 高涨的阶段，在其它领域的一些算法被人们引入到了该领域。像人工智能、 数据挖掘、免疫学、甚至包括信号处理领域的信息论测度也被考虑到。近 几年来，从国外的研究态势来看，各种可能的检测算法几乎差不多都为人 们所想到，对于入侵检测的研究似乎处于一种无法打开新局面的境地。从 最新的r a i d 2 0 0 1 上的文章来看，这罩的文章有偏重于工程实践的倾向。 这可能是未来入侵检测研究领域的一个发展方向。 但是，国外对入侵检测的研究热度仍然居高不下。因为网络的日益普 哈尔滨j 科人学硕士学位论文 及，人们对网络的依赖日益增强，使得网络安全成了世人一直关注的焦点a 国外对入侵检测研究已经很具体细致，包括从对进攻手段研究到入侵数据 预处理的研究、从算法的理论分析到具体的工程应用、从产品开发到产品 的评估，以及对入侵检测的一些标准化问题的研究，几乎面面俱到。而且 从参与的机构来看，包括政府的研究机构、科研单位、大学、网络公司等 等，涉及到各个层次的不同需求。 ， 由于网络登陆国内相对较晚，而且刚开始时人们对它的认识还不够， 所以普及面很窄。随着信息化进程不断推进，人们对网络有了全新的认识， 越来越多的人在使用网络，使得它成为人们生活的一部分。在人们对网络 的优越性产生认可的同时，安全问题不得不为人们所关注。近几年来，国 内的网络的发展速度是有目共睹的，而对网络安全的研究也日益被重视。 当然对入侵检测的研究也受到各方面的关注。但是由于一些客观原因，同 国外的差距还是很大。虽然一些网络安全公司也相继推出自己的入侵检测 产品，但是很多都是在借鉴国外的技术手段。另外，国家对这方面研究的 投入也在加大，而且启动了信息安全的8 6 3 紧急应急计划。各科研单位和 大专院校都有从事这方面的研究和丌发的队伍。总之，国内的水平同国外 的差距还是很大，但是随着更多的人的关注和投入到这方面的研究，相信 在不久的将来，国内的水平将赶超国外并占有领先位置的一席之地。 2 3 入侵检测的相关定义 2 ，3 1 入侵检测概念 入侵检测是指发现非授权用户企图使用计算机系统或合法用户滥用其 特权的行为，这些行为破坏了计算机系统的完整性、机密性及资源的可用 性。为完成入侵检测任务而设计的计算机系统称为入侵检测系统( i d s ： i n t r u s i o nd e t e c t i o n s y s t e m ) 。 2 3 2 入侵检测系统的功畿要求 一个成功的入侵检测系统至少要满足以下五个主要功能要求： ( 1 ) 实时性要求：如果攻击或者攻击的企图能够尽快的被发现，这就 使得有可能查找出攻击者的位置，阻止进一步的攻击活动，有可能把破坏 控制在最小限度，并能够记录下攻击者攻击过程的全部网络活动，并可作 为证据回放。 ( 2 ) 可扩展性要求：因为存在成千上万种不同的已知和未知的攻击手 段，它们的攻击行为特征也各不相同。所以必须建立一种机制，把入侵检 哈尔滨f ：程大学硕士学位论文 测系统的体系结构与使用策略区分丌。一个已经建立的入侵检测糸统必殒 能够保证在新的攻击类型出现时，可以通过某种机制在无需对入侵检测系 统本身进行改动的情况下，使系统能够检测到新的攻击行为。并且在入侵 检测系统的整体功能设计上，也必须建立一种可以扩展的结构，以便系统 结构本身能够适应未来可能出现的扩展要求。 ( 3 ) 适应性要求：入侵检测系统必须能够适用于多种不同的环境，比 如高速大容量计算机网络环境，并且在系统环境发生改变，比如增加环境 中的计算机系统数量，改变计算机系统类型时，入侵检测系统应当依然能 够不作改变正常工作。适应性也包括入侵检测系统本身对其宿主平台的适 应性，即跨平台工作的能力，适应其宿主平台软、硬件配置的各种不同情 况。 ( 4 ) 安全性与可用性要求：入侵检测系统必须尽可能的完善与健壮， 不能向其宿主计算机系统以及其所属的计算机环境中引入新的安全问题及 安全隐患。并且入侵检测系统应该在设计和实现中，应该能够有针对性的 考虑几种可以预见的、对应于该入侵检测系统的类型与工作原理的攻击威 胁，及其相应的抵御方法。确保浚入侵检测系统的安全性与可用性。 ( 5 ) 有效性要求：能够证明根据某一设计所建立的入侵检测系统是切 实有效的。对于攻击事件的错报与漏报能够控制在定范围内。 2 4 入侵检测分类 入侵检测根据不同的分类方法有不同的分类。 2 4 1 按入侵检测的方法来分类 ( 1 ) 误用检测( m i s u s ed e t e c t i o n ) 误用检测又称为特征检测，假设入侵者活动可以用模式表示出来，系 统的任务是检测主体活动是否符合这些模式。误用检测依赖于模式库。如 果没构造好模式库，则检测不到入侵者。这种方法只能把模式库里已有的 入侵检测出来，对新的不在模式库罩的入侵行为则无能为力。 ( 2 ) 异常检测( a n o m a l y d e t e c t i o n ) 异常检测的假设是入侵者活动异常于主体的活动。根据这个理念给正 常活动的用户建立授权用户行为轮廓，将当前活动的状况与授权用户行为 轮廓比较，当违反授权用户行为轮廓时，即判断为入侵。不幸的是在入侵 行为轮廓与授权用户行为轮廓之间有个交集。它的优点在于不依赖于攻击 模式，能发现新的攻击。 ( 3 ) 混合检测 传统的观点根据入侵行为的属性将其分为异常和滥用两种，然后分别 1 1 哈尔滨i ：程人学硕十学位论文 对其建立异常检测模型和滥用检测模型。近四五年来又涌现出j 一些新明 检测方法，它们产生的模型对异常和滥用都适用，如人工免疫方法、遗传 算法、数据挖掘等。这类检测方法称为混合检测。这类检测在做出决策之 前，既分析系统的正常行为，同时还观察可疑的入侵行为，所以判断更全 面、准确、可靠。它通常根据系统的正常数据流背景来检测入侵行为，故 也有人称其为“启发式特征检测”。w e n k el e e 从数据挖掘中得到启示，开 发出个混合检测器r i p p e r “。它并不为不同的入侵行为分别建立模型， 而是首先通过大量的事例用数据挖掘方法来学习什么是入侵行为以及什么 是系统的正常行为，发现描述系统特征的一致使用模式，然后再形成对异 常和滥用都适用的检测模型，这是混合检测购一个典型的应用。 2 4 2 按数据来源或监视的对象分类 ( 1 ) 基于主机( h o s t - b a s e d ) 的入侵检测系统 这种系统经常运行在被监测的主机上，用以监测主机上的活动。一般 是通过监视与分析主上机的审计记录检测入侵。能否及时采集到审计记录 是这种系统的弱点所在。 ( 2 ) 基于网络( n e t w o r k b a s e d ) 的入侵检测 这种系统通过对通信数据的侦听采集数据，分析可疑现象。通信数据 来源是s n m p 信息或网络数据包。一块网卡就可能会有两种用途：普通模 式、任意模式。普通模式：受数据包罩面所包含的m a c 地址决定，数据被 发送到目的主机。任意模式( p r o m i s c u o u sm o d e ) ：所有可以被监测到的信 息均被主机接收。网卡可以在普通模式和任意模式之间进行切换，同样， 使用操作系统的低级功能就可以完成这种变换。基于网络的i d s 般需要 把网卡设置成任意模式。这类系统不需要主机提供严格的审计，对主机资 源消耗少，并可以提供对网络通用的保护而无需顾及异构主机的不同架构。 2 4 3 按照响应时间分类 ( 1 ) 离线检测系统 离线检测系统是非实时工作的系统，它在事后分析审计事件，从中检 查入侵活动。该系统可以分析大量历史事例，适合于调查过去一段时间内 发的入侵事件。但它只能事后爿能发现安全问题并做出反映，对保护数据 而言为时已晚。 ( 2 ) 在线检测系统 在线检测系统是实时联机的检测系统，它包含对实时网络数据包分析， 实时主机审计分析。在检测出入侵事件后立即做出反应，采取措施保护系 统安全。在大规模的网络中保证检测的实时性是个难题。此外，还需要避 哈尔滨f ：群人学硕士学位论文 免因错误的检测而影响系统的运行。 2 5 入侵检测方法 本节按照异常检测和特征检测的分类对入侵检测方法进行介绍。 2 5 1 异常检测方法 基于异常发现的检测技术则是先定义一组系统“正常”情况的阈值， 如c p u 利用率、内存利用率、文件校验和等( 这类数据可以人为定义，也 可以通过观察系统、并用统计的办法得出) ，然后将系统运行时的数值与所 定义的“正常情况比较，得出是否有被攻击的迹象。这种检测方式的核 心在于如何分析所系统运行情况。按照所使用的分析方法，可以分为以下 几种入侵检测系统： ( 1 ) 基于统计分析的异常检测方法 统计方法是商业入侵检测系统中最常见的异常检测方法。在统计模型 中常用的测量参数包括审计事件的数量、间隔时间、资源消耗情况等。可 用于入侵检测的4 种统计模型，每一种模型适用于一个特定类型的系统度 量【n ： a ) 操作模型 该模型假设异常可通过测量结果与一些固定指标相比较得到，固定指 标可以根据经验值或一段时间内的统计平均得到。举例来说，在短时间内 的多次失败的登录很可能是口令尝试攻击。 b ) 方差模型 计算参数的方差，设定其置信区间，当测量值超过置信区间的范围时 表明有可能是异常。 c ) 多元模型 方差模型的扩展，通过同时分析多个参数实现检测。 d ) 马尔柯夫过程模型 将每种类型的事件定义为系统状态，用状态转移矩阵来表示状态的变 化，若对应于发生事件的状态矩阵中转移概率较小。则该事件可能是异常 事件。 统计方法的最大优点是它可以“学习”用户的使用习惯，从而具有较高 校出率与可用性。但是它的“学习”能力也给入侵者以机会通过逐步t r 训 练”使入侵事件符合正常操作的统计规律，从而透过入侵检测系统。 ( 2 ) 基于