（通信与信息系统专业论文）基于程序行为的异常检测技术研究.pdf

摘要 摘要 本文研究了基于程序行为的异常检测技术，目的是利用异常检测技术的高 适应性和程序行为的不易变性来提高检测系统的性能。对此，本文提出了两种 新方法：第一种方法提出了一种带有反馈的前向神经网络结构以预测的方式 来检测入侵；第二种方法称为隐马尔可夫状态时延序列嵌入法( h m m t i d e ) ， 通过对被测行为产生的隐马尔可夫状态序列局部模式与已建立的正常模型进行 比较实现异常检测。两种方法都具有从不完整的数据中进行异常分析的能力， 减少了对系统资源的需求。反馈神经网络方法有效地提高了系统检测率，而 h m m t i d e 方法显著地降低了系统虚警率。本文用墨西哥大学提供的综合仿真数 据进行了实验仿真和比较，证明两种方法都提高了入侵检测系统的性能。此外， 文中还提出了将h m m 与神经网络相结合的新思想，并给出了理论分析。 关键词：入侵检测异常检测神经网络隐马尔可夫模型系统调用 a b s t r a c t a b s 订a c t a p r o g r a m b a s e da n o m a l yd e t e c t i o na p p r o a c hi sd i s c u s s e d ，w h i c ht a k e sb o t h a d v a n t a g e o ft h e a b i l i t y o fa n o m a l yd e t e c t i o ni n d e t e c t i n g n o v e la t t a c k sa n dt h e s t a b i l i t yo fp r o g r a mb e h a v i o ri ni n t r u s i o na n a l y s i sc o m p a r e dw i t ho t h e ro b s e r v a b l e s t w on e ws u c hm e t h o d sa r ep r o p o s e d o n ei sb a s e do nt h en e u r a ln e t w o r k ，w h i c hu s e s ar e c u r r e n tb a c k p r o p a g a t i o nn e u r a ln e t w o r kt oi d e n t i f ya n o m a l i e s b yp r e d i c t i n gf u t u r e p a u e r n s o f p r o g r a me x e c u t i o nt r a c e s t h eo t h e ri sb a s e do nt h eh i d d e nm a r k o vm o d e l ( h m m ) ，n a m e d a sh m m t i d e m e t h o d ，w h i c hd e t e c t sa n o m a l i e sb ym a t c h i n gt h el o c a l p a u e mo fh m m s t a t e ss e q u e n c e sg e n e r a t e db yn e wb e h a v i o r sw i t ht h ee s t a b l i s h e d n o r m a lm o d e l b o t ht w om e t h o d sh a v et h ea b i l i t yo fg e n e r a l i z i n gf r o mi n c o m p l e t e d a t aw i t hl e s sr e q u i r e m e n t so fs y s t e mr e s o u r c es u c ha ss t o r a g es p a c e e s p e c i a l l y , t h e r e c u r r e n tn e u r a ln e t w o r km e t h o di se f f e c t i v ei ni m p r o v i n gd e t e c t i n gr a t e ，w h i l et h e h m m t i d em e t h o di se f f e c t i v ei nr e d u c i n gf a l s ep o s i t i v e s t h et w om e t h o d sa r eb o t h t e s t e do nt h ed a t ap r o v i d e db yu n i v e r s i t yo fn e wm e x i c o t h er e s u l t so fo u r p r e l i m i n a r ye x p e r i m e n t sh a v es h o w n t h a tb o t hm e t h o d sh a v ei m p r o v e dt h ep r o p e r t y o f i n t r u s i o nd e t e c t i o ns y s t e m i na d d i t i o n ，an e wi d e ao f a n o m a l yd e t e c t i o ni n t e g r a t i n g t h en e u r a ln e t w o r kw i t ht h eh m mi sa l s op r e s e n t e d k e y w o r d s ：i n t r u s i o n d e t e c t i o n a n o m a l y d e t e c t i o nn e u r a ln e t w o r k s h i d d e nm a r k o vm o d e l s y s t e m c a l l 第一章概述 第一章概述 1 1网络安全现状 计算机网络的发展可谓“曰新月异”。随着计算机软、硬件技术的提高，网络 迅速地渗入到了社会生活的各个领域。网络中广泛分布的各种信息和服务为人们 的生活和工作带来了极大的方便。然而，这些不断增多的信息和服务，对于不法 分子来说无疑是一种巨大的诱惑。所以，近年来利用网络的犯罪层出不穷，黑客 们为了各种不同的目的对计算机系统和网络进行破坏，窃取重要信息，盗用或者 破坏网络中的服务。这些破坏行为如果得逞，对于网络运营商和用户而吉都将造 成不可估量的损失。如何避免这些损失，是网络安全关心的重要问题。 目前，在我国上网计算机约1 0 0 2 万台，上网用户约2 6 5 0 万人，国际线路的 总带宽目前已经达到了5 7 2 4 g b p s 。连接的国家有美国、加拿大、澳大利亚、英国、 德国、法国、r 本、韩国等。据统计有3 1 9 的用户有过网上交易的经历，而3 3 4 的用户认为目前网上交易存在的最大问题是安全性得不到保障。在我国上网的企 业、单位存在更大的安全问题。调查显示在建有内部网络的机构单位中，还有3 0 的单位尚未制定详细的网络安全策略，2 3 没有进行定期的安全检测，2 7 没有制 定网络应急响应措旌，这些机构一旦遭到攻击后果将不堪设想。此外，还有2 7 左右的单位没有对网络维护人员进行过网络安全培训【4 。由此可见，至今仍然有许 多单位网络安全防范意识淡薄，其网络安全状况令人担忧。而且，随着网络技术 的发展，网络安全的形式越来越严峻。 首先，网络本身是不安全的，网络的协议自身就存在很多漏洞( 例如，i m a p d v e r s i o n 4 0 中扫描溢出的漏洞) ，应用软件和系统软件中不可避免地存在着b u g ( 如， 微软的w i n d o w s 系列产品) ，所有这些都给了黑客许多可乘之机，给系统造成威胁。 其次，随着网络的扩展，威胁网络安全的来源越来越复杂，入侵者非法探索被害 系统的动机也越来越多样，而人们对黑客技术的热情有增无减，黑客工具软件在 网络上十分流行并且随处可得所有这些都使得网络中攻击事件的发生变得更 加不可测，给网络安全防护带来了更多的困难。再次，随着网络中的资料越来越 重要，提供的服务也越来越多，网络中不安全因素对整个社会可能造成的影响越 来越大。网络的安全与个人生活、商业机密、政府形象乃至国家安全都休戚相关。 幸运的是，人们的安全意识在不断提高。近年来，许多科研组织都投入到安 全技术特别是入侵检测技术的研究热潮中，并且在这些方面取得了很大的成就。 在国外，入侵检测技术的研究已经有了长足的发展，很多入侵检测的商用产品， 例如r e a ls e c u r e 等，已经发展的相当成熟。 基于程序行为的入侵检测技术研究 图11 2 0 0 0 年我国网络安全产品市场结构 在我国，对入侵检测技术的研究进两年才刚刚丌始，因此远远落后于国际先 进水平。虽然近年柬我国的网络安全产品市场已有长足的发展( 据统计，2 0 0 0 年 国内网络信息安全产品市场比1 9 9 9 年增长超过4 0 ) ，但是从图1 1 的网络安全 产品市场结构分部中我们可以看到，入侵检测系统所占的份额少之又少( 仅占市 场的2 3 ) ，而且大部分为国外产品所占领。因此，无论从技术发展的角度，还是 从市场的角度，大力研究入侵检测技术，发展我们自己的入侵检测系统都是势在 必行的。 1 2课题研究的意义 从上一节的介绍中，我们已经看到网络安全的现状不容乐观。虽然，我们已经 拥有了很多成熟的安全技术及相应的商用产品，例如加密、认证、病毒防范、防 火墙等等，但是，随着网络中不安全因素的增多，网络复杂性的增大，人们对安 全技术产品的要求也在不断提高，许多问题仅靠传统的安全技术已无法得到很好 的解决。 就拿防火墙来说，防火墙技术在过去的十几年中已经发展得相当成熟，人们对 防火墙的认同也已经达到了相当的程度。但是，不可否认，防火墙用于安全防护 有着很大的局限性：首先防火墙防外不防内，对于内部发起的攻击防火墙无计可 施；其次，防火墙对于绕过它的非法行为毫无察觉，对于冲着防火墙本身的攻击 它没有告警能力。因此，十分有必要发展一个能够同时测知来自内部和外部的非 法行，并对其监控范围内发生的所有行为并对非法行为做出响应的系统这就是 入侵检测系统。 入侵检测是近年来兴起的一种新的安全机制，它能够通过学习掌握网络或系统 中正常或异常的行为模式，对网络和系统进行动态或者静态的监控，实时地检测 入侵，并发出警告或采取相应的防范措施。它在防火墙之后为系统筑起了另外一 道坚固的防线。对一个成功的入侵检测系统而言，它不但是防火墙的有效补充， 可以使系统管理员时刻了解网络系统( 包括程序、文件和硬件设各等) 中发生的 第一章概述 任何变化而且还能根据记录的各种监控数据( 如日志文件等) 做出分析，为网 络安全策略的制订提供指南。 最近，美国的一些学者提出了一种名为p 2 d r 安全模型 6 】，如图i 2 所示。其 中p 2 d r 分别是英文p o l i c y 、p r o t e c t i o n 、d e t e c t i o n 和r e s p o n s e 的首字母的缩写。 在这个模型中安全专家们提出了以安全策略为中心进行检测、防护和响应的思 想，并且明确指出了安全模型的核心是检测问题。因为检测是静态防护转化为动 态的关键，检测是动态响应的依据，检测是落实或强制执行安全策略的有力工具。 图1 2 p 2 d r 模型 全世界的计算机和网络专家们都十分重视对于入侵检测技术的研究，比较著 名的研究机构包括美国计算机紧急情况反应小组( c e r t ) 、国家计算机安全中心 ( n c s c ) 、n s a ( n a t i o n a ls e c u r i t ya g e n c y ) 、美国l o sa l a m o s 国家实验室等。在 我国，也有很多学者开始致力于方面的研究。 入侵检测系统的性能与它所采用的分析方法和选择的键控对象有很大的关系。 入侵检测有两种最基本的类型：异常检测和滥用检测。网络环境千变万化，黑客 的攻击手段也层出不穷，因此如何适应这些变化对于一个入侵检测系统而言是十 分重要的。而异常检测技术是对正常行为建模，所以它对新的入侵行为的变异具 有较强的适应性。一直以来，异常检测技术也都因此受到了广泛地应用。入侵检 测系统可以选择的监控对象很多，包括用户行为、程序行为、文件完整陛等等。 在过去的研究中人们对用户行为、文件完整性等都做过分析，并且都取得了很大 的成功，但是分析对象本身的一些特点限制了它们优势的进一步发挥用户行 为存在着较大的随意性和易变性，这给分析带来了很大的麻烦；而文件完整性等 只有在入侵行为产生之后( 或者说事后) 才能表现出来，因此它不能用于实时检 测。九十年代中期研究人员开始为分析程序行为带来的好处所吸引，许多研究都 围绕着程序行为展开。因为程序行为与用户行为相比具有较强的稳定性它基本 不随时间变化，而且程序执行时有很多易于观测的属性( 例如系统调用等) ，这些 都给分析和建模带来了很大的方便。 基于程序行为的入侵检测技术研究 总之，结合异常检测和对程序行为分析的优点异常检测的对于入侵行为的 变异有较强的适应性，特别是与滥用检测相比，它的检测率高且适应性强；而对 程序行为的分析又可以克服对用户行为分析中用户行为特征易变的缺点，是系统 更加稳定我们在研究入侵检测技术时选择了基于程序行为的异常检测技术作 为研究的对象。 1 3本文内容的安排 网络安全的形式不容乐观，入侵检测技术的研究与发展势在必行。国家对于 这方面的研究也十分重视。国家在信息安全领域的“信息安全应急计划”中就设 立了“安全网络服务器技术研究”课题( 3 0 1 6 6 ) ，十五计划中也设立了“入 侵检测预警和安全管理技术”的子课题( 8 6 3 1 0 4 - 0 2 ) 。本文的工作就是来自于 这两个课题中对入侵检测技术的研究部分。本文主要研究了基于程序行为的异常 检测技术。在特权程序的层次上通过分析程序正常运行时产生的系统调用来建立 正常行为的模型。文中特别对异常检测中建立正常程序行为特征轮廓的方法做了 详细的探讨，提出了两种新的构建特征轮廓的方法：一种是基于神经网络的方法 另一种是基于隐马尔可夫模型的方法。并分别对两种方法进行了验证，给出了实 验结论。另外，论文还提出了在异常检测中将神经网络与隐马尔可夫模型相结合 的新思路，并给出了理论分析。 论文的第一章首先对目前的网络安全状况以及课题的背景和研究意义做了简 要的介绍，并给出了论文的结构安排。 紧接着在第二章对入侵检测系统做了介绍，让读者从其发展、组成和分类对 入侵检测系统形成一个初步的认识。 第三章分析了基于程序行为的异常检测技术的优点，重点介绍了著名的t i d e 方法，并进行了实验仿真和结果分析。 第凹章主要讲述了基于b p 神经网络的异常检测方法。首先，采用简单的b p 网络对程序行为进行正常和异常的分类，并以此发现入侵：然后在此基础上，向 b p 神经i 币| i 络结构中引入反馈，并通过预测下一个可能的系统调用来分析程序行为 的异常。这种带有反馈的神经网络结构可以更有效地利用系统调用序列的全局信 息，弥补神经网络对时序不敏感的缺陷，大大提高系统的检测率。文中采用墨西 哥大学提供的综合仿真数据1 对这种方法进行了实验验证。结果表明这种方法在 不增大系统虚警率的基础上提高了系统的检测率，对s e n d m n l 程序其检测率达到 了9 2 ，而用神经网络分类方法时，检测率仅为7 5 。而且训练神经网络时，仅 ( h t t p ： w w w c s u l l r l l e d u i m m s e d d a t a - s e l s h t m ) ，目前所有对入侵检测技术的研究，基本都 是以此数据作为实验基础的。本文也选心了这组数据，阅此实验结果具有可比性。 第一章概述 用了7 0 数据，因此它也具有从不完整数据中分析异常的能力。 第五章介绍了一种基于隐马尔可夫模型的异常检测新方法。该方法通过隐马 尔可夫模型将系统调用序列转化为隐马尔可夫状态序列，并仿效t i d e 方法，得到 由所有唯一的状态短序列构成正常行为的特征轮廓。我们称这种方法为隐马尔可 夫状态时延序列嵌入法( h m m t i d e ) 。这种方法可以减小数据库规模，降低系统虚 警率，降低对数据完整性的要求。我们同样用墨西哥大学提供的数据对h m m t i d e 方法进行了实验仿真，结果表明这种方法十分有效，特别是对s e n d m a i l 特权程序， 其特征数据库仅为t i d e 方法的6 6 8 ：在仅用3 0 的数据的情况下，就可以得到相 当于完备特征库9 0 7 1 的特征数据库，并且达到8 3 的检测率，而此时t i d e 方法 的检测率仅为2 0 ；另外，系统的虚警率也降低为1 6 7 。本章的最后，还提出了 将h m m 模型与神经网络在异常检测系统中有机结合，用神经网络对h m m 的状 态短序列进行分析的新思路，并给出了这种方法的理论分析。 第六章对本文的工作进行了总结，提出了课题下一步的研究方向。最后，还简 单介绍了入侵检测系统未来的发展趋势。 基于程序行为的异常检测技术研究 6 2 1 1基本概念 第二章入侵检测系统简介 2 1 入侵检测系统的发展 在介绍入侵检测系统发展之前，我们首先简要介绍一些关于入侵检测的基本概 念。首先，入侵作为我们要检测的对象，是必须要了解的概念之一。我们可以概 括地说入侵是指任何对系统资源的非授权使用行为它对资源的完整性、保密性、 和可用性造成破坏，可使用户在计算机系统或网络系统中失去信任，使系统拒绝 对合法用户服务等。入侵者可以是一个手工发出命令的人，也可是一个基于入侵 脚本或程序的自动发布命令的计算机。a n d e r s o n 把入侵者分为了两类1 8 1 ：外部入 侵者( 一般指来自系统外部的非法用户) 和内部入侵者( 是指那些拥有一定的访 问系统资源权限，但是企图获取更多的权利执行非授权操作的内部用户) 。 计算机系统中入侵活动是很普遍的，一些系统的报告指出它们每个月要受到数 百次的入侵攻击，入侵者使用的手段也是多种多样的，下面给出了一些典型的入 侵行为i ： 利用文件服务器程序中的缺陷来存取及破坏其他用户的文件； 利用系统程序中的缺陷来得到超级用户的状态； 利用一个脚本“骗取”其他用户在计算机上的口令； 通过在计算机系统( 或网络) 中安装“窥视程序”( s n o o p i n g p r o g r a m ) 来 侦测含有用户口令及其他敏感数据的系统操作事件或网络业务； 入侵者通过修改网络中的路由表束阻止消息传递到特定的计算机。 入侵检测就是要识别计算机系统或网络上企图实施或正在进行的入侵活动。而 入侵检测系统就是完成入侵检测任务的系统。它是一种增强系统安全的有效方法。 入侵检测对系统中用户或系统行为的可疑程度进行评估，并据此来鉴别系统中当 前的行为是n i 常的还是非法的，从而帮助系统管理员进行安全管理，并对系统所 受到的攻击采取相应的对策。 评判一个入侵检测系统的好坏，主要用两个参数：虚瞀率和漏检率。虚警率是 指将不是入侵的行为错检为入侵的比率；而漏检率则是指将本来是入侵的行为判 为i f 常的比率。 2 1 2入侵检测系统的发展 第二章入侵检测系统简介 入侵检测的目的是监控网络中的资源，检测异常行为和对系统的滥用行为。 这个观念已经提出了将近二十年了，但是入侵检测被真正纳入到整个信息安全构 架中，是近十年才开始的。p a u li n n e l l a 在他的文章中对入侵检测系统的发展做了 详细的介绍【”1 。 入侵检测的概念是1 9 8 0 年，由j a m e s a n d e r s o n s 首次提出的【9 1 。在他的论文里 首次指出了审计迹中含有对于跟踪滥用和理解用户行为十分有价值的重要信息。 由此丌始了对滥用和特定用户事件的“检测”，并且为日后的入侵检测系统设计 和发展的基础，是基于主机的入侵检测和入侵检测系统的开端。 之后s r i 的d o r o t h y d e n n i n g 博士的研究工作又将入侵检测系统向前推进了一 大步。d e n n i n g 博士的研究工作主要是基于用户行为的入侵检测系统，她的重要著 作a ni n t r u s i o nd e t e c t i o nm o d e l 给出了开发一套商用入侵检测系统所必须的 知识，成为了后来大多数i d s 系统发展遵循的基础。与此同时，美国加州u c d a v i s 大学的研究人员也在致力于入侵检测系统的研究。他们设计了一种将审计数据与 定义好的模型进行比较的分析审计数据的新方法，后来的分旆式入侵检测系统 ( d i d s l 中就用到了这种技术。d i d s 的出现将现有的入侵检测解决方案从跟踪客户 机扩展到了对服务器的跟踪，使i d s 的方法又进入了一个新阶段。 9 0 年代初，u cd a v i s s 的t o d dh e b e r l e i n 提出了网络入侵检测的思想，研究 并丌发了第一个网络入侵检测系统“网络安全监控器”( n s m ) 。n s m 主要通 过对网络流量数据的分析来为检测提供信息的u 3 l ，它的出现大大激发了对入侵检 测技术研究的兴趣，同时也吸引了大量的市场投资。 d e so e w e l o p l dhe b l l l l lr j 5 m “d s e c t # 母d t 抽 幽2 1 入侵捡测系统发展重人事什时序图 在商用i d s 方面，h a y s t a c kl a b s 是第一个商业销售i d s 工具的组织，他们主 要经营基于主机的入侵检测产品。第一个商用的网络入侵检测设备是t h e w h e e l g r o u p 丌发的n e t r a n g e r 。后来，i s s 开发了众所周知的名为r e a l s e c u r e 的网络入 侵检测系统。从i d s 商业市场的诞生到现在，越来越多的著名商家都纷纷投入到 基于程序行为的异常检测技术研究 i d s 的开发中，从早期的s a i c 、c s c ( c r y p t o l o g i cs u p p o r tc e n t e r ) 等到现在的 1 s s 、c i s e o 、c e n t r a xc o r p o r a t i o n 公司、s y m a n t e c 、e n t e r a s y s 等等，逐渐掀起了1 d s 的研究热潮。 其实，不论入侵检测技术是如何发展的，我们都可以肯定一点，那就是 d s 现在已经成为了完整信息安全构架的一个重要组成部分，并且在未来的信息安全 体系中将会扮演越来越重要的角色。图2 1 l l2 l 给出了i d s 发展的时间图。 2 2 入侵检测系统的组成 不考虑其它结构上的要求，一般的入侵检测系统至少应包括三个部分：数据 收集、数掘处理和响应。入侵检测系统组成框图如图2 2 所示。 2 2 1数据收集模块 图2 2 入侵检删系统组成框幽 数据收集是入侵检测的第一步。收集的内容可以包括系统、网络、文件数据 及用户活动的状态和行为等，这些信息都将用于分析系统或网络中是否有入侵事 件发生。数据收集可以位于计算机系统或网络中的若干不同关键点，例如不同网 段和不同主机，最常见的是位于对应用的监控点上。在收集数据的过程中，除了 尽可能扩大检测范围外，还应该注意到有时单从来自同一个信息源的信息有可能 看不出疑点，但是如果从几个信息源获取信息，那么这些信息的不一致性有可能 是可疑行为或入侵的最好标识。当然，入侵检测在很大程度上依赖于收集信息的 可靠性和j j 嘲性。因此，保证信息来源的可靠性和准确性是很有必要的。 入侵检测利用的数据来源实际上就是入侵检测所选择的观察埘象。般束醣， 入侵检测f 1 j 舰察对象主要包括系统或网络巾的 计信息、物理形式的入侵信息以 第二章入侵检测系统简介 及系统的静态配置。： 1 系统和网络中的审计信息 审计信息可以来自与系统和网络的日志文件。这些日志中包含发生在系 统和网络上的不寻常和不期望活动的证据，这些证据可以指出有人j 下在入侵 或已成功入侵了系统。因此，充分利用系统和网络日志文件信息是检测入侵 的必要条件。日志文件中记录了各种行为类型，每种类型又包含着不同的信 息【l ，例如记录“用户活动”类型的日志，就包含登录、用户i d 改变、用户 对文件的访问、授权和认证信息等内容。很显然，对用户活动来讲，不正常 的或不期望的行为就是重复登录失败、登录到不期望的位置以及非授权的企 图访问重要文件等等。通过查看同志文件，能够发现成功的入侵或入侵企图， 并很快地启动相应的应急响应程序。 通过日志文件，我们可以观察到目录和文件中的不期望的改变( 包括修 改、创建和删除) ，特别是那些正常情况下限制访问的文件的改变。因为黑客 经常会替换、修改和破坏他们获得访问权的系统上的文件，同时为了隐减系 统中他们的表现及活动痕迹，都会尽力去替换系统程序或修改系统日志文件。 所以分析n 志中的记录就可以发现这些行为的迹象。 本文分析的系统调用也是一种审计信息，它是在日志中通过特定的命令 得到的( 例如，在u n i x 系统中可以用s t r a c e 命令得到) ，可以通过分析它 观测到程序执行中的不期望行为。网络系统上的程序执行一般包括操作系统、 网络服务、用户起动的程序和特定目的的应用，例如数据库服务器。每个在 系统上执行的程序由- - n 多个进程来实现。每个进程执行在具有不同权限的 环境中，这种环境控制着进程可访问的系统资源、程序和数据文件等。一个 进程的行为由它运行时执行的操作来表现，操作执行的方式不同，它利用的 系统资源也就不同，而这些操作包括计算、文件传输、设备和其它进程，以 及与网络问其它进程的通讯等【1 4 i 。而在u n i x 系统中对资源的访问是通过系 统调用实现的。一个进程出现了不期望的行为可能表明黑客j 下在入侵你的系 统。黑客可能会将程序或服务的运行分解，从而导致它失败，或者是以非用 ，或管理员意图的方式操作。而程序对系统资源的方法在程序执行时产生的 系统调用序列中都能反映出来。 2 物理形式的入侵信息 物理形式的入侵包括两个方面的内容：一是未经授权对网络硬件的连接； 二是对物理资源的未授权访问。黑客会想方设法去突破网络的周边防卫，探 询网上的不安全( 未授权) 设备，然后利用这些设备访问网络，偷取敏感的 弘f “矗息等等【”j 。 2 系统静态配置的检测 基于程序行为的异常检测技术研究1 0 对系统当前配置的静态检测主要是对系统文件的内容或者系统表的检 测，用于发现系统是否已经遭到攻击或者破坏。对静态配置的检查一般对事 后分析，特别是安全结构和策略的设计极为重要。因为，一方面入侵者对系 统攻击时可能会留下痕迹，这可以通过检查系统的状态检测出柬；另一方面 系统管理员以及用户在建立系统时难免会出一些错误和遗漏一些系统的安全 性缺陷，另外，系统在遭受攻击后，入侵者也可能在系统中安装一些安全性 后门( b a c k d o o r s ) ，对系统的配置进行静态分析，就可以及早发现系统中潜在 的安全性问题，并采取相应的措施来补救 ”】。但这种方法需要对系统的缺陷 尽可能的了解；否则，入侵者只需要简单地利用那些系统安全系统未知的缺 陷就可以避开检测系统。 2 2 2数据分析模块 数据分析是入侵检测技术中非常关键的一步。它一方面涉及到对收集到的数 据进行整合、浓缩，另一方面涉及到数据特征的提取。不论是异常检测还是滥用 检测。常用的分析方法主要有三种：模式匹配，统计分析和完整性分析。其中前 两种方法用于实时的入侵检测，而完整性分析则用于事后分析。 1 模式匹配 模式匹配是一种通过将收集到的信息与已知的网络入侵和系统应用模式相比 较，束发现违背安全策略的行为的方法【l 。它可以通过字符串匹配以寻找一个简 单的条目或指令，也可以利用正规的数学表达式来表示安全状态的变化；可以对 正常行为建模，也可以是对入侵行为建模。运用模式匹配方法的只需要收集建立 相关模型所需的数据集合，大大减轻了系统的负担。并且，模式匹配的技术以及 它在网络安全技术中的应用都已经相当成熟，有很多的经验可以借鉴。但是它的 缺点是须要不断地更新模式库，特别是那些比较系统滥用模式的分析方法，必须 不断升级滥用模式库以对付不断出现的黑客攻击手法，而且它不能检测到从未出 现过的黑客攻击手段。这一点有些类似于防病毒产品。 2 统计分析 统计分析方法也就是用系统对象的统计性变量来刻画主体特征的方法，这些 统计性特征轮廓通常包括主体特征变量( 如访问次数、操作失败次数和延时等) 的出现频率、均值、方差、统计概率分布以及偏差等。这些特征变量的统计特征 将被用来与网络、系统中当前的行为进行比较，任何观察值在正常值范围之外时， 就认为有入侵发生。其优点是可检测到未知的入侵和更为复杂的入侵，缺点是误 报、漏报率高，且不适应用户正常行为的突然改变。 3 完整性分析 第二章入侵检测系统简介 完整性分析主要用于事后分析系统中的文件或对象是否被更改，这经常包括 文件和目录的内容及属性。这种方法的优点在于不管模式匹配方法和统计分析方 法能否发现入侵，只要是入侵行为导致了文件或其它对象的任何改变，它都能够 发现。缺点是一般以批处理方式实现，并且只有在攻击造成破坏后才能发现，不 适用于实时地跟踪和制止入侵行为。 2 2 3响应 当系统发现入侵行为时所采取的一系列行动就是响应。响应技术典型地分为 主动和被动两种。主动的响应措施包括一些在系统的某些部分采取的自动干涉行 为；而被动响应主要是指将i d s 发现的可疑现象报告给系统或网络管理员，然后由 管理员根据i d s 系统的报告采取相应的措施。响应措施有很多种，最简单的就是切 断危险连接，但是这种做法有可能被攻击者利用使系统出现拒绝服务的现象。还 有i p 地址跟踪，虚假服务器等等。其中虚假服务器对于事后分析和入侵的跟踪都是 一种很有效的方法。虚假服务器更普遍地被称为“蜜罐”，它的主要思想是提供一 个“虚假的”外壳，搭建一个具有众所周知漏洞( 蜜罐构造) 的应用服务环境， 引诱攻击者进入并留下明显的痕迹。这些系统通过设计和配置效仿某种产品环境， 但实际上它建立的目的是对网络管理员和安全工作人员发出警告，同时逐条将攻 击或入侵事件的行为记入日志。系统将彻底检测并跟踪这个可能攻击者的活动。 响应技术的另一个考虑出发点是如何终止入侵或攻击，并尽快恢复受影响的 服务和丢失的数据。恢复的过程可能包括初步损失估测，以确定一次入侵或攻击 过程所造成的破坏的广度。它的注意力集中在如何采取及时的减缓措施来抵御动 态攻击或使其改向，从而将破坏降到最小或者是重新建立并恢复被阻塞或失效 的服务。 2 3入侵检测系统分类 入侵检测系统的分类方法大致上有三种，它们的依据分别是数据来源的不同、 分析技术的不同和系统结构上的不同。下图【1 7 1 所表示的就是入侵检测系统的分类 情况。下面我们将对每一种分类分别进行介绍。 基丁程序行为的异常检测技术研究 l 卜删桶垌徽然篡 i i 出u 嘶s e ：裂 入幔硷删系统分类 按照数据来源不同 耋季言要饕篆雾蓁羹 f 单一结构 l 按照实现结构不同 部分分布式结构 【完全分布式结构 图2 3入侵检渤l 系统分类 2 _ 3 1按照采用检测技术的不同分类 目前较为流行的入侵检测技术主要有两种，即异常检测技术和滥用检测技术。 因此相应地，入侵检测系统就可以分为两类：采用盔垡鲨戤术的系统和采用鲎 用筒劫技术的系统。 异常检测( a n o m a 垮d e t e c t i o n ) 也被称为基于行为的检测。异常检测系统试 图通过建立一个对应系统或用户的“正常的活动”的特征轮廓( a c t i v i t yp r o f i l e ) 来 检测可能的入侵。这个特征轮廓可以是对系统静态配置描述，也可以是对系统或 用户正常行为的描述。检测系统运行时，首先产生当前行为的相应轮廓，并与已 有的正常行为特征轮廓比较，当发生显著偏离时即认为是一种异常的标志。异常 检测最大的优点是有可能检测出以前从未出现过的攻击方法，它不象基于知识的 检测( 滥用检测) 那样受已知脆弱性的限制。异常检测中，对所谓“系统正常活 动”的特征的刻画是十分重要的。就编码和数据存储等系统静态形式而言，它们 在正常与异常之阃的界限比较容易定义，每一个比特的不同都表明一个问题的出 现：然而，对于系统中动态的用户行为和程序行为，其可接受的行为和不可接受 的行为之叫的界限就比较难以定义了1 8 1 。所以异常检测系统的主要缺陷在于闽值难 以确定，并且虚警率和误检率都很高。 滥用检测( m i s u s ed e t e c t i o n ) 也被称为基于知识的检测。滥用检测系统是建 立在使用某种模式或者特征描述方法能够对任何已知攻击进行表达这一理沦基础 上的。滥用检测系统利用先验知识编码，检测已知的入侵模式。这种方法的优点 是可以有针对性地建立高效的入侵检测系统，虚警率低缺点是对未知的入侵活 动或已知入侵活动的变异无能为力。 n ：过去的入侵检测系统中异常检测和滥用检测两利t 方法都得到了广泛应川， 并且在某些情况下两种检测方法在同一系统中结合使用来相互补足。这两种检测 方法各有丁秋，在今后的入侵检测系统中都将会继续得到发展。 第二章入侵检测系统简介 2 3 2按照数据来源的不同分类 前面已经讲到入侵检测系统的数据来源有很多，但就其检测目标的不同总体 上可以分为两类：来源于主机的数据和来源于网络的数据。因此，入侵检测系统 也可以分为两类：垄主堇赶的检测系统和垄立塑鳖的检测系统。 基于主机的入侵检测系统：其输入数据的来源主要是系统的审计日志，一 般只能检测该主机上发生的入侵。能否及时采集到审计数据是这种检测系统的关 键问题之一。这使得一些入侵者转而将主机审计子系统作为攻击目标以避丌入侵 检测系统。 基于网络的入侵检测系统：其输入数据来源于网络的信息流，能够检测该 网段上发生的网络入侵，以n s m 为代表的基于网络的入侵检测系统通过在共享网 段上对通信数据的侦听采集数据，分析可疑现象。与主机系统相比较而言，这类 系统对入侵者是透明的，入侵者本身不知道有入侵检测系统存在；由于这类系统 并不需要主机提供严格的审计，因而对主机资源消耗少，并且由于网络协议是标 准的，它可以提供对网络通用的保护而无需顾及异构主机不同结构。 2 2 3按照系统实现的结构分类 入侵检测实际的系统实现可以有三种结构方式【l7 j ：垡二重至拉五丛竖堑纽重量 生钎n 篮坌型垒型吉构。 单一结构：是指数据的分析和处理都在同一台主机上完成的系统结构。早期的 入侵检测系统大都采用这种结构( 如i d e s 等) ，这种方法的好处是易于管理 和协调，缺点是分布性差，单点失效等，现在已经基本不用。 完全分布式结构：如墨西哥大学提出的基于人工免疫的系统，它采用类似人类 淋巴细胞的完全分布式结构来识别f 常或异常。系统中设有全局控制中心，所 以分川，性和容错性最好，但管理和进行信息综合却比较困难，较难从整体上把 握，对相互之间有联系的入侵难以判断。 部分分布式结构：最典型的是s p a f f o r d 提出的自治代理结构，这种方法界于上 述两利，方法的中间，它采用多级别的分巾式结构比较合理地解决了集巾管理利 分币】处理的矛盾。这个结构中包括四个组成部分，即a g e n t 、过滤器、收发 器、l 监控器。 入侵检测系统白二十世纪八十年代丌始发展以来，虽然迄今不过短姬二：1 年， 基于程序行为的异常检测技术研究 但已经取得了丰硕的成果。特别是进入本世纪，随着i n t e r n e t 的不断发展，人 们对安全问题的关注空前高涨。尤其是人们对网络安全威胁的来源有了更加清除 的认识；对传统安全防范措施的不足之处有了更深的了解。从而也更加注重发展 新的更完善的安全系统。为适应网络技术和黑客手段的飞速发展，我们需要一个 适应性较强的方法来保护系统的安全，因此，作为防火墙有力补充的入侵检测技 术脱颖而出。 本章从入侵检测中的一些基本概念入手，对入侵检测系统的发展、系统组成、 系统分类及入侵检测中的关键技术做了较为详细的介绍。通过分析我们看到，入 侵检测中异常检测技术以其对新入侵变异的高适应性受到了研究人员的青睐，而 这种适应性在很大程度上取决于正常行为特征建立的好坏。所以研究异常检测技 术的重点难点都是如何构建正常行为的完整的便于更新的具有较强适应性的特征 轮廓，以便更好的发挥这个异常检测的优势。所以，正如我们前面讲到的，各种 技术运用到异常检测中其目的都是围绕着如何构建一个更好的正常行为的特征轮 廓。因此，本文的工作重点也落在了对特征轮廓的构建和如何进行主客体之间的 比较上，即i d s 数据分析部分。 第三章基于程序行为的异常检测 第三章基于程序行为的异常检测 3 1 对程序行为进行分析的优点 3 1 1在特权程序层次上监控异常 异常检测系统可以在很多不同的层次对系统行为进行监控。我们希望能够使 收集到的数据既可以对正常行为的变异具有鲁棒性又能对入侵行为十分敏感。在 这里我们选择在特权程序的层次上对程序行为进行监控。特权程序是系统中运行 的各种服务程序( 例如发送或接收邮件的服务) ，这些服务程序通常需要使用一 些对普通用户而言无权访问的系统资源。为了让这些进程能完成它们的工作，他 们被授予超出普通用户的权限( 尽管它们能被普通用户调用) 。 在u n i x 系统中，进程通常是以唤醒它们的用户的权限运行的。然而，特权进 程能利用s e t u i d 机制改变它们的权限为超级用户。u n i x 系统特权进程的安全问题之 一是许可权限的等级划分得太粗糙：特权进程需要以超级用户的身份访问系统资 源，但是授予它们这种身份的同时就给它们提供了超出完成其特定任务需求的额 外的访问资源的许可【l ”。也就是说，它们被获准访问所有的系统资源而不仅仅是 与它们的功能相关的资源。这样就必然会产生安全问题。特权进程在访问与其相 关的资源时是可以信任的，但是在某些情况下，例如在特权进程运行的程序代码 中出现了错误或者特权进程没有正确配置时，个普通的用户就有可能利用存在 于程序中的这些问题获取超级用户的权限。这便为黑客入侵提供了可咀利用的漏 洞。 锻显然，特权程序是一个很值得关注的监控层次，因为通过在特权程序q t 寻 找利朋程序的漏洞，可以使入侵者获得超级用户的身份，这很容易对系统造成严 重的伤害。例如，k i n i x 系统中的特权程序t e l n e t 和l l o g i n ，它们的作用是作为控制访 问系统资源的服务器。这些服务器如果出了问题，就会导致一个入侵者被获准远 程访问系统。与监控用户行为相比较而言，监控特权程序行为具有下面一些优点， f 是这些优点使得对程序行为的分析成为了一种当前最流行的方法：首先，特权 程序行为的各种可能的变化与用户行为相比要有限的多：其次，特权程序通常只 完成特定的、有限的功能，然而用户却可能执行各种类型的操作；最后，特权程 序的行为在时问上是相对稳定的，特别是与用户行为相比用户行为不仅执行 的操作变化多端，而且随着时间的不同用户行为可能会产生很大的变化，而特权 程序的行为( 至少是它们的功能) 通常不会随时问发生很大改变。 基于程序行为的异常检测技术研究 1 6 监控特权程序的目的主要是要检测程序行为的不规律，因此可以将程序看作 一个黑箱。程序运行时会产生一些可以观测的属性。我们认为这些可观测的属性 应该是这个程序的一个动态特征。因为无论放在磁盘中的代码是否存在潜伏的危 险，只有运行之后我们卅能意识到这个危害。如果我们将程序看作黑箱，就不需 要关于程序内部功能的特殊知识，我们可以通过观察这些可观测值柬白j 接作出推 断f 1 引。 对u n l x 系统，它的特权进程有一个天然的可观测属性，而这个可观测属性是 一种基于系统堀留的可观测指。因为u n i x 进程访问系统资源都要通过系统调用。 所以，我们选取系统调用短序列作为我们的观测对象。最早的关于分析程序系统 调用的研究是f o r r e s t 等人提出的，后来又有很多研究人员投入到这方面的研究中。 早期的这些研究给出了一些初步的证据，说明了系统调用短序y 0 x , 于几种类型入侵 行为的而言是又好又简单的鉴别工具。 3 1 2分析系统调用的方法 研究中我们都希望得到一个稳定高效的入侵检测系统，而这些都依赖于我们 区分可按受和不可接受时选用的监控对象。计算机安全所面对的是一个高度复杂 的系统，i d s 必须保护这个系统不被恶意行为渗透。为此，它必须能在大范围内区 分正常和异常，这个区分正常和异常的任务被f r r o e s t 等人称为对“非自身”的( 危 险的代码和异常行为) 和“自身”( 系统中正常的行为等) 的辨别问题1 7 1 。系统 调用是u n i x 系统程序访问系统资源时必然会产生的，它的特征一定能够为系统 资源的使用和程序的执行提供一个很好的鉴别特征。 f o r r e s t 等人在研究中发现每个进程对应于一个系统调用轨迹( 即从丌始执行 到进程结束期问使用的系统调用的顺序列表) ，虽然同一个程序在不同条件下执行 时产生的轨迹数目很多，但这些轨迹的局部模式( 短序列) 却表现出一定的一致 性。这使得f o r r e s t 等人认为一个程序的正常行为可由其执行轨迹的局部模式 ( 短序列) 柬表征，与这些模式的偏离可认为是入侵。这种方法主要基于程序执 行时两个霭要特点，一是当程序正常执行时，轨迹的局部模式具有一致性；二是 当利用程序的安全漏洞时会产生一些异常的局部模式。 对系统调用的分析从一开始就采用了异常检测的分析方法，我们知道异常检 测对入侵行为变异的适应性使得系统具有更强的鲁捧性。f o r r e s t 等人的方法就是一 种异常检测的方法。他们通过列举出现在训练数据中所有唯一的、长度为k 的连续 序列来构造程序j 下常行为轮廓数据库。检测时，将来自检测轨迹的序列与正常数 据库轮廓中的序列相比较，通过寻找在数据库中不存在的序列柬检测异常。浚项 技术对u