浅谈入侵检测技术--精简版论文

1、浅谈入侵检测技术目 录1引言.21.1入侵检测技术的提出 .21.2入侵检测技术技术研究史 .31.2. 1以denning模型为代表的ids早期技术 .31.2.2中期：统计学理论和专家系统相结合 .41.2.3基于网络的ntds是目前的主流技术 .51.3本课题研究的途径与意义 .112入侵检测技术原理 .122.1入侵检测技术第一步一一信息收集 .122. 1. 1网络入侵检测技术模块方式 .132. 1. 2主机入侵检测技术模块方式 .132.1.3信息來源的四个方面.132.2入侵检测技术的第二步信号分析 .15kmark1. bookmark2bookmark3bookmark4

2、bookmark5 bookmark6 bookmark7 bookmark8 bookmark9bookmark10boo008mark11bo1模式匹配.162. 2. 2统计分析.162.2.3完整性分析 .163入侵检测技术功能概要 .184入侵检测技术技术分析.194.1入侵分析按其检测技术规则分类.194.1.1基于特征的检测技术规则 .19 蔀 .1.2基于统计的检测技术规则.20-些新的分析技术.202. 1统计学方法.202. 2入侵检测技术的软计算方法 .212. 3基于专家系统的入侵检测技术方法 .215入侵检测技术技术发展方向 .225.1分布式入侵检测技术与通用入侵检

3、测技术架构.222应用层入侵检测技术.223智能的入侵检测技术.224入侵检测技术的评测方法 .22 蔀 .5网络安全技术相结合.226建立数据分析模型 .236.1测试数据的结构.22 蔀 .2数据中出现的攻击类型.252. 1攻击（attacks） .256.2.2发现训练集中的攻击类型 .262. 3其他主流的攻击类型 .287聚类算法在网络入侵检测技术中的作用.297.1模式识别的概念.297.2模式分类293基于异常的入侵检测技术 .327.4聚类算法简介 .324. 1 k-means算法.327.4.2迭代最优化算法.327.4.3我的构想 .32结论.35致谢.35参考文献.3

4、51引言1 1入侵检测技术的提出随着internet高速发展，个人、企业以及政府部门越來越多地依靠网络 传递信息，然而网络的开放性与共享性容易使它受到外界的攻击与破坏，信息 的安全保密性受到严重影响。网络安全问题已成为世界各国政府、企业及广大 网络用户最关心的问题z-o在计算机上处理业务已由基丁单机的数学运算、文件处理，基于简单连结的内部网络的内部业务处理、办公自动化等发展到基于企业复杂的内部网、企业外部网、全球互联网的企业级计算机处理系统和世界范围内的信息共享和业务处理。在信息处理能力捉高的同时，系统的连结能力也在不断的捉高。但在连结信息能力、流通能力捉高的同时，基于网络连接的安全问题也日益

5、突出，黑客攻击日益猖獗，防范问题日趋严峻：具warroon research的调查，1997年世界排名前一千的公司几乎都曾 被黑客闯入。据美国fbi统计，美国每年因网络安全造成的损失高达75亿美元。 ernst和丫oung报告，由于信息安全被窃或滥用，几乎80%的大型企业遭 受损失在最近一次黑客大规模的攻击行动屮，雅虎网站的网络停止运行3小时， 这令它损失了几百万美金的交易。而据统计在这整个行动屮美国经济共损失了 十多亿美金。由于业界人心惶惶，亚马逊(a)aol、雅虎(yahoo!)、ebay的股价均告下挫，以科技股为主的纳斯达克指数(nasdaq)打破过去连续三天创下新高的升势，下挫了六十三

6、点，杜琼斯工业平均指数周 三收市时也跌了二百五十八点。遇袭的网站包括雅虎、亚马逊和b、msn.com、网上拍卖行ebay以及新闻网站cnn.com,估计这些袭击把internet交通拖慢了百分二十廿前我国网站所受到黑客的攻击，还不能与美国的情况相提并论，因为我 们在用户数、用户规模上还都处在很初级的阶段，但以下事实也不能不让我们 深思：1993年底，中科院高能所就发现冇”黑客”侵入现象，某用户的权限被升级为超级权限。当系统管理员跟踪时，被其报复。1994年，美国一位14岁 的小孩通过互联网闯入中科院网络中心和清华的主机，并向我方系统管理员提 出警告。1996年，高能所再次遭到“黑客“入侵，私门

7、在高能所主机上建立了几十个帐户，经追踪发现是国内某拨号上网的用户。同期，国内某isp发现“黑客 ”侵入其主服务器并删改其帐号管理文件，造成数百人无法正常使用。进入1998年，黑客入侵活动曰益猖獗，国内各大网络几乎都不同程度地 遭到黑客的攻击：7月，江西169网被黑客攻击，造成该网3天内中断网络运行2次达30个小时，工程验收推迟20天；同期，上海某证券系统被黑客入侵；8月，印尼事件激起中国黑客集体入侵印尼网点，造成卬尼多个网站瘫痪,但与此同时，中国的部分站点遭到印尼黑客的报复；同期，西安某银行系统被黑客入侵后，提走80.6万元现金；9月，扬州某银行被黑客攻击，利用虚存帐号提走26万元现金。每年全

8、球因计算机网络的安全系统被破坏而造成的经济损失达数百亿美元。进入新世纪z后，上述损失将达2000亿美元以上。看到这些令人震惊的事件，不禁让人们发出疑问：”网络述安全吗？试图破坏信息系统的完整性、机密性、可信性的任何网络活动都称为网络入侵。防范网络入侵最常用的方法就是防火墙。防火墙(firewall)是设置在不同 网络(如可信任的企业内部网和不可信任的公共网)或网络安全域z间的一系列 部件的组合，它属于网络层安全技术,其作用是为了保护与互联网相连的企业内 部网络或单独节点。它具有简单实用的特点，并但透明度高，可以在不修改原冇 网络应用系统的情况下达到一定的安全要求。但是，防火墙只是一种被动防御性

9、的网络安全工具，仅仅使用防火墙是不够的。首先，入侵者可以找到防火墙的漏洞，绕过防火墙进行攻击。英次，防火墙对来自内部的攻击无能为力。它所捉供的服务方式是要么都拒绝，要么都通过, 不能检查出经过他的合法流量小是否包含着恶意的入侵代码，这是远远不能满足 用户复杂的应用要求的。对于以上提到的问题，一个更为有效的解决途径就是入侵检测技术。在入 侵检测技术之前，人量的安全机制都是根据从主观的角度设计的,他们没有根据 网络攻击的具体行为來决定安全对策，因此，它们对入侵行为的反应非常迟钝， 很难发现未知的攻击行为，不能根据网络行为的变化來及时地调整系统的安全策 略。而入侵检测技术正是根据网络攻击行为而进行设

10、计的，它不仅能够发现已知 入侵行为，而且有能力发现未知的入侵行为，并可以通过学习和分析入侵手段， 及吋地调整系统策略以加强系统的安全性。1 2入侵检测技术技术研究史审计是最早引入计算机安全领域的概念，像存取文件、变更他们的内容或分类等的活动都记录在审计数据屮，安全管理员、系统操作员和维护人员和普通用户一样都要经过行为审核。安德森提出要建立一个安全监督系统，保护那些系统敏感信息。他还提出应该检查什么、如何分析他、以及如何保护监督系统免受攻击，这成了今天ids研究的核心内容。70年代后期，美国政府，包括dod（国防部）和nist（国家标准和技术协会）支持的计算机安全研究2开始了，安全审计也被考虑在

11、这些研究中。1980年，安德森提出了另外一项报告，这次是针对一个空军客户，后者使用大型计算机处理大量的机密数据。报告屮，安德森提出了减少分析数据量的方法，以及比较统计数据和总的观察也就是统计行为，以发现反常的行为。当一个安全违例发生或（统计上）反常的事件出现吋，就会提醒安全官员。安全官员还能利用详细的观测资料做后续的评估。安德森的报告为sri （stanford researchinstitute）和trw（美国著名的数据安全公司）的早期工作提供了蓝图。在1980年代中期, 入侵检测技术方面的许多工作都被他的思路深深影响。1.2.1以denning模型为代表的ids早期技术19841985年，

12、sytex为spawar（美国海军）开展了一个审计分析项目。 他基于unix系统的shell级的审计数据，论证这些数据能够识别“正常，和“反常 使用的区别。特里萨兰特（teresa lunt）在sytex为这个项口工作，后来又去了sri,在那里她参与并领导了ides（入侵检测技术专家系统）项目。ides项口是1984年由乔治敦大学的桃乐茜顿宇（dorothy denning）和彼得诺埃曼（peterneumann）开始的，是ids早期研究屮最重要的成就之一。ides模型基于这样的假设：有可能建立一个框架來描述发生在主体（通常是用户）和客体（通常是文件、程序或设备）之间的正常的交互作用。这个框架

13、由-个使用规则库（规则库描述了已知的违例行为）的专家系统支持。这能防止使用者逐渐训练（误导）系统把非法的行为当成止常的來接受，也就是说让系统“见怪不怪雹1988年，特里萨兰特等人改进了顿宁的入侵检测技术模型，并开发出了一个ides。该系统包括一个异常检测技术器和一个专家系统，分别用于异常模型 的建立和基于规则的特征分析检测技术。系统的框架如图2所示。楼式卩k顿宁的模型假设：入侵行为明显的区别于正常的活动，入侵者使用系统 的模式不同于正常用户的使用模式，通过监控系统的跟踪记录，可以识别入侵 者异常使用系统的模式，从而检测技术出入侵者违反系统安全性的情况。论文 中的一些提法看起來很吸引人，但却并没

14、有多少有力的证据，有些想当然。顿宁的模型屮有6个主要构件：主体、对象、审计数据、轮廓特征（或 可称为“范型”profiles）.异常记录和行为规则。范型（profiles）表示主 体的行为特色，也是模型检测技术方面的关键。行为规则描述系统验证一定条 件后抽取的行为，他们能“更新范型，检测技术异常行为，能把异常和可 能的入侵关联起來并提出报告”。审计纪录由一个行为触发，而且记录主体尝 试的行为、行为木身、行动对准的口标、任何可能导致例外的情况以及行为消 耗的资源和独特的时间戳标记。审计记录会和范型进行比较（使用适当的规 则），那些符合界常条件的事件将被识别出來。这个模型独立于特定的系统平 台、应

15、用环境、系统弱点以及入侵的类型，也不需要额外的关于安全机制、系 统脆弱性或漏洞攻击方面的知识，他为构建入侵监测系统提供了 一个通用的框 架。1.2.2中期：统计学理论和专家系统相结合80年代末，一些其他值得注意的系统开发出来，大部分走的是将统计学 理论和专家系统结合在一起的路子。有几个系统，特别是在haystack和nadir中，分析引擎把儿个商业数据库管理系统（比如oracle, sybase）聚合在一 起，发挥他们各自的优势。midas由美国国家安全局卜屈的计算机安全中心开发，用来监控他的iides縉梅怅架产生2smultics系统-dock master。他使用混合的专家系统和统计学分析

16、方法，以及来自multics应答系统(answering system)的已检查的审计日志信息, 应答系统控制用户的注册(注册信息由其他数据源扩充)。midas是最早基于 连接互联网的系统开发的产品之一。wisdom和sense,分别由los alamos和oakridge开发,是另一个专家系 统和统计学分析方法的混合。他使用非参量的统计技术从历史审计数据中产生 规则。就像很多其他机器学习方法一样，他也遇到了很多问题，包括获取训练 数据的困难、高的误报率和规则库对存储能力的过高需求。直到那时，ids系统仍iii依靠受保护主机收集的审计数据，但加州大学戴 维斯分校开发的网络系统监控器nsm (t

17、he network system monitor)改 变了这个状况。nsm在入侵检测技术技术发展史上是继ides之后的又一个里 程碑，他监控以太网段上的网络流量，并把他作为分析的主耍数据源。从当时 的检测技术报告上可以看到，nsm检测技术了超过100 000的网络连接，并从 中识别岀超过300个入侵。今天，大部分商业ids系统宜接使用从网络探测的 数据作为他们主要，甚至是惟一的数据源。1.2.3基于网络的nids是目前的主流技术1994年，mark crosbie和gene spafford建议使用自治代理(autonomousagents)以便提高ids的可伸缩性、可维护性、效率和容错性，

18、这个思想跟上 了计算机科学中其他领域的研究的潮流，比如说软件代理。另一个解决当时多 数入侵检测技术系统伸缩性不足的研究成果是1996年提出的grids (graph-basedintrusion detection system)系统，该系统对大规模自 动或协同攻击的检测技术很有效，这种跨越多个管理区域的口动协同攻击显然 是入侵行为发展的方向。1997年，cisco要求wheelgroup公司将入侵检测技术与他的路由器结合。同年，iss成功开发了realsecure,他是在windows nt下运彳亍的分布式网络 入侵检测技术系统，被人们广泛使用。1996年的第一次开发是传统的基于探 测器的n

19、ids(网络入侵检测技术系统，监视整个网络段)，在windows和solaris 2. 6上运行。1998年后期，realsecure发展成为一个混合式的入侵检测技术 系统。他对入侵行为具有广泛的反应能力包括断开连接、发送snmp信息、erneiil提醒、运行客户程序记录会话内容等，并能根据检测技术口动产生审计策略。nids系统由安全控制中心和多个探测器组成。安全控制中心完成整个分 布式安全监测预警系统的管理与配置。探测器负责监测其所在网段上的数据 流，进行实时自动攻击识别和响应。近年來的技术创新还有：forrest将免疫原理运用到分布式入侵检测技术中；1998年ross anderson和a

20、bideikhattk将信息检索技术引入这个领域。1.3本课题研究的途径与意义聚类是模式识别研究屮非常冇用的一类技术。用聚类算法的异常检测技术就是一种无监督的异常检测技术技术，这种方法可以在未标记的数据上进行，它将相似的数据划分到同一个聚类屮，而将不相似的数据划分到不同的聚类，并为这些聚类加以标记表明它们是正常述是异常，然后将网络数据划分到各个聚类屮，根据聚类的标记来判断网络数据是否开常。本课题是网络入侵检测技术的研究，主要介绍模式识别技术中两种聚类算法，k-means算法和迭代最优化算法，并阐述此算法在入侵检测技术技术中的应用原理，接着分析这两种算法貝体应用时带来的利弊，最后针对算法的优缺点

21、提出自c改进的算法，并对此算法进行分析，叮以说这种算法是有监督和无监督方法的结合，是k-means算法和迭代最优化算法的折中，是一种较理想的算法。通过研究木课题，可以了解入侵检测技术技术的发展历程，及国内外研究水平的井距，熟悉各种入侵检测技术原理方法的界同，以便今后对某种检测技术方法作进一步的改进时能够迅速切入要点；在对入侵检测技术技术研究的同时，认真学习了模式识别这门课程，这是一门交叉学科，模式识别已经在卫星航空图片解释、工业产品检测技术、字符识别、语咅识别、指纹识别、医学图像分析等许多方面得到了成功的应用，但所有这些应用都是和问题的性质密不可分的，学习过程屮接触了许多新理论和新方法，其屮包括数据挖掘，统计学理论和支持向量机等，极大的拓展了自己的知识面，这所带来的收获已经不仅仅停留在对入侵检测技术技术研究这个层面上。2入侵检测技术原理入侵检测技术(intrusion detection)的定义为：识别针对计算机或网络 资源的恶意企图和行为，并对此做出反应的过程。ids则是完成如上功能的独立 系统。ids能够检测技术未授权对彖(人或程序)针对系统的入侵企图或行为(intrus