基于启发式规则的入侵检测技术研究论文.doc

摘 要摘 要北京朱文杰代写论文不付款，特此公告之计算机和网络技术的普及，在给人们的生活带来极大便利的同时，也将安全隐患传播到整个网络。正是由于网络的普及率越来越高，一旦发生有目的、大规模的网络入侵行为，其造成的影响就越恶劣。做为保护网络安全手段之一的入侵检测技术，一直被广大国内外学者所关注。由于网络规模的不断扩大，网络流量的不断增长和黑客技术 的不断发展，对入侵检测的性能提出了更高的要求。本文以提高入侵检测技术的检测正确率，降低误警率和漏警率以及提高检测效率为技术目标，在检测技术、告警融合和分布式入侵检测系统的体系结构等方面进行了深入系统的研究，取得了一些创新性的研究成果，主要内容包括：入侵检测技术分为异常检测和误用检测两大类。本文分别针对异常检测和误用检测技术中存在的问题，研究了其改进方法，并提出一种基于启发式规则的混合入侵检测模型。论文首先介绍了入侵检测技术的研究现状和发展趋势，对目前常用的入侵检测技术和方法进行了归类和分析，同时比较了各种入侵检测方法的优势和不足，指出了入侵检测技术存在的问题。其次，论文讨论了误用入侵检测中模式识别算法，针对模式匹配方法存在的匹配速度慢、误报率较高、模型库动态更新难等问题，论文提出了一种改进的ac-bm算法，进一步提高了算法的匹配速度，设计的mrrt规约树能支持多线程归约和在线动态调整，特别适用于大规模多模式匹配。再次，论文针对异常检测技术存在计算量大、训练时间长、在小样本情况下分类精度低的问题，论文研究了特征选择和svm分类器，通过svm在训练过程中主动挑选学习样本，从而有效地减少训练样本数量，缩短训练时间。该检测方法解决了异常检测中大量训练样本集获取困难的问题。最后，论文提出了一种基于启发式规则的混合入侵检测模型，系统通过各对连接上下行数据分别采用误用检测方法和异常检测方法，并对检测到得结果进行拟合，通过分析向用户发布告警入侵行为。该模型具有数据处理效率高，误报率低，协作性好，自学习能力强，安全性高等特点。论文最后对所作的研究工作进行了总结，并指出了今后的研究方向。关键词：入侵检测，模式识别，启发式，特征选择，支持向量机abstractabstractintrusion detection has shown great potential in network security research. most existing intrusion detection methods treat all data in the network as a whole. however, in reality, data in the network could be divided into two categories: upload data and download data. when intrusion takes place,these two types of dataflow may have different characters. based on this discovery,we proposed a novel intrusion detection method (u-d method) taking both upload and download data into consideration. with the enhanced separately analysis method,we could figure out the intrusion clues more effectively and efficiently. we wonder the relationships between these data might contain some instinct clue for discovering important intrusions. experiment results demonstrate the effectiveness of our approach.key words: intrusion detection, svm, upward ip data, down-ward ip data目 录目 录第一章 绪 论11.1 研究背景11.2 国内外研究现状31.3 本文的主要工作81.4 本文的组织结构9第二章 入侵检测技术研究综述112.1 检测技术的发展史112.2 检测技术的分类122.3 检测技术的评价指标132.4 误用检测技术142.4.1 基于规则匹配的检测技术152.4.2 基于条件概率的检测技术152.4.3 基于状态转移分析的检测技术162.4.4 基于模型推理误用的检测技术162.5 异常检测技术172.5.1 基于统计方法的检测技术172.5.2 基于贝叶斯推理的检测技术182.5.3 基于神经网络的检测技术182.5.4 基于遗传算法的检测技术192.5.5 基于数据挖掘的检测技术202.5.6 基于人工免疫的检测技术202.5.7 基于支持向量机的检测技术202.6 入侵检测系统结构分析212.6.1 集中式ids212.6.2 等级式ids222.6.3 分布式ids242.7 规则描述语言252.8 实验数据292.9 本章小结33第三章 误用入侵检测中的模式识别算法研究353.1 引言353.2 ac-bm算法363.3 ac-bm算法改进383.3.1 问题分析383.3.2 改进方案393.3.3 算法构造403.4 实验及分析523.5 本章小结61第四章 基于启发式搜索的特征选择624.1 搜索策略624.2 评价准则634.3 特征选择算法644.4 基于变量相似性特征选择664.4.1 线性相关系数准则和最大信息压缩准则674.4.2 基于变量相似性的特征选择算法684.5 实验及分析694.6 本章小结71第五章 异常入侵检测中的svm分类器研究735.1 引言735.2 传统svm分类器745.3 inn-svm分类器构造765.3.1 问题分析765.3.2 改进方案785.3.3 分类器构造795.4 实验及分析845.5 本章小结87第六章 基于启发式规则的混合入侵检测系统886.1 引言886.2 传统ids896.3 基于启发式规则的混合入侵检测模型906.3.1 设计思路906.3.2 模型构造906.4 实验及分析966.4.1 吞吐率976.4.2 匹配性能976.4.3 分类器性能996.5 本章小结100第七章 总结与展望1017.1 本论文对相关项目的贡献1017.2 本论文的总结1017.3 关于未来研究的展望102参考文献103致 谢105在读期间发表的学术论文与取得的其他研究成果106 第一章 绪 论第一章 绪 论1.1 研究背景随着网络和计算机技术的不断发展，人类社会进入了一个崭新的互联网时代。科技发展的日新月异，对推动社会发展和人类进步具有不可忽视的重要意义。而以计算机和网络技术为代表的it产业更是位于科技发展的技术前沿，并且直接引导了互联网的一次次技术革命，人类社会的各个领域都在发生着前所未有的重大变革，人类社会正在走进信息化社会。然而随着网络技术、网络规模和网络应用的高速发展，个人和各种组织，包括政府、企业、军队，都越来越依赖于信息系统、通信网络以及与之相关的自动化应用。同时也为网络攻击提供了便利条件，攻击技术快速发展，呈现出多元化、复杂化和智能化的发展趋势，攻击频度和规模逐年递增。以国家计算机网络应急技术处理协调中心(cncert/cc)在2011年发布的报告为例，2011年，cncert/cc接收的网络仿冒、垃圾邮件和网页恶意代码等非扫描类网络安全事件报告总数为4390件，大大超出去年同期水平，与2010年相比，网络仿冒事件增长1.4倍，垃圾邮件事件增长1倍，网页恶意代码事件增长2.6倍。同时据抽样显示，2011年，境内外控制者利用木马控制端对主机进行控制的事件中，木马控制端ip地址总数为433，429个，被控制端ip地址总数为2，861，621个，比去年同期均有较大幅度的增长。下面对目前的网络安全现状进行具体分析。首先，在当前的网络状况下，各种病毒和攻击方法不断更新换代，安全威胁的种类越来越多，升级的频率越来越快，所能影响的范围也越来越广。目前存在的安全威胁主要有以下几种：1)系统破坏：入侵行为往往对系统造成极大的破坏，主要表现在网络性能变差，影响网络服务的质量甚至无法提供正常的服务，主机速度变慢，程序运行异常，系统无法正常工作，严重时导致系统崩溃。系统遭到破坏产生的直接后果就是用户无法使用电脑进行正常工作。目前，网络已经成为许多企业和用户工作的重要工具，系统的破坏将严重影响企业的正常运营和用户的工作，对企业和个人造成重大的经济损失。2)信息泄漏：企业网络及个人的主机上有许多重要信息和资料，有些保密级别很高，不能对外公开。对于个人来说，个人隐私的泄漏会给人们带来许多不必要的麻烦，如各种电话、短信、垃圾邮件的骚扰等，严重时会对人们的生活造成极大的影响。此外，个人网上银行账户的泄漏会对个人的财产造成重大的损失，某些网络账号和密码的被窃，会被入侵者用来做一些违背用户个人意愿的事情，有时甚至会是违法的事情。对于企业来说，商场如战场，而商机往往由及时可靠的信息获取来决定，许多公司企业的网络中往往会存在一些涉及商业机密的重要文件，这些文件往往成为一些商业计划成败的关键，一旦泄漏，对公司企业的打击是沉重的。信息泄漏的危害很大，甚至会威胁到政府和国家的安全。政府的重要文件和国家机密作为一个国家最为重要的信息，往往决定着国家的重大决策，把握着国家的经济命脉，影响范围十分广泛，涉及国家金融、经济、军事、安全的各个方面，现在政府都建立了自己的网站，方便政府的办公，但是同时也增加了这些重要的文件及机密泄漏的风险。所以信息泄漏是网络安全领域的重要问题，危害十分严重。3)数据损毁：网络中最重要的资源就是数据，网络提供的一切服务以及在网络中传输的任何信息，其实就是一堆数据。数据损毁主要是对数据完整性的破坏，包括数据的损坏和丢失，导致数据损毁的原因是多方面的，有人为的因素，如入侵者的删除和蓄意破坏用户个人的错误操作，误删或没有保存。也有来自系统本身的原因，如系统崩溃导致数据损毁，存储介质故障导致数据损毁。还有一些外来的因素，如突然断电造成的数据损毁。其中，因为入侵行为而导致的数据损毁是最为常见而又很难防范的。在没有很好的数据保护管理机制的情况下，重要数据的损毁对企业和个人往往是灾难性的，很多人面对重要数据的丢失往往是欲哭无泪，诉求无门。4)非法控制：入侵者在成功入侵某些机关、企业或个人的主机后，往往会在被入侵主机中植入木马，留下后门，方便其对主机进行长期的非法控制。在这种情况下，除了可能出现前面提到的三种情况外，还可能会出现一些意想不到的严重后果，造成灾难性的危害。2005年，美国海军航空中心的电脑被黑客入侵，通过对被入侵电脑的控制，该黑客甚至可以操控军用导弹的发射，一场人为的灾难就因为网络系统的安全问题而掌握在入侵者的一念之间，其后果多么可怕。网络和计算机技术的进步，在给人类的生活带来极大便利的同时，也为黑和恶意攻击者提供了入侵的手段和条件。同时，正是由于当前的网络规模不断大，所涉及的用户范围不断增加，一旦发生有组织，大规模的网络入侵事件，所造成的影响也就越恶劣，据国际网络安全专家分析，目前世界范围内的网络安全防护仍然处于薄弱状态：百分之九十五的网络攻击没有被检测到，而所检测到的网络攻击也只有百分之十五被报告；中国国内80的网站存在安全隐患，20的网站有严重安全问题。这无疑给网络安全技术提出了新的挑战。1.2 国内外研究现状入侵检测的研究可追溯到20世纪80年代，早在1980年，anderson等人就给出了入侵检测的概念，并提出利用审计信息来跟踪用户可疑行为的入侵检测方法。随着网络的兴起，网络的安全问题日益严重，入侵检测得到了重视，广泛的发展起来。目前国内外关于信息安全的国际会议已有上百个，比较有影响的有ifip/sec，acm ccs，isc，icics，cis，cncc，ndss等。acm，springer，elsevier，ieee等国际知名组织和出版商每年都会刊登大量的相关文章，出版相应的论文集。其中，国际信息处理联合会ifip召开的世界计算机大会(ifip/wcc)下面的安全会议(ifip/sec)是信息安全领域的国际顶级学术会议，因其引领技术潮流而备受各国信息安全界的关注，而入侵检测一直是ifip/sec会的主要议题之一。ifip/sec主要由ifip信息安全专委会tc11负责，第一届ifip/sec信息安全国际会议于1983年5月在瑞典斯德哥尔摩召开，每年召开一次，到2009年已召开24届。需要特别提到的是2000年世界计算机大会ifip/wcc2000在北京举行，江泽民主席在会议开幕式上致词，国内著名信息安全专家卿斯汉为ifip/sec2000程序委员会主席，充分说明信息安全问题在中国已经受到了足够的关注和重视，相关的研究已经与国际社会接轨，并得到国际社会的认可。国际信息与通信安全会议icics是国内信息安全领域的顶级会议，也是国际公认的第一流国际会议，由中科院软件研究所主办。icics为国内外信息安全学者与专家齐聚一堂，探讨国际信息安全前沿技术提供了难得的机会，对促进国内外的学术交流，促进我国信息安全学科的发展做出了重要的贡献。国外从事信息安全入侵检测研究的主要机构有：乔治敦大学，普渡大学coast实验室，sri公司计算机科学实验室(sri/cls )，haystack实验室，加州大学戴维斯分校，加州大学圣塔芭芭拉分校，洛斯阿拉莫斯国家实验室、哥伦比亚大学、新墨西哥大学等。其中，sri/csl、普渡大学、加州大学戴维斯分校、洛斯阿拉莫斯国家实验室、哥伦比亚大学、新墨西哥大学等机构在这些方面的研究代表了当前的最高水平。国内从事信息安全入侵检测研究的主要机构有：中科院，国防科技大学、哈尔滨工业大学、上海交通大学、北京邮电大学等。近年来，以信息安全专家卿斯汉、方滨兴、冯登国、李建华、周仲义、陈恭亮、唐正军为代表的众多国内信息安全研究人员在入侵检测领域取得了丰硕的研究成果，发表了大量的文献和专著。卿斯汉等人定期会撰写介绍入侵检测研究现状的文章，发表在国内权威期刊上，这对于国内信息安全研究人员了解相关领域的研究动态起了很好的帮助作用。近几年，随着人们对信息安全的认识不断提升，信息安全问题越来越引起人们的重视，入侵检测系统的市场更是飞速发展，许多公司投入到这一领域，推出了自己的产品。国外的企业及其产品有：sourcefire公司(现被barracuda networks inc收购)的snort， iss(internet security system)公司的realsecure， cisco公司的secure ids(前身为netranger )，axent technologies公司(现被symantec收购)的netprowler/intruder alert， ca公司的sessionwall-3/etrust intrusion detection， nfr公司的nid， nai公司的c如ercop monitor等。国内在入侵检测研究方面虽然起步较晚，但发展很快，目前在公安部取得销售许可证的安全厂商已有30余家，主要的企业及其产品有：启明星辰(venustech)的天闻、北方计算中心的nids detector、远东科技的黑客煞星、金诺网安的kids、绿盟的冰之眼ids等。经过二十来年的研究与发展，入侵检测已经从最初简单的基于审计信息的单机检测模式，发展到以网络为平台，研究内容丰富，涉及领域广泛的一门综合性学科。网络入侵检测各领域研究现状如下：1) ids体系结构研究ids体系结构研究的内容是系统各功能部件以及部件之间的联系，它定义了ids的各个功能模块以及模块间的关系，决定了ids的功能、性能以及适用的场合。(1)集中式：这种结构的工ds可能有多个分布于不同主机上的审计程序，但只有一个中央入侵检测服务器。审计程序把当地收集到的数据发送给中央服务器进行分析处理。这种结构的ids无法适应大规模网络环境，在可伸缩性、可配置性方面存在致命缺陷：随着网络规模的增加，导致网络性能大大降低。系统安全性脆弱，一旦中央服务器出现故障，整个系统就会陷入瘫痪；根据各个主机不同需求配置服务器也非常复杂。(2)等级式：为了克服集中的缺点，等级式ids被提出来。它用来监控大型网络，定义了若干个分等级的监控区，每个ids负责一个区，每一级ids只负责所监控区的分析，然后将当地的分析结果传送给上一级ids。这种结构仍存在两个问题：当网络拓扑结构改变时，区域分析结果的汇总机制也需要做相应的调整；这种结构的ids最后还是要把各地收集到的结果传送到最高级的检测服务器进行全局分析，所以系统的安全性并没有实质性的改进。(3)分布式：将中央检测服务器的任务分配给多个基于主机的ids，这些ids不分等级，各司其职，负责监控当地主机的某些活动。所以，其可伸缩性、安全性都得到了显著的提高，但维护成本却高了很多，并且增加了所监控主机的工作负荷，如通信机制、审计开销、踪迹分析等。2)网络攻击模型研究网络攻击模型的建立对于了解网络攻击原理，分析网络入侵过程，评估网络安全程度有着重要的意义，对于ids的部署有着重要的指导作用。网络攻击模型的建模方法主要有四种，分别是攻击树、攻击网、状态转移图和攻击图。其中攻击图的建模方法最为有效，也是目前研究的重点。早期，攻击图由red teams通过对系统的脆弱性分析，手动生成，当网络规模较大时，这种方式效率很低。目前，网络攻击图自动生成的研究主要有两种方法：基于模型检测技术的方法和基于图论的方法。3)入侵行为特征提取方法研究数据源是入侵检测系统的重要模块，为入侵检测提供原始数据，面对网络系统中大量的数据信息，有效的提取入侵行为的特征对于入侵检测的检测率、可靠性及实时性都有着重要的影响。网络系统中的数据源有两种：一种是主机系统中的审计数据、安全日志、行为记录等信息；一种是网络协议数据包。特征提取的目的就是对这些原始数据进行分析，提取攻击特征，通过适当的编码将其加入入侵模式库。一个特征应该是一个数据独有的特性，提取出来的特征应该能够准确、完整的描述该数据或行为，从而为判断入侵提供依据。提取入侵行为的特征，就是对入侵行为进行形式化的描述，对其进行准确地分类。目前，网络攻击分类方法主要有四种：基于经验术语的分类方法、基于单一属性的分类方法、基于多属性的分类方法、基于应用的分类方法。其中基于多属性的攻击分类方法将攻击看成是一个动态的过程，并将其分解成相互关联的多个独立的阶段，再对每个阶段的属性进行独立的描述，具有很好的扩展性，能够全面地、准确地表述攻击过程，得到了广泛的研究和应用。近几年，基于主成分分析(principal component analysis， pca)和独立成分分析( independent component analysis， ica)的特征提取方法成为研究的热点。pca技术可以将数据从高维数据空间变换到低维特征空间，能够保留属性中那些最重要的属性，从而更精确的描述入侵行为。ica也是一种用于数据特征提取的线性变换技术，与pca的主要区别是：pca分析仅利用数据的二阶统计信息，所得的数据特征彼此正交；而ica分析利用了数据的高阶统计信息，强调的是数据特征之间的独立性。4)入侵检测方法研究入侵检测方法可以分为两类：异常入侵检测(anomaly detection)、误用入侵检测(misuse detection)和混合型入侵检测(hybrid detection)。(1)异常(anomaly)ids：异常检测也叫基于行为的检测，是利用统计的方法来检测系统的异常行为。异常检测假设：任何对系统的入侵和误操作都会导致系统异常。它首先建立统计概率模型，明确所观察对象的正常情况，然后决定在何种程度上将一个行为标为“异常”，再通过检测系统的行为或使用情况的变化来完成对“异常”行为的检测。异常检测只能识别出那些与正常过程有较大偏差的行为，由于对各种网络环境的适应性不强，且缺乏精确的判定标准，异常检测经常会出现误报的现象。(2)误用的(misuse)ids：误用检测也叫基于知识的检测，是指运用已知的攻击方法，根据已定义好的入侵模式，通过判断这些入侵模式是否出现来检测入侵。这种方法由于依据具体特征库进行判断，所以对已知的攻击类型非常有效；并且因为检测结果有明确的参照，也为系统管理员做出相应措施提供了方便。但这种方法对攻击的变种和新的攻击几乎无能为力；同时由于对具体系统的依赖性太强，系统移植性不好，维护工作量大，并且检测范围受已知知识的局限。(3)混合型(hybrid)ids：由于基于误用的ids和基于异常的ids各有其优越性和不足，因而在许多ids中同时采用了这两种不同的入侵检测方法，这种ids称为混合型ids。混合型ids中异常检测器和误用检测器之间应该是互相约束的。由于异常检测难以克服其局限性，因而许多商用ids基本上采用的都用基于误用的入侵检测方法。许多科研人员正在努力研究能应用于实际入侵检测系统的异常检测器。 异常入侵检测能够识别新的入侵行为，具有较低的漏警率，但是却有很高的误警率。而误用入侵检测无法识别新的入侵行为，只能识别那些在其规则库中存在的入侵行为，具有较高的漏警率，但是却有很低的误警率。因此，异常入侵检测方法与误用入侵检测方法在功能上是互补的。考虑到这些特性，目前大多数入侵检测系统都同时采用了这两种方法，即混合型检测方法，主要有：基于规范的检测方法，基于生物免疫的检测方法，基于伪装的检测方法，基于入侵报警的关联检测方法。混合型入侵检测方法综合了异常和误用检测的优点，是目前入侵检测研究的重点，其设计目标是提高入侵检测的可靠性、准确性，降低检测的误警率和漏警率。5)ids响应机制研究ids响应机制是入侵检测的重要功能模块。响应机制根据入侵检测的结果，采取必要和适当的动作，阻止进一步的入侵行为或恢复受损害的系统，同时对数据源和入侵检测的分析引擎产生影响。针对数据源，响应机制可以要求数据源提供更为详细的信息、调整监视策略、改变收集的数据类型；针对分析引擎，可以更改检测规则、调整系统运行参数等。(1)被动响应ids：系统检测到入侵后，仅仅记录所检测到的异常活动信息，并将警报信息报告给系统管理员，由系统管理员决定接下来应该采取什么措施。在早期的入侵检测系统中，都是采取被动响应方式。(2)主动响应ids：系统检测到入侵后，采取某种响应手段或措施阻塞攻击的进程或者改变受攻击的网络环境配置，以尽可能减小危害或阻止入侵。主动响应采取的措施有：追踪入侵、切断攻击发起主机或网络的连接、反向攻击入侵主机等，更为先进的主动响应手段包括自动修补目标系统的安全漏洞、动态更改检测系统的检测规则集合等方法，甚至包括与“蜜罐”(honeyport)系统密切合作，积极收集攻击行为的信息和入侵证据等。在实际应用中响应机制最重要的要求是在系统被入侵后能及时进行响应，如果响应不及时，系统可能已经遭到严重的破坏，入侵检测将失去意义，这就是实时响应的要求。传统的响应方法是系统自动根据事先定制的规则进行反应，由于新的入侵手段的出现以及规则库的相对低智能，这种方法很难实现准确无误的响应。代理技术的发展为实时响应提供了支持，基于分布式智能代理技术的实时响应机制是当前研究的重点。分布式智能代理技术是当前远程通信发展最快的领域之一，它是指在分布式环境中，一组不同的代理彼此协作，互相通信，使各代理能够做出最理想的决策。它具有高度的智能化能够独立做出各种决策来检测入侵并消除负面影响。基于分布式智能代理技术的实时响应机制与入侵检测系统的体系结构研究休戚相关，采用的是主体型体系结构，需要有效设计系统中的各个功能模块及它们之间的通信协议。6) ids标准化随着网络规模的扩大，网络入侵方式、类型及特征日趋多样化，入侵活动变得复杂而又难以捉摸，某些入侵行为单靠单一的入侵检测系统无法检测出来，需要多种安全措施协同工作才能有效保障网络系统的安全，这就要求各安全系统之间能够交换信息，相互协作，形成一个整体有效的安全保障系统，这就是入侵检测系统的标准化制定。自1997年起，美国国防高级研究计划署(darpa)和互联网工程任务组(ietf)的入侵检测工作组(idwg)发起制定了一系列建议草案，从体系结构、api、通信机制、语言格式等方面规范了ids的标准。目前入侵检测标准化工作取得的成果有：darpa提出的公共入侵检测框架(common intrusion detection framework， cidf )和idwg制定的数据格式和交换规程。cidf的规格文档主要包括4部分：体系结构、ids通信机制、通用入侵描述语言( common intrusion specification language，cisl )、应用编程接口api。idwg定义了数据格式和交换规程，用于入侵检测与响应系统之间与需要交互的管理系统之间的信息共享，包括三部分：入侵检测消息交换格式(idmef )、入侵检测交换协议(idxp)、隧道轮廓(tunnel profile )。入侵检测系统的标准化工作提高了ids产品、组件与其它安全产品之间的互操作性和互用性，使得多种安全技术及其产品能够协同工作，共同保障系统安全。1.3 本文的主要工作 入侵检测在网络安全防护中发挥着重要的作用，具有重大的研究意义。如上所述，入侵检测研究的领域很多，本文对其中若干子课题作了研究，分别是网络攻击模型研究、入侵检测方法研究以及ids体系结构研究。本文所作的主要工作如下：1)对入侵检测模式匹配算法作了研究，提出了一种改进的ac-bm多模式匹配算法。ac-bm算法在误用入侵检测基于规则的模式匹配中得到广泛的应用，然而在实际的应用中还存在以下问题：对短模式处理效果差；不支持多用户等 。本文分析了这些问题存在的原因，并对算法作了改进：首先，将短模式与长模式分开进行处理，避免了短模式对长模式的影响，并通过直接计算哈希值的方法来对短模式串进行匹配，提高了短模式串的匹配速度；最后，采用地址过滤的方法避免了链表的遍历，同时节省了原有算法中用于计算前缀哈希值的时耗；其次，为进一步提高了算法的匹配速度，设计mrrt规约树能支持多线程归约和在线动态调整，特别适用于大规模多模式匹配。改进后的ac-bm算法具有更好的性能，提高了入侵检测中模式匹配的速度。2)基于启发式搜索的特征选择，在进行模式分类时，只有特征向量中包含足够的类别信息，分类器才能实现正确分类，而特征中是否包含足够的类别信息却很难确定，为了提高识别率，我们总是最大限度地提取特征信息，结果不仅使特征维数增大，而且其中可能存在较大的相关性和兀余性，这给特征的进一步处理和入侵检测模型的实现都带来很大的困难。因而，需要在不降低(或尽量不降低)检测准确度的前提下，采用一定的算法，尽量降低特征空间的维数，这就是特征选择。2)对ids中的svm分类器作了研究，提出了一种基于超球面边界样本点筛选算法的svm分类器。在异常入侵检测中svm分类器可用于对未知入侵进行检测，而svm分类器的构造目前主要受到两个方面的困扰：一是当训练样本规模较大时，分类器的训练时间过长；二是离群点的存在严重影响分类器的泛化能力。为了消除离群点并精简训练样本集，考虑到分类器的划分结果主要由位于两类样本点边界处占样本数少部分的支持向量决定，本文采用了以下方法对样本集进行处理：首先采用knn算法对离群点进行消除；然后构造以样本点为球心的超球面，通过判断超球面内样本点类别的异同来判断该作为球心的样本点是否位于边界，从而提取边界样本点。实验结果表明通过选择适当的临近点个数及超球面半径，能够有效的提取边界样本点，达到消除离群点和精简训练样本集的目的，而且精简后的样本集不会影响分类器的泛化能力。该分类器在异常入侵检测中表现出较好的性能。3)提出了一种基于启发式规则的混合入侵检测系统模型。模型专门设计了混合入侵检测引擎，结合误用入侵检测和异常入侵检测技术，降低了入侵检测的误警率和漏警率。整个模型具有很好的可扩展性、可靠性、稳定性和可用性，能够适用于大规模的高速的网络环境。1.4 本文的组织结构本文的章节安排如下：第一章，绪论。详细分析了论文的研究背景、意义及技术难点，给出了论文的主要研究工作和创新点。第二章，入侵检测技术研究综述。介绍了入侵检测的概念和通用模型以及入侵检测的技术分类，系统结构分析，以及使用的规则描述语言和实验数据等内容。第三章，误用入侵检测中的模式识别算法研究。介绍了误用入侵检测模式匹配问题，重点分析介绍了ac-bm多模式匹配算法，提出了一种改进的ac-bm算法iac-bm，比较分析了两种算法入侵检测的性能。第四章，基于启发式搜索的特征选择。介绍我们提出的基于变量相似性的特征选择算法。第五章，异常入侵检测中的svm分类器研究。介绍了异常入侵检测分类问题，对传统的svm分类器作了介绍，针对传统s vm分类器存在的主要问题，提出了一种基于超球面边界样本点筛选算法的svm分类器(inn-svm)，比较分析了inn-svm分类器与其它svm分类器对入侵检测的性能。第六章，基于启发式规则的混合入侵检测模型。介绍了ids系统体系结构的发展，提出了一种基于启发式规则的混合入侵检测模型，把连接上下行数据分别采用误用检测技术和异常检测技术，并对检测到得结果通过混合分析引擎拟合，对模型的性能作了测试。第七章，总结与展望。对本文的工作进行总结，并对进一步的研究工作进行展望。104第二章 入侵检测技术研究综述 第二章 入侵检测技术研究综述本章综述了入侵检测技术的发展历程，对现有的入侵检测技术进行了分类，介绍了入侵检测技术的评价指标，并以典型的入侵检测技术为例，分别介绍其技术要点，指出了它们的优缺点。最后介绍了入侵检测系统的体系结构、规则描述语言和实验数据等。2.1 检测技术的发展史早在20世纪80年代就已经展开了对入侵检测技术的研究，发展至今已有近30年的历程。根据所检测数据的来源不同，入侵检测技术经历了基于主机的入侵检测技术、基于网络的入侵检测技术和分布式入侵检测技术三个发展时期。1980年，james p.anderson先生在他的开山之作computer security threat monitoring and surveiliance冲首次提出了入侵检测的概念，由此开始了对入侵检测技术的研究。在这篇文章中，他提到了审计数据对于入侵检测的重要性，通过监视和存储相关的审计数据信息，建立用户审计信息模型，再根据这些统计模型发现系统当中存在的异常行为。这是首次对入侵的检测提出原创性的解决方法，也是日后异常检测方法的原型。1987年，dorothy denning博士提出了ids的抽象模型，模型主要由主体( subjects )、对象(objects )、审计记录(audit records )、行为轮廓(profiles )、异常记录(anomaly records)及活动规则(activity rules)组成，这是一个入侵检测系统的通用框架。在这篇文章中将入侵检测技术与加密、认证、访问控制等安全技术相比，肯定了入侵检测对于保证系统安全的重要作用。这篇文献可以看成是在入侵检测技术的发展历史中具有里程碑意义的重要论著。1988年，denning博士提出的模型由sri international公司实现，称之为入侵检测专家系统(intrusion detection expert system， ides。该系统可以用于检测主机系统上发生的入侵行为，是一个与系统平台无关的专家检测系统。这也是日后的误用检测方法的系统原型。后来入侵检测的原型系统被陆续开发，如下一代入侵检测系统( next-generation intrusion detection system， nides )、haystack系统等。从上面的描述可知，在入侵检测技术发展的初期，所检测的数据都是主机系统的待审计数据，然而随着网络技术的发展和网络应用的普及，针对网络的攻击事件不断发生，对入侵检测技术的研究也随之进入了第二阶段，即网络入侵检测技术。1990年，由l.t.heberlein开发了第一个网络入侵检测系统网络安全监视器( network security monitor，nsm )，通过在共享网段上对通信数据的监听和采集，检测所有数据包的包头信息，分析可能出现的攻击现象，从而达到对整个网段的入侵检测和保护。网络入侵检测技术通过分析数据包包头信息、网络流量和网络连接的各个特征属性来检测网络中存在的入侵行为，区分正常网络应用和恶意攻击。这种方法扩展了入侵检测技术的应用范围，同时由于采用的是监听的方式获取待检测数据，没有增加网络负担，也不会占用网络上其他主机的资源。然而不论是基于主机的入侵检测系统还是基于网络的入侵检测系统，早期的结构都是集中式的，数据采集模块和数据分析模块都位于同一台机器上，这和网络逐渐走向分布式、异构性的趋势并不符合。而且随着分布式网络攻击的出现，分布式入侵检测技术也应运而生。 1991年提出的分布式入侵检测系统(distributed intrusion detection system，dids)是第一个分布式的系统，它将主机入侵检测和网络入侵检测结合，能适应异构环境。该系统由三个部分组成：主机管理单元、网络管理单元和中央管理单元。该系统利用位于不同地点的数据采集单元收集待检测数据，进行统一分析后，判断被保护系统是否受到攻击。虽然dids存在很多不足之处，但它毕竟是对分布式入侵检测技术研究的有益尝试。 为了克服dids存在系统瓶颈的问题，1996年提出的合作式安全管理器(cooperating security manager，csm ) 通过运行于每台主机之上的csm单元合作检测入侵行为。每个csm单元都由本地入侵检测单元、安全管理器、图形用户界面、入侵处理单元、命令监视器和通信处理器组成。csm实现了分布采集，分布决策的思想。同年提出的基于图的入侵检测系统(graph base intrusion detection system，grids) 则是考虑到入侵检测系统扩展性不强的问题，针对大规模网络的协同攻击，提出了使用图对网络行为进行建模的方法。随着网络规模的不断扩大和攻击行为的协同性和分布式的趋势，入侵检测技术必然向着分布式检测方向发展。2.2 检测技术的分类根据采用检测方法的不同，现有的入侵检测技术从总体上可以分为三类：误用检测，异常检测和混合检测。误用检测(misuse detection)的思想最早由dorothy denning博士提出，通过建立专家系统和既定规则，查找活动中的已知攻击，这就是误用检测方法的原型。误用检测判断入侵的典型过程是根据已知的攻击建立检测模型，将待检测数据与模型进行比较，如果能够匹配上检测模型，待检测数据将被认为是攻击。典型的建立误用检测模型的方法包括专家系统，状态转移图等。从误用检测技术的思想来看，这种技术能够很好地发现跟己知攻击行为具有相同特征的攻击，检测已知攻击的正确率很高，然而存在的问题是不能发现新的攻击，甚至不能发现同一种攻击的变种，因此存在漏报的可能。同时维护规则的代价比较高，灵活性和自适应性较差。异常检测(anomaly detection)的概念在james anderson早期的文章中就有体现，他提出可以根据用户行为的一些统计信息来判定系统的不正常使用模式，从而发现“伪装者”，这正是异常检测的基本思想。在假定正常行为和攻击行为存在本质差别的情况下，通过分析正常连接的统计特性建立检测模型，将待检测行为与统计模型进行比较，如果能够匹配上，则判定该行为是正常行为。典型的建立异常检测模型的方法包括闭值分析法、统计分析法、神经网络等。根据异常检测的实现思路，可见这种技术有能力发现未知攻击，不需要实时维护规则，扩展性和自适应性好。但是这种技术普遍存在误报率高的缺点。混合入侵检测技术则是综合了误用检测和异常检测的优点而提出的，同时分析异常模型和正常模型从而做出更为准确的决策，典型的方法有基于规范的检测方法，基于生物免疫的检测方法等。2.3 检测技术的评价指标为了评估检测技术的优劣，需要一系列的定量评价指标。主要的评价指标包括分类正确率、漏警率、误警率、检测时延和学习能力等。分类正确率是指被正确分类的测试样本个数与全体测试样本个数的比值： (2.1)这是一个评价入侵检测技术对于正常样本和攻击样本区分能力的总体评价指标，从一定程度上反应了入侵检测技术的总体检测能力，我们期望分类正确率越高越好。漏警率是指攻击样本中被误认为是正常样本的个数与全体攻击样本个数的比值： (2.2)这个值反应了入侵检测技术对于攻击的识别能力，如果检测样本中含有大量训练样本中所没有的新攻击，这个值也从一定程度上反应了入侵检测技术对未知攻击的识别能力，表明了入侵检测技术的扩展性和自适应性，我们期望漏警率越低越好。误警率是指正常样本中被认为是攻击样本的个数与全体正常样本个数的比值： (2.3)这个值反应了入侵检测技术对于正常样本的识别能力。我们期望误警率越低越好，如果误警率很高，那么真正有危险的告警可能会被淹没在无用的误警当中，从而导致真正的攻击得以成功实施。前面三个指标都是从检测的正确性方面衡量入侵检测技术的优劣，而检测时延则是从入侵检测技术的检测效率方面衡量检测技术的优劣。检测时延是指入侵检测技术从开始检测到判定检测样本为攻击或正常的时间消耗。检测时延在一定程度上反应了检测技术的实时性。我们期望检测时延越小越好，这意味着单位时间内可以处理更多的待检测数据，可以更及时地发现攻击，从而为制订安全策略赢得宝贵的时间。学习能力是指入侵检测技术能够从实际应用中学习到新模式的能力，从而能够自适应地对检测模型进行更新和调整，适应网络环境的变化。2.4 误用检测技术误用检测分析系统活动行为，寻找与预定义入侵模式匹配的事件或者事件集，从而发现入侵行为。预定义的入侵模式一般称为入侵特征，因此误用检测又称作基于特征的检测。2.4.1 基于规则匹配的检测技术基于规则匹配的检测技术最为典型的是专家系统。专家的经验知识从逻辑上可以表示为产生式规则、层次树和状态转移图等形式。基于规则的入侵检测技术多应用于早期的入侵检测系统，如基于产生式规则的专家系统工具集(production-based expert system toolset，p-best)是采用产生式规则的入侵检测系统，加利福尼亚(california)大学桑塔芭芭拉(santa barbara)分校研究开发的状态转移分析工具(state transition analysis tool，stat)是基于状态转移图的入侵检测系统。基于规则匹配的检测技术具有误报少、准确率高的优点。但是它只能发现已知攻击，难以准确识别同一种攻击的变种，对未知攻击不具备检测的能力。同时规则库的建立与维护代价高，且容易出现冗余、矛盾、蕴含等问题。因此运用机器学习技术使知识库的建造智能化是未来的发展趋势。2.4.2 基于条件概率的检测技术条件概率误用入侵检测方法将入侵方式对应于一个事件序列，然后通过观测到事件发生情况来推测入侵出现。这种方法的依据是外部事件序列，根据贝叶斯定理进行推理检测入侵。令es (event sequence)表示事件序列，事件出现的概率为p(es)，先验概率为p(i) ，后验概率为p(es | i)，则有 (2.4)通常网络安全专家可以给出先验概率p(i)，对入侵报告数据进行统计处理得出和，于是可以计算出： (2.5)故可以通过事件序列的观测，从而推算出。基于条件概率误用入侵检测方法是在概率理论基础上的一个普遍的方法，它是对贝叶斯方法的改进，其缺点就是先验概率难以给出，而且事件的独立性难以满足。2.4.3 基于状态转移分析的检测技术 状态转移分析方法把入侵表示为一系列被监控的系统状态转移，每一个状态对应一个系统行为，每个状态都必须满足特定的布尔表达式。状态间用有向弧连接，当弧上的特征行为发生时，状态发生转移。如果到达危险状态，表示当前可能正在发生入侵事件。ilgun等提出的stat就采用状态转移分析方法，并在unix平台上实现了一个原型系统ustat。攻击模式只能说明事件序列，因此不能说明更复杂的事件。而且，除了通过植入模型的原始的谓词，没有通用的方法来排除攻击模式部分匹配。2.4.4 基于模型推理误用的检测技术基于模型推理误用入侵检测方法是通过建立误用证据模型，根据证据推理来作出误用发生判断结论。garvey和lunt首先提出这种方法。其方法要点是建立入侵场景数据库、预警器和规划者。每个入侵场景表示成一个入侵行为序列，在任意的给定时刻，入侵场景的子集都被用来推断系统是否遭受入侵。入侵检测系统根据当前的活动模型，预警器产生下一步行为，用来在审计跟踪时作验证使用。规划者负责判断假设的行为是如何反映在审计跟踪数据上，以及将假设的行为变成与系统相关的审计跟踪进行匹配。由于行为到活动的映射必须很容易地在审计跟踪中识别出，故的值必须比较大。因为某些入侵场景的证据累积，故其它的证据就下降，活动模型组成被更新。同时系统中嵌入证据推理分析功能，这样就允许更新活动模型列表中的攻击场景出现的概率，根据攻击场景概率的大小进行推断检测入侵。这种方法的优点在于具有坚实的数据未确定推理理论作为基础。对于专家系统方法不容易处理未确定的中间结论，可以用模型证据推理解决。而且可以减少审计数据量。然而，增加了创建每一种入侵检测模型的开销是这种方法的缺点。2.5 异常检测技术异常检测根据系统的异常行为或者对资源的异常存取来判断是否发生入侵事件，异常检测需要建立一个阀值来区分正常事件与入侵事件。通常基于异常的ids的检测是针对某个特定的对象，这个对象可以是某个人也可以是某个程序。首先监视这个对象的行为特征，以便产生这个对象的行为概貌，并通过其后的监视对比学习到的行为概貌检测出这个对象的异常行为，产生告警并做出相应的反应。目前应用于基于异常的入侵检测方式主要有：统计方法、贝叶斯推理、神经网络、遗传算法、数据挖掘、免疫学、支持向量机等。2.5.1 基于统计方法的检测技术 统计方法是异常检测较多采用的分析方法。正常的操作存在内在的统计规律，ids检测主体(如用户)的活动并生成相应的活动特征(profile)。活动特征含有若干指标(measure)值，每个指标值代表系统安全性某个方面的阀值，这些指标值根据经验或者一段时间内的统计得到。每一个活动特征保存记录主体当前行为，并定时地将当前的活动特征与存储的活动特征合并。通过比较当前的活动特征与己存储的活动特征来判断异常行为，从而检测出入侵活动。令表示指标的阀值，从某段时间的审计记录中提取当前特征表。如果比大，则表示i指标的取值偏离较大，系统行为可能异常。另外，也可以使用各指标阀值的带权平方和( ，其中为的权值)作为比较标准。统计异常检测方法的有利之处是所应用的技术方法在统计学得到很好的研究。例如位于标准方差两侧的数据可认为是异常的。统计入侵检测系统有以下几点不利：1)统计测量对事件的发生的次序不敏感，单纯的统计入侵检测系统可能不会发觉事件当中相互依次相