论文：浅谈入侵检测技术.doc

浅谈入侵检测技术目录1 引言11.1 入侵检测技术的提出11.2 网络入侵检测的研究史21.2.1 以Denning模型为基础的早期技术31.2.2中期：以统计学理论与专家系统相结合31.2.3基于网络的NIDS为主流的入侵检测41.3 本课题研究的途径与意义52 入侵检测技术原理62.1 入侵检测技术第一步信息收集62.1.1 网络入侵检测技术模块方式72.1.2 主机入侵检测技术模块方式72.1.3 信息来源的四个方面72.2 入侵检测技术的第二步信号分析92.2.1 模式匹配92.2.2 统计分析102.2.3 完整性分析103 入侵检测技术功能概要114 入侵检测技术分析124.1 入侵分析按其检测技术规则分类124.1.1基于特征的检测技术规则124.1.2基于统计的检测技术规则124.2 一些新的分析技术134.2.1 统计学方法134.2.2 入侵检测技术的软计算方法144.3.3 基于专家系统的入侵检测技术方法145 入侵检测技术发展方向155.1分布式入侵检测技术与通用入侵检测技术架构155.2应用层入侵检测技术155.3智能的入侵检测技术155.4入侵检测技术的评测方法165.5网络安全技术相结合166 建立数据分析模型176.1测试数据的结构176.2数据中出现的攻击类型206.2.1攻击（Attacks）206.2.2发现训练集中的攻击类型216.2.3其他主流的攻击类型22结论25致谢26参考文献271 引 言聚类是模式识别研究中非常有用的一类技术。用聚类算法的异常检测技术就是一种无监督的异常检测技术技术，这种方法可以在未标记的数据上进行，它将相似的数据划分到同一个聚类中，而将不相似的数据划分到不同的聚类，并为这些聚类加以标记表明它们是正常还是异常，然后将网络数据划分到各个聚类中，根据聚类的标记来判断网络数据是否异常。本课题是网络入侵检测技术的研究，主要介绍模式识别技术中两种聚类算法，K-means算法和迭代最优化算法，并阐述此算法在入侵检测技术技术中的应用原理，接着分析这两种算法具体应用时带来的利弊，最后针对算法的优缺点提出自己改进的算法，并对此算法进行分析，可以说这种算法是有监督和无监督方法的结合，是K-means算法和迭代最优化算法的折中，是一种较理想的算法。通过研究本课题，可以了解入侵检测技术技术的发展历程，及国内外研究水平的差距，熟悉各种入侵检测技术原理方法的异同，以便今后对某种检测技术方法作进一步的改进时能够迅速切入要点；在对入侵检测技术技术研究的同时，认真学习了模式识别这门课程，这是一门交叉学科，模式识别已经在卫星航空图片解释、工业产品检测技术、字符识别、语音识别、指纹识别、医学图像分析等许多方面得到了成功的应用，但所有这些应用都是和问题的性质密不可分的，学习过程中接触了许多新理论和新方法，其中包括数据挖掘，统计学理论和支持向量机等，极大的拓展了自己的知识面，这所带来的收获已经不仅仅停留在对入侵检测技术技术研究这个层面。2 入侵检测技术的发展史2.1 入侵检测技术的提出 随着Internet高速发展，个人、企业以及政府部门越来越多地依靠网络传递信息, 然而网络的开放性与共享性容易使它受到外界的攻击与破坏,信息的安全保密性受到严重影响。网络安全问题已成为世界各国政府、企业及广大网络用户最关心的问题之一。在计算机上处理业务已由基于单机的数学运算、文件处理，基于简单连结的内部网络的内部业务处理、办公自动化等发展到基于企业复杂的内部网、企业外部网、全球互联网的企业级计算机处理系统和世界范围内的信息共享和业务处理。在信息处理能力提高的同时，系统的连结能力也在不断的提高。但在连结信息能力、流通能力提高的同时，基于网络连接的安全问题也日益突出，黑客攻击日益猖獗，防范问题日趋严峻： 具Warroon Research的调查，1997年世界排名前一千的公司几乎都曾被黑客闯入。 据美国FBI统计，美国每年因网络安全造成的损失高达75亿美元。 Ernst和Young报告，由于信息安全被窃或滥用，几乎80%的大型企业遭受损失。 在最近一次黑客大规模的攻击行动中，雅虎网站的网络停止运行3小时，这令它损失了几百万美金的交易。而据统计在这整个行动中美国经济共损失了十多亿美金。由于业界人心惶惶，亚马逊(A)、AOL、雅虎(Yahoo!)、eBay的股价均告下挫，以科技股为主的纳斯达克指数(Nasdaq)打破过去连续三天创下新高的升势，下挫了六十三点，杜琼斯工业平均指数周三收市时也跌了二百五十八点。遇袭的网站包括雅虎、亚马逊和B、MSN.com、网上拍卖行eBay以及新闻网站CNN.com，估计这些袭击把Internet交通拖慢了百分二十。目前我国网站所受到黑客的攻击，还不能与美国的情况相提并论，因为我们在用户数、用户规模上还都处在很初级的阶段，但以下事实也不能不让我们深思： 1993年底，中科院高能所就发现有黑客侵入现象，某用户的权限被升级为超级权限。当系统管理员跟踪时，被其报复。1994年，美国一位14岁的小孩通过互联网闯入中科院网络中心和清华的主机，并向我方系统管理员提出警告。 1996年，高能所再次遭到黑客入侵，私自在高能所主机上建立了几十个帐户，经追踪发现是国内某拨号上网的用户。同期，国内某ISP发现黑客侵入其主服务器并删改其帐号管理文件，造成数百人无法正常使用。 进入1998年，黑客入侵活动日益猖獗，国内各大网络几乎都不同程度地遭到黑客的攻击：7月，江西169网被黑客攻击，造成该网3天内中断网络运行2次达30个小时，工程验收推迟20天；同期，上海某证券系统被黑客入侵；8月，印尼事件激起中国黑客集体入侵印尼网点，造成印尼多个网站瘫痪，但与此同时，中国的部分站点遭到印尼黑客的报复；同期，西安某银行系统被黑客入侵后，提走80.6万元现金；9月，扬州某银行被黑客攻击，利用虚存帐号提走26万元现金。每年全球因计算机网络的安全系统被破坏而造成的经济损失达数百亿美元。进入新世纪之后，上述损失将达2000亿美元以上。 看到这些令人震惊的事件，不禁让人们发出疑问：网络还安全吗？试图破坏信息系统的完整性、机密性、可信性的任何网络活动都称为网络入侵。防范网络入侵最常用的方法就是防火墙。防火墙（Firewall）是设置在不同网络（如可信任的企业内部网和不可信任的公共网）或网络安全域之间的一系列部件的组合,它属于网络层安全技术,其作用是为了保护与互联网相连的企业内部网络或单独节点。它具有简单实用的特点，并且透明度高，可以在不修改原有网络应用系统的情况下达到一定的安全要求。但是，防火墙只是一种被动防御性的网络安全工具，仅仅使用防火墙是不够的。首先，入侵者可以找到防火墙的漏洞，绕过防火墙进行攻击。其次，防火墙对来自内部的攻击无能为力。它所提供的服务方式是要么都拒绝，要么都通过,不能检查出经过他的合法流量中是否包含着恶意的入侵代码，这是远远不能满足用户复杂的应用要求的。对于以上提到的问题，一个更为有效的解决途径就是入侵检测技术。在入侵检测技术之前，大量的安全机制都是根据从主观的角度设计的,他们没有根据网络攻击的具体行为来决定安全对策，因此，它们对入侵行为的反应非常迟钝，很难发现未知的攻击行为，不能根据网络行为的变化来及时地调整系统的安全策略。而入侵检测技术正是根据网络攻击行为而进行设计的，它不仅能够发现已知入侵行为，而且有能力发现未知的入侵行为，并可以通过学习和分析入侵手段，及时地调整系统策略以加强系统的安全性。2.2 网络入侵检测的研究史审计是最早引入计算机安全领域的概念，像存取文件、变更他们的内容或分类等的活动都记录在审计数据中，安全管理员、系统操作员和维护人员和普通用户一样都要经过行为审核。安德森提出要建立一个安全监督系统，保护那些系统敏感信息。他还提出应该检查什么、如何分析他、以及如何保护监督系统免受攻击，这成了今天IDS研究的核心内容。70年代后期，美国政府，包括DoD（国防部）和NIST（国家标准和技术协会）支持的计算机安全研究2开始了，安全审计也被考虑在这些研究中。1980年，安德森提出了另外一项报告，这次是针对一个空军客户，后者使用大型计算机处理大量的机密数据。报告中，安德森提出了减少分析数据量的方法，以及比较统计数据和总的观察也就是统计行为，以发现反常的行为。当一个安全违例发生或（统计上）反常的事件出现时，就会提醒安全官员。安全官员还能利用详细的观测资料做后续的评估。安德森的报告为SRI（Stanford Research Institute）和TRW（美国著名的数据安全公司）的早期工作提供了蓝图。在1980年代中期，入侵检测技术方面的许多工作都被他的思路深深影响。2.2.1 以Denning模型为基础的早期技术 1987年Denning提出了一种抽象的通用入侵检测的模型,如图1所示.该模型主要由主体、对象、审计记录、活动简档、异常记录、活动规则6部分组成。继Denning提出上述通用入侵检测 模型后，IDES和它的后续版本NIDES都完全基于Denning模型。2.2.2中期：以统计学理论与专家系统相结合 统计方法：是一种较成熟的入侵检测方法，它使得入侵检测系统能够学习主体日常驻机构行为，将那些与正常活动之间存在较大统计偏差的活动标志为异常活动。在统计方法中，首先选取有效的统计数据测量点，生成能够反映主题特征的会话向量，并采用统计方法分析数据，判断当前活动是否符合主题的历史行为特征；随着系统持续运行，歇息主题行为特征，更新历史记录，其主要优点是能够自适应地学习用户行为。专家系统：在专家系统中，入侵行为被编码成专家系统规则，用这些规则识别单个审计事件或表示一个入侵行为一系列事件。专家系统可以解释系统的确审计记录并判别它们是否满足描述规则。缺点：使用专家系统来表示一系列规则不太直观，规则更新必须要专家完成。此两者相结合，统计方法来统计和记录所有的入侵行为，并把这种行为存储起来，而专家系统则把相应的入侵行为编码成系统所认知的内部规则。如果在遇到入侵行为后，在统计方法和专家系统的共同作用下，就能够有效的防止和识别入侵行为。2.2.3基于网络的NIDS为主流的入侵检测 NIDS是以网络包作为分析数据源。它通常利用一个工作在混杂模式下的网卡来实时监视并分析通过网络的数据流，其分析模块通常使用模式匹配、统计分析等技术来识别攻击行为。一旦检测到了攻击行为，IDS的响应模块就作出适当的响应，比如报警、切断相关用户的网络连接等。与SCANER收集网络中的漏洞不同，NIDS收集的是网络中的动态流量信息。因此，攻击特征库数目多少以及数据处理能力，就决定了NIDS识别入侵行为的能力。大部分NIDS的处理能力还是100兆级的，部分NIDS已经达到1000兆级。NIDS设在防火墙后一个流动岗哨，能够适时发觉在网络中的攻击行为，并采取相应的响应措施。 1994年，Mark Crosbie和Gene Spafford 建议使用自治代理（Autonomous Agents ）以便提高IDS的可维护性、效率和容错性，这个思想跟上了计算机科学中其他领域的研究的潮流，比如说软件代理。另一个解决当时多数入侵检测技术系统伸缩性不足的研究成果是1996年提出的GRIDS（ Graph-based Intrusion Detection System）系统，该系统对大规模自动或协同攻击的检测技术很有效，这种跨越多个管理区域的自动协同才击显然是入侵行为发展的方向。 1997年，CISCO要求WheelGroup公司将入侵检测技术与他的路由器结合。同年，ISS成功开发了RealSecure,他是在Windows NT 下运行的分布式网络入侵检测技术系统，被人们广泛使用。1996年的第一次开发是传统的基于探测器的NIDS（网络入侵检测技术系统，监视整个网络段），在Windows和Solaris2.6上运行。1998年后期，RealSecure发展成为一个混合式的入侵检测技术系统。他对入侵行为具有广泛的反应能力包括断开连接、发送SNMP信息、Email提醒、运行客户程序记录会话内容等，并能根据检测技术自动产生审计策略。 NIDS系统由安全控制中心完成整个分布式安全监测预警系统的管理与配置。探测器负责测其所在网段上的数据流，进行实时自动攻击识别和响应。近年来的技术创新还有：Forrest将免疫原理运用到分布式入侵检测技术中；1998年Ross Anderson 和 AbidaKhattk 将信息检索技术引入这个领域。 3 入侵检测技术原理入侵检测技术（Intrusion Detection）的定义为：识别针对计算机或网络资源的恶意企图和行为，并对此做出反应的过程。IDS则是完成如入侵企图或行为（Intrusion），同时监控授权对象对系统资源的非法操作（Misuse）。入侵检测技术作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。入侵检测技术系统能很好的弥补防火墙的不足，从某种意义上说是防火墙的补充，帮助系统对会网络攻击，扩展了系统管理员的安全管理能力（包括安全审计、监视、进攻识别和响应），提高了信息安全基础结构的完整性。它从计算机网络系统中的若干关键点收集信息，并分析这些信息，看看网络中是否有违反安全策略的行为和遭到袭南的迹象。入侵检测技术被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下能对网络进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。这些都通过它执行以下任务来实现： 监视、分析用户及系统活动； 系统构造和弱点的审计； 识别反映已知进攻的活动模式并向相关人士报警； 异常行为模式的统计分析； 评估重要系统和数据文件的完整性； 操作系统的审计跟踪管理，并识别用户违反安全策略的行为。对一个成功的入侵检测技术系统来讲，它不但可使系统管理员时刻了解网络系统（包括程序、文件和硬件设备等）的任何变更，不能给网络安全策略的制订提供指南。更为重要的一点是它应该管理、配置简单，从而使非专业人员非常容易地获得网络安全。而且，入侵检测技术的规模还应根据网络威胁、系统构造和安全需求的改变而改变。入侵检测技术系统在发现入侵后，会及时做出响应，包括切断网络连接、记录事件和报警等。3.1 入侵检测技术第一步信息收集 在现实生活中，警察要证明罪犯有罪，必须先收集证据。只有掌握了充足的证据，才能顺得破案。IDS也是一样。一般来说，IDS通过2种方式获得信息：3.1.1 网络入侵检测技术模块方式 当一篇文章从网络的一端传向另一端时，是被 封装成一个个小包（叫做报文）来传送的。每个包包括了文章中的一段文字，在到达另一端之后，这些包再被组装起来。因此，我们可以通过检测技术网络中的报文，为了监视其他机器的报文，需要把网卡设置为混杂模式。通过在网络中放置一块入侵检测技术模块，我们可以监视近观保护机器的数据报文。在受保护的机器将要受到攻击之前，入侵检测技术模块可最先发现它。实际应用中网络结构千差万别，用户只有具体情况分别设计实施方案，才能让网络入侵检测技术模块检测技术到需要保护机器的状况。同时，网络入侵检测技术模块得到的只是网络报文，获得的信息没有主机入侵检测技术模块全面，所检测技术的结果也没有主机入侵检测技术模块准确。网络入侵检测技术模块方式的优点是方便，不增加受保护机器的负担。在网段中只要安装一台网络入侵检测技术模块既可。3.1.2 主机入侵检测技术模块方式 另外一种获取信息的方式是主机入侵检测技术模块方式。它是在受保护的机器上安装了主机入侵检测技术模块，专门收集受保护机器上的信息。其信息来源可以是系统日志和特定应用程序日志，也右以是捕获特定的进和和系统调用等等。 采用主机入侵检测技术模块方式的缺点是依赖特定的系统平台。用户必须针对不同的操作系统开发相应的模块。由于一个网络中有多种不同的操作系统，很难保证每个操作系统都有对应的主机入侵检测技术模块，而一个主现信侵检测技术模块只能保护本机，所以在使用上有很大的局限性。此外，它要求在每个机器上安装，如果装数量大时，对用户来说，是一笔很大的投入。不过，这种模式不受网络结构的限制，在使用中还能够利用操作系统的资源，以更精确地判断出入侵行为。在具体应用中，以上2种获得信息的方式是互补充的。3.1.3 信息来源的四个方面 就信息收集来说，内容包括系统、网络、数据及用户活动的状态和行为。而且，需要在计算机网络系统中的若干不同关键点（不同网段和不同主机）收集信息，这除了尽可能扩大检测技术范围的因素外，还有一个重要的因素就是从一个源来的信息有可能看不出疑点，但从几个源来的信息的不一致性却是可疑行为或入侵的最好标识。 当然，入侵检测技术很大和度上依赖于收集信息的可靠性和下确性，因此，很有必要只利用 当前的优秀软件来报告这些信息。因为黑客经常替换软件以搞混和移走这些信息，例如替换被 程序调用的子程序、库和其它工具。黑客对系统的修改可能使系统功能失常并看起来跟正常的一样，而实际上不是。例如，unix系统的PS指令可以被 替换为一个不显示侵入过程的指令，攻其无备是编辑被替换成一个读取不同于指定文件（黑客隐藏了初试文件并用另一版本代替）。这需要保证用来检测技术网络系统的软件的完整性，特别是入侵检测技术系统软本身应具有相当强的坚因性，防止被篡必而收集到错误的信息。 入侵检测技术利用的信息一般来处以下四个方面： （1）系统和网络日志文件 黑客在系统日志文件中留下他们的踪迹，因此，充分利用系统和网络上日志文件信息是检测技术入侵的必要条件。日志中包含发生在系统和网络上的不寻常和不期望活动的证据，这些证据可以指出有人下在入侵或已成功入侵了系统。通过看日志文件，能够发现成功的入侵或入侵企图，并垫脚快地启动相应响应程序。日志文件中了各种行类型又包含不同的信息，例如记录“用户活动”类型的日志，就包含登录、用户ID改变、用户对文件的访问、授权和认证信息等内容。很显然地，对用户活动来讲，不正常的或不期望的行不就是重复登录失败、登录到不期望的位置以及非授权的企图访问重要文件等等。（2）目录和文件中的不期望的改变网络不幸中的文件系统包含很多软件和数据文件，包含重要信息的文件和私有数据文件经常是黑客修改或破坏的目标。目录和文件中的不期望的改变（包括修改、创建和删除），特别是那些正常情况下限制访问的，很可能就是一种入侵产生的指示和信号。黑客经常替换、修改和破坏他们获得访问权的系统上的文件，同时为了隐藏系统中他们的表现及活动痕迹，都在尽力支离替换系统程序或修改系统日志文件。（3）程序执行中的不期望行为 网络系统上的程序执行一般包括操作系统、网络服务、用户起动的程序和特定目的的应用，例如数据库服务器。每个在系统上执行的程序由一到多个进程来实现。每个进程执行在具有不同权限的环境中，这种环境控制着进程可访问的系统资源、程序和数据文件等。一个进程的执行行为由它运行的操作来表现，操作执行的方式不同，它利用的系统资源也就不同。操作包括计算、文件传输、设备和其它进程，以及与网络间其它进程的通讯。一个进程出现了不期望的行为可能表明黑客正在入侵你的系统。黑客可能会将程序或服务的运行分解，从而导致它失败，或者是以非用户或管理员意图的方式操作。（4）物理形式的入侵信息这包括两个方面的内容，一是未授权的对网络硬件连接；二是对物理资源的未授权访问。黑客会想方设法突破网络的周边防卫，如果他们能够在物理上访问内部网，就能够安装他们自己的设备和软件。依此，黑客就可以知道网上的由用户加上支离的不安全（未授权）设备，然后自用这些设备访问网络。例如，用户在家里可能安装Modem以访问远程办公室，与此同时黑客正在利用自动工具来识别在公共电话线上的Modem，如果一拨号访问流量经过了这些自动工具，那么这一拨号访问就成为了威胁网络安全的后门。黑客就会利用这个后门来访问内部网，从而越过了内部网络原有的防护措施，然后捕获网络流量，进而攻击其它系统，并偷取敏感的私有信息等等。3.2 入侵检测技术的第二步信号分析 当收集到证据后，用户判断它是否就是入侵呢？一般来说，IDS有一个知识库，知识库记录了特定的安全策略。IDS获得信息后，与知识库中的安全策略进行比较，进而发现违反规定的安全策略的行为。定义知识库有很多种方式，最普遍的做法是检测技术报文国是否含有攻击特征。知识库给出何种报文是攻击的定义。这种方式的实现由简单到复杂分了几个层次，主要差别在于检测技术的准确性和效率上。简单的实现方法是把攻击特征和报文的数据进行了字符串比较，发现匹配即报警。这种做法使准确性和工作效率大为降低。为此，开发人员还有很多工作要做，如进行校验和检查，进行IP碎片重组或TCP重组，实现协议解码等等。 构建知识库的多种方法只是手段，目的是准确定义入侵行不，这是IDS的核心，也是IDS和普通的网上行为管理软件的差别所在。虽然它们都能监视网络行为，但是IDS增加了记录攻击牲的知识库，所以比风上行为管理软件提高了一个层次。而定义攻击特征是一项专业性很强的工作，需要具有丰富安全背景的专家从众多的攻击行为中提炼出通用的攻击特征，攻击特征的准确性直接决定了IDS检测技术的准确性。 对上壕四类收集到的有关系统、网络、数据及用户活动的状态和行为等信息，一般通过三种技术手段进行分析：模式匹配，统计分析和完整性分析。其中前两各方法用于实时的入侵检测技术，而完整性分析内里用于事后分析。3.2.1 模式匹配 模式匹配就是将收集到的信息与已知的网络入侵和系统误用模式数据库进行比较，从而发现违背安全策略的行为。该过程可以很简单（如通过字符串匹配以寻找一个简单的条目或指令），也可以很复杂（如利用下规的数学表达式来表示安全状态的变化）。一般来讲，一种进攻模式可以用一个过程（如执行一条指令）或一个输出（如获得权限）来表示。该方法的一个优点只需收集相关的数据集合，显著减少系统负担，且技术已相当成熟。它与病毒防火墙采用的方法一样，检测技术准确率和效率都相当高。但是，该方法存在的弱点是需要不断的升级以对付不断出现的黑客攻击手法，不能检测技术到从未出现过的黑客攻击手段。3.2.2 统计分析 统计分析方法首先给系统对象（如用户、文件、目录和设备等）创建一个统计描述，统计正常使用时的一些测量属性（如访问次数、操作失败数和延时等）。测量属性的平均值将被用来与网络、系统的行为进行比较，任何观察值在正常值范围之外时，就认为有入侵发生。例如，统计分析可能标识一个不正常行为，因为它发现一个在晚八点至早六点不登录的帐肩户却在凌晨两点试图登录。其优点是可检测技术到未知的入侵和更为复杂的入侵，缺点是误报、漏报率高，且不适应用户正常行为的突然改变。具体的统计分析方法如基于专家系统的、基于模型推理的和基于神经网络的分析方法，目前正处于研究热点和迅速发展之中。3.2.3 完整性分析完整性分析主要关注某个文件或对象是否被更改，这经常包括文件和目录的内容及属性，它在发现被更改的、被络伊化的应用程序方面特别有效。完整性分析利用强有力的加密机制，称为消息摘要函数（例如MD5），它能识别哪怕是成功的攻击导致了文件或其它对象的任何改变，它都能够发现。缺点是一般以批处理方式实现，不用于实时响应。尽管如此，完整性检测技术方法还应该是网络安全产品的必要手段之一。4 入侵检测技术功能概要 监督并分析用户和系统的活动 检查系统配置和漏洞 检查关键系统和数据文件的完整性 识别代表已知攻击的活动模式 对反常行不模式的统计分析 对操作系统的校验管理，判断是否有破坏安全的用户活动 提高了系统的监察能力 跟踪用户从进入到退出的所有活动或影响 识别并报告数据文件的改动 发现系统配置的错误，必要时予以更正 识别特定类型的攻击，并向相应人员报警，以作出防御反应 可使系统管理人员最新的版本升级添加到程序中 允许非专家人员从事系统安全工作 为信息安全策略的创建提供指导入侵检测技术作为一种积极主动地安全防护技术，提供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。从网络安全立体纵深、多层次防御的角度出发，入侵检测技术理应受到人们的高度重视，这从国外入侵检测技术产品市场蓬勃发展就可以看出。在国内，随着上网的关键部门、关键业务越来越多，迫切需要具有自主版权的入侵检测技术产品。但现状是入侵检测技术仅仅停留在研究和实验样品（缺乏升级和服务）阶段，或者是防火墙中集成较为初级的入侵检测技术模块。可见，入侵检测技术产品仍具有较大的发展空间，从技术途径来讲，我们认为，除了完善常规的、传统的技术（模式识别和完整性检测技术）外，应重点加强统计分析的相关技术研究。5 入侵检测技术分析 入侵分析的任务就是在提取到的庞大的数据中找到入侵的痕迹。入侵分析过程需要将提取到的事件与入侵检测技术规则进行比较，从而发现入侵行为。一方面入侵检测技术系统需要尽可能多地提取数据以获得足够的入侵证据，而另一方面由于入侵行为的千变万化而导致判定入侵的规则越来越复杂，为了保证入侵检测技术的效率和满足实时性的要求，入侵分析必须在系统的性能和检测技术能力之间进行权衡，合理地设计分析策略，并且可能要牺牲一部分检测技术能力来保证系统可靠、稳定地运行并具有较快的响应速度。分析策略是入侵分析的核心，系统检测技术能力很大程度上取决于分析策略。在实现上，分析策略通常定义为一些完全独立的检测技术规则。基于网络的入侵检测技术系统通常使用报文的模式匹配或模式匹配序列来定义规则，检测技术时将监听到的报文与模式匹配序列进行比较，根据比较的结果来判断是否有非正常的网络行为。这样以来，一个入侵行为能不能被检测技术出来主要就看该入侵行为的过程或其关键特征能不能映射到基于网络报文的匹配模式序列上去。有的入侵行为很容易映射，如ARP欺骗，但有的入侵行为是很难映射的，如从网络上下载病毒。对于有的入侵行为，即使理论上可以进行映射，但是在实现上是不可行的，比如说有的网络行为需要经过非常复杂的步骤或较长的过程才能表现其入侵特性，这样的行为由于具有非常庞大的模式匹配序列，需要综合大量的数据报文来进行匹配，因而在实际上是不可行的。而有的入侵行为由于需要进行多层协议分析或有较强的上下文关系，需要消耗大量的处理能力来进行检测技术，因而在实现上也有很大的难度。5.1 入侵分析按其检测技术规则分类5.1.1基于特征的检测技术规则这种分析规则认为入侵行为是可以用特征代码来标识的。比如说，对于尝试帐号的入侵，虽然合法用户登录和入侵者尝试的操作过程是一样的，但返回结果是不同的，入侵者返回的是尝试失败的报文，因此，只要提取尝试失败的报文中的关键字段或位组作为特征代码，将它定义为检测技术规则，就可以用来检测技术该类入侵行为。这样，分析策略就由若干条检测技术规则构成，每条检测技术规则就是一个特征代码，通过将数据与特征代码比较的方式来发现入侵。5.1.2基于统计的检测技术规则这种分析规则认为入侵行为应该符合统计规律。例如，系统可以认为一次密码尝试失败并不算是入侵行为，因为的确可能是合法用户输入失误，但是如果在一分钟内有8次以上同样的操作就不可能完全是输入失误了，而可以认定是入侵行为。因此，组成分析策略的检测技术规则就是表示行为频度的阀值，通过检测技术出行为并统计其数量和频度就可以发现入侵。这两种检测技术规则各有其适用范围，不同的入侵行为可能适应于不同的规则，但就系统实现而言，由于基于统计检测技术规则的入侵分析需要保存更多的检测技术状态和上下关系而需要消耗更多的系统处理能力和资源，实现难度相对较大。5.2 一些新的分析技术近几年，为了改进入侵检测技术的分析技术，许多研究人员从各个方向入手，发展了一些新的分析方法，对于提高入侵检测技术系统的正确性、可适应性等起到了一定的推动作用。下面是几个不同的方向。5.2.1 统计学方法统计模型常用于对异常行为的检测技术,在统计模型中常用的测量参数包括审计事件的数量、间隔时间、资源消耗情况等。目前提出了可用于入侵检测技术的5种统计模型包括：(1) 操作模型:该模型假设异常可通过测量结果与一些固定指标相比较得到,固定指标可以根据经验值或一段时间内的统计平均得到,举例来说,在短时间内的多次失败的登录很可能是口令尝试攻击。(2) 方差:计算参数的方差,设定其置信区间,当测量值超过置信区间的范围时表明有可能是异常。(3) 多元模型:操作模型的扩展,通过同时分析多个参数实现检测技术。(4) 马尔柯夫过程模型:将每种类型的事件定义为系统状态,用状态转移矩阵来表示状态的变化,若对应于发生事件的状态矩阵中转移概率较小,则该事件可能是异常事件。(5) 时间序列分析:将事件计数与资源耗用根据时间排成序列,如果一个新事件在该时间发生的概率较低,则该事件可能是入侵。入侵检测技术的统计分析首先计算用户会话过程的统计参数,再进行与阈值比较处理与加权处理,最终通过计算其可疑概率分析其为入侵事件的可能性。统计方法的最大优点是它可以学习用户的使用习惯,从而具有较高检出率与可用性。但是它的学习能力也给入侵者以机会通过逐步训练使入侵事件符合正常操作的统计规律,从而透过入侵检测技术系统。5.2.2 入侵检测技术的软计算方法入侵检测技术的方法可有多种,针对异常入侵行为检测技术的策略与方法往往也不是固定的,智能计算技术在入侵检测技术中的应用将大大提高检测技术的效率与准确性。所谓软计算的方法包含了神经网络、遗传算法与模糊技术。5.3.3 基于专家系统的入侵检测技术方法基于专家系统的入侵检测技术方法与运用统计方法与神经网络对入侵进行检测技术的方法不同,用专家系统对入侵进行检测技术,经常是针对有特征的入侵行为。所谓的规则,即是知识。不同的系统与设置具有不同的规则,且规则之间往往无通用性。专家系统的建立依赖于知识库的完备性,知识库的完备性又取决于审计记录的完备性与实时性。特征入侵的特征抽取与表达,是入侵检测技术专家系统的关键。将有关入侵的知识转化为if-then结构(也可以是复合结构),if部分为入侵特征,then部分是系统防范措施。运用专家系统防范有特征入侵行为的有效性完全取决于专家系统知识库的完备性,建立一个完备的知识库对于一个大型网络系统往往是不可能的,且如何根据审计记录中的事件,提取状态行为与语言环境也是较困难的。例如,ISS公司为了建立比较完备的专家系统,一方面与地下组织建立良好关系,并成立由许多工作人员与专家组成的X-Force组织来进行这一工作。由于专家系统的不可移植性与规则的不完备性。现已不宜单独用于入侵检测技术,或单独形成商品软件。较适用的方法是将专家系统与采用软计算方法技术的入侵检测技术系统结合在一起,构成一个以已知的入侵规则为基础,可扩展的动态入侵事件检测技术系统,自适应地进行特征与异常检测技术,实现高效的入侵检测技术及其防御。6 入侵检测技术发展方向 可以看到,在入侵检测技术技术发展的同时,入侵技术也在更新,一些地下组织已经将如何绕过IDS或攻击IDS系统作为研究重点。高速网络,尤其是交换技术的发展以及通过加密信道的数据通信,使得通过共享网段侦听的网络数据采集方法显得不足,而大量的通信量对数据分析也提出了新的要求。随着信息系统对一个国家的社会生产与国民经济的影响越来越重要,信息战已逐步被各个国家重视,信息战中的主要攻击武器之一就是网络的入侵技术,信息战的防御主要包括保护、检测技术与响应,入侵检测技术则是其中检测技术与响应环节不可缺少的部分。近年对入侵检测技术技术有几个主要发展方向:6.1分布式入侵检测技术与通用入侵检测技术架构传统的IDS一般局限于单一的主机或网络架构,对异构系统及大规模的网络的监测明显不足。同时不同的IDS系统之间不能协同工作能力,为解决这一问题,需要分布式入侵检测技术技术与通用入侵检测技术架构。CIDF以构建通用的IDS体系结构与通信系统为目标,GrIDS跟踪与分析分布系统入侵,EMER-ALD实现在大规模的网络与复杂环境中的入侵检测技术。6.2应用层入侵检测技术许多入侵的语义只有在应用层才能理解,而目前的IDS仅能检测技术如WEB之类的通用协议,而不能处理如LotusNotes、数据库系统等其他的应用系统。许多基于客户、服务器结构与中间件技术及对象技术的大型应用,需要应用层的入侵检测技术保护。Stillerman等人已经开始对CORBA的IDS研究。6.3智能的入侵检测技术入侵方法越来越多样化与综合化,尽管已经有智能体、神经网络与遗传算法在入侵检测技术领域应用研究,但是这只是一些尝试性的研究工作,需要对智能化的IDS加以进一步的研究以解决其自学习与自适应能力。6.4入侵检测技术的评测方法用户需对众多的IDS系统进行评价,评价指标包括IDS检测技术范围、系统资源占用、IDS系统自身的可靠性与鲁棒性。从而设计通用的入侵检测技术测试与评估方法与平台,实现对多种IDS系统的检测技术已成为当前IDS的另一重要研究与发展领域。6.5网络安全技术相结合结合防火墙、PKIX、安全电子交易SET等新的网络安全与电子商务技术,提供完整的网络安全保障。7 建立数据分析模型 在前面的文章介绍入侵检测技术系统时，我们了解到在进行入侵检测技术的研究中，信息收集是第一步要做的工作，入侵检测技术工作的顺利很大程度上依赖于收集信息的可靠性和正确性。在做本课题研究时，我们研究和测试都是使用的KDD CUP99数据包。它是非常流行和广泛使用的数据包，用于研究和测试不同的数据组合。此数据包已经经过预处理，使我们较容易进行分析。7.1测试数据的结构我们将从其测试数据集中抽出一条数据信息进行分析。0，tcp，http，RSTR，54540，7300，0，0，0，1，0，1，0，0，0，0，0，0，0，0，0，0，4，5，0，0，0.25，0.4，1，0，0.4，170，170，1，0，0.01，0，0，0，0.06，0.06，back.此条数据记录共有四十一个有效字段，下面我将逐一介绍。第1-9字段为独立TCP连接的基本特征（如表一）feature name description type1duration 持续时间length (number of seconds) of the connection连接长度（秒数）Continuous 连续型2protocol_type协议类型type of the protocol, e.g. tcp, udp, etc.discrete 离散型3service提供服务network service on the destination, e.g., http, telnet, etc.目标的网络服务discrete离散型4src_bytes源字段number of data bytes from source to destination从数据源到目的地continuous5dst_bytes目的字段number of data bytes from destination to source从目的地到数据源continuous6flag标记normal or error status of the connectiondiscrete7land登陆1 if connection is from/to the same host/port; 0 otherwise连接是否同主机或同端口discrete8wrong_fragment出错帧number of wrong fragmentscontinuous9urgent紧急包number of urgent packetscontinuous表一第10-22字段为连接中所包含的主要特征（如表二）feature name description type10hot热点number of hot indicators指示器数量Continuous连续型11num_failed_logins登录失败number of failed login attempts尝试登录失败continuous12logged_in成功登录1 if successfully logged in; 0 otherwisediscrete离散型13num_compromised警戒数number of compromised conditionscontinuous14root_shell启动权1 if root shell is obtained; 0 otherwisediscrete15su_attempted1 if su root command attempted; 0 otherwisediscrete16num_rootnumber of root accesses接受的root访问数continuous17num_file_creationsNumber of file creation operations建立文件操作数continuous18num_shellsNumber of shell prompts“shell”提示数continuous19num_access_filesnumber of operations on access control files对访问控制文件的操作数continuous20num_outbound_cmdsnumber of outbound commands in an ftp session 在FTP会话中对外开放命令数continuous21is_hot_login1 if the login belongs to the hot list; 0 otherwise是否热情连接注册discrete22is_guest_login1 if the login is a guestlogin; 0 otherwise是否访问者注册discrete表二第23-31字段为在两秒内计算传输向量（如表三）feature nameDescriptiontype23countnumber of connections to the same host as the current connection in the past two seconds在过去的两秒时间与当前连接一样连接到同一主机的连接次数Continuous连续型24srv_countnumber of connections to the same service as the current connection in the past two seconds在过去的两秒时间与当前连接一样连接到同一服务的连接次数continuous25serror_rate% of connections that have SYN errors有序列号错误连接的百分率continuous26srv_serror_rate% of connections that have SYN errors有序列号错误连接的百分率continuous27rerror_rate% of connections that have REJ errors有“REJ”错误连接的百分率continuous28srv_rerror_rate% of connections that have REJ errorscontinuous29same_srv_rate% of connections to the same service相同服务连接百分率continuous30diff_srv_rate% of connections to different services不同服务连接的百分率continuous31srv_diff_host_rate% of connections to different hosts不同主机连接的百分率continuous表三第32-41个字段为目标主机的传输特征feature namedescriptiontype32Dst_host_countNumber of connections to the destination host as the current connection in the past two secondscontinuous33Dst_host_srv_countNumber of connections to the same service as the current connection in the past two secondscontinuous34Dst_host_same_srv_rate% of connecti