模糊技术在入侵检测中的应用

模糊技术在入侵检测中的应用

1模糊技术的应用传统的入侵检测方法包括两种类型：误用检测和异常检测。误用检测(MisuseDetection)是将已知的攻击方式或特征字段以某种形式存储在知识库中,如果审计数据特征与模式库中的规则相匹配,则说明发生了入侵。其最大的缺点是不能识别新的攻击方式,造成较高的漏检率,目前大多的商业软件大都采用这种方法。异常检测(AnomalyDetection),如入侵检测专家系统IDES,它首先建立系统主体的正常行为特征轮廓,如果系统中的审计数据与已建立的主体正常行为特征有较大的偏差,就认为系统遭到入侵。理想中的异常检测方法能根据特征轮廓自动区分不同的行为,但实际的情况是在多数环境下用户的行为过于随机,如果直接以简单的规则匹配来进行入侵检测,则可能会产生大量的误警和漏警现象。1965年美国计算机与控制论专家扎德(L.A.Zadeh)教授提出“模糊集合论”,标志着模糊数学的诞生,从那时起,模糊数学就以计算机科学和软科学作为研究和应用的两大前沿。模糊技术是指建立在模糊集合理论、可能性分布理论和模糊逻辑推理基础上的一类工程技术,是对人类认识、思维过程和现实世界中所固有的模糊性的一种模拟和反映。将模糊技术应用于入侵检测系统中是必要的。原因如下:(1)大量的客观事物具有模糊性,网络安全本身就是一个模糊的概念。模糊逻辑可以平滑安全与非安全之间的界限,从而使对网络安全问题的描述更加符合实际情况。(2)评定事物的标准没有明确的“边界”,攻击行为和正常行为虽然是相对立的概念,但是在网络的流量反映上却是相当模糊的,异常流量依附在正常流量中,而正常流量融入着异常流量,之间没有明确的界限。例如一个攻击行为只需稍微偏离模板中的行为特征就有可能骗过入侵检测系统,而一个偏离正常行为模板的正常行为也可能会被错误地判定为是入侵行为。因此传统静态的规则缺乏对入侵或用户行为描述的灵活性,用模糊行为刻画行为特征将更符合客观实际。(3)在检测中由于信息掌握不足或是模式库老化等都可能造成漏检和误检,而模糊逻辑推理可以在掌握不充分证据的情况下判断入侵行为,比普通的IDS更加迅速和灵敏。(4)发生预警的入侵程度也是模糊的。近年来,已经有相当多的国内外学者从事该方面的研究,并取得了一定的进展。本文在他们研究的基础上,对于模糊数学在入侵检测系统中的应用进行了较系统的分析。2模糊技术在功能模块中的应用入侵检测系统一般由3大功能模块组成:数据收集、数据分析和预警响应。根据功能模块划分,本文首次从以下几个方面来探讨模糊技术在各功能模块中的应用:数据挖掘和特征提取、基于模糊推理的数据分析、规则库的自适应性更新以及支持响应回卷的模糊默认推理逻辑的应用。2.1ids的开发好的数据特征应能反映网络流量的安全特征,即能辨认旧的攻击方式,亦能反映新的攻击特征。采用模糊逻辑的优点在于它能够描述同时隶属于不同分类范围的概念。Dickerson等人在年和2001年提出一个基于代理的异常检测系统:模糊入侵识别引擎(FuzzyIntrusionRecognitionEngine,FIRE),用数据挖掘技术处理网络数据,从中提取出对异常检测有意义的测度,然后建立这些测度的模糊集合。文献中提出建立模糊入侵检测系统,其中主要是将普通规则改造成模糊规则,从而能更加精确地建立自然语言的知识与计算机知识之间的映射。采用c-meams聚类算法进行数据挖掘,寻找审计数据的模糊特征。文献致力于解决模糊系统如何应用于IDS,应用数据挖掘方法挖掘好的数据源,寻求网络输入数据的最佳表示方法,从而使得模糊子集的表示更有意义。利用FIRE建立模糊集合。文献将模糊逻辑和默认推理逻辑相结合,建立了模糊默认逻辑理论。文中定义了模糊默认规则,并将模糊逻辑三段论推广为模糊默认逻辑三段论。在具体的应用中,将普通规则转化为闭模糊默认规则,根据模糊规则子库和关联规则子库,将传统的规则库改造为模糊默认知识库。将IDS的测度集合(用C表示)按照测度代价,即占用系统资源和收集消耗时间将C划分为n个不相交的子集,为避免收集高类测度,将测度代价小的低类测度作为模糊默认规则的先决条件,而高类测度作为模糊默认规则的默认条件,使得收集入侵证据更加快速。最后根据FDLIRE推理原理进行模糊推理。该理论成功地将普通规则转化为闭模糊默认规则,并对传统知识库进行了改进。什么样的数据特征适合于模糊输入呢?采用什么样的数据分析工具?文献提出了14种可统计的网络流量数据特征,主要使用Ggobi可视化数据分析工具,对数据特征的提取进行了分析,审计数据用的是林肯实验室测试数据(LincolnLabsTestDataSet),在分析过程中可清晰的看到攻击数据流与正常数据流在不同数据统计特征上的不同反映。最终总结出8个比较有代表性的模糊特征,分别为:TCP连接数、TCP失败连接数、目的端口数、UDP包数和ICMP包数、不可达ICMP包数、每连接字节传送数和每连接字节接收数。并将模糊特征定义到3个模糊集合中。此外Matlab模糊工具也可以作为对提取的数据特征分析的工具。审计记录中包含有量化特征,量化数据在挖掘过程中由支持度和置信度的阈值分隔在两个区间中。这种分区所带来的尖锐边界(SharpBoundary)问题,会对IDS的性能产生影响。为克服尖锐边界引发的问题,Bridges使用数据挖掘算法(关联规则挖掘算法和频繁情节挖掘算法)与模糊逻辑相结合的方法开发IDS。即把量化特征分为具有模糊隶属度值的几类,Bridges使用了规格化的方法来计算模糊隶属度值,但模糊隶属度函数的参数是靠经验来选择的,但这会引起错误报警。Apriori算法可以从审计数据中挖掘模糊关联规则,形成对行为的高层描述并使用模糊变量激活相应的决择策略,可以一定程度上降低误警率。2.2fcm推理模式模糊逻辑推理是建立在语言变量和模糊逻辑基础上的,这种推理又称为近似推理。模糊逻辑推理可以在证据掌握不充分的情况下,根据推理规则,得到具有一定真实程度的推论。模糊推理中的基本变量是语言变量,它是近似推理中变量值的标识,为模糊命题的真值、概率值和可能性值的表示提供了一个基本函数。模糊推理在应用中一般有两种推理模式,一种是基于IF-Then规则的推理,如入侵检测专家系统(IDES)。在这些系统中专家关于漏洞攻击的模板知识被表示成等IF-Then规则的形式,该推理规则应用较多;另一种是基于模糊认识图(FuzzyCognitiveMap,FCM)的推理。IF-Then规则的推导和相应的成员关系函数的建立在很大程度上依赖于某特定条件下的先验知识,没有系统的方法将专家知识经验转化为一个模糊推理系统的推理知识基础。利用一组IF-Then规则进行推理,IF对应于三段论中的条件,推出Then的结论。文献中的推理规则表示如下:推论中,以“xiisAi”的隶属度来修改Bj的隶属度,对于X=,设T是X一个模糊子集,其定义可由成员关系函数M得到。即:则各推理的前提条件可以由模糊子集T来表示,并用它来决定“yisBj”的隶属程度。文献中设计者可以检查输入规则以确保模糊规则能覆盖全部的输入空间,从而较完备地定义输出反映。当然也可以为专门的入侵检测系统定制不同的规则,如专用于检测DNS上可疑连接的IDS系统,可以加入这样的规则:模糊认识图是一种高效的软计算工具,支持基于先验知识的行为自适应性,并提供了推理知识的图形表示。模糊认识图已在医学领域的疾病诊断、分布式网络环境下的出错管理等有了广泛的应用。Siraj在2001年提出建立模糊认识图来支持智能入侵检测系统做出决策。这种模糊认识图反映了事件之间的模糊因果关系,由表示因果关系的知识作为图的结点,其关联程度作为连接两结点的边。使得该决策系统综合考虑了异常检测和误用检测的检测结果,决定整个网络的报警状态。文献中给出了复杂环境下检测的一个FCM实例表示,允许模糊结构中的输入在这样一个连续的区间上表示出来,使用FCM矢量矩阵乘积进行简单的FCM推理。文献也可以看成是FCM推理模式的应用,是将模糊推理和PetriNet相结合。代表命题状态的令牌值域空间被定义在上,一个规则的可信度和其在PetriNet上的位置和转移相关联。位置可以解释为推论的条件,转移表示事件。推论规则集由专家系统给出,其组成元素分别为:输入矩阵、输出矩阵、命题逻辑状态矢量和规则可信度矢量。其中命题逻辑状态矢量可以在形成过程中迭代更新(除了其初始状态量之外),直到形成模式化的逻辑状态矢量为止,使得该推理具有一定的自适应性。2.3基于模糊规则的学习模糊逻辑授权给计算机系统一个简单的推理方法,对不确定性、复杂性和离散性事件进行处理。模糊逻辑系统的建造并不十分困难,但其推理知识往往是主观的、静态的。如何能使模糊推理逻辑对动态变化的环境具有适应性,已经是广泛探讨的问题。我们知道神经网络、遗传算法和机器学习等都可以用于自学习系统。通过一定的改造使之也具有对模糊逻辑推理知识方面的学习功能是可行的。一种直接的方式是假定某种形式的成员函数依赖于不同的参数,而神经网络是可以通过生成其依赖参数改善该成员关系函数的。Nunck,Flaworm&Kruse在1992年就实现过该思想。其成员关系函数定义为对称三角函数,该函数具有两个依赖参数,一个决定函数最大适应度,一个给定函数支持的长度。文献中运用神经网络学习的机制,对模糊规则库进行更新。神经网络用大量神经元之间的连接,即对各连接权值的部分来表示特定的信息,每个神经元都可根据接收到的信息作独立的运算和处理,然后将结果传输出去。模糊推理虽然是一种善于表现知识的推理方法,但它没有本质地获取知识的能力。将遗传算法和模糊推理相融合,能赋予模糊推理知识获取能力,能将给与的数据自动地构成推理机构。Shi使用遗传算法来自动优化隶属度函数的参数,具体方法是首先定义由模糊函数参数序列组成的染色体,从一个随机的初始染色体种群开始,其中每个染色体都是一个可能的参数集合,然后使用适应度函数来为规则相似度设定优先级的高低。文献中采用模糊控制的方法来调整影响遗传算法效率的两个重要因素,即交叉概率和变异概率,同时寻找与控制对象相匹配的最佳模糊规则。控制的中心是控制规则,模糊控制避开传统的由状态方程和传递函数表述的方式,力图对人们关于某个控制问题的成功与失败的经验进行加工,进而从中提炼出规则,再运用近似推理的方法进行观测和控制。模糊控制规则由模糊控制的语言来描述。该算法将以每代群体中最大适应度和平均适应度来确定模糊控制的输入量,运用第二层GA算法形成Pc、Pm自适应变化的最佳规则。模糊遗传算法经过一系列个体评价、选择运算、交叉运算和变异运算,最终形成最优个体。该算法较好地解决了传统遗传算法中收敛速度慢、未成熟收敛等问题,使之具有更高的健壮性和全局最优性。文献成功应用遗传算法来决定模糊推理规则数以及前件隶属函数,初始染色体种群可以随机产生,其中每条染色体代表模糊隶属函数的一组可能解,由一个参数对组成。进化计算的目标是求解模糊隶属函数的最优解,使得从没有入侵行为的审计数据中挖掘出的规则集与参考规则集的近似度尽可能大。2.4基于响应代价模型的响应判断默认推理逻辑(DefaultReasoningLogic)是Reiter在1980年提出的一种非单调逻辑,它将人类在进行不充分证据下推理的某种情况提炼出来并加以形式化,对人工智能及其它领域很有启发意义。在入侵检测技术中运用默认推理逻辑可以在掌握不充分证据的情况下判断入侵行为。但默认推理的缺点是缺乏可信度参数,模糊逻辑能较好地弥补默认推理逻辑这一缺点。模糊默认推理不但支持模糊推理,并可在证据不足的条件下,识别入侵意图和响应回卷。响应回卷是一种特殊的响应动作,它针对由于误报而产生的响应动作,响应回卷中断或撤销其动作,消除响应带来的负面影响。文献采用基于响应代价模型做出响应决策。首先根据响应代价模型,计算出采用某种响应方式与否之间的代价比,然后根据该代价比决定如何响应回卷。代价权重能反映某个特定环境的安全目标,可以采用模糊数学中的二元对比排序法确定代价权重,该方法先在二元对比中建立比较级,然后通过一定的算法转化为总体的顺序。文献中将模糊逻辑用于对多层模式IDS的预测,仅知道入侵发生的频率和采取预防护措施代价损失比(Cost/lossRation)就可以决定是否要采取措施,从而减小响应代价和非响应损失代价。3ids的智能性问题模糊技术中涉及到许多理论如模糊命题、模糊逻辑、模糊推理和模糊控制等在入侵检测系统中的应用,为IDS开辟了新的发展领域,但同时也在技术上提出新的挑战。我们注意到虽然模糊理论已经被用于IDS的各个功能模块,但是可以说目前为止还没有一个真正的模糊IDS系统出现。尽管Dickerson早已在年和2001年提出了建立模糊IDS系统的理论,并在实际的网络数据检测实验中证明了其可行性,但其数据模糊工具使用的是MatLabFuzzyToolBox,将普通规则模糊化的规则是已经在MatLabFuzzyToolBox定义好了的,这种工具对于IDS来说没有广泛适应性,也就是说并没有IDS专用的对于特征量的模糊转换规则和工具。对于模糊规则的描述语言,较之确定性的语言来说,具有了更大的灵活空间,但是现存的描述语言依然较生硬,Zadeh在1999年提出了具有理解力计算理论的思想,并将该思想定位于模糊逻辑发展的新方向。理解力是模糊的,或许我们能从中得到启发,改善传统的模糊描述语言,创造出一种更具灵活性的语言描述方式。系统的自适应性一直是众学者们探讨的热门话题,也是IDS发展中的难点之一。和机器学习、神经网络和遗传算法等的结合,使IDS具有了一定的智能性,但是一方面,其智能性又是有限度的。(1)在学习或变异方面,我们总是对隶属函数依赖的变量根据环境的变化进行着自我更新,如何在学习过程中形成新的隶属函数,在隶属函数的输入数量上如何做到自我学习是值得探讨的;(2)一旦决定了某个IDS要提取的特征,在某种程度上说就不再考虑其他的特征,即使是那些对新型攻击最佳的识别特征。这也是对IDS智能性的一个限制方面,即设计一个具有特征自动激活的智能IDS系统,还是一个未开发的新领域。另一方面,对于学习到的新内容,又该如何判定其准确性,其训练周期和训练数据的选择都是要考虑的问题。IDS的监测速度一直是限制IDS发展的瓶颈,寻求一个具有智能性、普遍的适应性和资源代价低的检测系统也将是我们要继续研究的方向。随着IDS学习性能的提高,新的学习规则将源源不断地加入知识库中,使得知识库日臻完善,可同时也给IDS带来了负担,规则库的壮大,使得IDS日益臃肿,将降低IDS的性能。如何产生高效的知识库呢?我们提出了一些改进意见。在IDS中加入知识库管理模块,定期对知识库进行管理。管理的任务除加入新的规则外,还包括对知识结构的定期调整。按知识库中规则的匹配成功率对其划分等级,高级模式拥有较高的匹配成功率;相反,低级模式拥有较低的匹配成功率。进行模糊匹配时,首先对高级模式进行匹配,逐级往下,并记录其隶属度,以此作为调整匹配优先级的依据,若模糊规则比调整前拥有更高的匹配率,则对其晋级;若比调整前的匹配率低,则对其降级;若在t(t可根据具体应用,由专家指出)时间段内,处在