基于隐马尔可夫模型的系统脆弱性检测

1、基于隐马尔可夫模型的系统脆弱性检测摘要在计算机平安领域，特别是网络平安领域，对计算机系统进展脆弱性检测非常重要，其最终目的就是要指导系统管理员在“提供效劳和“保证平安这两者之间找到平衡。本文首先介绍了基于隐马尔可夫模型H的入侵检测系统IDS框架，然后建立了一个计算机系统运行状况的隐马尔可夫模型，最后通过实验阐述了该系统的工作过程。通过仅仅考虑基于攻击域知识的特权流事件来缩短建模时间并进步性能，从而使系统更加高效。实验说明，用这种方法建模的系统在不影响检测率的情况下，比传统的用所有数据建模大大地节省了模型训练的时间，降低了误报率。因此，合适用于在计算机系统上进展实时检测。关键字入侵检测；隐马尔可

2、夫模型H；特权流；系统平安;网络平安;脆弱性1引言计算机网络的出现使得独立的计算机可以互相进展通信，进步了工作效率。然而，人们在享受网络带来的种种方便、快捷效劳的同时，也不得不面临来自网络的种种威胁黑客入侵、计算机病毒和回绝效劳攻击等等。早在主机终端时代，黑客攻击就已经出现，当时黑客的主要攻击对象还主要是针对单个主机。而计算机病毒也不是网络出现后的新颖产物，在独立的P时代它已经开场通过各种途径传播。然而网络为上面两种攻击提供了更多的攻击对象、更新的攻击方式，从而也使得它们危害性更大。近年来，随着互联网的迅速开展，黑客、病毒攻击事件越来越多。按照检测方法，入侵检测可以分为两类：误用检测和异常检测

3、。1误用检测：搜集非正常操作的行为特征，建立相关的特征库，当监测的用户或系统行为与库中的记录相匹配时，系统就认为这种行为是入侵。2异常检测：首先总结正常操作应该具有的特征用户轮廓，当用户活动与正常行为有重大偏离时即被认为是入侵。误用检测需要入侵的行为形式，所以不能检测未知的入侵。异常检测那么可以检测未知的入侵。基于异常检测的入侵检测首先要构建用户正常行为的统计模型，然后将当前行为与正常行为特征相比拟来检测入侵。文章提出了基于隐马尔可夫模型H的入侵检测系统IDS，它是一种异常检测技术。因此，不仅可以检测的入侵，而且还可以检测未知的入侵。更重要的是，它通过仅仅考虑基于攻击域知识的特权流事件来大大缩

4、短建模时间并进步检测性能。因此，更加合适用于在计算机系统上进展实时检测。在研究计算机脆弱性的过程中，对于“计算机脆弱性(putervulnerability)这个词组的准确定义争论很大，下面是众多被广泛认可的定义中的两个。1)1996年Bishp和Bailey给出的关于“计算机脆弱性的定义1:“计算机系统是由一系列描绘构成计算机系统的实体的当前配置的状态(states)组成，系统通过应用状态变换(statetransitins)(即改变系统状态)实现计算。从给定的初始状态使用一组状态变换可以到达的所有状态最终分为由平安策略定义的两类状态:已受权的(authrized)或者未受权的(unauth

5、rized)。“脆弱(vulnerable)状态是指可以使用已受权的状态变换到达未受权状态的已受权状态。受损(prised)状态是指通过上述方法到达的状态。攻击(attak)是指以受损状态完毕的已受权状态变换的顺序。由定义可得，攻击开场于脆弱状态。“脆弱性(vulnerability)是指脆弱状态区别于非脆弱状态的特征。广义地讲，脆弱性可以是很多脆弱状态的特征;狭义地讲，脆弱性可以只是一个脆弱状态的特征2)LngleyD.，Shain.，aelli.对于“计算机脆弱性的解释是这样的2:(1)在风险管理领域中，存在于自动化系统平安过程、管理控制、内部控制等事件中的，可以被浸透以获取对信息的未受权

6、访问或者扰乱关键步骤的弱点。(2)在风险管理领域中，存在于物理布局、组织、过程、人事、管理、硬件或软件中的，可以被浸透以对自动数据处理(ADP)系统或行为造成损害的弱点。脆弱性的存在本身并不造成损害。脆弱性仅仅是可能让ADP系统或行为在攻击中受损的一个或者一组条件。(3)在风险管理领域中，任何存在于系统中的弱点和缺陷。攻击或者有害事件，或者危险主体可以用于施行攻击的时机。(4)在信息平安领域中，被评价目的所具有的可以被浸透以克制对策的属性或者平安弱点。从上面的两个定义我们得出一个计算机脆弱性的简单定义:计算机脆弱性是系统的一组特性，恶意的主体(攻击者或者攻击程序)可以利用这组特性，通过已受权的

7、手段和方式获取对资源的未受权访问，或者对系统造成损害。基于隐马尔可夫模型的入侵检测系统主要有审计数据预处理器、过滤器和基于H的分类器三部分组成，如图1所示。图1基于H的入侵检测系统审计数据预处理器负责将原始审计记录转变为分析引擎可以承受的标准格式。过滤器负责决定哪些审计事件是合适系统的、哪些审计数据字段对系统分析来说是充分有用的。基于H的分类器负责对过滤后的数据进展分类，产生检测结果。整个系统的工作过程分为两个阶段：训练阶段和检测阶段。在训练阶段，根据的正常审计数据和异常审计数据来训练分类器，并得出相应的参数。在检测阶段，预处理器将审计数据转换成标准格式，再通过过滤器得到充分有用的数据，然后通

8、过基于H的分类器进展分类，从而区分出正常行为和入侵行为。马尔可夫模型是一个离散时域有限状态自动机，隐马尔可夫模型H是指这一马尔可夫模型的内部状态外界不可见，外界只能看到各个时刻的输出值。4隐马尔可夫模型本质上是一种双重随机过程有限状态自动机，其中的双重随机过程是指满足arkv分布的状态转换arkv链以及每一状态的观察输出概率密度函数，共两个随机过程。设Xi是一个随机变量，它表示时刻t系统的状态，其中t=0，1，2，。用H建模系统正常行为特征需做出如下两个假设：PXi+1=it+1|X/t=it，Xi-1=it-1,x0=i0=P(Xi+1=it+1|Xt=it(1)PXi+1=it+1|Xt=

9、it=P(Xi+1=j|Xt=i)=Pij(2)对每个t和所有的状态都成立。其中Pij表示系统在时刻t处于状态的条件下，在时刻t+1处于状态j的概率。等式1说明在时刻t+1系统状态的概率分布只与时刻t时的状态有关，而与时刻t以前的状态无关。等式2说明由时刻t到时刻t+1的状态转移与时间无关。假如系统有有限数目的状态：1,2,s,那么H可以用转移概率矩阵P和初始概率分布Q来定义：(3)(4)其中qi是系统在时刻0时处于状态i的概率，并且：(5)给定状态序列Xt-k，.，Xt在时刻t-k，.，t出现的结合概率表示为：P(Xt-k,Xt)=(6)训练数据提供了在时刻t=0，1，.N-1时刻状态X0，

10、X1，X2，.XN-1的观察值，H的转移概率矩阵和初始概率分布通过学习训练数据来得到。由训练数据计算转移概率矩阵和初始概率分布如下：Pij=Nij/Ni(7)qi=Ni/N(8)其中Nij表示Xt在状态i、Xt+1在状态j的观察值对Xt，Xt+1的数目，Nt表示Xt在状态i、Xt+1在任何状态的观察值对Xt，Xt+1的数目，Ni表示Xt在状态i的数目，N表示观察值总数。为了检测入侵，通常使用两类数据来捕捉计算机和网络中的行为：网络通信数据和审计踪迹数据审计数据。在研究中，采用的是SUn微系统公司开发的Slsris作系统的审计数据，重点考虑的是攻击主机的入侵。Slsris操作系统的根本平安模块(

11、BS)有大约284个不同类型的审计事件。对每种类型的事件，BS审计记录包括如下信息：事件类型、用户ID、组ID、进程ID、会话ID、访问的系统对象等。在研究中，仅仅抽取了事件类型信息，这是审计事件的最关键的特征之一。另外，通过审计事件的连续流来捕捉用户行为，每种审计事件由事件类型来表征。主机的正常行为和入侵行为都是由计算机操作序列组成的，这些操作序列引发了审计事件序列。因此，假如把审计事件发生的时间作为H的离散时间点，把各种审计事件看作主机的可能状态，那么主机的行为就可以用隐马尔可夫模型来描绘。为了检测入侵，需要构造主机的长期正常行为特征，将最近过去的主机行为与长期正常行为特征相比拟来检测重要

12、的区别。基于训练数据集合中的正常审计事件流，用公式7和8计算转移概率矩阵P和初始概率分布Q来构造正常行为的隐马尔可夫模型，由这个模型来表征主机正常行为的特征。用长度为N的滑动窗口对审计事件的连续流进展扫描，以观察当前时间t的过去N个审计事件：Et-N+1，Et其中E表示事件。假设N=15，那么对时刻t在窗口中的审计事件Et-14，Et通过观察每个审计事件的类型来获得出如今窗口状态Xt-14，Xt序列，其中Xt是审计事件Ei对应的状态(审计事件类型。用P和Q计算状态序列Xt-14，Xt在正常使情况下出现的概率即正常行为特征的H支持状态序列Xt-14，Xt的概率如下：P(Xt-14,Xt)=(9)

13、用H来构造一个分类器，由分类器来区分正常行为和入侵行为。假设给定一个阈值，用公式6求得某状态序列的概率记为，那么分类器可定义：假如，该状态序列是正常的，否那么是入侵的。6.1阈值确实定评价入侵检测系统的检测性能主要有两个指标：检测率和误报率。检测率是被检测到的攻击占攻击总数的百分比。误报率是系统正常数据中误认为是攻击的百分比。预期的入侵检测系统必须有高的入侵检测率和低的误报率。阈值的大小直接决定了入侵检测系统的检测性能。假如增大阈值，那么入侵检测率将进步，但误报率也会进步。相反，假如减小阈值，那么误报率将降低，但入侵检测率也会降低。所以，选择阈值时，应该在入侵检测率和误报率之间折衷考虑。6.2

14、结果分析实验中，用+语言实现了隐马尔可夫模型的学习算法和推导算法。分别用所有数据和特权变化数据两种方法来建模主机正常行为的隐马尔可夫模型，并比拟哪种方法可以产生更好的性能。为测试两种建模方法的运行时间性能，程序执行了30次，用tie命令记录了shell执行结果。表1列出了实验的结果。表1运行时间性能比拟建模方法状态数目序列长度序列数目时间戳5207671944小时58分所有数时31分520594325.8秒特权变化数据1530580555.9秒为了比拟两种建模方法的性能，对系统进展了20次攻击。在入侵检测率为100%的情况下，分别取不同的状态数目和序列长度并调整阈值来

15、得到其误报率。表2是其中具有代表性的部分结果。从表2可以看出，在实验中，用特权流变化的数据建模时，当状态数目为10、状态序列长度为30时，其性能是最好的。而且，这种情况下的误报率0.599%远低于用所有数据建模时性能最好的误报率1.5978%。表2检测性能比拟建模方法状态数目序列长度H阀值务报率5209.86E-54.16.698%特权变化数据15251.05E-64.92.4001%10307.98E-82.10.599%5201.12E-91.84.198%所有数据10203.46E-94.01.5978%15309.75E-120.111.987%计算机系统的脆弱性检测经历了从手动检测到

16、自动检测的阶段，目前正在由部分检测向整体检测开展，由基于规那么的检测方法向基于模型的检测方法开展，由单机检测向分布式检测开展7-9。在计算机平安应用领域，常常要求对一个计算机网络进展脆弱性评估。要使评估结果完好准确，必须考虑到计算机网络不是一个独立的、静态的系统，而是一个具有分布、动态特点的系统。不仅要考虑其空间的整体性，也要考虑其时间的持续性。保证网络系统的平安，不是保证某一主机一时的平安，而是要保证整个系统长期的平安。由于计算机系统的脆弱性存在，本文提出了基于隐马尔可夫模型的脆弱性入侵检测系统，并比拟了用所有数据和用特权变化的数据两种建模方法的性能。实验说明，用特权流变化的数据建模与传统的

17、用所有数据建模相比，不仅误报率更低，而且大大节省了训练时间。随着训练数据的增加，用特权流变化的数据建模将表现出更好的性能，大大降低了计算开销。更加合适用于在计算机系统上进展实时检测。1Bishp.，BaileyD.Aritialanalysisfvulnerabilitytaxnies.DepartentfputerSiene,UniversityfalifrniaatDavis:TehnialReprtSE296211,19962LngleyD.,Shain.,aelli.InfratinSeurity:Ditinaryfnepts,StandardsandTers.NeYrk:aillan

18、,19923BEizerB.SftareTestingTehniques.2ndeditin.InternatinalThsnputerPress,19904卢坚，陈毅松，孙正兴等。基于隐马尔可夫的音频自动分类J。软件学报，2002；1385BaldinR.Kuang:Rulebasedseurityheking.PrgraingSystesResearhGrup,LabfrputerSiene,IT:TehnialReprt,19946ZerkleD.,LevittK.,NetKuang:Aultihstnfiguratinvulnerabilityheker.In:Preedingsfthe6thUSENIXSeuritySypsiu,SanJse,A,19967Huphries,Jeffrey.etal.Seurebileagentsfrnetrkvulnerabilitysanning.In:Preedingsf2000IEEErkshpnInfratinAssuraneandSeurity,estPint,NY,2000,19258QuG.etal.Afraerkfrnetrkvulnerabi