人工智能在入侵检测技术中的应用

1、特约稿人工智能在在入侵检测测技术中的的应用耿国华，康康 华（西北大学学 计算机机科学系 ，陕西 西安 7100069）摘 要：针对由于网络服服务不断扩扩大造成的的入侵行为为日益复杂杂多样的情情况，对人人工智能技技术在入侵侵检测中的的运用进行行了研究，主主要讨论了了专家系统统和神经网网络技术在在入侵监测测的规则管管理和入侵侵行为分类类方面的应应用，同时时给出了入入侵检测实实践。结果果证明，人工智能能技术确实实能够提高高入侵监测测系统发现现入侵的实实时性和检检测入侵的的正确性。关 键 词：入入侵检测；人工智能能；专家系系统；神经经网；误用用检测；异常检测测 中图分类号号：TP3391.44 文献标

2、标识码：AA 文章编编号：10000-2274X(20033)00110-091 入侵侵检测及其其通用模型型入侵检测技技术以探测测入侵为中中心，目的的是为系统统提供实时时发现入侵侵行为并及及时采取相相应防护手手段。它具体包括括数据收集集、行为分分类、报告告错误和响响应反击等等方面，其其中用到的的数据可以以由专门的的网络管理理系统(NNMS)或或网络和系系统的日志志文件中得得到，而数数据推导和和数据分类类是其中的的核心。数数据分类是是定义攻击击和识别攻攻击的过程程，具体实实现这个过过程的技术术多种多样样，如模式式匹配、统计分析析、完整性分分析等方法法，其本质质大多是比比较正常状状态和考察察状态之

3、间间的差异，以以此来判断断系统是否否受到了入入侵。首先给出入入侵检测通通用模型1。这这个通用模模型广泛应应用于IDDS(入侵侵检测系统统)：它有有3个基本本的协作组组件事事件产生器器（eventt generratorr）、活动记录录（activvity proffile）和和规则集（rule set）。其工作关系见图1。事件产生器器是用来产产生有关系系统活动的的信息，利利用这些信信息来检测测入侵行为为。这些信信息事件可可以由网络络监控服务务来发出，比比如可以从从防火墙、NMS、日志文件件，或由系系统执行记记录（auditt traails）中中得到信息息。规则集其实实就是一个个探测引擎擎（d

4、etecctionn enginne）,它它利用各种种规则来检检查由事件件产生器送送来数据的的合法性，判判断是否有有入侵行为为发生。具具体可用概概率统计模模型、匹配配规则等方方法。活动记录是是保存那些些与被检测系系统或网络络密切相关关的状态信信息，其中中的信息变变量是由事事件产生器器送来的信信息事件或或是由规则则集发出的的动作来执执行维护和和更新的，规规则集的有有些动作还还可以填加加新的观察察变量。事件产生器器、规则集和和活动记录录是在整个系系统中的有有机结合，活活动记录中中变量的定定义、规则则集的判断断方法以及及事件产生生器的及时时信息送发发一并决定定了系统的的探测能力力。在此，我们关心心的

5、主要问问题集中在在规则集部部分，也就就是探测引引擎中如何何应用人工工智能来判判断入侵。2 人工工智能在入入侵检测系系统中解决决的问题人工智能是是一种模拟拟人类思维维来解决复复杂问题的的技术，它它使得机器器具有可进行行类似于人人类“思考考”的行为为。人工智智能的优势势就是可用用来处理那那些烦琐而而复杂的工作，利利用它的学学习和推导导方法可以以提高解决决问题的效效率。这是个很很大的技术术领域，其其一端是神神经网络将计算算机系统设设计成模拟拟人类神经经系统的底底层机构和和功能，另另一端是专专家系统将计算算机模拟成成类似于智智囊团的高高层认知结结构。在入入侵检测系系统中有效效地发现入侵侵行为是相当烦琐

6、琐复杂的，专家系系统在管理理检测规则则方面要比比传统的判判断语句更更有效，利利用神经网网络来分类类入侵行为为方便准确确，利用人人工智能中中的神经网网络技术、专家系统统技术检测测入侵行为为具有应用用特色。2.1 专家系统统的应用首先，给出出基于规则则的专家系系统（rule-baseed exxpertt sysstem）在在误用检测测（misusse detecctionn）中的应应用分析。按探测技技术可将IID（intruusionn detecctionn）分成误误用探测和和异常探测测两大类；误用探测测通过把那那些已知的的攻击行为为抽象成为为模式或签签名（pattternss ；siigna

7、tturess），如果发发现符合这这些模式的的行为，就就认为它是是攻击，这类似于于病毒防范范软件只能去发发现已知的的病毒；异异常探测则则利用，攻击行为为往往和合合法行为在在过程上有有明显区别别，如果先先抽象归纳纳出合法行行为的基本本特征，就就可以认为为那些与合合法行为抽抽象特征有有其他的行为为是攻击行行为2。误用检检测见图。由于误用检检测是基于于对已有规规则的检测测，因此适合使使用专家系系统，专家家系统将攻攻击行为定定义成相应应的规则集集合，如果果发现用户户行为符合合某种攻击击规则集合合，则被看成这这种规则集集合对应的的是入侵行行为。2.1.11 专家系统统的优点 采用专专家系统时时，由于新新

8、规则的加加入是完全全独立的，不不需要改变变已存在的的规则，同同时与规则则对应的推推理行为也也是集中定定义的，非非常有利于规则则和推理行行为的管理理，最大化化地方便了对对系统的进进化。通常使用的的从证据到到结论的专专家系统属属于前推型型（forwaard-cchainning）系系统，这种种形式很适适合于事件件流为主的的系统，是是由数据驱驱动的。一旦事事实(faacts)满足，就会产生生一个新的的事实（ffactss）或是新新的结论，这这种链条式式的推导，模模拟了人的的思维推理理，使分析析过程清晰晰完整，可可以观测推推导链中每每个“节点点”，得到到它的来龙龙去脉。因因此，前推形式式往往用于于数据

9、监控控、控制领领域，IDDS便是它它的典型应应用。2.1.22 专家系系统的建立立和描述3 专家系系统应用于于入侵检测测，其组成成大致有以以下3部分分。1) 行为为记录(ffactss basse)：它记录了了系统运行行时观察到到的状态，是是我们分析析的依据。比如程序序执行记录录（auddit ttraill）、tcp/ip协议议头等。2) 规则则集合(rulee basse)：需要建建立一系列列的规则集集合，由这这些规则来来推导，这这样结合行行为记录可可以逐步对对行为推导导。3) 推理理逻辑(infeerencce)：由行为为记录和规规则集合来来推理判断断入侵行为为的逻辑。其表述方法法类似于

10、数数学中的推推导关系，第第一项是规规则名字，其次是证据，最后是结论 = 证据就是我我们定义的的攻击特征征，结论就就是在满足足特征的情情况下触发发的动作。2.1.33专家系统统的应用 下面给给出专家系系统在几种种常见攻击击行为检测测中的具体体使用方法法。1) 缓冲冲区溢出攻攻击的检测测方法示例例。缓冲溢出出攻击是一一种常见的的系统攻击击的手段，黑黑客往往通过程序序的缓冲区区写超出其其长度的内内容，造成成缓冲区的的溢出，从从而破坏程程序的堆栈栈，使程序序转而执行行其他指令，以以达到攻击击的目的。据统计，通通过缓冲区区溢出进行行的攻击占占所有系统统攻击总数数的80%以上。我们的推导导规则来自自观察缓

11、冲冲溢出的特特点，程序序运行过程程的痕迹可可以在系统统调用的执执行记录（aauditt traail）中中发现。由由此给出以以下分析流流程方法。首先，看执执行的调用用是否含有有setuuid程序序，我们可可以简单地地比较有效效用户IDD和实际用用户ID，如如果不同就就认为调用用了settuid程程序，否则则可能并不不是一个攻攻击。其次，传递递给settuid程程序的参数数应该相对对比较长，在在audiit记录中中的长度超超过了其他他正常seetuidd 执行调调用的长度度。再次，检测测调用执行行参数中是是否包含了了系统操作作特权命令令的字符，如amoount（在在ASCIII码中）等等。以上是

12、缓冲冲溢出攻击击的基本特特征，这些些简单规则则虽不能判判断所有可可能的缓冲冲溢出，但但可正确地地检测出大大多数溢出出攻击。我们用专家家系统来描描述规则（ee：表示有有实践发生生器送出的的记录系统统信息的事事件） e.tyype = EExec|eexecvve e.uiid != ruiid conttainss(e.eexec_argees, = 1) e.siizenormmal_llengtth = prinntf(alerrt:buufferr oveerrunn atttack on ccommaand mmandd”)这个示例给给出了如何抽象象入侵行为为特征与如如何使用规规则推导的

13、的方法，并并说明利用用专家系统统来完成检检测入侵的的简捷高效性。2) 无效效权限访问问（faiiled authhentiicatiion aattemmpts）检检测示例。如果没有hootmaiil的帐号号，但你却却试图登陆陆，我们使使用专家系系统进行了了判断这种种非法登陆陆的研究。先抽象这这种无效权权限访问非非法行为的的特征，当一个用用户尝试在在一个给定定的时间里里用错误的的名字或密密码登陆达达到一定次次数，系统统将发出警告。这这种技术在在logiin，teelnett，rloogin 等程序上上经常见到到。定义行为记记录（faact）和和规则（以以下a,bb,c是规规则推理）：a) 当用

14、用户鉴定失失败，记录录这个用户户到行为记记录的变量量bad_logiin并且变量前前鉴定失败败次数cuurrennt_faailurres加；b) 当前前鉴定失败败次数cuurrennt_faailurres到达达一个阀值值时发出警告，且且建立新的的行为记录录max_reacched，表表示不再允允许这个用用户尝试登登陆。c) 到达达阀值maax_reeacheed，踢出出潜在的入入侵者（即这个用用户），把各种种记录清零零。用专家系统统的简要描描述如下： e.typee = logiin_faailurre = ssave in bbad_lloginn | currrent_faillure

15、+ cuureennt_faailurre= threesholld = maake mmax_rreachhed maax_reeacheed = tiick ooff | cllear all3) SYYN fllood攻攻击检测示示例。SYN floood是当前前最流行的的Dos（拒绝绝服务攻击击）与Dddos（分布式式拒绝服务务攻击）的的方式之一一，是一种种利用TCCP协议缺缺陷，发送送大量伪造造的TCPP连接请求求，从而使使得被攻击击方资源耗耗尽（CPPU满负荷荷或内存不不足）的攻攻击方式。SYN FFloodd攻击的基基本原理，与与TCP连连接建立的的过程相关关。TCPP与UDPP

16、不同，它它是基于连连接的，为为了在服务务端和客户户端之间传传送TCPP数据，必必须先建立立一个虚拟拟电路，也也就是TCCP连接。建立TCCP连接的的标准过程程在TCPP协议中被被称为三次次握手（tthreee-wayy hanndshaake），步步骤如下：第一步，请请求端（客客户端）发发送一个包包含SYNN标志的TTCP报文文，SYNN即同步（ssynchhroniize），同同步报文会会指明客户户端使用的的端口以及及TCP连连接的初始始序号；第二步步，服务器器在收到客客户端的SSYN报文文后，将返返回一个SSYN+AACK的报报文，表示示客户端的的请求被接接受，同时时TCP序序号被加11，

17、ACKK即确认（aacknoowleddgemeent）。第三步，客客户端也返返回一个确确认报文AACK给服服务器端，同同样TCPP序列号被被加1，到到此一个TTCP连接接完成。经分析，问问题恰好出出在TCPP连接的三三次握手中中，假设一一个用户向向服务器发发送了SYYN报文后后突然死机机或掉线，那那么服务器器在发出SSYN+AACK应答答报文后是是无法收到到客户端的的ACK报报文的（第第三次握手手无法完成成），这种种情况下服服务器端一一般会重试试（再次发发送SYNN+ACKK给客户端端）并等待待一段时间间后丢弃这这个未完成成的连接，这这段时间的的长度我们们称为SYYN tiimeouut，一

18、般般来说这个个时间大约约为30ss2min。一个用户户出现异常常导致服务务器的一个个线程等待待1minn并不是什什么很大的的问题，但但如果有一一个恶意的的攻击者大大量模拟这这种情况，服服务器端将将为了维护护一个非常常大的半连连接列表而而消耗非常常多的资源源(数以万计计的半连接接)，即使是是简单的保保存并遍历历也会消耗耗非常多的的CPU时时间和内存存，何况还还要不断对对这个列表表中的IPP进行SYYN+ACCK的重试试。实际上上，如果服务务器的TCCP/IPP栈不够强强大，结果果往往是堆堆栈溢出崩崩溃，即使使服务器端端的系统足足够强大，服服务器端也也将忙于处处理攻击者者伪造的TTCP连接接请求而

19、无无暇理睬客客户的正常常请求（毕毕竟客户端端的正常请请求比率非非常之小），此此时从正常常客户的角角度看来，服服务器失去去响应，这这种情况我我们称作服服务器端受受到了SYYN fllood攻攻击（SYYN洪水攻攻击）。根据这种攻攻击的特点点，我们在在专家系统统中对它的的行为记录录（facct）定义义如下：max_bbad_cconnss：最大的恶恶性连接数数，超过此此数将发警警告。expirre_tiime：超过这个个等待应答答ACK时时间，而没没能连接，被被认为是恶恶性连接。bad_cconn_lifee：恶性连接接被保留时时间，超过过这个时间间的将被清清除。当半连接超超过一定时时间没成为为成

20、功连接接时，我们认为为发生了个个恶性连接接。检测规则：a) 如果果在时间片片里恶性连连接发生而而还没超过过限度是，bbad_cconn_counnt 被增增加1。b) 当恶恶性连接到到达限度，发发警告，重重设 baad_coonn_ccountt 为0。c) 当连连接超过bbad_cconn_lifee ，这个个连接将被被清除，从从而 baad_coonn_ccountt 减1。2.2 神经网络络在入侵检检测中应用用先说明神经经网络（nneuraal neetworrks）在在异常检测测（anoomalyy dettectiion ）中中的应用，异常检测测的关键任任务是找到到那些超出出用户行为

21、为特点的不不正常的用用户行为，主要障碍碍是如何抽抽象出正常常的用户行行为。由于于用户行为为的不确定定性，用传传统的方法法对合法用用户行为的的抽象有时时很难准确确的定义，需要借助助于神经网网络的特点点发挥在入入侵检测中中的优势。异常检测测见示意图图2.2.11 神经网网组成结构构 人工神神经网络是是由模拟生生物神经处处理信息过过程而产生生的一种信信息处理方方法，其结结构是有众众多内部紧紧密连接的的信息处理理元（neeuronns）组成成，这些处理理元依靠集集体的工作作来处理复复杂的信息息。在用神神经网络来来分类数据据或模式识识别前，需要对神神经网络的的内部元进进行特殊的的学习训练练，这如同同生物

22、神经经对条件反反射的适应应过程。神神经网系统统结构见图图4。图4中包含含神经元，这这些神经元元之间有相相当复杂的的联系规则则，用图形形来表示，每每个神经元元可被看成成是一个结结点，他们们之间的连连接被当作作是连接结结点的边。各条边都都有其各自自的权重，权权重代表了了结点间连连接的紧密密程度，权权重越大代代表联系越越紧密。神神经网络最最大的特点就是是具有自适适应性，即即通过实际际结果和希希望结果的的差异调整整连接权重重，来消除除差异。图 4 神经网系系统结构fig.44 Neurral NNetwoork SSysteem Sttructture2.2.22 神经网络络的学习算算法和优势势 神经

23、经网络的学学习算法具具有补偿误误差的规则则，当神经经网络的输输出和希望望的输出有有误时，就就自动的调调整权重和和阀值来补补偿误差。结点的拓拓扑结构和和学习算法法构成了一一个神经网网络的基本本结构。采用神经网网络的学习习算法，可可使系统逐逐渐记住合合法用户行行为的基本本特征（或或叫模式/签名），从从而可对后后来输入的的用户行为为特征进行行辨别分类，若若不属于系系统已记录录的合法用用户行为模模式，将被被认为是异异常行为。例如，合法法用户通过过使用系统统，留下他他的行为特特征好比是是 “指纹纹”，当系统有有了合法用用户的“指指纹”后，如如有非法用用户登陆并并使用系统统，通过检检查合法用用户留下的的“

24、指纹”，系统就就会迅速发发现入侵者者。由于用户特特征(指纹)的抽象性性不易观察察，很多情情况下用户户自己也不不知道自己己行为的统统计规律，因此神经网络被广泛应用于模式识别中，把要检测的用户行为变成一个输入向量，通过神经网络后会按分类结果输出，帮助找出输入和输出间的非线性关系，以提取用户行为模式。以下通过例例子来讲解解两个神经经网在常探探测中的应应用。2.2.33 神经网网络应用1) 后反反馈神经网网（bacckproopagaationn neuural netwwork）的的应用示例例4 a) BPP神经网络络的训练过过程：使用BPP神经网络络识别系统统的合法用用户，由于于系统中不不同的用户

25、户有不同的的要求，他他们调用的的操作指令令也就不会会相同。有有些用户使使用系统仅仅仅是收发发电子邮件件，有些用用户则可能能主要使用用系统编程程序，而系系统管理人人员则有更更高的权限，可可以进行任任何操作。因为用户户的多样性性和他们的的不同习惯惯，使得命命令的调用用呈现不同同的分布，并并且调用频频率也大不不相同，但但具体如何何不同我们们很难准确确地表示清楚楚，利用神神经网的学学习能力系系统可以自自动的找到到这种不同同。可使用这种种三层结构的的反馈网络络，第一层层输入特征征向量，每每个输入端端和一个特特征对应，假假定我们抽抽象用户行行为特征为为100个个变量，那那就应该有有100个个输入端；每个输

26、入入端对应一一个合法的的用户，这这里将来识识别10个个合法用户户行为特征征，如果结结果超出了了这10个个用户我们们认为它是是异常行为为。我们定义1100个命命令各对应应一个输入入端，具体体变量值就就是这个命命令的使用用频率。用神经网络络来识别：首先要收收集训练数数据，读系统的的执行记录录（auddit）得得到每个用用户的命令令调用信息息，把他们变变成一个代代表用户使使用频率的的100维维向量；然后进行训训练，训练练神经网识识别这些不不同命令频频率分布向向量；最后执行行，让网络识识别新的用用户命令频频率分布向向量，判断是否否属于合法法用户。以下是用户户使用的命命令范围，共1000个：as aww

27、k bcc bibbtex caleendarr catt chmmod ccomsaat cpp cppp cut cvs datee df difff du dvipps eggrep elm emaccs exprr fgrrep ffilteer fiind ffingeer fmmt frrom fftp ggcc ggdb ghosstvieew gmmake grepp gs gzipp hosstnamme idd ifcconfiig isspelll lasst ld lless lookk lpqq lprr lprrm lss macchinee maiil maake

28、 man mesgg mettamaiil mkkdir moree movvemaiil mppage mt mmv neetscaape netsstat nm oobjduump pperl pgp pingg ps pwd rcp resiize rm rrsh ssed ssendmmail sh ssort striip sttty ttail tar tcshh teee tesst tggif ttop ttput tr ttty uunamee vaccatioon vi vvirteex w wc wwhereeis xxbifff+ xxcalcc xdvvi xhhos

29、t xterrm这里把用户户使用命令令的频率分分成10个个等级，编编码为0.0 1.00且以0.1递增。第一级意意味着这个个命令从来来不使用，第第2级表示示每天12次，类类推，最后后一级表示示每天超过过200次次。这样，用户户特征向量量作为输入入数组形式式为： 0.11，0.2，0.1，0.3，0.0(共1000个)。用合法用户户行为训练练数次（数数十到数百）后后，系统会得得到一个满意意的正确率率。BP神经网网络的训练练过程是一一种监督性性的学习过过程，必须须事先告诉诉系统希望望的输出是是什么。所所以，我们先找找到了合法法用户的行行为特征“指纹”。b) 非监监督性学习习训练过程程：非监督督性学

30、习训训练过程不不需要事先先告诉系统统希望的结结果，将人人为干预降降到最低，人人们不用去去准确地抽象出攻攻击特征，系系统会自动动学习分析析，找到那些些不易被发发现或精确确描述的行行为特征，并并按照特征征将行为类类聚。2) 基于于非监督性性训练识别别入侵的神神经网络示示例Self-orgaaniziing mmap nneuraal neetworrk 55简称SSOM，因因为它可在在不告诉其其什么是正正确结果的的情况下训训练，是一一种非监督督神经网络络。其输入是含含有分析物物体特征信信息的数学学向量，在在SOM中中必须有一一个比较函函数，用它它来比较两两个向量（一一个是输入入向量，一一个是存在在

31、于网络向向量集合中中的向量）的的相似程度度，它把输输入向量和和集合中的的所有向量量分别比较较，输出的的是输入向向量和向量量集中向量量的相似程程度。首先先保证在向向量集合中中的向量的的合法性，如如果输入向向量和所有有向量集合合中的向量量都存在较较大的差异异，我们就就认为它是是异常的。如何使用这这种非监督督学习性（SSOM）神神经网络来来检测DNNS断口的的访问中的的缓冲溢出出攻击呢？由于缓冲冲溢出攻击击的参数往往往过长，并并且含有二二进制命令令代码而不不是普通文文字，我们用神神经网络来来检测缓冲冲溢出攻击击的企图，首首先需要定定义几组特特征向量来来描述这种种企图，然然后检测端端口收到的的包有多少

32、少个字节（ooctett）符合这这几组特征征。我们利利用简单的的特征组，如：字母母（AZ,az）；数数字（09）；控控制命令代代码；非AASCIII码。这些些特种组给给出了端口口访问包的的组成轮廓廓，从中推推断访问是是否有溢出出攻击企图图。可以挑挑选50个个正常包来来训练maap，每个个包都被抽抽象成含以以上4个分分量的特征征组，其中每个个包的控制制命令代码码和数字都都不会超过过15个字字节。SOOM神经网网络会将特特征相似的的包类聚，对对输入的向向量检测和和网络中包包含的已有有特征向量量的相似程程度，如果果新包和所所有已有向向量都不相相似，便认认为是种异异常向量。用这500个包训练练后，网络

33、络会自动将将他们类聚聚，即把正常常情况下的的访问包轮轮廓记下了了。在训练练以后，如如果系统碰碰到的包含含有不寻常常的特征，如如控制命令令代码为330个字节节或数字为为25时，在在网络已知的包轮轮廓中找不不到相似的的聚类时，就就检测出了了这种溢出出攻击的企企图。3 结 语人工智能技技术除了提提到的专家家系统和神神经网络，还包括遗遗传算法、免疫算法法等分支，这这些方法目目前都逐渐渐被应用于于入侵检测测。专家系系统的优势在于于方便、有效的规规则定义和和链式推导导，神经网网和遗传算算法的优势势在于系统统具有的学学习能力，这这点对于新新型攻击的的检测是很很合适的。当然，一个强大大的入侵检检测系统要要求结

34、合各各种技术来来完成信息息分析工作作，同时也也应该考虑虑到系统实实现的复杂杂性和实时时性。参考文献：1 EESCAMMALLAA TIntrrusioon Deetecttion: Nettworkk Seccuritty Beeyondd thee FirrewalllMNew Yorkk：Johhn Wiiley and Sonss Incc, 199982 UULF LL, PHHILLIIP A PDeteectinng coomputter aand nnetwoork mmisusse thhrouggh thhe prroducctionn-bassed eexperrt syy

35、stemm tooolsett (P-BESTT) ZZ 19999 IEEEE Syympossium on SSecurrity and Privvacy, Calliforrnia，199993 SSundaaram A An iintrooducttion to IIntruusionn dettectiion OLhttpp:/wwww.aacm.oorg/ccrosssroadds/xrrds2-4/intrrus.hhtml，200114 JJAKE R, LLIN MM JIntrrusioon Deetecttion withh Neuural Netwworkss OLLh

36、ttpp:/ /tecchniccal.aasp, 200335 金金 波，林林家骏. 入侵检测测技术评述述J. 华东理工工大学学报报，20000，111：1 460-1 466. (编辑：曹大刚)The aappliicatiion oof arrtifiiciall inttelliigencce inn inttrusiion ddetecctionnGENG Guo-hua， KAANG HHua (DDeparrtmennt. oof Coomputter SSciennce, Nortthwesst Univversiity , Xian 7100069, Chinna) Abst

37、rract : Thhe keey off inttrusiion ddetecctionn is how to ffind the intrrusivve beehaviiors effeectivvely .Witth thhe exxtenssion of nnetwoork sserviices , itt beccame moree andd morre diiverssificcatedd andd commpliccatedd .Iff we stilll deetectt succh beehaviiors are stilll deelectted bby haand ,it iis obbviouus thhat iit caant satiisfy the needd of reall-timme inntrussion deteectioon ass welll ass guaaranttee tthe ccorreectn