（通信与信息系统专业论文）面向网络流分析系统的通用构架的设计与实现.pdf

分类号t p3 9 3 0 8 密级 重庆邮电大学硕士学位论文 论文题目面向网络流分析系统的通用构架的 设计与实现 英文题目d e s i g na n di m p l e m e n t a t i o no f u n i v e r s a l f r a m e w o r kf o rn e t w o r kt r a f f i ca n a l y s i ss y s t e m 指导教师挂望割盘撞 学科专业通信与信息系统 论文提交1 3 期2 q q 2 = 5 = 2 q论文答辩1 3 期2 q q 2 = = 3 论文评阅人组丞法副教授 答辩委员会主席刘宜良教授 2 0 0 7 年5 月2 0 日 重庆邮电大学硕士论文 摘要 摘要 随着互联网的普及，各种网络系统及相关应用程序层出不穷。利弊相 依，人们从中获益的同时，也面临着更多的安全隐患。防范的有效方式之 一是对网络数据流进行监控。网络入侵检测系统、网络行为审计系统等网 络流分析系统应运而生。 本文首先分析了网络当前所面临的安全威胁和隐患，介绍了目前广泛 使用的安全防范技术，强调了对网络流进行监控的重要性。接着详细介绍 了常见网络流分析系统：网络入侵检测系统和网络行为审计系统的相关背 景知识，以及未来所面临的变化或挑战。由于各种网络流分析系统间具有 许多相似之处，因此可将这些相似之处设计为一个可重用的构架。文章详 细描述了网络流分析系统所涉及的问题域，并对其进行面向对象的分析和 设计，最终得到一个可重用的系统构架。文中介绍了该构架中几个关键部 分的具体实现，然后通过对基于该构架丌发的系统进行测试验证了该构架 的功能性和实用性，最后分析该构架的不足和未来的发展。 关键词：网络流分析系统，构架，面向对象分析和设计 重庆邮电大学硕士论文 摘要 a b s t r a c t w i t ht h ep r e v a l e n c ei fi n t e r n e t ，m o r ea n dm o r en e t w o r ks y s t e m sa n d a p p l i c a t i o n se m e r g ei ne n d l e s s l y i tp r o v i d e sl a r g ec o n v e n i e n c et ou s ，b u ta l s o b r i n g sm o r es e c u r et h r e a t s o n ee f f e c t i v em o d ek e e p i n gt h et h r e a t sa w a yi st o m o n i t o rt h en e t w o r kd a t at r a f f i c t h en e t w o r kt r a f f i ca n a l y s i ss y s t e m sl i k e n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e ma n dn e t w o r kc o n d u c ta u d i ts y s t e me m e r g e a st i m e sr e q u i r e i nt h i sd i s s e r t a t i o n ，f i r s t l y , t h es e c u r et h r e a t sa n dh i d d e nt r o u b l e sw ea r e f a c i n ga r ea n a l y z e d t h ep r e s e n tp o p u l a rt e c h n o l o g i e so fs e c u r ed e f e n d i n ga r e i n t r o d u c e d t h e ni te m p h a s i z e st h ei m p o r t a n c eo fm o n i t o r i n gn e t w o r kt r a f f i c t h e n ，t h et w of a m i l i a rn e t w o r kt r a f f i ca n a l y s i ss y s t e m sa r ep r e s e n t e di nd e t a i l t h ec o n t e n ti n c l u d e st h eb a c k g r o u n do fn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m a n dn e t w o r kc o n d u c ta u d i ts y s t e ma n dt h ec h a n g e so rc h a l l e n g e sw ew i l lf a c e i nt h ef u t u r e b e c a u s ea l lk i n do fn e t w o r kt r a f f i ca n a l y s i ss y s t e m sh a v et h e c o m m o n n e s s u s i n gt h i sc o m m o n n e s sc and e s i g nr e - u s et r u s s t h ep r o b l e m f i e l da b o u tn e t w o r kt r a f f i ca n a l y s i ss y s t e mi se l a b o r a t e do ni nt h i sd i s s e r t a t i o n a f t e rt h eo r i e n t e d o b j e c ta n a l y s isa n dd e s i g n ，o n er e u s es y s t e mf r a m e w o r ki s o f f e r e d i tp r e s e n t ss e v e r a lk e ym o d u l e sr e a l i z a t i o n t h e n ，t h et e s to ft h e s y s t e mb a s e dt h i st r u s si si n t r o d u c e s ，u s i n gt h et e s tt ov e r i f yt h ef u n c t i o n sa n d u t i l i t i e s l a s t l y , t h es h o r to ft h i st r u s si sa n a l y z e da n dt h ef u t u r ed e v e l o p m e n t j sm e n t j o n e d k e yw o r d s ：n e t w o r kt r a f f i ca n a l y s i ss y s t e m ，f r a m e w o r k ，o r i e n t e d - o b j e c t a n a l y s i sa n dd e s i g n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重废 邮电太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者躲名焱 签字日期：钐一7 年钿 日 j 学位论文版权使用授权书 本学位论文作者完全了解重废整电太堂有关保留、使用学位论 文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权重麽邮电太堂可以将学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等 复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名名娥 导师躲 签字嗍劲7 年彳月函签字日期叫年易月6 日 重庆邮电大学硕士论文 第一章绪论 1 1 网络安全威胁 第一章绪论 2 0 世纪人类两大科学技术成果一一计算机技术和网络技术的出现，将 人们带入了高速的信息时代。i n t e r n e t 渐渐融入人们的日常生活，并悄悄 的改变着他们的生活方式和工作方式，人们越来越离不开网络。网络在为 人们的工作和生活提供便利的同时，也带来了更多的安全隐患。各种安全 威胁正在飞速增长，极大地困扰着人们，给我们的信息网络造成严重的破 坏。网络威胁主要来自以下几点。 1 1 1 网络协议的缺陷 i n t e r n e t 本身存在先天不足，因为作为互联网基础的t c p i p 协议族缺 乏相应的安全机制。因特网最初的设计前提是该网络不会因局部故障而影 响信息的传输，基本没有考虑安全问题，因此它在安全可靠、服务质量和 带宽等方面存在着缺陷，正是这些缺陷为各种攻击提供了条件，如：i p 协 议在数据传输中没有进行加密和身份验证，攻击者可以进行源地址伪装； 攻击者还可以利用t c p 的三次握手进行s y nf l o o d 攻击等。 1 1 2 软件自身的漏洞 程序员的一个疏忽，或设计中的一个缺陷都将导致漏洞的产生。尤其 当软件系统规模的不断增大，系统中的安全漏洞或“后门”更是不可避免 地存在。与此同时，漏洞的发现技术趋于自动化和智能化，直接导致了漏 洞的发现数量剧增。美国计算机安全公司s y m a n t e c 在两年一次的报告中 指出，2 0 0 5 年上半年，来自各个方面所公布的计算机软件漏洞多达1 8 6 2 个。与2 0 0 4 年下半年相比，漏洞数量增长了3 1 ；比去年同期增长了4 6 ，并且漏洞中9 7 的被认定影响严重，7 3 容易被黑客利用l lj 。 重庆邮电大学硕士论文 第一章绪论 1 。1 3 管理的疏忽 网络系统的管理是企业、机构以及用户免受攻击的重要措施。事实上， 很多企业、机构以及用户的网络或系统都疏于这方面的管理。据i t 界企 业团体i t a a 的调查显示，美国9 0 的i t 企业对黑客攻击准备不足。目 前7 5 一8 5 的网站都无法定位黑客的攻击，约有7 5 的企业网上信息 失窃。 1 1 4 黑客的入侵 黑客通常利用系统的漏洞，逐步提升权限，直至获取系统控制权。图 1 1 为黑客入侵模型图，该图大致描述了黑客入侵系统的一般步骤和方法。 显然黑客所用的技术远不止这些，新的技术还在不断被创新。 广怠一尸 + l j l 一广】l 一 + i 发i蒜意邮件l d o s 攻击hl 攻击同络服务ll 远程口令猜解ll 获取网络资源j 其它手段，j l l 垂夏茎亘卜 9 恒型i 囱匦壶卧 l 厦粤i 压越吲豳审幽匦氢匦氢 耳矗翮臣赤翮r i i = 羽。 1 1 5 网络内部攻击 图1 1 黑客入侵模型图 行为模块 “外紧内松”是一般局域网络的特点，在防火墙严密防守的网络内部 2 重庆邮电大学硕士论文 第一章绪论 也可能会是一片混乱。一旦木马，病毒从网络内部传播开来，防火墙将形 同虚设。如通过社会工程学发送带木马的邮件、带木马的u r l 等方式， 然后由中木马的机器主动对攻击者连接，将瞬间破坏铁壁一样的防火墙。 另外，对于防火墙内部各主机间的攻击行为，防火墙无能为力2 1 。 1 2 主要防范技术 针对上述网络安全威胁，已经出现了一些行之有效的防范技术，主要 包括： 1 2 1 防火墙技术 防火墙( f i r e w a l l ) 是指设置在不同网络( 如可信任的企业内部网和不 可信的公共网) 或网络安全域之间的一系列部件的组合。它是不同网络或 网络安全域之间信息的唯一出入口，能根据安全策略控制( 允许、拒绝、 监测) 出入网络的信息流，且本身具有较强的抗攻击能力。它是提供信息 安全服务，实现网络和信息安全的基础设施。从防火墙的软、硬件形式来 分，防火墙可以分为软件防火墙和硬件防火墙。软件防火墙运行于特定的 计算机上，它需要客户预先安装好的计算机操作系统的支持，一般来说这 台计算机就是整个网络的网关：芯片级防火墙基于专门的硬件平台，没有 操作系统。专有的a s i c 芯片促使它们比其他种类的防火墙速度更快，处 理能力更强，性能更高pj 。 从防火墙技术来分，可以分为包过滤型和应用代理型两大类。包过滤 型防火墙工作在o s i 网络参考模型的网络层和传输层，它根据数据包头源 地址，目的地址、端口号和协议类型等标志确定是否允许通过。只有满足 过滤条件的数据包才被转发到相应的目的地，其余数据包则被从数据流中 丢弃；应用代理型防火墙是工作在o s i 的最高层，即应用层。其特点是完 全“阻隔”了网络通信流，通过对每种应用服务编制专门的代理程序，实 现监视和控制应用层通信流的作用【4 】。 1 2 2 入侵检测技术 入侵检测系统( i d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 是对防火墙及其有 益的补充，能够帮助网络系统快速发现网络攻击的发生。扩展了系统管理 重庆邮电大学硕士论文 第一章绪论 员的安全管理能力( 包括安全审计、监视、进攻识别和响应) ，提高了信 息安全基础结构的完整性。它从计算机网络系统中的若干关键点收集信 息，并分析这些信息，看看网络中是否有违反安全策略的行为和遭到袭击 的迹象。入侵检测被认为是防火墙之后的第二道安全闸门，在不影响网络 性能的情况下能对网络进行监听，从而提供对内部攻击、外部攻击和误操 作的实时保护。 入侵检测系统的主要功能有：监测并分析用户和系统的活动；核查系 统配置和漏洞；评估系统关键资源和数据文件的完整性；识别已知的攻击 行为：统计分析异常行为：操作系统日志管理，并识别违反安全策略的用 户活动。 一股来说，入侵检测系统可分为主机型和网络型。主机型入侵检测系 统往往以系统同志、应用程序同志等作为数据源，当然也可以通过其他手 段( 如监督系统调用) 从所在的主机收集信息进行分析。主机型入侵检测 系统保护的一般是所在的系统，网络型入侵检测系统的数据源则是网络上 的数据包，它担负着保护整个网段的任务【5 】。 1 2 3 加密机制 加密是一种最基本的安全机制，它能防止信息被非法读取，是一种在 网络环境中对抗攻击的有效的安全机制。数据加密是保护数据的最基本的 方法，但这种方法只能防止第三者获取真实数据，仅解决了安全问题的一 个方面，而且机密机制并非牢不可破。 1 2 4 访问控制机制 访问控制机制是按照事先确定的规则来决定主体对客体的访问是否 合法。当一个主体试图非法使用一个未经授权使用的客体( 资源) 时，访 问控制功能将拒绝这一企图，并可附带报告这一事件给审计跟踪系统，然 后产生一个报警或形成部分追踪审计。 1 2 5 数据完整性校验 数据完整性机制是指对所有需要保护的文件计算出一个数字摘要并 将它保存，过一段时间后，再对文件计算出数字摘要，用当前值和保存值 4 重庆邮电大学硕士论文 第一章绪论 做比较来判断文件是否遭到修改。文件的数字摘要可以通过h a s h 函数计 算得到。h a s h 函数是一个单向函数，产生一个固定长度的数字。h a s h 算 法从数学上保证，不同的文件几乎不可能得到相同的数字摘要。常用的算 法有m d 5 ，s h a 等算法。 1 3 网络流分析的重要性 在诸多防范技术中，网络流分析是极为有效的方式之一。黑客的一切 攻击和用户的网络活动都必须通过网络来进行，因此网络流中记录了黑客 入侵的所有信息，包括入侵的方法，还包括可以定位入侵对象的信息。通 过专业分析，可从网络流中解析出这些信息，作为证据。通过网络流实时 分析的方式还能做到实时检测和响应，一旦发现入侵行为就立即中止攻 击，这些特点决定了网络流分析在网络安全防范中具有不可替代的重要 性。 1 4 本文工作 本文深入分析了两种常见网络流分析系统一网络入侵检测系统和网 络行为审计系统。发现它们存在诸多相似之处。本文基于这些相似之处， 采用面向对象的思想进行分析和设计，最终得到一个可重用的构架。基于 该构架可以快速开发出高效的网络流分析系统，节约开发的资源，减少开 发的周期。文章在第五章，对一个基于该构架开发的网络行为审计系统进 行了部分功能测试和性能测试，取得了很好的效果。实践证明，本文所设 计的通用构架是具有价值的。 重庆邮电大学硕士论文 第二章网络入侵检测概论 第二章网络流分析系统概述 网络流分析系统，是指通过分析网络流中的内容来进行一系列操作的 系统。常见的网络流分析系统有：网络入侵检测系统( n e t w o r ki n t r u s i o n d e t e c t i o ns y s t e m ) 和网络行为审计系统。它们以网络流作为分析的数据源， 只是分析的侧重点，以及对分析后数据的处理不同而己。下面将对这两种 系统进行简单介绍。 2 1 网络入侵检测系统 网络入侵检测是入侵检测的一种。根据被检测对象可将入侵检测系统 分为两类：基于主机的入侵检测系统h i d s ( h o s ti n t r u s i o n d e t e c t i o ns y s t e m ) 和基于网络的入侵检测系统n i d s ( n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ) 。 首先被应用的h i d s ，但随着计算机网络技术的发展，单独依靠主机审计 信息进行入侵检测难以适应网络安全的需求，因此人们提出了基于网络入 侵检测的体系结构。这种检测系统根据网络流量，网络数据包和协议等网 络特征来检测入侵。它的优势在于： 1 通过网络监听的方式获取信息。由于监视器所做的工作仅仅是从 网络中读取传输的数据包，因此对受保护系统的性能影响很小或几乎没 有，并且无须改动原先的系统和网络结构，只需在网络中添加一个网络监 视器即可。 2 网络监视器对网络中用户是透明的，降低了监视器本身遭受入侵 者攻击的可能性。 3 网络监听相对于基于主机的i d s 更容易检测某些网络协议的攻击 方法。典型的是通过向目标主机发送畸形的和大量的网络包从而造成d o s 攻击的方法。 4 网络监视器可以针对一个网络段的数据进行入侵分析，与受保护 主机的操作系统无关。 2 1 1 入侵检测模型介绍 1 i d e s 模型 6 重庆邮电大学硕士论文 第二章网络入侵检测概论 该模型由d o r o t h yd e n n i n g 在1 9 8 6 年提出1 6 1 。它对此后的大部分检测 模型具有很高的借鉴价值，但其缺点是没有包含已知系统漏洞或攻击方法 的知识，而这些知识在许多情况下却非常有用。下图为该模型的体系结构： 图2 1d e n n i n g 入侵检测模型 该模型包括6 个主要的部分： 主体( s u b j e c t s ) ：启动在目标系统上活动的主体，如用户。 对象( o b j e c t s ) ：系统资源，如文件，设备，命令等。 审计记录：由 构成的六元组。其中a o t i o n 是主体对目标 的操作；e x c e p t i o n c o n d i t i o n 是指系统对主体该动作的异常报告； r e s o u r c e u s a g e 表示系统的资源消耗情况；t i m e s t a m p 表示活动发生时间。 活动简档：用以保存主体正常活动的有关信息，其具体实现依赖于检 测方法。 异常记录：由 组成，表示异常事件的发 生情况。 活动规则：规则集是检测入侵是否发生的处理引擎。它基于活动简档， 并采用专家系统或统计方法等方法来分析接收到的审计记录，调整内部规 则或统计信息，在判断有人入侵发生时采取相应的措施。 2 c i d f 模型 公共入侵检测框架c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ) ， 是在i d e s 和n i d e s 的基础上提出的一个通用模型。其目的是为了解决不 同入侵检测系统问的互操作性和共存问题。c i d f 将入侵检测系统分为四 个基本组件：事件产生器，事件分析器，响应单元和事件数据库。其结构 如下图所示： 7 重庆邮电大学硕士论文 第二章网络入侵检测概论 图2 2 入侵检测系统c i d g 模型 c 1 d f 将入侵检测系统需要分析的数据统称为事件( e v e n t ) ，它可以是 基于网络的入侵检测系统中网络中的数据包，也可以是基于主机的入侵检 测系统从系统日志等其他途径得到的信息。它也对于各部件之间的信息传 递格式、通信方法和标准a p i 进行了标准化。其各组件介绍如下： 事件产生器( e v e n tg e n e r a t o r s ) ：从入侵检测系统之外的计算机环境中 收集事件，并将这些事件转换为c i d f 的g i d o 格式传送给其它组件。 事件分析器( e v e n ta n a l y z e r s ) ：分析从其他组件受到的c i d o ，并将 产生的新g i d o 再传送给其它组件。 事件数据库( e v e n td a t a b a s e s ) ：用来存储g i d 0 ，以备系统需要的时 候使用，它可以是复杂的数据库，也可以是简单的文本文件。 响应单元( r e s p o n s eu n i t s ) ：处理接受到的g i d o ，并据此采取相应的 措施。可以是杀死进程，切断连接、改变文件属性等自我保护，也可以只 是简单的报警，甚至对攻击者的发起反击。 2 1 2 入侵检测技术介绍 入侵检测系统可以采用两种类型的检测技术：异常检测( a n o m o l y d e t e c t i o n ) 和误用检测( m i s u s ed e t e c t i o n ) 。 1 异常检测 异常检测也被称为基于行为的检测，基于行为的检测是指根据使用者 的行为或资源使用状况来判断是否入侵。基于行为的检测与系统相对无 关，通用性较强。它甚至可能检测出以前从未出现过的攻击方法，不像基 于知识的检测那样受已知脆弱性的限制。系统首先从数据中抽取事件特征 值，通过事件特征值对事件行为进行综合统计分析，建立正常行为模型， 重庆邮电大学硕士论文 第二章网络入侵检测概论 并定义正常行为判断的阂值。检测时，将系统检测到的行为与预定义的正 常行为比较，得出是否存在被攻击的迹象。其模型如下图所示： 图2 3 异常检测模型 该检测技术有如下特点：基于异常检测的入侵检测系统可以检测到未 知的入侵行为和复杂的入侵行为，能降低漏报率。但其缺点是只能识别出 那些与正常行为有较大偏差的行为，而无法知道具体的入侵情况。由于正 常行为模型相对固定，因此异常检测技术对网络环境的适应性不强，误报 的情况比较多，且不适应用户正常行为突然改变的情况。常用方法有： 统计分析。概率统计方法是基于行为的入侵检测中应用最早也是最多 的一种方法。首先，检测器根据用户的动作为每个用户都建立一个用户特 征表，通过当前特征与已存储定型的以往特征，从而判断是否是异常行为。 用户特征表需要根据审计记录情况不断地加以更新。其不足之处在于，统 计检测对事件发生的次序不敏感，其次，难以定义入侵的判断阈值，太高 则会增加漏检率，太低则增加误检率。 神经网络。神经网络的引入对入侵检测系统的研究开辟了新的途径， 由于它有许多优点，如自适应性，自学习的能力，因此，在基于神经网络 的入侵检测系统中，只要提供系统的审计数据，它就可以通过自学习从中 提取正常的用户或系统活动的特征模式，而不必对大量的数据进行存取， 精简了系统的设计。基于神经网络的检测方法具有普遍性，可以对多个用 户采用相同的检测措施。神经网络适用于不精确模型，统计方法主要依赖 用户行为的主观设计，所以此时描述的精确度很重要，不然会引起大量的 误报。入侵检测系统可以利用神经网络的分类和识别能力，适用于用户行 为的动态变化特征。但基于神经网络的入侵检测系统计算量大，将影响其 实时性，可以采用和其他的技术相结合，来构建入侵检测系统。 、 9 重庆邮电大学硕十论文 第二章网络入侵检测概论 2 误用检测 误用检测也被称为基于知识的检测，它指运用已知攻击方法来定义入 侵模式，然后通过判断这些入侵模式是否出现来检测。其模型如下图所示： 图2 4 误州检测模型 该检测技术有如下特点：由于根据每一种已知攻击制作签名，因此能 够有效地检测已知的攻击。但是对于未知攻击，或己知攻击的变种去无能 为力。常用方法有： 模式匹配。模式匹配就是将收集到的信息与已知的网络入侵和系统误 用模式数据库进行比较，从而发现违背安全策略的行为。该过程可以很简 单，如通过字符串匹配发现一个简单的条目或指令，也可以很复杂，如利 用形式化的数学表达式来表示安全状态的变化。模式匹配方法的一大优点 是只需收集与入侵相关的数据集合，可以显著减少系统负担，检测的准确 率和效率比较高。 专家系统。将有关入侵的知识转化成i f - t h e n 结构的规则，即将构成入 侵所要求的条件转化为i f 部分，将发现入侵后采取的相应措施转化为t h e n 部分。当其中某个或某部分条件满足时，系统就判断为入侵行为发生。其 中的i f - t h e n 结构构成了描述具体攻击的规则库，状态行为及其语义环境可 根据审计事件得到，推理机根据规则和行为完成判断工作。 2 2 网络行为审计系统 现今在互联网上的万千信息中，常常夹杂着一些不良内容，它们给社 会带来相当大的“不良信息冲击”。其中“色情”、“邪教”、“毒品”等不 良信息的危害更是不言而喻。但是不能因为这些不良信息，就把网络断开， 这不是解决问题的方法。理想的情形是：即能充分利用互联网带来的便捷， 1 0 重庆邮电大学硕士论文 第二章网络入侵检测概论 又受到不良信息的影响。 网络行为审计系统通过监控用户的上网行为、以及对网络资源进行访 问控制来防止网络中不良信息的传播。审计者可以自定义审计的策略，当 发现用户在访问网络时违反了这些策略时，审计系统将自动执行策略中预 先指定的动作。 网络行为审计系统主要是对应用层协议进行审计。下面将针对各种常 见协议进行详细描述。 2 2 1h t t p 审计 h t t p ( h y p e r t e x tt r a n s f e rp r o t o c 0 1 ) 是超文本传输协议的缩写，它用 于传送w w w 方式的数据引。 用户使用h t t p 协议时，有三种行为：浏览网页，上传文件，下载文 件。于此对应的，有三种审计：网址审计，网页内容审计，文件审计。其 中文件审计包括文件名和文件大小两部分。 2 2 2f t p 审计 文件传输协议规范( f t p ) 1 8 1 提供了一种允许客户端建立f t p 控制连 接并在两台f t p 服务器间传输文件的机制，是用于文件传输的i n t e r n e t 标 准1 9 i 。 用户使用f t p 协议时，有两种行为：上传文件和下载文件。文件是鲫 审计的关键。对文件的审计包括：文件名，文件大小。 2 2 3 邮件审计 邮件协议包括s m t p 协议和p o p 3 协议。其中s m t p ( s i m p l em a i l t r a n s f e rp r o t o c 0 1 ) 【m 】：电子邮件从客户机传输到服务器或从某一个服务器 传输到另个服务器使用的传输协议；p o p 3 ( p o s to f f i c ep r o t o c o l3 ) 】即 邮局协议的第3 个版本，它规定怎样将个人计算机连接到i n t e r n e t 的邮件 服务器和下载电子邮件的电子协议。 用户使用邮件协议，有两种行为：接受邮件，发送邮件。审计的内容 包括：接收地址，发送地址，邮件标题，邮件内容，附件名，附件内容。 重庆邮电大学硕士论文 第二章网络入侵检测概论 2 2 。4 聊天审计 m s n ”1 和q q 是常见的即时通讯协议。用户行为：登录，注销，接受 消息，发送消息。审计内容包括：登录时间，注销时间，聊天内容。 2 2 5 流媒体审计 r t s p 全称r e a l t i m es t r e a m i n gp r o t o c o l ( 实时流协议) 1 1 3 】，r t s p 协 议是由r e a l n e t w o r k s 和n e t s c a p e 共同提出的，通过该协议可以将媒体文 件借助于i n t e r n e t 传送到r e a l p l a y e r 中，并能有效地利用网络带宽，传输 的一般是r e a l 服务器发布的媒体文件，比如r m 、r a m 。上述的三个下载 软件同样支持r t s p 协议。 用户使用该协议只有一种动作：播放流媒体。审计的内容为：流媒体 所在网址，媒体文件名以及文件大小。 2 3 网络流分析系统的通用特性 通过对上面两种网络流分析系统的描述，可知这类系统有许多相似之 处。下面将从三个方面来进行介绍。 2 3 1 网络流分析系统的基础 在计算机网络系统中，局域网普遍采用的是基于广播机制的 i e e e 8 0 2 3 协议，即以太网( e t h e r n e t ) 协议。该协议保证传输的数据包能 被同一冲突域内的所有主机接收，网络流分析系统正是利用了以太网的这 一特性，采集在网段中传播的网络数据流，并以此作为实时分析的数据源。 以太网卡通常有两种工作模式：正常模式( n o r m a lm o d e ) 和混杂模式 ( p r o m i s c u o u sm o d e ) 。在正常模式下，网卡每接收到一个到达的数据包， 就会检查该数据包的目的地址，如果是本机地址或广播地址，则接收该数 据包并放入缓冲区，而其它目的地址的数据包则直接丢弃。混杂模式的工 作方式则不同，在此模式下，网卡可以接收在本网络段内传输的所有数据 包，无论这些数据包的目的地址是何处。网卡的工作原理如2 5 图所示： 1 2 重庆邮电大学硕士论文 第二章网络入侵检测概论 接收喇络数据包 解析出网络数据包 的m a c 地址 晰是古是奉地接 件地址或足j 插 兰 否 丢弃网络数据包 墨j 盏差嚣：裂曩 据包 叫轰端爱：裂薪 有色 图2 5 网卡工作原理 2 3 2 网络流分析系统的部署 网络流分析系统只能采集流经它的网络数据，它的这种采集方式，导 致了网络环境的不同，其部署也会不同，常见的部署有： 1 。h u b 环境 h u b 是共享型设备，当一个端口向另外一个端口发送数据时，数据同 时会被发送到其它端口，因此将监测机连接到h u b 的任意一个端口即可对 连接到h u b 的所有主机进行监测。缺点是在繁重的网络中，h u b 的效率十 分低下。h u b 适合在局域网络部署监控。其部署如图2 6 所示： 1 3 铷眦否怒、 重庆邮电大学硕十论文 第二章网络入侵检测概论 i n t e r a c t 图2 6 h u b 环境部署 2 s w i t c h 环境 交换机的核心芯片上一般都有一个用于调试的端口( s p a np o r t ) ，任何 其它端口的进出信息都可从此得到。因此将监测机连接到该端口即可监测 连接在交换机下的所有网段。缺点是采用此端口会降低交换机的性能。其 部署如图2 7 所示： i n t e r n e t 图2 7s w i t c h 环境部署 3 s w i t c h + h u b 环境 对于没有镜像功能的交换机，可与h u b 联合进行部署，如图2 8 所示： 1 4 重庆邮电大学硕士论文第二章网络入侵检测概论 i n 比r ，辩l 图2 8h u b + s w i t c h 环境部署 4 t a p 网络分接头( n e t w o r kt a p ) 可安装在任意两台网络设备( 如交换机、 路由器和防火墙) 之间，作为用于采集联机数据的任何监测设备的接入接 口，包括入侵监测，协议分析，拒绝服务和远程监测工具等。其优点是不 会影响网络的传输性能，但缺点是必须购买昂贵的t a p 设备。其部署如图 2 9 所示： 幽2 9 t a p 典型应用环境 5 网关 如果需要分析某个网络中所有的数据包，可在网关等网络数据流的关 键入口、出口部署监测系统，缺点是需和其他厂商紧密合作，且会降低网 络性能。其部署如图2 1 0 所示： 重庆邮电大学硕士论文第二章网络入侵检测概论 图2 1 0 部署于网关 6 分布式 该部署适合进行覆盖不同网段的大规模网络检测。它主要包括两部 分：监测代理a g e n t 和监测中心c m c ( c o n t r o la n dm o n i t o rc e n t e r ) 。其 中a g e n t 直接连接、运行于被监控网络，能同时并发、实时地对多个子网 进行监控，接收由监控中心传来的命令，回送运行结果。c m c 被部署在中 心交换机上，它作为网络管理员系统控制台，对各a g e n t 实施远程控制， 完成参数配置、协议分析、故障查找、远程升级等操作，并实时收集日志 和告警，存储在数据库中，同时完成统计分析、报表生成、打印输出功能。 c m c 还可根据网络流量情况选取一台专有服务器，或前后台分离结构，后 台作为数据库集群，专门用来处理海量网络数据。其部署如图2 1 l 所示： 监删帆a 肛“ 一口* 镕 一n * 图2 1 1 分布式部署 1 6 重庆邮电大学硕士论文 第二章网络入侵检测概论 2 3 3 未来的变化 随着科技和生产技术的进步，导致网络飞速发展，网络流分析系统面 临着巨大的挑战。“变则通，通则久”，要生存就必须改变自己来适应这些 变化。目前可预见的变化主要有： 千兆网络。当今常见的网络流分析系统对网络数据包的处理能力只有 数十兆。这样的处理能力在高速网络中会发生丢包现象。 协议分析。现在越来越多的应用层协议涌现，因此好的网络流分析系 统必须能够快捷、灵活地提供对新协议的支持。只有这样，才能更全面了 解网络环境。 分布式。传统的网络流分析系统局限于单一的网段，不适合对异构系 统及大规模的网络数据流进行分析，不同的网络流分析系统之间以及与其 它网络系统不能协调工作。为了解决这一问题，需要采用分布式的分析技 术。 会话的加密。目前通过加密通道进行操作的协议尚不多，但随着i p v 6 的普及，这个问题会越来越突出，因此对数据流分析系统而言，这将是最 大的挑战。 2 4 设计前的调研 各种网络流分析系统间有诸多相似之处，如果可以将这些相似抽象出 来，设计为一个通用的构架，那么各种网络流分析系统就可基于该框架进 行快速开发，同时不用考虑底层实现细节，而只需专注于自己的工作。 在开始设计之前，阅读了该类系统的一些相关实现代码，发现其中存 在一些问题，主要体现在以下几点。 2 4 1 面向过程开发相关问题 早期开发的网络流分析系统，由于受到s n o r t “1 等优秀开源项目的影 响，大多采用了面向过程的开发方式。面向过程的设计方法是对现实世界 的简单抽象，它通常按照软件功能特性，以函数为单位对系统进行分解， 直到仅剩下若干个容易实现的子功能为止，然后自下而上逐一实现分解到 各层的功能。因此，结构化方法是围绕实现处理功能的“过程”来构造系 1 7 重庆邮电大学硕士论文 第二章网络入侵检测概论 统的。然而用户需求的变化大部分是针对功能的，这种变化对于基于过程 的设计而言无疑是灾难性的。然而面向过程开发也并非一无是处，当程序 规模较小时，则不需要对程序结构进行过多的分解，也没有必要考虑扩展 和复用性。这时面向过程开发就是最好的设计方法，但当系统的规模达到 一定程度时，就会呈现出很多问题l l5 】： 大量全局变量。在结构化程序设计语言中，函数可以不受限制地访问 全局变量，多个函数争相访问同一个全局变量时，代码的逻辑就很容易陷 入混乱。对于一个较大的程序来说，我们可能没有办法搞清楚究竟有多少 函数需要访问这些全局变量，这时，如果需要修改某个全局变量，则必须 检查和调整系统中所有相关函数，这一类改动不但工作量巨大，而且容易 因疏忽、遗漏而犯错误。 函数间的强耦合。从本质而言，结构化程序设计语言的复用机制非常 有限，设计者往往要通过提取公共函数的方法来增强软件模块的复用性。 如果为了减少代码重复而不断提取公共函数的话，系统内的函数数量就会 迅速增长，函数之间的调用关系也会变得繁冗不堪，甚至形成一个错综复 杂的大网。 大量回调函数。作为一个可扩展的系统，我们必须提供一种机制，使 用户能容易地定义系统无法确定的某些处理步骤，以补全或扩展系统的功 能。在结构化的程序设计语言里，回调函数是唯一可行的方法。但是，所 有回调函数都是独立的、与模块或数据无关的全局函数，就像全局变量一 样，过多的回调函数也会将系统搅得一团糟。 2 4 2 面向对象开发相关问题 随着时间的推移，以及软件技术的发展，c + + j a v a 等面向对象语言 逐步被应用到网络流分析系统的开发中。但在代码的阅读过程中，却发现 了“类是一个框，什么都往里装”的现象。究其根源，就是一边使用c + + 之类的面向对象语言，而一边则还在沿用结构化开发思想。同时，也出现 了另外一种极端现象：把类的粒度划分得过小，甚至有些类的功能，只需 一个函数就可实现，那么当面向对象的设计方案随着需求的增加而逐渐膨 胀时，系统中类的数量必然不断增多。如果不小心处理，类和类之间的耦 合关系也将像面向过程方法中函数和函数间的耦合关系一样杂乱无章、难 于管理。由于对面向对象技术的理解偏差，造成了开发或维护的困难，于 是人们将问题转而归罪于面向对象技术，并且这种误解一直持续了很长一 重庆邮电大学硕士论文 第二章网络入侵检测概论 段时间。 2 4 3 设计方法的选择 面向过程和面向对象作为两种常见的设计方法，各有利弊。设计方法 没有优劣之分，只有是否合适的区别。无论是面向过程还是面向对象，只 要有效满足项目需求，适合项目的具体特点，就是最好的设计方法。但就 软件开发领域的发展而言，采用面向对象技术是软件开发的必然趋势。随 着当今世界对软件系统的需求日益增长，开发的系统也变得越来越庞大， 软件开发技术的发展方向开始逐步从“提升被开发系统的执行效率”转变 为“提升开发效率”。面向对象技术降低了解决方案域( 计算机) 和问题 域之间的差别，提供了良好的复用机制，能够更加有效地提高软件的开发 效率，完全顺应了软件开发技术的发展方向。 1 9 重庆邮电大学硕士论文 第三章系统分析和设计 3 1 系统设计目标 第三章系统分析和设计 成功的软件设计应具有以下几个明显特性： 功能性：系统必须能够正确运行所要求完成的功能，这也是其得以存 在的原因。 易扩展：良好的设计必须能应对变化，因为用户总是有着各种需求， 事实证明，几乎所有的软件在它们的生命周期中都要变化，良好的设计能 保证这种改变尽可能简单，一个难以改变的软件是拙劣的。 易重用：良好的设计，其模块可以不经修改或稍加修改便可被利用到 其它工程中，降低开发成本，提高生产力。 易维护：良好的设计，其代码能和阅读它的人进行沟通，即使对该模 块不熟悉的开发人员也能够比较容易地阅读并理解它。 易测试：良好的设计，能方便的测试其各个模块。如果软件各模块间 存在强耦合，则在测试一个模块时将不得不包括其它无关模块，这种难以 测试的系统，其设计也是拙劣的。 因此本文所要设计的网络流分析系统的通用构架，需要以这些特征为 设计目标，同时还需考虑如何应对该类系统未来所面l 临的变化，如千兆的 网络环境、灵活添加对新协议的解析等问题。 3 2 系统分析 任何软件的设计都是从需求分析开始，需求可能包括人们如何使用应 用的情节或场景，这些场景可以被编写成用例( u s ec a s e ) 。在明白软件所 要实现的功能后，开始进入面向对象分析阶段。该阶段的工作是在需求分 析的基础上，发现并描述问题领域内的对象( 或概念) ，然后从对象的角 度创建领域模型( d o m a i nm o d e l ) ，并鉴别重要的概念，属性和关联。领域 模型展示了重要的领域概念或对象。但需要注意的是，领域模型并不是对 软件对象的描述，而是对真实世界领域中的概念和想象的可视化i l ”。 2 0 重庆邮电大学硕士论文 第三章系统分析和设计 3 。2 1 功能描述 网络流分析系统的处理逻辑可以抽象为一个简单的过程：首先进行网 络数据捕获，然后分析所捕获的数据，接着根据己定义的规则库，对分析 后产生的结果进行审计，当满足某个条件时，触发相应的动作。这个过程 如图3 1 所示： 露翠 审匹 图3 1 过程抽象图 图3 1 将这个过程划分为了几个模块，下面将对其进行详细描述： 1 网络数据采集。该模块负责从网络中捕获网络数据，然后交由网 络数据处理分析模块来进行处理。一般而言，网络流分析系统通常采用专 门为网络数据监听而设计的开发包l i b p c a p w i n p c a p 【1 7 】来进行网络数据包 的捕获。 2 网络数据分析。该模块是网络流分析系统中的核心部分极为重要 的部分。在该模块中，需要对捕获的所有数据包进行预处理，预处理有两 个主要职责1 ) 屏蔽具体的网络环境，如e t h e r n e t 、v l a n 和p p p o e 等；2 ) 尽可能过滤无用数据，仅仅保留应用处理模块所需要的数据。接着将预处 理后的数据包按协议特征进行分类，然后针对不同的网络协议来进行具体 分析。系统的响应速度不能太慢，否则将导致大量丢包。就现在的技术而 言，在系统中设置缓冲池是解决该问题的常见方法。 3 审计。网络流分析系统在对具体的协议数据进行分析后，通常会 将分析的结果提交给某个模块进行进一步处理，或者入侵检测，或者行为 审计等，否则协议分析将毫无意义。因此将该模块抽象为审计模块，审计 的依据是用户定义的策略或者己知网络入侵规则库。 2 1 重庆邮电大学硕士论文 第三章系统分析和设计 4 规则。模块的功能是从规则库中读取所有规则。因为在分