（通信与信息系统专业论文）内部网络用户行为监控技术的研究与实现.pdf

网l l | 大学硕十学位论文内瓤啊络晖i 户行为监控技术的研究与实现 内部网络用户行为监控技术的研究与实现 通信与信息系统专业 研究生熊帆指导教师周安民 摘要 随着互联网的飞速发展，人们的生活、工作和学习与互联网的联系越来越 紧密，它已成为人们实现资源共享和信息交流的最重要传播媒介，从单一的行 业互联网发展成为深入我国各行业的社会大众的互联网。它在如此众多领域得 到了广泛的应用，其功能日益强大但复杂性也随之提高。一方面给用户带来了 方便，另一方面使得维护和保证网络安全变得困难，网络安全方面的问题也越 来越突出。 虽然人们在如何有效地维护网络安全方面进行了大量的研究，也开发出了 比如防火墙、入侵检测系统等安全防范系统，建立起内部网络与外部网络之间 的基于防火墙和i d s 的安全防范体系，使内部网络免遭来自外网的攻击。然而， 这种安全体系是建立在内部网路是安全的、可信赖的前提之下的。可是，在已 发生的网络安全事件中，7 0 的攻击是来自内部，因此内部网络的安全风险更严 重。 通过对网络监控技术与原理的剖析以及对含有敏感信息文本的过滤的研 究，本文给出了内部网络监控的一种比较完善的解决方案一内部网路用户行为 监控技术的研究与实现，实现了内部网络用户行为监控系统的研发。该系统采 用旁路接入模式，以及分布式集中管理的架构，通过网络监听方式实时对内部 网络应用数据进行监控和管理。 本文首先在对t c p ，协议进行了深入剖析的基础上，探讨了研制内部网络 用户行为监控系统的技术和方法。 其次，从提高监控性能的角度出发，讨论了w i a p c a p 的体系结构，分析了 四川大学硕士学位论文 内部网络耳i 户行为监控技术的研究与实现 基于w i n p e a p 捕获网络数据报的可能性和易用性。 接着，给出了内部网络用户行为监控系统的详细设计，由两大部分组成： 监控瑞子系统和管理端子系统，首先从设计原则上描述了性能和功能指标。然 后从系统组成、运行环境和支撑平台三个方面阐述了系统运行平台。其次详细 讲述了系统总体设计，包括总体框架、系统结构和工作流程。接着详细描述了 管理端子系统与监控端子系统的各个子模块的设计和实现过程，主要有管理器 模块；数据采集模块；i p 分片重组、还原模块；t c p 还原模块；应用协议还原 模块；内容文本分析模块；阻断模块；通信模块等。然后给出了系统测试与结 果分析。 最后，论文给出了作者下一阶段研究的方向和对未来内部网络用户行为监 控技术前景的展望。 关键词：内部网；用户行为；网络安全；旁路接入；w i n p c a p ；实时监控 n 四川大学硕士学位论文内部啊络田户行为监控技术的研究与实现 r e s e a r c ha n di m p l e m e n t a t i o no fm o n i t o r t e c h n i q u e so f n e t w o r ku s e r s b e h a v i o r so ni n t m n e t m a j o r ：c o m m m l i c a f i o na n d i n f o r m a t i o ns y s t e m p o s t g r a d u a t e ：x i o n g f a n a b s t r a c t a l o n gw i t ht h er a p i dd e v e l o p m e n to f i n t c r n c t , o u rl i f e ，w o r ka n ds t u d ya r cm u c h t i g h t e rw i t hi n t e m e tt h a nb e f o r e i th a sb e c o m et h em o s ti m p o r t a n tt r a n s m i s s i o n m e d i u mo fr e s o u r c es h a r ea n di n f o r m a t i o ni n t e r c o m m t m i c a t i o mi th a sb e c o m et h e p e r v a s i v ei n t e m e to f p e o p l ei nd i f f e r e n ti n d u s t r i e so f o u rc o u n t r yf r o mt h eo n e o f t h e s i n g l ei n d u s t r y i th a sg o t t e ne x t e n s i v ea p p l i c a t i o n si ns om a n yf i e l d s ，a n dt h e f u n c t i o n sa l es t r o n g e ra n ds t r o n g e ri ne v e r yd a yw h i l et h ec o m p l e x i t yi n c r e a s i n g o n t h eo n eh a n d , i tb r i n g sc o n v e n i e n c et ou s e r s ，o nt h eo t h e rh a n d , i tm a k e si td i f f i c u l tt o m a i n t a i na n dp r o v et h en e t w o r ks e c u r i t y a n dt h ep r o b l e m so ft h en e t w o r ks e c u r i t y a r em o r ea n dm o r ep r o m i n e n t a l a r g en t m a b e ro fr e s e a r c h e sh a v eb e e nd o n et of i n do u th o wt om a i n t a i nt h e n e t w o r ks e c u r i t y e f f e c t i v e l y a n ds e c u r i t ys y s t e m ss u c ha sf i r e w a l l , i n t r u s i o n d e t e c t i o ns y s t e mh a v eb e e nd e v e l o p e d , t h es e c u r i t yp r o t e c t i o na r c h i t e c t u r eo f i n t r a n e ta n di n t e m e tb a s e do nt h ef i r e w a l la n di d sh a sb e e ns e tu pt om a k et h e i n t r a n e tp r e v e n tf r o ma t t a c ko fe x t e r i o rn e t w o r k , h o w e v e r , t h es e t t i n gu po ft h i s s e c u r i t yp r o t e c t i o na r c h i t e c t u r ei sb a s e do nt h ef a c t 血a tt h ei n t r a n c ti ss e a 叮_ ca n d r e l i a b l e a n di nt h en e t w o r ks e c u r i t yc a s e sw h i c hh a v eh a p p e n e d , m o r et h a n7 0 p e r c e n ta t t a c k sa r ef r o mt h ei n t r a n c t s ot h ep o t e n t i a ls e c u r i t yh a z a r d so f h t r a n e ta r c i i i 四川大学硕士学位论文内部网络用户行为监控技术的研究与实现 m u c hm o r e $ c v e l e b yt h ea n a l y s i so f t h en e t w o r km o n i t o rt e c h n o l o g ya n dp r i n c i p l ea n dr e s e a r c ho f t h et e x tf i l t e r i n gw i t hs e n s i t i v ei n f o r m a t i o n , t h i st h e s i sp r o v i d e so n ek i n do f r e l a t i v e l y p e r f e c ts o l u t i o n so fi n t r a n e tm o n i t o r i n g r e s e a r c ha n di m p l e m e n t a t i o no fm o n i t o r t e c h n i q u e so fu s e r s b e h a v i o r so nh t r a n e t , t h er & do fm o n i t o rs y s t e mo fa s c r s b e h a v i o r so ni n t r a n e th a sb e e ni m p l e m e n t e d t h eb y p a s sa c c e s sm o d ea n dt h e a r c h i t e c t u r eo fd i s t r i b u t e dc e n t r a l i z e dm a n a g e m e n ta r ei n t r o d u c e di nt h i ss y s t e m , a n d i tm o n i t o r sa n dm a n a g e st h ea p p l i c a t i o nd a t ao fi n t r a n e tr e a l t i m e l yb yt h en e t w o r k i n t e r c e p t i n gm e t h o d f i r s t , b a s e do nt h ec o m p r e h e n s i v ea n a l y s i so ft c p i pp r o t o c o l s ，t e c h n i q u e sa n d m e t h o d so f m o n i t o rs y s t e mo f u s e r s b e h a v i o r so ni n t r a n e ta r ed i s c u s s e di nt h i st h e s i s s e c o n d , p r o c e e df r o mt h ea n g l eo fi m p r o v i n gt h em o n i t o rp e r f o r m a n c e , t h e a r c h i t e c t u r eo f w i n p c a pi sd i s c u s s e d a n dt h ep r o b a b i l i t ya n df l e x i b i l i t ya r ea n a l y z e d b a s e do nt h ed a t a g r a mc a p t u r eb yw i n p c a p t h i r d , t h ed e t a i l e dd e s i g no fm o n i t o rs y s t e mo fu s e r s b e h a v i o r so ni n t r a n e ti s p r o v i d e d i ti n c l u d e st o wm a j o rp a r t s ：t h em o n i t o rs u b s y s t e ma n dt h em a n a g e m e n t s u b s y s t e m a tf i r s t , t h ep e r f o r m a n c ea n df u n c t i o ni sd e s c r i b e df r o mt h ed e s i g n p r i n c i p l e t h e 也t h es y s t e m a t i co p e r a t i o np l a t f o r mi se x p l a i n e df r o mt h es y s t e m m a k e u p ，r u n n i n ge n v i r o n m e n ta n ds u p p o r tp l a t f o r m a n dt h es y s t e mi n t e g r a t e d d e s i g n , i n c l u d i n go v e r a l lf a m e , s y s t e ma r c h i t e c t u r ea n dw o r k f l o w , i sd e s c r i b e d t h e n i td e s c r i b e st h ed e s i g na n di m p l e m e n t a t i o ne n u r s eo fm a n a g e m e n ts u b s y s t e m sa n d m o n i t o rs u b s y s t e m sm o d u l e si nd e t a i l ，i n c l u d i n gd a t a g r a mc a p t u r em o d u l e , i ps l i c e a s s e m b l e sa n dr e s o l u t i o nm o d u l e ，t c pr e s o l u t i o nm o d u l e , a p p l i c a t i o np r o t o c o l r e s o l u t i o nm o d u l e ，p l a i n t e x td a t aa n a l y s i sm o d u l e , b l o c km o d u l ea n dc o m m u n i c a t i o n m o d u l e t h e n , t h es y s t e mt e s ta n dr e s u l t sa n a l y s i sa r ep r o v i d e di nt h i st h e s i s a tl a s t , i tp o i n t so u tt h ed i r e c t i o nt ot h e 缸$ h e rr e s e a r c ha n df o r e c a s t st h e p r o s p e c to f f u t u r em o n i t o rt e c h n i q u e sd e v e l o p m e n to f u s e r s b e h a v i o r so ni n t r a n e t k e y w o r d s ：h t r a n e t , u s e r s b e h a v i o r , n e t w o r ks e c u r i t y , b y p a s sa e c g s s ，w i n p c a p ， r e a l t i m em o n i t o r i v 四大学研十学位论文 内瓤嘲络田户行为监控技术的铲究与实现 1 绪论 本章主要介绍本文所做工作的背景和意义，列出了所要解决的问题以及取得 的主要研究结论，最后给出全文的内容简介。 ， 1 1 选题背景及研究意义 据中国互联网络信息中心( c n n i c ) 发布的第十六次中国互联网络发展状况 统计报告显示，目前，我国上网用户总数为1 0 3 0 0 万，比去年同期增长9 5 7 ， 如图1 1 1 所示；上网计算机达到4 5 6 0 万台，增长了9 6 1 ，如图i 1 - 2 所示。 c n 下注册的域名总数为6 2 2 5 3 4 个。我国网站总数( 包含c n 、c o m 、n e t 、o r g 下的网站) 约为6 7 7 5 0 0 个。网络国际出口带宽总量为8 2 6 1 7 m ，连接的国家有 美国、俄罗斯、法国、英国、德国、日本、韩国、新加坡、马来西亚等。我国 i p 地址数：大陆i p v 4 地址总数为6 8 3 0 0 0 3 2 个，折合4 a + 1 8 b + 4 5 c ；台湾地区 i n , 4 地址总数为1 5 0 1 7 9 8 4 个，折合2 2 9 b + 4 0 c ；香港特区i p v 4 地址总数为 6 1 1 9 6 8 0 个，折合9 3 b + 9 7 c ；澳门特区i p v 4 地址总数为1 2 7 2 3 2 个，折合 1 b + 2 4 1 c 1 1 。 随着全球信息化进程的发展，人们越来越深刻地认识到，信息是与材料和 能源同等重要的战略资源，是重要的财富和资产，是最活跃的生产要素。信息 资源对经济社会发展的作用日益突出，已成为新的开放环境下政治、经济、文 化和军事等国际竞争的焦点。近年来，信息技术的快速发展为深度开发和广泛 利用信息资源创造了前所未有的条件。互联网就是实现信息共享与开发的新型 平台【2 1 。 经过十年快速的发展，中国互联网已经形成规模，互联网应用走向多元化。 网络不仅从根本上改变着现有的生产结构、产业结构、劳动结构，而且也极大 地影响着人们的生活方式、交往方式、工作方式、学习方式乃至思维方式。同 时，互联网促生的业务像雨后春笋般不断出现，各行各业的信息化应用程度不 断提高，互联网在人民生活的各个方面发挥着越来越大的作用。互联网已经从 单一的行业互联网发展成为深入我国各行业的社会大众的互联网。 四川大学硕士学位论文 内部网络用户行为监控技术的研究与实现 1 0 ；0 0 蝴| 8 7 0 0 为跫 努， 黜矿， 3 3 7 0 警翌 2 0 0 0 1 2 2 0 0 1 0 62 0 0 1 1 2 凇0 6 撇1 22 0 0 3 0 62 0 0 3 1 22 0 0 4 0 6 撇拉2 0 0 5 0 6 图1 卜1 历次调查上网用户总数 4 5 6 0 4 l 弼o 3 0 笃2 鼍7 l 埘! 妒， 暾 ；o 篓，一 2 嘲1 22 0 0 l 0 6 2 0 0 | 1 2 眩* 撇1 2 2 瞄0 62 0 0 3 i 22 0 0 4 * 2 0 0 4 1 22 0 0 5 0 6 图1 1 - 2 历次调查上网计算机总数 随着网络基础设施建设步伐的加快和网络应用的日益广泛，网络用户的数 量不断增多。互联网已经成为人们实现资源共享和信息交流的最重要传播媒介。 在应用方面，随着社会对互联网的认识进一步加深，用户对互联网的应用也逐 渐从传统的浏览新闻、查询信息、收发邮件等方面向更深、更广的领域发展， 电子政务、网上银行、在线购物、网络短信、网络游戏、远程教育等各种网络 应用深入到人们工作、学习和生活的各个角；客【”。 互联网在如此众多领域得到了广泛的应用，其功能日益强大但复杂性也随 之提高。一方亟给用户带来了方便，另一方面使得维护和保证网络安全变得困 难，网络安全方面的问题也越来越突出。网上各种迷信、色情、暴力和反动信 息的有害传播，极大地危害了网络用户的身心健康，对公众利益造成了很大的 损害，虚假信息和网络欺骗行为充斥网络，在这种情况下，对涉密、不良信息、 黄色信息以及反动信息的监视、跟踪、记录和审计，得到了越来越多的重视【4 j ， 防火墙和入侵检测系统( i d s ) 便应运而生。防火墙和 d s 构成的安全体系建立 2 从霎| 蝴 蝴 锄 栅 狮 。 嚣l舢|姗珊撕娜姗跏。 四f | 大学面十学位论文内部网络田户行为监控技术的研究与实现 起内部网络与外部网络之间的安全防范措施，使内部网络免遭来自外网的攻击。 然而，这种安全体系是建立在内部网路是安全的、可信赖的前提之下。可是， 事实却并非如此，据调查统计，已发生的网络安全事件中，7 0 的攻击是来自内 部，因此内部网的安全风险更严重。内部员工对自身企业网络结构、应用比较 熟悉，自己攻击或泄漏重要信息、内外勾结，都将可能成为最致命的安全威胁睁j 。 因此，研究内部网络用户行为的监控技术变得极为迫切，对用于分析、诊 断、测试网络性能和安全性的工具的需求不断增加。这类工具( 本文中将这类 工具称为网络应用监控系统) 可以捕获在网络中传输的任意数据帧，而不管它 的源地址和目的地址。当截获这些数据帧之后，网络应用监控系统根据网络通 信协议对捕获的数据帧进行解析，然后再按既定的策略要求对这些包进行相应 处理，从而实现对网络负载流量情况、网络计算机、网络通讯协议、网络数据 等的监控。另外，通过对这些数据的分析可以了解网络的运行情况，发现存在 的问题和安全隐患。 目前，主要有两种方法从网络上捕获数据，第一种是基于特定的硬件，第 二种是在普通p c 或工作站上用软件实现。后者是用计算机的网络适配器从网络 上获得数据帧，然后用软件对这些捕获的数据进行解析、处理。这种方式相比 第一种方式性能要差，但是它费用低廉，灵活性高，容易修改和升级，因此得 到了广泛的应用。通过对现有的网络监控系统进行分析可知，无论是第一种还 是第二种，按照接入网络的方式可以分为两类：一类是串联接入方式，也称为 网关、路由器模式；如图1 1 3 所示。另一类是并联接入模式，也称为旁路、侦 听模式。如图1 _ 1 - 4 所示【6 1 。 图1 卜3 串联接入方式 3 明大学硕士学位论文内部网络田户行为监拧技术的研究与实现 m o n i t o r 图1 卜4 旁路接入方式 以上两种接入模式针对于监控机( 监控机，安装了网络监控系统软件的p c 机) 来说，其工作方式是孑然不同的。在串联接入方式下，被监控网络出入的 帧要经过监控机的转发，由监控机决定是否对该数据帧进行转发，因此在该接 入方式下，监控机能够在数据链路层和网络层对数据帧进行控制。在旁路接入 方式下，监控机可以获取所在冲突域( 冲突域，连接在同一导线上的所有工作 站的集合，或者说是同一物理网段上所有节点的集合或以太网上竞争同一带宽 的节点集合。这个域代表了冲突在其中发生并传播的区域，这个区域可以被认 为是共享段) 中传输的所有帧，因而可以进行还原。帧从源地址到达目的地址 不需要监控机的转发，监控机不能阻止这些帧到达目的地址f _ ”。本文采用第二种 模式，和第一种模式相比较，采用旁路接入方式不需要对网络拓扑结构进行改 动，对网络用户是透明的，不会对冲突域中的数据帧的传输造成延迟，监控机 的崩溃不会造成内外网络之间通信的瘫痪。 1 2 国内外网络监控技术研究 目前，随着人们对信息安全和网络安全的越来越关注，实时或及时的了解 和掌握受控网络的使用情况和网络中传输的各种数据的要求也越来越高。在这 种情况下，国内外的网络监控系统如雨后春笋般被开发出来。 根据网络监控系统监控域的不同，可以划分为两类：一是内部网络监控系 统，二是针对于外部网络的监控系统。根据网络监控系统承裁介质的不同，可 以划分为两类：一是硬件监控系统，二是软件监控系统。这些监控系统不管是 软件还是硬件，他们的主要功能都是实时监视、控制和记录网络中的违规行为。 由于市场在近几年中飞速发展，许多公司投入到这一领域上来。i s s ，a x e n t ， 4 四i i | 大学硕士学位论文 内韶嘲络用户行为监控技术的研究与实现 n f r ，c i s c o 等公司都推出了自己相应的产品( 其中以i s s 公司的r e a l s e c u r e 最为 有名) ，以及n e 铆o r kp r o b e 、w t r a f ，m s nc h a tm o m w r 【8 j 等；国内的有 a n y w e b 们，网络哨兵【1 们，n g f w 4 0 0 0 1 1 】等。就国内来说，网络监控的研究刚 刚起步，为了解决在网络上出现的泄漏国家或企业秘密，传播不良或反动信息， 各研究机构和企业相应研究和开发了一些应用系统来防范网络上的一些非法行 为，但在产品的可靠性，检测的准确性等方面，与国外的产品还有一定的距离， 对会话跟踪，阻断等关键技术的应用还不是很好。这些都需要进一步的研究来 解决。开发高水平的信息网络产品更具有必要性与紧迫性【1 2 】。 1 3 本文的结构及主要研究工作 论文共有七章，可以划分为三大部分： 第一部分：由第一、二、三章组成，主要研究了互联网发展、网络安全问 题的现状和国内外网络监控技术的研究概况，提出了本论文将要实现的内部网 络用户行为监控系统的研究目的和意义。分析了t c p i p 协议族，并引出本系统 的捕获工具一- - w i n p c a p 的原理、体系结构和局域网捕获数据的原理，并分析了 对捕获数据帧进行还原的理论基础和关键技术。 第二部分：由第四、五、六章组成，具体详细地阐述了网络监控系统的总 体设计思路、详细设计过程和关键技术的具体实现，并给出了系统测试与结果 分析。 第三部分：由第七章组成，对本论文进行了总结，概述系统优势与不足， 并提出下一步对网络监控系统的研究和完善的工作，及对网络监控技术在未来 的展望。 四川大学硕士学位论文内瓤网络绎i 户行为监拧技求的研究与实现 2t c p i p 协议分析 t c p i p n 】【1 4 1 1 5 j 【1 6 1 ( 传输控制协议网阃协议) 是一种网络通信协议，它规范 了网络上的通信设备，尤其是一个主机与另一个主机之间的数据往来格式以及 传送方式。t c p i p 是i n t e r n e t 的基础协议，也是一种计算机数据打包和寻址 的标准方法。t c p i p 是美国政府资助的高级研究计划署( 越冲a ) 在二十世纪七十 年代的一个研究成果，用来使全球的研究网络联在一起形成一个虚拟网络，也 就是国际互联网。原始的i n t e m e t 通过将已有的网络如a r p a n e t 转换到t c p i p 上来而形成，而这个i n t e m e t 已成为如今的国际互联网的骨干网。目前几乎9 0 以上的网络应用都建立于t c p 口协议之上。 本章主要对t c p i p 协议族进行概述，其目的是为本论文其余章节提供充分 的背景知识。 2 1t c p i p 网络层次结构 网络协议通常分不同层次进行开发，每一层分别负责不同的通信功能。一个 协议族，比如t c p i p ，是一组不同层次上的多个协议的组合。t c p i p 通常备认 为是一个四层协议系统，如图2 1 1 所示f 1 3 1 。 应用层 运输层 网络层 链路层 t e l n e t 、f t p 和e m i l 等 ? c p 和u d p i p i c 肝和i g 肝 设备驱动程序及接口 图2 1 - 1t c p i p 协议族的四个层次 每一层负责不同的功能： 1 ) 链路层，有时也称作数据链路层或网络接口层，通常包括操作系统中的 设备驱动程序和计算机中对应的网络接口卡。他们一起处理与电缆( 或其他任 6 四川大学硕士学位论文 内部网络田卢行为监控技术的研究与实现 何传输媒介) 的物理接口细节。 2 ) 网络层，有时也称作互联网层，处理分组在网络中的活动，例如分组的 选路。在t c p i p 协议族中，网络层协议包括口协议( 网际协议) ，i c m p 协议 ( h e m e t 互联网控制报文协议) ，以及i g m p 协议( h e m c t 组管理协议) 。 3 ) 运输层主要为两台主机上的应用程序提供端到端的通信。在t c p i p 协议 族中，有两个互不相同的传输协议：t c p ( 传输控制协议) 和u d p ( 用户数据 报协议) 。 t c p 为两台主机提供高可靠性的数据通信。它所做的工作包括把应用程序 交给它的数据分成合适的小块交给下面的网络层，确认接收到的分组，设置发 送最后确认分组的超时时钟等。由于运输层提供了高可靠性的端到端的通信， 因此应用层可以忽略所有这些细节。 u d p 则为应用层提供一种非常简单的服务。它只是把称作数据报的分组从 一台主机发送到另一台主机，但并不保证该数据报能够到达另一端。任何必需 的可靠性必须由应用层来提供。 这两种运输层协议分别在不同的应用程序中有不同的用途。 4 ) 应用层负责处理特定的应用程序细节。几乎各种不同的t c p i p 实现都会 提供下面这些常用的应用程序： h t t p 超文本传输协议。 f t p 文件传输协议。 s m t p 简单邮件传送协议。 p o p 3 邮局协议第3 版。 2 2 链路层协议 在t c p i p 协议族中，链路层主要完成三个目的方面的功甜”】： 1 ) 为口模块发送和接受口数据报； 2 ) 为a r p 模块发送a r p 请求和接收a r p 应答； 3 ) 为r a r p 发送r a r p 请求和接收r a r p 应答。 t c p 佃支持多种不同的链路层协议，这取决于网络所使用的硬件，如以太 网、令牌环网、f d d i ( 光纤分布式数据接口) 及r s 2 3 2 串行线路等。 以太网是有d e c 、b t d 和x e r o x 在1 9 8 2 年联合公布的一个标准。它是当今 t c p p 采用的主要的局域网技术。它采用一种称作c s m a c d 的媒体接入方式， 其意思是带冲突检测的载波侦听多路接入( c a r r i 盯s e n s e m f l 邱l ea c c e s sw i 血 7 四1 i 大学硕十学位论文内靴啊圣蕃田户行为监控技术的研究与实现 c o l l i s i o nd e t e c t i o n ) 。这就为网络监控系统提供了采集整个冲突域内所有主机产 生的网络数据报的可能性。实际上所有的以太网s n i f f e r 软件都是基于这种原理 7 1 。 以太网口数据报的封装是在r f c8 9 4 h o r i n g1 9 8 4 中定义的，i e e e8 0 2 网 络的口数据报封装是在r f c1 0 4 2 p o s t e la n d r e y n o l d s1 9 8 8 d p 定义的。最常使用 的封装格式是r f c8 9 4 定义的格式。如图2 2 1 所示。 6624 6 1 5 0 04 图2 2 - 1 以太网数据帧封装 当一台主机把以太网数据帧发送到位于同一局域网上的另一台主机时，是 根据4 8b i t 的以太网m a c 地址来确定目的接口的。设备驱动程序从不检查i p 数据报中的目的i p 地址的。这就要求系统有实现m 地址到m a c 地址的转换的 功能，即a r p ( 地址解析) 协谢”。地址解析为口地址到对应的硬件地址之间提 供动态映射，a r p 为这两种不同的地址形式映射：3 2b “的口地址和数据链路 层使用的任何类型的地址。r a r p 是各那些没有磁盘驱动器的系统使用( 一般是 无盘工作站或x 终端) 【培l 。 如图2 2 1 所示，这种帧封装格式采用4 8 比特的目的地址和源地址，也称 为硬件地址。类型字段定义了后续数据的类型，长度为2 个字节。0 8 0 0 表示m 数据报，0 8 0 6 表示a r p 请求应答，0 8 3 5 表示r a r p 请求应答。类型字段之后 是数据长度，该字段在4 6 - - - 1 5 0 0 之间。如果不足，则必须在不足的空间插入填 充字节，以满足字段长度要求。c r c 字段用于该帧后续字节差错的循环冗余码 校验。 以太网对数据帧的长度有一个限制，其最大值为1 5 0 0 字节，链路层的这个 特性被称为m t u ，最大传输单元。如果口层要传输的数据报长度比m t u 大， 那么就要在m 层进行分片，使得每一片都比m t u 小。 2 3 网络层协议 口协议是t c p i p 协议族中最为核心的协议，所有的t c p 、u d p 、i c m p 及 i g m p 数据都以口数据分组的格式传输。p 协议提供不可靠、无链接的数据报 传输服务，也不提供流量控制和差错控制功能1 9 】。 不可靠( u n r e l i a b l e ) 的意思它不能保证p 数据报能成功地到达目的地。p 仅 网川大学硕士学位论文内部网络呵户行为监控技术的酽究与实现 提供最好的传输服务。如果发生某种错误时，i p 有一个简单的错误处理算法： 丢弃该数据报，然后发送i c m p 消息报给信源端。任何要求的可靠性必须由上层 来提供( 如t c p ) 。 无连接( c o n n e c t i o n l e s s ) 的意思时口并不维护任何关于后续数据报的状态信 息。每个数据报的处理时相互独立的。这也说明，口数据报可以不按照发送顺 序接收，因为每个p 数据报都是独立的进行路由，顺序发送的两个数据报有可 能是后发先至。 口数据分组的格式如图2 3 1 所示。如果不包含选项字段的话，普通的琅 首部长为2 0 个字节。 卜- 斗扣卜雌咔- 一- - 1 簟库号曹舒长度臆务曩堑总长度c 字节微， 一 翩 拆寿位l 片 移 生存时田【1 t l ，撇首告鞠2 验和2 鸲 疆口地址 目的球旭址 j r 黼( 如暴有)。r 数据 r 图2 3 - 1i p 数据报格式及首都中的各字节 p 首部最高位在左边，记为0b i t ；最低位在右边，记为3 1b i t 。在网络上4 个字节的3 2b i t 值以下面的次序传播：按0 至3 1 b i t 的顺序以8 个比特为一个单 位进行传输。这种传输次序称为b i ge n d i a n 字节序，又称作网络字节序。以其它 形式存储二进制整数的机器，如l i t t l ee n d i a n 格式，在传输数据之前要把首部转 换成网络字节序。 p 首部各字段的含义是： 版本号指p 协议的版本，有两种版本，口v 4 和m v 6 。目前被使用最广泛的 依然是讲v 4 。 首部长度指口首部的占4 字节的数目，包括任何选项。由于它是一个4 b i t 字段，所以口首部最长只能有6 0 个字节。多数情况下都是普通的口数据分组， 长度是5 。 服务类型字段包括一个3b i t 优先权，4 b i t 的t o s 子字段和1b i t 未用位( 置 o ) 。4b “的t o s 各位的含义分别是：最小时延、最大吞吐量、最高可靠性和最 小费用。4 b i t 中最多只能置位lb i t 为1 。如果全为0 ，则是一般服务。 总长度字段是指整个口数据报的字节数。利用首部总长度和p 头长度的差 9 四川大学硕十学位论文 内韶网络耳i 户行为监控技术的研究与实现 就可以知道口数据报中的数据内容的长度。 标识字段是唯一地标识主机发送的每一份数据报。通常发送方每发送一份 报文它的值就会加1 ，而不管这个报文是u d p 递交的，还是t c p 递交的。 标志位字段占3 位，第一位保留( 必须为o ) ，第二位不可分片位d f 和第 三位分组位m f 。d f 置0 表示：该片是最后分组片；置l 表示：非最后分组片。 m f 置0 表示：可分片；置l 表示：不可分片唧j 。 片偏移字段占1 3b i t ，以8 个字节为1 个单位，标明当前分组片在初始口 分组中的位置，也就是说在分片时，除最后一片外，其它每一片中的数据部分 必须是8 字节的整数倍。 分片可以发生在原始发送端主机上，也可以发生在中间路由器上。是否进 行分片由待发送接口的m t u 决定。如果m t u 大于口数据分组长度则不分片， 反之则分片。分片与组装过程均由口层完成，对t c p 和u d p 透明。已经分片 的数据分组可能被再次分片。口数据分组的分片过程如下：如果一个数据分组a 的长度大于其发送端口的m t u ，则此分组须被分片，假设被分为b 、c 和d 三 个分片。分片后的b 、c 和d 的标识字段都与a 的标识字段相同。除最后一个 分片d 的d f 位置0 外，其它分片的d f 位均置l ，表示后面还有更多的分片。 b 、c 和d 分片的m f 标志位依据具体情况置l 或o 。 生存时间域字段占8b i t ，设置了数据报可以经过的最多路由器数，是指数 据报的生存时间。t t l 初始值由源主机设置，一旦经过一个路由器，t t l 值减l ， 当订l 值等于0 时，该口分组被丢弃，从而保证p 分组不会被无休止的传输。 协议字段占8b i t ，它被口用来对数据报进行分用，根据它可以识别是哪个 高层协议调用了口。协议字段由t c p i p 中央权威管理机构统一分配。如果运输 层协议是t c p ，则该字段为6 。如果运输层协议是u d p ，则该字段为1 7 。 首部校验和字段占1 6b i t ，用于检验口首部在传输过程中是否被改变。发送 方将除了校验和字段的首部数据每1 6 位对l 求补，所有结果累加，并将和的补 放入头部检验和字段中。接受方对整个首部进行计算，如果累加计算结果为0 ， 则说明首部正确，可以进一步处理，否则丢弃该数据分组【6 】。 源地址字段长3 2b i t ，是发送端主机的口地址。目的地址字段同样长3 2b “， 表示最终目的主机的口地址。 选项字段是为了后续版本引进新信息时可提供扩展能力。如果没有扩展选 项，则口首部长度为2 0 字节，首部字段值为5 。在口首部后的数据就足运输 层首部和用户数据。 1 0 i 四川大学硕士学位论文 内部网络f l i 户行为监控技术的研究与实现 2 4 运输层协议 t c p i p 协议中，在运输层上有两个互不相同的协议：一种是面向连接的协 议，t c p ( 传输控制协议) ：一种是无连接的协议，u d p ( 用户数据报协议) 由于本论文设计和实现的网络监控系统是针对t c p 数据报进行捕获和解析，所 以对u d p 协议的描述将不再赘述，关于u d p 协议的详细描述，参见r f c7 6 8 2 ”。 t c p 是在r f c7 9 3 t 1 6 】中定义的。随着时间的推移，检测出了各种各样的错 误和不一致，并且在一些领域对t c p 的要求也有所变化。这些说明和一些错误 的解决方法详细地记载在r f c1 1 2 2 瞄1 中。在r f c1 3 2 3 p 3 q 6 给出了对t c p 的一 些功能扩展【7 1 。 t c p 是实现端到端链接，进行系统间高可靠通信的协议，是面向链接的协 议。t c p 链接足以发起点的端口号为起点，终止于接收端的端口号，链接的数 据传送是双向的，建立和释放链接的过程采用三次握手协议。t c p 为了实现口 数据包的高可靠性的传输，要进行数据包错误和丢失的检测，如果发现数据包 错误或丢失，就自动进行重发。t c p 还具有数据包的顺序号管理和流量控制功 能。 t c p 的传输服务通过s o c k e t 套接字建立。在t c p 传输连接的双方分别是发 送套接字和接收套接字。通过这两个对应的套接字，t c p 提供端到端，全双工 的通行服务【6 】。t c p 的首都如图2 4 - l 所示 卜一1 “十a 扣叫 一 1 啦腻口号1 6 位目盼喘口号 3 2 位序判号 丑位确认序孤号 upi l l sp 2 0 与 4 位 停管( 啦 rc s 辩 l 坫位富n x , l , 曹 啦 okhn 1 6 位控j 卿1 6 位紧急指针 一 r选项(如j酗lf；i一 ， 数据 十 图2 4 - it c p 数据报格式及首部字段 四川大学硕七学位论文 内都阙络用户行为监控技术的研究与蜜现 2 4 1t o p 首部格式 每个t c p 段都包含源端口和目的端口的端口号，用于寻找发端和收端应用 进程，各占1 6 b i t ，t c p 协议用1 6b i t 区分2 埔( 即6 5 5 3 5 ) 个端口。这两个值加 上m 首部中的源m 地址和目的口地址唯一确定一个t c p 连接。 通常将端口分为3 大类： 1 ) 周知端( w e l l k n o w n p o r t s ) ：从0 到1 0 2 3 ，在网络应用中，这些端口被 限定用于固定的服务、协议。例如：8 0 端口总是h t t p 通讯。 2 ) 注册端e l ( r e g i s t e r e dp o r t s ) ：从1 0 2 4 到4 9 1 5 1 。它们松散地绑定于一些 服务，也就是说有许多知名应用服务绑定于这些端口，当然这些端口同样可用 于许多其它目的。许多系统处理动态端口从1 0 2 4 开始。 3 ) 动态或私有端口( d y n a m i co rp r i v a t ep o r t s ) ：从4 9 1 5 2 到6 5 5 3 5 。 在最早的t c p 规范( r f c7 9 3 ) 中，一个口地址和一个端口号被称作一个插口 ( s o c k e t ) 。包含客户i p 地址、客户端口号、服务器m 地址和服务器端口号的四 元组，被称作插口对( s o c k e tp a i r ) ，可以唯一确定互联网络中每个t c p 连接的双 方。 序号字段是一个3 2b i t 的无符号数，用来标识从t c p 发端向t c p 收端发送 的数据字节流。它表示在这个报文段中的第一个数据字节的编号。t c p 用序号 对每个