（计算机科学与技术专业论文）邮件安全审计和过滤技术研究与实现.pdf

堡銎型墅奎兰堑窒主堕兰堡篁塞 摘要 隧- 着i n t e r n e t 技术的遮盂发展，电子邮件正成为1 十最快捷，最经济的现代通信技 术手段，但电子邮件在为人们提供极其方便的通信手段的同时也为垃圾邮件、病毒、恶 颟翻粼内容自附的1 张提供了蜜耍自憾体，怼稻砝鼍邋成了严重的威胁。因此 如f 可解决好电子自附的安= 垒问题已l 劁沩存韶彰b 实意义的课匮。 m 阡皎扛兽是削弱或消除垃圾邮件、病毒、恶意程序或敏感内容等对系统安全造成威 胁的关键膨十：之一。而安全审计则是安全系统中项! 崾的安全机制，它与系统的其它 安全措施相辅相成，互为补充。 本文首先分析了垃圾自附咱甥嫩与危害，提出了臌自阱的对策及其技术要点。 同时，对电子邮件的体系结构进行了分析和研究，并建立了邮件过滤模型。 其次，对现有的各种过滤技术进行了深入地分析与研究，并针对当和蝴术存在 的问题和困难设汁实现了啪于刿尉溯的“垃啜”自刚j 黜基器。此外，本文还设 计实现了个具有基于鲫p 过滤器的、基于规则的、基于附件扫描的、可清除恶意脚本 的多重过滤功能的邮件过a 昏瞌灏9 系统。同时，还设想了个基于客户端、邮件代理、邮 件服务器三层体系结构的邮件系统设计方案。 最后，本文对安全审计的功能需求和各种审计技术及日志分析原理进行了分析研 究，给出了自州嘲艮务器日志分析的具体实现过程和方法。同时，还做了一个对邮件流 量进行监控的统计工具，对邮件的流量进行了统计分析。此外，还对一种基于内容的 邮件安全审计系统作了详细的介绍。 关键词：电子邮件，垃圾邮件，邮件过滤，过滤模型，安全审计，安全日志 矗b s t r a g t w i t ht h es w i f td e v e l o p m e n to fi n t e r n e t ，e - m i lh a sb e e nb e c o m i 墩t h e f a s t e s t a n dm o s te c o n o m i c a lm o d e r n w a y f o rc o m m u n i c a t i o n i to f f e r s p e o p l eg r e a t c o n v e n i e n c e ，h o w e v e r ，e 憾i lb e g i n st ob et h ec a r r i e ro fs p a r e , v i r u s ，t h e m l i c i o u sp r o g r a mo rs o m es e c r e tm a i l s ，w h i c hf i e r c e l yt h r e a t e nt h es a f e t yo f t h ec o m p u t e rs y s t e 凯s oh o wt os o l v ei t ss e c u r i t yp r o b l e mp r o p e r l yh a sb e c o m e as i g n i f i c a n ta n dp r a c t i c a lt o p i c t h ee - m a i lf i l t e ri so n eo ft h ek e yt e c h n o l o g i e su s e dt ow e a k e no re l i m i n a t e t h e s et r o u b l e s t h e ns a f e t ya u d i ti sav i t a lp a r ti ns a f e t y s y s t e m , w h i c h i n t e r a c t sa n dc o o p e r a t e sw i t ho t h e rm e a s u r e s f i r s t ，t h i se s s a yd i s c u s s e st h ec u r r e n ts i t u a t i o na n dt h eh a r mo fs p a ma n d p u tf o r w a r d ss o m ea n t i 巧湖耥u r e s ，s o m ek e yt e c h n i q u e sa sw e l l 。s i m u l t a n e o u s l y , i t g i v e sa n a l y s e sa n ds t u d i e s t ot h eem i ls y s t e ma n ds t r u c t u r e ，a n dh a s e s t a b l i s h e dt h ee - m a i lf i l t e rm o d e l n e x t ，t h ee s s a yt a k e sap e n e t r a t i n gs t u d yo i lt h ev a r i o u sp r e s e n tf i l t e r t e c h n i q u e s 。i td e s i g n sak i n do fs p a mf i l t e r , b a s e do nt h ed a t am i n i n g b e s i 如s 。 b a s e do nt h es 孵f i l t e r , r e g u l a t i o n sa n d a p p e n d i xs c a n n i n g , i td e s i g n sa ne - r e a l l f i l t e re x a m i n a t i o ns y s t e m , w h i c hh a sm u l t i p l ef u n c t i o n s ，d e l e t i n gt h em a l i c i o u s s c r i p ti n c l u d e & i na d d i t i o n ，t h ee s s a ys u g g e s t sa n e - m a i ls y s t e mw i t ht h r e e r a n k s c u s t o m e rt e r m i n a l ，e - m a i la g e n c ya n de - m a i ls e r v e r 。 f i n a l l y ，t h ee s s a yp r e s e n t sa n a l y s i sa n dr e s e a r c h o nt h ef u n c t i o nd e m a n do f t h es a f e t ya u d i t ，o t h e ra u d i tt e c h n i q u e sa sw e l la st h es e c u r i t yl o ga n a l y s i s p r i n c i p l e i tp r o v i d e st h ee f f e c t i v ew a ya n dp r o c e s st oa n a l y z e t h ee - m a i1s e r v e r l o ga n dg i v e sas t a t i s t i c a ls t u d yt ot h ee - m a i lf l u x i na d d i t i o n ，i tm a k e sa d e t a i l e di n t r o d u c t i o no na ne - m a i is a f e t ya u d i ts y s t e m , t a r g e t i n gt h ec o n t e n t 。 l ( e y w o r d s ：e 删，s p a m ，e - m a i l n i t e r ，f i l t e r m o d e l s e c u r i t ya u d i t ，s e c u r i t yl o g 独创性声明 本人声明鼹呈爽鳇学位论文是我本人农导炳指导下避褥鲍研究王穆及驳德 的研凳成果尽我所知，除了文申特别如以标注和致 射憋地方外，论文中不龟含 共铯人经发表和撰写过酶研究戏皋，也不毯含黄获得国防辩学技术大学线其它 教育机构的学位或证书衙使用过的材料与我一简工作的同志对本研究所假的任 何贡献均巴在论文中作了明确的说明并表示谢意 学位论文题目_ 坚缝塞金室进塑登渣越蕉瑟塞兰塞理 学位论文体孝签名：崮趣冀! l题期：。肿多年舻月，j 日 学位论文版权使用授权书 本人完全了解国防科学技术太学有关保留、使用学位论文的规定本人授权 国防穆学技本大学可以保鳇并向国家寒关部门或虮构递交论文昀复印传和电子 文挡，允诤论文披整阙和借阕；罐l ；己将学位论文的全郭或锑分内容编入骞关数据 库进行检索，胃滚采用t p 帮、缩帮或担描等羹黼手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授衩书) 学位论文题目：鲤经塞垒空i 圭麴鎏瀵挂盎熟巍兰塞熟 学位论文侈孝签名：逸迪冀日期：毋3 每争月j f 甚 作者指导教蟀签名：蔓釜当爨期：押；年4 舅， 疆 国防科学技术大学研究生院学位论文 第一章绪论 随着i n t e r n e t 技术的发展，各种网络应用服务越来越多，特别是网络中广泛应用的 电子邮件服务，由于在传送信息方面具有快捷、方便、高效等优点己经成为了珊代通信 技术方式的重要组成部分之。电子邮件在为人们提供极其方便的通信手段的同时，也为 病毒、黑客程序的传播提供了重要的载体。电子邮件的安全问题已成为全球普遍关注的 个问题。因此研带9 安全、可靠的自阼 系统已成为计算机工作者面临的突出课题，这就 是i 姚能邮件系统所要解决的主要课题。 计算机网络的出现给整个世界带来了极大的变化。电子邮件作为计算机网络信息交 换的方式之一，从开始就受到人们的重视，目前，网络e 最大的业务就是电子邮件。 相关统计显示，截止2 0 0 0 年7 月，中国因特网用户已迭1 7 0 0 万( a 瞄i c 统计) ，再加上 企业网内广泛使用的网络消息传递系统，实际的电子邮件用户数量已经达到了非常巨大 的程度。随着计算机网络在 类生活中的普及，电子邮件作为信息传输和交换的工具， 起到的作用将越来越重要。因此，邮件的安全成为大家非常关注的个问题。1 9 9 9 年， m e l i s s a 病毒在短短半天时阀内就感染和影响了匕万个公司的邮件服务器和十几万因特 网用户。2 0 0 0 年5 月，i l o v e y o u 病毒又在极短的时间内传遍全世界，带来许多无法挽 回的损失。韧瞅通过邮件附件传播的，同时，也由于它们在网e 疯狂发送带毒邮件， 造成大量的邮件眼务器被阻塞甚至瘫痪。 电子邮件虽然是个很方便的信息交换工具，但其易受攻击、无法鉴别身份、无法 辨别信息的真伪等安全性缺点阻碍了电子邮件在电子政务和电子商务中的应用。 目前全国各地政府正在大力发展电子政务，开展政府上网工程。网e 政府同样体 现出权威性，网上政令的发布、公文的流转都需要高安全的电子邮件系统来保证。此 外，正在开展的如火如荼的电子商务活动，同样需要高安全的电子邮件系统来保证商 业机密和双方的信任关系。因此迫切需要安全的电予自昏件系统来保证政府、军队和企 业等重要部门机密信息传输的高安全性、茼可靠性。 威胁电子邮件的安全性与可靠性的主要问题有以下几种：骚扰性电子邮件、恶意 破坏性电子邮件、用户不愿意接收的电子邮件。要在一定的程度上减弱或消除这种威 胁，可以采用的种关键技术就是自b 件过滤。 邮件过滤是电子邮件体系结构非常有用的功能，它把电子邮件系统的功能从把信 件从个地方发送到另一个地方的简单方法，扩展到管理信息的一个工具。它 黾供了 程序化删除、存档和重新路由信件的能力，另外还可以实现电子邮件机器人。因此， 建立一个理想的过滤模型有较大的意义，研究和设计一个好的过滤器，设计实现一套 可靠的、行之有效的过滤f 佥测系统更是一项有着重大现实意义的课题a 。立坠堕童l 竺坠垄苎耋竺塞竺堕童堡篁兰 随看i “8 。n e t 的飞速发展和电子商务的曰益普及，网络安全和信鼠安全问题日益突 出，各类黑槲更是层出不穷，而卡的安全防护措旖也日益增多，特 别是防火墙技术与入侵检澳4 技术更是成为大家关注的焦点。但是，这两者都有自己的局 黜在i 塞种f 圭、况下，基于网络日志的安全审计系统孕育而生。网络上的安全审计系统 阳懒步，尚处在探索阶段，其审计重点也在网络的访问行为和网络中的各种数据上。 劐渖谢鼓鲧统中必要的颂受垒机制，抽系统的其它受蜡黼辅相成， 互为补充但由于安全审计是在传统审计学、信息管理学、计算机丧全、行为科学、人 工智能等学斟j 位彩g 氇捌止发展的一门新学科，涉及到多方面的知识，所以力面安 全审计问题广泛而复杂，另方面安全审计技术的发展叉陂不充分。 尉懿统的安全审计理论已j 殳席揪完氰包括j 时名种安全策略的确定、受垒审 训示准、安全审水蝴、安= 蝴关事件的确定等方面，且目献至流白勺圭桑作系统，均 有自己较为完善的安全审潲吨龇但由于自附安垒审计与传统的安全审计系统所面对的 训轿境和审计重点不同，旎虾1 9 趋】耋扬阴传统安全审计理论和审计系统。 耐凋系统日躺酾安全审彤蜥的胃婚，早在1 9 8 0 年& n d e r s o n 的论文中就已提 出。对于邮件系统，同样也可以通过对邮件服务器的日志分析来进行安全审计。 1 2 研究内容 本课题围绕学校网管中心承担的总装备部基础研究项目中“安全邮件系统”的开 发任9 秘 行，主要针对其中的电子邮件过潲安全审计子系统进行研究、设计与实现。 课题的第部分工作是对邮件过滤技术的分析、研究与实现。主要工作包括： 垃圾邮件现状及其危害的分析。 反垃圾邮件的对策及其技术要点分析。 电予邮件过滤模型的建立。 电子邮件过滤技术的研究。 基于数据挖掘的“垃圾”邮件过滤器的设计与实现。 具有多重过滤功能的邮件过滤检测系统的设计与实现。 设想了一个基于客户端、邮件代理、邮件服务器三层体系结构的邮件系统设 计方案。 课题的第二部分工作是对安全审计的分析、研究与实现。主要工作包括： 安全审计功能需求、安全审计技术和日志分析原理的研究。 安全审计设计目标的确立。 第2 页 一 里防型学技术大学研究生院学位论文 2 。兰；：= ：；：= = = ：窑 邮件服务器日志分析的实现。 对邮件的流量进行了统计分析。 基于内容的邮件安全审计系统的介绍。 1 3 课题成果 在课题的研究过程中，主要取得了如下几个方面的成果： 通过对垃圾邮件现状及其危害的分析，给出了反垃圾自附的对策与技术要点。 对当前已有的过滤技术进行了深入地分析和研究，建立了邮件过滤模型，为 电子邮件过滤检测系统的设计和实现提供了依据。 设计实现了一种基于数据挖掘的“垃圾”邮件过滤器，为实现智能化“垃圾” 邮件过滤打下了一定的基础。 设计实现了一个具有多重过滤功能的邮件过滤检测系统。 设想了一个基于客户端、邮件代理、邮件服务器三层体系结构的邮件系统设 计方案。 对当前已有的安全审计技术和日志分析原理进行了分析研究，为安全审计方 案设计和实现提供了依据。 实现了对邮件服务器的曰志分析。 研制了一个对邮件流量进行监控的统计工具。 对邮件的流量进行了统计分析 在计算机应用研究、益阳师专学报等刊物上发表了数篇同课题研究相 关的学术论文。 1 4 论文结构 本文的主要内容可分为垃圾邮件综述、邮件过滤技术的研究与分析、一种基于数 据挖掘的“垃圾”邮件过滤器的设计与实现、一个具有多重过滤功能的邮件过滤检测 系统的设计与实现、安全审计技术相关领域的研究与实现五个部分。 全文共分八章，它们的内容和组织如下： 第一章为绪论，全面概括了课题的研究背景、研究内容和取得的成果。 第二章对垃圾邮件进行了综述，并分析了反垃圾邮件的对策。 第三章分析和研究了电子邮件的工作原理、电子邮件报文格式及相关协议，并从 第3 页 堡生丝型奎兰堡窒竺堕兰堡篁兰 电子邮件的体系结构上确立了邮件过滤的候选，建立了邮件过滤模型。 第四章对现有的多种邮件过滤技术进行了系统的研究，并设计实现了一种基于数 据挖掘的“垃圾”邮件过滤器。 第五章设计实现了个具有基于s m r p 过滤器的、基于规则的、基于附件扫描的、 可清除恶意脚本的多重过滤功能的邮件过滤检测系统。 第六章对安全审计的功能需求和各种审计技术及日志分析原理进行了概述。 第七章研究并实现了种基于邮件服务器日志分析的邮件安全审计系统，同时， 对邮件的流量进行了统计分析，并介绍了一种基于内容的邮件安全审计系统。 第八章对未来研舡作的展望。 第4 页 。堕垒耋蓬童查耋堑塞兰堕耋堡篁圣 好霆瞵捌蛹子i n t e 黼t 上最广i 乏楗瑁、最受；燃豹网络功能。现兹鬯鸯阱 酗许多蠢家耱绷髂滋躲堂融啄。淹子帮律一方瑟歪驭锱黻豹特点罄盏黻 重篓韵遥沈亨式另子面，在不菱动梳酌驱使下，它篷爱逛成侵揪自备i 其，垃圾 都僻：就是其中之_ 。 经常上网的人魏经常使用电予邮件的人可能会收至些莫名其妙的电子自件，内 凄盼- 郝是必虹晶夯绍，发财之邀等。于燃滋可8 拼刁毫盔意，删搏了之；但你可能会 发现你还会苓叛收要烘泓黪虫件，掌零令你烦憾不穗。这就是凌们这里期 究的垃圾 自肄。 垃圾部件就是那些你并不希羹收捌，并整绺也没有订鞫过，键却被人释耀电子郎 件的特赢强行塞入你辩稽盼商叠旷告、产品介缁、发财之遂等内容的电予部件。垃圾 自件一次可以发给徽多入，在i n t e r n e tt 同时传送很多副本。垃圾击獭q 做s p a m ， 又叫u c e ( u n s o l i c i t e dc o m m e r c i a le m a i l ) 。 在这里我们定义种更广义的垃圾自昏件，我们将威胁电予邮件的安全往与可靠性 的骚扰性电子邮件、恶意破坏性电子邮件、用户不愿j 鼓接收的电予邮件统称为垃圾邮 蚀。 垃圾虫畔# 是i 啦e r n e t 技术发展的产物，墨其它先进技术样，在为人类服务的同时， 不霹避免躲坡另强些 飓终相发霉驰。蘑次关予垃圾自5 牛的记录是1 9 8 5 年8 月封通 避奄子勰 串发送鹩链锬痿，一蓬持续刘1 9 9 3 年。 1 9 9 3 年6 月份，在i n t e r n e t 土融瑗7 名为“m a k em o n e yf a s t ”熬电子寝终。历史 上眈较著名的s 阐n 张1 9 9 4 筇4 月份，c a n t e r 和s i e g e l 的法律事务所把瓣傣发 到6 0 0 0 多个新闻缀，宣传获得美国国内绿卡的法律支持。这蹩第一次使糨p a m 谓来 称呼垃圾邮件，用来擒述新闻或电予邮件的主动性发布。 同时，垃圾邮件也开始引起了人们的注意。壁鳊蚴蝴的商入立亥嚆媳潮羁了奄子 邮l 牛带来的商机，许多 开始利用电子邮件作商业广告，9 5 年5 周有入写出了第一个专 门的应腿理摩币1 0 0 d g a t e ，可以自动搬自阱发给大批的人。紧接着在8 月份，就有 零两 第5 页 一里堕垒兰筵查查兰堑塞塞蹩塞堡丝兰 百万个邮件地址来出售。垃圾由口件越来越多与商业联系起来，并弓漶0 、市】的反感。9 6 年 的4 月，人们开始使用u c e ( u n s o l i c i t e dc o m m e r c i a la m i d 来称呼垃圾击$ 件，并开始 积极想办法阴止垃圾邮件在i n t e r n e t 上泛滥。 到3 9 6i 郎月，有人提b b t s p a m b l o c k 的方法，例如馒用r 蹦o v e t o r e p l y 的工具 来过滤自g 磐嬲魁e 黪黻自则趔誊燃豹发展以及人m 对发送垃圾自瞅案的谴责，垃 圾躯串裁造誊镪魏取了蔓稳薮的技本，比如伪造熔头中鹊发 孛人、域名、女黪礅b 皱等， 然褥融鸶镩嘲澄遴不出i p 遮址的过滤。于是，搬鑫蹦鹳镘隧者又秀始寻找踅为安垒 盼鼷法，卵年3 旁，袍霄捐锸把爵光转商潆溱r e l a y 。o p e nr e l a y 楚当澍解决i n t e r n e t 自晰路由的种很好的方法，德存在静赜藏裁部件栽i 考者秸译哇污l 的安垒漏漓。狠快，犬 部分商业垃圾邮件就开始翻用男i | 入的自p 件服务器使用转笈的办法来发送垃敷蠡目件。这样 做的另个原因是可以盗用别人的资源，节省自醉嗡淀睹的钱。 在过去的几年疆，人们已经越来越多的意识到控制i n t e r n e t 上垃圾自晰的重要 慢，世界各地成巍了很多组织来反垃圾邮件，如m a p s ，o r b s ，s p 删c o r p ，3 u n c k e n m i l o r g 等，从技术上翻法德上不叛努力蓑，并取褥了一定的进展。我们不妨凰颐一下过去几 年孛取褥静进展： 9 5 7 在英语中开始楚耀s p 戮以屹来表示垃圾自传，表明垃圾自5 件恐成为个燕 式的课舔； 9 5 1 0 1 1 ，行嬗内开始使淆专门盼晦降张户a b u s e 謇d o m i n 来讨论垃圾女g 件，舞 开始出现所谓的黑名单，把一些酷知的发送垃圾辩件鹩i p 弼入其中，久雷j 可豁用来 过滤垃圾邮件； 9 7 5c u c e ( c o a l i t i o na g a i n s tu n s o l i c i t e dc e a m 馋r c i a le - m a i l ) 缝够溉立， 倡议建立法 蝶同垃圾邮件做斗争； 9 8 。4i n t e r a e t 协会i s o c ( i n t e r n e ts o c i e t y ) 翟开会议专门讨论了垃圾邮件： 9 9 2 发枣了娅2 5 0 2 , a n t i - s p a mr e c a m m e n d a t i o n sf o rs i l 豫m t a s , 标恣垃圾 掷粹已燕式藏力i n t e r n e t 戆重要碜 究澡题。 另外一种院较办法孺o 魑r e la y 服务器熬数爨。以美国i m c ( i n t e r n e tm a i l c o n s o r t i u m ) 缀织在美国的统计绪采来看。o p e nr e l a y 服务器数囊已有1 9 9 8 年熬5 5 迅速下降到2 0 0 1 年初的6 9 6 左右。如图2 1 所示； 第6 页 一垦堕型学技术大学研究生院学位论文 之二釜；：= ：= = 盒 在其他国家和地区，状况虽然不会有这样好，但随着越来越多的人们意识到垃圾邮 件的危害，随着相关技术的不断成熟，网络安全意识的不断提高，垃圾邮件的活动空间 将越来越小。 近年来，我国电子邮件遭到海外封杀成为个热点话题。起因是源自我国的大量垃 圾邮件令国外网络服务商不得不采取屏蔽我国邮件服务器的极端措施。有报道称，由于 通过中国_ 些i p 地址发出的垃彀自醐筏滥，中国电子自悯临被欧美氢酰十杀。目前全 球大约有数万家公司、组织或者私 网络已经全面封锁中国的i p 地址，在被宣布拒绝接 受的电子邮件网站名单中，新浪、网易、搜狐、1 6 3 邮局、2 6 3 、2 1 c n 等国内主要邮件 服务商赫然在列。 在经济贸易日益全球化的今天，i p 被封锁，意味着切断了中国人与外界之间最经济 也最周全的交捅j 匿路。中国部僻蔼缀卿荑等国家的封杀虽然不像些媒体炒作的那样严 重，倔池并非无中生有，在接受茈嗜采访时，信息产m 嘟官员虽然表示，中国的i p 地址 被全面封杀是不可能的，但目前的确有一些中国的邮件被屏蔽的现象。 由此看来，虽然报道夸大了事实，但日益泛滥的垃圾邮件的确为中国互联网的发 展带来了大麻烦。 2 i 4 垃圾由昏件的危害 网络时代的人们饱尝了垃圾邮件带来的各种烦恼。人们越来越意识到了垃圾邮件 的危害： 第7 页 型兰塞立奎耋堑塞塞墼兰堡篁茎 浪费了入们的大量时阉a 般人们需要至少l o 秒钟时间来判断是否为垃圾邮 件，如果每天收至u 几十份垃圾自p 件，就得花大约十分钟的时间来处理它们， 实在是比较痛苦的事情。 j c 重：尹拨号上网豹震户，不但造裁对闽熬浪费，还造成费用豹浪费。 ，瀵的垃圾邮件充满邮籀，占用大爨的系统可用空间和资源，使机器暂时无 法正常工住。 过多的邮件垃圾往往会加尉阏络的负载力和消耗大麓的空间资源来储存它 们，过多的垃圾债件还将导致系统的l o g 文件变樽很大，甚至有可能溢出文 件系统，u n i x 、w i n d o w s 等系统带来危险。 除了系统猁l 溃煞可能之外，大量豹垃圾倍 串还会占耀大量鹣c p u 蹿闺和潮 络带宽，造成芷常甭产韵访闷速度成闯蘧。 垃圾自5 l 牛蝴l 带宽资源，严重时会拥塞整个i n t e r n e t 链路，中断i n t e r n e t 的龆分线黪熬运蘩恧建成巨大豹经济损失。摄c a u c e 组织绞计，濮除垃圾郏 侔霹为全擞界小型企蝗和个 每年节雀9 4 0 刀美溜。 携带病毒的垃圾邮件直接威胁蓑攘个瞰缮系统的安全。 垃圾邮件从内容e 看，主要有广告、色情、反动政治亩论、病毒传播等几种类型。 从邮l 牛的发送形式上着，有赢接发送和第三方转发两种。所谓直接发送，就是邮 件的发送誊使用皇已鲍服务器，i p 地址，自己的网络资源传送这些邮件。对于接收者 来说，魏果长期收到这撵豹自 牛，可以采驭过滤该i p 地址姻办法或者根据虫g 件内容过 滤的方法；僵翔果只是偶尔收到，裁 琵难找銎l 鸯效豹方法了。使期这耪方法，螂馋发 遴入辩真实情况狠容易被奁赉来。嚣j 篼瞧很多有入使用。器嚣溲愿更多女擘是使耀第三 方服务器转发。当然大多都燕未经该服务器管璞员同意情况下使翔韵。出予历史靛原 因，i n t e r n e t 上有很多日陵务器可以转发第三方自静阵。湔予这种垃圾部件，炙要荚溺有 关服务器的转发功能就可以了。 从技术主分析，垃圾鸯s 件霹以分为以下器祧： 信件头部包含垃圾邮件特征的垃圾邮件。国外许多国家和地区都有限制垃圾 女g 传豹立法，联以缀多国外的广卷发送稷序郯被强制加上标识符，例如邮件 戆发送稷序使用c l l a i l ，那么在虫e 传头部就会如现x - t r a i l e r 、c d m a i l 的字 样。我国发送垃圾囊g 馋还没骞这一跟铡。 邮件内容包禽垃圾邮件特征的垃圾邮件。如自阱内容中含背 s e xs i t e 黼样。 第8 页 旦坠塾墅奎兰堑塞皇堕兰堡丝塞 使用o p e nr e l a y 主机发送的垃圾自p 件。由于系统管理员的疏忽，很多邮件 = o p e n r e l a y 的，这样就允许任何人通过该s m t p 服务器向任何 地址发送垃圾邮件。 无论头部还是内容都无法提取特征的垃圾邮件。那些不含有标识的发送垃圾 m 附的软件，可以直接连接s m t p ) 0 0 ( c o m 给所有) 0 0 l c o m 用户发送垃圾邮 件，人们很难将这样的垃圾邮件从正常的邮件中分离出来。 要解决困扰国内的垃圾邮件问题，必须标本兼治。 稍需要| 鲢港翔弱嗣蝴去伟黼朗。欧美自蝴附锚睹者之所以不商醅绗 事，主要原西密于旁严厉的法规。据悉，美国的反垃圾邮件法案规定，对于那些违 反j 劫蹶定的发件人，蝴易委员会嗣搬采取行动。网络嘲滴也可以向聪唪法庭 提出诉讼，要求造反撇邮1 啊去案的 每鳓辩睫偿5 0 0 鄄0 0 0 0 美元。 另方面，需要在技术匕加大投入。国内主要电子邮件服务商都曾受到过国外e m a i l 提供商的屏蔽，在经过双方的沟通后，在两天内般都能得到解决。但自骅 服务商之间 的屏蔽必然给用户带来不便，许多网站都接到过相关的投诉。 对用户而言，人们可以从订阅服务、网关、服务器端和客户端四方面防止垃圾邮 件。 订阅服务。对付垃圾邮件最好的解决方法是阻止其传输。国外许多用户通过 向l c 刚s p 订阅服务，可以有效阻止垃圾邮件到达服务器。在这类服务中， 用户不需要安装专用硬件或软件。 基于服务器的软件。这些软件通常运行于邮件服务器或是一台单独的机器上， 它们检查邮件头和发送的信息并且阻i t 那些无效信息。众多基于服务器的过 滤软件都参考了个众所周知的垃圾邮件制造者或策源地的列表，并最终把 来自这些地方的信息筛除。 硬件网关。如果用户有大量邮件需要接收，就可以采用种基于硬件的邮件 过滤网关，它比基于软件的网关产品更有优势的是，能够处理更大量信息。 这种设备安置在路由器和服务器之间，以过滤垃圾信息。有些硬件邮件过滤 网关可以扫描发出的邮件，有些只能扫描进入的邮件。它们的过滤规则各不 相同，通常是根据内容或者行为制定，部分设备还可以扫描病毒。 客户端。客户端是防垃圾自昏件的最后道防线，用户可以采用客户过滤软件。 第g 页 邕，丝童垫查奎耋堑塞竺堕耋堡垒塞 人们可利用一些常见的邮件客户端工具的分拣和过滤功能来设定规则，把接 收下来的邮件进行检查和匹配，从发件地址、主题、正文内容中的关键词，对 那些符合垃圾邮件特征的邮件，执行自动删除操作，或加装某些客户端工具， 利用邮件下载协议的一些特定指令先下载邮件的头部信息进行垃圾邮件的判 断和识别。这样客户端就不需要将电子邮件完全下载便能进行识别和处理了。 当前，互联网络的生存急需套可靠的、行之有效的反垃圾邮件的系统解决方案。 垃圾邮件是用专门的邮址搜索软件和自口件群发软件来完成网上邮址收集和邮件散 发的，一个邮址搜索软件每次可以搜索到几万至十几万个有用邮址，个邮件群发软 件每天可以发送百万封同样或不同内容的垃圾邮件。对于自动化的垃圾邮件粮隧方式， 人工手段进行删除显得无能为力，必须借助一定的技术手段对付批量垃圾邮件。 过滤技术是目前反垃圾邮件用到的主要技术。电子邮件通常具有几个重要特征， 标准电子船料地址、主题、信件内容尊相关字段，这些惭酚醛嗽技术判断、分析、 统计和提取的依据。目前的防垃圾邮件系统主要是通过启发式过滤技术来实现。该技 术主要是对自刚进行来i 原过滤和内容过滤。从原理来看，提取断借特征、获得关键阋 是启发式过滤技术的关键。 2 3 本章小结 本章首先介绍了垃圾邮件的产生、发展与现状，然后分析了垃圾自b 件的类型以及 垃圾自口件给人们带来的各种烦恼与危害，并给出了反垃圾邮件的对策，最后指出反垃 圾邮件的关键在于过滤，为消除垃圾邮件指明了方向建立套可靠的、行之有效 的邮件过滤检测系统。 随着越来越多的人们意识到垃圾邮件的危害，随着相关技术的不断成熟，网络安 全意识的不断提高，垃圾邮件的活动空间将越来越小。 第l o 页 一 垦堕科学技术大学研究生院学位论文 - _ 三二兰毒一= ：全 第三章电子邮件过滤研究 3 1 电子邮件简介 电子自胂f 萌芽于i n t e r n e t 出现的早期。1 9 7 2 年，r a yt 0 【l l l i n s o n 写了第个电子邮 僻程序s n 蹦s g ，在i n t e r n e t 的前身a r p a n 盯上使用。时间的推移和用户数量的增多， 促使电子自附哉术与嬲断蝴成熟，最终发展成了以s f f p 、p o p 、i m p 协议为 基础的现代电子邮件。 随着i n t e r n e t 在全球的发展，上网人数不断噌多，作为互联网服务中最重要的 电子邮件服务，其规模也在全球不断的扩大。据统计，目前全鲢界的电子邮件账号超过 1 0 亿个，电子邮件早已成为i n t e r n e t 上所占比例最大的应用。然而传统的邮件系统在 用户容量、处理速度和安全性等方面却已经很难适应新的形势发展要求，因i 比昕代高 性能邮件系统开始逐渐涌现出来，以满足网站、企业等大用户集团对电子邮件眼务的需 求。 电子邮件与普通邮件有类似的地方，发信者注明收件人的姓名与地址( 即邮件地幽， 发送方服务器把邮件传到收件方服务器，收僻：方服务器再把邮件发到啪噼人的邮箱中。 如图3 1 。 整个邮件传输过程如下： 目前使用的鲫p 协议是存储转发协议，意味着它允许邮衔恿过一系列的服务器发 送到最终目的地。服务器在个队列中存储到达的邮件，等待发送到下一个目的地。下 一个目的地可以是本地用户，或者是另个邮件服务器，如图3 2 。 第1 1 页 国防科学技术大学研究生院学位论文 图3 2 电子邮件接输过程 邮件服务器进行t c p i p 协议栈上的s 孵p 与p o p 3 交互流程如图3 3 。 ，计童童 缨3 - 3t c p i p 协议栈上的涮降与f 1 3 交置$ 蓖程圆 1 s 婀p ( s i m p l em a i lt r a n s f e rp r o t o c o l ，简单邮件传输协议) s 岍p 是用来凄收和发送电子自附的t c p i p 协议，i 臣常用于把电子邮，件从客户机 传输到服务器，或者从某一服务器传输到另一个服务器。它是i n t e r n e t 上传输电子邮 件的标准协议，规定了主机之间传输电子邮件的标准交换格式和邮件在链路层上的传 输机制。 2 p o p 3 ( p o s to f f i c ep r o t o c o l ，邮局协议，目前为第3 版本) p o p 3 是关于接收电子邮件的客户机服务器协议，其中服务器负责接收并保存电 子邮件，客户端邮件接收程序进行邮件检查并下载到本地硬盘。p o p 3 规范了对电子邮 一 里堕型兰丝变奎兰堑壅皇堕兰堡垒壅 件的访问，它是在i n t e r n e t 上传输电子邮件的第一个标准协议，同时也是一个离线协 议。 3 i m a p 4 ( i n t e r n e tm e s s a g ea c c e s sp r o t o c o l ，网际消息访问协议，目前为第4 版本) w “l p 4 为邮箱访问和信息管理提供了更高的灵活性，当用户通过慢速电话线访问 i n t e r n e t 和接收电子邮件时，i m a p 4 比p o p 3 表现得更为出色。在使用i m a p 协议时， 可以将服务器上的邮件视为本地客户机上的邮件，用户可以选择性地下载邮件，也可 以只下载部分邮件。也是由于这一原因，i m a p 比p o p 结构更为复杂。 4 l o a p ( l i g h t w e i g h td i r e c t o r ya c c e s sp r o t o c o l ，轻量级目录访问燃 l d a p 为访问信息服务的开发标准协议，是目前最为流行的目录服务( d i r e c t o r y s e r v i c e ，d s ) 存取协议，它用来发布目录信息到不同的资源中。通常l d a p 作为个集 中的地址簿使用，提供快速的查询服务。简单地说，l d a p 是种只需较少资源即可实 现目录信息存取的方式，它能够实现安全高速的大用户量身份认证。 5 r f c8 2 2 邮件格式 r f c8 2 2 定义了用于电子自昏件报文的格式。它定义的邮件由2 部分组成：& 口信封 和邮件内容。其中信封包括了与传输和投递邮件相关的信息，而邮件内容则包括了标 题和正文。 6 m i 艇( 多用途的网际自昏件扩展) i n t e r n e t 上的踟t p 传输机制是以7 位二进制编码的a s c i i 码为基础的，适合传 送文本邮件。而声音、图像、中文等使用8 位二进制编码的电子邮件需要进行a s c i i 编码转换才能够在i n t e r n e t 上正确地传输。m 她的作用是将数据从8 位使用的格式转 换成使用7 位数据的a s c i i 码格式。 邮件过滤从执行方法来分可分为两种：种是基于地址的方式，根据发送方的邮件 地址或i p 地址，拒绝接收不正当的邮件攻击。另种是基于内容的方式，通过对邮件内 容进行检查，来决定是否接收邮件。 船m 丑滤从电子邮懈结构来分可分为：邮件传输代理过滤m a ) 、邮件投递代 理过滤 叭) 、自阱# 用户代理过滤( m 【，a ) 等。 3 3 1m t a 过滤 邮件传输代理娜r a ) 过滤器通常用于控制到达邮件。 岍a 首先过滤的对象之一是到达连接，检查到达连接的地址，并决定是否接受它。 使用枷限过滤的最明显方法之一或许是对s 孵p 对话中据哄的信息，i 鲍摇拥始叻议问候 和邮件事务。 第1 3 页 国防科学技术大学研究生院学位论文 大部分i w r a 提供这种过滤，因为他们在电子邮件的前端，通常更容易控制邮件的 到达。m t a 可以检查以下几个方面： a ) 连接问候：s m ph e l o 和e h l o 命令提供s m p 对话中可用的第个信息。过滤 器编写者可以要求验证h e l o 和e h l o 提供的值。但由于服务器的不正确配置，可能同 样导致验证失败，因此r f c l1 2 3 规定接收者不能拒绝接受信件，即使验证失败。这样， 过滤器在这里只能验证语法错误。 b ) 信封数据：硼h a 可以检查m a i l 和r c p t 命令，看是否允许发送的邮件。 c ) 信件大小：大多数婀a 可以配置为拒绝大信件和对信封检查，以防止具有攻 击性质的邮件。 d ) 系统负载：m r a 过滤最古老使用之一是基于运行册a 的机器的负载。如果负载 太高，接收更多的到达电子邮件可能使情况更糟。在这种情况下，接收m t a 可以拒绝 接收到达的t c p 连接。如果有其他的主机列为该目的地邮件交换机，发送r a 可以尝 试这些机器，否则它可以推迟信件的发送。 这个相同的技术可以用于接收s m i p 期望需要的其他系统资源，如空闲磁盘空间和 各种内核资源。 e ) 信件的内容：些 f r a 具有对信件内容过滤的能力，但如果用于所有的自p 件，对 于高流量的邮件服务器来说，就会严重影响性能。 3 3 2 撇过滤 即使信件的内容j 禹过一个砸a ，但大多数的砸a 过滤器也不检查信件的内容，对 信件内容的过滤就由叮a 来完成。当砌哺把封信件交给鼢a 进行最后投递时，m 运用过滤器的规则进行其他的处理。岫a 具有较大的灵活性，一些复杂的过滤器是使用 a 过滤器做的。 本地邮件投递通常要求把信件i 勖睡f j 用户的信箱中。胁a 先i 卖取要被投递的信件， 分析其内容，来确定采取什么样的动作。这些规则通常定义在个配置文件中，修改 起来比较简便。胁a 过滤器条件是面向基于字段的内容标谚 ，它可以验证信头和信体的 内容。另外，岫a 还具有扩展功能，通过接口把邮件提交给外部程序进行复杂处理；有 的h 毗过滤器有内置的程序设计语言，可以把附加的功自皂编制到过滤器程序。 与加、a 过滤器相比，枞过滤器的缺点是，副门不能直接访问s m t p 对话。一旦一个 船a 开始处理个信件，该信件就已经被传输到本地m a 。 3 3 3m u a 过滤 m d a 过滤有个缺点，它们主要位于电子邮件服务嚣上，但最终用户通常希望享有 从它们的主要电子邮件界面( 即邮件用户代理( 删a ) ) 管理个 过滤器规则的方便性。所 第1 4 页 ；坠堡l 燮垄奎兰堡壅竺堕兰堡丝塞 以，需要m u a 过滤。事实上，许多m u a 如o i j t l o o k 都带有过滤功能。m u a 过滤功能不 如m d a 强，而且在这一层过滤时，自酢 已经到了电子邮箱。占用了一定的磁盘空间。 m u a 过滤器对于大多数个人计算机用户是熟悉的，这些用户常常不自兽访问电子自p 件 服务器，所以他们的过滤受埘a 功能的限制。 m u a 过滤的另个缺点是动作在投递邮件的最后步执行在用户试图访问它的 信箱时。这意味着要求更大的磁盘空间，和更大的信件处理开销。 过i 虑暑晕与电子自懒结构的所_ 旬湎关系j 晡紧密。在体系结构中，有八订抛方 融滤的候选。应用过滤的通道使用粗箭线如图3 4 所示： 过滤器通常实现为系列的规则，每个规则是个条件测试和一组相关动作。每个 测试检查可用的输入数据和测试中指定的条件之间的匹配，如果条件匹配，执行相关的 动作。规则以各种方法处理，通常涉及检查每个规则，直到个动作指示处理完成，或 者没有更多的规则要检查。 第1 5 页 里堕型兰垫查奎兰塑窒皇堕兰堡篁苎 路由器 如何减少和消除垃圾邮件、病毒、恶意程序或敏感内容等对系统安全造成的威胁， 实现其安全目标，是个i 卜分复杂的系统问题，必须建立起个系统过滤模型，从全局 的观点来指导过滤系统的设计。本章首先分析和研究了电子邮件的工作原理、电子邮件 报史咯式娴关协议。其次，从电子m 附的体系结构上确立了由刚：过滤的候选，并建立 了邮件过滤漠型，从而为电子自刚划麓系统的设计与实现奠定了坚实的框架基础。 第1 6 页 星至型燮查耋堑窒竺堕兰堡篁兰 第四章电子邮件过滤技术及其实现 电子自阱过湖支术是目前剧立圾出口件用到的主烈支术。电子自附逝髓常可以从两 方面实现：种是基于客户端的垃圾自阼f 过滤，种是基于服务器端的垃圾邮件过滤。 而在网络中对_ 町疑蜊糙燃、堵葳的最 勤怯是基于服务器端晰立圾邮件j 立滤，即 自我 在蚓糊醍务器匕加设嘲暾拙赭睐觌船借越滤。 为了有效地方醋抽肿f 炸弹、病毒和黑客程序通过电子邮件的传播，可采用的方案 之是针对特定的邮件客户端程序( 如p 凹3 客户) ，增加相应的过口神磷f ，滤除不希望 收到的邮件，防止病毒和邮件炸弹的发作，即对客户端进行垃圾邮件过滤。如微软公 司推出了因特网探索者i e 5 0 浏览器，其组f 牛中的0 u t l 0 0 ke x p r e s s 5 0 软件收发电子 邮件即可实现对垃圾邮件的过滤。 一、过滤垃圾邮件 通j 立设 o u t l o o ke x p r e s s 5 0 的一些属性，可以直接过滤来自某个发