网络管理技术论文

课程论文<学号>-Sor<学号>-R：<论文题目>《计算机网络管理技术》研究总结报告：垃圾邮件与反垃圾邮件技术By:<姓名>,许卓明河海大学,<yyyy-mm-dd>PagePAGE2ofNUMPAGES1PaperNo:09012064Date:2011-12-24PagePAGE3ofNUMPAGES13本科课程论文CoursePaper课程名称Course：计算机网络管理技术课程性质CourseNo：实践与应用学分数课程名称Course：计算机网络管理技术课程性质CourseNo：实践与应用学分数Credits：2主讲教师Instructor：刘拥开设学院College：计算机与信息工程学院开设时间Semester：2011年9月撰写日期Date:2011-12-24垃圾邮件与反垃圾邮件技术Spamandanti-spamtechnology***（计算机与信息工程学院网络工程09级********）论文类型PaperType:研究总结SummaryofFocusedResearch论及主题SubjectCovered:□引言□电子邮件的工作原理□垃圾邮件及其危害■反垃圾邮件的一般技术□结论巢湖学院

垃圾邮件与反垃圾邮件技术**（计算机与信息工程学院网络工程09级********）Email:*********0@摘要: 随着电子邮箱的普遍使用，各种垃圾邮件严重干扰了人们正常的通讯生活。因此，如何解决垃圾邮件，是本篇论文研究的重点。本文首先从介绍电子邮件的工作原理着手，其次阐明垃圾邮件及其危害，最后提出一些反垃圾邮件的一般技术，依此为线索，简明扼要地叙述如何解决垃圾邮件。关键词: 电子邮件；SMTP；垃圾邮件；病毒邮件；反垃圾邮件技术SpamAndAnti-spamTechnology**（09012064,CollegeofComputers&InformationEngineering,ChaoHuUniversity,ChaoHu,China）Email:*********@Abstract: Withthewidespreaduseofe-mail,avarietyofjunke-mailsseriouslyinterfereswithpeople’snormalcommunications.Therefore,howtodealwiththespamsisthefocusofmythesis.Thefirstpartofmythesisisintroducingtheworkprincipleofe-mails.Then,itclarifieswhatthespamisandthedangersofspams.Lastbutbynomeanstheleast,itprvidessomeefficienttechniquestohandlethisproblem.Keywords:E-mails;SMTP;Spam;E-mailvirus;Anti-spamtechnology引言随着互联网技术的飞速发展，各种电子通讯方式层出不穷，如MSN，腾讯QQ等即时聊天工具，又论坛，博客，电子邮件等信息传播工具，这些基于Internet的媒介为我们的生活无论是从时间上，还是空间上，都带来了极大的便利。然而，凡事都具有两面性，在我们享受这种便捷的同时，一些可能危害网络信息安全的问题应运而生。电子邮件的普遍使用在某种程度上改变了人们的沟通交流方式，但是，与此同时，垃圾邮件的危害却不容小觑。垃圾邮件是Internet发展的一个副产品，它给Internet用户、网络管理员和ISP带来了无尽的烦恼，据统计，全世界因为垃圾邮件每年要损失1000万美元。垃圾邮件不仅浪费了宝贵的网络资源，还带来严重的社会问题。甚至有些国内的IP网站被列入了国外某些组织的“黑名单”，来自某些IP地址的邮件在国际接口被屏蔽等等，影响了国内用户对电子邮件的正常使用。本文就垃圾邮件与反垃圾邮件技术做一次简单的概述，重点介绍电子邮件的工作原理与反垃圾邮件的一般技术，并且为用户提供一些解决垃圾邮件的有效方法。电子邮件的工作原理电子邮件的发展简介Internet问世后的最初应用就是电子邮件。在Internet电子邮件流行之前就已经有几种形式的电子邮件存在了。从20世纪60年代后期人们就开始使用计算机共享文件的方式来传递信息。到了70年代开始出现基于APARnet传输的电子邮件，大多数人认为1971年使用APARnet发出的电子文本信息是第一封Internet电子邮件。1972年RayTomlinson写了第一个电子邮件程序，叫做SNDMSG，在APARnet上使用。为了创建一个世界范围的电子邮件系统，在1984年ISO（国际标准化组织）和ITU（国际电信联盟）发布了一组新的新建传递标准，这就是X.400。在1988年和1993年又做了两次更新。在欧洲这个标准在较为广泛的范围内被接受，但由于它的规模和复杂性，并没有在全球范围内流行。相反，基于TCP/IP的电子邮件从一开始就显示出了强大的生命力。1982年Internet协会发布了基于TCP/IP的SMTP（简单邮件转发协议），即RFC821（RequestforComments,Internet的标准文档）。稍后发布的RFC822定义了ASCII代码的纯文本的信件结构。由于Internet的快速发展和巨大成功，这种Internet邮件也迅速被广为接受，特别是在Internet发源地美国。在开始的时候这些纯文本的格式就可以满足当时的需要了。但很快人们希望使用更复杂的功能，如多媒体文件格式，于是Internet协会1996年又发表了一系列的关于MIME（MultipurposeInternetMailExtensions）格式的定义，支持用户的这种需求。今天人们使用的大部分邮件是Internet邮件，其它一些形式的邮件要么采用了Internet的标准，要么被Internet邮件系统替代。虽然X.400在欧洲还在使用，但已经可以与Internet邮件系统比较好地对接了。中国第一封电子邮件的内容1987年9月20日，中国第一封电子邮件是由“德国互联网之父”维纳·措恩与王运丰在北京的计算机应用技术研究所发往德国卡尔斯鲁厄大学的，其内容为英文，大意如下：原文：“AcrosstheGreatWallwecanreacheverycornerintheworld.”中文大意：“跨越长城，走向世界。”这是中国通过北京与德国卡尔斯鲁厄大学之间的网络连接，向全球科学网发出了第一封电子邮件。电子邮件的工作原理邮件的格式为了让邮件能够顺利地在Internet上传送，能够被不同的邮件服务器正确识别，并且在各种各样的终端上显示出来，就需要遵循一定的格式。邮件的格式在RFC822中加以定义[参考文献1]，为了支持多媒体文档的传输，1996年又发表了一系列的关于MIME（MultipurposeInternetMailExtensions）格式的定义。RFC2045：MIME第一部分Internet信体格式RFC2046：MIME第二部分媒体类型RFC2047：MIME第三部分非ASCII文体信体的扩展RFC2048：MIME第四部分注册过程RFC2046：MIME第五部分符合标准和举例在最高层信件是非常简单的，它含有一系列的文体，每一行以回车（CR）和换行（LF）组成。信件由信头、信件体和之间的空行组成。信头有定义的格式，以使得MTA、MDA和MUA能对它进行程序分析。信头是必须的，信件体是可选的。下面是一个简单的例子：From:admin@······信头部分To:staff@Subject:MeetingNoticeDate:2002-5-6······信头和信件体之间的空行HiEveryone,·····信件体Thereisameetingthissfternoon.Thanks,AdminRFC822为信头定义了20多个标准的字段，包括Date、From、To、CC等一些必须的字段和一些非必须的字段。另外，在信件的传输过程中，MUA和MTA还会在信头上加入一些路径信息，它们合在一起构成了收到的邮件的信头部分。邮件的传送[参考文献2]电子邮件与普通邮件有类似的地方，发信者注明收件人的姓名和地址（即邮件地址），发送方服务器把邮件传到收件方服务器，收件方服务器再把邮件发到收件人的邮箱中，如图2.1所示。图2.1高层SMTP接口模型下面解释邮件传送中涉及到的几个概念：MUA（MailUserAgent），邮件用户代理，帮助用户读写邮件。MTA（MailTransportAgent），邮件传输代理，负责把邮件由一个服务器传到另一个服务器或邮件投递代理。MDA（MailDeliveryAgent），邮件投递代理，把邮件放到用户的邮箱里。整个邮件传输过程如图2.2所示。图2.2邮件传输中的代理目前使用的SMTP协议是存储转发协议，意味着它允许邮件通过一系列的服务器发送到最终目的地。服务器在一个队列中存储到达的邮件，等待发送到下一个目的地。下一个目的地可以是本地用户，或者是另一个邮件服务器。如果下游的服务器暂时不可用，MTA就暂时在队列中保存信件，并在以后尝试发送。邮件读取协议POP和IMAP现在常用的邮件读取协议有两个，即邮局协议第3个版本POP3和网际报文存取协议IMAP（InternetMessageAccessProtocol）。[参考文献3]邮局协议POP是一个非常简单。但功能有限的邮件读取协议。邮局协议POP最初公布于1984年[RFC918]。经过几次的更新，现在使用的是1996年的版本POP3[RFC1939]，它已成为因特网的正式标准。大多数ISP都支持POP。POP3可简称为POP。POP使用客户/服务器的工作方式。另一个读取邮件的协议是网际报文存取协议IMAP，它比POP3复杂得多。现在较新的版本是2003年3月修订的版本4，即IMAP[RFC3501]，它目前还只是因特网的建议标准。IMAP也按照客户/服务器方式工作。当具备了两个SMTP服务器，就可以实现异地的邮件通信了。实际使用中，为了更方便，通常还需要用到POP和IMAP服务器，以及供用户编辑和阅读邮件的应用程序，如Outlook、Foxmail等。POP服务器主要是为了解决用户的终端不能总连接在网上等问题。为了随时接收可能发来的邮件和传出邮件，SMTP服务器必须时刻处于工作状态。个人终端，如便携机或者拨号上网，可能无法满足此要求。而且也没有必要为每个用户的终端都安装一个复杂的SMTP服务器。另一方面，随着网络的发展，许多用户不愿意学习使用复杂的服务器来从服务器端直接读取邮件。他们希望能够把信件下载到本地，使用简单方便的应用程序编辑和阅读。POP就是为了解决这些问题而设计的。MTA把邮件投递给POP服务器，暂时存放所有收到的邮件，等待用户来取。用户取信时使用POP客户端，把信件下载到本地机器上。简单地讲，SMTP服务器好比一个完整的邮政系统中的各个邮局，复杂传送邮件；POP服务器仿佛一个收发室，负责暂时保管信件和发送信件。IMAP比POP提供了更多的功能，也更复杂一些。POP缺乏严格的邮件处理能力，通常邮件被从服务器下载到客户端后，邮件就会从服务器上删除。这有利于节省服务器硬盘空间，但对于可能使用多个终端的用户却不够方便。例如用户在家、办公室和旅行时可能需要使用不同的终端，他需要从不同的客户端上看到相同的内容，但使用POP邮箱就会被分割成3个不同的部分。IMAP通过维护服务器上的邮箱并允许客户端的计算机对服务器上的邮件进行操作，允许使用者从多个地点访问邮箱而不会出现邮件被分割的情况。与POP一样，MTA收到电子邮件，把它提交给MDA，由它把电子邮件投递给一个邮箱。IMAP客户机管理它本地的邮箱，并与IMAP服务器通信管理它的远程邮箱。IMAP服务器提供一个远程客户机与存放在服务器上邮箱的接口。IMAP也是通过与MTA的对话发送信件。邮件传送协议SMTP[参考文献4]SMTP（SimpleMailTransferProtocol）定义了保证电子邮件的可靠和高效传送的机制，最初的内容包含在RFC821中。在2001年4月RFC2821对该协议进行了更新，取代了旧的RFC821。TCP/IP协议的应用层中包含有SMTP协议，但事实上它与传输系统和机制无关，仅要求一个可靠的数据流通道。它可以工作在TCP上，也可以工作在NCP、NITS等协议上。在TCP上，它使用端口25进行传输。SMTP的一个重要特点是可以在可交互的通信系统中转发邮件。SMTP提供了一种邮件传输的机制，当收件方和发送方都在一个网络上时，可以把邮件直接传给对方；当双方不在同一个网络上时，需要通过一个或几个中间服务器的转发。SMTP首先由发件方提出申请，要求与接收方SMTP建立双向的通信渠道，收件方可以是最终收件人也可以是中间转发的服务器。收件方服务器确认可以建立连接后，双方就可以开始通信。下图2.3是SMTP的模型示意图。图2.3SMTP模型SMTP的命令和响应都是基于文本，以命令行为单位，换行符为CR/LF。响应信息一般只有一行，由一个3位数的代码开始，后面可附上很简短的文字说明。SMTP要经过建立连接、传送邮件和释放连接3个阶段。具体为：（1）建立TCP连接。（2）客户端向服务器发送HELLO命令以标识发件人自己的身份，然后客户端发送MAIL命令。（3）服务器端以OK作为响应，表示准备接收。（4）客户端发送RCPT命令。（5）服务器端表示是否愿意为收件人接收邮件。（6）协商结束，发送邮件，用命令DATA发送输入内容。（7）结束此次发送，用QUIT命令退出。SMTP服务器基于DNS中的邮件交换（MX）记录路由电子邮件。电子邮件系统发邮件时是根据收信人的地址后缀来定位邮件服务器的。SMTP通过用户代理程序（UA）完成邮件的编辑、收取和阅读等功能；通过邮件传输代理程序（MTA）将邮件传送到目的地。最后强调一下，不要把邮件读取协议POP或IMAP与邮件传送协议SMTP弄混。发件人的用户代理向发送方邮件服务器发送邮件，以及发送方邮件服务器向接收方邮件服务器发送邮件，都是使用SMTP协议。而POP或IMAP则是用户代理从接收方邮件服务器上读取邮件所使用的协议。垃圾邮件及其危害什么是垃圾邮件经常使用电子邮件的用户可能都曾经收到过不认识的人发来的广告邮件或者其他一些毫无关系的邮件。有的甚至是不断地收到，挥之不去。这些就是所谓的“垃圾邮件”。它通常是指未经用户许可，但却被强行塞入用户邮箱的电子邮件。垃圾邮件一般具有批量发送的特征，其内容包括赚钱信息、成人广告、商业或个人网站广告、电子杂志、连环信等。垃圾邮件可以分为良性和恶性的。良性垃圾邮件是各种宣传广告等对收件人影响不大的信息邮件，恶性垃圾邮件则是指具有破坏性的电子邮件。垃圾邮件和那些强行塞入用户门缝或信箱中的传单有着本质的区别。这些传单的印刷和分发的成本由生产该产品的厂家来承担。而这些电子垃圾邮件的成本却是又收件人来支付的。这些垃圾邮件通常是盗用他人的服务器，使用别人的带宽来传送的。这也就是为什么垃圾邮件比那些散发的传单遭到了更为强烈谴责的原因。垃圾邮件的危害垃圾邮件可以说是因特网带给人类的最具争议性的副产品，它的泛滥已经使整个因特网不堪重负。它的主要危害如下：1．占用网络带宽，造成邮件服务器拥塞，进而降低整个网络的运行效率。2．侵犯收件人的隐私权，侵占收件人信箱空间，耗费收件人的时间、精力和金钱，有的垃圾邮件还盗用他人的电子邮件地址做发信地址，严重损害了他人的信誉。3．被黑客利用成助纣为虐的工具。例如，在2000年2月，黑客攻击雅虎等五大热门网站就是一个例子。黑客先是侵入并且控制了一些高带宽的网站，集中众多服务器的带宽能力，然后用数以亿万计的垃圾邮件猛烈袭击目标，造成被攻击网站网路堵塞，最终瘫痪。4．严重影响ISP的服务形象。在国际上，频繁转发垃圾邮件的主机会被上级国际因特网服务提供商列入国际垃圾邮件数据库，从而导致该主机不能访问国外许多网络。而且收到垃圾邮件的用户会因为ISP没有建立完善的垃圾邮件过滤机制，而转向其它ISP。一项调查表明：ISP每争取一个用户要花费75美元，但是每年因垃圾邮件要失去7.2%的用户。5．妖言惑众，骗人钱财，传播色情等内容的垃圾邮件，已经对现实社会造成了危害。病毒邮件病毒邮件，对于接受者来说，这些邮件基本满足垃圾邮件的定义：没有订阅，被迫接受，内容无关。然而，病毒邮件比普通的垃圾邮件所带来的危害更大。比如，SoBig蠕虫安装开放的，可以用来支持邮件转发的代理。随着垃圾邮件的演变，用恶意代码或者监视软件等来支持的病毒邮件已经明显地增加了。2003年12月31，巴西的一个黑客组织发送包含恶意javascript脚本的垃圾邮件给数百万用户，那些通过Hotmail来浏览这些垃圾邮件的人们在不知不觉中已经泄露了他们的账号，这样的病毒邮件给无数用户带来了无尽的烦恼。反垃圾邮件的一般技术如何保护邮件地址从某一天开始，你可能不断地收到某个人发来的垃圾邮件，你可能会很奇怪，“他们是从哪里得到我的邮件地址呢？”通常制造垃圾邮件的个人和组织从以下渠道获得邮件地址：从网上或者新闻组里搜索，一个简单的脚本就可以做到这一点。一般他们都是使用专门开发的软件，在网上匹配任何的邮件地址。对某个域名进行猜测。这个方法用得不多，但是仍然可以获得有效的邮件地址。用户提供。也许你曾经在某个网站或某个商业机构注册过自己的电子邮件，这些邮件地址通过一些不为人知的渠道到了他们的手里。了解了这些就应该知道如何避免垃圾邮件了。首先，不要把自己的私人邮件地址公布在网页或者新闻组里。如果需要在网页上或者新闻组中留下联系邮件，可以变通成人可以理解但机器却很难理解的格式。例如，contact@可以写成下面的格式：contact<at>testdomain<dot>comcontact@NOSPAM.这些邮件的地址里加入了一些对于人易于理解的“伪装”。以防止被一些搜索工具猎取。一些专业的邮件地址捕获工具已经能够识别类似“NOSPAM”的“伪装”，实际使用时应当使其更个性化一些。另外，不要轻易相信调查公司而提供自己的邮件地址，必要时可以注册多个邮件地址，每个邮件的用途相对固定，这样即使某个邮件被他人捕获，可以很容易废弃该账户而不会造成太大的影响。追踪垃圾邮件阻止垃圾邮件的首要任务是找到垃圾邮件的真正源头。如前面在SMTP协议中介绍的，由于协议的弱认证机制，使得邮件信头的部分内容很容易伪造。E-mail由信头、正文和附件三部分组成，信头包含了发件人，收件人，发送时间，时区等概要信息，一般的e-mail通讯问题，都需要管理员提供相关信件的信头以准确快捷的定位问题所在。因此，充分理解信头各部分的含义可以帮助我们迅速找到邮件的正确源头。邮件信头的生成过程在最高层，邮件的结构是非常简单的，用户从终端机看到的邮件格式一般为：From:sender@To:receipt@Subject:ExplainationofmailformatDate:Thu,1Apr2001.10:00:00GMTHi,JackThismailistoexplainyoutheemailformat------ThanksBob其中，1~4行称作邮件信头（messsageheader），6~10行描述信件要表达的内容，称为信体（messagebody）。第5行是空行，根据RFC822的要求，信头跟信体之间必须加入一空行[参考文献1]。信头通常包含字段From、To、Subject和Date，有的邮件还包含cc、bcc等字段。事实上，邮件在传输过程中，服务器要把它打包成一个数据对象，包括上面的信件和一个信封。邮件的投递是依靠信封上的地址或信封地址，而不是上面讲的信件上的地址。当某个用户在自己的电脑Client1前编写完一个邮件，然后把它发送到他的ISP的邮件服务器SMTP1.此时他的机器已经完成了所有的工作，但邮件服务器SMTP1还必须设法把邮件发送到目的地。SMTP1通过阅读信头或信封上的地址，找到收件人的邮件服务器SMTP2，然后与该服务器建立连接，把邮件发到收件人的服务器上，等待收件人来取阅。几种常见的邮件服务器端读取邮件信头的方法对于大部分的邮件客户端应用程序都支持查看邮件原文功能，或者至少允许查看邮件的信头。但是各种应用程序查看信头的方法并不相同。OutlookExpress（Windows集成的应用程序）OutlookExpress是Microsoft(微软)自带的一种电子邮件，简称为OE，是微软公司出品的一款电子邮件客户端，也是一个基于NNTP协议的Usenet客户端。微软将这个软件与操作系统以及InternetExplorer网页浏览器捆绑在一起。查看方法：选中邮件，鼠标右击邮件的主题，在下拉菜单中选择“属性”，页面如下图所示：在属性窗口中点击“详细信息”，如下图页面所示，通过窗口，就可以看到邮件信头的详细信息了。为了查看方便，可以单击“邮件来源”，就会放大当前的窗口。FoxmailFoxmail是腾讯旗下的一个邮箱，域名“”。Foxmail可以看做是qq邮箱的一个别名，qq邮箱的用户可以在“设置-账户”中为qq邮箱设一个Foxmail的别名。查看方法：选择邮件，鼠标右击邮件的主题，在下拉菜单中选择“原始信息在菜单中找到“原始信息”或“邮件信息－原始信息”，页面如下图所示：在弹出的页面中就可以找到邮件信头，页面如下图所示：MicrosoftOutlookMicrosoftOutlook2010为全球5亿多位用户提供了高级企业和个人电子邮件管理工具。从重新设计过的外观到高级电子邮件整理、搜索、通信和社交网络功能，Outlook2010为您提供了一种世界级的体验来提高您的工作效率，并保持与个人网络和企业网络之间的连接。查看方法：选中邮件，鼠标右击邮件的主题，在下拉菜单中选择“选项(P)...”，页面如下图所示：在打开的“邮件选项”属性窗口的底部就可以找到邮件信头，页面如下图所示：由于邮件的应用程序种类繁多，在此就不一一列出了，通常来说可以在邮件应用程序中找到查看邮件全文或信头的选项，有时需要将信体另存为ASCII文件才可以。反垃圾邮件技术[参考文献5]过滤(Filter)过滤是一种相对来说最简单却很直接的处理垃圾邮件技术。这种技术主要用于接收系统（MUA，如OUTLOOKEXPRESS或者MTA，如sendmail）来辨别和处理垃圾邮件。从应用情况来看，这种技术也是使用最广泛的，比如很多邮件服务器上的反垃圾邮件插件、反垃圾邮件网关、客户端上的反垃圾邮件功能等，都是采用的过滤技术过滤技术通常创建一些简单或复杂的与垃圾邮件关联的单词表来识别和处理垃圾邮件。比如某些关键词大量出现在垃圾邮件中，如一些病毒的邮件标题，比如：test。这种方式比较类似反病毒软件利用的病毒特征一样。可以说这是一种简单的内容过滤方式来处理垃圾邮件，它的基础是必须创建一个庞大的过滤关键词列表。这种技术缺陷很明显，过滤的能力同关键词有明显联系，关键词列表也会造成错报可能比较大，当然系统采用这种技术来处理邮件的时候消耗的系统资源会比较多。并且，一般躲避关键词的技术比如拆词，组词就很容易绕过过滤。黑白名单(Black/WhiteList)黑名单（BlackList）和白名单（WhiteList）,分别是已知的垃圾邮件发送者或可信任的发送者IP地址或者邮件地址。现在有很多组织都在做BL（blocklist），将那些经常发送垃圾邮件的IP地址（甚至IP地址范围）收集在一起，做成blocklist，比如spamhaus的SBL（SpamhausBlockList），一个BL，可以在很大范围内共享。许多ISP正在采用一些组织的BL来阻止接收垃圾邮件。白名单则与黑名单相反，对于那些信任的邮件地址或者IP就完全接受了。目前很多邮件接收端都采用了黑白名单的方式来处理垃圾邮件，包括MUA和MTA，当然在MTA中使用得更广泛，这样可以有效地减少服务器的负担。BL技术也有明显的缺陷，因为不能在blocklist中包含所有的IP地址，而且垃圾邮件发送者很容易通过不同的IP地址来制造垃圾。HASH技术HASH技术是邮件系统通过创建HASH来描述邮件内容，比如将邮件的内容、发件人等作为参数，最后计算得出这个邮件的HASH来描述这个邮件。如果HASH相同，那么说明邮件内容、发件人等相同。这在一些ISP上在采用，如果出现重复的HASH值，那么就可以怀疑是大批量发送邮件了。智能和概率系统广泛使用的就是贝叶斯(Bayesian)算法，可以学习单词的频率和模式，这样可以同垃圾邮件和正常邮件关联起来进行判断。这是一种相对于关键字来说，更复杂和更智能化的内容过滤技术。贝叶斯理论现在在计算机行业中应用相当广泛，这是一种对事物的不确定性描述，比如google计算中就采用了贝叶斯理论。贝叶斯算法的过滤器就是计算邮件内容中成为垃圾邮件的概率，它要首先从许多垃圾邮件和正常邮件中进行学习，因此，效果将比普通的内容过滤器更优秀，错报就会更少。贝叶斯过滤器也是一种基于评分的过滤