反垃圾邮件关键技术

1、冃前被利用最多的垃圾邮件发送技巧冇：1、盗収身份，來自“好人”的身份欺骗：垃圾邮件制造者使用的手段和当多样化，他 们收集全球范围的发信者ip地址，使用新的垃圾邮件域名，垃圾邮件或藏匿在其他“健康” url的示血以创建url好信誉，或利用如博客、免费网站等这些免费场所来达到身份欺骗。在 发送过程屮，它们用同样的技巧來隐藏发信者ip地址，将url重定向到己知垃圾邮件域名或 ip地址，或者使用许多免费的资源。2、图片垃圾邮件及多层图片垃圾邮件：在所有的垃圾邮件屮，图像垃圾邮件从年初所 占的1%已经飙升至15%。垃圾邮件发送者越来越会隐蔽信息，他们以图片的形式发送，而 不是用文木。这些图像z所以能够蒙

2、蔽一些过滤器是因为不太容易发现一个图像文件所含的 内容是朋友生tl聚会的照片、还是内嵌某公司股票信息的图片。图像垃圾邮件还会加重吐子 邮件系统的负担，因为每封图像垃圾邮件所占空间大约是普通垃圾邮件的7.5倍。3、躲避全球ip监控及倍誉评分：信誉评分技术是指根据信誉(reputation)筛检邮件的 方法，依照寄件行为接受评比。评比标准依据儿项变数，例如收件人的申诉率、发送邮件的 数量，以及对收件人取消订阅要求的i叫应。另外，ip地址黑名单也是垃圾邮件发送者要回避 的，为此，他们必须不断寻找新的僵厂服务器代发垃圾邮件。4、躲避内容过滤，夹带url或者电话号码：越来越多的垃圾邮件发送者为躲避内容

3、过滤引擎，将邮件伪装得越来越像一封正常邮件，而邮件中夹带的url地址或者电话号码 才是垃圾邮件发送者止真的意图所在。这些非法新技术的隐蔽性和扩张性大大优丁 他们的 而身，造成当今垃圾邮件泛滥成灾，使用电子邮件的网民及各界人上对垃圾邮件造成的问题 fi益关注，网络服务商和邮件运营商们纷纷提出了口己的技术方案：1. 发件人特征识别技术predictive sender profiling在身份欺骗技术被垃圾邮件制造者广泛利用的新形式下，邮件安全厂商推出了针对性的 发件人特征识别技术，代表产品为国际领先安全厂商i専威特公司的梭子鱼垃圾邮件防火墙。 在()6年底，该公司宣布将针对“好人”身份欺骗i的特

4、征识别技术加入梭了鱼垃圾邮件防火 墙中，首先要验证发信者身份并预测其行为，这其中包括列举垃圾邮件制造者的行为以及加 强不依靠身份验证进行辨认的措施。博威特网络技术公司表示，对丁发件人特征识別技术来 说，邮件信誉的校验只是最基本的，它必须通过启发式和人性化的检查來勾勒出垃圾邮件的 行为特性，必须具备多样的有效对策。2. 信誉评分技术ip reputation加州山景城的habeas公司从事信誉过滤(reputation-filtering)®#，也就是协助企业改良 电子邮件的名声，客户包括 walm> staplesvanguard、geico 和 t 等公司。 habeas的对

5、手公司returnpath从事的也是设法把邮件投入收件信箱的服务，避免让邮件被 弃置于垃圾信件分类。habeas首席执行官des cahill说：“电子邮件不是白吃的午餐。没有什么好东西仍然免 费。就像做搜索引擎最好做引擎优化(search engine optimization)般，电子邮件信誉与投递 也是快速增反的新兴行业。”专家把电子邮件信禅比喻成驾驶纪录或信用纪录。如果驾驶纪 录不佳，你必须付更高的保险费；信用纪录不良，你就无法取得优惠的贷款利息。同理，如 果电子邮件信誉差，你奇的邮件就会被丢入垃圾桶。3. 多重图片识别技术ocr打击图片垃圾邮件的主导技术有图片垃圾邮件指纹识别技术、o

6、cr识別技术以及z后的 笫三代图像防御技术。这三种技术在梭子鱼垃圾邮件防火墙上有集中的体现，在ocr识別技 术的初期，图片垃圾邮件的发送者们金图使川动态的gif图像使内容占川多帧。而且，他们 采用横线，符号和其他图像模糊图片内的文字。为了对付这些技巧，博威特公司第二代ocr 引擎既包含动态gif文件分析功能还包括模糊文本识别技术。随着笫三代图片垃圾邮件的出现，博威特公司研发出新型复合ocr引擎。该引擎深入分 析图片，在进行ocr识别之前对表象图片进行规范化处理。这个新技术主要针对图片掩饰， 不同颜色的对比，以及组合文字，背景等手段。综合处理正确率在95%以上。4. 意图分析技术 intenti

7、on analysis意图分析包括鉴别历史记录里的错谋邮件发送基点、它们口前的行为和意图。许多防御 策略用来鉴别垃圾邮件，而意图是随时间而改变的特殊类别。大部分垃圾邮件背后的动机是使接受某物，例如登陆某个站点，拨打某个电话，或者买 某只股票。这些动机被称为邮件“意图”，观察邮件的这些特点叫做“意图分析”。目前为止, 大部分垃圾邮件的意图都是让用户点击一个网页或链接。即使邮件发送者试图通过新ip地址掩盖他们的不良记录，他们最终还是需要驱使用户 去特定的网站。梭子鱼中心维护着垃圾邮件发送者常用网站地址库，能够基于邮件小插入的 站点地址阻断邮件。意图分析是阻断垃圾邮件非常有效的手段，它的有效性随着黑

8、名单有效性的相对减少而 增加。梭了鱼中心分析后发现，在梭了鱼垃圾邮件防火墙的过滤邮件中，意图分析过滤占到 了 10 20%。垃圾邮件巨大的利润驱使f,不法份子将不断使用更新的手段和技术来达到目的，污染 邮件环境。而网络服务商和邮件运营商们则也将一如既往地研制出新技术来应对不法分子的 挑战。与垃圾邮件的斗争注定将是一场持久战，厂商们已经做好了准备！5. 贝叶斯贝叶斯分析是一种语言算法，目的是对邮件中的语言进行分析，为了判定一封新邮件是垃圾 邮件还是正常邮件，贝叶斯分析首先使用常规的分词手段和程序将一段文字或内容切词 （tokenize）成一些单词字符串（token串），并进行评分设置，用于对比待

9、检验可以达到99.7% 的垃圾邮件识别率，同时误判率极低。是目前最有效的反垃圾邮件技术。1 ）贝叶斯过滤技术对邮件的所有内容进行分析，不仅仅是具屮的某个关键词，而且他能判 別邮件是垃圾邮件还是正常邮件。例如：包含“free” “cash” “发票”字样的邮件不一定是 垃圾邮件，如果采用关键字过滤技术，显然难以达到理想的效果。而贝叶斯呢，即考虑了这 些词在垃圾邮件中出现的概率乂考虑了它在正常邮件中的概率，综合考虑这些因素才做出判 断。可以说，贝叶斯具有一定的智能，它对邮件中的关键词汇能综合的进行评判，可以把握“好”与“坏”之间的平衡。显然，这种技术远远高于非1即（）的静态过滤技术。2）贝叶斯过滤

10、技术具备口适应功能一一通过学习新的垃圾邮件及正常邮件样本，贝叶斯将 能对抗最新的垃圾邮件。并且対变体字有奇效。比如，垃圾邮件发送者开始使用'f-r-e-e'*來 代替“free”这样能够绕过关键字检查，除非“"e-e”被加到新的关键字中。对贝叶斯而言， 当它发现邮件屮含有"f-r-e-e*时，由于正常邮件屮从来没有发现这个词，因此他是垃圾邮件 的可能性将急剧增加，“这个新词无疑成了垃圾邮件的指示器。在比如，垃圾邮件中 用5ex代替sex,贝叶斯也推算出他是垃圾邮件的可能性也急剧增加。3）贝叶斯过滤技术更加个性化。他能学习并理解用户对邮件的偏好。如前所述，&#

11、39;mortgage' 抵押一词对软件公司而言意味者垃圾，但对金融类公司则意味着好邮件。贝叶斯能根据用八 的这种偏好进行处理。4 ）贝叶斯过滤技术支持多语种或者说与编码无关。对于贝叶斯而言，他分析的是字串，无 论他是字、词、符号、还是别的什么，当然更与语言无关。5 ）贝叶斯过滤器很难被欺骗。垃圾邮件发送高手通常通过减少垃圾词汇（如free、viagra> 发票）或者在信中多掺一些好的词汇（如合同、文件）来绕过检查一般的邮件内容检查，但 由于贝叶斯具有的个性化色彩，要想成功的绕过贝叶斯的检查，他就不得不对每个收件人的 偏好进行研究，这简直是“不可能完成的任务”。垃圾邮件发送者无法

12、容忍的。若采用变化 字,则如前所述贝叶斯判断其为垃圾邮件的可能性反而增加。6连接管理连接管理过程不需要多长吋间，但对于邮件处理过程的优化相当重要，对于一般规模的 中小型企业，一半以上的邮件数量仅仅通过连接管理就将被阻断。绝大多数的1sp和小型 web主机在遭受攻击时，可以观察到超过99%的邮件在连接管理层被阻断。这是一个庞人 的数字，如果没有连接管理，海量邮件将会耗费邮件服务器以及邮件防火墙的大量资源。 如此重要的管理技术，在梭了鱼垃圾邮件防火墙中是怎么实现的呢？据博威特公司工程师介 绍，主要依靠以下技术完成全部的连接管理：7.速率控制自动垃圾邮件软件可以向一个邮件服务器发送大量垃圾邮件。为了

13、保护邮件服务器免受 这些攻击，梭了鱼垃圾邮件防火墙对从来自一个特定ip地址的连接进行计数，并在这个连 接超出阀值时断开连接。通过已知服务器或与已知合作伙伴交流频繁的公司应该将这些合法的1p地址和合法的 邮件服务器加入速率控制的例外名单。&ip地址信誉评价在对ip地址进行速率控制后，梭子鱼垃圾邮件防火墙对其进行分析以决定这个ip地址 的信誉度。用户可以白定义ip黑口名单，同时还可利川梭子角.荣誉库以及某些纽织维护着的外部黑名单。9. 发送者验证垃圾邮件通常会携带一个非法的来源ip地址。梭子鱼垃圾邮件防火墙利用许多技术来 同时验证发送者并且提供策略。其小包括协议匹配、dns查询、发送者欺骗

14、保护、h定义策略以及发送者策略框架 (spf)o10. 收件人认证许多垃圾邮件通过获得邮件地址来攻击邮件设施。梭了鱼垃圾邮件防火墙通过许多技术 来对收件人地址进行认证。如协议匹配、用户自定义策略、ldap收件人认证、smtp收件人认证等技术。当邮件通过以上多层检验以后，它将冇权进入下一层更加精准的扫描，即邮件扫描 由于垃圾邮件制造者越來越狡猾,垃圾邮件或者病毒邮件经常'被装扮成正常邮件，口吻, 关键词都模拟的像收件者的亲刖发来的邮件，因此很能迷惑视线，致使邮件扫描技术的发展 显得非常重要。邮件扫描最基木的就是病毒扫描，优先于所有的邮件扫描。一封带毒邮件，即时收件人 來自信任地址，梭子血

15、垃圾邮件防火墙的2层病毒扫描和自动解压存档文件技术，也会将它 阻断。邮件扫描继连接管理之示，承担了邮件安全的重要任务。垃圾邮件的分类因人而异，因 公司而异。能够根据公司和使用者要求设置扫描规则的技术，才是邮件安全策略的主体。梭 子鱼用以下几项策略构成这一主体“用户口定义策略管理员可以选择定义自己的策略，这些策略可以优先于梭了鱼动态更新发布的阻断规 则。梭子鱼垃圾邮件防火墙可以讣管理员设置基于主题，信头，信体，和附件类型的内容过 滤。但大部分管理员不需耍设置内容过滤，因为常用的规则形式都是通过梭子鱼动态更新口 动发布到梭了鱼垃圾邮件防火墙的。11. 指纹分析指纹分析是基于许多常见的垃圾邮件组成部

16、分(比如图片)。当前已爆发的垃圾邮件被 定义后，生成指纹，以阻止进一步扩散，这是一种有效的阻断机制。但需耍技术支持团队做 24小时的跟踪监测。听起来这应该是属于纶物识别技术的内容，怎么会运用到反垃圾邮件上來了呢？在这里 确实模仿了生物识别中指纹的概念。将垃圾邮件抽样提取标本，形成小的特征文件，我们叫它指纹，再利用这些指纹來判定一封邮件 究竟是不是垃圾邮件。12. 意图分析实现途径为提取出邮件发送的brl地址,与已知发送垃圾邮件地址数据库中brl和匹配， 从而阻断发垃圾邮件金图的技术。包括简单意图分析、实时意图分析以及最新版本屮提供的 多层意图分析。前者是针对邮件信体中的brl进行匹配的，后者则

17、盂要直接连接梭了鱼中心 来实时检测最新的垃圾邮件发送者列表。13. 图像分析今天，图像垃圾邮件占所有网络屮流量的三分之一。在指纹分析捕获人量图像的同时, 梭子鱼垃圾邮件防火墙也用图像分析技术來阻断新变异的垃圾图像。技术包括图像识别引擎 (ocr),图像处理，动态gif分析。14. 垃圾邮件评分除了提供阻断功能外，梭了鱼垃圾邮件防火墙还包括一个完善的评分引擎。衡量多个因 索，在单一过滤时可能导致对策略产生限制。通过把已知的权重和多重规则相结介，梭了鱼 可以发布一个及其可靠的垃圾邮件定义区间。通过贝叶斯与垃圾邮件规则评分技术，往往口j以进一步精确过滤掉20.71%的垃圾邮件。 梭子鱼的十二层逐层拦

18、截垃圾邮件技术获得了美国专利认证，喇叭式的过滤机制，过滤 流量最人的判别技术安置在最询而，人工职能和机器语言的过滤安排在最后。这样能够节省 网络资源，最大限度地保持准确性，降低误判率。15. dns反向查找在发邮件的时候，随意编造一个域名是非常容易的，如果采用阻断非法域名的方式来防 止垃圾邮件的话。那么，用户可以说是被动到极点了，而r根本没冇办法防止，因为那些域 名都是根本不存在的。dns反向查找技术就是在收到邮件吋对发件人的地址的真实性进行 核查，防止dns欺骗。16. 防止拒绝式服务攻击在一个极越的吋间里，想一个邮件服务器发送大量的邮件，占用邮件服务器的资源便邮 件服务器不能正常地提供邮件

19、服务，这就是针对于邮件系统的拒绝式服务攻击。将邮件系统 在一定时间内处理的邮件数量限制在一个相对合适的范围，就可以有效地防止拒绝式服务攻 击，这里建议邮件系统每分钟可以处理3()封信件。17.ip黑/白名单同样是较早的一种反垃圾邮件的技术，将经常向你发垃圾邮件的ip地址添加到ip黑名 单中，当再从同样的ip地址发来信件都被判定为垃圾邮件。如果ip地址被加入到白名单中， 则认为从那里来的任何邮件都不是垃圾邮件。麻来出现的拒绝发件人、拒绝的域也都是类似 的技术。优点技术比较容易实现，判断速度快。缺点误判率ls过于强硬。1&实时黑名单列表（rbl）这种技术类似于前而所提到ip黑名单的方法，区

20、别在于实时黑名单列表是借助于第三 方机构，他们为用户提供，垃圾邮件的判断匸作也是在internet上进行的，不需要用户 进行t涉和手动添加。通常该技术是通过dns方式（查询和区域传输）实现的。目前国外 流行的几个主要的实时黑名单服务器都是通过dns方式提供的，如mail-abuse的rbl、 rbl+等。国内目前尚未出现比较大的rbl服务。实时黑名单实际上是一个可供杏询的ip地址列表，通过dns的查询方式来杳找一个ip地 址的a记录是否存在来判断其是否被列入了该实时黑名单中。举例来说，比如如果要判断 一个地址111.222.333.444是否被列入了黑名单，那么使用黑名单服务的软件会发出一个d

21、ns 查询到黑名单服务器（如cbl.anti- ）,该查询是这样的： 444.333.2221 l.cbl.anispam.oigcn是否存在a记录？如果该地址被列入了黑名单，那么服 务器会返回一个有效地址的答案，按照惯例，这个地址是127.0.0.2 （之所以使用这个地址是 因为127/8这个地址段被保留用于打环测试，除了 127.0.0.1用于打环地址，其它的地址都可 以被用来做这个使用，比如有时候还用127.0.0.3等。）。如果没有列入黑名单，那么查询会 得到一个否定回答。有时候，由于邮件服务器非常繁忙，而且这个杏询结果是不缓存的，那么对黑名单服务器的 查询会非常多，导致查询响应迟缓。

22、在这种情况下，可以使用dns的区域传输，将黑名单 服务器的数据传输到本地的dns服务器，然后对本地的dns服务器进行查询即可。区域 传输可以设置为手工更新、定时更新或口动更新等方式，这依赖于你的应用。黑名单服务器的dns查询和区域传输，并不是都可以随意使用的。有些服务器可供任何人 查询和区域传输，而有些只对特定的用户开放。目前多数的主流邮件服务器都支持实时黑名单服务,如postfix、qmaik sendmaik imail 等等。黑名单服务的提供和黑名单的维护由黑名单服务提供者来提供和维护。所以该名单的 权威性和可靠性就依赖于该提供者。通常多数的提供者都是比较冇国际信祥的组织，所以对 于该名

23、单来说还是町以信任的。不过由于多数的黑名单服务捉供者是国外的纽织和公司，所以其提供的黑名单并不能有效地 反映出国内的垃圾邮件情况，因此国内使用实时黑名单服务的邮件商很少，这也是我们之所 以要提供自己的实时黑名单服务的原因。我们希望提供一个主要针对国内的垃圾邮件状况和 动态地址分布的黑名单来为有效地遏制垃圾邮件做些有益的贡献。我们知道防御垃圾邮件最彻底、最直接、有效的手段就是真正拒绝-切來自恶意的垃圾邮件 来源站点和/或被利用的垃圾邮件来源站点的连接。为此，世界上很多的反垃圾邮件技术都 会采用黑名单技术，而现在目前在黑名单技术上最流行的是实时黑名单（realhme blackhole list,

24、简称rbl）技术。优点减少用户的工作量和设迸难度，降低一定的误报率。缺点启的rbl提供方提供的rbls过于强硬。19.spfspf是发送方策略框架(sender policy framework)的缩写，一种以ip (互联网协定)地址 认证电子邮件寄件人身份的技术，是非常高效的垃圾邮件解决方案，旨在应对垃圾邮件中的 一个特别问题发送方假冒问题。当用户定义了他的域名spf记录之后，接收邮件方会 根据该用户的spf记录来确定连接过来的ip地址是否被包含在spf记录里面，如果在，则 认为是一封正确的邮件，否则则认为是一封伪造的邮件。因此，那些发信人伪造域名的垃圾 邮件在spf的火眼金睛下再也无法隐藏，企业邮箱就可以有效地避免此类垃圾邮件。正在 逐步成为一个防伪标准，來防止伪造邮件地址。您的域管理员或托管公司仅需在域名系统 (dns)屮发布spf记录。这些简单的文本记录标识了经过授权的电子邮件发送服务器(通 过列出这些服务器的ip地址)。电子邮件接收系统会检査邮件是否来自经过正确授权的电 子邮件发送服务器。检查步骤如下：1. 发送人向接收方发送一封电子邮件2. 邮件接收服务器接收电了邮件并执行如下操作：检查哪一个域声称发送了该邮件并检査该