一种基于ma通信的垃圾邮件行为识别技术

一种基于ma通信的垃圾邮件行为识别技术

0加大对地下空间的可识别性,提高反病毒的行为识别能力,强化用户通信秘密随着中国互联网的快速发展和普及，垃圾邮件的传播也变得越来越猖獗，严重侵犯了电子邮件用户的合法权益和公司的利益，影响了电子邮件服务的正常运作秩序和网络的正常运行。它直接影响到互联网信息安全，每年给经济带来数十亿元的巨大损失。互联网协会2006年第一次反垃圾邮件调查结果表明:2005年11月～2006年3月期间,中国互联网用户收到的垃圾邮件比例由61.53%上升到63.97%,上升了2.44个百分点。中国互联网用户平均每周收到垃圾邮件数量为19.33封,较2005年10月的每周17.25封上升了2.08封,上升幅度也高于上次的调查结果。面对日益严峻的反垃圾邮件形势,为了维护广大用户的合法权益、促进互联网健康发展,信息产业部已公布了《互联网电子邮件服务管理办法》(后面简称《管理办法》),并于2006年3月30日开始施行。《管理办法》的公布,意味着政府主管部门对垃圾邮件治理工作越来越重视。《管理办法》中规定,包括运营商、电子邮件服务提供商和垃圾邮件举报受理中心,都无权自行打开邮件和查看邮件的内容。因此,以绝大多数厂商为代表的邮件内容扫描技术则不符合此项法规。2006年3月21在北京举行的主题为“治理、规范、发展的《管理办法》研讨会暨2006年第一次中国反垃圾邮件状况发布会”中,信息产业部政策法规司法规处副处长李长喜博士说:“《管理办法》对垃圾邮件的管理主要是从电子邮件的标题等外在形式方面进行判断。”因此,本文提出了一种主动式的垃圾邮件行为识别技术。所谓行为识别技术就是在MTA通信阶段就判断出所接收邮件是否为垃圾邮件而不需要打开邮件检查其内容。这种行为识别技术完全符合法律规定的保障公民通信秘密的要求,也符合《管理办法》规定的要求,还可避免内容过滤技术不可避免的误报率高、语言依赖性强、网络流量大和资源消耗大等问题;同时还可提高邮件过滤速度,减少网络延迟。1垃圾邮件的定义与通信行为的分析1.1规范使用权滥用2002年11月1日,中国互联网协会在《中国互联网协会反垃圾邮件规范》中是这样定义垃圾邮件的:“本规范所称垃圾邮件,包括下述属性的电子邮件:a)收件人事先没有提出要求或者同意接收的广告、电子刊物、各种形式的宣传品等宣传性的电子邮件;b)收件人无法拒收的电子邮件;c)隐藏发件人身份、地址、标题等信息的电子邮件;d)含有虚假的信息源、发件人、路由等信息的电子邮件。”国际互联网邮件协会(InternetMailConsortium,IMC)于1997年10月做了题名为“不请自来的大量邮件的定义及其产生的原因”的报告。这份报告中就将垃圾邮件定义为不请自来的大量邮件,即UBE(unsolicitedbulke-mail)。美国弗吉尼亚2003年《反计算机犯罪法》就采用了“不请自来的大量邮件”来定义垃圾邮件。垃圾邮件之所以烦人,并不是因为内容无趣不吸引人,而在于大量滥发,任意长驱直入至收信者电子邮件箱。从法律上讲,没有取得他人同意滥发垃圾邮件,属于滥用发信自由、侵犯他人的收信自由,实质上是强迫通信。反垃圾邮件就是反对强迫通信,维护通信自由。1.2b发送含带病毒的电话垃圾邮件发送者已经在全球形成较紧密的合作网络,发送的手段也更加隐蔽和狡猾。垃圾邮件发送行为解析分类如下:a)邮件滥发行为。利用软件群发带有商业目的电子邮件。这些垃圾邮件发送者经常利用动态IP地址来发送垃圾邮件,混淆垃圾邮件的来源和路由,以逃避法律法规的追查和制裁,以及病毒邮件、蠕虫邮件利用操作系统或应用系统的漏洞,大量转发含带病毒的邮件。b)邮件非法行为。垃圾邮件发送者借用各地的多个开启了openrelay邮件转发功能的邮件服务器来发送邮件的行为。c)邮件伪造行为。发件人、收件人、发件主机或邮件传输信息经过刻意伪造,经查证不属实的行为。d)邮件匿名行为。发件人、收件人、发件主机或邮件传输信息刻意隐匿,使得无法追溯其来源的行为。e)利用IDC(互联网数据中心)提供的邮件服务以正常用户的方式进行垃圾邮件发送。从上面对垃圾邮件通信行为分析发现,垃圾邮件与正常邮件的发送行为具有极高的区分度,这对过滤垃圾邮件提供了突破点:根据这些通信行为特征可以判断垃圾邮件通信的存在性,从而可以采取相应的手段来阻止。2会话连接通信过程SMTP(简单邮件传输协议)有一个协议状态空间,协议会话过程中,会话双方都将分别维护会话状态。协议命令驱动协议会话状态在SMTP协议状态空间中转换。MTA会话连接通信过程主要包括helo、mail、rcpt和data四个核心命令。下面详细介绍其会话连接通信过程。首先,发件方SMTP发送helo命令,表示发件方问候收件方,后面是发件人的服务器地址或标志;收件方回答OK时标志自己的身份;问候和确认过程表明两台机器可以进行通信。然后发件方SMTP向收件方发送mail命令,告知发件方的身份(发件方邮件地址);如果收件方接收,就会回答OK。发件方再发出rcpt命令,告知收件人的身份(收件人的邮箱即信封地址)。当有多个收件人时,需要多次使用该命令,每次只能指明一个人,收件方SMTP确认是否接收或转发;如果同意就回答OK。接下来发件方再发出data命令就可以进行数据传输了。会话过程中,发件方SMTP与收件方SMTP采用对话式的交互方式;发件方提出要求,收件方进行确认,确认后才进行下一步的动作。3对数据进行检查MTA的通信会话过程中有两个阶段可以进行过滤:a)在建立通信连接时,可以在mailfrom指令和rcptto指令中对会话数据进行检查,即发送邮件数据前的检查也叫做信封检查;b)在发送邮件数据后,即在发送data指令后的过滤,在通过一个点的单行结束data指令后,可以对data指令接收到的数据进行检查,包括信头检查和信体检查。本文的研究重点是根据邮件在MTA的通信会话过程中所处的不同阶段来确定需要检查的内容,即邮件信封检查;并由此进一步驱动会话状态的转换,主要有追踪源头认证技术、信誉验证技术和质询验证技术,以追踪、验证并判断来信是否具有滥发、伪造、匿名等行为特征的垃圾邮件,从而迅速阻断垃圾邮件的传输,提高邮件过滤的速度。3.1换发信用户在SMTP中声明发送者邮件地址的mailfrom指令所带的参数,并没有要求为合法的可以验证的邮件地址。此参数可以为空缺或任意指定。目前垃圾邮件发送者正是利用SMTP这个漏洞,使用专用的垃圾邮件发送软件,可以自动、定时变换发信用户和连接源IP地址,如发送的病毒邮件、黑客攻击邮件和网络钓鱼邮件等,可以轻易地躲过邮件管理员人工阻断以及传统的反垃圾邮件技术的控制。针对上述情况,追踪源头认证技术对mailfrom指令所提供的邮件来源进行深度检查。如果为空,则属于匿名垃圾邮件;在不为空时,可以通过域名反向解析和检查是不是符合RFC822格式等,以判断其是否为垃圾邮件。域名反向解析技术对发送者的IP地址进行逆向名字解析,通过DNS查询来判断发送者的IP与其声称的名字是否一致。若与其DNS记录不符,则予以拒收。这种方法可以有效过滤掉发件人、发件主机或邮件传输信息行为经过刻意伪造的垃圾邮件,还能够有效过滤掉来自动态IP的垃圾邮件;对于某些使用动态域名的发送者,也可以根据实际情况进行屏蔽。3.2检查充放电后确认发送电话时,认为邮件过滤系统维护一个允许发送邮件的安全通信录,即允许发送邮件的合法邮箱名。根据rcptto指令所提供的邮件接收者,检查mailfrom指令所提供的邮件来源是否在每个邮件接收者的安全通信录中,即信誉验证。如果在其常联系人通信中,则接收邮件;否则,是一封陌生人的来信,在发送数据前需要作进一步的检查。这种验证技术既减少了对正常邮件的干扰,又能对陌生人发来的邮件进行更深入的检查,以便查明其身份而采取相应的响应。3.3自动发酵软件的监督根据互联网协会2006年第二次反垃圾邮件调查结果表明,83.83%企业用户认为地址搜索和群发软件依旧是垃圾邮件的首要来源。这些垃圾邮件发送者经常利用合法的动态IP地址来发送垃圾邮件,混淆垃圾邮件的来源和路由,以逃避法律法规的追查和制裁。因此,遏制群发软件发送垃圾邮件是阻止垃圾邮件泛滥的一个极为重要的环节。对于这些用自动群发软件发送的陌生邮件或第一次给对方发送的邮件,质询验证技术在rcptto指令之后会产生一个特殊的质询问题给发送者,该问题必须人工回答,而非机器可以识别。该问题包含某种惟一的可以识别原始消息的代码,如一个散列、序列标志或不规则的数字。这个质询消息包含让发送者答复的指示,以便将其加到安全通信录中。几乎所有利用自动群发垃圾邮件的软件不可能会响应这个质询;即使是人为在发送垃圾邮件,那么他们也会付出很大的精力来响应这个质询,从而使其发送邮件的行为受到控制。当合法的发送者答复了这个质询之后,就将她/他的地址添加到安全通信录中,以便将来来自同一地址的消息会自动地通过检查。因此,质询验证技术可以阻止大量不请自来的邮件。3.4段外来信息即边过滤基于邮件信封的垃圾邮件行为识别技术是在接收邮件之前的会话连接通信阶段进行垃圾邮件识别与拦截,即边会话边识别边拦截过程。如果在检查中该会话符合过滤的条件,就可以按照规则采取相应的动作,如直接在会话阶段断开连接、发出相应的警告代码等。邮件会话与行为识别的详细过程如图1所示。4添加安全通信录并进行行为识别器监控mta结合上述行为识别技术,构建了一个可扩展性良好的垃圾邮件过滤网关,在邮件会话过程中代替邮件服务器维护邮件会话状态并对外来邮件进行过滤检查,然后再转发;对需要发送出去的邮件只起着存储转发作用,而不进行检查。其体系结构如图2所示。主要由安全通信录、行为识别器、MTA和队列四部分组成。安全通信录是允许发送邮件的合法寄信者,包括一般联系人通信录和常联系人通讯录。当第一次发送邮件给收信者时,发信者要接受质询验证其身份。通过验证时,就被添加到收信者的一般联系人通信录中,其信誉度加1,在以后每通过一次验证时就累计信誉度值;当他的信誉度值大于设置的常联系人阈值时,就将其加入到常联系人通信录中。常联系人通信录中的发信者不需要质询验证。每个用户的通信录都设置成一定大小。当常联系人通信录已满时,将其中最少联系的寄信者淘汰到一般联系人通信录中;而当一般联系人通信录已满时,则将其中最少联系的寄信者删掉。行为识别器监控MTA的会话连接传输信息,对其进行行为识别并判断是否为垃圾邮件,从而作出相应的响应来控制MTA的会话过程。MTA代替邮件服务器中MTA的工作,在接收邮件时,与发送邮件的服务器进行会话通信。会话过程中的传输参数受到行为识别器的检查与控制,从而阻断垃圾邮件的连接通信而接收正常邮件并暂存队列中,然后再转发给邮件服务器。5实验与结果分析5.1实验环境和方案5.1.1pc机实验时构建的网络架构如图3所示。主要由普通PC机、spam发送机、防火墙、交换机、邮件过滤网关和邮件服务器各一台按照如图3所示的结构连接组成。5.1.2系统配置1实验1基于smtp的优化配置该网关运行在RedHatLinux8.0操作系统下,主要对来自外部寄信者的邮件进行检查,必须符合邮件行为规范才允许进入邮件系统。邮件过滤网关如图3所示放在原邮件服务器前端,分配一个合法的IP地址,把原来指向电子邮件服务器的MX记录,重定向到垃圾邮件过滤网关,在垃圾邮件过滤网关配置SMTP路由,投递到电子邮件服务器。配置好后,外界无论是正常邮件、恶意攻击还是垃圾邮件,均会由垃圾邮件过滤网关进行智能判别和过滤,然后再从垃圾邮件过滤网关将正常邮件投递到电子邮件系统。这样,垃圾邮件过滤网关就成为外界电子邮件通向电子邮件系统的惟一通道,为电子邮件系统提供可靠的安全屏障。2发送三种发送工具该发送机运行在RedHatLinux8.0操作系统下,在其上执行笔者自行研发的邮件群发工具。该工具能够根据用户的要求对邮件的信封、信头任意填写以及对发送邮件的数量、发送速率等参数进行准确控制。由于目前大部分垃圾邮件是利用群发软件发送的,作实验时利用这个工具模拟目前垃圾邮件的通信行为向邮件服务器发送垃圾邮件。5.1.3b基于普通电话系统采用两种方式向目标邮件服务器发送邮件:a)通过spam发送机向目标邮件服务器发送一定数量的匿名、伪造、滥发和非法等行为的英文和中文邮件;b)由普通PC机作为邮件客户端通过其他邮件服务器向目标邮件服务器发送正常邮件。为便于实验,把DNS服务器配置域名反向解析,把常联系人阈值设为2,即发信者第一次给某个收信者发邮件时,经过两次质询验证后就无须再验证。5.2优化实验对象的识别准确性实验数据及结果如表1所示。根据邮件的发送行为方式来识别垃圾邮件而无须全部接收下来检查其内容,具有较高的准确率,而以正常方式发送合法邮件的误判率也非常低。经过统计分析,对于以匿名、伪造、非法方式发送的垃圾邮件的识别准确率大于99%,以滥发方式发送的垃圾邮件的识别准确率大于90%。实验中两封正常邮件的误判,经分析可能在下列情况发生:a)如果DNS服务器未配置域名反向解析,可能会导致合法邮件服务器被认为是