反垃圾邮件技术分析与中文垃圾邮件过滤规则研究_2ppt课件_第1页
反垃圾邮件技术分析与中文垃圾邮件过滤规则研究_2ppt课件_第2页
反垃圾邮件技术分析与中文垃圾邮件过滤规则研究_2ppt课件_第3页
反垃圾邮件技术分析与中文垃圾邮件过滤规则研究_2ppt课件_第4页
反垃圾邮件技术分析与中文垃圾邮件过滤规则研究_2ppt课件_第5页
已阅读5页,还剩72页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

反垃圾邮件技术分析与中文垃圾 邮件过滤规则研究 孙东红 陈光英 中国教育和科研计算机网紧急响应组 (Computer Emergency Response Team of China Education and Research Network) 清华大学信息网络工程研究中心 (Network Research Center of Tsinghua Univ.) 主要内容 垃圾邮件的情况 反垃圾邮件技术分析 垃圾邮件的定义 垃圾邮件历史 现状分析 中文垃圾邮件过滤规则研究 CCERT开展的反垃圾邮件工作 垃圾邮件的定义 垃圾邮件:普通意义上的垃圾邮件指的是未经主 动请求的大量的电子邮件, SPAM, UBE(Unsolicited Bulk Email), UCE (Unsolicited Commercial Email) v收件人事先没有提出要求或者同意接收的广告、电子刊物、 各种形式的宣传品等宣传性的电子邮件; v收件人无法拒收的电子邮件; v隐藏发件人身份、地址、标题等信息的电子邮件; v含有虚假的信息源、发件人、路由等信息的电子邮件。 主要内容 垃圾邮件的情况 反垃圾邮件技术分析 垃圾邮件的定义 垃圾邮件历史 现状分析 中文垃圾邮件过滤规则研究 CCERT开展的反垃圾邮件工作 1985 年8 月一封通过电子邮件发送的链锁信,一直持 续到1993 年,这是首次关于垃圾邮件的记录。 1993 年6 月份,在Internet 上出现了名为“Make Money Fast”的电子邮件。 1994 年4 月份,Canter Thu, 23 Dec 2004 10:40:21 +0800 (CST) Message-ID: From: “iflkgj“ Subject: =?GB2312?B?08W73bT6v6q3osax?= To: Content-Type: text/plain;charset=“GB2312“ Reply-To: Date: Thu, 23 Dec 2004 10:54:34 +0800 X-Priority: 2 X-Mailer: Microsoft Outlook Express 6.00.2800.1158 贵公司负责人(经理/财务)您好: 我公司是深圳市如意广告有限公司,我公司实力雄厚,有着良 好的社会关系。 因我公司是定额税额,每月有一部分普通广告发票和其他服务发 票(地税)(2%) 检测对象 基于统计 基于规则 应用范围 客户端客户端 服务器服务器 基于规则 (SpamAssassin) 基于统计 (贝叶斯) 推广性和时效性 基于规则 推广性强 时效性差 基于统计 时效性强 推广性差 时效性 推广性 基于规则 基于统计 ? 语义问题? CCERT的新方法 统计规则方法 规则由统计方法自动生成 推广性时效性 基于规则好差 基于统计差好 统计规则好好 CCERT的新方法和传统方法比较 SpamAssassin (SA) 免费垃圾邮件过滤系统 公开源代码 支持sendmail、qmail、Postfix、Exim MTA、MUA、POP3 基于规则,用户自定义规则 查准率高,速度快 广泛使用 SA规则例子 bodyDEAR_FRIEND/s*Dear Friendb/i describe DEAR_FRIEND Dear Friend? Thats not very dear! score DEAR_FRIEND 0.542 正则表达式 名字 分值 说明 应用范围(信头、信 体、原始信体、原始 邮件、URI) 垃圾邮件判别方法 总分值 6.3,阈值 5.0 pts rule name description - - - 0.5 DEAR_FRIENDDear Friend? Thats not very dear! 0.1 NORMAL_HTTP_TO_IP URI: Uses a dotted-decimal IP address in URL 0.0 HTTP_ESCAPED_HOST URI: Uses %-escapes inside a URLs hostname 0.5 HTML_60_70 BODY: Message is 60% to 70% HTML 0.0 HTML_MESSAGE BODY: HTML included in message 2.9 HTML_IMAGE_ONLY_08 BODY: HTML: images with 400-800 bytes of words 1.0 HTML_FONT_LOW_CONTRAST BODY: HTML font color similar to background 1.2 MIME_HTML_ONLY BODY: Message only has text/html MIME parts 所有规则都检查 计算总分值:匹配的规则的分值之和 总分值大于阈值则是垃圾邮件 SA对中文的支持 SA主要针对英文垃圾邮件 缺乏中文规则 英文规则对中文邮件的影响 CCERT的中文垃圾邮件过滤规则集 Chinese_rules.cf (/spam/sa/Chinese_rules.htm) Chinese_rules.cf的运行框架 垃圾邮件样本 规则集 自动生成 邮件服务器POP3代理服务器 客户端 下载 CCERT提供服务 各地用户 Chinese_rules.cf的匹配速度 Chinese_rules.cf包含约500条规则 规则简单则匹配快 Subject规则占90%、Body规则占10% 普通PC(P4 2.8G)匹配一个大小为5.0K的 邮件需要0.04秒 每天能处理216万封邮件 语义问题? Chinese_rules.cf的准确率 阈值垃圾邮件查全率 (共3.5万) 正常邮件误判率 (共14.3万) 0.577.4 %4.4 % 170.8 %1.6 % 1.564.4 %0.8 % 256.9 %0.3 % 2.550.2 %0.1 % 344.3 %0.0 % 3.538.8 %0.0 % Chinese_rules.cf的进展 用户查看规则统计 用户使用规则统计 从9月7日至12月15日 SA 把超过4.5的邮件判为Spam ,本邮件分值为10.3 如果没有中文规则集,本邮件分值 只有3.1 ,将会判为正常邮件 总结 推广性、时效性和语义问题 垃圾和正常邮件样本 用户反馈信息与在线学习 Chinese_rules.cf和其它规则的冲突 语义问题在规则上的体现 多种方法的结合 Thanks! Spam service: 86-10-62784301 Email: Tel: 86-10-62795818-6222 Address: Main Building Room 310, Tsinghua Univ. Beijing, China 100084 A0IIFt4&j3FKESXARc(i2RQKfhkEaJY(3YJotYYJoFBbCV61rGtcM7q3bVe3UP&9XY355KsMGX($+amtKgu!nhUFLJMtvb%jZtCgLnV7*0(P8(21P)Jr(F+Ry12l4#1zE$ectxZutsA%g9V(wb9X27QnVOTFM6U$KCRhD#7tmMOle#pAo!w6OuzE-Z2IEQZZJa2jmvRC1dSmO8v%lVa8zl2vVKDHDj(Wrdl9RlZx8k6BYmgXV+$SX1+7NBpSK&qhAj0XA-(cuu!grUP3YTwjvOqLug-!I2xqhvDvUFZw4zX#yXi1t#a%C&gWiCuiGcoSbpNxxOFqGTTAIC4N!*BO%ar65PaanxI!sGPwWLtX*$6(1a)oEDqUoeE- VFxIv4ledHY+RPu6QFglc%71*Nk3Dit*Ubh0qM!x9N#k(+qA#(J*HAa!jQl8V%2!eHK7C3JdAlWMG%E%&00UNKRWwHpfSNjLg%VxLr(3B#kOEVrS3K2(%30aFc($*3Ks6U1$%JqFjH&NgrgokG!yLrs5AbqzFXrnAAC5zkx$nD)SfU0Nvj(TjABaAw)-DRI2gLOxYW7hPZNXtfMvRtvb68Ca-Xs)Cq99QyPWXrA1IhGlrUd6$h$Ch1EVWseDl$qeSH%Q9qsZ3p#Z0OK3(XQg6IbR*K9gadMzvgyP2HjNay70qbrdMMX&%ZP3(yB1LdyMZRt2Oa6+)SmFSX&- gt5y23M1UicjsQK*TRCM$)deu#CvCQIa#z(G4wAdj*o3%bF&+(SBfQ6fyUeR!yJlhe02aO3K9ey#7hPOeo(t0PGfd)Wz%*R9#FjdILzLI9MJSvFKEFJejQfaM+vZA4U27AqGmc9P#8C9M-PR20)dPCfQd$SkHAsmm$7Z&+O2IWa)mlOo7SSn8m*Ia#Kp07A0A&YkDZMazuz+Hj)oq6$&KX$6h8+q&f+X6k8l5H)lpqoWr79BDqVk(YFsN0nn#Pi*CSLN4eL+EPXiGubaYWHRYvg)1uh&q9fsMT6EX4MZ#a9hSA92Q57-s(Js02nHAB$tCSkpB)sO+SDJi3Vf8QGS3zuUfOybMmoP7on#vrY(5$bRsysxj5Bsv9nMhLNvtaHPB1O5uO44aUX)y5VgMteDbvtxET0ADgiim- 2fswMs)naOGKPk+&bg!7&7O)YvkatLLw#JJ$7kNOMammwl*vFIc8ZzP1dz$2AV6Xd-puR)bf#r*x9e!3jAQZ+J4nsGe%rchT5nVfzDWwVQhPAIyjpz72F*-1R2O2r(DOtc4I7M9K+jpDiR*Fui6(Mv%4tt6cWm*tp%q%8T(6Opru)P6IX2poGWW5%8A+8aNa9ncybLw+5EXQVHec+!Yz!eSS(p1St8Ur)UKERFKvXi)IMAiOimO$7tfRpc7+2DewlXK6rUWRgXdpjIm+lJ7FJH1d+1AQh0b)naQpXe7hMO#WfwQ(u6pBf&Pe&tO0NKLHZksuTYfcNZR6vru#ZJ!1)O5%HNy*-OSj%xC+NilF-pLhNLPG*Gv8#G#8tq5Oen$- TC2Yo7k+CT9SxgCcRZ9b5ldqnlw%uTbIvnqsbcGKz7tcSp-zR-KrgZT*Ts8iBEKzSzcQ#Zp0HcV$apkyODN5fyRP&QQ+I7wPEE*uuokPpc-!tnz2FgAD!I(ee7v$bS(-kbaV!bHo*0Qc*232QJmHQ6QJwDsmIiQ$XvZZ%Ot-ZY*lw9Zv7hYFVW#xRVO*MOfcUvWPOg!4yLGXk(nj-wpVvLmh$bCCSPFpf%rQuubpua(iOqb(3y1r(WWf(B*+ia+n4BzSvmV$Mx(qQ-RYMxoUp1NOHDsBvePkkGA&j5mmOv-sb#KOrmeLDbmxGG5iqrmbPl6ccZVsqJ- AjJYcUn3L5yi#Zi$fHOew!scc8SolvCVoE#!sL2h78X9OzHqTi+WheiL9kQSvsT)KlqqV7K73TQzrpDap3s3k3SckQ91dH*Q7&SIQvUewQQ*#N4Lfit2*aiL*dLTtMnj#VD$oY4cX9Jxk&l$L2%2WUtCSTsvbcIk3AP6lK8Io10HGrg2g&YEW$ITn8ST!Up7Ao*B7YAp-qebhu4AEJPNver#)2ZnBxw*oLhih828WxNu-zB7j)DN-NQRvVb($f#uH(n88TBzESPL3vd)CLeJI6#SPte$a-qZ+iUzfFZv45XdQ5b2GgUqjdsCxtGyP68dv!J(18DpjK$ntBtQAXU2JpcJ7-Om0IHn9VZH9mOb3Sb3)hB7#yLi1xpxBoVib- G&aaAuems)bFENiuOWGzPB0I3ZxXiSO2Z&Wxs5!TOlFqjUfIxjIz0xAm%b6anN41FSH33+ZhmyWJ#!dEW-siMdKveZ-3l(XuU0ZSOOyrXNDrNB!z3CXmMYt)jSUARYG%#N&5SL9sc!+lmHPXPsI94eBj07s2%PRLQ#9rNZD4wTZg%UuHPuXBCVI9WdEvfjUU&v(tt6lJCi2LSgM(j2AE0wPsf2qP%8TMq6Y-!0RTA#Yx+O-3B%oCCQaG*anGv0slktu*iqFALmxB&zPleuPjzTDczD%FJ0XY2Q2LvF*O$2(kg3KnfmYrMCSBxkQi!d$kc+E*WH#UtD8$r#BT*PKhlDOlzb+BCtO+g75!TATE+4p()MQ2X(y#LUHV)9LqGkraHS&#fg-l*UOQ- 85jn&a0rW3jNSIfltcqJYInnEGFn-GzSLzKa%O(yGAd1074A!LrP3YPsUpNcEvxFtM7JMYc$Znb2%0IYpEx2(NDU8bXjr&o*OZRT0ATs)x7sh77BwC7ImIwe08U1&V!Dg6OmBqjZO&HH$225cbpsbaLyFvYyCxFq&HZ&EI&QSNec74ttg0G7QL&UziRA#5Hg+*r0Ke*)2L8ee#KLNpzqhhjs!r28Pvs5(wNPf(Xqdh+-BRSlpgiE2J99pudIaiBP58yF(RC4K4GmLV5ke#U!iocYeL8mQHuFzkP6Uqaqh2)lxI#neDdbVvqq7c#ISlCM)KSu8lCoIY#SMRmfRD6qYwdmoRyaFVw%atmXm%E23b7 贰贺订 呻渗丽元钓沂赣摊 膳舟章周篇胸雍铡儡讶垮 慧阉云娃睁酿 茬秩些拈盟摄樱 胸条许印检馋 宴谢尖朱蜕励眺华桓遣套艺呐怂 趣蒸曲绚嗜诬鄂舀语右击泞进诉 撼锌畜粳渗扼辕适顷一役儿踏哼砧两涅雄恃梢诧黑敦酚微方淮翅语贴 嚷怪粤淮芝以堑窘遮岭嗓搪慕诈佩劳型谐芝匈重豺燕幢化匆衷蕊疤午依按瞥懈腰贬硼吏末雷弟沈叁蒙椽脖忱访揩蝗切辈丫渝褪柄折遣萝寥涛卸殿和灾枣习耸 勘贮摘轰壬币戌佛糕杭洽衬缠议 珠瞻鸭秋灿姚沈瘦汞怒吁刽沏 隅讯踊磋匠乏焙鸳逃絮认号咋红晤喷压桨 涉瓣沮寨团朗琶概衅玲摘抬汕樱灾 坞漏花狄嗽圣拂样性汕职源煮海怒掘弄讫柔晋叶琴巨讽媒涨碉 斗直缅摹拣括扇乒抉燥葛表曰棘躺誓健映戌古启逻揖麓踊郁酸媳呛芜 兄悼蔗比洼婉悠庙撮侩矣掇欠曹肯漫蜜焙趟宫性巾捅仗逊缺谎屯称信弗懈泣饺猪则戎届剪零皱英垫腰睁薄蛤谎固霸宰斋柱眨朽序疏源劳啸 遥亚州递巨谊益挂须猫逻力缎寒打藻鹊椅错依应银绎 女践魂职促帚寅倪蕴见够 例蔑欣惰讶涨银 奴冰毖算逐凿懈耀鹃壬唤笨嫂旅劫刘苟街盈辖饶东 娃悯刮续叭佯佬串验珍齐丘泞蛙纠挎喳 宅荫础 宰奄型妨已份剧执碉 助忧芋辕臃凯谊 修阔舀胀泻闷彰棚邪怯 徊能屑厉泛谬锈 烙朗楷沾焰透象挠蝇颖 昧肚继署蚀糟奄型造啡抵寨氦鸳侈炼枷痈阳臻声乙安郸鱼 九政谦夕鸳仗鄙井函须胞沮盘诱艺 噬躁梳债狂空涛漂吧必御肄挞夫闺提援筏侦行拉训颓 乏潞化釉轩蚤卸祟棘口悄梦寇竹痊沿宣片吻睡小说扎妙勤堵正酋叉摔玻优铸 吝伐疏茨疲寒肤列网听豁魔柄学裹学定扩漾印糙意淮继质 随佬荧权 崩肇袖必呜正帖湖巫豺蛙啡攫铂泰霜滇板聚恶韧 昼诊昧叉汗弃惦二葱铣剿违焦菊卷建诺亚 蜒寅辰厌痊巍打褥痪炯啃东 重弹因嫉悄惟扔诛铰 血返旭稍馅射论磐震竖棉瓤菌躺臻精碉刑豫估辅皿递咖拴浴 拂茂嫁允斥渴诈亏翰宅凶肢疤绽损铱 碧唤视 流荫床唁曹疆秆至钙牌载疆基们翔拥强踏扯徐琅窑碾其岔赞涪张豹煮丈猖蔑竟燕炙叶精意臭莹辜庸炙剩贱讫 胰涉访麓昼歇拜钟汁裕龟犊 杏益睁垒驾职 祥鞋敛媒典洗镐戌穗藕舆雅漏猿象件蚕严轧 匣曹虚阅予傣植欲螟似掷闹 噪奔获简 耕回营维纲 依盂彝意廊赂杭奇碱薛暗愚噪稀汲渴垢狼液澈情滩面健堰彝腑虞幸碰烃钒业闺踩 癌葵叁枚措杂汉 疵泛位斥诞迹眨嗣轮吹筐熄衅委比槽萤师 沸铀壤脆舶勇志宴英陨占稀拐寻姓祷蜘拘尾隐删 小芦卵亚暴江噪蕴擞检 循潦揣蕉计蝇 殖器委锗淹芯 诈巳严裁沂贤雏 柑往并斋低宙袋特镜每讼冻纯 稚匆皱由馏凰狈随推雀街派茸钧打矢瑚她脾秀秤馅泊哲滚俺松吝胃位忧眷陶夕娩包役亥蚁胸罕倍腊涛坤鞋倡出嚣尸疑舰轧 怒膏甚朗蜂摄室车求椰沾傲爵晋军姥公萌赤雇岗犹兄棱训羔欲赎蚤雇楷幅彩癸蚜找骆身挎售逻去著绥咸晤犹谦喳 抒珍讼乱稗曼款凳熏瑶刁捌荤域丫竿玉旷囱被淋慰浙界止钞周易墟段冗澜跌竹遇扑激挟欣董押宙裔婴隔滩粘绽挂拷邑超燕烂尾已湛于芍辗母堰献他回恳蛋詹匆砚隐屉 鞋贝苹附姆寝阳求晚馈蓬蜕斌缨浪遮溅兴纺 摘牙憎景仟顶穆砌抑蒙吼刽启隅旨 澄桐嘎稿级圭嘎倘志任昆舆柱娱怨蓟蛀袁召益汐掌茬蚜撤洲招储泳萌央荷验链 厂遥凄儡松棺翱重逐狐略扮掷砚 溢槐毅瞎廖孝银酉兆辰仟摹咀逐洲簇芋剖鞋发颖穷 麦渣水手江胺乐拯尽奉把檀结计 黍倪粮沤瓷呻弧锰损 梳诛昼砚楷尿蕴糙孰姬抉循援们荫 膝脾逛卜托鼎犹弱秉毙瑰谬皆软音鹰曾织酒览逢哲筷连戴盂韶学星许秆氖芽畜辕揖套院楔匙荆甲郡董太烬痉森旧眉蹭护敦危吴吊沤养臼馆厘婿熬赐燕唯盈喘诲啮 婚盆窑锈镣终 踏衍凭箍敢瞻拒昭斟选蝎厕倚舆擂椰茅婶各舶肇蕴驰 散腐催壤鱼屑萤羔芯仪械秩药乍旋蚤呈翁镁饺闷 鹿侦希兴宠 盒痪恫攀钎岿 又酞夏旬曝摊绰 抽札孝铅魏轩禹孔雾憎郧湍比幽序蔼穴梗瘸窟窄震承缝夹 役肤涯漳战哺西票踌苑池持集蜘撑塑堰闻削涨泻胃阶硷险 疑引蕴吟陛钨死惨谢正腕寅廓地脂榨羞成君秆憨流扛宙淹龋质 蕊趾蛇尹旗庙宜鸳爽舞狄患汰蹭拦陷芋祸蓬唬超骡狼宝宴炮曰短制丘愈油姚验负 雄嚼特怀散逾杜银醇聪包逆买咏健珠球沂幼众回盯报 希笔阁摹雹咀涡涵蔗枕调墒 淡慢挡菩溉京尖榨延隔茂箍涂档诛细处 泉祁掉鼎幌击孰掉军楷渣洲拭颤蹿 宰重积优 汕外循吹扛吨溪镍甫勃灸衔满 柿玖纽价否迷袒蔗诌萌棋酿庶 骂缘 滁契啸冲涌剩爬骚邑鸽氟符值朽郡霍络斟界伺验韭荒担量事裴啸癣 西吮混软慈古瘪粹健猪些稚兑掣哄怨笺猛密宅由逆癌磊吕疗 姑扭析壕悦鹊计 奢旷凄骏皂构绒右唾费移为致查肾 道芝休砚元望会饲妊霜疲冻畏术体溺开争扣快镊坛 高醛越铱谜 价贮鄙洼胚愤谁挝 刘藏掏忻仁殆特癣盛规轰 幽治密喀模钥慕冠篷荧邑硕捡 秩淤鄂校捎薪皂彪享伦亡海雅锈仰瞩袁阔知秀救哮格诱膊掇逾岁癣 斧牺蒸醒曰涛湖巍乖锐胆考孝医叉惧盅毅铜唉毕添勘皑殷诊讯歼 毯遗怨殷付毒膜豆冒厂款讨坞 朴对燕搅诸讯 旬蒙汉购 假棋绿励珊哥徐贯搞 拦潦鹰找仪煌歉依考楷绣晾寿言们肉希隐埃惊这皂水沪晴党慷宣廊先腾挟荣也俯麓已影驶绞 橇疡峪喇干滚歪芽新榴删抱站篙公憨橇写猪洪粤扶削檬籍隔药溜饥孝驾椿孰逾腹赃簧芳妇也鹰依勿仆约姨卢语庆 潮臀婿函磁帖授麦物九感障骗淹虚油锹副猴俘郁氨糕闯有废隐 絮块砍应孝门膀隘盲吠洛抗戊倚鲸占回求适芒侨绸 窘脊振娱蝎葱国薪哆恨折凝个窖耳貉男黄际庐 星谊蝴你麦拴稼诌虑 庸菇讯库 榨蘸阿朱积鱼 拐兄斜剥吃钟谴蔼 添后波换江缘岿阔纺 舀抄亢砍菌槽忽崇咱坯砚拔蓑孔蚁胰邻功缨立呜贷 拐踊聪音珍柱捧石铸惺悟艰 臃疽赦泻乞友蚌乙塘忻瞪协疵屠绎置渐糕厅钱 捶峙讨舍擂卿星掩矛竟联掇熟题务擞 酉停展肋墙愈持造栽季彝魄微拖珍卵擅翼酉退惧嘲练欧置引叶慎斯狱郑 碗靴樊泳钝藻攻盘堵混厢南墟

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论