毕业论文贝叶斯算法在反垃圾邮件系统中的应用于改进

1、 . PAGE20 / NUMPAGES23泰山学院本科毕业论文（设计）开题报告 题 目贝叶斯分类算法在反垃圾系统中的应用与改进 年 级08级 专 业信息与计算科学 姓 名胡俊杰 学 号2008060208 指导教师签字学生签字 年月日题目来源指导教师推荐 自选 其它题目类别基础研究 应用研究其它开题报告容包括调研资料的准备，选题依据、目的、要求；进度安排；完成任务所需条件、主要参考文献与资料情况等，字数15002500字。（可根据容适当调整版面）论文题目：贝叶斯算法在反垃圾系统中的应用与改进调研资料的准备（查阅过的文献资料与调研情况，需要的仪器设备情况等）：1Jon Postel，On th

2、e Junk Mail Problem，RFC 706，Nov 1975。2中国教育和科研网垃圾处理小组，垃圾的文化与历史，H :/ Chinese Anti-Spam Alliance, HYPERLINK :/ anti- HYPERLINK :/ McCallum,Kamat Nigam.A Comparison of Event Model for Na?ve Bayes TextC/people/mccallum/multinomiat-aaai98w.ps,1998。16I.Adnroutsopoulos,G.Paliouras

3、,E.Michelakis,Learning to FilterUnsolicited Commercial E-Mail.Thchnical report 2004,2,NCSR“Demokritos”,2004。17希仁 计算机网络（第5版） 电子工业 2008.1选题依据：随着电子的广泛应用，垃圾的增长也越来越快，反垃圾已经成为全世界共同关注的问题，电子成为一种快捷、经济的现代通信技术手段，极方便了人们的通信与交流。然而，垃圾的产生，影响了正常的电子通信，占用了传输带宽，对系统安全造成了严重的威胁。因此，研究反垃圾问题已经成为全球性的具有重大现实意义的课题。选题目的：根据中文垃圾的特点，

4、对垃圾进行了比较系统的分析和研究，结合贝叶斯（Bayes）理论，构造基于贝叶斯分类的垃圾过滤模型。论文要求：在特征提取方面，寻找一种互信息值的方法，在分类方法上，找到适合本文的分类方法，并找到一种更加适合于贝叶斯计算的表示方法。进度安排： (1) 2011年12月5日 参加毕业论文开题报告会确定论文题目. (2) 2011年12月2日2011年12月6 日 准备完成开题报告书 (3) 2011年12月7日2011年12月12日 完成开题报告书 (4) 2011年12月15日2012年4月30日 完成论文初稿 (5) 2012年5月1日2012年5月30日 修改论文初稿，并完成论文定稿完成任务所

5、需条件：(1) 操作系统Windows Server 2003操作系统。(2) 开发平台Microsoft Visual Studio 2005开发工具，它提供了一个集成开发环境(Integrated Development Environment，IDE)，用于构建和部署基于Microsoft.NET的软件。(3) 语言环境主要采用C#30语言。(4) 数据库平台SQL Server2000论文目录第一章绪论 11.1引言 1 1.2垃圾的定义与其危害 1 1.2.1垃圾定义 11.2.2垃圾危害 5 21.3国外反垃圾现状 3 1.4研究目标与容 4 第二章电子工作原理简介 5 2.1 电

6、子的概述 52.2 电子的格式 62.3 传送过程 62.4 相关协议 7第三章常用反垃圾技术 133.1非技术手段反垃圾 13 3.2客户端垃圾过滤技术 133.3 服务器端垃圾过滤技术 14第四章垃圾分类向量与特征向量 174.1垃圾分类向量概述 17 4.2垃圾分类向量与特征向量的定义 17 4.3分类方法 19 4.3.1文本量的表示方法 14.3.2关键词的选择 204.3.3特征提取的方法 204.3.4分类方法介绍 234.4基于垃圾特征向量判断垃圾的算法的设计 24 4.4.1贝叶斯定理 28 244.4.2贝叶斯过滤系统的工作原理 244.4.3算法的介绍 25第五章基于标准

7、集构造垃圾分类向量 265.1标准集 26 5.1.1标准集的背景 265.1.2垃圾和正常的收集 265.1.3标准集的概述 275.2基于标准集的垃圾分类向量 28 5.2.1分类的实现 285.2.2提取分类向量的过程 295.2.3先验概率的计算方法 325.2.4特征提取的实现 325.3基于贝叶斯原理的过滤系统的实现 33 5.4算法的实现 34 第六章实验结果与分析366.1基于贝叶斯算法的过滤系统实验环境 36 6.2基于贝叶斯算法的过滤系统总体结构图 376.3实验结果与性能分析 38 6.3.1系统实验结果的质量评价指标 386.3.2阈值的确定与对过滤精度的影响 396.

8、3.3实验数据 40第七章总结与展望 437.1论文总结43 7.2展望43 参考文献 44致46主要参考文献：1Jon Postel，On the Junk Mail Problem，RFC 706，Nov 1975。2中国教育和科研网垃圾处理小组，垃圾的文化与历史，H :/ Chinese Anti-Spam Alliance, HYPERLINK :/ anti- HYPERLINK :/ B.Postel, Simple Mail Transfer Protocol,RFC821,Aug 1982。12Myers J.Post Office Protocol-version 3。RFC

9、1725,Dover Bench Consulting,Inc,1994，1。13Crocker D., Standard for the Format of ARPA Internet Text Messages, RFC 822, Department of Electrical Engineering, University of Delaware, August 1982。14Borenstein N,N Freed， MIME(Multipurpose Internet Mail Extensions)Part one: mechanisms for specifying and d

10、escribing the format of internet message bodies. RFC1521,Bellcore, Innosof, 1993.9。15SMTP结构与原理， and M.Pazzani,Beyond Independence:Conditions for theOptimality of the Simple Bayesian Classifier,In:Proc of the13th International Conference on Machine Learning，PP.105-112,Bari,Italy,1996。17文峰，基于容的垃圾过滤研究，

11、中国科学院计算技术研究所，2004。18Netloafer，客户端反垃圾技术，中国反垃圾联盟。19Tanenbaum A S. ComputerM，清华大学，2005。20房子敬，杜绝垃圾，网络安全技术与应用，2004。21江河，对抗垃圾J，网管员世界，2005。22华辉、薛春阳，一种基于贝叶斯网的垃圾过滤器J，微机发展，2004。23王新梅，基于容挖掘的垃圾过滤技术，2006。24边肇祺、学工，模式识别（第2版），2000。25Andrew McCallum,Kamat Nigam.A Comparison of Event Model for Na?ve Bayes TextClassif

12、/people/mccallum/multinomiat-aaai98w.ps,1998。26I.Adnroutsopoulos,G.Paliouras,E.Michelakis,Learning to FilterUnsolicited Commercial E-Mail.Thchnical report 2004,2,NCSR“Demokritos”,2004。27邹建峰、律松、晓栓，ASP.NET，人民邮电，2004,12。28Mellers B A,McGraw A P.How to improve Bayesianreasoning:A co

13、mment onGigerenzer and Hofrage(1995).Psychological Review,1999,106(2):417-42429Eddy D.M.Probabilistic reasoning in clinic medicine:Problemsand opportunities.In:Kahneman D,Slovic P,Tverskey A.ed.Judgementunder uncertainty:Heuristics and biases.Cambridge UniversityPress,1982.249-26730Kahneman D,Tversk

14、y A.Subjective probability:A judgementof representativeness.Cognitive Psychology,1972,3:430-45431Kahneman D,Slovic P,Tversky A.Judgement under uncertainty:Heuristics and biases.Cambridge,England:Cambridge UniversityPress,198232Cassecells W,Schoenberger A,Crayboys T.Interpretation byphysicians of cli

15、nicallaboratory results.New England Journalof Medicine,1978,299:999-100033Bar-Hillel M.The base rate fallacy in probabilityjudgements.Acta Psychology,1980,44:211-23334Gigerenzer G,Hell W,Blank H.Presentation and content:Theuse of base ratesas a continuous variable.Journal ofExperimental Psychology:H

16、uman Perceptionand Performance,1988,14:513-52535Gigerenzer G,Hoffrage U.How to improve Bayesian Reasoningwithout instruction:Frequency fomats.Psychological Rewiew,1995,102(4):684-70436Lewis C,Keren G.On the difficulties underlying Bayesianreasoning:A comment onGigerenzer and Hofrage.PsychologicalRev

17、iew,1999,106(2):411-41637Fiedler C,Brinkmann B,Betsch T,Wild B.A sampling approachto biases in conditionalprobabilityjudgments:Beyond base rateneglect and statistical format.Journal ofExperimental Psychology:General,2000,129:399-418评委评语与其建议：评委签字：院（系、部）盖章：年月日泰 山 学 院本科毕业论文（设计）任务书 题 目 贝叶斯分类算法在反垃圾系统中的应用

18、与改进 院（系、部）数学与系统科学院 年 级08级 专 业信息与计算科学 姓 名胡俊杰 学 号2008060208 指导教师签字学生签字 年月日你的毕业论文(设计)开题报告已通过，现将毕业论文（设计）工作任务下达给你,请按照要求认真完成。主要容如下：题 目贝叶斯分类算法在反垃圾系统中的应用于改进基本要求1、培养综合运用、巩固与扩展所学的基础理论和专业知识，培养学生独立分析、解决实际问题能力；2、培养正确的理论联系实际的工作作风，严肃认真的科学态度；3、培养进行社会调查研究；文献资料收集、阅读和整理、使用；提出论点、综合论证、总结写作等基本技能。应收集的资料与主要参考文献进度安排1. 调研、收集资料务必于 年 月 日前完成。2. 写作初稿务必于 年 月 日前完成