基于TF-IDF的贝叶斯模型的垃圾短信识别研究12000字

31.1研究背景及意义 31.2国内外研究现状 31.3研究思路 4 52.1垃圾短信的定义 52.2垃圾短信的特征 52.3垃圾短信带来的危害 5 73.1贝叶斯公式的原理 73.2贝叶斯算法的介绍 83.2.1PG贝叶斯算法 3.2.2GR贝叶斯算法 83.2.3朴素贝叶斯算法 93.3朴素贝叶斯算法优缺点 3.3.1朴素贝叶斯算法的优点 3.3.2贝叶斯分类方法的缺点 4.1.1开发环境介绍 4.1.2相关模块介绍 4.2数据获取 4.3数据处理 4.4提取特征构建模型 4.4.1数据集划分 4.4.2特征值提取 4.4.3朴素贝叶斯的实现 4.5垃圾短信过滤器的实现 20 5.1模型评价 22 23 24第1章绪论信收发量的背后催存在量灰色垃圾短信，2013年时垃圾短信一度占据当时国内逐步由明面转换为地下，不过垃圾短信不仅没有被抑制甚至一度焕发第二春(方现状的根本原因，如果不能遏制这种趋势，未来垃圾短圾短信占到了所有垃圾短信的20%,这使得日本从2004年开始就投入大量资金圾短信情况也不容乐观，德国在2004年就垃圾短信出台了相关法案，法案规定商业短信的发送需要用户授权，未经授权将会收到严厉的法律制裁。法案还指出禁止发送法西斯相关内容和黄色暴力内容(李博，王浩淼，2022)。德国政府还向群众宣传相关法律法规，对于滥发短信者追溯到个人，处以约50万人民币的罚款，对于发送不良短信者将处以更高的罚款(张伟明，陈静娴，2020)。美国作为科技强国，针对垃圾短信曾花费数十亿美金研发新的反垃圾软件，这一举措一度使垃圾短信拦截成为炙手可热的市场，同时美国政府也在1991年颁布电话消费者保护目前我国在垃圾短信方面的法律法规还不够完善，不过目前垃圾短信问题已经引起国家的关注，国务院信息办针对国内垃圾短信现状已经开始相关研究择机颁布《个人信息保护法》,《个人信息保护法》的颁布将会保障个人信息权益，根据这种情形对垃圾短信等侵犯个人权益的行为提供法律依据。接下来如何识别本文基于短信文本内容，将文本内容进行预处理→文本分词→提取特征值→建立模型→最终结果，通过以往经验朴素贝叶斯算法建立的识别模型，能准确地识别出垃圾短信，以完成对圾短信的识别问题。本文基于此方法的研究主要思想如下：去重去重最终结果去除空格去除空值第2章垃圾短信概述(2)端口号太过完美，如666666,以10086、95588等号码结尾。(3)回复0000无法发送，说明发送方为伪基站。(4)带有网址或链接，用户一但点击链接轻则泄露个人信息，重则损失功发送至目标用户，发送方往往会加大发送的力度。(6)短时间内收到大量短信，伪基站的发送往往是短时间内发送大量的短信(7)1065和1069号段，该号段为运营商自营号段，往往是垃圾短信重灾区2.3垃圾短信带来的危害1、人民不愿意相信短信，垃圾短信的爆发大大超出了人们的预期，日常生活中垃圾短信比例远高于正常短信。2、传播病毒，垃圾短信如果附带下载链接等网址，通常都是网络病毒，这些病毒被黑客利用，攻击手机，造成严重的危害(朱家辉，许美琳，3、泄露个人信息，垃圾短信往往采取欺瞒，诱导等方式，获取用户的相关4、新冠疫情期间一些别有用心的人利用短信传播谣言，给人民群众造成巨大恐惧。5、许多违法犯罪分子，利用短信传播黄色暴力信息，危害青少年心理健康；6、浪费时间，通常来说垃圾短信发送方多为商家，目的是推广自己的产品，而用户处理这些垃圾短信需要花费大量的时间。7、运营商效率低下，大量的垃圾短信占用了许多通讯线路，运营商需要更高的服务器满足正常短信通讯。8、他国间谍发布编造各种不实谣言，诱导群众对国家不信任，破坏社会稳第3章贝叶斯算法3.1贝叶斯公式的原理一般条件下，事件A在事件B发生的条件下的概率，与事件B在事件A发生的条件下的概率是不同的；而现实生活中往往我们只知道事件A在事件B发生的条件下的概率而不知道事件B在事件A发生的条件下的概率，从这些因素可以推测现实生活中一个事件的发生往往会出现一组数据，假设数据为B₁,B₂,…,Bn,对任一事件A,有如下公式：贝叶斯法则是联系随机事件A和B的条件概率和边缘概率桥梁。其中P(A|B)P(后验概率)=P(标准似然估计)*P(先验概率)(3-4)3.2贝叶斯算法的介绍滤器PaulGraham改进了贝叶斯算法，故称之为PG贝叶斯算法，此结果与刘振PG贝叶斯算法基于原始数据集中各词语在正常短信和垃圾短信中的频率 (垃圾短信的频率Ns和正常短信的频率Nt),应用联合概率公式计算得到特征项是垃圾短信的局部概率，记为P(wi)(C₁和C₂为平滑参数，分别取值为2和1):GR贝叶斯算法是GaryRobinson发现了PG贝叶斯算法的弊端提出的改进模型，他发现PG贝叶斯中垃圾特征值得选取有许多不确定性，因此他使用卡法分布来计算特征值的选取，假设H代表与垃圾短信更加相似，S表示与正常短信更加相似，计算判别值I来判断该特征值的归属问题，判别值I的计算方法如下(魏当通过卡方分布计算得到的H和S值接近，计算之后I接近0.5,则该短作者对于上述结果进行了反复校验与比对，尤其是与同行结论进行了细致的比对与剖析，以确保所得结果的稳定性和可靠性。在与同行研究的对比中，作者注意到，尽管在具体成果的表述形式上可能存在些微不同，但核心结论和趋势均保持一致，这进一步增强了本研究结论的可信度。特别地，作者深入探讨了与方佳佳教授在相关主题研究中的结论的异同，通过这种对比与分析，不仅深化了对研究主题的理解，也为后续研究提供了宝贵的借鉴和启示，为研究的深化和创新提供3.2.3朴素贝叶斯算法朴素贝叶斯的优势在于算法简单，思路简单易于实现等。朴素贝叶斯算法的基础是假设各特征之间相互独立，是由P(A|B)到P(B|A)的过程，即通过数据的处理找到特征X与Y的联合分布函数P(X,Y),然后使用公出相应的概率。朴素贝叶斯算法的网络模型如图3.1(邓智强，魏欣怡，2020)。贝叶斯分类器拥有三种模型，高斯贝叶斯，伯努利贝叶斯与朴素贝叶斯，这三种模型都要求数据集中的特征间相互独立(余哲瀚，叶慧玲，2019)。前述结果在此外，这一验证环节也为后续研究指明了道路，即在已验证有效的理论体系下，由于每个文本都拥有众多的特征所以每个文本都具有n维特征向量，在此情景内发生对于给定的类变量Ck,基于其特征属性之间相互独立令特征属性为w₁,W₂,…,Wn,我们就可以得到伯努利算法中的条件概率P(w;ICi)的值(曾在伯努利贝叶斯算法模型中，无论词组出现了多少次，无论词组的出现顺是相同的。所以伯努利朴素贝叶斯中只看重特征出现与否，出现权重为1,不出Bxi为1表示特征在文本中出现，Bxi为0表示特征在文本中不出现，则有：P(d|Ci)=i=1(BxiP(w;ICi)+(1P(d|Ci)是由特征简单相乘，出现与否只是采用前式与后式的区别。若特征在文本中出现，则乘的是P(w;ICi),不出现，则乘的项是1-P(w;ICi)。特征项的条件概率特征项的条件概率在训练集上分别统计各类别的先验概率和每个特征项的条件概率其次是将测试集的垃圾短信同样进行分词处理后提取特征提取，将测试集中向量空间的所有类别的先验概率和测试集中特征项的条件概率通过贝叶斯算法进行概率计算，考虑到理论与实践间的差异，本文进行了深入的分析与必要的调整。为确保理论模型能更贴近实际操作，我们不仅严谨地推导和验证了理论框架，还深入实践，通过多元化的研究方法等渠道，广泛收集了行业内的第一手资料。这些实践数据帮助我们识别并理解理论模型在实际应用中可能面临的挑战与偏并据此修正和完善了当前成果，提高了其预测准确性和实用性，确保了研究结果的可靠性和泛化性。通过这些综合考量，本文不仅加深了对研究主题的理解，也为相关领域的研究者和从业者提供了更具操作性和指导意义的理论支撑和实践参考。最终综合判定是否属于垃圾短信(石泽凯，韩雅琴，2019)。如图3.3:特征空间特征空间特征项的条件概率类别的先验概率各类别的先验概率和垃圾短信文本向量化3.3.1朴素贝叶斯算法的优点朴素贝叶斯算法在基于文本内容的分类上，具有不可撼动的地位，使用朴素贝叶斯算法进行文本分类工作也是目前国际趋势(章思远，林玉洁，2022):(1)构建简易，朴素贝叶斯算法被业内人士宠爱的原因是操作简捷，效率较高，数据集只需要满足离散和数据量足够大，模型会有较高的准确率。(2)错误率较低，朴素贝叶斯根据数据进行分类，当数据量足够大时朴素贝叶斯会有较高的准确率，长期使用朴素贝叶斯会使数据量越来越大，准确率会越来越高。(3)精准，长期使用朴素贝叶斯会使数据标签更为精确集中，朴素贝叶斯对于垃圾短信的先验概率会逐步提高，使得模型准确率逐步提高。为确保研究结论的可复制性和普及性，本研究采取了多项措施，旨在加强研究的严谨性和普适性。从研究策划到数据收集、解析，每一步都严格遵循科学方法论，力求标准化与透明化。在规划阶段，明确界定了研究目标与变量，以保证研究的逻辑清晰与可操作性。同时，运用多种数据来源及收集手段，增加数据的多样性和代表性，避免单一数据源可能带来的片面性。通过详尽的研究日志、数据收集分析流程的描述，以及清晰的研究结果可视化呈现，有助于研究成果的广泛传播。(4)自定义库，日常工作中用户会自行标记垃圾短信，根据这种情形朴素贝叶斯分类器可以逐步标记垃圾短信特征值，提高垃圾短信特征值准确率，不断目前，由于朴素贝叶斯算法的流程较为简单，模型构建较为简洁，准确率较高，尽管朴素贝叶斯所需大量的数据库，所以基于文本内容的文本分类中朴素贝叶斯算法依然是主流算法之一。3.3.2贝叶斯分类方法的缺点(1)朴素贝叶斯分类器目前大范围使用在英文文本中，基于中文文本内容的朴素贝叶斯分类器并没有大规模使用，原因在于中文文本分词与英文文本分词相比难度更大，准确率也没有英文分词高，从这些因素可以推测在引用jieba分词后，还需手动添加停用词，自定义字典使得工作量增加，程序更加冗杂(林伟(2)朴素贝叶斯的准确率来自于原始数据库的大小，所以一款好的朴素贝叶斯分类器需要庞大的数据库，但朴素贝叶斯算法不能实时更新数据库，这会导致先验概率失准，当系统将d∈Ck误判为Ck的情况，在用户识别后系统通过学习只是将短信向量d在不同的类别中进行简单地增减，而并不能保障P(Ck|d)>P(Ck|d);这样将导致调整后的系统在下次遇到与d具有相同新特性的短信时仍然(3)容错率较低，由于用户自行标记垃圾短信会出现误标等不当操作行为，朴素贝叶斯会错误的标记垃圾短信，影响用户正常收发合法短信，会对用户产生相应的损失，降低系统的实用性。(4)储存空间大，数据量的庞大与否决定了朴素贝叶斯算法分类的精准度，数据量越大，分类准确率越高，庞大的数据集会影响服务器效率，提高程序的复杂程度，数据处理速度也会大幅度降低，影响使用。第4章模型的设计与实现本文使用的是Anaconda3编辑器进行编程，Anaconda3是基于jupyternotebook的编辑器，它是一款方便python设计的软件，自带python与丰富的第究与其结论的一致性表明了所采用的研究方法和数据分析手段在探索类似问题找寻最短路径切割句子。在不同的分词模式下有着不同的效果，分词模式分为其中Precisemode为准确模式，从中不难发现一般适Fullmode为全模式，是速度最快的模式，可以将整句所有可能都给出，但paddlemode为浆模式也称为搅拌模式，他是利用paddle机器学习模块，使jieba分词器除了上述几种模式外还可以添加自定义词典，当jieba分词结果行分词。尽管jieba分词自建库在不断更新，在这种情况里展开但自己添加词典Pandas和Matplotlib构造，其中的接口简单方便，是机器学习中非Scikit-Learn采取监督学习和无监督学习两种，此处本文采取监督学习。Scikit-Learn库中还有预处理，回归，聚类，分类，降维，模型选择六大模块。Scikit-Learn大部分函数可以分为转换器与估计器，通过转换器一步步将初始数据转换为模型需要的数据，最终通过估计器输出(方建平，杨柳青，2021)。估计器的作用是预测评分或者进行回归分析，估计器也是模型的一种。基本上估计器都会有以下几个方法：传入数据以及标签即可训练模型，训练的时间用于对模型的正确率进行评分(范围0-1)。但由于对在不同的问题下，评判模型优劣的的标准不限于简单的正确率，可能还包括召回率或者是查准率等其他的指标，特别是对于并不能很好的评估模型的优劣，因此在对模型进行评估时，不要轻易的被score的得分蒙蔽。为numpy数组。我们通常使用这个方法转化器(Transformer)用于对数据的处理，例如分词处理，特征提取，数据集划分等，其用法与估计器用法一致。fittransform(x,y)该方法在计算出数据变换方式之后对输入x就地转换。以上仅仅是简单的概括Scikit-Learn的函数的一些特点。Scikit-Learn绝大部分的函数的基本用法大概如此。但是不同的估计器会有自己不同的属性，例如随机森林会有Feature_importance来对衡量特征的重要性，而逻辑回归有coef_存放将样本分为两类，分别用0和1表示，1为正类，表示该数据是正常短信，0为0商业秘密的秘密性那是维系其商业价值和垄断地位的前提条件之一0带给我们大常州一场壮观的视觉盛宴0有原因不明的泌尿系统结石等023年从盐城拉回来的麻麻的嫁妆0感到自减肥、跳减肥健美操、1感谢致电杭州萧山全金釜韩国烧烤店，本店位于金城路xxx号。韩式烧0这款UVe智能杀菌机器人是扫地机的最佳伴侣1一次价值xxx元王牌项目；可充值xxx元店内项目卡一张；可以参与V动0此类皮肤特别容易招惹粉刺、黑头等0乌兰察布丰镇市法院成立爱心救助基金—(长期诚信在本市作各类资格职称(以及印/章、牌、……等。祥：xx■《依林美容》三.八.女人节倾情大放送活动开始啦!!!!超值套餐00商业秘密的秘密性那是维系其商业价值和垄断地位的前提条件之一10带给我们大常州一场壮观的视觉盛宴203023年从盐城拉回来的麻麻的嫁妆40感到自减肥、跳减肥健美操、51感谢致电杭州萧山全金釜韩国烧烤店，本店位于金城路xxx号。韩式烧烤等，价格实惠、欢迎惠顾【全…60这款UVe智能杀菌机器人是扫地机的最佳伴侣71一次价值xXX元土牌项目；可充值xxx元店内项目卡一张；可以参与V动好生活白分白抽奖机会一89使用jieba分词自动将中文语句切分为中文词语，切分效果如图4-3分词之前："将汽车工程和建筑设计完美融为一分词之前："将汽车工程和建筑设计完美融为一体"中文分词分词结果："将""汽车""工程""和""建筑""设计""完美""融为一体"所以我们分词要尽量将这些无意义词剔除，在这场景里在jieba分词中这种行为"家长您好：旗帜数学本若提高学生成绩的宗旨，新学期开课啦。招生电话：地址：五完小西十""家长""您好""旗帜""数学""本着""提高""学生""成绩""的""宗旨""新""学期""开课"“啦”"招生""电话""地址""五""完小""西""十""家长""您好""旗帜""数学""提高"学生""成绩""宗旨”“新""学期""开课"“招生""电话""地址""五""完小""西""十"4.4提取特征构建模型4.4.1数据集划分train_test_split分数、交叉验证分数、model_selection.gridsearch网格搜索和交叉数，相关代码见附录，StratifiedKFold拆分函数属于分层的K折交叉验证。该结果与预期一致，且与前辈构建的成熟架构基本吻合，本文不仅验证了阶段性研究成果的实效性，还进一步稳固了该领域的理论根基。这一发现为本文的基础研究提供了强有力的实证依据，也彰显了已有理论框架的广泛适用性和稳定性。通过对比分析，当前研究中的数据点与先前文献的关键结论相呼应，加深了本文对该领域内在机理的理解，为后续研究者在此基础上进行更深入的挖掘和创新打开了大门。此外，结果的一致性还意味着本文在方法论上的选择是恰当的，为后续类似方法的研究树立了典范。StratifiedKFold是由KFold交叉验证变化而来，根据标签将原始数据分为训练集和测试集，得到的训练集与数据集再数据构成上一致。将全部训练集S分成K个不相交的子集，也就是K折交叉验证器会把样本数据随机的平均分成K份，每次随机的选择K-1份作为训练集，在此情景内发生剩下的1份做测试集，本文令K=5,也就是80%数据集为训练集20%数据集为测试集(任泽凯，吴雅琴，2023)。当这一轮完成后，重新随机选择K-1份来训练数据。若干轮(小于K)之后，测试集与训练集随机互换，依然选择其中K组为测试集，其余的K-1组子集数据作为训练集，所以一般分成K份就这样会得到K组模型，最终输出这K个模型的K各分数，处在这个局面下对于这K各分数取平均值为最终分类器得分。4.4.2特征值提取对文本内容进行特征值提取，当垃圾短信的数据量太大，文本信息过多时，提取特征值可以排除一些负面特征的干扰，还会是训练速度加快。TF-IDF(TermFrequency-InverseDocumentFrequency,词频-逆文件频率)是一种常用的加权技术，TF是指词频，通俗的说就是当一个词语在语句中出现的频率越多，在全部的语句中出现的频率越少，其权重越高就越能代表该句。其计算公式如下(洪思IDF是逆向文件频率(inversedocumentfrequency),IDF反应了一个词在所有文本中出现的频率，如果一个词在很多的文本中出现，那么它的IDF值应该低，比如“感谢”在文本中出现频率也很高，但这个词并不重要，这样就引入了IDF,IDF值越低表明这个值越重要，IDF值越大说明这个词在所有语句中出现的频率越高，其特征值越不重要。其计算公式如下。有了这些知识，我们即可调用sklearn中的结果根据词条出现的频率提取出特征值，根据这种情形融入Pipelin中，相关4.4.3朴素贝叶斯的实现由于朴素贝叶斯算法的简洁性，sklearn-learn库中就包含了三种朴素贝叶斯分类器，高斯贝叶斯分类器GaussianNB,伯努利贝叶斯分类器BernoulliNB以及多项式贝叶斯分类器MultinomialNB,相对于其他的机器学习，朴素贝叶斯分类器的参数，算法都较为简单，易于学习掌握(夏家辉，许美琳，2020)。朴素贝叶斯算法不同他们的适用条件也不同，GaussianNB适用于样本特征为连续型，且服从正态分布，MultinomialNB适用于样本特征为多元离散型，BernoulliNB适用于样本特征值为二元离散型或较少的多元离散型，特征值只有存在或不存在。垃圾短信特征较多，根据现有背景属于多元离散型，因此我们选择MultinomialNB算法。关于朴素贝叶斯前文已经介绍许多，在此不再展开介绍，主要介绍MultinomialNB。MultinomialNB假设特征的先验概率为多项式分布，即如下式：其中P(X;=x;|Y=Ck)是第k个类别的第j维特征的第1个取值条件概率，mk是训练集中输出为第k类的样本个数。λ为一个大于0的常数，常常取值为1,即拉普拉斯平滑，也可以取其他值。所以实现朴素贝叶斯秩序只需scikit-learn中得MultinomialNB库，并设定alpha平滑系数的值也就是λ,默认alpha为1.0,相关代码见附录。4.5垃圾短信过滤器的实现机器学习中，往往整体思路大致相同，例如一般的中文文本处理流程如下：(1)将原始数据进行初步处理，将结果中文分词。为保障上述结论的可靠性，本论文从多个层面进行了深入的探讨与核实。我们采用了多种渠道的高质量数据，并通过严格的筛选与整理步骤，确保了数据的准确性与信赖度。这些数据涉及多种变量和影响因素，为研究的综合分析提供了稳固的基础。在研究方法方面，本文运用了多种先进的统计与分析技术，旨在全面且公正地评估所研究的问题，从不同角度揭示数据所隐藏的规律和关系。通过综合这些方法，我们得以更深入地理解所研究现象的本质机理。(2)将中文分词结果提取特征值。(3)用特征值特征向量训练模型。此处采用scikit-learn库中的pineline,pineline顾名思义就是一条流水线，流水线的输入是最原始的数据，输出的是最终得结果，原始数据经过转换器得处理后，进入下一个转换器，最终进入估计器输出结果。从这些因素可以推测流水线中封装得是所有的过程，在本文中会将特征提取和朴素贝叶斯封装在流水线中其研究思路如图4-4,相关代码见附录。逻辑回归词语词语图4-4pineline流程图标签商业秘密的秘密性那是维系其商业价值和垄断地位的前提条件商业秘密的秘密性那是维系其商业价值和垄断地位的前提信感到自减肥、跳减肥健美操、感到自减肥、跳减肥健美操、感谢致电杭州萧山全金鲨韩国烧烤店，本店位于金城路xx号。韩式烧烤等，惠顾【全…感谢致电杭州萧山全金鲨韩国烧烤店，本店位于金城路xx号一次价值xx元王牌项目；可充值xx元店内项目卡一张；可以参与V动好生一次价值xxx元王牌项目；可充值xxx元店内项目卡一张；信5.1模型评价squares,简称RSS),它的定义为：预测结果0.9475-R²取值一般介于0-1之间，其数值大小反映了回归贡献的相对程度，即最常用于评价回归模型优劣程度的指标。本课程设计的R²值输出结果如下对输出结果求平均值得到最终评分为0.9476,可以看到输入结果较为优异，可以得出结论本课程设计通过上述内容的开发与学习，最终得到较为理想的垃圾短信分类器，该模型也可用于其他中文文本工作。本此课程设计主要研究了基于文本内容垃圾短信识别，使用python设计垃圾短信过滤器的开发，通过机器学习和朴素贝叶斯算法的学习，基本实现垃圾短信识别，准确率在95%左右，系统设计关键在于sklearn模块和朴素贝叶斯算法，将原始数据进行简单处理后进行分词操作，对得到的特征值进行特征值提取，基于特征构建朴素贝叶斯模型，最后对模型进行评价。本论文所做的主要工作有：1.