垃圾评论识别

一种对垃圾评论进行筛选的数学模型摘要：目前商务网站或博客论坛允许用户发表针对产品或话题的一些评论看法，难免会存在一些虚假的或是与产品及话题无关的评论信息，这极大地误导了商家、读者以及观点挖掘系统，造成了资源的浪费。本文通过建立合理的数学模型，通过C++及matlab编程求解，实现对产品垃圾评论的有效识别。针对问题一，对给定的四类不同情形，首先建立文本处理模型，通过C++进行文本统计，根据统计结果，生成产品标准关键词向量和评论向量；再次，通过垃圾评论判断进行初级判断；再通过matlab相似度计算模型，得到评论与产品关键词的相似度；最后通过与设定阈值比较判定评论是否为垃圾评论，判断正确率为100%c针对问题二，相对问题一，评论数量增加，因此充分考虑主题词、广告词、情感词、违禁词、相似度、评论重复数及特殊符号等评论特征对评论结果的影响，首先采用AdaBoost算法训练出合理的强分类器，对垃圾评论和正常评论实现有效分类；其次，通过建立准确率和召回率综合指标评价模型最筛选结果做出评价。针对问题三，对一般产品的产品评价集合，在问题（2）模型的基础上建立更一般的改进模型，通过对样本权重的限制和相似度的改进，提高算法的识别率。针对该类问题识别的特征，从关键词词库的扩充、产品评论特征的识别、样本的选择权重及相似度确定等角度提出了针对该类问题建立模型的合理建议关键字：垃圾评论识别，C++,matlab,评论特征，AdaBoost算法，权重一、问题重述评论筛选是对给定的语料集合中，要求系统识别出文档是否为垃圾观点文档。要求完成以下问题：1)针对给定的情形，建立合理的数学模型进行识别，制定算法流程。并通过程序验证，得到正确识别率。2)在网络上收集一个更大的关于小米手机的评价集合，建立合理的数学模型和算法进行识别，并得到结论。3)对一般的产品评价集合，讨论并建立更一般的模型，并给出该类识别问题的看法。四种垃圾评论分类如下：(1)确实是评论，但只对品牌和制造商，甚至是站点评论，而没有针对当前产品本身进行评论，因此这种评论是无意义的。(2)确实是对产品进行了评论，但是评错了产品。(3)广告评论。(4)无关的文本，大致包括个人的消费体经历、人身攻击和其它无关文本。二、模型假设与符号说明2.1模型假设.从产品说明中提取的一个标准特征向量可以代表产品说明；.从评论中提取的一个评论特征向量可以代表此评论；.本文所建立的相关词库能够涵盖所有评论内容；.本文所提出的评论特征能够有效反映当前网络评论的特征。.2主要符号说明Wis：表示关键词在关键词特征向量中值的大小；Similarity:相似度，衡量评论与产品标准描述之间的相似程度;Recall：评论筛选召回率；Precision:评论筛选精确率；Mistake:评论筛选误判率；:评论分类错误率；h:评论分类器三、问题分析问题(1)分析问题(1)所给评论特征明显，通过以主题词、广告词、情感词等基本关键词筛选，初步筛选出部分垃圾评论，对其余评论，通过相似度计算完成筛选对评论进行筛选。首先要进行的是文本处理，通过文本处理提取出评论中的关键词。再次，应建立一个标准关键词向量，通过对产品说明进行关键词统计与权重计算，得到标准关键词向量。最后，确定一个评论判定阈值，以便通过相似度比对确定出是否需要筛选评论。问题(2)的分析针对实际产品中的大量评论，充分考虑主题词、广告词、情感词、违禁词、相似度、评论重复数及特殊符号对评论结果的影响，采用AdaBoost算法训练出合理的强分类器，实现对垃圾评论的有效识别，并通过评价模型做出合理评价。问题(3)的分析针对一般产品的产品评价集合，在问题(2)模型的基础上建立更一般的改进模型，通过对样本权重的限制和相似度的改进，提高算法的识别率，使其更具有应用价值。针对该类问题识别的特征，从关键词词库的扩充、产品评论特征的识别、样本的选择权重及相似度确定等角度提出了针对该类问题建立模型的合理建议。四、模型建立与求解模型准备产品评论特征在提取产品评论特征之前，首先对文本数据作预处理。采用中国科学院计算技术研究所分词系统ICTCLAS对产品标准描述和评论进行分词，并去掉与评论内容无关的停用词，对剩余的有效关键词进行分析处理。产品评论特征是商品评论有效性筛选的重要指标，能否有效识别出垃圾评论很大程度上决定与所选垃圾评论特征是否具有代表性及尽可能多的覆盖到所有评论，。通过对常见垃圾评论特征的统计分析，通过以下特征来描述产品评论并提取出其特征值：(1)主题词产品主题词是描述产品的核心词，也是产品评论的核心词，一般是与产品相关的核心名词。采用中国科学院计算技术研究所分词系统ICTCLAS提取关键词中的产品标准描述及待评价评论中的核心词，并逐一进行比对。如果评论中没有产品标准描述中的任何主题词，即特征值为0,则认为该评论为垃圾评论，否则，其特征值为1,作为有效评论暂时保留。(2)超链接与广告词产品垃圾评论是包含超链接和广告词，超链接和广告词都是广告信息的典型表现形式，大多包括产品推销、店铺或网站推荐、公司宣传等。针对超链接垃圾评论，由于超链接一般以网址出现，会出现多个连续英文字母字符，如http://...,本文通过扫描评论中这类连续的字符，判定是否含有超链接。若含有超链接，即认为该评论可能为垃圾评论，其特征值为0,优先排除，否则，其特征值为1,作为有效评论暂时保留。针对广告词，通过对现阶段热门评论分析总结，首先建立常用广告词词典，如QQ、特价、热购、淘宝、全场包邮等；其次考虑到广告词中包含产品价格及QQ号码等信息，一般以数字出现，因此若扫描到多个数字及汉字“元”，即认为包含广告词。同样，若含有广告词，即认为该评论为垃圾评论，其特征值为0,优先排除，否则，其特征值为1,作为有效评论暂时保留。(3)违禁词违禁词即含有恶性攻击的词，如tm、脑残、烂货等，同样建立违禁词词典。对

0,每条评论的关键词扫描，发现违禁词，即认为该评论为垃圾评论，其特征值为优先排除，否则，其特征值为1,作为有效评论暂时保留。0,(4)情感词产品评论是人们对产品相关参数及购买体验的评价和议论，人们通过评论可以真实的表达出自己的主观性看法、态度、感觉、情绪等等。因此，评论必然包含评论者的情感。情感词词数越少，越有可能属于垃圾评论。通过统计分析计算，同样建立产品评论情感词词典，以评论中的情感词词频作为其特征值。(5)相似度垃圾评论的识别离不开文本相似度的度量，相似度是指两对比物具有的共性大小，是常见的用于度量评论是否垃圾评论的特征指标。本文采用余弦相似度来度量评论与产品标准描述之间的相似程度，其公式如下：Similarity(s,q)nWsSimilarity(s,q)nWsWcWis表示有效关键词i在标准产品描述中对应的权重，Wic表示有效关键词i在产品评论j中对应的权重。相似度越小，就越有可能是垃圾评论。权重计算公式：Wis110g(n*a1),其中n为关键词i在产品说明中出现的次数，a为权重调节参数，可以通过机器自动调节。参数a,通过工作人员对此权重的是否满意的判断，程序自动升高或降低权重系数。(6)评论重复数通过对大量产品分析统计发现：有一类垃圾评论，看起来似乎是正常评论，但是从整体来看，会发现同一评论者或者不同评论者针对同一问题大量发表了相同或者相似的评论，称为重复评论。此类评论有可能是商家为了攻击竞争对手提高自己的好评度而发动非正常用户发表的垃圾评论，评论重复数量越多，就越有可能属于垃圾评论。为简化计算，本文只统计超过一定长度的句子的相同评论数量，并通过关键词是否相同确定是否重复。若关键词重复数超过80%,即认为该评论为垃圾评论，其特征值为0,优先排除，否则，其特征值为1,作为有效评论暂时保留。(7)特殊符号正常评论中的标点符号一般都是正常的，只有几个逗号、顿号、分号、句号或者感叹号等，只是极个别的评论者写了一串的逗号，顿号，句号，点号，问号，感叹号等来抒发自己强烈的感情，一般不会使用“…，“#："&”等标点符号,而垃圾评论为了绕过现有的过滤机制，在一些具有明显垃圾特征的垃圾关键词中间往往加入了一串特殊标点符号来掩盖垃圾评论的垃圾特征，例如：★*★欢迎光临——三际数码*★*★期待与您合作喔！么么哒八0八*'**z。发现特殊符号，即认为该评论为垃圾评论，其特征值为0,优先排除，否则，其特征值为1,作为有效评论暂时保留。AdaBoost算法AdaBoost算法是一种实现简单，应用也很简单的框架算法。AdaBoost算法通过加权集成弱分类器而得到强分类器，具有适应性强、精度高、分类错误率上界

随着训练增加而稳定下降，且不容易出现过拟合问题等特点该算法是通过改变数据权重分布来实现的，根据每轮训练集之中每个样本的分类是否正确，以及上一轮弱分类器的分类错误率，来更新每个样本的权值。被分类正确的样本权值减小，被分类错误的样本权值增加。这样分错的样本就会被突显出来，以便下一轮弱分类器将注意力放在这些“难分”的样本上。将更新过权值的新数据集送到下轮分类器进行训练，最后将每轮训练得到的弱分类器线性加权集合起来，得到最终的强分类器，弱分类器的错误率越低，则其权重越大。产品评论评价指标表4.1列出了实验可能得出结果的混淆矩阵，产品评论分类的评价指标可通过此矩阵来进行计算。RecallR=UU+XRecallw=VRecallR=UU+XRecallw=VV+Y定义二正常评论精确率PrecisionR,垃圾评论精确率PrecisionwPrecisionRPrecisionw=YX+Y表4.1混淆矩阵正常评论数垃圾评论数识别的正常评论数UV识别的垃圾评论数XY定义一正常评论召回率RecallR,垃圾评论召回率Recallw定义三正常评论Fr值，垃圾评论Fw值Fr=2*RecallFr=2*RecallR*PrecisionRRecallR+PrecisionR2*RecallW*Precisionw

RecallW+Precisionw综合评价F值是召回率和精确率两者的综合评价指标，可以综合反映出分类器对于正常评论或者垃圾评论的分类能力。定义四误判率Mistake__X—M==1-PrecisionwX+Y对于垃圾评论识别效果评价判断标准中，误判率M也是一重大指标。误判率是指被判别为垃圾评论的评论中正常评论的比例，在垃圾评论识别的场景下，如果用于实时过滤，把正常评论误判为垃圾评论会对正常用户造成困扰，进而影响用户体验；如果用于面向评论的数据挖掘工作，把正常评论识别为错误无疑会漏掉一部分有价值的信息。因此，在保证判别整体精确率的情况下，一个更低的误判率无疑具有更高的实用价值。4.2问题（1）的模型建立与求解问题（1）模型建立针对问题（1）所给评论，特征明显，因此本文通过以主题词、广告词、情感词等关键词筛选，初步筛选出部分垃圾评论，对其余评论，通过相似度计算完成筛选。算法设计流程图：

有■度百科关、于iPhone61

的产品说明,名词统计模块名词筛选模块有■度百科关、于iPhone61

的产品说明,名词统计模块名词筛选模块图1问题（1）的算法设计流程图.通过名词统计模块处理“百度百科”关于iphone6的产品说明，得到包含所有名词的词库；.通过名次筛选模块筛选出标准关键词库；.通过权重计算和权重调节模块，得到标准权重向量，并为每个关键词赋权重值；.通过评论初步判断模块，判断是否有违禁词，若含违禁词，则认为该评论为垃圾评论；.通过名次筛选模块对待计算评论进行处理，得到评论关键词向量；.通过相似度计算模块，同时输入标准权重向量和评论关键词向量，计算出相

似度伯:。.将得到的相似度值与阈值进行比对，大于等于阈值则确定为正常评论，否则为垃圾评论。.2.2对于问题(1)模型的求解(1)名词统计模块：此模块将对输入的文本进行分析，通过分析名词的特征，提取名词，并建立出所有名词的列表。使用名词统计模块对产品说明进行分析，统计出所有名词。词词词词词词词词祠L词词词词词词词词祠L名名名名名名名名名」取取取取取-tB苜IAE提旧语旧正旧啃正旧底旧恶小e:nn/ILnnnnnnnT4・・-///////产茂及其权重值1天键词：产茂及其权重值1天键词：LPhonetZn其权重值为；195424其权重值为।2.加13，，其权重值为；1-50309•其权重值为；1-30103图2名词统计模块输出结果(2)产品关键词权重计算模块：通过此模块统计关键词的个数，带入权重计算公式：Ws1log(n*a1)得到每个关键词的权重值.其权重值为工［々7916图3产品关键词权重计算模块结果(3)评论初步判断模块：此模块可以对评论进行关键词抽取比对违禁词，必要名词的判断。将评论关键词与违禁词典进行比对，若含有违禁词则不允许通过。同时若评论不含有产品名，也不允许通过。联罂要皆0逞现词汇》,不允许通过。图4评论初步判断模块输出结果(4)权重计算与调节模块:设计人员对结果根据自己满意与否调节关键词权重。.其权重值为：1-23226是否对此权重满意？口】任【心:・增加权重，2.减少权重1产品用苴料重值：关懒词：裁果外.修改后其权重值为*J318M图5权重计算与调节模块输出结果(5)相似度计算模块：将生成的标准关键词特征向量与评论特征向量带入相似度计算公式得到最终相似度。-3ura_aquare_>_standrard=O,-5um_'rfl_0：：IE；-iith.miLLE丁.t.nrlrwTd万^^口，命令彳福口Similarity1=2.4545图6相似度计算模块输出结果(6)判断阈值：取产品名和一个最低权重关键词求得其相似度值为阈值1.1663,即评论相似度值至少应大于等于此阈值才算有效评论。取相似度阈值=1.1663时，大于等于此阈值时的评论被视为正常评论。下表1为模型的判断结果：表1问题(1)评论判断结果讦论编P与标准的相似度是否为垃圾评论判断依据判断是否止确正确评论12.4546否通过判断模块且大于阈值正确正确评论21.2762否通过判断模块且大于阈值正确第一类垃圾评论10是有违禁词正确

第一类垃圾评论20是有违禁词正确第一类垃圾评论30.6043是小于阈值正确第一类垃圾评论40是有违禁词正确第一类垃圾评论50.6043是小于阈值正确第一类垃圾评论60.6043是小于阈值正确第一类垃圾评论70.6043是小于阈值正确第F垃圾评论10是不含产品名正确第F垃圾评论20是不含产品名正确第F垃圾评论30.6043是小于阈值正确第F垃圾评论40是不含产品名正确第F垃圾评论50是不含产品名正确第三类垃圾评论10是有违禁词正确第三类垃圾评论20是有违禁词正确第三类垃圾评论30是有违禁词正确第四类垃圾评论10.6043是小于阈值正确第四类垃圾评论20是有违禁词正确第四类垃圾评论30是不含产品名正确第四类垃圾评论40是有违禁词正确第四类垃圾评论50是有违禁词正确第四类垃圾评论60是不含产品名正确第四类垃圾评论70.6043是小于阈值正确第四类垃圾评论80是不含产品名正确第四类垃圾评论90是有违禁词正确第四类垃圾评论100是有违禁词正确第四类垃圾评论110是有违禁词正确第四类垃圾评论120是有违禁词正确第四类垃圾评论130是不含产品名正确第四类垃圾评论140是不含产品名正确第四类垃圾评论150是不含产品名正确第四类垃圾评论160是不含产品名正确第四类垃圾评论170是不含产品名正确4.3问题（2）的模型建立与求解问题（2）模型建立1）产品评论模型特征确定针对更大的某件产品的评价集合，单纯的考虑问题（1）的解决方案，将无法满足更大数量评论的有效筛选，因此考虑更多垃圾评论的特征，即模型准备中提到的7个特征全部考虑。同时，在评论数量增大的情况下，如果单独考虑每个因素，不一定能够完全正确的筛选出垃圾评论。例如所选的主题词词典涵盖量有限，如果评论中不含任何标准词典中的主题词，则不能认为该评论一定是垃圾评论。基于以上问题，考虑多特征，并对每个特征值增加权重，综合考虑其评论结果。即定义某产品评论集合为：comments{Ci（（rci,Wci）,（%2,Wc2）...,（3坪c7》,...,&（（%1匹）,（3届）...,（3,Wc7））}其中Ci,C2,...Cn分别表示该产品评论集合中各条不同的评论，Wc1...Wc7表示对应评论各特征值的的权重，rc1...rc7表示对应评论的特征值，由以上分析可知分别对应主题词特征、超链接与广告词特征、违禁词特征、情感词特征、相似度特征、评论重复数特征、特殊符号特征，各特征值取值如下：几1,几2,%3,几6,几70,1rc4情感词数/总关键词数rc5Similarity(s,Cj)2）AdaBoost算法设计产品评论强分类器

本文基于基于机器学习的方法，基于AdaBoost算法训练产品评论设计强分类器，其设计方法如下：(1)选取样本在某产品评论集中选取w个样本Si,yi,(S2,y2)...(Sw,yw),ym0,1其中1表示正常评论，即正样本，0表示垃圾评论，即负样本；(2)初始化权重定义总迭代次数为Q,Wqm为第q次迭代中样本m的误差权重。假设有a个正样本，初始化权重为Wqm1/a，假设有b个正样本，Wqm1/b;(3)更新样本权重在第q次迭代过程中，首先对所选样本权重做归一化处理，用当前样本值各特征值权重之和作为归一化处理结果：WqmWqmWqm%Ck针对每个特征rck,在错误率最小的前提下训练出一个分类器hckmWqmickmWqmi1|\(s)y|针对每个特征找出一个具有最小错误率的分类器,并计算权重，分类器错误率越小，权重越大，增加迭代次数，权重更新公式如下:Wq1,mWqmWq1,mWqm*eq,hq(S)eq,hq(s)Vc重复以上过程，直到达到预设的迭代次数，当训话训练出的分类器错误率ck0.6或ck0时，删除当前分类器并不再循环当前的评论并不再循环。(4)得到强分类器h(s)0,1,Qh(s)0,1,Qqhq(s)q1otherWise算法基本流程图如下:结束结束问题（2）模型求解“中国手机网”关于小米note的一百条评论的分析得到符合垃圾评论评判标准的三条评论：A评论：优点：很好用的手机缺点：外国的狗通通滚回外国总结：小米是国产是垃圾，那你为什么在国产长大呢中国是好垃圾你们这些伟大的人就应该叫美国人做爹，中国有你这些人离败国不远了，屎逼！外国的人哪里有说自己国家的人你们这些败类通通滚回外国做走狗，苹果就连..B评论：优点：很挑战人的耐心，等了有等。缺点：z9max快上市了苹果6s6c也快来了总结：雷军你在让我等我就换了你。。C评论：优点：样子还可以，就是会死机缺点：听朋友说好用买的，买了就后悔了，很卡，而且是一次性卡死机，感觉好像其他电话都不会总结：以后都不买小米了，感觉还没有OPPO和vivo好

但C评论根据语义是有意义的，可以被视为是一个合法评论总体判断结果如下:正常评论数垃圾评论数识别的正常评论数识别的垃圾评论数955973根据判断结果，可以列出表4.4.2列出混淆矩阵，产品评论分类的评价指标可通过此矩阵来进行计算。表4.4.2混淆矩阵正常评论数垃圾评论数识别的正常评论数943识别的垃圾评论数12正常评论召回率Recall-垃圾评论召回率RecallwRecallRU+XRecallRU+X=98.9%,RecallW=-——=60%正常评论精确率Precisionr,垃圾评论精确率PrecisionWPrecisionRPrecisionR=-^―=96.9%,

U+V-••YPrecisionW=——=66.7%2*RecallW*PrecisionWWW=63.2%Recall2*RecallW*PrecisionWWW=63.2%Recallw+Precisionwl2*RecallR*PrecisionRFr=RR=97.9%,RecallR+Precisionr误判率Mistake:XM==1-PrecisionW=33.3%X+Y4.4问题（3）模型的建立与求解问题（3）模型的建立对于一般的产品评价集合，要求算法设计有更高的精确度，相对理想的评价指标从人为角度分析，需要建立更庞大的各类词典，包括主题词词典、违禁词词典、情感词词典，这将会使人为干预的程度加大，误差也随之增大，同时增大计算量；从机器学习的角度，需要经过多次迭代确定合理的强分类器，样本及各类特征权重的确定确定尤为重要。针对更一般的产品评价集合，本文考虑对问题（2）提出的算法改进。（1）限制样本权重问题（2）AdaBoost算法是通过改变样本权重分布来实现，每轮训练中不同的训练集通过更新每个样本对应的权重形成，下一轮分类器的训练样本集是上轮分类器更新过每个样本权重后所形成的新数据集。根据每轮训练时每个样本是否被分类正确，以及上一轮弱分类器的分类错误率，更新每个样本的权重，分类正确的样本权重减小，被错误的样本权重增加，使分错的样本被突显出来。但是如果不对权重更新进行限制，某些极端的样本或者本身就难以分类的样本）随着迭代次数的增加,

这些被凸显出来的“难分”样本每次都被分类错误，导致更新样本权重时此类“难分”的样本的权重成指数级增长。因此，本文考虑对样本权重加以限制。在问题(2)模型建立与求解中，对样本权重在循环更新后再加以限制：Wqi,mWqi,m-vm31ogvmVm表示样本m被分类错误的次数，加入对数使得分错次数影响减小，10g31,因此当错误次数Vm3时，样本权重才缓慢减小，因此有效抑制了样本权重的指数级增长。(2)改进相似度相似度是产品评价最重要的特征值之一，问题(1)、(2)中相似度的计算无法有效检测出近义词，会把意思相近的2个近义词看成完全不一样的词语，造成误判。因此本文提出在相似度比较时加入词语间的一些语义信息，例如词语间的近义信息、词形相似度和位置信息等，改进相似度公式如下：Same(s,cj)Len(s)Ws'Wc'Sim(sQj')Similarity'(s.Cj)i1nSame(s,cj)Len(s),Ws"Wc2Same(s,Cj)是产品评价中所含的主题词个数Len(s)是产品标准描述主题词个Same(s,cj)'Len(s)即对评论长度作归一化处理，为了减小对相似度分值的影响，引入平滑因子0.5。(3)虚假评论的识别垃圾评论的出现可以是主动的也可以是被动的，例如某商家/品牌一方面为了提高自家商品在网络上的声望，亲自/雇人为自己发布虚假的肯定评论，另一方面又可以向竞争对手发布否定评论以降低对手的声望而从中获益。这些虚假的评论严重影响了网络在线市场中的正常竞争，而且损害了消费者的权益。虚假评论实质也是垃圾评论，因此在研究现有算法的基础上建立模型识别虚假评论。采用2-gram模型来表示评论文本，并采用Katz平滑方法对模型进行平滑，然后利用KL散度计算每个评论文本对在语言模型上的相似度，识别虚假评论。问题(3)模型的求解针对实际中产品大规模评论的筛选，在本文算法研究的基础上，尽可能算法设计的每一步影响因素充分考虑到，包括相关词库的扩充、评论特征的识别、样本的选择及权重及相似度确定等因素。(1)关键词词库的扩充当前网络用词变化频繁，为提高对最新网络用词的识别率，应根据当前网络词习惯及时扩充关键词词库，包括主题词、广告词、情感词、违禁词等，以满足算法的实时性要求；(2)产品评论特征的识别本文考虑了常见垃圾评论的7个特征，在实际更大规模的产品评论中，可能需要考虑更多的影响因素，比如评价人的行为习惯、商品的特征等。特征影响因素考虑越全面，检测的识别度将越高；(3)样本的选择在机器学习训练的过程中，样本的选择应具有充分代表性，以尽可能得覆盖到更多特征的评论，提高