机器学习试验报告-朴素贝叶斯学习和分类文本

机器学习实验报告朴素贝叶斯学习和分类文本（2015年度秋季学期）、实验内容问题：通过朴素贝叶斯学习和分类文本目标：可以通过训练好的贝叶斯分类器对文本正确分类二、实验设计实验原理与设计：在分类(classification)问题中，常常需要把一个事物分到某个类别。一个事物具有很多属性，把它的众多属性看做一个向量，即x=(x1,x2,x3，…,xn),用x这个向量来代表这个事物。类别也是有很多种，用集合Y=y1,y2,...ym表示。如果x属于y1类别，就可以给x打上y1标签，意思是说x属于y1类别。这就是所谓的分类(Classification)。x的集合记为X，称为属性集。一般X和丫的关系是不确定的，你只能在某种程度上说x有多大可能性属于类y1,比如说x有80%的可能性属于类y1,这时可以把X和Y看做是随机变量，P(Y|X)称为Y的后验概率(posteriorprobability)，与之相对的，P(Y)称为Y的先验概率(priorprobability)1。在训练阶段，我们要根据从训练数据中收集的信息，对X和Y的每一种组合学习后验概率P(Y|X)。分类时，来了一个实例x，在刚才训练得到的一堆后验概率中找出所有的P(Y|x)，其中最大的那个y，即为x所属分类。根据贝叶斯公式，后验概率为P(Y\X)=在比较不同Y值的后验概率时，分母P(X)总是常数，因此可以忽略。先验概率P(Y)可以通过计算训练集中属于每一个类的训练样本所占的比例容易地估计。在文本分类中，假设我们有一个文档dEX，X是文档向量空间(d。cumentspace)，和一个固定的类集合C={c1,c2，…,cj}，类别又称为标签。显然，文档向量空间是一个高维度空间。我们把一堆打了标签的文档集合＜d,c＞作为训练样本，＜d,c＞EXxC。例如：＜d,c＞={BeijingjoinstheWorldTradeOrganization,China}对于这个只有一句话的文档，我们把它归类到China，即打上china标签。我们期望用某种训练算法，训练出一个函数Y，能够将文档映射到某一个类别：Y：X玲C这种类型的学习方法叫做有监督学习，因为事先有一个监督者(我们事先给出了一堆打好标签的文档)像个老师一样监督着整个学习过程。朴素贝叶斯分类器是一种有监督学习。实验主要代码：1、由于中文本身是没有自然分割符(如空格之类符号)，所以要获得中文文本的特征变量向量首先需要对文本进行中文分词。这里采用极易中文分词组件

pLblicclassChineseSpliter(/**k培启的立手K行三■可paramtejct培定的珏splitToken用于出"『‘^return疔河兆辛的文本publicstaticStringsplitfStringtejctjStringsplitTokerStringresult=null;MMAnalyzeranalyzer=n，MMAnal,yzer();tryresult=analyzer.segment(texrtsplitToken);catch(lOExceptione)e.printStackTracef);returnresultj先验概率计算，N表示训练文本集总数量。zzlaaarrz.DrFrcbatilitir工二:对己二已a-dtizTraininj^ataKanag's^加=neT.<7rairLingDataKaziage"();/***先验概率。©频am;给定的分类*Oretum给定条件下的先喊概率*/p.;bli2a:白；二二：二二百t匚@Ljulet之FtfEt二:ng匚!zL?atrez=OF;士二catITc=T±n,getT]?aiziingFileCcLin-^z^la35i^icdtiQQ{ci;zlsatIT=3im.gstlrainingFileCcunt();re7-HefIT;returnre-;条件概率计算，为在条件A下发生的条件事件B发生的条件概率。x给定的文本属性，c给定的分类

(3LibLi2 Z1O33ca二uu二atzcPKC《Ettin」KrStrinjcj।—四・I二1二日:ITzc=t±n.geTCGU^L^Q[irainEfeyC'=2；l^fsiJiQatiGcifc,总)；zloatlie=tin.getZEainingFile^QuntDf?lassizic.atiDrLfc^;zloatV=tim.jetTraningClasaiziLations().length;涂=小乂匕-1)/<Mc-M-%；〃为了避免出现二这样极端情况，进行加权处理returnret;对给定的文本进行分类publicstringclasaiiyI'SzringzextJ:―一tenn3=ChineseSdIi.ter.spLlt(text,"").splLtf，：一中文分词处理[分词后结果可能还包含有僖用词〕口-iKCpEt匚网口工d3<比53，；“占掉信用同，I乂免鼻口向幺，类S7rinj["Classes=tim,gm;二rmriing二1己msi.：ication3();・'/1畀考flc-atprehility=0..OF-LL3L<Cld331T^-Re3UlL>CI'S=HSWAC&L131X匚1日BNlRReSUlI；〉()；//分类结果fDr(inti=0;i<0133323.,length;i++)StringCi-Cluh-n[1];“第i个分类”■比■二二=ca上PeB｛二Ems,匚斗；；计算哈定的史本属性向里止53在给定的分类二中的今英条件概率“限存方类结果ClassizyEeaultcr=newClassizyResult();cr.elassiricaLion=二；"一类cr.prQtiLity=prc±i二卬;"矢健字在分类的条件概率System..out,print.1n("Inprocess--Pn)jSy13tem“out.p工izit;二n(匚it":"十probility);crs.add(cr);三、测试数据训练集文本：数据样例选用Sogou实验室的文本分类数据的mini版本

2O16/V32018文件夹2016/1/320:18文件夹2O16/V32018文性夹2O1&/1/320:18文件夹2O1&/1/320:18文件夹2016/1/330：1S文件夹2O16/V32018文件夹2015/1/320:18文件夹2016/1/320:18文件夹2016/1/320:18文件夹2006/10/2611:27文杰文档.C000007.cooooos.C000007.cooooos.COOOO1O.COOOO130000014C00D016.C000020COOOO22.COO0O23C00D024C000007汽车C000008财经C000010ITC000013健度C000014他肓C000016旅游C000020教直C000022招聘C000023文化C000024军事测试数据文本：微较W司提出K相e忆美的价咯收期是虐口国区二月二日布指蓑森社消息，微软幺同堤出占.三七1?蓑元现会加股票的价咯收见理索网站弗良公司，徽较壶巴以每段5姜元的仆格收皮推克，徵依的收期出f较程点二月匚日才收钻价:9,1=美元溢价腔名，微依苗司和起虎公司的段宗可以选提以观食至眼里进行交易，微较本雅虎苗司在方完年箕制因「H列已在M至双方3作■:而近两H，邪反一f处于困境：书/色题下碧、运营业既不隹、到f五幅下跋■:可于刁圜在豆璘网市哥丽作为的蹴来说，姬也版舞是一条解：因为历具导莒胃的互辛喏…标通过观察可知，该文本预期为IT类文章三、实验结果运行结果如下图Inprocess....C0^097：4.&S54457E-7Inprocess....C^000S=B.73B709BE-9Inprocess....C^e010：3.9367328E-4Inprocess....C^W@13：4.&4&3947E-11Inproce5s....C^^014：1.395S&7BE-2.®Inprocess....C&W016：L,4360195E-1.5Inprocess....。眄眄工以6.3035146E-1.&Inprocess....C&0O022：5,2257925E-1.6Inprocess....9.&S93B7E-22Inp