朴素贝叶斯算法

朴素贝叶斯算法NaiveBayes算法流程图朴素贝叶斯算法原理01贝叶斯定理朴素贝叶斯算法流程02购买电脑实例03朴素贝叶斯算法存在的问题及应用04TableofContents内容大纲朴素贝叶斯算法原理朴素贝叶斯算法是分类算法中的一种。朴素贝叶斯的思想基础是这样的：对于给定的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大。就把此待分类项归于哪个类别。通俗来说，就好比你在街上看到一个黑人，我问你你猜这个人哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。条件概率：表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：为了得出，我们不加证明的给出贝叶斯定理。贝叶斯分类的基础——贝叶斯定理先验概率和后验概率先验概率：由以往的数据分析得到的概率。后验概率：得到信息之后再重新加以修正的概率。朴素贝叶斯算法流程1.设为一个待分类项，而每个为的一个特征属性。且特征属性之间相互独立（此处是朴素贝叶斯的假设）。2.设为一个类别集合。3.计算。4.如果则。接下来，由于假设各个特征属性都是条件独立的，那么根据贝叶斯定理有如下推导，因为分母对于所有类别为常数，因此将分子最大化即可。即：朴素贝叶斯分类例子RIDageincomestudentCreditratingClass:buyscomputer1<=30highnofairno2<=30highnoexcellentno331-40highnofairyes4>40mediumnofairyes5>40lowyesfairyes6>40lowyesexcellentno731-40lowyesexcellentyes8<=30mediumnofairno9<=30lowyesfairNo10>40mediumyesfairyes11<=30mediumyesexcellentyes1231-40mediumnoexcellentyes1331-40highyesfairyes14>40mediumnoexcellentno数据样本用属性age,income,student和creditrating描述。类别属性buyscomputer具有两个不同值（即{yes,no}）。设

对应于类buyscomputer=“yes”，而对应于类buyscomputer=“no”。我们分类的未知样本为：X=(age="<=30",income="medium",student="yes",credit_rating="fair").1.我们需要最大化P(X|

)P(

)，i=1,2。每个类的先验概率P(

)可以根据训练样本计算：P(buys_computer=yes)=9/14=0.643P(buys_computer=no)=5/14=0.3572.计算后验概率P(X|

)，i=1,2（假设属性独立）P(age=“<30”

|buys_computer=“yes”)=0.222P(age=“<30”

|buys_computer=“no”)=0.600P(income=“medium”

|buys_computer=“yes”)=0.444P(income=“medium”

|buys_computer=“no”)=0.400P(student=“yes”

|buys_computer=“

yes”)=0.667P(student=“yes”|buys_computer=“no”)=0.200P(credit_rating=“fair”|buys_computer=“yes”)=0.667

P(credit_rating=“fair”|buys_computer=“no”)=0.400P(X|buys_computer=“yes”)=0.222×0.444×0.667×0.667=0.044P(X|buys_computer=“no”)=0.600×0.400×0.200×0.400=0.019

3.对每个类，计算P(X|

)P(

)

P(X|buys_computer=“yes”)P(buys_computer=“yes”)=0.044×0.643=0.028P(X|buys_computer=“no”)P(buys_computer=“no”)=0.019×0.357=0.007因此，对于样本X，朴素贝叶斯分类预测buys_computer=”

yes”。朴素贝叶斯算法存在的问题及应用朴素贝叶斯分类器(NaiveBayesClassifier,或NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺