《机器学习-Python实战（微课版）》课件 第四章 朴素贝叶斯

第四章朴素贝叶斯贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。通过本节学习可以：学习贝叶斯分类器概念。掌握高斯朴素贝叶斯及多项式朴素贝叶斯。学习目标朴素贝叶斯贝叶斯分类器的分类原理贝叶斯定理贝叶斯定理的一个简单例子贝叶斯分类的原理与特点朴素贝叶斯分类高斯朴素贝叶斯分类算法高斯朴素贝叶斯分类算法的原理多项式朴素贝叶斯分类算法伯努利朴素贝叶斯分类算法贝叶斯要解决的问题：使正向概率：假设袋子里有N个白球，M个黑球，随机摸一个，摸出黑球的概率有多大逆向概率:如果事先不知道袋子里黑白球的比例，随机摸出几个球，根据这些球的颜色，可以推测袋子里面的黑白球比例。贝叶斯分类器的分类原理用p1(x,y)表示数据点(x,y)属于类别1（图中用圆点表示的类别）的概率，用p2(x,y)表示数据点(x,y)属于类别2（图中三角形表示的类别）的概率，那么对于一个新数据点(x,y)，可以用下面的规则来判断它的类别：如果p1(x,y)>p2(x,y)，那么类别为1如果p2(x,y)>p1(x,y)，那么类别为2贝叶斯理论有一个装了7块石头的罐子，其中3块是白色的，4块是黑色的。如果从罐子中随机取出一块石头，那么是白色石头的可能性是多少？由于取石头有7种可能，其中3种为白色，所以取出白色石头的概率为3/7。那么取到黑色石头的概率是4/7。我们使用P(white)来表示取到白色石头的概率，其概率值可以通过白色石头数目除以总的石头数目来得到。条件概率贝叶斯分类：贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。先验概率：根据以往经验和分析得到的概率。我们用𝑃(𝑌)来代表在没有训练数据前假设𝑌拥有的初始概率。后验概率：根据已经发生的事件来分析得到的概率。以𝑃(𝑌|𝑋)代表假设𝑋成立的情下观察到𝑌数据的概率，因为它反映了在看到训练数据𝑋后𝑌成立的置信度。联合概率：联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。𝑋与𝑌的联合概率表示为𝑃𝑋,𝑌、𝑃(𝑋𝑌)或𝑃(𝑋∩𝑌)。假设𝑋和𝑌都服从正态分布，那么𝑃(𝑋<5,𝑌<0)就是一个联合概率，表示𝑋<5,𝑌<0两个条件同时成立的概率。表示两个事件共同发生的概率。贝叶斯方法背景知识贝叶斯公式条件概率的贝叶斯估计：式中

。当

时，是极大似然估计；当

时，称为拉普拉斯平滑。先验概率的贝叶斯估计：贝叶斯估计朴素贝叶斯贝叶斯分类器的分类原理贝叶斯定理贝叶斯定理的一个简单例子贝叶斯分类的原理与特点朴素贝叶斯分类高斯朴素贝叶斯分类算法高斯朴素贝叶斯分类算法的原理多项式朴素贝叶斯分类算法伯努利朴素贝叶斯分类算法朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布𝑃(𝑋,𝑌)，然后求得后验概率分布𝑃(𝑌|𝑋)。具体来说，利用训练数据学习𝑃(𝑋|𝑌)和𝑃(𝑌)的估计，得到联合概率分布：𝑃(𝑋,𝑌)＝𝑃(𝑋|𝑌)𝑃(𝑌)贝叶斯公式：贝叶斯定理朴素贝叶斯贝叶斯分类器的分类原理贝叶斯定理贝叶斯定理的一个简单例子贝叶斯分类的原理与特点朴素贝叶斯分类高斯朴素贝叶斯分类算法高斯朴素贝叶斯分类算法的原理多项式朴素贝叶斯分类算法伯努利朴素贝叶斯分类算法男生总是穿长裤，女生则一半穿长裤一半穿裙子，男生占比60%，女生占比40%：正向概率：随机选取一个学生，穿长裤的概率和穿裙子的概率是多大？逆向概率：迎面走来一个穿长裤的学生，无法确定该学生的性别，请问该学生是女生的概率有多大?假设学校里面人的总数是U。穿长裤的男生：U*P(Boy)*P(Pants|Boy)，P(Boy)是男生的概率=60%。P(Pants|Boy)是条件概率，即在Boy的条件下，穿长裤的概率是多大，这里是100%穿长裤的女生：U*P(Girl)*P(Pants|Girl)。求解：穿长裤的总数：U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl)？与总人数有关吗？贝叶斯案例如果一对男女朋友，男生想女生求婚，男生的四个特点分别是不帅，性格不好，身高矮，不上进，请你判断一下女生是嫁还是不嫁？贝叶斯案例数学问题就是比较p(嫁|(不帅、性格不好、身高矮、不上进))与p(不嫁|(不帅、性格不好、身高矮、不上进))。解决方法求p(嫁|(不帅、性格不好、身高矮、不上进),这是我们不知道的，但是通过朴素贝叶斯公式可以转化为好求的三个量，p(不帅、性格不好、身高矮、不上进|嫁)、p（不帅、性格不好、身高矮、不上进)、p(嫁)。其中p(不帅、性格不好、身高矮、不上进|嫁)=p(不帅|嫁)*p(性格不好|嫁)*p(身高矮|嫁)*p(不上进|嫁)。朴素贝叶斯案例公式整理如下：p(嫁)=6/12（总样本数）=1/2朴素贝叶斯案例p(不帅|嫁)=3/6=1/2在嫁的条件下，看不帅的数据。朴素贝叶斯案例帅性格好身高上进是否嫁不帅好高上进嫁不帅好中上进嫁不帅不好高上进嫁=(1/2*1/6*1/6*1/6*1/2)/(1/3*1/3*7/12*1/3)朴素贝叶斯案例用同样方法来求p(不嫁|不帅，性格不好，身高矮，不上进)。p(不嫁|不帅、性格不好、身高矮、不上进)=((1/6*1/2*1*1/2)*1/2)/(1/3*1/3*7/12*1/3)(1/6*1/2*1*1/2)>(1/2*1/6*1/6*1/6*1/2)于是有p(不嫁|不帅、性格不好、身高矮、不上进)>p(嫁|不帅、性格不好、身高矮、不上进)。朴素贝叶斯案例朴素贝叶斯贝叶斯分类器的分类原理贝叶斯定理贝叶斯定理的一个简单例子贝叶斯分类的原理与特点朴素贝叶斯分类高斯朴素贝叶斯分类算法高斯朴素贝叶斯分类算法的原理多项式朴素贝叶斯分类算法伯努利朴素贝叶斯分类算法优点:在数据较少的情况下仍然有效，可以处理多类别问题。缺点:对于输入数据的准备方式较为敏感。适用数据类型:标称型数据。贝叶斯原理特点

朴素贝叶斯贝叶斯分类器的分类原理贝叶斯定理贝叶斯定理的一个简单例子贝叶斯分类的原理与特点朴素贝叶斯分类高斯朴素贝叶斯分类算法高斯朴素贝叶斯分类算法的原理多项式朴素贝叶斯分类算法伯努利朴素贝叶斯分类算法朴素贝叶斯（NaiveBayes）模型,它是一种基于概率的学习方法，“朴素”指的是条件的独立性。由训练数据学习联合概率分布𝑃(𝑋,𝑌)，然后求得后验概率分布𝑃(𝑌|𝑋)。具体来说，利用训练数据学习𝑃(𝑋|𝑌)和𝑃(𝑌)的估计，得到联合概率分布：𝑃(𝑋,𝑌)＝𝑃(𝑌)𝑃(𝑋|𝑌)概率估计方法是极大似然估计或贝叶斯估计。朴素贝叶斯分类器朴素贝叶斯法的基本假设是条件独立性。P(X=x|Y=ck)=Px(1),⋯,x(n)|yk=ςjn=1Px(j)|Y=ckck代表类别，k代表类别个数。这是一个较强的假设。由于这一假设，模型包含的条件概率的数量大为减少，朴素贝叶斯法的学习与预测大为简化。因而朴素贝叶斯法高效，且易于实现。其缺点是分类的性能不一定很高。朴素贝叶斯原理朴素贝叶斯贝叶斯分类器的分类原理贝叶斯定理贝叶斯定理的一个简单例子贝叶斯分类的原理与特点朴素贝叶斯分类高斯朴素贝叶斯分类算法高斯朴素贝叶斯分类算法的原理多项式朴素贝叶斯分类算法伯努利朴素贝叶斯分类算法高斯朴素贝叶斯适用于连续变量，其假定各个特征

在各个类别y下是服从正态分布的，算法内部使用正态分布的概率密度函数来计算概率。公式如下：其中

：在类别为y的样本中，特征

的均值。

：在类别为y的样本中，特征

的标准差。高斯朴素贝叶斯分类算法原理朴素贝叶斯贝叶斯分类器的分类原理贝叶斯定理贝叶斯定理的一个简单例子贝叶斯分类的原理与特点朴素贝叶斯分类高斯朴素贝叶斯分类算法高斯朴素贝叶斯分类算法的原理多项式朴素贝叶斯分类算法伯努利朴素贝叶斯分类算法多项式贝叶斯基于原始的贝叶斯理论，但假设概率分布是服从一个简单多项式分布。多项式分布来源于统计学中的多项式实验，这种实验可以具体解释为：实验包括n次重复试验，每项试验都有不同的可能结果。在任何给定的试验中，特定结果发生的概率是不变的。多项式朴素贝叶斯算法原理测试编号X1:出现正面X2:出现反面001110210朴素贝叶斯贝叶斯分类器的分类原理贝叶斯定理贝叶斯定理的一个简单例子贝叶斯分类的原理与特点朴素贝叶斯分类高斯朴素贝叶斯分类算法高斯朴素贝叶斯分类算法的原理多项式朴素贝叶斯分类算法伯努利朴素贝叶斯分类算法伯努利朴素贝叶斯分类器主要用于文本分类。伯努利朴素贝叶斯,其