数据分析与数据挖掘课件 【ch10】贝叶斯分类

第十章贝叶斯分类数据分析与数据挖掘01连续属性贝叶斯分类器20%30%40%50%分类问题是根据给定对象的若干属性(输入属性)来判别该对象所属的类别(输出属性)。表示分类的输出属性也常称分类属性，它是无量度的离散值。

当只有一个输入属性时，可使用<x,①>表示一个样本，x表示输入属性，φ表示分类属性。如果φ只有两种可能取值，则称作二分分类(BinaryClassification),常简称二分类；如果a有多个可能取值，则称多重分类(MultipleClassification),常简称多分类。单个连续属性贝叶斯分类如图10.1(a)所示，将p(x|)称作类条件概率密度(Classconditionalprobabilitydensity),即对应着类别状态w下x的概率密度函数。单个连续属性贝叶斯分类多个连续属性的最小总风险决策当有多个输入属性时，令X=x,x₂,…,xg,其中，g表示输入属性个数，那么贝叶斯公式可以表示为式(10.4)。式(10.4)中，分母p(X)对每个类别的条件概率大小在计算上都相同，在分类判别时不起作用，所以只需计算分子。多个连续属性的最小平均误差率决策02正态概率分布下的贝叶斯分类器分类器是完成对给定对象输入特征X判别对应的类别标记四。分类器的功能是指使用映射描述，即建立X到φ的映射：X→φ。分类器的判别函数表示形式正态分布是最常见的一种分布形式。2.1.2节给出的单变量正态分布，X～N(μ,σ²),其概率分布p(X)如式(10.14)所示，其中，expO表示求自然数e的指数。正态分布下的贝叶斯判别函数正态分布下的贝叶斯判别举例举例，二分类样本集中输入属性服从多元正态分布，q类中样本{(2,6),(3,4),(3,9),(4,5),(4,7)},a₂类中样本{(1,3),(2,1),(2,4),(3,3)}。绘制样本2个输入属性的散点图，如图10.2(a)所示。03离散属性贝叶斯分类器贝叶斯分类样本的输入属性既可以是连续属性，如10.1节和10.2节中所述，也可以是离散属性。例如，性别可以分“男、女”;年龄可以分“老、中、青”;信誉可以分“优、良、中、差”;文本分类中常使用术语(特征词)作为特征。离散属性贝叶斯模型贝叶斯分类器的结构由类条件概率P(X|o₁)和先验概率P(oy)确定。要想贝叶斯分类器更好地工作，就要涉及两个重要问题。①确定特征集，②确定概率值。朴素贝叶斯分类器04朴素贝叶斯文本分类和TAN贝叶斯模型朴素贝叶斯文本分类器还有一种应用于文本分类或类似文本分类的特征表示形式，即当采用词袋特征做文本分类时，由于各文本的词长度不同，因此每个对象的输入特征数不同。例如，有以下5个文本：朴素贝叶斯文本分类器令D表示一个文本，其中包含m(D)个术语，分别为W,W₂,…,Wm(D)。由于各文本中术语的个数可能不同，故使用m(D)表示D文本中术语的个数。文本分为c类，分别为，…,0。在朴素贝叶斯分类模型中，假设各个特征相互独立，将特征视作证据，则推理过程中证据只影响分类结论，而证据之间相互独立，如图10.3(a)所示。TAN贝叶斯分类模型TAN分类器的工作大致分为5个主要步骤：①评价属性特征依赖关系(约束关系);②抽取部分主要依赖关系构建生成树；③增加分类属性节点扩展生成树；④扩展生成树就是TAN贝叶斯网，基于训练集训练TAN贝叶斯网；⑤TAN贝叶斯分类预测。TAN贝叶斯分类模型

扩展的最大权重跨度树就是TAN贝叶斯网。例如，图10.5(c)经过拓扑变形以10.5(d)的形式展示，很直观地展示了TAN贝叶斯网。TAN贝叶斯分类模型05贝叶斯分类器中的参数估计与非参数估计贝叶斯分类器中的参数估计设训练样本集D中有n个样本X₁,X₂,…,X。设θ向量为带估计参数，其有h个分量，即θ=[9,…,0]。由于各样本实例为独立抽取，故满足式(10.59)。非参数估计不对数据分布做假设，能处理任意的概率分布。作为许多非参数估计的基础，一个向量X落在区域R中的概率如式(10.66)所示。非参数估计06本章小结本章小结贝叶斯分类器将后验概率判别转换为计算先验概率和类条件概率做判别。贝叶斯分类器分为最小误差率贝叶斯分类和最小风险贝叶斯分类。在