贝叶斯决策规则课件

1、Ch 02. 贝叶斯决策论符号表示表示类别的随机变量类别标记例如： ：鲑鱼； ：鲈鱼类别先验概率当所有类别互斥并且完备的情况下类条件概率密度函数进行观察之前问题给定所有可能类别的先验概率，在不进行观察的情况下，预测下一个可能出现的模式的类别最佳决策规则在没有对新出现的模式进行任何观察情况下，该决策规则造成错误的概率最小，因此为最优决策规则；如果先验概率不变，则每次的预测均相同。如果有更多的信息，是否可以做出更好的预测？如果 ，则预测下一个模式为 在类别为 的情况下，观察到特征 的概率为可用于分类的特征x在类别不同的情况下，其概率分布应有所不同进行观察之后目标：在观察到 的情况下，类别为 的概率

2、判决规则从样本中观察到 的情况下，如果 ，则预测该模式为 根据观察到的特征做出预测利用先验概率（观察到x之前）计算后验概率（观察到x之后）贝叶斯公式可被视为常量约掉！贝叶斯公式已知未知贝叶斯公式贝叶斯决策的特例特例1均匀先验概率：决策仅仅依赖于从样本中观察到 的情况下，如果 ，则预测该模式为 贝叶斯决策的特例特例2相同的类条件概率密度函数：决策仅仅依赖于先验概率如果 ，则预测模式为 例子（1）类条件概率密度函数图后验概率图例子（2）问题有某种医学测试方法，在患有某种癌症的病人身上测试，返回阳性的概率为98%，在没有这种癌症的病人身上测试，返回阴性的概率为97%。经专家统计，所有人口中患这种癌症

3、的概率为约0.8%。请问，如果某人的检测结果为阳性，他到底有没有得这种癌症？解答已知计算由于 ，根据贝叶斯决策规则，该病人没有得癌症 如何确定概率？应用贝叶斯决策规则，需已知如下概率对于某个具体问题，常常需要通过实验统计相对频率，或者利用概率密度估计技术来确定如上概率例子问题：在某大学校园内，根据轿车车身高度判断其价格是否超过5万美元？C1: price $50KC2: price $50K）中共有221个样本，其中，0.95x1.05（离散化后即x=1.0）的样本有46个样本，则:例子车身高度为1米的轿车价格是否高于5万美元？结论：低于5万美元贝叶斯决策的最优性从最小化误差概率的意义上讲，贝

4、叶斯决策是最优决策先来看两类情况条件误差概率平均误差概率在贝叶斯决策中，对每一个x，P(error | x)都能被最小化，因此P(error)被最小化。贝叶斯决策的最优性对问题作如下泛化：允许多类情况；允许其他行为而不仅仅是判定类别；引入更一般的损失函数来替代误差概率。损失函数当真实类别为 时，采取行动 所带来的损失允许某种分类错误的代价高于其他分类错误条件风险（期望损失）当观察到x的时候，采取行动 造成的期望损失贝叶斯决策的最优性判决规则函数 将观察到的特征x映射到应采取的行动的函数总风险某个判决规则的期望损失最优决策使得总风险最低的判决规则对任意给定的特征x，如果判决规则 选择的行动能够最

5、小化条件风险 ，那么总风险将最小化贝叶斯决策规则：对所有i=1,2,a，计算条件风险 ，选择行动 使得条件风险 最小化贝叶斯决策得到的最小总风险被称为贝叶斯风险，表示为R*两类分类问题行动 ：判决为类别 ：判决为类别损失 条件风险最小风险决策规则如果 ，则模式为 两类分类问题等价的最小风险决策规则通常情况下，分类错误的损失要大于正确的损失（正确时往往无损失）似然比与x无关，对某个问题来讲，是可预先计算的常量两类分类问题基于似然比的贝叶斯决策规则如果 ，则模式为否则，模式为 例子不同的损失函数决定了不同的判决阈值 和 ：“0-1”损失 ：每一类的判决域可能是不连续的损失函数的特例：“0-1损失”

6、“0-1”损失（对称损失）函数决策正确时无损失，任何一种错误的损失都等于一个单位，即所有误判都是等价的“0-1”损失的条件风险该条件风险即误差率（error rate）最小化条件风险 等于最大化后验概率最小误差率分类最小误差率分类是采用“0-1”损失函数时的最小风险分类两类情况下的最小误差率分类判决规则多类情况下的最小误差率分类判决规则如果 ，则模式为否则，模式为 如果 ，则预测该模式为 极小化极大准则最小风险分类器依赖于先验概率在先验概率未知的情况下，如何设计风险较小的分类器？使先验概率取任何一种值时所引起的总风险的最坏情况尽可能小最小化最大可能的总风险极小化极大（Minimax）准则极小化

7、极大准则总风险对两类问题来讲：代入 以及 ，可重写总风险公式：R与 成线性关系选择使 的 和 ，则总风险与 无关，此时的总风险称为极小化极大风险极小化极大准则一旦 和 确定，为常数极小化极大准则极小化极大风险通过交换两种类别，极小化极大风险也可表示为例子极小化极大风险（不依赖于先验概率）回顾贝叶斯公式从最小化误差概率的意义上讲，贝叶斯决策是最优决策回顾对问题作如下泛化：允许多类情况；允许其他行为而不仅仅是判定类别；引入更一般的损失函数来替代误差概率。损失函数当真实类别为 时，采取行动 所带来的损失允许某种分类错误的代价高于其他分类错误条件风险（期望损失）当观察到x的时候，采取行动 造成的期望损

8、失回顾判决规则函数 将观察到的特征x映射到应采取的行动的函数总风险某个判决规则的期望损失最优决策使得总风险最低的判决规则对任意给定的特征x，如果判决规则 选择的行动能够最小化条件风险 ，那么总风险将最小化贝叶斯决策规则：对所有i=1,2,a，计算条件风险 ，选择行动 使得条件风险 最小化贝叶斯决策得到的最小总风险被称为贝叶斯风险，表示为R*回顾基于似然比的贝叶斯决策规则在先验概率未知的情况下，如何设计风险较小的分类器？使先验概率取任何一种值时所引起的总风险的最坏情况尽可能小最小化最大可能的总风险极小化极大（Minimax）准则如果 ，则模式为否则，模式为 判别函数分类器最常用的表述方式为判别函

9、数 ，每个类别对应一个判别函数基于判别函数的判决规则如果 ，则模式为判别函数基于最小总风险的贝叶斯分类器 基于最小误差概率的贝叶斯分类器 表达同样的判决规则可能采用不同的判别函数，只要满足如下条件：用 替换 ，其中 为单调递增函数例如 ，其中k为正数常数 ，其中k为任意常数 判别函数两类情况下仅需要一个判别函数判决规则例如 如果 ，则模式为 ，否则为判决区域和判决边界判决区域判决区域 是特征空间中的一个子空间，判决规则将所有落入 的样本x分类为类别判决边界判决边界是特征空间中划分判决区域的（超）平面在判决边界上，通常有两类或多类的判别函数值相等多元高斯密度函数d-维高斯（正态）密度函数 为d维

10、均值向量 为 的协方差矩阵，通常为对称半正定矩阵表示为取log正态分布的判别函数类条件概率密度函数基于最小误差概率分类的判别函数可忽略的常量特例情况1：均匀先验概率情况1a：均匀先验概率，并且各特征统计独立所有特征具有相同的方差平方欧几里德距离特例情况1：均匀先验概率情况1b：均匀先验概率，并且各类数据具有相同的协方差矩阵平方Mahalanobis距离（马氏距离）情况1a和1b可被视为最小距离分类器，即将x划分为最近的均值 所属的类别特例情况2：对所有i均相同令 ，则得到线性判别函数采用线性判别函数的分类器称为线性分类器（线性机器）第i个方向上的阈值（偏置）特例情况2：一个线性机器的判决面是一

11、些超平面，其中每一个超平面是由具有最大后验概率的两种类别的判别函数相等确定的：该超平面通过x0，并且垂直于 ，即两类均值点之间的连线x0特例R1R2R3特例回到情况1a：均匀先验概率，并且判别函数仅与各类均值有关判决面判决面为连接两类均值点连线的垂直中分线特例回到情况1a：均匀先验概率，并且特例如果先验概率不同？一维情况特例如果先验概率不同？二维情况特例如果先验概率不同？三维情况特例情况3：对所有i均相同特例情况3：判决面由如下形式的超平面组成x0该超平面通过x0，并且一般情况下不垂直于特例回到情况1b：均匀先验概率，并且判决面判决面通过连接两类均值点连线的中点特例回到情况1b：均匀先验概率，并且特例如果先验概率不同？一般情况任意高斯密度函数令 ， ，则得到二次型判别函数一般情况任意高斯密度函数两类情况下，判决面为超二次曲面一般情况任意高斯密度