贝叶斯决策理论培训和关于风险概念的进一步讨论

2.1Bayes决策的基本概念2.2基于最小错误率的Bayes决策2.3基于最小风险的Bayes决策2.4Bayes决策比较2.5基于二值数据的Bayes分类实现2.6基于最小错误率的Bayes分类实现2.7基于最小风险的Bayes分类实现2.8本章小结2.9课后作业第二章贝叶斯决策理论第二章内容纲要022.1Bayes决策的基本概念第二章贝叶斯决策理论032.1.1Bayes决策所讨论的问题第二章贝叶斯决策理论04

（1）当分类器的设计完成后，对待测样品进行分类，一定能正确分类吗？（2）如果有错分类情况发生，是在何种情况下出现的？错分类的可能性会有多大？2.1Bayes决策的基本概念第二章贝叶斯决策理论052.1Bayes决策的基本概念第二章贝叶斯决策理论06例：某制药厂生产的药品检验识别目的：说明Bayes决策所要解决的问题！！

如图4-1所示，正常药品“＋“，异常药品”-”。识别的目的是要依据X向量将药品划分为两类。2.1Bayes决策的基本概念第二章贝叶斯决策理论07对于图4-1来说，可以用一直线作为分界线，这条直线是关于X的线性方程，称为线性分类器。2.1Bayes决策的基本概念第二章贝叶斯决策理论08问题在于出现模棱两可的情况，如图4-2所示。2.1Bayes决策的基本概念第二章贝叶斯决策理论09

此时，任何决策都存在判错的可能性。即所观察到的某一样品的特征向量X，在M类中又有不止一类可能呈现这一X值，无论直线参数如何设计，总会有错分类发生。2.1Bayes决策的基本概念第二章贝叶斯决策理论10如果以错分类最小为原则分类，则图中A直线可能是最佳的分界线，它使错分类的样品数量为最小。2.1Bayes决策的基本概念第二章贝叶斯决策理论11如果将一个“－“样品错分为”＋“类所造成的损失要比将”＋“分成”－“类严重。偏向使对”－“类样品的错分类进一步减少，可以使总的损失最小，那么B直线就可能比A直线更适合作为分界线。2.1Bayes决策的基本概念第二章贝叶斯决策理论12分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。2.1Bayes决策的基本概念第二章贝叶斯决策理论13错分类往往难以避免，这种可能性可用表示。如何做出合理的判决就是Bayes决策所要讨论的问题。其中最有代表性的是:2.1Bayes决策的基本概念第二章贝叶斯决策理论14基于错误率的Bayes决策基于最小风险的Bayes决策1）基于最小错误率的Bayes决策

指出了机器自动识别出现错分类的条件；错分类的可能性如何计算；如何实现使错分类出现可能性最小。2.1Bayes决策的基本概念第二章贝叶斯决策理论152）基于最小错误风险的Bayes决策

引入了“风险”与“损失”概念，希望做到使风险最小，减小危害大的错分类情况。

2.1Bayes决策的基本概念第二章贝叶斯决策理论16从图4－2可见，错分类有不同情况，两种错误造成的损失不一样，不同的错误分类造成的损失会不相同，后一种错误更可怕，因此就要考虑减小因错分类的危害损失。2.1Bayes决策的基本概念第二章贝叶斯决策理论172.1.2Bayes公式第二章贝叶斯决策理论182.1Bayes决策的基本概念第二章贝叶斯决策理论对于待测样品，Bayes公式可以计算出该样品分属各类别的概率，叫做后验概率。看X属于哪个类的可能性最大，就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。

192.1Bayes决策的基本概念第二章贝叶斯决策理论Bayes公式如下：Bayes公式体现了先验概率、类概率密度函数、后验概率三者之间的关系。20先验概率类条件概率密度函数后验概率2.1Bayes决策的基本概念第二章贝叶斯决策理论1、先验概率先验概率针对M个事件出现的可能性而言，不考虑其他任何条件。212.1Bayes决策的基本概念第二章贝叶斯决策理论1、举例说明：什么是先验概率

？，异常药品数为由统计资料表明总药品数为n，其中正常药品数为则

先验概率!

显然在一般情况下正常药品占比例大，即22由先验概率所提供的信息太少！！！

2.1Bayes决策的基本概念第二章贝叶斯决策理论类条件概率密度函数

是指在已知某类别的特征空间中，出现特征值X的概率密度，

即第

类样品它的属性X是如何分布的。

232、类条件概率密度函数2.1Bayes决策的基本概念第二章贝叶斯决策理论假定只用某一个特征进行分类，即d＝1。并已知这两类的类条件概率函数分布，如图4－3所示。

24概率密度函数

是正常药品的属性分布，概率密度函数是异常药品的属性分布。

2.1Bayes决策的基本概念第二章贝叶斯决策理论如果采用正态密度函数作为类条件概率密度的函数形式，则函数内的参数（如期望和方差）是未知的，那么问题就变成了如何利用大量样品对这些参数进行估计。也就确定了。

25在工程上的许多问题中，统计数据往往满足正态分布规律。正态分布简单，分析简单，参量少，是一种适宜的数学模型。只要估计出这些参数，类条件概率密度函数

2.1Bayes决策的基本概念第二章贝叶斯决策理论单变量正态分布概率密度函数为：为数学期望（均值）

为方差：

262.1Bayes决策的基本概念第二章贝叶斯决策理论多维正态概率密度函数为：为

维特征向量；

为

维均值向量；

为

维协方差矩阵；

是

的逆矩阵；

是

的行列式。

272.1Bayes决策的基本概念第二章贝叶斯决策理论在大多数情况下，类条件概率密度函数可以采用多维变量的正态概率密度函数类模拟，即282.1Bayes决策的基本概念第二章贝叶斯决策理论3、后验概率29后验概率是指呈现状态X时，该样品分属各类别的概率，这个概率值可以作为识别对象归属的依据。2.1Bayes决策的基本概念第二章贝叶斯决策理论由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样品的特征向量为X，而在M类中又有不止一类可能呈现这一X值，它属于各类的概率又是多少呢？

这种可能性可用

表示！！

30后验概率！！2.1Bayes决策的基本概念第二章贝叶斯决策理论是表示在X出现条件下，样品为

类的概率。在这里要弄清楚条件概率这个概念。

312.1Bayes决策的基本概念第二章贝叶斯决策理论4、

和

与

和

的区别

①和是在同一条件X下，比较

和出现的概率。

322.1Bayes决策的基本概念第二章贝叶斯决策理论①如

则可以下结论，在X条件下，事件出现的可能性大。两类情况下，则有

33如图4－4所示。2.1Bayes决策的基本概念第二章贝叶斯决策理论②与

两者之间没有联系，比较两者没有意义。

34都是指各自条件下出现X的可能性，2.2基于最小错误率的Bayes决策

第二章贝叶斯决策理论352.2基于最小错误率的Bayes决策第二章贝叶斯决策理论假定得到一个待识别量的特征X后，每个样品X有个特征，即

通过样品库，计算先验概率

及类条件概率密度函数

，得到呈现状态X时，该样品分属各类别的概率，

36显然这个概率值可以作为识别对象判属的依据。2.2基于最小错误率的Bayes决策第二章贝叶斯决策理论基于最小错误概率的贝叶斯决策就是按后验概率的大小做判决的。这个规则又可以根据类别数目，写成不同的几种等价形式。

37从后验概率分布图4－4可见，在X值小时，药品被判为正常是比较合理的，判断错误的可能性小。第二章贝叶斯决策理论两类问题若每个样品属于

，类中的一类，已知两类的先验概率分别为和，两类的类条件概率密度分别为

和则任给一X，判断X的类别。

382.2基于最小错误率的Bayes决策由Bayes公式可知：由全概率公式可知：其中M为类别。

第二章贝叶斯决策理论对于两类问题所以用后验概率来判别为：392.2基于最小错误率的Bayes决策第二章贝叶斯决策理论判别函数还有另外两种形式，即似然比形式：

其中，式中的在统计学中称为似然比。称为似然比阈值，其对数形式：三种判别函数是一致的。也可以用后验概率来表示判别函数。402.2基于最小错误率的Bayes决策第二章贝叶斯决策理论判别函数的一般形式，如图4－5所示。412.2基于最小错误率的Bayes决策2.多类问题第二章贝叶斯决策理论若样品分为M类

各类的先验概率分别为…各类的类条件概率密度分别为

…就有M个判别函数。422.2基于最小错误率的Bayes决策2.多类问题第二章贝叶斯决策理论在取得一个观察特征X之后，在特征X的条件下，看哪个类的概率最大，应该把X归于概率最大的那个类。432.2基于最小错误率的Bayes决策因此对于任一模式X，可以通过比较各个判别函数来确定X的类别。其中，

把X代入M个判别函数中，看哪个判别函数最大，就把X归于这一类。第二章贝叶斯决策理论判别函数的对数形式为：442.2基于最小错误率的Bayes决策其中，

第二章贝叶斯决策理论在大多数情况下，类条件概率密度可以采用多维变量的正态概率密度函数来模拟。452.2基于最小错误率的Bayes决策此时正态分布的Bayes分类器判别函数为：第二章贝叶斯决策理论使用什么样的决策原则可以做到错误率最小呢？然后根据后验概率最大的类来分类。462.2基于最小错误率的Bayes决策这个条件是要知道一个样品X分属不同类别的可能性，表示成后验概率要通过Bayes公式从先验概率与类分布函数来计算。

第二章贝叶斯决策理论基于最小错误率的Bayes决策根据：如果

则注意：由于统计判别方法是基于统计参数做出决策，因此错误率也只能从平均的意义上讲，表示为在观测值可能取值的整个范围内错误率的均值。472.2基于最小错误率的Bayes决策3.最小错误率证明第二章贝叶斯决策理论为了直观，假设X只有一个特征，

，于是

，

都是一元函数。

将整个特征空间分为不相交的两个部分和当模式落在内判它属于

类，

求分类器相当于求

和

的界线。

482.2基于最小错误率的Bayes决策第二章贝叶斯决策理论1)第一类判错

如果X原属于

类，却落在

内，称为第一类判错。492.2基于最小错误率的Bayes决策错误率为：第二章贝叶斯决策理论2)第二类判错如果X原属于

类，却落在

内，称为第二类判错。502.2基于最小错误率的Bayes决策错误率为：第二章贝叶斯决策理论平均错误率

可表示成：

因此，错误率为图中两个划线部分之和，如图4－6所示。512.2基于最小错误率的Bayes决策第二章贝叶斯决策理论表明每个样品所属类别都使这时总的错误率为最小。522.2基于最小错误率的Bayes决策如果

则Bayes决策公式！！！为最大，实际上使X判错的可能性达到最小，按Bayes决策分类时，

2.3基于最小风险的

Bayes决策

第二章贝叶斯决策理论53第二章贝叶斯决策理论542.3基于最小风险的Bayes决策可见使错误率最小并不一定是最佳选择!!第二章贝叶斯决策理论实践中，从根据不同性质的错误会引起不同程度的损失考虑出发,宁肯扩大一些总的错误率，但也要使总的损失减少。552.3基于最小风险的Bayes决策这会引起一个与损失有关联的概率——风险。在做出决策时，要考虑所承担的风险。基于最小风险的Bayes决策规则正是为了体现这一点而产生的!

这时直线B的划分为最实用!第二章贝叶斯决策理论将做出判决的依据，从单纯考虑后验概率最大值，改为对该观测值X条件下各状态后验概率求加权和的方式：其中，

代表将X判为类的决策；

表示观测样品X实属于，由于采用

决策而被判为

时所造成的损失。

则表示了观测值X被判为

类时损失的均值。

562.3基于最小风险的Bayes决策第二章贝叶斯决策理论损失函数!

也可以定义

与

是指正确判断也可能有损失。

572.3基于最小风险的Bayes决策为了使式子书写更方便，

第二章贝叶斯决策理论把X判作

引进的损失应该与

以及都有关，哪一个占主要成分，则取决于与

。因此变成了一个加权和。如表4－1所示。582.3基于最小风险的Bayes决策第二章贝叶斯决策理论此时做出哪一种决策就要看是

小还是

小了，

这就是基于最小风险的Bayes决策的基本出发点。

如果希望尽可能避免将某状态

错判为状态

，则可将相应的值选择得大些，以表明损失的严重性。加权和

用来衡量观测样品X被判为状态所需承担的风险。而究竟将X判为何类则应依据所有中的最小值，即最小风险来决定。592.3基于最小风险的Bayes决策第二章贝叶斯决策理论一般

为了避免将异常药品判为正常的严重损失，取则会使机会多。根据Bayes最小风险分类法，表明正常药品错判为异常的可能性大于异常药品错判为正常的可能性，损失减少。602.3基于最小风险的Bayes决策第二章贝叶斯决策理论一些确切的定义：①自然状态与状态空间。则是由所有自然状态组成的空间，

。而状态间612.3基于最小风险的Bayes决策其中自然状态是指待识别对象的类别，第二章贝叶斯决策理论②决策与决策空间。在决策论中，对分类问题所做的判决，称之为决策，由所有决策组成的空间称为决策空间。决策不仅包括根据观测值将样品归到哪一类别，还可包括其他决策，如“拒绝”等，在不考虑“拒绝”情况下，决策空间内决策总数等于类别数M，表示成

622.3基于最小风险的Bayes决策第二章贝叶斯决策理论③损失函数

它明确表示本身属于自然状态

，做出决策

使其归属于

所造成的损失。

632.3基于最小风险的Bayes决策，第二章贝叶斯决策理论④观测值X条件下的期望损失

，

也称为条件风险。

，⑤最小风险Bayes决策规则可写成：这里计算的是最小值。642.3基于最小风险的Bayes决策第二章贝叶斯决策理论对于实际问题，最小风险Bayes决策可按下列步骤进行。

①已知

，，

X的情况下，根据Bayes公式计算出后验概率：

652.3基于最小风险的Bayes决策及给出待识别第二章贝叶斯决策理论②利用计算出的后验概念及决策表，按下式计算出采取决策。

的条件风险，③对②中得到的M个条件风险值，

进行比较，

找出使条件风险最小的决策

，则

就是最小风险Bayes决策。

就是待识别样品X的归类。662.3基于最小风险的Bayes决策，，2.4Bayes决策比较

第二章贝叶斯决策理论672.4Bayes决策比较第二章贝叶斯决策理论1、最小错误率与最小风险的Bayes决策比较式中假定对M类只有M个决策，即不考虑“拒绝”等其他情况。而对于任何错误决策，其损失均为1。

）时没有损失，这样定义的损失函数称为0－1损失函数。68最小错误率与最小风险的Bayes决策之间的关系：设损失函数为：由式表明，当做出正确决策（即第二章贝叶斯决策理论692.4Bayes决策比较在0－1损失函数情况下，基于最小风险的Bayes决策结果也就是基于最小错误概率的Bayes决策结果。

第二章贝叶斯决策理论实际上，也是将X判为时的错误概率，

，因此当最大时，基于最小错误概率的Bayes决策结果将该样品判归为类，而此时

风险也是最小的。因此它与基于最小错误率的Bayes决策的702.4Bayes决策比较最小，判据是一样的。2.4Bayes决策比较第二章贝叶斯决策理论2、实例比较71某制药厂生产产品检测分两种情况：正常(）和异常（

），

两类的先验概率分别为

，。

现有一待测产品呈现出状态X，由类条件概率密度分布曲线查得，，

（1）试对该产品X按最小错误率的Bayes决策进行分类。若在上述条件基础之上，已知

，，，，

表示

（3）对这两种分类结果进行比较。的简写，（2）按最小风险Bayes决策进行分类。第二章贝叶斯决策理论

从上述讨论可以看出，正确制订损失函数值，是基于最小风险的Bayes决策方法在实际应用中的一个关键问题。在实际中列出合适的决策表并不是一件容易的事，需根据所研究的具体问题，分析错误决策造成损失的严重程度。722.4Bayes决策比较2.5基于二值数据的Bayes分类实现

第二章贝叶斯决策理论732.5基于二值数据的Bayes分类实现第二章贝叶斯决策理论1、理论基础74所谓二值数据，即各样品的每一特征只取数值“1”或“0”。第二章贝叶斯决策理论2、实现步骤751）计算先验概率；2）计算类条件概率；3）应用Bayes公式求后验概率；4）后验概率的最大值的类别（0～9）就是手写数字的所属类别。2.5基于二值数据的Bayes分类实现2.6基于最小错误率的Bayes分类实现

第二章贝叶斯决策理论76第二章贝叶斯决策理论1、理论总结77

错误率最小的Bayes分类器设计思想是寻找一种划分方式，使“错判”率最小。1）两类问题2）多类问题2.6基于最小错误率的Bayes分类实现第二章贝叶斯决策理论2、实现步骤781）求出每一类手写数字样品的均值2）求每一类的协方差矩阵3）计算出每一类的协方差矩阵的逆矩阵以及协方差矩阵的行列式4）求出每一类的先验概率5）将各个数值代入判别函数6）判别函数最大值所对应类别就是手写数字的类别2.6基于最小错误率的Bayes分类实现2.7基于最小风险的Bayes分类实现

第二章贝叶斯决策理论79第二章贝叶斯决策理论802.7基于最小风险的Bayes分类实现待测样品第二章贝叶斯决策理论1、实现步骤811）求出每一类手写数字样品的均值2）求每一类的协方差矩阵3）计算出每一类的协方差矩阵的逆矩阵以及协方差矩阵的行列式4）求出每一类的先验概率5）计算后验概率6）定义损失数组为loss[10][10]7）计算每一类的损失risk[i]8）找出最小损失所对应的类，该类即是待测样品所属的类别。2.7基于最小风险的Bayes分类实现第二章贝叶斯决策理论826）定义损失数组为loss[10][10]2.7基于最小风险的Bayes分类实现第二章贝叶斯决策理论837）计算每一类的损失risk[i]2.7基于最小风险的Bayes分类实现第二章贝叶斯决策理论2、效果图842.7基于最小风险的Bayes分类实现2.8本章小结第二章贝叶斯决策理论85第二章贝叶斯决策理论使用Bayes决策需要首先对特征空间中的各类样品的分布清楚，得到训练集样品总体的分布知识。863.一旦待测样品的特征向量值X已知，就可以确定X对各类的后验概率，也就可按相应的准则分类。这种方法则称为参数判别方法。2.8本章小结2.如能从训练样品估计近似的正态分布，可以按Bayes决策方法对分类器进行设计，包括各类先验概率及类条件概率密度函数，计算出样品的后验概率，并以此作为产生判别函数的必要数据，设计出相应的判别函数与决策面。一、方法、概念总结第二章贝叶斯决策理论4.如果这种分布可以用正态分布等描述，那么决策域的判别函数与分界面方程就可用函数的形式确定下来。所以判别函数等的确定取决于样本统计分布的有关知识。参数分类判别方法一般只能用在有统计知识的场合，或能利用训练样本估计出参数的场合。875.Bayes分类器可以用一般的形式给出数学上严格的分析以证明：在给出某些变量的条件下，能使分类所造成的平均损失最小，或分类决策的风险最小。因此能计算出分类器的极限性能。Bayes决策采用分类器中最重要的指标——错误率作为产生判别函数和决策面的依据，给出了最一般情况下适用的“最优”分类器设计方法，对各种不同的分类器设计技术在理论上都有指导意义。2.8本章小结第二章贝叶斯决策理论分类识别常常会出现错分的情况，本章讨论了模式识别中经常涉及的一些问题，如在何种情况下出现错分类，错分类的可能性会有多大等，用概率论的方法分析了造成错分类的原因和分类出错的根源，并说明与哪些因素有关。介绍了Bayes决策的基本概念、Bayes公式、基于最小错误率的Bayes决策、基于最小风险的Bayes决策；并介绍了基于二值数据的Bayes分类实现方法、基于最小错误率的Bayes分类实现方法和基于最小风险的Bayes分类实现方法。882.8本章小结二、内容总结第一章绪论2.9课后作业P432.10题89第十四章关于风险概念的进一步讨论

本章我们将指出上述风险的定义中的问题，提出风险的各种不同的定义方法，研究投资者对待风险的态度，进一步讨论回报率与风险的关系。这些讨论，对于把握难以捉摸的风险概念是至关重要的。齐寅峰公司财务学经济科学出版社第一节风险定义的问题一、“E－σ”分析