统计决策理论

1、统计决策理论1关于统计学的一个笑话：关于统计学的一个笑话： 有一个从没带过小孩的统计学家，因为妻子出门勉强答应照看三个年幼好动的孩子。妻子回家时，他交出一张纸条，写的是： “擦眼泪11次；系鞋带15次；给每个孩子吹玩具气球各5次,累计15次；每个气球的平均寿命10秒钟；警告孩子不要横穿马路26次；孩子坚持要穿马路26次；我还要再过这样的星期六0次”。 统计学真的这样呆板吗？仅仅收集数据，整理分析，累加平均 2 统计学以数据为研究内容，但仅仅收集数据，决不构成统计学研究的全部。 下面介绍几种最常用、也是最基本的统计决策方法。这些方法是以后各种模式识别方法的基础。3贝叶斯决策理论方法是统计模式识别

2、中的一个基本方贝叶斯决策理论方法是统计模式识别中的一个基本方法，用这种方法进行分类时要求满足以下两个条件：法，用这种方法进行分类时要求满足以下两个条件：（1 1）各类别总体的概率分布是已知的；）各类别总体的概率分布是已知的；（2 2）要决策的类别数是一定的。）要决策的类别数是一定的。在连续的条件下，假设要识别的对象有在连续的条件下，假设要识别的对象有d种特征测量种特征测量值值 ，每一种特征都是一个随机变量，因此，每一种特征都是一个随机变量，因此组成组成d维随机向量维随机向量 , d种特征的所有的种特征的所有的取值范围构成了取值范围构成了d维特征空间。维特征空间。 12,.dx xx12(,.)

3、Tdx xxx2.1 Bayes定理定理4u贝叶斯决策理论方法所讨论的问题是：已知总共有c个类别及各类别i=1,2,c的先验概率P(i)及类条件概率密度函数p(x|i)已知的条件下，如何对某一样本按其特征向量分类的问题。u由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样本的特征向量为X，而在c类中又有不止一类可能呈现这一X值，这种可能性可用P(i|X)表示。如何作出合理的判决就是贝叶斯决策理论所要讨论的问题。5 先验概率预先已知的或者可以估计的模式识别系统位于某种类型的概率，即根据大量统计确定某类事物出现的比例。如我国理工科大学男女生比例大约为8:2，则在这类学校一个学

4、生是男生的先验概率为0.8，而为女生的概率是0.2，两个概率之和为1。6类条件概率密度函数类条件概率密度函数u系统位于某种类型条件下模式样本出现的概率密度分布函数。u男女生比例是男生与女生这两类事物之间的关系，而男生男女生比例是男生与女生这两类事物之间的关系，而男生高度的分布则与女生的分布无关。为了强调是同一类事物内高度的分布则与女生的分布无关。为了强调是同一类事物内部，因此这种分布密度函数往往表示成条件概率的形式。部，因此这种分布密度函数往往表示成条件概率的形式。u例如例如X表示某一个学生的特征向量，则男生的类条件概率表示某一个学生的特征向量，则男生的类条件概率密度表示成密度表示成P(X|男

5、生男生)，女生的表示成，女生的表示成P(X|女生女生)，这两者之，这两者之间没有任何关系，可为从间没有任何关系，可为从01之间的任意值。之间的任意值。7 后验概率后验概率u一个具体样本属于某种类别的概率。一个具体样本属于某种类别的概率。u例如一个学生用特征向量例如一个学生用特征向量X表示，它是男性或女性表示，它是男性或女性的概率表示成的概率表示成P(男生男生|X)和和P(女生女生|X)，这就是后验，这就是后验概率。概率。u由于一个学生只可能为两个性别之一，因此有由于一个学生只可能为两个性别之一，因此有P(男男生生|X)+P(女生女生|X)=1，这一点是与类分布密度函数，这一点是与类分布密度函数

6、不同的。不同的。u后验概率与先验概率也不同，后验概率涉及一个具后验概率与先验概率也不同，后验概率涉及一个具体事物，而先验概率是泛指一类事物，体事物，而先验概率是泛指一类事物，因此因此 P(男男生生|X)和和P(男生男生)是两个不同的概念。是两个不同的概念。8贝叶斯公式u两个事物两个事物X与与w联合出现的概率称为联合出现的概率称为联合概率联合概率，可，可写成写成P(X，w)，它们又可与条件概率联系起来，即，它们又可与条件概率联系起来，即P(X，w)=P(X|w)P(w)=P(w|X)P(X)，这就是，这就是贝叶斯贝叶斯公式公式。u如果将上式中各个项与先验概率，类条件概率密如果将上式中各个项与先验

7、概率，类条件概率密度函数以及后验概率联合起来，可以找到利用先验度函数以及后验概率联合起来，可以找到利用先验概率，类条件概率分布密度函数计算后验概率的方概率，类条件概率分布密度函数计算后验概率的方法。法。92.1 Bayes定理定理 假设每个要识别的细胞已作过预处理，并抽取出假设每个要识别的细胞已作过预处理，并抽取出了了d个特征描述量，用一个个特征描述量，用一个d维的特征向量维的特征向量X表示，表示，识别的目的是要依据该识别的目的是要依据该X向量将细胞划分为正常向量将细胞划分为正常细胞或者异常细胞细胞或者异常细胞。这里我们用。这里我们用表示是正常细表示是正常细胞，而胞，而则属于异常细胞。则属于异

8、常细胞。 下面我们从一个两类情况的例子下面我们从一个两类情况的例子癌细胞识别出发来癌细胞识别出发来讨论，然后推广到一般情况。讨论，然后推广到一般情况。102.1 Bayes定理定理根据医院细胞病理检查的大量统计资料可以对某一地区正根据医院细胞病理检查的大量统计资料可以对某一地区正常细胞和异常细胞出现的比例作出估计，即已知先验概率常细胞和异常细胞出现的比例作出估计，即已知先验概率P(1)和和P(2) ，P(1)P(2)1。显然一般情况下显然一般情况下P(1)P(2)，因此如果不仔细观察具体，因此如果不仔细观察具体的细胞化验值，该细胞是正常细胞的判决，在统计的意义上的细胞化验值，该细胞是正常细胞的

9、判决，在统计的意义上来说，错判可能性比判为异常细胞时小。来说，错判可能性比判为异常细胞时小。但仅按先验概率来决策，就会把所有细胞都划归为正常细但仅按先验概率来决策，就会把所有细胞都划归为正常细胞，并没有达到将正常细胞与异常细胞区分开的目的。胞，并没有达到将正常细胞与异常细胞区分开的目的。这表这表明由先验概率所提供的信息太少。明由先验概率所提供的信息太少。11 为此必须利用抽取到的为此必须利用抽取到的d维观测向量。为简单起见，假定维观测向量。为简单起见，假定d=1，并已知两类的类条件概率密度函数分布，如图所示，其，并已知两类的类条件概率密度函数分布，如图所示，其中中P(x|1)是正常细胞的属性分

10、布，是正常细胞的属性分布，P(x|2)是异常细胞的属性是异常细胞的属性分布。分布。类条件概率密度图12由由Bayes公式得到：公式得到： 式中式中 于是由先验概率于是由先验概率 转化为后验概率转化为后验概率 P(j|x) 。 如果对待分类模式的特征我们得到一个观察值如果对待分类模式的特征我们得到一个观察值x，经上式计，经上式计算出结果算出结果 ，则判决，则判决X属于属于 ，反之，属，反之，属于于 。()()()( )jjjp xPPxp x1( )() ()cjjip xp xP()jP12() ()PxPx12132.2 Bayes决策决策14 例1：在细胞的化验中，要区分正常和异常的两种类

11、型，分别用w1和w2表示，已知p(w1)=0.85, p(w2)=0.15,现有一待测细胞，其观测值为X，从类条件概率密度分析曲线上查得p(x/w1)=0.15, p(x/w2)=0.45,试对该细胞进行分类。2.2 Bayes决策决策15所以这次化验的细胞被判断为正常类型细胞。162.2 Bayes决策决策2.2.2 最小风险Bayes决策最小风险Bayes决策是考虑各种错误造成损失不同而提出的一种决策规则。例如，通过化验判断细胞是不是癌细胞，可能做出两种错误判决：一是把癌细胞错判为正常细胞；一种是把正常细胞错判为癌细胞。这两种错误判决带来的风险显然是不同的。1718一般决策表192021

12、例2：在细胞化验中要区分正常的和异常的两种类型，分别是分别用w1和w2表示，要得到的判决也是两种，分别为a1和a2，需要汇集专家们的知识和经验，针对具体问题进行深入的分析，了解各种判决可能造成的风险或损失。细胞识别中的风险矩阵22解：根据风险矩阵表所以这次化验的细胞被判断为异常类型细胞。232.3 分类器的设计分类器的设计242.3 分类器的设计分类器的设计按最小错误率作决策时，决策规则的形式为 则相应的则相应的判别函数判别函数为：为： gi(X)P(i|X), i=1,2而而决策面方程决策面方程则可写成则可写成 g1(X)g2(X)决策规则也可以写成用判别函数表示的形式决策规则也可以写成用判别函数表示的形式 如果如果gi(X)gj(X) i,j