贝叶斯决策理论

贝叶斯决策理论

大纲

•基于最小错误率的贝叶斯判别法

•基于贝叶斯公式的几种判别规则

•正态分布模式的统计决策

2

第二章贝叶斯决策理论

模式识别的分类问题就是根据待识客体的特征

向量值及其它约束条件将其分到各个类别中去。

贝叶斯决策理论是处理模式分类问题的基本理

•^之-o

贝叶斯分类器在统计模式识别中被称为最优分

类器。

贝叶斯分类器分类器必须满足下列两个先决条

件：

1,要决策分类的类别数是一定的；

2,类先验概率和类条件概率已知。

♦样本(sample)xeR'1

♦状态(state)第一类：co=ci\,第二类：co=co,

♦先验概率(ap/7。”'probaMtyorprior)P(coi),P(g)

♦样本分布密度(sampledistributiondensity)p(x)

(总体概率密度)

3

♦样本(sample)xeR'1

♦状态(state)第一类：(0=(0^,第二类：(o=(oz

♦先验概率(aprioriprobablityorprior)l\o)l),l\coz

♦样本分布密度(sampledistributiondensity)p(x)

(总体概率密度)

♦类条件概率密度(class-cond让ionalprobablitydensity)

p(x|。]),p(xIco2)

♦后验概率(aposterioriprobablityorposterior)

P(01[x),P®|x)

♦错误概率(probablityoferror)

fP(o,|x)ifxisassiencdio?

P(e|x)=<

[/>(?|x)ifxisassignedtoco2

♦平均错误率(averageprobablityoferror)

.(e)=jP(e\x)p(x)dx

♦正确率(proabalityofcorrectness)P(c)

P(e)=1-P(c)

4

基于最小错误率的贝叶斯判别法

minP(e)=[P(e\x)p(x)dx

因为P(e|.v)>0,p(x)>0

minP(e\x)forall.v

P(ct)2|x)ifassign,ve例

而P(e|x)=<

P(@i|x)ifassign.ve(o2

>xe(o,

ifPico||x)P(coy|x),assign

<-x7

基于最小错误率的贝叶斯判别法

♦：♦Bayes分类器一最优分类器、最佳分类器

厂一、两类问题

。例如：细胞识别问题

❖31正常细胞，32异常细胞

❖某地区，经大量统计获先验概率尸（3］）,〃（32）

❖若取该地区某人细胞X属何种细胞，只能由

❖先验概率决定。

P⑷）〉玖处）”？〕这种分类器决策无意义

PQ）<XGCD2J

8

5

♦:♦对X再观察：有细胞光密度特征，

其类条件概率密度：

P33（）1=1,2,...o如图所示

利用贝叶斯公式：

P(C0,J)=P(X0,)P(CO,)£P(X*)P(COj),(也称为后验概率)

P3k)

P(69/x)P(外力

通过对细胞的再观察，就可以1.0

把先验概率转化为后验概率，利用0.8

0.6

后验概率可对未知细胞X进行识别。0.4

0.2

[若P(①㈤>尸(@办则xe(Of

后验概率分布

[若尸⑷人)<P(电£则xea)2

9

(1)IfP(ct).|T)=maxP{co\x),thenxea)

j=L2Jii

(2)Ifp(.v|co)P(co)=maxp(x\co)P(co),then.re(o

ily=i,2tj

c"ICO.)>P(%),

(3)Ifl(x)=------------------,then.re<

p(.r|<y2)<P(，"i)[a%

(4)h(x)=-ln[/(x)]=-Inp(x|<y()+hip(x\co-,)

,<,P((o.)<y.

If/7(.v)In-------,then.ve<

>ip(6t>,))m

10

6

3、决策面方程：

X为一维时，决策面为一点，X为二维时决策面为曲线，X为三维

时，决策面为曲面，X大于三维时决策面为超曲面。

♦:,例：某地区细胞识别；P(31)=0.9,P(32)=0.1未知细胞X,先从

类条件概率密度分布曲线上查到P33,)=0.2,P332尸0.4

呼解：该细胞属于正常细胞还是异常细胞，先计算后验概率：

尸("例)-02x0.9=0.8

»P(x阳)P⑷)°2X0-9+04X(M

户।

P((y2/v)=l-P(^1/t)=0.182

因为P(fy/x)〉PM/x),xe电属正常细胞。

因为P(@)»P(e)，所以先验概率起很大作用。

11

多类情况

(1)IfP{(oi|.v)=maxP(co\x),thenxe(ot

(2)Ifp(x\Q)P(Q)=maxp(.v|co)P(co),then.ve明

c

P(e)=1-P(c)=1-^jp(x|co})dx

片i也

12

7

，二、多类情况：3尸（3/,32，...,3小）,户⑴心,…国）

1.判别函数：M类有M个判别函数g/（X）,g2（X）,…,g,”（X）.每个

判别函数有上面的四种形式。

2.g,(x)=P(x/0,)P(Q)

=『ax/(x")P(%)=>%G①”(J=1,2,...,M)

“另一种形式：

g,.(x)=InP(x必+InP(3J

=maxJInP(x切+.lnP(co)}=>,/eCD

3、决策面方程：g](x)=g/(%),即g,(x)-g,(x)=0

13

特征向量判别计算

贝叶斯公式可以有几种形式的判别法则，针对具体问

题可以选取合适的形式。不管选取何种形式，其基本思想均

是要求判别归属时依概率最大作出决策，这样的结果就是分

类的错误率最小。

贝叶斯分类器遵循最小错误贝斯决策规则

14

8

很明显，各类别在多维特征空间中为决策面或

界面所分割。这些决策面是特征空间中的超曲面。

相邻的两个类别在决策面上的判别函数值是相等

的。如果和、是相邻的，则分割它们的决策面

就应为

dj(x)=dj(x)或dj(x)-dj(x)=0

对于两类问题，决策面方程：

P(x|3JP(%)-P(X|32)P(32)=0

§2.2基于贝叶斯公式的几种判别规则

一、基于最小风险的贝叶斯决策

在某些情况下，引入风险的概念，以求风险

最小的决策则更为合理。例如对癌细胞的识别，

要判断某人是正常(31)还是患者(3分，在判断

中可能出现以下情况：

，第一类，判对(正常-正常)；

，第二类，判错(正常一异常)x21•

，第三类，判对(异常f异常)x22；

，第四类，判错(异常f正常)X12。

，风险的概念比错误率似乎更恰当。因为识别

，的正确与否，直接关系到病人的身体甚至生

命。

，风险的概念常与损失相联系，损失则用损失16

9

1.损失函数：

损失函数公式：

/（%吗），，=1,2,=1,2,•••722

意义：

表示当处于状态&j时采取决策为所带来

的损失。

〃损失函数人/广入（a//3）表示模式胖来属于3,类而决策为

31所受损失。因为这是正确判决，故损失最小。

〃损失函数入入（a//3»表示模式林来属于3送决策为

3/所受损失。因为这是错误判决，故损失较大。

17

表示：在决策论中，常以决策表表示各种

情况下的决策损失。

0)

损村2•・••••3mE

决策\

/(«,©)*即

a1•・•也,)•••4)

2(%,

a24(4g)•・••••加2，。,》）

•

•*••

■■■■■・

/(«,供)义（即电）2(4,0”)

ai--・--・

•**

••・•••••

4"52(4,0)

aa・..•..

1

10

条件期望损失：对于特定的'采取决策为的期望损失：

R(at|.v)=E[2(a,,)I.v]=2(4,叼)P(叼|.v),i=I,2,…，左

期望风险：对所有可能的、采取决策a(x)所造成的期望损失之和

/?(«)=[7?(a(.v)|x)p(x)dx

也称平均风险(R(a)表示R依赖于决策规则a《))

对所有x,使R(a(x)|,v)最小，则可以使火(a)最小，

最小风险贝叶斯决策规则：

IfR(a,|.V)=minR(a\x),thena=a,

19

4.最小风险贝叶斯决策思想：

分类识别决策时，根据类的概率和概率密

度，考虑误判的损失代价。决策应是统计意义上

使由于误判而蒙受的损失最小。

如果在采取每一个决策或行动时，都使其

条件风险最小，则对所有的x作出决策时，其期望

风险也必然最小。(条件平均损失最小的判决也

必然使总的平均损失最小。)

20

11

最小风险贝叶斯决策规则:

If|x)=min火(%|x),thena=a.

21

计算：

可采取以下步骤(对于给定的样本X):

(1)计算后验概率：

次叼|x)=--------------，j=

£p(x|S)P(?)

；=!

(2)计算风险：

R(a,|x)=X%(*叼)P(叼Ix)，i=1,…,力

7=1

(3)决策:

a=argminR(at\x)

22

12

两类情况

两类情况：4l，42,41，^22

<

41P（凹|X）+4-J（S-/X）>九-/（〃乙|X）+葭-P（69,|工）,

①i

则xe〈

或（4「4jp（9|x）:（乙-4火（处|x）

23

尸(qIX)P(XI%)P(0])>222-2],=2,2-222

PgI-V)p(x|c»一】

2)P(w2)<Ajj-X2J414

/（.Y）=^l^）>P(a)2)212—%22

p（W在）<〃(他)^21-Al

CD,

则XG<

〃八

显然，当4I=42=O,时，最小风险就是最小错误率

24

13

O例：已知正常细胞先验概率为P(s)=0.9,异常为P(牡)=0.1,

从类条件概率密度分布曲线上查的P(x弦)=0.2,P(x4)=0.4,

=0,2I2=6,/U|=1,Z,2=0

由上例中计算出的后验概率：P3闻=0.818,P(电x)片().182

2

条件风险：A(a"x)=叼归=42P(gA)=1.092

j=l

/?(%,)=为P(G/'=0.818

因为R(aj)>Rig刈：.x£异常细胞,因决策助类风险大。因

42=6较大，决策损失起决定作用。

A二类问题：把X归于31时风险：=X\\P®小+N2P(3?xi

把X归于a2时风险：/?(a2/x)=X2lP(co)/x)+Z22P(co,/x)

25

最小风险分类规则：</?(a2x/^>xGCO,

<CD.

Q彳九)彳®x)沁一九)二>多£

>co2

,,价"刁时

用0-1函数：Ma/%)=%,.=〈什

[1,⑸时

M

■-R(a/x)=以(%/%)P(g/x)=E%jP(Sj/x)=ZP(coy/x)

"1

=1—P(co/r)T后验概率

R(a/)最小，就相当于尸最大，

这时便得到最小错误率分类器。

26

14

二、聂曼—皮尔逊决策法(N-P判决)

1.问题的提出：

(1)某些二类判决问题，某一种错误较另一种错误

更为重要一危害更为严重。

(2)先验概率未知。

2.基本思想：

严格限制较重要的一类错误概率，在令其等于某

常数的约束下使另一类误判概率最小。

27

•例如在癌细胞识别中，我们已经认识到把异常

误判为正常的损失更为严重，常常要求这种误

判为错误率P2(e)很小，BPP2(e)=£。,£。是一个

很小的常数，在这种条件下再要求P](e)即把正

常误判为异常的错误率尽可能地小。所以这样

的决策可看成是在P2(e)=0条件下，求P](e)极

小值的条件极值问题。

28

15

minPx(e)(对分类边界求最小)

s.t.2(e)=£,£>0是个很小的常数

用Lagrange乘子法：

minL=《(e)+〃g(e)-e)(对分类边界和义求最小)

=p(x|o\)dx+p(xI69)dx-£

L2

1—p(x\69,)dx-£

=(1-/U)+£如(X\co2)-p(xI他)依

R\、&为两类的决策域，记/为它们的边界(一维情况下即分界点)

L=jP(x|0]Mx+/l|jP{x\(D2)dx-£Q

=(1-4£())+JR[AP(X|ct)2)-P(x|co^\dx

•由此式分别对x和;l求导，令登=07T=0

dxSA

有—=0n才=吗⑹

dtp(t|O2)

6Lr

777=0=>JR.P(XM)&=£

30

16

f

决策准则：I)<p(.v1691)5JI]xe-

*>[%

或心)=生⑷<2则会心

p(x|co2)>[ft?,

----也称Neyman-Pearson决策规则

(2/(V)_P(A|^)>P①)乙-4

P(v|m2)<〃(例)A2I-AU

(3)If/(x)=0N竺)>2,.xeR

P(X|(02)<P(CDl)I0

31

N-P决策规则

如果：/、则：

尸（刘幼）〉7[r电

XE

产（X1可）＜[^2

N-P决策规则归结为找阈值20

，当罟篝=几时''作。9的分界线.

=fP（x/g）dx,;.2为三的函数在取£2为常数时，九可确定,

J—00

这时比一定与最小

32

17

4.最小错误率贝叶斯决策规则与N-P决策

聂曼——皮尔逊决策规则与最小错误率贝

叶斯决策规则都是以似然比为基础的，所不同

的只是最小错误率决策所用的阈值是先验概率

之比P（32）/P（3I）,而聂曼——皮尔逊决策所

用的阈值则是Lagrange乘子。

33

♦:，例：两类的模式分布为二维正态由=（T，0J，出=（1,0）7

协方差矩阵为单位矩阵£尸£2=1，设£2=0.09求聂曼皮尔

逊准则.2

<■解：

34

18

-0.345、20.345

如右图所示：

exp(-2x)=A

PC%)1

判别边界为：2=exp(-2x1)

判别式为：exp(-2X1)2=xe(0'

<(02

421

即了判别边界和判别形式

.•.对于不同4判别边界是平行于％的不同直线。

如图所示：

/I大打小，但用大;兀小£?大，但4小

；/=1时为最小错误率.

如图所示：

35

X421%力

♦人与j的关系表如右

£20.040.090.160.250.38

给定邑=0.09由表查得4=22与名的关系表

判别式为:萼2=2=xe幼，此时£2=009上式使£最小

P(x/a)J<3,

这就是在给定%时使马最小的判别规则。

♦:♦所以此时聂曼——皮尔逊分类器的分界线为:

x=-InA,

12

因为In2=In2=0.69,所以％(-0.345=xe9

1>①,

♦:♦由图可知为保证£2足够小，边界应向3।一侧靠，则£i

36

19

三、最小最大决策

如果对给定的X,其P(3j)不变，按照贝叶斯

决策规则，可以使错误率最小或风险最小。但如

果P(%)是可变的，或事先对先验概率毫无所知，

若再按某个固定的P(3)条件下的决策规则来进行

决策就往往得不到最小错误率或最小风险。最小

最大决策讨论在P(明.)变化时如何使最大可能风险

最小。

37

二类问题:假定损失函数

41—当％C©时，决策为％的损失，

42—当XG©时，决策为了6七的损失，

%,%则为％6伤时决策％C①2和%£他的损失。

通常作出错误决策总是比作出正确决策所带来的损

失要大，即

，21>4I，'12>久22

•再假定两类区域。1和。2已确定，则风险R与先验概

率P(31)关系：

38

20

先验概率P(3])与风险R间的变化关系如下：

风险R与P(利)关系：

/?=/(a(x，r)P(x)dr=LR(a^x)/x)P{x)dx+/?(a2(x)/x)P{x}dx

=L[4F(编P(X/4)+4r(例)Nx/o)]"x

+「IXH0)P(x/4)+4以。2)尸(M0)]公

对二类情况有：尺例)+p((yj=l,fP(x/a))dx=\-[P(x/coylx

JC,JC]

1.R=%才(A422)fP(x/o))dx+

~~i~r一孙~2

一旦Q1,d被确定，风险R就是尸（双）的线性函数.

39

/.R=。+人尸(①J

其中：a=X22+(X12-^22)£尸(x/co)dv

0=&T九)式K-%1)LP(x/3)公-&2-入22)[,P(x/3)公

风险值在（a,a+b）的范围内变化，其最大风险

为a+b。

40

21

A这样，就得出最小风险与先验概率的关系曲线，如图所示：

（1当区间固定时，R与p（以皮系为直线关系.P®JT,RT;

（2首d，。?选择不同时，R与P®炭系为一条曲线；

（3）如果选择d，5使6=0，R与尸的与关•

即（4「6（4-44P（x/<y》x-（九-为册P（x/a）2）dx=0

这时候最大风险为最小，R=a=4^（A,2-A22）j^P{x/a>2）dx

如图所示：这时直线R与横坐标户（@评行，P（例度化，则R不变，

使最大风险为a。I产出］沙化

1R江选择不同U______*R不变

□

n„。，固定X

P1)二P(sJ

p*(%)P*((o)

41

所以在最大最小判别中，应该使边界满足匕=0.

若选取损失为二？［p（x/叫）*=JP（x/oJ公,£（e）=6（e）,

2

［Z|2=A2I-'

两类错误概率相等.

，上式证明，所选的判别边界，使两类的错误概率相等：

P（）=P2（e）

“这时可使最大可能的风险为最小，这时先验概率变化，其风

险不变

42

22

四、序贯分类决策*

♦:♦迄今为止所讨论的分类问题，关于待分类样本的所有信

息都是一次性提供的。但是，在许多实际问题中，观察

实际上是序贯的。随着时间的推移可以得到越来越多的

信息。

,:♦喝篙寸样品进行第/次观察获取一序列特征为：

X=（X],孙…，X/），则对于3I,32两类问题，

若Xe3],则判决完毕

若X632,则判决完毕

•:,若X不属31也不属32,则不能判决，进行第？+1次观

察,得X=（电而，…，号，X”/）T，国重复上面的前j

决，直到所有的样品分类完毕为止。

•:•这样做的好处是使那些在二类边界附近的样本不会因某

种偶然的微小变化而误判，当然这是以多次观察为代价

的。

43

♦:♦由最小错误概率的Bayes判决，对于两类问题，似然比为

P（x，（o、）＞pg'Y「必

八LP（X/°）＜P（⑷g

其中，特征矢量X=（x,x,”.,x）；

当测得第一个特征参数E时可计算其似然比：

—（x/叫）_\（项/31）

如果4（再）＞A,则X=再w@

如果/[（X|）＜3,则X=X]£啰2

如果8＜/|（再）＜A,则测量下一个特征参数々并计算似然比

"5p》（不…丹喂、

44

23

若〃X[,%2）24则X=（XfX）爸GJ

若/乂/，巧）＜8,则X=（九f2

若3＜/2（X”8）＜4再测第三个特征参数再，为重复以上过程直到所有

样品的类别全部确定为止.（其中A,8是上下门限）

45

•上下门限A、B是由设计给定的错误概率R（e）,

P2（e）来确定的，Wald已证明，观察次数不会很

大，它收敛的很快。

46

24

大纲

•基于最小错误率的贝叶斯判别法

•基于贝叶斯公式的几种判别规则

•正态分布模式的统计决策

47

§2.3正态分布模式的统计决策

一、正态分布判别函数

1、为什么采用正态分布：

a、正态分布在物理上是合理的、广泛的。

b、正态分布数学上简单，N(u,o2)只有均值和方

差两个参数。

2、单变量正态分布：

其中：〃=E(x)=[xP(x)公，(均值或数学期望)

2=E[(%-//)2]=「(x-〃)P(x)dx,(方差)

48

25

概率密度函数应满足下列关系:

[尸（X）＞0,（-00VXV00）

[JP（x）dx=1

“3、（多变量）多维正态分布

（1）函数形式：

其中：X=（大2不，…,〃维特征向量

〃=（〃,，4,...，4）7，〃维均值向量

z为小藻协方差矩阵为z的逆阵区的行列式

49

//=E{x}

4,.=f{x.}=fxj)(x)dx

J—00

z=Eh_〃)G-〃y]

=E什…|[G,-A,G„-A„)]

IL(x,”)q

J「(X1-〃J(xI(xI-〃]〕

=E\

[[!(x”)(xI-〃。-(x„)(A-„-A„)JJ1

50

26

产&-小-〃J-E[(/-4)(x,-4“)]1

E[(x“-，X^I-小)]••E[(x„-4“Xx”-)]J

22

°11012

对角线=J・是方差

葭卜非对角线

■crjiwJ是协方差

51

(2)、性质:

①、〃与E对分布起决定作用P(x)=N(〃，E),〃由n个分

量组成，E由n(n+l)/2元素组成(对称独立元素)。...多维

正态分布由n+n(n+1)/2个参数组成。

②、等密度点的轨迹是一个超椭球面。区域中心由〃决

定，区域形状由E决定。

③、不相关性等价于独立性。若看与否互不相关，则者与中一

定独立。

④、线性变换的正态性Y=AX,A为线性变换矩阵。若X

27

，4、判别函数：类条件概率密度用正态来表示：

g,(%)=2〃[p(x|©)]+)]

g,(x)=-｝犬-4五：(x-A)-丁"2〃-:(nK^,)]

>5、决策面方程：

g，(x)=g<x)

-1[(^-AE：G-〃A(X-〃,E："〃)]+°

53

二、最小错误率(Bayes)分类器：从最小错误率这个

角度来分析Bayes分荚器

，1.第一种情况：各个特征统计独立，且同方差情况。

(最简单情况)01

即：z，=//=..............…，只有方差，协方差为零。

[0...CT|

/判别函数：

g,(x)=-；(X-")'X：'(x：In2%-；In区」+.丁(。)

因为Z/=「=(%)EJ=cr/,1n2“都一“‘无关，

对分类无影响。

&,(x)=-：(x-M)'Z:(x-〃)+】nP(0)/

=-U./"+MP("其中4卜〃』「=(x-〃),(£-〃),■

54

28

。如果M类先验概率相等：

P(<yl)=P((y2)=...=P(«m)

・•.g(x)=肛-2,(欧氏距离)

，最小距离分类器：未知x与巴相减，找最近的巴把x归

类

(X-4y(x-//,.)=%7%-21dx+//Jz，因为二次项x土与，无关

简化可得：&(X)=+愠(线性判别函数)

其中：=—//.,w.o=--LflnP(①)

(y-2o

判别规则：g,(x)=w/x+wi0-maxjvv^+wxCDI

55

°对于二类情况g(©=g2(X)-gI(九)

xYx+3（MJ〃|一〃27〃2）：^^^=>龙€

=22CT>r（%）①2

£3决策面方程：gj(X)~gj(X)=0

口（X_%）=0

其中W=p,—/Zj

1

%=万（氏+〃）一

56