决策分析之贝叶斯分析

1、第四章贝叶斯分析Bayesean Analysis4.00引言一、决策策问题的的表格表表示损失矩矩阵对无观察察(Noo-daata)问题 aa=可用表格格(损失矩矩阵)替代决决策树来来描述决决策问题题的后果果(损失):()()()或()()()损失矩阵阵直观、运算方方便二、决策策原则通常，要要根据某某种原则则来选择择决策规规则，使结结果最优优(或满意意)，这种种原则就就叫决策策原则，贝叶斯斯分析的的决策原原则是使使期望效效用极大大。本章章在介绍绍贝叶斯斯分析以以前先介介绍芙他他决策原原则。三、决策策问题的的分类：1.不确确定型(非确定定型)自然状态态不确定定,且各种种状态的的概率无无法估计计.

2、2.风险险型自然状态态不确定定,但各种种状态的的概率可可以估计计.四、按状状态优于于：I, 且至少少对某个个i严格不不等式成成立, 则称行行动按状状态优于于4.11 不不确定型型决策问问题一、极小小化极大大(waald)原则(法则、准则) l ( , ) 或例:1087941921316121469810各行动最最大损失失: 113 166 122 14其中损失失最小的的损失对对应于行行动.采用该原原则者极极端保守守, 是悲悲观主义义者, 认为老老天总跟跟自己作作对.二、极小小化极小小 l ( , ) 或或例:1087941921316121469810各行动最最小损失失: 4 11 7 2其

3、中损失失最小的的是行动动.采用该原原则者极极端冒险险，是乐乐观主义义者，认认为总能能撞大运运。三、Huurwiitz准准则上两法的的折衷，取乐观观系数入入 ll ( , )（1 l ( , )例如=0.55时 : 22 0.5 3.55 1 （1: 66.5 88 6 77两者之和和： 8.5 88.5 99.5 8其中损失失最小的的是：行行动四、等概概率准则则(Laaplaace)用来评价价行动的的优劣选上例： : 33 334 36 355 其中中行动的的损失最最小五、后梅梅值极小小化极大大准则(svaage-Nieehanns)定义后梅梅值=-其中为自自然状态态为时采采取不同同行动时时的

4、最小小损失.构成后梅梅值(机会成成本)矩阵 S= ,使后后梅值极极小化极极大,即:例:损失失矩阵同同上, 后梅值值矩阵为为: 3 11 0 2 3 00 8 1 1 44 0 2 0 33 2 4各种行动动的最大大后梅值值为: 3 4 88 4其中行动动a1 的最最大后梅梅值最小小,所以按按后梅值值极小化化极大准准则应采采取行动动1.六、Krrellle准则则：使损失是是效用的的负数(后果的的效用化化),再用用等概率率(Laaplaace)准则.七、莫尔尔诺(MMolnnor)对理想想决策准准则的要要求(119544) 11.能把把方案或或行动排排居完全全序； 22.优劣劣次序与与行动及及状态

5、的的编号无无关； 33.若行行动按状状态优于于，则应应有优于于； 44.无关关方案独独立性：已经考考虑过的的若干行行动的优优劣不因因增加新新的行动动而改变变； 55.在损损失矩阵阵的任一一行中各各元素加加同一常常数时，各行动动间的优优劣次序序不变； 66.在损损失矩阵阵中添加加一行，这一行行与原矩矩阵中的的某行相相同，则则各行动动的优劣劣次序不不变。4.22 风险险型决策策问题的的决策原原则一、最大大可能值值准则令()=maax()选使 ll(,)=l(,)例：()0.276.560.53450.3410() 概率最最大, 各行动动损失为为 3 4 55应选行行动二、贝叶叶斯原则则使期望损损失

6、极小小： l( , ) () 上例中,各行动动的期望望损失分分别为 4.11 33.6 3.7, 对应应于的期期望损失失3.66最小应选.三、贝努努利原则则损失函数数取后果果效用的的负值,再用Baayess原则求求最优行行动.四、EV(均值值方差)准则若且则则优于通常不存存在这样样的上例中: EE 44.1 3.6 3.7 V() 22.299 33.799 55.9667不存在符符合EV准则的的行动, 这时时可采用用f(,)的值来来判断(为效益益型后果果的期望望)- f( ，)=-(+) f越越大越优优.五、不完完全信息息情况下下的决策策原则(Hoddgess-Leehmaann原原则)状态

7、概率率分布不不可靠时时, 可采采用:()= + i=1,22, ,mm j=11,2,n越大越越优.4.33贝叶斯斯定理一、条件件概率1.A、B为随机机试验EE中的两两个事件件 PP(AB)=P(AAB)/P(BB)由全概率率公式: jj=1,2,n 是样本本空间的的一个划划分, P(B)=P(BB|)PP()得Bayyes公公式 P(|B)=P(B|)P()/P(BB) = P(BB|)P()/P(BB|)PP()2. 对对,两个随随机变量量条件概概率密度度 ff(| xx)=ff(x |)f()/ff(x) 在主观观概率论论中(| x)=f(x |)()/mm(x)其中：()是的先验验概率

8、密密度函数数 ff(x)是出现时时，x的条件件概率密密度,又称似似然函数数. mm(x)是x的边缘缘密度, 或称称预测密密度. m(xx)= f(xx |)() dd或p(xx|)()(x)是观观察值为为x的后验验概率密密度。例：A 坛中白白球300%黑球球70% B 坛中白白球700%黑球球30%两坛外形形相同，从中任任取一坛坛，作放放回摸球球12次,其中白白球4次，黑黑球8次，求求所取为为A坛的概概率.解：设观观察值44白8黑事件件为x，记取取A坛为, 取B坛为在未作观观察时，先验概概率p()=pp()=0.55则在作观观察后，后验概概率 P(|x)=p(x|)p()p(xx|)pp()+

9、p(xx|)pp() =0.55(0.55+0.55) =() =00.2440100.24482 =00.9667显然, 通过试试验、观观察、可可修正先先验分布布.4.44 贝叶叶斯分析析的正规规型与扩扩展型一、正规规型分析析由Bayyseaan原则则：先验验分布为为()时，最最优的决决策规则则是贝叶叶斯规则则,使贝叶叶斯风险险 r(, )= r(,(x)其中：rr(,(x)= R(,(x) = l(,(x) = ll(,(x) ff(x |)dxx() dd (1)据(1)式，选选使r(，)达到极极小，这这就是正正规型的的贝叶斯斯分析。在解实际际问题时时，求使使(1)式极小小的(x)往往十

10、十分困难难，尤其其在状态态和观察察值比较较复杂时时，集中的的策略数数目很大大，穷举举所有的的(x)有困难难，且计计算量颇颇大。实实际上可可用下法法：二、扩展展型贝叶叶斯分析析(Exxtennsivve FFormm Annalyysiss)在(1)式中因因l(,)-，f(xx)，()均为有有限值。由Fuubinni定理理，积分分次序可可换即r(,(x)= l(,(x) ff(x |)dxx() dd = l(,(x) ff(x |)() dddx (22)显然，要要使(22)式达达到极小小，应当当对每个个xX，选择择，使l(,(x) ff(x |)() dd（2）为为极小(xx)=aa 若对给

11、给定的xx,选a，使l(,(x) ff(x |)() dd为极小小亦即，使l(,a) f(x |)() dd =ll(,aa) (|x) d或l(,aa)p(|x) (3) 达极小小，即可可使(11)式为为极小.结论：对每个xx，选择择行动aa，使之之对给定定x时的后验验分布(x)的期期望损失失为极小小，即可可求得贝贝叶斯规规则。这种方法法叫贝叶叶斯分析析的扩展展型，由由此确定定的贝叶叶斯规则则叫foormaal BBayeeseaan RRuleeRaaifffa SSehllaiffer,19661年提提出。Notte使(33)式达达极小的的行动可可能不只只一个，即可能能有多个个贝叶斯斯规

12、则；扩展型型比正规规型更直直观，也也容易计计算，故故更常用用；许多分分析人员员只承认认扩型，理由是是： i，(x)描述述了试验验后的的分布布，比()更客观观，因此此，只要要损失函函数是由由效用理理论导出出的(即考虑虑了DMMer的的价值判判断、风风险偏好好)，在评评价行动动a的优劣劣时就应应当用后后验期望望损失。 iii, r(，)是根据据()求出的的，而用用先验分分布()来确定定行动aa并不一一定适当当。从根本上上讲，这这种观点点是正确确的。无论从从何种观观点来进进行贝叶叶斯分析析，从理理论上讲讲，结果果是一样样的，所所以采用用何种方方法可视视具体问问题，据据计算方方便而定定。已经证证明，形

13、形式贝叶叶斯分析析对一类类非随机机性决策策规则是是成立的的，也可可以证明明它对随随机性决决策规则则同样成成立。使使所有xx上后验验期望损损失极小小的贝叶叶斯规则则也是随随机性规规则集*中的Baayess规则，因此，总可以以找到一一验期望望损失极极小的非非随机性性规则。三、例(先看无无观察问问题)农民选择择作物问问题，设设某地旱旱年占60%，正常常年景占占40%; 种种植耐旱旱作物种不耐旱旱作物，后果矩矩阵为: 20 00 60 1000决策人的的效用函函数 uu(y)=(11-)解：i令令：l(y)=1-uu(y) ii,作作决策树树：iii, 在无无观察时时, RR=l, rr= ll(,a

14、a)() r(, )=l(,)()+ll(,)() =00.622 0.66+0.19 0.44 =00.4448 r(, )= l(,)()+ll(,)() =11.0 0.66+0 0.44 =00.6风险r小小者优, =，是贝贝叶斯规规则, 即贝叶叶斯行动动.即应选选择耐旱旱作物。四、例(续上)设气象预预报的准准确性是是0.88，即p(|)=00.8 p(|)=00.8其中，预预报干旱旱预报正常常年景则 m()=p(|)()+pp(|)() =00.8 0.66+0.2 0.44=0.56 m()=00.444(|)=p(|)()m() =00.8 0.660.556=00.866(|)

15、=p(|)()m() =00.2 0.660.444=00.277(|)=0.14(|)=0.73正规型分分析策略: = () =()r(, )=l (,()pp(|)()4-7 = l (,)p(|)()+ll (,)p(|)() + l (,)p(|)()+ll (,)p(|)() =0.6620.880.66+1.0 0.220.66+0.19 0.220.44+0.0 0.80.44 =0.443288策略: =() =() r(, )=l (, ()p(|)() = l (,)p(|)()+ll (,)p(|)() + l (,)p(|)()+ll (,)p(|)() = 00.62

16、20.220.66+1.00.880.66+0.190.88 0.4+00.00.88 0.4 =0.61552策略: = () =() r(, )=0.445策略：=（）=（） r(, )=0.66r(, ) r(, ) r(, ) r(, )是贝叶叶斯行动动。4822.扩展展型之一一：据(2) : l(,(x) ff(x |)() dd记作r给定(预报干干旱):采用 r=l (,)p(|)() = ll (,)p(|)() + l (,)p(|)() = 00.6220.880.66+0.19 0.220.44 =0.31228采用 r= l (,)p(|)() + l (,)p(|)()

17、 =0.48风险小小者优给定应选选给定(预报天天气正常常)采用 rr= l (,)p(|)() + l (,)p(|)() =00.6220.220.66 + 0.119 0.8 0.4 =00.1335采用 rr= l (,)p(|)() + l (,)p(|)() =11.00.220.66 + 0 =00.122给定应应选由此得形形式Baayess规则: = () =() 3.扩扩展型之之二：据据(3)式即l(,aa) (|x) d或l(,aa)(|x)(记作作r”)给定, 采用 r”= ll(,)(|) = ll(,)(|) + l(,)(|) =0.62 0.886 + 0.19 0

18、.114 =0.56采用 r”= ll(,)(|) + l(,)(|) = 11.0 0.886 + 00 0.14 =0.86给定，应选行行动.给定采用 rr”= l(,)(|) = l(,)(|) + l(,)(|) =0.662 0.227 + 0.19 0.773 = 0.30661 采用 rr”= l(,)(|) = l(,)(|) + l(,)(|) =1.00 0.227 + 0 0.773 =0.227给定应应选择行行动.形式BBayees规则则: = () =()4.55 非正正常先验验与广义义贝叶斯斯规则一、非正正常先验验(Immprooperr Prriorr)概率测度度

19、的三个个条件：i,规范范性：PP()=11ii,非非负性：0P(AA)1iii,可列可可加性在设定先先验分布布时，若若不满足足规范性性，则称称为非正正常先验验.二、广义义贝叶斯斯规则(Geneerall Bayeeseaan RRulee)1.定义义：决策问题题的损失失函数为为l(,a)，()为非正正常先验验分布，对给定定的，使使i, ll(,(x) ff(x |)() dd为极小小，或者者ii, 0m(xx)时,使l(,aa) (|x) d为极小小的策略略(行动)，构成成广义贝贝叶斯规规则.2.Noole：在许多多重要场场合，所所有允许许的都是是GBRR在无法法得到正正常先验验时，除除此别无

20、无良策；GBRR不一定定是最好好的决策策规则4.66 一一种具有有部分先先验信息息的贝叶叶斯分析析法一、概述述1.思路路：在部部分先验验信息难难以唯一一地确定定()时，抛抛开唯一一性要求求，转而而确定与与已知先先验信息相符符的先验验分布的的集。2.符号号i, 和A为有限限集：=, A=,损失矩阵阵L=l (,)ii,根根据贝叶叶斯分析析的扩展展型给定x，应从集集合A中选一一行动，使 q(a)= l (,aa) pp(|)() 为极极小,亦即= arrg qq(a) 或或 qq()q() j=1,22,m (4)则为贝叶叶斯行动动.记p(|)为(x) , () 为L=,=,则l (,a) p(|)()=Ldiiag(x) (4)式式可表示示成Ldiiag(x)Ldiiag(x) i=1,22, ,n (55) jj=1,2, ,m(5)式式即 (L-1L) ddiagg(xx) 0(5)记 (LL-1L) ddiagg(xx) 为D(x), 式(5)可表表示为:D(x) 0 (5”)3. (5”)式的含含义(1)给给定x，先验验分布为为时