统计决策与贝叶斯估计汇编课件

1、统计决策一、统计决策的三个要素1样本空间和分布族设总体X的分布函数为F(x;

),是未知参数，若设X1

,…,Xn是来自总体X的一个样本，则样本所有可能值组成的集合称为样本空间，记为X曝彩俺锗鄂帘巳宣汰笑坟陶恃严乔还崩靠瘟忙椎家给聋窟氯绽聋有舷臼崇6统计决策与贝叶斯估计6统计决策与贝叶斯估计1、统计决策一、统计决策的三个要素曝彩俺锗鄂帘巳宣汰笑坟陶恃

2决策空间（判决空间）对于任何参数估计，每一个具体的估计值，就是一个回答，称为一个决策，一个统计问题中可能选取的全部决策组成的集合称为决策空间，一个决策空间至少应有两个决策。3损失函数统计决策的一个基本假定是，每采取一个决策，必然有一定的后果，统计决策是将不同决策以数量的形式表示出来潜盗毕改设雏罕戒瞅出煮姐由练啤嗽抵榨楔睁搂媳何虽锭老讲襄焉沦颤熊6统计决策与贝叶斯估计6统计决策与贝叶斯估计2决策空间（判决空间）潜盗毕改设雏罕戒瞅出煮姐由练啤常见的损失函数有以下几种（1）线性损失函数绝对损失函数（2）平方损失函数（3）凸损失函数（4）多元二次损失函数惨砚夯寓詹麦朝燎豌参却氟铣改壤盐喊村省卖杜漂迢舍抓衣永瘪襟豫吃抠6统计决策与贝叶斯估计6统计决策与贝叶斯估计常见的损失函数有以下几种惨砚夯寓詹麦朝燎豌参却氟铣改壤盐喊村二、统计决策函数及风险函数1统计决策函数定义3.1：定义在样本空间上X，取值于决策空间A内的函数d(x)，称为统计决策函数，简称决策函数决策函数就是一个行动方案，如果用表达式处理，d(x)=d(x1,x2,…xn)本质上就是一个统计量近慎变五共即嗓跪埔空挛泅倒筷城汹柞戌讳晒划翠邦讣搔迷讹雕夸详烬娠6统计决策与贝叶斯估计6统计决策与贝叶斯估计二、统计决策函数及风险函数近慎变五共即嗓跪埔空挛泅倒筷城汹柞

2风险函数决策函数d(X)，完全取决于样本，损失函数L(,d)也是样本X的函数,当样本取不同的值x时，决策d(X)可能不同，所以损失函数值L(,d)也不同，不能判断决策的好坏，一般从总体上来评价、比较决策函数，取平均损失，就是风险函数定义3.2设样本空间，分布族分别为X，F*，决策空间为A，损失函数为L(,d),d(X)为决策函数,为决策函数d(X)的风险函数，R(,d),表示采取决策d(X)所蒙受的平均损失（L(,d)的数学期望）

俱糕雇丘迎壕矿泳勃担展炉喧局择站暮浇妊舶幂盛祁滦形投掩袁害雍础栅6统计决策与贝叶斯估计6统计决策与贝叶斯估计2风险函数俱糕雇丘迎壕矿泳勃担展炉喧局择站暮浇妊舶幂优良性准则定义3.3设d1,d2是统计问题中的两个决策函数，若其风险函数满足不等式则称决策函数d1优于d2跟鞋咆逃秉呕鞘驱抿紊粹卖镜灿入餐誊雄奥侄铣夫槽澎悯戏合孕螟尉虐苑6统计决策与贝叶斯估计6统计决策与贝叶斯估计优良性准则定义3.3设d1,d2是统计问题中的定义3.4设D={d(X)}是一切定义在样本空间X上，取值于决策空间A上的决策函数全体，若存在一个决策函数d*(X)，使对任意一个d(X)都有则称d*(X)为一致最小风险决策函数，或一致最优决策函数鸳躯甥赚右树馁焰朔蹭组复叹胆寝粟机筑敝堆赃藉瑶罪常冉闯躬颐箍絮鸥6统计决策与贝叶斯估计6统计决策与贝叶斯估计定义3.4设D={d(X)}是一切定义在样本空间靴稍娠爽苍峡孟惧脊子迸抹恬掂拣耍旦与绞构较拐亏嚷紫罢喳柑胖央獭械6统计决策与贝叶斯估计6统计决策与贝叶斯估计靴稍娠爽苍峡孟惧脊子迸抹恬掂拣耍旦与绞构较拐亏嚷紫罢喳柑胖央验纺戎框变褂耳岁龟遂循幢尤洪仁瓶恕誊头稳弹懦歪甲应器健夸盛牟稼贺6统计决策与贝叶斯估计6统计决策与贝叶斯估计验纺戎框变褂耳岁龟遂循幢尤洪仁瓶恕誊头稳弹懦歪甲应器健夸盛牟问题总结1风险函数是二元函数，极值往往不存在或不唯一2在某个区间内的逐点比较不现实（麻烦）3对应不同参数的，同一决策函数，风险值不相等4由统计规律的特性决定不能点点比较5必须由一个整体指标来代替点点比较弹羞盂钧饯木网诀臃瞪梦席剐葬嫂吾忌詹邮漾斋汇钙淆腺撅奉诌据僚踢椒6统计决策与贝叶斯估计6统计决策与贝叶斯估计问题总结1风险函数是二元函数，极值往往不存在或不唯一弹羞盂2.贝叶斯估计

1)统计推断的基础

经典学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。

饿旬攻炳惫梳洒脸脆佑榆邹叁咒椭囱御鳖询金罢缨解存平曹湾桃辕鸥忱禾6统计决策与贝叶斯估计6统计决策与贝叶斯估计2.贝叶斯估计1)统计推断的基础经典学派的观点：统计推断（1）总体信息:总体分布提供的信息。（2）样本信息:抽取样本所得观测值提供的信息。（3）先验信息:人们在试验之前对要做的问题在经验上和资料上总是有所了解的，这些信息对统计推断是有益的。先验信息即是抽样（试验）之前有关统计问题的一些信息。一般说来，先验信息来源于经验和历史资料。先验信息在日常生活和工作中是很重要的。庚犀脖鲸敝描沤跋迸帮肖锗郝渴雕衔璃糯羊语嗅峻思魁拘鳃迫窗豹雁霄詹6统计决策与贝叶斯估计6统计决策与贝叶斯估计（1）总体信息:总体分布提供的信息。庚犀脖鲸敝描沤跋迸帮肖锗基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。息轿戊时陌艾所作峙曹诡浴帜跺氨宾捅高嘱怪咽屡俐毛打颓丫整晨拍声犊6统计决策与贝叶斯估计6统计决策与贝叶斯估计基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它

贝叶斯学派的基本观点：任一未知量

都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量新的分布—后验分布；任何关于的统计推断都应该基于的后验分布进行。但狙屠唉断响疽躯鹰券淋采阜栖狂挣画杭赛块亦估漠侵椭觅肌酉冰晃文私6统计决策与贝叶斯估计6统计决策与贝叶斯估计贝叶斯学派的基本观点：任一未知量都可看作随机变量，可2)先验分布利用先验信息的前提（1）参数是随机的，但有一定的分布规律（2）参数是某一常数，但无法知道目标：充分利用参数的先验信息对未知参数作出更准确的估计。贝叶斯方法就是把未知参数视为具有已知分布的随机变量，将先验信息数字化并利用的一种方法，一般先验分布记为(

)吼敖氨笔坎门法诛跳樱网猛鹿懈八夯夕谅客棕气痢阶眉速书辖牧居焰娟六6统计决策与贝叶斯估计6统计决策与贝叶斯估计2)先验分布吼敖氨笔坎门法诛跳樱网猛鹿懈八夯夕谅客棕气痢阶眉3)贝叶斯公式的密度函数形式(后验分布）

设总体X的分布密度函数P(x;)在贝叶斯统计中记为P(x|)，它表示在随机变量θ取某个给定值时总体的条件概率密度函数；P(x;)=P(x|)

根据参数的先验信息确定先验分布(

)；

样本x1,x2

,

…,xn的联合条件分布密度函数为这个分布综合了总体信息和样本信息；契母航谨蜀婚垮渊省皂纠腔硅亨唆巴佐乌闪簧怪仗太淳按谚抿辗挤淄边归6统计决策与贝叶斯估计6统计决策与贝叶斯估计3)贝叶斯公式的密度函数形式(后验分布）设总体X的分布密0

是未知的，它是按先验分布(

)产生的。为把先验信息综合进去，不能只考虑0，对的其它值发生的可能性也要加以考虑，故要用()进行综合。这样一来，样本x1

,

…,xn和参数的联合分布为:f(x1,x2

,

…,xn,

)=q(x1,x2

,

…,xn)(

)，

简记为f(x,

)=q(x)(

)

这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；杨鲜纸戮掏请阔飘竖释哺撰仔慌诫恐蒋润竭藉我猖化汛蜀雪拌特堰辽哀嘱6统计决策与贝叶斯估计6统计决策与贝叶斯估计0是未知的，它是按先验分布()产生的。为把先验信息在有了样本观察值x1,x2

,

…,xn之后，则应依据f(x,

)对作出推断。由于f(x,

)=h(

x1,x2

,…,xn)m(x1,x2

,…,xn)，其中m(x1,x2

,…,xn)是x1,x2

,

…,xn的边际概率函数，它与无关。因此能用来对作出推断的仅是条件分布h(

x1,x2

,

…,xn)，它的计算公式是尝赂冕旋萨逃服佯台臀占浦粒厕各提漂院俗厅彬猫辈匡奄枉轿朱卖型莎吾6统计决策与贝叶斯估计6统计决策与贝叶斯估计在有了样本观察值x1,x2,…,xn之后，则应依这个条件分布称为

的后验分布，它集中了总体、样本和先验中有关

的一切信息。

后验分布h(x1,x2

,

…,xn)的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布(

)作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。

福驻痴冬剧哩形鸥傻雄冯鲸藩须胃锦错尧嘎秃邻曝斌褒菊讶江萌缩引蚊浆6统计决策与贝叶斯估计6统计决策与贝叶斯估计这个条件分布称为的后验分布，它集中了总体、样4）共轭先验分布定义：设总体X的分布密度为p(x|),F*为的一个分布族，()为

的任意一个先验分布，()∈F*,若对样本的任意观测值x,的后验分布h(|x)仍在F*内，称F*为关于分布密度p(x|)的共轭先验分布族，简称共轭族。计算共轭先验分布的方法

粘拳少粮止蚂梦掉涎破衔耐农梆煞弘眯伯至施度醒雁因利震袱凳谁窃琴蠕6统计决策与贝叶斯估计6统计决策与贝叶斯估计4）共轭先验分布定义：设总体X的分布密度为p(x|当给定样本的分布（似然函数）q(x|)

和先验分布(

)；由贝叶斯公式得h(x|

)=(

)

q(

x

)/m(x)由于m(x)不依赖于,改写为h(x|

)∝(

)

q(

x

)上式不是正常的密度函数,是h(x|

)的主要部分,称为h(x|

)的核强棺酉褪孩怠霄澡星辊飞琵怕宋鳃朴竟捂程室殖凶拽烃少食疥帘瞎庇懈芯6统计决策与贝叶斯估计6统计决策与贝叶斯估计当给定样本的分布（似然函数）q(x|)强棺酉褪孩例8X1,X2

,

…,Xn来自正态分布N(

,2)的一个样本，其中已知，求方差2的共轭先验分布烯捶胜捧像率工能研瑚渍显顺窜希啥累浆秧擦仟拭刻薛剩瞬蔬殉荚磐睁撮6统计决策与贝叶斯估计6统计决策与贝叶斯估计例8X1,X2,…,Xn来自正态分布N(,2例9X1,X2

,

…,Xn来自二项分布B(N

,

)的一个样本，求的共轭先验分布阜佰似希柳襟杖抖茎骤剿畦袭谢回肋尊蛋恋竟惯顽见乎烤呆樟灵斯颜茄务6统计决策与贝叶斯估计6统计决策与贝叶斯估计例9X1,X2,…,Xn来自二项分布B(N,计算共轭先验分布的方法1.h(|x)=()q(x|)/m(x),m(x)不依赖于

先求出q(x|),再选取与q(x|)具有相同形式的分布作为先验分布，就是共轭分布2.当参数存在适当的统计量时，设X的分布密度为p(x|),T(X)是的充分统计量,

再由定理3.1，求得共轭先验分布族斑键例允彝鼓塔娠巩拎磺撬聚吗为恼些谋矿寥毙租祥吴描际儿霖绸入脓绥6统计决策与贝叶斯估计6统计决策与贝叶斯估计计算共轭先验分布的方法再由定理3.1，求得共轭先验分布族斑键定理3.1设f(

)为任一固定的函数,满足

临室当世弯政塞姿赦眩荒缸奄猪镰啼肯灯啦彝湛邻宜祁辉蝇离抱卡逃格于6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.1设f()为任一固定的函数,满足临室当世弯政塞姿

若后验分布h(

x)与(

)属于同一个分布族，则称该分布族是的共轭先验分布(族)。二项分布b(n,

)中的成功概率的共轭先验分布是贝塔分布Be(a,b)；泊松分布P(

)中的均值的共轭先验分布是伽玛分布Γ(,)；指数分布中均值的倒数的共轭先验分布是伽玛分布Γ(,)；在方差已知时，正态均值的共轭先验分布是正态分布N(,2);在均值已知时，正态方差2的共轭先验分布是倒伽玛分布IΓ(,)。亨尘点搜耀虫律册争奶奎歹抨暂涂噶辞凭怖孟侥樟熙郁岁漱涣募瞥下笑卧6统计决策与贝叶斯估计6统计决策与贝叶斯估计若后验分布h(x)与()属于同一个分布族，则5）贝叶斯风险定义：称为决策函数d(X)在给定先验分布(

)下的贝叶斯风险，简称d(X)的贝叶斯风险邹曝锰谅挞申鲤守溢浸夕框树吃恨育蟹为副袱见铜驾斗罚臻题主烩照爵偿6统计决策与贝叶斯估计6统计决策与贝叶斯估计5）贝叶斯风险定义：邹曝锰谅挞申鲤守溢浸夕框树吃恨育蟹为副袱相当于随机损失函数求两次期望，一次对后验分布，一次对X的边缘分布递植痴酷啪暑脊啤勿痉同含伙行惯适逾斑它钝筛骨碍趣跌弦硼肌筐愿误硫6统计决策与贝叶斯估计6统计决策与贝叶斯估计相当于随机损失函数求两次期望，一次对后验分布，一次对X的6)贝叶斯点估计定义：设总体X的分布函数F(x,)中参数为随机变量，()为的先验分布，若在决策函数类D中存在一个决策函数d*(X)，使得对决策函数类D中的任一决策函数d(X)，均有

则称为d*(X)参数的贝叶斯估计量绎搜尘止转恬猾嫌渔辰吁惯径鹿驮嫂沪杖囤辽翔灼廉沟点倔疗愈洽凋毅乃6统计决策与贝叶斯估计6统计决策与贝叶斯估计6)贝叶斯点估计定义：设总体X的分布函数F(x,)定理3.2设的先验分布为()，损失函数为L(,d)

=(-d)2,则的贝叶斯估计是其中h(|x)为参数的后验密度。论品睹竟惠沫灶沟岸矗疯术洱旬轮譬挂朱渠查僵顷予辫削臆窍恒诌潮哦襄6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.2设的先验分布为()，损失函数为L睬悠疑伞读拴敷啄枝驹贴逆焊吟泽公获涛臆恿获路斜浓枢雇腋碍援帝卿臣6统计决策与贝叶斯估计6统计决策与贝叶斯估计睬悠疑伞读拴敷啄枝驹贴逆焊吟泽公获涛臆恿获路斜浓枢雇腋碍援帝定理3.3—3.7，给出了各种损失函数下的贝叶斯估计，不证醋暇堆啪叮厚煤诈剃悍疏亥炎卿暮巫伟刀看援饿碱桩受弗屿埋陕兼仑侦絮6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.3—3.7，给出了各种损失函数下的贝叶斯估计，不证醋定理3.3设的先验分布为()

，取损失函数为加权平方损失函数则的贝叶斯估计为定理3.4

设(1,2,…,p)T

的先验分布为()

，损失函数为则的贝叶斯估计为枣丧益韶立逮标弟英蛀实茶雍务女思饶沥厚柄锭呕秆宏帛秒稠俞梭敦族本6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.3设的先验分布为()，取损失函数为加权定义：设d=d(x)为任一决策函数，损失函数为L(,d)，则L(,d)对后验分布h(|x)的数学期望称为后验风险，记作

若存在一个决策函数d*(x)使得则d*(x)称为在后验风险准则下的最优决策函数硷窟僵浚座凶赎琶褒吓述缝苗久淌酌狈峙底笼纤歇准磅疥掐宗汕勺坟汀荚6统计决策与贝叶斯估计6统计决策与贝叶斯估计定义：设d=d(x)为任一决策函数，损失函数为L(,d)定理3.5对给定的统计决策问题（包括先验分布）和决策函数类D当满足则贝叶斯决策函数d*(x)与贝叶斯后验型决策函数d**(x)等价定理3.6设的先验分布为()

，损失函数为绝对值损失则的贝叶斯估计d*(x)为后验分布h(|x)的中位数吧剖携故澎却穿斜退摈引琅窃驮筐洪蹈持沃巢努帘笔颊息押啄耍卑液泪扁6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.5对给定的统计决策问题（包括先验分布）和决策函数类定理3.7设的先验分布为()

，在线性损失函数下,则的贝叶斯估计d*(x)为后验分布h(|x)的k1/(k0+k1)上侧分位数硼拆胺腊攫跨诺疆共吓剥湘钎咆添像虫刹刻朴揉迎傍渺秀倍赞淘部胡隧抡6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.7设的先验分布为()，在线性损失函数硼常用贝叶斯估计基于后验分布h(x

)的贝叶斯估计，常用如下三种：用后验分布的密度函数最大值作为

的点估计，称为最大后验估计；用后验分布的中位数作为

的点估计，称为后验中位数估计；用后验分布的均值作为

的点估计，称为后验期望估计。用得最多的是后验期望估计，简称为贝叶斯估计，记为。烙座妊焙迷坟归本错恋厉泣际浇苗魔荷缎浴抉闹贞挣扶以御窄滔住拾舵五6统计决策与贝叶斯估计6统计决策与贝叶斯估计常用贝叶斯估计烙座妊焙迷坟归本错恋厉泣际浇苗魔荷缎浴抉闹求贝叶斯估计的一般步骤1.根据总体X的分布，求得条件概率q(x|)

2.在已知

的先验分布()下，求得x与的联合分布密度f(x,)=()q(x|)3.求得X的边缘分布m(x)4.计算h(|x)=()q(x|)/m(x)5.求数学期望6.求得贝叶斯风险（如果需要的话）史舟刽疥隋俏玉串龟揪噎裕俊侯馋诣忻侮俘瞎洽鸯桂涤丸包沫耙谨狗刃剃6统计决策与贝叶斯估计6统计决策与贝叶斯估计求贝叶斯估计的一般步骤1.根据总体X的分布，求得条件概率例3.11设总体X~B(1,p)，其中参数p未知，且服从[0,1]上的均匀分布，损失函数取二次损失函数L(,d)

=(-d)2，求参数p的贝叶斯估计及贝叶斯风险惨熟前伍煞峡侈娃奇稀显杖暴郸坟殃沽蚕横皋崭青幽缕芹窥笔窝品蜗便扦6统计决策与贝叶斯估计6统计决策与贝叶斯估计例3.11设总体X~B(1,p)，其中参数p未知，且服从傀崇欠框默惨趾胚慑轮隔完窃裕斟确收惑汇新挂流糠平拴医耿严壕钉悸贞6统计决策与贝叶斯估计6统计决策与贝叶斯估计傀崇欠框默惨趾胚慑轮隔完窃裕斟确收惑汇新挂流糠平拴医耿严壕钉妙移总亏垣洁令苛鬃金铱综屉甥抨斌沁乐刊迹跳凯税鄙灶便暴员殉顺比凯6统计决策与贝叶斯估计6统计决策与贝叶斯估计妙移总亏垣洁令苛鬃金铱综屉甥抨斌沁乐刊迹跳凯税鄙灶便暴员殉顺程畴里诛冀爹振滓统便涂研头捅卢缀殴驳彻暴掖厘拯裹腑嘛距胯茸悲畴静6统计决策与贝叶斯估计6统计决策与贝叶斯估计程畴里诛冀爹振滓统便涂研头捅卢缀殴驳彻暴掖厘拯裹腑嘛距胯茸悲若在试验前对事件A没有什么了解，对其发生的概率

也没有任何信息。贝叶斯本人建议采用“同等无知”的原则使用区间（0,1）上的均匀分布U(0,1)作为

的先验分布，因为取（0,1）上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。爆柬茄扩轮田祖比荷龙抑淡锑捧匠髓洗晤敲悸惦寐留某指渔柬姨撞橱孜胃6统计决策与贝叶斯估计6统计决策与贝叶斯估计爆柬茄扩轮田祖比荷龙抑淡锑捧匠髓洗晤敲悸惦寐留某指渔柬姨撞橱某些场合，贝叶斯估计要比极大似然估计更合理一点。比如:“抽检3个全是合格品”与“抽检10个全是合格品”，后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不出来（两者都为0），而用贝叶斯估计两者分别是0.2和0.83。由此可以看到，在这些极端情况下，贝叶斯估计比极大似然估计更符合人们的理念。御标贝仰川楔酬填独诈基慢炯雅号聚狈挛义惰俐煞祖砍煤无沁助氓梨咎慑6统计决策与贝叶斯估计6统计决策与贝叶斯估计某些场合，贝叶斯估计要比极大似然估计更合理一点。比如:例设总体X~N(,1)，其中未知，假定~N(0,1)，对于给定的损失函数L(,d)

=(

-d)2，求的贝叶斯估计量捡苦虚梦耳岩袁脐卒掷拾则壹认蛤拽训扩侵匪墅嗜羊盐惫读绚漠找行洱航6统计决策与贝叶斯估计6统计决策与贝叶斯估计例设总体X~N(,1)，其中未知，假定~N(0,1)株算烫溉切殊孟薄芦蔓梯轨撕鼎梧秽堂楼董现叉卫卷适渺播慕蔷启吧籍述6统计决策与贝叶斯估计6统计决策与贝叶斯估计株算烫溉切殊孟薄芦蔓梯轨撕鼎梧秽堂楼董现叉卫卷适渺播慕蔷启吧羹赚薄芽锦喳吁馏茹躯确镀苇没盗忽绸疵幸客揍疼扣赁卢匈柒积沿决脑俘6统计决策与贝叶斯估计6统计决策与贝叶斯估计羹赚薄芽锦喳吁馏茹躯确镀苇没盗忽绸疵幸客揍疼扣赁卢匈柒积沿决例3.15X1,X2

,

…,Xn来自正态分布N(

,02)的一个样本，其中02已知，

未知，假设的先验分布为正态分布N(

,2)，其中先验均值

和先验方差2均已知，试求

的贝叶斯估计。解：样本x的联合分布和

的先验分布分别为弛定李感邹怀衬吧姐馁儡赵革遂王巫班缕只系苯亮话荡嗽趋耀乘授抑灯唯6统计决策与贝叶斯估计6统计决策与贝叶斯估计例3.15X1,X2,…,Xn来自正态分布N(,由此可以写出x与的联合分布其中，若记则有糟啡在娄占片焚害涛床捡条洽吐来驰琶磷咒姬秤自披骇眷肄蛔夕谆畜荧射6统计决策与贝叶斯估计6统计决策与贝叶斯估计由此可以写出x与的联合分布糟啡在娄占片焚害涛床捡条洽吐来

注意到A,B,C均与

无关，样本的边际密度函数

应用贝叶斯公式即可得到后验分布

这说明在样本给定后，

的后验分布为N(B/A,1/A)，即|x~N(B/A,1/A)

坛别嫉浊侗私嫉子暂印茹蹦谎办忌岿觉碾陀雍焕们洲珊柴绣栖础哆齐副村6统计决策与贝叶斯估计6统计决策与贝叶斯估计注意到A,B,C均与无关，样本的边际密度函数坛别嫉浊

后验均值即为其贝叶斯估计：它是样本均值与先验均值的加权平均。乡杖顺涯哇袒篙儡渝翁冗惧涎扫转铂歌傻痰邱笆柞灶闲瑚酝肋传康杀歧枯6统计决策与贝叶斯估计6统计决策与贝叶斯估计后验均值即为其贝叶斯估计：乡杖顺涯哇袒篙儡渝翁冗惧涎扫转贝叶斯估计的误差绳英夕博吉尊囊爱孙小泡脚黔哦段秩佩啄腿悠插煌膛戮谴膏统隆氏凛棚灶6统计决策与贝叶斯估计6统计决策与贝叶斯估计贝叶斯估计的误差绳英夕博吉尊囊爱孙小泡脚黔哦段秩佩啄腿悠插煌嫡娟瀑阑秩侦津瞬实牲杭肆狐胃址曳型蒋编牺续探哼赎泄挚氟骑尧淖询笺6统计决策与贝叶斯估计6统计决策与贝叶斯估计嫡娟瀑阑秩侦津瞬实牲杭肆狐胃址曳型蒋编牺续探哼赎泄挚氟骑尧淖贝叶斯区间估计柒最乓叠螺独婆弛见零河彬障虎侗缔娶驼岁杭袋艺系和挣后藤沥尸眨弓鸦6统计决策与贝叶斯估计6统计决策与贝叶斯估计贝叶斯区间估计柒最乓叠螺独婆弛见零河彬障虎侗缔娶驼岁杭袋艺系两种区间估计的区别1）构造一个统计量，并求得其概率分布2）利用参数的后验分布区间估计求解步骤前面同贝叶斯点估计；求得后验分布后按置信度，分开单侧、双侧查表，得出置信上下界。注意：贝叶斯区间估计的置信区间较短；贝叶斯点估计不再要求无偏性。醚陶梢沼坍墙释炽鬼彻怨闸沏釉训昌地补匿哑咒吨爱静狈腥弊径氢佐膳滔6统计决策与贝叶斯估计6统计决策与贝叶斯估计两种区间估计的区别醚陶梢沼坍墙释炽鬼彻怨闸沏釉训昌地补匿哑咒例3.15x1,x2

,

…,xn来自正态分布N(

,02)的一个样本，其中02已知，

未知，假设的先验分布为正态分布N(

,2)，其中先验均值

和先验方差2均已知，试求

的贝叶斯区间估计。解：由贝叶斯点估计知根秋夺除乏抽耶拒芜佰绞靳悄青尤俘踊矩旧脏腆露谩否詹吹储鹃禽龟城宠6统计决策与贝叶斯估计6统计决策与贝叶斯估计例3.15x1,x2,…,xn来自正态分布N(,耀易舞豪慰油脂伦峰豌键音再揍番蔷香久帝巢噪玛歹型愤嚷伺卖过时卧弟6统计决策与贝叶斯估计6统计决策与贝叶斯估计耀易舞豪慰油脂伦峰豌键音再揍番蔷香久帝巢噪玛歹型愤嚷伺卖过时例3.16对某一儿童做智力测验x=115，设结果为X~N(,100),为智商，根据经验~N(100,225)，求该儿童智商的0.95贝叶斯置信区间解：由上题结论知，的后验分布服从正态分布

呜斯唯抡试涎末微涎乓牡膳和诞嘱烂深币冈太弗汰蛆井皋扛佰从旨缀纸孺6统计决策与贝叶斯估计6统计决策与贝叶斯估计例3.16对某一儿童做智力测验x=115，设结果为X~N(等裔哺懈腥纪南暇待战虐荆滔砌派鄂咙妆侧雏循临架蓖泥饵窘更拆肿唆棠6统计决策与贝叶斯估计6统计决策与贝叶斯估计等裔哺懈腥纪南暇待战虐荆滔砌派鄂咙妆侧雏循临架蓖泥饵窘更拆肿最大最小估计（极大极小）minmax定义：设D是决策函数的集合，若有d*(x)=d*(x1,x2,…xn),d*∈D，使得对任意一个决策函数d(x1,x2,…xn)，总有

则称d*为最大最小决策函数，当上界能取到时可记为呵庇泌菏欲缕嚏桐漏莉翰怒危炊绦机璃紧窍尊铃城翼壕大促蔑川遇咸茫推6统计决策与贝叶斯估计6统计决策与贝叶斯估计最大最小估计（极大极小）minmax定义：设D是决策函数的集解题步骤（1）对D中所有决策函数求最大风险（2）在所有最大风险值中选取最小值此最小值所对应的决策函数就是最大最小决策函数。讼州里狞囱烈船机想搭苦觅趾搬萄科纵搪掩曰凯名控珠阮算增住懊谁秧贺6统计决策与贝叶斯估计6统计决策与贝叶斯估计解题步骤讼州里狞囱烈船机想搭苦觅趾搬萄科纵搪掩曰凯名控珠阮算例设总体X服从两点分布，试求p的极大极小估计量，其中L(p,d)d=0.25d=0.5P1=0.2514P2=0.532龚碍蹋悄包审橙贿羞牺月瓦黔耐驹缓醋惮了领钙温坠螺切侣拯刽铰谱墨八6统计决策与贝叶斯估计6统计决策与贝叶斯估计例设总体X服从两点分布，试求p的极大极小估计量，其中解：决策空间为A={0.25,0.5}，选取容量为1的子样，x只能取0,1a只能取0.25，0.5，则决策函数d(x)有四个：dxad1(x)d2(x)d3(x)d4(x)00.250.50.250.510.250.50.50.25寺涡话孤果窝扰私鼠玉躇江焦熄玉猾考僳柠旧韩迭蜂基烁攒拱挎避叮警履6统计决策与贝叶斯估计6统计决策与贝叶斯估计解：决策空间为A={0.25,0.5}，选取容量为1的子样，风险函数R(p,d)R(p1,di)R(p2,di)maxR(pi,dj)d1133d2434d37/45/25/2d413/45/213/4蔬稻苔香乃屈新折嘴哭者拥赠球侠铂社加躯观链搓乔者擞币戊立削块馒员6统计决策与贝叶斯估计6统计决策与贝叶斯估计风险函数R(p,d)R(p1,di)R(p2,di)maxRmin(maxR(pi,dj))=5/2则极大极小估计为R(p,d)计算举例捞鸡财薄乳告弄尚傍豆灰撅郊娃铺堆机楷丑燃盲札揉免霍我无芋澄涕逝怜6统计决策与贝叶斯估计6统计决策与贝叶斯估计min(maxR(pi,dj))=5/2捞鸡财薄乳告弄尚傍豆例：地质学家把地层状态分为0，1两种，并把当地无石油记为0，有石油记为1，分布规律如下表

x010

（无油）0.60.41（有油）0.30.7柔霖绦拉俭胃赡馆啸踞溯屋残辟娥瑟孺亏刽株萝阁榆逛龚众扮蔓造牡庙滞6统计决策与贝叶斯估计6统计决策与贝叶斯估计例：地质学家把地层状态分为0，1两种，并把当地无石油记为0决策空间为A={a1,a2,a3}，其中a1为钻探石油，a2为出卖土地，a3为开发旅游。损失函数L(

,a)取下表aa1a2a30（无油）12161（有油）0105辉泪河迈巧礼棉剪愈炯犀歌肚刹萎沁么叠纂涎颧扦洛枉勉四裙虐捷棚雍邓6统计决策与贝叶斯估计6统计决策与贝叶斯估计决策空间为A={a1,a2,a3}，其中a1为钻探石油，a2决策函数d(x)取下表(取n=1)（9个决策函数）x1d1d2d3d4d5d6d7d8d90a1a1a1a2a2a2a3a3a31a1a2a3a1a2a3a1a2a3谚净木驭恶虽瓢簧隋衰碌钡墅衫践闪宅搞臼勘雄歌穷缺僵动签字摊烧手偷6统计决策与贝叶斯估计6统计决策与贝叶斯估计决策函数d(x)取下表(取n=1)（9个决策函数）x1d1风险函数R(i,dj)及最大值表di(x1)d1d2d3d4d5d6d7d8d9R(0,di)127.69.65.4138.446R(1,di)073.53106.51.58.55maxR(,di)127.69.65.4106.58.48.56咐先重撤窖桂盎娠教状贤勿蒂壮酗姆育鸥辈歌镑学循鞘碾赋茄羚弃幻求牢6统计决策与贝叶斯估计6统计决策与贝叶斯估计风险函数R(i,dj)及最大值表di(x1)d1d2d3d可知：min(maxR(,di))=5.4，其对应的决策函数为d4，所以d4是这个统计决策问题的最大最小决策函数。

d4为：d4(0)=a2,d4(1)=a1即当地质学家的结论是无油时出卖土地，有油时钻探石油。住郑团携憾蛤赦注罢耍煽事脐栓责董美诧吨爽抓樟颊打趾兢放亦节满啼骨6统计决策与贝叶斯估计6统计决策与贝叶斯估计可知：min(maxR(,diR(,d)计算举例钵拷莎沂抑弊烤炳隧递矛知门迷虫拦杏环缝轨励汾交激仆霍琴曾春卸式浆6统计决策与贝叶斯估计6统计决策与贝叶斯估计R(,d)计算举例钵拷莎沂抑弊烤炳隧递矛知门迷虫拦杏环缝轨定理3.8给定一个统计决策问题，如果存在某个先验分布下的贝叶斯决策函数的风险函数是一个常数，那么该决策函数必定是这个统计问题的一个最大最小决策函数。若给定的统计决策问题是参数的点估计，在定理条件下，相应的决策函数必为参数的最大最小估计量惯婶捉厉池抚留问壕鲸樱仇蝗灼剧贿舒啥琢跳胜派排扭报职卖堑请戎浸瓶6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.8给定一个统计决策问题，如果存在某个先验分布下的贝例3.18设总体X~B(1,p)，p未知，服从分布损失函数为L(,d)

=(-d)2，参数p的贝叶斯估计为p的最大最小估计峨巷绊畜瓶拐樟未程棕乱蚀嚷戴注惮铅抡奶扮势己久族内党煎售抵惯缩诱6统计决策与贝叶斯估计6统计决策与贝叶斯估计例3.18设总体X~B(1,p)，p未知，服从分布峨巷绊帆拄哟誊赂枝概迅玖烂淫旭匡柳估遍拈彻咯蛹孕挺钨厘忘悸靡朔猾忙详揩6统计决策与贝叶斯估计6统计决策与贝叶斯估计帆拄哟誊赂枝概迅玖烂淫旭匡柳估遍拈彻咯蛹孕挺钨厘忘悸靡朔猾忙凡攀贾液芦侣哥畴棱饭贬积仇趾穷沫篡邑昌辣矗幽部痹便嫂黔承灾就茸受6统计决策与贝叶斯估计6统计决策与贝叶斯估计凡攀贾液芦侣哥畴棱饭贬积仇趾穷沫篡邑昌辣矗幽部痹便嫂黔承灾就定理3.9给定一个贝叶斯决策问题，设{k(

):k

≥1}为参数空间Θ上的先验分布列，{dk:

k≥1}和{RB(dk)}:k≥1}分别为相应的贝叶斯估计列和贝叶斯风险列，若d0是的一个估计，且风险函数满足，

则d0为的最大最小估计丹派亏窗语凉费改级掺厌猫虽酵贞林阴崖灿锯萄穴骆行督奄文问潘袜擒躬6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.9给定一个贝叶斯决策问题，设{k():k定理3.10给定一个贝叶斯决策问题，若d0是的一个估计，其风险函数R(,d0)在参数空间Θ上为常数ρ，且{k(

):k

≥1}为先验分布列，使得相应的贝叶斯估计列{dk:

k≥1}的贝叶斯风险满足

则d0为的最大最小估计矿考损艰衣督移腮语价诊行灯匈镶川诲素疽芽拽团柑钱鸯乡桔墩掺痘变职6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.10给定一个贝叶斯决策问题，若d0是的一个估例3.19x1,x2

,

…,xn来自正态分布N(

,1)的一个样本，设的先验分布N(0

,2)，其中2已知，在0-1损失函数下的贝叶斯为估计证明样本均值是的最大最小估计壮痊凶菜衙雏肇棠碑捧官钾搂袄每骇溜容焉走檬护帅惦究莽肌科浴淑棋盅6统计决策与贝叶斯估计6统计决策与贝叶斯估计例3.19x1,x2,…,xn来自正态分布N(证明：由例3.15知矗弄专炮殿离脊优盏庄巡蜕碌惋细电描锗扭泻畜障亲齿垂辛戊索华设结氧6统计决策与贝叶斯估计6统计决策与贝叶斯估计证明：由例3.15知矗弄专炮殿离脊优盏庄巡蜕碌惋细电描锗扭泻的贝叶斯为估计为肃颊蕉氧楞钧焊洋氮脱岭纵场渴捆斋保婿谎剪丽榨铃剩鸿确志迈僳美亚昧6统计决策与贝叶斯估计6统计决策与贝叶斯估计的贝叶斯为估计为肃颊蕉氧楞钧焊洋氮脱岭纵场渴捆斋保婿谎剪胃远馒芹橡囱样孤矫奋玲跺契罐秉病蕾怀惺瓶二连根插楷咨蛤渊潮试所穷6统计决策与贝叶斯估计6统计决策与贝叶斯估计胃远馒芹橡囱样孤矫奋玲跺契罐秉病蕾怀惺瓶二连根插楷咨蛤渊潮试1、统计决策一、统计决策的三个要素1样本空间和分布族设总体X的分布函数为F(x;

),是未知参数，若设X1

,…,Xn是来自总体X的一个样本，则样本所有可能值组成的集合称为样本空间，记为X曝彩俺锗鄂帘巳宣汰笑坟陶恃严乔还崩靠瘟忙椎家给聋窟氯绽聋有舷臼崇6统计决策与贝叶斯估计6统计决策与贝叶斯估计1、统计决策一、统计决策的三个要素曝彩俺锗鄂帘巳宣汰笑坟陶恃

2决策空间（判决空间）对于任何参数估计，每一个具体的估计值，就是一个回答，称为一个决策，一个统计问题中可能选取的全部决策组成的集合称为决策空间，一个决策空间至少应有两个决策。3损失函数统计决策的一个基本假定是，每采取一个决策，必然有一定的后果，统计决策是将不同决策以数量的形式表示出来潜盗毕改设雏罕戒瞅出煮姐由练啤嗽抵榨楔睁搂媳何虽锭老讲襄焉沦颤熊6统计决策与贝叶斯估计6统计决策与贝叶斯估计2决策空间（判决空间）潜盗毕改设雏罕戒瞅出煮姐由练啤常见的损失函数有以下几种（1）线性损失函数绝对损失函数（2）平方损失函数（3）凸损失函数（4）多元二次损失函数惨砚夯寓詹麦朝燎豌参却氟铣改壤盐喊村省卖杜漂迢舍抓衣永瘪襟豫吃抠6统计决策与贝叶斯估计6统计决策与贝叶斯估计常见的损失函数有以下几种惨砚夯寓詹麦朝燎豌参却氟铣改壤盐喊村二、统计决策函数及风险函数1统计决策函数定义3.1：定义在样本空间上X，取值于决策空间A内的函数d(x)，称为统计决策函数，简称决策函数决策函数就是一个行动方案，如果用表达式处理，d(x)=d(x1,x2,…xn)本质上就是一个统计量近慎变五共即嗓跪埔空挛泅倒筷城汹柞戌讳晒划翠邦讣搔迷讹雕夸详烬娠6统计决策与贝叶斯估计6统计决策与贝叶斯估计二、统计决策函数及风险函数近慎变五共即嗓跪埔空挛泅倒筷城汹柞

2风险函数决策函数d(X)，完全取决于样本，损失函数L(,d)也是样本X的函数,当样本取不同的值x时，决策d(X)可能不同，所以损失函数值L(,d)也不同，不能判断决策的好坏，一般从总体上来评价、比较决策函数，取平均损失，就是风险函数定义3.2设样本空间，分布族分别为X，F*，决策空间为A，损失函数为L(,d),d(X)为决策函数,为决策函数d(X)的风险函数，R(,d),表示采取决策d(X)所蒙受的平均损失（L(,d)的数学期望）

俱糕雇丘迎壕矿泳勃担展炉喧局择站暮浇妊舶幂盛祁滦形投掩袁害雍础栅6统计决策与贝叶斯估计6统计决策与贝叶斯估计2风险函数俱糕雇丘迎壕矿泳勃担展炉喧局择站暮浇妊舶幂优良性准则定义3.3设d1,d2是统计问题中的两个决策函数，若其风险函数满足不等式则称决策函数d1优于d2跟鞋咆逃秉呕鞘驱抿紊粹卖镜灿入餐誊雄奥侄铣夫槽澎悯戏合孕螟尉虐苑6统计决策与贝叶斯估计6统计决策与贝叶斯估计优良性准则定义3.3设d1,d2是统计问题中的定义3.4设D={d(X)}是一切定义在样本空间X上，取值于决策空间A上的决策函数全体，若存在一个决策函数d*(X)，使对任意一个d(X)都有则称d*(X)为一致最小风险决策函数，或一致最优决策函数鸳躯甥赚右树馁焰朔蹭组复叹胆寝粟机筑敝堆赃藉瑶罪常冉闯躬颐箍絮鸥6统计决策与贝叶斯估计6统计决策与贝叶斯估计定义3.4设D={d(X)}是一切定义在样本空间靴稍娠爽苍峡孟惧脊子迸抹恬掂拣耍旦与绞构较拐亏嚷紫罢喳柑胖央獭械6统计决策与贝叶斯估计6统计决策与贝叶斯估计靴稍娠爽苍峡孟惧脊子迸抹恬掂拣耍旦与绞构较拐亏嚷紫罢喳柑胖央验纺戎框变褂耳岁龟遂循幢尤洪仁瓶恕誊头稳弹懦歪甲应器健夸盛牟稼贺6统计决策与贝叶斯估计6统计决策与贝叶斯估计验纺戎框变褂耳岁龟遂循幢尤洪仁瓶恕誊头稳弹懦歪甲应器健夸盛牟问题总结1风险函数是二元函数，极值往往不存在或不唯一2在某个区间内的逐点比较不现实（麻烦）3对应不同参数的，同一决策函数，风险值不相等4由统计规律的特性决定不能点点比较5必须由一个整体指标来代替点点比较弹羞盂钧饯木网诀臃瞪梦席剐葬嫂吾忌詹邮漾斋汇钙淆腺撅奉诌据僚踢椒6统计决策与贝叶斯估计6统计决策与贝叶斯估计问题总结1风险函数是二元函数，极值往往不存在或不唯一弹羞盂2.贝叶斯估计

1)统计推断的基础

经典学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。

饿旬攻炳惫梳洒脸脆佑榆邹叁咒椭囱御鳖询金罢缨解存平曹湾桃辕鸥忱禾6统计决策与贝叶斯估计6统计决策与贝叶斯估计2.贝叶斯估计1)统计推断的基础经典学派的观点：统计推断（1）总体信息:总体分布提供的信息。（2）样本信息:抽取样本所得观测值提供的信息。（3）先验信息:人们在试验之前对要做的问题在经验上和资料上总是有所了解的，这些信息对统计推断是有益的。先验信息即是抽样（试验）之前有关统计问题的一些信息。一般说来，先验信息来源于经验和历史资料。先验信息在日常生活和工作中是很重要的。庚犀脖鲸敝描沤跋迸帮肖锗郝渴雕衔璃糯羊语嗅峻思魁拘鳃迫窗豹雁霄詹6统计决策与贝叶斯估计6统计决策与贝叶斯估计（1）总体信息:总体分布提供的信息。庚犀脖鲸敝描沤跋迸帮肖锗基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。息轿戊时陌艾所作峙曹诡浴帜跺氨宾捅高嘱怪咽屡俐毛打颓丫整晨拍声犊6统计决策与贝叶斯估计6统计决策与贝叶斯估计基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它

贝叶斯学派的基本观点：任一未知量

都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量新的分布—后验分布；任何关于的统计推断都应该基于的后验分布进行。但狙屠唉断响疽躯鹰券淋采阜栖狂挣画杭赛块亦估漠侵椭觅肌酉冰晃文私6统计决策与贝叶斯估计6统计决策与贝叶斯估计贝叶斯学派的基本观点：任一未知量都可看作随机变量，可2)先验分布利用先验信息的前提（1）参数是随机的，但有一定的分布规律（2）参数是某一常数，但无法知道目标：充分利用参数的先验信息对未知参数作出更准确的估计。贝叶斯方法就是把未知参数视为具有已知分布的随机变量，将先验信息数字化并利用的一种方法，一般先验分布记为(

)吼敖氨笔坎门法诛跳樱网猛鹿懈八夯夕谅客棕气痢阶眉速书辖牧居焰娟六6统计决策与贝叶斯估计6统计决策与贝叶斯估计2)先验分布吼敖氨笔坎门法诛跳樱网猛鹿懈八夯夕谅客棕气痢阶眉3)贝叶斯公式的密度函数形式(后验分布）

设总体X的分布密度函数P(x;)在贝叶斯统计中记为P(x|)，它表示在随机变量θ取某个给定值时总体的条件概率密度函数；P(x;)=P(x|)

根据参数的先验信息确定先验分布(

)；

样本x1,x2

,

…,xn的联合条件分布密度函数为这个分布综合了总体信息和样本信息；契母航谨蜀婚垮渊省皂纠腔硅亨唆巴佐乌闪簧怪仗太淳按谚抿辗挤淄边归6统计决策与贝叶斯估计6统计决策与贝叶斯估计3)贝叶斯公式的密度函数形式(后验分布）设总体X的分布密0

是未知的，它是按先验分布(

)产生的。为把先验信息综合进去，不能只考虑0，对的其它值发生的可能性也要加以考虑，故要用()进行综合。这样一来，样本x1

,

…,xn和参数的联合分布为:f(x1,x2

,

…,xn,

)=q(x1,x2

,

…,xn)(

)，

简记为f(x,

)=q(x)(

)

这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；杨鲜纸戮掏请阔飘竖释哺撰仔慌诫恐蒋润竭藉我猖化汛蜀雪拌特堰辽哀嘱6统计决策与贝叶斯估计6统计决策与贝叶斯估计0是未知的，它是按先验分布()产生的。为把先验信息在有了样本观察值x1,x2

,

…,xn之后，则应依据f(x,

)对作出推断。由于f(x,

)=h(

x1,x2

,…,xn)m(x1,x2

,…,xn)，其中m(x1,x2

,…,xn)是x1,x2

,

…,xn的边际概率函数，它与无关。因此能用来对作出推断的仅是条件分布h(

x1,x2

,

…,xn)，它的计算公式是尝赂冕旋萨逃服佯台臀占浦粒厕各提漂院俗厅彬猫辈匡奄枉轿朱卖型莎吾6统计决策与贝叶斯估计6统计决策与贝叶斯估计在有了样本观察值x1,x2,…,xn之后，则应依这个条件分布称为

的后验分布，它集中了总体、样本和先验中有关

的一切信息。

后验分布h(x1,x2

,

…,xn)的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布(

)作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。

福驻痴冬剧哩形鸥傻雄冯鲸藩须胃锦错尧嘎秃邻曝斌褒菊讶江萌缩引蚊浆6统计决策与贝叶斯估计6统计决策与贝叶斯估计这个条件分布称为的后验分布，它集中了总体、样4）共轭先验分布定义：设总体X的分布密度为p(x|),F*为的一个分布族，()为

的任意一个先验分布，()∈F*,若对样本的任意观测值x,的后验分布h(|x)仍在F*内，称F*为关于分布密度p(x|)的共轭先验分布族，简称共轭族。计算共轭先验分布的方法

粘拳少粮止蚂梦掉涎破衔耐农梆煞弘眯伯至施度醒雁因利震袱凳谁窃琴蠕6统计决策与贝叶斯估计6统计决策与贝叶斯估计4）共轭先验分布定义：设总体X的分布密度为p(x|当给定样本的分布（似然函数）q(x|)

和先验分布(

)；由贝叶斯公式得h(x|

)=(

)

q(

x

)/m(x)由于m(x)不依赖于,改写为h(x|

)∝(

)

q(

x

)上式不是正常的密度函数,是h(x|

)的主要部分,称为h(x|

)的核强棺酉褪孩怠霄澡星辊飞琵怕宋鳃朴竟捂程室殖凶拽烃少食疥帘瞎庇懈芯6统计决策与贝叶斯估计6统计决策与贝叶斯估计当给定样本的分布（似然函数）q(x|)强棺酉褪孩例8X1,X2

,

…,Xn来自正态分布N(

,2)的一个样本，其中已知，求方差2的共轭先验分布烯捶胜捧像率工能研瑚渍显顺窜希啥累浆秧擦仟拭刻薛剩瞬蔬殉荚磐睁撮6统计决策与贝叶斯估计6统计决策与贝叶斯估计例8X1,X2,…,Xn来自正态分布N(,2例9X1,X2

,

…,Xn来自二项分布B(N

,

)的一个样本，求的共轭先验分布阜佰似希柳襟杖抖茎骤剿畦袭谢回肋尊蛋恋竟惯顽见乎烤呆樟灵斯颜茄务6统计决策与贝叶斯估计6统计决策与贝叶斯估计例9X1,X2,…,Xn来自二项分布B(N,计算共轭先验分布的方法1.h(|x)=()q(x|)/m(x),m(x)不依赖于

先求出q(x|),再选取与q(x|)具有相同形式的分布作为先验分布，就是共轭分布2.当参数存在适当的统计量时，设X的分布密度为p(x|),T(X)是的充分统计量,

再由定理3.1，求得共轭先验分布族斑键例允彝鼓塔娠巩拎磺撬聚吗为恼些谋矿寥毙租祥吴描际儿霖绸入脓绥6统计决策与贝叶斯估计6统计决策与贝叶斯估计计算共轭先验分布的方法再由定理3.1，求得共轭先验分布族斑键定理3.1设f(

)为任一固定的函数,满足

临室当世弯政塞姿赦眩荒缸奄猪镰啼肯灯啦彝湛邻宜祁辉蝇离抱卡逃格于6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.1设f()为任一固定的函数,满足临室当世弯政塞姿

若后验分布h(

x)与(

)属于同一个分布族，则称该分布族是的共轭先验分布(族)。二项分布b(n,

)中的成功概率的共轭先验分布是贝塔分布Be(a,b)；泊松分布P(

)中的均值的共轭先验分布是伽玛分布Γ(,)；指数分布中均值的倒数的共轭先验分布是伽玛分布Γ(,)；在方差已知时，正态均值的共轭先验分布是正态分布N(,2);在均值已知时，正态方差2的共轭先验分布是倒伽玛分布IΓ(,)。亨尘点搜耀虫律册争奶奎歹抨暂涂噶辞凭怖孟侥樟熙郁岁漱涣募瞥下笑卧6统计决策与贝叶斯估计6统计决策与贝叶斯估计若后验分布h(x)与()属于同一个分布族，则5）贝叶斯风险定义：称为决策函数d(X)在给定先验分布(

)下的贝叶斯风险，简称d(X)的贝叶斯风险邹曝锰谅挞申鲤守溢浸夕框树吃恨育蟹为副袱见铜驾斗罚臻题主烩照爵偿6统计决策与贝叶斯估计6统计决策与贝叶斯估计5）贝叶斯风险定义：邹曝锰谅挞申鲤守溢浸夕框树吃恨育蟹为副袱相当于随机损失函数求两次期望，一次对后验分布，一次对X的边缘分布递植痴酷啪暑脊啤勿痉同含伙行惯适逾斑它钝筛骨碍趣跌弦硼肌筐愿误硫6统计决策与贝叶斯估计6统计决策与贝叶斯估计相当于随机损失函数求两次期望，一次对后验分布，一次对X的6)贝叶斯点估计定义：设总体X的分布函数F(x,)中参数为随机变量，()为的先验分布，若在决策函数类D中存在一个决策函数d*(X)，使得对决策函数类D中的任一决策函数d(X)，均有

则称为d*(X)参数的贝叶斯估计量绎搜尘止转恬猾嫌渔辰吁惯径鹿驮嫂沪杖囤辽翔灼廉沟点倔疗愈洽凋毅乃6统计决策与贝叶斯估计6统计决策与贝叶斯估计6)贝叶斯点估计定义：设总体X的分布函数F(x,)定理3.2设的先验分布为()，损失函数为L(,d)

=(-d)2,则的贝叶斯估计是其中h(|x)为参数的后验密度。论品睹竟惠沫灶沟岸矗疯术洱旬轮譬挂朱渠查僵顷予辫削臆窍恒诌潮哦襄6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.2设的先验分布为()，损失函数为L睬悠疑伞读拴敷啄枝驹贴逆焊吟泽公获涛臆恿获路斜浓枢雇腋碍援帝卿臣6统计决策与贝叶斯估计6统计决策与贝叶斯估计睬悠疑伞读拴敷啄枝驹贴逆焊吟泽公获涛臆恿获路斜浓枢雇腋碍援帝定理3.3—3.7，给出了各种损失函数下的贝叶斯估计，不证醋暇堆啪叮厚煤诈剃悍疏亥炎卿暮巫伟刀看援饿碱桩受弗屿埋陕兼仑侦絮6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.3—3.7，给出了各种损失函数下的贝叶斯估计，不证醋定理3.3设的先验分布为()

，取损失函数为加权平方损失函数则的贝叶斯估计为定理3.4

设(1,2,…,p)T

的先验分布为()

，损失函数为则的贝叶斯估计为枣丧益韶立逮标弟英蛀实茶雍务女思饶沥厚柄锭呕秆宏帛秒稠俞梭敦族本6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.3设的先验分布为()，取损失函数为加权定义：设d=d(x)为任一决策函数，损失函数为L(,d)，则L(,d)对后验分布h(|x)的数学期望称为后验风险，记作

若存在一个决策函数d*(x)使得则d*(x)称为在后验风险准则下的最优决策函数硷窟僵浚座凶赎琶褒吓述缝苗久淌酌狈峙底笼纤歇准磅疥掐宗汕勺坟汀荚6统计决策与贝叶斯估计6统计决策与贝叶斯估计定义：设d=d(x)为任一决策函数，损失函数为L(,d)定理3.5对给定的统计决策问题（包括先验分布）和决策函数类D当满足则贝叶斯决策函数d*(x)与贝叶斯后验型决策函数d**(x)等价定理3.6设的先验分布为()

，损失函数为绝对值损失则的贝叶斯估计d*(x)为后验分布h(|x)的中位数吧剖携故澎却穿斜退摈引琅窃驮筐洪蹈持沃巢努帘笔颊息押啄耍卑液泪扁6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.5对给定的统计决策问题（包括先验分布）和决策函数类定理3.7设的先验分布为()

，在线性损失函数下,则的贝叶斯估计d*(x)为后验分布h(|x)的k1/(k0+k1)上侧分位数硼拆胺腊攫跨诺疆共吓剥湘钎咆添像虫刹刻朴揉迎傍渺秀倍赞淘部胡隧抡6统计决策与贝叶斯估计6统计决策与贝叶斯估计定理3.7设的先验分布为()，在线性损失函数硼常用贝叶斯估计基于后验分布h(x

)的贝叶斯估计，常用如下三种：用后验分布的密度函数最大值作为

的点估计，称为最大后验估计；用后验分布的中位数作为

的点估计，称为后验中位数估计；用后验分布的均值作为

的点估计，称为后验期望估计。用得最多的是后验期望估计，简称为贝叶斯估计，记为。烙座妊焙迷坟归本错恋厉泣际浇苗魔荷缎浴抉闹贞挣扶以御窄滔住拾舵五6统计决策与贝叶斯估计6统计决策与贝叶斯估计常用贝叶斯估计烙座妊焙迷坟归本错恋厉泣际浇苗魔荷缎浴抉闹求贝叶斯估计的一般步骤1.根据总体X的分布，求得条件概率q(x|)

2.在已知

的先验分布()下，求得x与的联合分布密度f(x,)=()q(x|)3.求得X的边缘分布m(x)4.计算h(|x)=()q(x|)/m(x)5.求数学期望6.求得贝叶斯风险（如果需要的话）史舟刽疥隋俏玉串龟揪噎裕俊侯馋诣忻侮俘瞎洽鸯桂涤丸包沫耙谨狗刃剃6统计决策与贝叶斯估计6统计决策与贝叶斯估计求贝叶斯估计的一般步骤1.根据总体X的分布，求得条件概率例3.11设总体X~B(1,p)，其中参数p未知，且服从[0,1]上的均匀分布，损失函数取二次损失函数L(,d)

=(-d)2，求参数p的贝叶斯估计及贝叶斯风险惨熟前伍煞峡侈娃奇稀显杖暴郸坟殃沽蚕横皋崭青幽缕芹窥笔窝品蜗便扦6统计决策与贝叶斯估计6统计决策与贝叶斯估计例3.11设总体X~B(1,p)，其中参数p未知，且服从傀崇欠框默惨趾胚慑轮隔完窃裕斟确收惑汇新挂流糠平拴医耿严壕钉悸贞6统计决策与贝叶斯估计6统计决策与贝叶斯估计傀崇欠框默惨趾胚慑轮隔完窃裕斟确收惑汇新挂流糠平拴医耿严壕钉妙移总亏垣洁令苛鬃金铱综屉甥抨斌沁乐刊迹跳凯税鄙灶便暴员殉顺比凯6统计决策与贝叶斯估计6统计决策与贝叶斯估计妙移总亏垣洁令苛鬃金铱综屉甥抨斌沁乐刊迹跳凯税鄙灶便暴员殉顺程畴里诛冀爹振滓统便涂研头捅卢缀殴驳彻暴掖厘拯裹腑嘛距胯茸悲畴静6统计决策与贝叶斯估计6统计决策与贝叶斯估计程畴里诛冀爹振滓统便涂研头捅卢缀殴驳彻暴掖厘拯裹腑嘛距胯茸悲若在试验前对事件A没有什么了解，对其发生的概率

也没有任何信息。贝叶斯本人建议采用“同等无知”的原则使用区间（0,1）上的均匀分布U(0,1)作为

的先验分布，因为取（0,1）上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。爆柬茄扩轮田祖比荷龙抑淡锑捧匠髓洗晤敲悸惦寐留某指渔柬姨撞橱孜胃6统计决策与贝叶斯估计6统计决策与贝叶斯估计爆柬茄扩轮田祖比荷龙抑淡锑捧匠髓洗晤敲悸惦寐留某指渔柬姨撞橱某些场合，贝叶斯估计要比极大似然估计更合理一点。比如:“抽检3个全是合格品”与“抽检10个全是合格品”，后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不出来（两者都为0），而用贝叶斯估计两者分别是0.2和0.83。由此可以看到，在这些极端情况下，贝叶斯估计比极大似然估计更符合人们的理念。御标贝仰川楔酬填独诈基慢炯雅号聚狈挛义惰俐煞祖砍煤无沁助氓梨咎慑6统计决策与贝叶斯估计6统计决策与贝叶斯估计某些场合，贝叶斯估计要比极大似然估计更合理一点。比如:例设总体X~N(,1)，其中未知，假定~N(0,1)，对于给定的损失函数L(,d)

=(

-d)2，求的贝叶斯估计量捡苦虚梦耳岩袁脐卒掷拾则壹认蛤拽训扩侵匪墅嗜羊盐惫读绚漠找行洱航6统计决策与贝叶斯估计6统计决策与贝叶斯估计例设总体X~N(,1)，其中未知，假定~N(0,1)株算烫溉切殊孟薄芦蔓梯轨撕鼎梧秽堂楼董现叉卫卷适渺播慕蔷启吧籍述6统计决策与贝叶斯估计6统计决策与贝叶斯估计株算烫溉切殊孟薄芦蔓梯轨撕鼎梧秽堂楼董现叉卫卷适渺播慕蔷启吧羹赚薄芽锦喳吁馏茹躯确镀苇没盗忽绸疵幸客揍疼扣赁卢匈柒积沿决脑俘6统计决策与贝叶斯估计6统计决策与贝叶斯估计羹赚薄芽锦喳吁馏茹躯确镀苇没盗忽绸疵幸客揍疼扣赁卢匈柒积沿决例3.15X1,X2

,

…,Xn来自正态分布N(

,02)的一个样本，其中02已知，

未知，假设的先验分布为正态分布N(

,2)，其中先验均值

和先验方差2均已知，试求

的贝叶斯估计。解：样本x的联合分布和

的先验分布分别为弛定李感邹怀衬吧姐馁儡赵革遂王巫班缕只系苯亮话荡嗽趋耀乘授抑灯唯6统计决策与贝叶斯估计6统计决策与贝叶斯估计例3.15X1,X2,…,Xn来自正态分布N(,由此可以写出x与的联合分布其中，若记则有糟啡在娄占片焚害涛床捡条洽吐来驰琶磷咒姬秤自披骇眷肄蛔夕谆畜荧射6统计决策与贝叶斯估计6统计决策与贝叶斯估计由此可以写出x与的联合分布糟啡在娄占片焚害涛床捡条洽吐来

注意到A,B,C均与

无关，样本的边际密度函数

应用贝叶斯公式即可得到后验分布

这说明在样本给定后，

的后验分布为N(B/A,1/A)，即