统计决策与贝叶斯估计

1、统计决策一、统计决策的三个要素1样本空间和分布族设总体X的分布函数为F(x;

),是未知参数，若设X1

,…,Xn是来自总体X的一个样本，则样本所有可能值组成的集合称为样本空间，记为X

2决策空间（判决空间）对于任何参数估计，每一个具体的估计值，就是一个回答，称为一个决策，一个统计问题中可能选取的全部决策组成的集合称为决策空间，一个决策空间至少应有两个决策。3损失函数统计决策的一个基本假定是，每采取一个决策，必然有一定的后果，统计决策是将不同决策以数量的形式表示出来常见的损失函数有以下几种（1）线性损失函数绝对损失函数（2）平方损失函数（3）凸损失函数（4）多元二次损失函数二、统计决策函数及风险函数1统计决策函数定义3.1：定义在样本空间上X，取值于决策空间A内的函数d(x)，称为统计决策函数，简称决策函数决策函数就是一个行动方案，如果用表达式处理，d(x)=d(x1,x2,…xn)本质上就是一个统计量

2风险函数决策函数d(X)，完全取决于样本，损失函数L(,d)也是样本X的函数,当样本取不同的值x时，决策d(X)可能不同，所以损失函数值L(,d)也不同，不能判断决策的好坏，一般从总体上来评价、比较决策函数，取平均损失，就是风险函数定义3.2设样本空间，分布族分别为X，F*，决策空间为A，损失函数为L(,d),d(X)为决策函数,为决策函数d(X)的风险函数，R(,d),表示采取决策d(X)所蒙受的平均损失（L(,d)的数学期望）

优良性准则定义3.3设d1,d2是统计问题中的两个决策函数，若其风险函数满足不等式则称决策函数d1优于d2定义3.4设D={d(X)}是一切定义在样本空间X上，取值于决策空间A上的决策函数全体，若存在一个决策函数d*(X)，使对任意一个d(X)都有则称d*(X)为一致最小风险决策函数，或一致最优决策函数问题总结1风险函数是二元函数，极值往往不存在或不唯一2在某个区间内的逐点比较不现实（麻烦）3对应不同参数的，同一决策函数，风险值不相等4由统计规律的特性决定不能点点比较5必须由一个整体指标来代替点点比较2.贝叶斯斯估计计1)统统计推推断的的基础础经典学学派的观点点：统计推推断是是根据据样本本信息息对总总体分分布或或总体体的特特征数数进行行推断断，这这里用用到两两种信信息：：总体信信息和样本信信息；贝叶斯斯学派派的观点点：除除了上上述两两种信信息以以外，，统计计推断断还应应该使使用第第三种种信息息：先验信信息。。（1））总体信信息:总体分分布提提供的的信息息。（2））样本信信息:抽取样样本所所得观观测值值提供供的信信息。。（3））先验信信息:人们在在试验验之前前对要要做的的问题题在经经验上和和资料料上总总是有有所了了解的的，这这些信信息对对统计推推断是是有益益的。。先验验信息息即是是抽样样（试试验）之之前有有关统统计问问题的的一些些信息息。一一般说说来，先先验信信息来来源于于经验验和历历史资资料。。先验验信息在在日常常生活活和工工作中中是很很重要要的。。基于上上述三三种信信息进进行统统计推推断的的统计计学称称为贝叶斯斯统计计学。。它与经经典统统计学学的差差别就就在于于是否否利用用先验验信息息。贝贝叶斯斯统计计在重重视使使用总总体信信息和和样本本信息息的同同时，，还注注意先先验信信息的的收集集、挖挖掘和和加工工，使使它数数量化化，形形成先先验分分布，，参加加到统统计推推断中中来，，以提提高统统计推推断的的质量量。忽忽视先先验信信息的的利用用，有有时是是一种种浪费费，有有时还还会导导出不不合理理的结结论。。贝叶斯斯学派派的基基本观观点：：任一未未知量量都可看看作随随机变变量，，可用一一个概概率分分布去去描述述，这这个分分布称称为先先验分分布；；在获得得样本本之后后，总总体分分布、、样本本与先先验分分布通通过贝贝叶斯斯公式式结合合起来来得到到一个个关于于未知知量新的分分布——后验分分布；任何何关于于的统计计推断断都应应该基基于的后验验分布布进行行。2)先先验分分布利用先先验信信息的的前提提（1）参数数是随机的的，但有一一定的分布布规律（2）参数数是某一常常数，但无无法知道目标：充分分利用参数数的先验信信息对未知知参数作出出更准确的的估计。贝叶斯方法法就是把未未知参数视视为具有已已知分布的的随机变量量，将先验验信息数字字化并利用用的一种方方法，一般般先验分布布记为()3)贝叶斯斯公式的密密度函数形形式(后验验分布）设总体X的分布密度度函数P(x;)在贝叶斯统统计中记为为P(x|)，它表示在在随机变量量θ取某个给定定值时总体体的条件概率密密度函数；；P(x;)=P(x|)根据参数的先验信息息确定先验分布()；样本x1,x2,…,xn的联合条件分分布密度函函数为这个分布综综合了总体体信息和样样本信息；0是未知的，，它是按先先验分布()产生的。为为把先验信信息综合进进去，不能能只考虑0，对的其它值发发生的可能能性也要加加以考虑，，故要用()进行综合。。这样一来来，样本x1,…,xn和参数的联合分布为为:f(x1,x2,…,xn,)=q(x1,x2,…,xn)()，简记为f(x,)=q(x)()这个联合分分布把总体体信息、样样本信息和和先验信息息三种可用用信息都综综合进去了了；在有了样本本观察值x1,x2,…,xn之后，则应应依据f(x,)对作出推断。。由于f(x,)=h(x1,x2,…,xn)m(x1,x2,…,xn)，其中m(x1,x2,…,xn)是x1,x2,…,xn的边际概率率函数，它它与无关。因此此能用来对对作出推断的的仅是条件件分布h(x1,x2,…,xn)，它的计算算公式是这个条件分分布称为的后验分布，，它集中了总总体、样本本和先验中中有关的一切信息息。后验分布h(x1,x2,…,xn)的计算公式式就是用密密度函数表表示的贝叶叶斯公式。。它是用总总体和样本本对先验分分布()作调整的结结果，贝叶叶斯统计的的一切推断断都基于后后验分布进进行。4）共轭先先验分布定义：设总总体X的分布密度度为p(x|),F*为的一个分布布族，()为的任意一个个先验分布布，()∈F*,若对样本的的任意观测测值x,的后验分布布h(|x)仍在F*内，称F*为关于分布布密度p(x|)的共轭先验验分布族，，简称共轭轭族。计算共轭先先验分布的的方法当给定样本本的分布（（似然函数数）q(x|)和先验分布()；由贝叶斯公公式得h(x|)=()q(x)/m(x)由于m(x)不依赖于于,改写为为h(x|)∝()q(x)上式不是正正常的密度度函数,是是h(x|)的主要要部分,称称为h(x|)的核例8X1,X2,…,Xn来自正态分布布N(,2)的一个样本，，其中已知，求方差差2的共轭先验分分布例9X1,X2,…,Xn来自二项分布布B(N,)的一个样本，，求的共轭先验分分布计算共轭先验验分布的方法法1.h(|x)=()q(x|)/m(x),m(x)不依赖于先求出q(x|),再选取与与q(x|)具有相同形形式的分布作作为先验分布布，就是共轭轭分布2.当参数存在适当的统统计量时，设设X的分布密度为为p(x|),T(X)是的充分统计量量,再由定理3.1，求得共共轭先验分布布族定理3.1设设f()为任一固定定的函数,满满足若后验分布h(x)与()属于同一个分分布族，则称称该分布族是是的共轭先验分布布(族)。二项分布b(n,)中的成功概率率的共轭先验分分布是贝塔分分布Be(a,b)；泊松分布P()中的均值的共轭先验分分布是伽玛分布Γ(,)；指数分布中均均值的倒数的的共轭先验分分布是伽玛分分布Γ(,)；在方差已知时时，正态均值值的共轭先验分分布是正态分分布N(,2);在均值已知时时，正态方差差2的共轭先验分分布是倒伽玛玛分布IΓ(,)。5）贝叶斯风风险定义：称为决策函数数d(X)在给定先验验分布()下的贝叶斯风险险，简称d(X)的贝叶斯风风险相当于随机损损失函数求两两次期望，一一次对后验分布，一一次对X的边缘分布6)贝叶斯斯点估计定义：设总体X的分布函数F(x,)中参数为随机变量，，()为的先验分布，，若在决策函函数类D中存在一个决决策函数d*(X)，使得对决决策函数类D中的任一决策策函数d(X)，均有则称为d*(X)参数的贝叶斯估计计量定理3.2设的先验分布为为()，损失函数为为L(,d)=(-d)2,则的贝叶斯估计计是其中h(|x)为参数的后验密度。定理3.3——3.7，给给出了各种损损失函数下的的贝叶斯估计计，不证定理3.3设的先验分布为为()，取损失函数数为加权平方方损失函数则的贝叶斯估计计为定理3.4设(1,2,…,p)T的先验分布为为()，损失函数为为则的贝叶斯估计计为定义：设d=d(x)为任一决策策函数，损失失函数为L(,d)，则L(,d)对后验分布h(|x)的数学期望称称为后验风险险，记作若存在一个决决策函数d*(x)使得则d*(x)称为在后验验风险准则下下的最优决策策函数定理3.5对给定的统计计决策问题（（包括先验分分布）和决策策函数类D当满足则贝叶斯决策策函数d*(x)与贝叶斯后后验型决策函函数d**(x)等价定理3.6设的先验分布布为()，损失函数为为绝对值损失失则的贝叶斯估计计d*(x)为后验分布h(|x)的中位数定理3.7设的先验分布为为()，在线性损失失函数下,则的贝叶斯估计计d*(x)为后验分布h(|x)的k1/(k0+k1)上侧分位位数常用贝叶斯斯估计基于后验分分布h(x)的贝叶斯估估计，常用用如下三种种：用后验分布布的密度函函数最大值值作为的点估计，，称为最大大后验估计计；用后验分布布的中位数数作为的点估计，，称为后验验中位数估估计；用后验分布布的均值作作为的点估计，，称为后验验期望估计计。用得最最多的是后后验期望估估计，简称称为贝叶斯斯估计，记记为。。求贝叶斯估估计的一般般步骤1.根据据总体X的分布，求求得条件概概率q(x|)2.在已已知的先验分布布()下，求得x与的联合分布布密度f(x,)=()q(x|)3.求得得X的边缘分布布m(x)4.计算算h(|x)=()q(x|)/m(x)5.求数数学期望6.求得得贝叶斯风风险（如果果需要的话话）例3.11设总体体X~B(1,p)，其中参参数p未知，且服服从[0,1]上的的均匀分布布，损失函函数取二次次损失函数数L(,d)=(-d)2，求参数p的贝叶斯估估计及贝叶叶斯风险若在试验前前对事件A没有什么了了解，对其其发生的概概率也没有任何何信息。贝贝叶斯本人人建议采用用“同等无无知”的原原则使用区区间（0,1））上的均匀分分布U(0,1)作为的先验分布布，因为取取（0,1））上的每一点点的机会均均等。贝叶叶斯的这个个建议被后后人称为贝贝叶斯假设设。某些场合，，贝叶斯估估计要比极极大似然估估计更合理理一点。比比如:““抽检检3个全是是合格品””与“抽检检10个全全是合格品品”，后者者的质量比比前者更信信得过。这这种差别在在不合格品品率的极大大似然估计计中反映不不出来（两者都为0）），而用贝贝叶斯估计计两者分分别别是是0.2和和0.83。。由此此可可以以看看到到，，在在这这些些极极端端情情况况下下，，贝贝叶叶斯斯估估计计比比极极大大似似然然估估计计更更符符合合人人们们的的理理念念。。例设设总总体体X~N(,1)，其其中中未知知，，假假定定~N(0,1)，对对于于给给定定的的损损失失函函数数L(,d)=(-d)2，求求的贝叶叶斯斯估估计计量量例3.15X1,X2,…,Xn来自自正正态态分分布布N(,02)的一一个个样样本本，，其其中中02已知知，，未知知，，假假设设的先先验验分分布布为为正正态态分分布布N(,2)，其其中中先先验验均均值值和先先验验方方差差2均已已知知，，试试求求的贝贝叶叶斯斯估估计计。。解：：样本本x的联联合合分分布布和和的先先验验分分布布分分别别为为由此此可可以以写写出出x与的联联合合分分布布其中中，，若记记则有有注意意到到A,B,C均与与无关关，，样样本本的的边边际际密密度度函函数数应用用贝贝叶叶斯斯公公式式即即可可得得到到后后验验分分布布这说说明明在在样样本本给给定定后后，，的后后验验分分布布为为N(B/A,1/A)，即即|x~N(B/A,1/A)后验验均均值值即即为为其其贝贝叶叶斯斯估估计计：：它是是样样本本均均值值与与先先验验均均值值的加加权权平平均均。。贝叶叶斯斯估估计计的的误误差差贝叶叶斯斯区区间间估估计计两种种区区间间估估计计的的区区别别1））构构造造一一个个统统计计量量，，并并求求得得其其概概率率分分布布2））利利用用参参数数的的后后验验分分布布区间间估估计计求求解解步步骤骤前面面同同贝贝叶叶斯斯点点估估计计；；求得得后后验验分分布布后后按按置置信信度度，，分分开开单单侧侧、、双双侧侧查查表表，，得得出出置置信信上上下下界界。。注意意：：贝贝叶叶斯斯区区间间估估计计的的置置信信区区间间较较短短；；贝叶叶斯斯点点估估计计不不再再要要求求无无偏偏性性。。例3.15x1,x2,…,xn来自自正正态态分分布布N(,02)的一一个个样样本本，，其其中中02已知知，，未知知，，假假设设的先先验验分分布布为为正正态态分分布布N(,2)，其其中中先先验验均均值值和先先验验方方差差2均已已知知，，试试求求的贝贝叶叶斯斯区区间间估估计计。。解：：由由贝贝叶叶斯斯点点估估计计知知例3.16对对某某一一儿儿童童做做智智力力测测验验x=115，，设设结结果果为为X~N(,100),为智智商商，，根据据经经验验~N(100,225)，求求该该儿儿童童智智商商的的0.95贝贝叶叶斯斯置置信信区区间间解：：由由上上题题结结论论知知，，的后后验验分分布布服服从从正正态态分分布布最大大最最小小估估计计（（极极大大极极小小））minmax定义义：：设设D是决决策策函函数数的的集集合合，，若若有有d*(x)=d*(x1,x2,…xn),d*∈D，使得对任任意一个个决策函函数d(x1,x2,…xn)，总总有则称d*为最大最最小决策策函数，，当上界界能取到到时可记记为解题步骤骤（1）对对D中所有决决策函数数求最大大风险（2）在在所有最最大风险险值中选选取最小小值此最小值值所对应应的决策策函数就就是最大大最小决决策函数数。例设总体体X服从两点点分布，，试求p的极大极极小估计计量，其其中L(p,d)d=0.25d=0.5P1=0.2514P2=0.532解：决策策空间为为A={0.25,0.5}，选选取容量量为1的的子样，，x只能取0,1a只能取0.25，0.5，则则决策函函数d(x)有四个个：dxad1(x)d2(x)d3(x)d4(x)00.250.50.250.510.250.50.50.25风险函数数R(p,d)R(p1,di)R(p2,di)maxR(pi,dj)d1133d2434d37/45/25/2d413/45/213/4min(maxR(pi,dj))=5/2则极大极极小估计计为R(p,d)计算举举例例：地质质学家把把地层状状态分为为0，1两种，，并把当当地无石石油记为为0，有石油记记为1，分布规律律如下表表x010

（无油）0.60.41（有油）0.30.7决策空间间为A={a1,a2,a3}，其其中a1为钻探探石油，，a2为出卖卖土地，，a3为开发发旅游。。损失函数数L(,a)取下表aa1a2a30（无油）12161（有油）0105决策函数数d(x)取下表表(取n=1)（（9个决决策函数数）x1d1d2d3d4d5d6d7d8d90a1a1a1a2a2a2a3a3a31a1a2a3a1a2a3a1a2a3风险函数数R(i,dj)及最大值值表di(x1)d1d2d3d4d5d6d7d8d9R(