演示文稿一非参数经验贝叶斯估计

演示文稿一非参数经验贝叶斯估计当前第1页\共有55页\编于星期二\9点（优选）一非参数经验贝叶斯估计当前第2页\共有55页\编于星期二\9点0、背景与意义

贝叶斯估计存在的问题：先验分布的确定如何客观地确定先验分布？

根据历史资料数据（即经验）确定该问题的先验分布，其对应的贝叶斯估计称为经验贝叶斯估计.该方法是由Robbins在1955年提出的.经验贝叶斯估计分类（共两类）

非参数经验贝叶斯估计

参数经验贝叶斯估计当前第3页\共有55页\编于星期二\9点一、非参数经验贝叶斯估计例1（p109例3.20)1、问题引入当前第4页\共有55页\编于星期二\9点如果先验分布G(x)未知，该如何计算？当前第5页\共有55页\编于星期二\9点2、经验贝叶斯决策函数当先验分布未知时，如何利用历史资料（经验资料）定义3.11的信息得到最优贝叶斯估计？当前第6页\共有55页\编于星期二\9点当前第7页\共有55页\编于星期二\9点使得上式达到最小的决策函数为经验贝叶斯决策函数定义渐近最优贝叶斯决策函数当前第8页\共有55页\编于星期二\9点例2(续例p109例3.20)当前第9页\共有55页\编于星期二\9点例3(p110例3.21)当前第10页\共有55页\编于星期二\9点由这两个例子可以看到，经验贝叶斯估计一方面依赖贝叶斯估计理论，同时也依赖于非参数估计方法。当前第11页\共有55页\编于星期二\9点定理4.1则是共轭先验分布族，其中二、参数经验贝叶斯估计当前第12页\共有55页\编于星期二\9点例4(p126例4.10)解其似然函数为当前第13页\共有55页\编于星期二\9点

显然此共轭分布族为分布的子族，因而，两点分布的共轭先验分布族为分布.常见共轭先验分布倒分布方差²正态分布（均值已知）正态分布N(,²)均值正态分布（方差已知）分布()均值的倒数指数分布分布()均值泊松分布分布(,)成功概率p二项分布共轭先验分布参数总体分布当前第14页\共有55页\编于星期二\9点二、参数经验贝叶斯估计

由第一小节内容可知，给定损失函数以后，风险函数定义为此积分仍为的函数，在给定的先验分布()时，定义为决策函数d在给定先验分布()下的贝叶斯风险，简称为d的贝叶斯风险.1、贝叶斯风险的定义当前第15页\共有55页\编于星期二\9点2、贝叶斯风险的计算当X与都是连续性随机变量时，贝叶斯风险为当前第16页\共有55页\编于星期二\9点当X与都是离散型随机变量时，贝叶斯风险为注由上述计算可以看出，贝叶斯风险为计算两次期望值得到,即此风险大小只与决策函数d有关，而不再依赖参数.因此以此来衡量决策函数优良性更合理当前第17页\共有55页\编于星期二\9点1、贝叶斯点估计定义4.6若总体X的分布函数F(x,)中参数为随机变量，()为的先验分布，若决策函数类D中存在一个决策函数使得对决策函数类中的任一决策函数均有当前第18页\共有55页\编于星期二\9点注1、贝叶斯估计是使贝叶斯风险达到最小的决策函数.2、不同的先验分布，对应不同的贝叶斯估计2、贝叶斯点估计的计算平方损失下的贝叶斯估计定理4.2设的先验分布为()和损失函数为则的贝叶斯估计为当前第19页\共有55页\编于星期二\9点证首先对贝叶斯风险做变换又因为当前第20页\共有55页\编于星期二\9点又因为则因而当前第21页\共有55页\编于星期二\9点定理4.3

设的先验分布为()和损失函数为加权平方损失则的贝叶斯估计为证明略，此证明定理4.2的证明类似.当前第22页\共有55页\编于星期二\9点定理4.4

设参数为随机向量，先验分布为()和损失函数为二次损失函数注其中Q为正定矩阵，则的贝叶斯估计为后验分布h(|x)的均值向量，即

定理表明，正定二次损失下，的贝叶斯估计不受正定矩阵Q的选取干扰，表现出其稳健性.当前第23页\共有55页\编于星期二\9点证在二次损失下，任一个决策函数向量d(x)=其中第二项为常数，而第一项非负，因而只需当当前第24页\共有55页\编于星期二\9点定义4.7设d=d(x)为决策函数类D中任一决策函数，损失函数为L(,d(x)),则L(,d(x)),对后验分布h(|x)的数学期望称为后验风险，记为注如果存在一个决策函数，使得则称此决策为后验风险准则下的最优决策函数，或称为贝叶斯（后验型）决策函数。当前第25页\共有55页\编于星期二\9点定理4.5对给定的统计决策问题(包含先验分布给定的情形）和决策函数类D,当贝叶斯风险满足如下条件：

定理表明：如果决策函数使得贝叶斯风险最小，此决策函数也使得后验风险最小，反之，也成立.证明从略当前第26页\共有55页\编于星期二\9点定理4.6设的先验分布为()和损失函数为证则的贝叶斯估计为设m为h(|x)的中位数，又设d=d(x)为的另一估计，为确定期间，先设d>m,由绝对损失函数的定义可得当前第27页\共有55页\编于星期二\9点又由于则由于m是中位数，因而则有当前第28页\共有55页\编于星期二\9点于是，当d>m时同理可证，当d<m时因而当前第29页\共有55页\编于星期二\9点定理4.7设的先验分布为()和损失函数为则的贝叶斯估计为证首先计算任一决策函数d(x)的后验风险当前第30页\共有55页\编于星期二\9点为了得到R(d|x)的极小值，关于等式两边求导：即则当前第31页\共有55页\编于星期二\9点例5(p131例4.11)设总体X服从两点分布B(1,p),其中参数p未知，而p在[0,1]上服从均匀分布，样本试求参数p的贝叶斯估计与贝叶斯风险?解平方损失下的贝叶斯估计为：而当前第32页\共有55页\编于星期二\9点当前第33页\共有55页\编于星期二\9点当前第34页\共有55页\编于星期二\9点其贝叶斯风险为当前第35页\共有55页\编于星期二\9点又因为则所以当前第36页\共有55页\编于星期二\9点例6(p133例4.12)设总体X服从正态分布N(,1),其中参数未知，而服从标准正态布在N(0,1)，样本试求参数的贝叶斯估计?解平方损失下的贝叶斯估计为：而当前第37页\共有55页\编于星期二\9点当前第38页\共有55页\编于星期二\9点化简得当前第39页\共有55页\编于星期二\9点例7(p134例4.13)设总体X服从均匀分布U(0,),其中参数未知，而服从pareto分布，其分布函数与密度函数分别为

试求参数的贝叶斯估计?当前第40页\共有55页\编于星期二\9点解当前第41页\共有55页\编于星期二\9点

根据定理4.6可知，绝对值损失对应的贝叶斯估计为后验分布的中位数,即则

根据定理4.4可知，平方损失对应的贝叶斯估计为后验分布的均值,即当前第42页\共有55页\编于星期二\9点例8(p135例4.14)设总体X服从伽玛分布(r,),

试求参数的贝叶斯估计?解当前第43页\共有55页\编于星期二\9点当前第44页\共有55页\编于星期二\9点当前第45页\共有55页\编于星期二\9点当前第46页\共有55页\编于星期二\9点当前第47页\共有55页\编于星期二\9点3、贝叶斯估计的误差

在计算的估计时，用到了的后验分布，因此考察估计值与真实值之间的误差时，也应考虑的后验分布，误差定义如下：定义4.8参数的后验分布为h(|x),其贝叶斯估计当前第48页\共有55页\编于星期二\9点后验均方差与后验方差的关系当前第49页\共有55页\编于星期二\9点后验均方差与后验方差的优点1、二者只依赖与样本，不依赖参数.2、二者的计算不依赖与统计量的分布，即抽样分布3、贝叶斯估计不考虑无偏性，因为贝叶斯估计只考虑出现的样本，不考虑没出现的样本.当前第50页\共有55页\编于星期二\9点4、贝叶斯区间估计定义定义当前第51页\共有55页\编于星期二\9点定义4.9设参数