minimax决策函数

1、minimax决策函数一、一、minimax决策函数决策函数*D给给定定一一个个统统计计决决策策问问题题，设设是是由由全全体体决决策策函函数数组组成成的的类类，如如果果存存在在一一个个决决策策函函数数12*(,),nddx xxdD使使得得对对任任意意一一个个决决策策在贝叶斯决策中，通常以风险函数最小为衡量标在贝叶斯决策中，通常以风险函数最小为衡量标准。但有的时候人们处于保守考虑，决策时考虑最坏准。但有的时候人们处于保守考虑，决策时考虑最坏情形，即风险最大时寻找最佳策略最小最大决策情形，即风险最大时寻找最佳策略最小最大决策.定义定义3.103.1012(,)ndd x xx ，总总有有*max

2、( ,)max( , ), RdRddD *d则则称称为为统统计计决决策策问问题题的的最最小小最最大大决决策策函函数数。注注函数达不到最大值时，可以理解为上确界函数达不到最大值时，可以理解为上确界.如果我们讨论的统计决策问题是一个估计问题，则由如果我们讨论的统计决策问题是一个估计问题，则由定义定义3.10得到的决策函数为最小最大估计量得到的决策函数为最小最大估计量.下面介绍寻求最小最大决策函数的一般步骤下面介绍寻求最小最大决策函数的一般步骤二、计算二、计算minimax决策函数的步骤决策函数的步骤12*(,)max( , )nDd x xxRd 1 1、对对中中每每个个决决策策函函数数， 求求

3、出出其其风风险险函函在在 上上的的最最大大风风险险值值。计算计算minimax决策函数的步骤：决策函数的步骤： 2 2、在在所所有有最最大大风风险险值值中中选选取取相相对对最最小小值值，此此值值对对应应的的决决策策函函数数便便是是最最小小最最大大决决策策函函数数。地质学家要根据某地区的底层结构地质学家要根据某地区的底层结构来判断该地是否蕴藏有石油，地层结构总是来判断该地是否蕴藏有石油，地层结构总是0,1两种状两种状之一，记该地层无油为之一，记该地层无油为0，记该地层有油为，记该地层有油为1，已知已知它们的分布规律如下表所示它们的分布规律如下表所示0.70.30.40.610 x01例例1(p1

4、021(p102例例3.17)3.17)设土地所有者有三种决策设土地所有者有三种决策1a 自自己己投投资资钻钻探探石石油油2a 出出卖卖土土地地所所有有权权3a 该该地地区区开开辟辟旅旅游游景景点点这些决策对应的损失函数为这些决策对应的损失函数为51006112a( , )La011a2a3a现在选用现在选用9个决策函数个决策函数101x11()d x21()dx31()dx41()dx51()dx61()dx71()dx81()dx91()dx1a1a1a1a2a2a2a3a3a3a2a3a1a2a3a3a2a1a 计算决策函数对应的风险函数，以第四个决策函计算决策函数对应的风险函数，以第四

5、个决策函数为例数为例000401102110(,)(,)()(,)()RdLa PXLaPX 12 0 41 0 65 4. 140 0 710 0 33(,).Rd风险函数及其对应的最大值表风险函数及其对应的最大值表68.58.46.5105.49.67.91258.51.56.51033.570648.4315.49.67.9121d2d3d4d5d6d7d8d9d()iidx0(,)iRd1(,)iRdmax( ,)iRd 4211minimax.0,.daa由由最最小小最最大大决决策策函函数数的的定定义义可可知知，为为统统计计决决策策问问题题的的决决策策函函数数 即即样样本本为为 时时

6、，选选择择样样本本为为时时，选选择择三、利用贝叶斯估计计算三、利用贝叶斯估计计算 最小最大决策函数最小最大决策函数1212(,)(,)BnBndx xxdxxx的的风风险险函函数数为为一一个个常常数数，那那么么必必定定是是这这个个统统计计决决策策问问题题的的一一个个最最小小最最大大.决决策策函函数数定理定理3.83.8 给定一个统计决策问题，如果存在某个先给定一个统计决策问题，如果存在某个先验分布，使得在这个先验分布下的贝叶斯决策函数验分布，使得在这个先验分布下的贝叶斯决策函数证证12( )max( , )(,)MBnRdRddx xx 记记，且且设设的的风风险险函函数数为为( ,), ,BR

7、dC 因而它的贝叶斯风险为因而它的贝叶斯风险为().BBRdC 12(,)Bndx xx假假设设不不是是最最小小最最大大决决策策函函数数，12(,)nd x xx那那么么必必定定有有一一个个决决策策函函数数，使使得得( )()MMBRdRdC 12(,)nd x xx于于是是，的的风风险险函函数数满满足足( , )( ), ,MRdRdC ( , )( ), MRdRdC 对对在在给给定定的的先先验验分分布布下下求求期期望望 得得( )( ( , )(), BBBRdE RdCRd 12(,)Bndx xx这这表表明明不不可可能能是是这这个个先先验验分分布布下下的的12(,)minimax.B

8、ndx xx贝贝叶叶斯斯决决策策函函数数，从从而而产产生生矛矛盾盾，因因此此必必定定是是一一个个决决策策函函数数例例2(p1042(p104例例3.18)3.18) 设总体设总体X服从两点分布服从两点分布B(1,p),其中参数其中参数p未知，而未知，而p在在0,1上服从上服从 分布分布 ， 12(,)nXXXX来来自自总总体体 ，损损失失函函数数为为平平方方损损失失，则参数则参数p的贝叶斯估计为的贝叶斯估计为p的的minimax估计量。估计量。(,)22nne 解解平方损失下的贝叶斯估计为：平方损失下的贝叶斯估计为：*( )(|)(|)ddxE p Xxph p xp 而而10(|)( )(|

9、)( )(|)( )(|)( )dq x ppq x pph p xm xq x ppp 11111011()( )()( )dnniiiinniiiixnxxnxppppppp 11112211122()()() ()nniiiinnxnxnniiiinn ppnnxnx 1122|(,)nniiiinnp xexnx 显显然然 *( )(|)dpdxph p xp 111221011122()d(,)nniiiinnxnxnniiiipppnnxnx 1111121222122(,)()(,)nniiiinniiiinnxnxnXnnnxnx p的的风风险险函函数数为为221( , )(-

10、)2(1)nXR p pEpn 221212121()()()()nXnXDEpnn 2241214121()()()()nppnppnnn 2141()n （为为常常数数）因而由定理因而由定理3.8知所求的知所求的Baye估计为估计为minimax估计估计.0d分分别别为为相相应应的的贝贝叶叶斯斯估估计计列列和和贝贝叶叶斯斯风风险险列列，若若.函函数数定理定理3.93.9 给定一个贝叶斯决策问题，设给定一个贝叶斯决策问题，设为参数空间为参数空间 上的一个先验上的一个先验分布列，分布列，证证0d设设不不是是 的的最最小小最最大大估估计计，则则存存在在这这样样的的一一个个( ):1kk:1, (

11、):1kkdkR dk0( ,)Rd是是 的的一一个个估估计计，且且它它的的风风险险函函数数满满足足决决策策0max( ,)lim()knRdR d 0minimax.d则则为为 的的估估计计d估估计计 ，使使得得0max( , )max( ,)RdRd kd 是是贝贝叶叶斯斯估估计计，因因而而( )( , )max( , )kkR dR dRdRd )( )d)( )d由由此此可可以以得得到到01(max( ,), kR dRdk ) )0 lim(max( ,)kkR dRd 则则) )显显然然这这与与假假设设的的条条件件矛矛盾盾，因因此此0.d是是 的的最最小小最最大大估估计计定理定理3

12、.103.10 给定一个贝叶斯决策问题，给定一个贝叶斯决策问题，证证 对对任任意意的的，有有lim()knR d 0minimax.d则则为为 的的估估计计00max( ,)( ,)lim()knRdRdR d 若若 的的一一个个 00( ,)dRd估估计计的的风风险险函函数数在在 上上为为常常数数 ，且且存存在在一一个个先先 ( ):1kkkd验验分分布布列列，使使得得相相应应的的贝贝叶叶斯斯估估计计的的贝贝叶叶 斯斯风风险险满满足足03 9.d显显然然定定理理的的条条件件满满足足因因而而是是 的的最最小小最最大大估估计计例例3(p1063(p106例例3.19)3.19)12()TnXXX

13、X 设设,为为来来自自正正态态1( , )N总总体体的的一一个个样样本本，取取参参数数 的的先先验验分分布布为为正正态态20( ,),N分分布布其其中中 已已知知，损损失失函函数数取取为为100, |, ( , )0, |, dLdd 其其对对应应的的参参数数 的的贝贝叶叶斯斯估估计计为为121111()()()niidXXnn 114 10.nniiXXn 试试用用定定理理证证明明是是 的的最最小小最最大大估估计计证证在在对对应应损损失失函函数数下下，参参数数 的的贝贝叶叶斯斯估估计计为为211()()()niidXXn 21( ):1(0,):,kiikN验验分分布布列列选选取取为为 (),1,2,.idXi 相相应应的的贝贝叶叶斯斯估估计计列列为为 1222111()( (1) ,(1) )idXNnnn又又由由于于 d则则的的风风险险函函数数为为