条件均值估计和贝叶斯假设检测

1、条件均值估计和贝叶斯假设检测摘要：贝叶斯假设检验要求规定代价和先验概率。如果先验概率不能确定，则可以采用均匀分布作为其分布。检验一般都用似然比检验。从具有指数族分布结构的条件平均概率密度函数中可以知道边缘概率的似然比有估计器-相关器结构。文中提到了充分统计量的概念，从某种意义上来说，它包括了作判决所需要的全部信息。检测高斯噪声中高斯信号时，接收机把观测结果同已知信号相关就可以产生充分统计量。关键词：条件均值估计，贝叶斯假设，充分统计量Conditional Mean Estimates and Bayesian Hypothesis TestingAbstract：Bayesian hypot

2、hesis testing requires known price and the prior probability density functions (pdf). Uniform distribution can replace it if the prior pdf is unknown. The likelihood ratio testing is commonly used to test. Conditional pdfs drawn from the exponential family demonstrate that likelihood ratios involvin

3、g these marginals have the estimator-correlator structure. Sufficient statistic is mentioned in the paper, which, in a sense, includes all the information of decisions. When a Gaussian signal in Gaussian noise is tested, the receiver associates the observing result with the known signal, which, can

4、bring about sufficient statistics.Key words: CME, Bayesian hypothesis, sufficient statistic一、引言1、 估计理论估计问题是进一步对信号的一个或多个随机参数进行估计，使估计的参数尽可能与真实的参数一致，或误差最小。估计有参数估计和非参数估计。（1）参数估计就是最佳地找出一个物理系统的不同参数。如果总体分布函数的形式已知，只是分布中的一些参量未知，要估这些参量的真值。（2）非参数估计：如果总体分布函数的形式未知，但想估计总体分布的某些数字特征，如均值、方差。2、 检测检测就是根据有限的观测，在某种准则下，最

5、佳地区分一个物理系统的不同状态。检测问题是研究在背景噪声下，确认信号有无、或是什么形式的方法。检测理论就研究了如何更有效地从接受信号中提取有用信号和如何采取有效的方法实现它，检测理论在很多应用领域中被证明是很有用的。3、 检测与估计的对比检测与估计是有区别的。检测的时候，信号状态是有限的或假设是有限的；它的判决结果可以与原来的假设完全相同；另外，检测时，代价函数的取值是有限的；而且可以有单次、多次测量，序贯之分。而对于估计，信号参量是连续变化的；而且估值不能做到与原来的参量完全相符，只能尽量接近；此外，因为参量有无穷多个估计结果，代价函数是连续的；而估值一定是多次测量，估值结果多为取样均形式。

6、它们也有相似之处，都要用到了信源和信道的统计特性，都可以利用后验概率或似然函数作为工具。4、 假设检验假设检验理论是用来检测信号是否存在的统计判决理论。假设可视为关于可能判决或检验的陈述，那么源就是产生这些陈述的机构。考虑两种可能的假设，假定H0为不存在，H1为存在，在观测空间z的取值范围内，根据对随机变量测量的结果z来判断哪个假设正确，此为二元检测问题。我们把判决公式写作，定义为似然比，为门限，则似然比检验公式为。二、贝叶斯理论的基本观点贝叶斯统计是贝叶斯理论和方法的应用之一，其基本思想是:假定对所研究的对象在抽样前已有一定的认识，常用先验分布来描述这种认识，然后基于抽取的样本再对先验认识作

7、修正，得到后验分布，而各种统计推断都基于后验分布进行。经典统计学的出发点是根据样本，在一定的统计模型下做出统计推断。在取得样本观测值X之前，往往对参数统计模型中的参数有某些先验知识，关于的先验知识的数学描述就是先验分布。贝叶斯统计的主要特点是使用先验分布，而在得到样本观测值X=(x1, x2, , xn )T后，由X与先验分布提供的信息，经过计算和处理，组成较完整的后验信息1,2。贝叶斯的两项工作是贝叶斯定理和贝叶斯假设。贝叶斯定理将事件的先验概率与后验概率联系起来。假定随机向量x, 的联合分布密度是p(x, )，它们的边缘密度分别为p(x), p()。一般情况下设x是观测向量，是未知参数向量

8、，通过观测向量获得未知参数向量的估计，贝叶斯定理记作： （()是的先验分布）从上式我们可以看出，对未知参数向量的估计综合了它的先验信息和样本信息。贝叶斯方法对未知参数向量估计的一般过程为：1将未知参数看成是随机向量。2根据以往对参数的知识，确定先验分布()。3计算后验分布密度，做出对未知参数的推断。在第二步，如果没有任何以往的知识来帮助确定()，贝叶斯提出可以采用均匀分布作为其分布，即参数在它的变化范围内，取到各个值的机会是相同的，称这个假定为贝叶斯假设。贝叶斯假设在直觉上易于被人们所接受，然而它在处理无信息先验分布，尤其是未知参数无界的情况却遇到了困难。经验贝叶斯估计把经典的方法和贝叶斯方法

9、结合在一起，经典的方法获得样本的边缘密度p(x)，然后通过下式来确定先验分布()3：在贝叶斯理论学习中，先验知识的形式可以是:(1)每个候选假设的先验概率。(2)每个可能假设在可观察数据上的概率分布。贝叶斯方法可允许假设做出不确定性的预测。新的样本分类可由多个假设一起作出预测，以它们的概率为权重。4三、基本概念1、 概率先验概率是由源或发信机构决定，表达式为P(H0),P(H1), P(H0)+ P(H1)=1。后验概率是由源与观测值之间的联系决定，表达式为。2、 充分统计量a、充分统计量的涵义统计量是数据的函数，也就是子样的函数。所以，统计量中所含有的一些的信息，一般都会比整个样本函数所包含

10、的信息要少。统计量把子样中所包含的有关我们需要研究的一些对象的信息集中起来后作为进行统计推断的依据。但是统计量是非常多的，那么我们就需要找到一个最佳的统计量。所谓最佳的统计量也就是指我们不仅要提供子样所包含的全部信息，同时又要尽可能地使之简单。下面我们就通过全部信息来引伸出充分统计量。在数理统计学中1 ，2， 3 ，给我们提供了母体的信息。如果母体的概率函数依赖于参数，子样当然也包含的信息，但是依赖于子样的统计量却不一定包含全部信息。例如在一般情形下，子样的联合概率函数（即似然函数）能分解成h（x1,x2,.xn）是条件 =y下的条件概率函数，它一般是依赖于的函数，如果未知h（x1,x2,.x

11、n ; )也就不可能知道，这时统计量 并没有反映子样所含有的 “全部信息”，只有在不依赖于时 ,统计量才反映了子样的“全部信息” 。正因为这一点，费歇命名这种反映“全部信息”的统计量为充分统计量。4所以我们可以这样认为，不含于统计量的那些样本函数中的信息与我们所需要研究的问题不相干。那么除了这些信息以外其余的信息，就是统计量所包含的那些能够充分反映所要研究的问题特性的信息，不比原来的样本函数的信息少，那么就可以称之为充分统计量。充分统计量就是“不损失信息”的统计量.也就是说，充分统计量能够完全捕捉到一个随机变量分布中参数所包含的关于分布的信息，那么这个随机变量关于它的分布就取决于充分统计量的值

12、，而不取决于原来的参数值。例如正态分布的均值和方差包含的信息少于样本，但是总体条件分布不依赖于其他参数值，而是依赖于给定的均值和方差的值，它们就是充分统计量。b、充分统计量的定义设总体X 服从某个分布P (x)，为了对参数作统计推断，需要从该总体中抽取一个样本X = (X1,X n) ，样本X 中含有的信息。显然，对样本X 加工不可能增加信息，不减少的信息就是最好的了。 由样本X 可算出统计量T，假如能由统计量T 的值恢复样本, 那么这种统计量就不会损失有关的信息。 要做到这一点，关键要在给定T = t 下，样本X 的条件分布不依赖于，即有P0(X=x |T=t) = P (X=x |T=t)

13、。由以上分析知, 在对样本的加工过程中, 一个统计量“不损失信息”的数学描述是“在T 取任一个值时, 样本的条件分布不依赖于未知参数”, 但允许T的一个零测集有例外, 由此可给出充分统计量的一般定义：设(X,B, P ) 是一个统计结构, 又设T = T(X) 是(X , B) 到(J, b) 的一个统计量, PT是T的诱导分布, 假如在PT的零测集外,T取任一个值t时, 样本X =(X1, Xn) 的条件分布都不依赖于, 即对任意的和B B , 有P(B/t) = P(B/t) , a·s·PT ，则称T为该分布族(或参数)的充分统计量。53、 指数分布族在解决检测一类的

14、问题时，通常用指数族函数来描述其条件概率密度：其中，h(y)是相关的密度函数；为自然参数, 它是一个列向量；t(y) 是一维充分统计量，它也是一个列向量；k是一个常量；b()是标准化了的常量，它是表示条件概率密度函数所必须要有的一个常量。指数分布族分布族包括正态分布族，二项分布族，单参数分布族等许多常见的重要分布族，而且以后还会见到它们所含的参数具有充分统计量。因此在许多近代数理统计理论中起着重要作用。我们所常见的伯努利过程和泊松过程也都能用指数函数族来表示。在这里我们只介绍单参数情形 分布族，=，其中r和是常数，叫做单参数指数族分布。如果存在定义在上的实值函数c()、d()和定义在空间a&l

15、t;x<b上的实值函数T(x)、S(x)使得这里为概率函数。需要注意的是，这里T(x)和S(x)可以不唯一，但要强调的是a和b不能依赖于参数。若随机变量具有单参数指数族分布。，为取自母体的一个子样，则统计量是参数的充分统计量。4 4、 条件均值估计a、条件均值的意义在初等概念中,条件均值是通过事件定义的,现把这一概念推广到一般的情况。为了方便起见，我们讨论两个随机变量与的场合，假定它们具有密度函数p(x，y)，并假设在= x的条件下，的条件概率密度函数为p(yx)，p(x) 记的概率密度函数为p(x)。在= x 的条件下，的条件均值定义为E= x =y p(yx) dy条件均值在近代概率

16、论中有着基本重要的作用，在实际问题中也有很大用处。在两个互有影响的随机变量中，如果已知其中一个随机变量的取值，要据此去估计或预测另一个随机变量的取值，人们称这样的问题为“预测问题”。由上述讨论可知，条件均值E= x 是在已知= x发生的条件下，对的一个颇为“合理”的预测。b、条件均值估计推导在估计问题中，对指定非负代价，一般定义为：其中，为估计误差。对于随机参数的统计，若有先验概率，并假定其已知，则定义平均风险为：条件风险为 ，我们可以从最小平均风险推得最小条件风险，那么使条件风险最小的估计值就是最佳估计。若定义均方估计为，且条件风险为，则令，得，则为条件均值，即最小均方估计是条件均值估计。5

17、、 贝叶斯准则Cij 定义为假设Hj为真时作出判决Di的代价。将不同的代价赋予不同判决结果的联合概率P(Di，Hj)，可得到平均代价为：如果给定P(Hj)，由条件概率公式得那么贝叶斯准则就是在给定Cij 和P(Hj)条件下，平均代价最小的判决准则。似然比为，判决门限为。判决公式为或者是，即为贝叶斯准则下的似然比检验。四、条件均值和贝叶斯假设检验的研究1、一维我们假设一个单参数指数族分布的概率密度函数为 （1）其中，是定义在自然参数区间的变量，它的范围为。，它是关于的一个函数。b()是一个严格的凸函数，而且在自然参数区间内它是有限的。那么对于式（1）中的随机变量y，很容易得到 （2） （3）这种

18、指数族分布函数广泛地应用于通信研究领域，这种函数被称为Koopman-Pitman-Darmois 族，用于解决信号的可靠性、估计以及假设检验的问题。它广泛应用的一个明显的原因就是存在的充分统计量。2、k维假设y1，y2，yk 是独立同分布的随机变量，由单参数概率密度函数式（1）可以推得k维的概率密度函数表达式为 （4）其中，根据因子分解定理可以知道，t(y)是一维充分统计量，则t(y)的条件概率密度函数存在，且可表示为 （5）假设随机变量的前验概率密度函数与勒贝格测度有关，为（），那么边缘概率密度函数为 （6）用表示后验概率密度函数，根据贝叶斯定理，可推得 （7）在这里，我们定义 （8） （

19、9）将式(1)和式(7)进行比较，可以看出后验概率密度函数也具有指数族函数的形式，后验概率中的s(t)相当于中的b()，所以s(t)在其自然参数区间V中与b( )有着相同的特性：它是个凸函数，同时又是可微的。s(t)的自然参数区间为所以，可得出的条件平均估计（CME）为： （10）从此式的结构看我们可知它是边缘概率密度函数。的条件均方误差函数 (CMSE)为：6 （11）这里主要运用了充分统计量的可微性。求的导数，并代入式（10），整理得 （12）可以求得此方程的唯一解，为 （13）其中，c为标准化常量， s(t)是条件平均估计的不定积分，即可得出，边缘概率密度由条件平均估计决定。3、应用 从

20、边缘概率密度函数的表达式结构清楚地表明了指数族变量的假设检验和估计问题之间的关系。利用不依赖于参数值的贝叶斯方法来解决复合假设检测的问题就需要用到似然比，它就是一个相应的边缘概率密度函数的比值。令K=p1(L01-L11)/p0(L10-L00)，则根据贝叶斯准则可知其似然比为 （14）其中， （15） （16）因此，估测关联器就可以被认为是具有条件概率密度函数为指数分布族的的检测器。估测关联器这一概念源于对用于识别高斯噪声中高斯信号的检测器的一种解释，它适用于有关离散时间和连续时间问题的各种不同情形，式（16）就表明了这一解释对高斯噪声中的任意离散信号都适用。事实上，对于所有检测问题中的噪声

21、都是指数式的统计。类似的检验结果有，在已知统计信息条件下，H0假设为独立噪声，其似然比是已知参数似然比的平均值，有时称之为平均似然比，即8 （17）具有理想观测值的检测器需要一定的检测条件，为了叙述的方便，令在任一假设中，条件概率密度函数均相同，且已知H0和0，由式（7）和式（13）可得 （18）容易看出，检测器有两部分因素决定。第一部分为CME误差的积分，显然是由数据所决定的。第二部分完全由先验信息决定。7在实际应用中，先验信息经常是不完整的，所以利用CME的特性可以评估这两部分在接收机中所起的作用。例如，假设CME为一个独立于先验特性的有效估计量，现只需要先验特性的部分信息，就可有效地确定它们两者的范围和做出有效判决前所需要的采样数。五、结论条件平均概率密度函数可以用指数族来表示，它表示边缘概率密度函数完全是由后验条件平均估计（CME）决定的。在高斯白噪声中检测高斯信号时，接收机把观测结果同信号的估计量相关就可以产生充分统计量，它其实是估计器-相关器结构，采用的估计量是最小均方估计量，即条件均值估计。参考文献1 樊建聪.使用贝叶斯