信号检测与估计

Chapter6ParameterEstimation成员：董春波马和峰李聘婷信号检测与估计目录6.1最大似然估计6.2广义似然比检验6.3优良估计评价标准6.4贝叶斯估计6.5Cramer-Rao不等式6.6多参数估计6.7最佳线性无偏估计6.8最小二乘估计6.9递归最小二乘估计信号检测与估计序言在第5章中，我们学习了关于检测理论的问题，主要是解决在M个可能的假设中来确定哪个假设是正确。本章主要介绍假设接受的信号是正确的，但是有些相关联的参数是未知的，主要的目的就是利用有限的样本参数用最佳的方式估计这些参数。令Y1，Y2，...，YK为K个独立同分布的随机变量Y的样本，其密度函数取决于未知参数θ。y1，y2，...，yK为样本Y1，Y2，...，YK所对应的值，函数g（Y1，Y2，...，YK）用来估计参数θ。表示为称为参数θ的估计。通常，估计的参数可以是随机的或非随机的。随机参数的估计被称为贝叶斯估计，而非随机参数的估计被称为最大似然估计（MLE）。信号检测与估计6.1最大似然估计如在前面的函数中所提到的，通常用最大似然（ML）估计来估计非随机参数。令Y1，Y2，...，YK具有样本值y1，y2，...，yK的随机变量Y的K个观测值，并且这些随机变量是独立同分布的。令表示随机变量Y的条件密度函数。Y的密度函数取决于需要估计的参数θ，记最大似然函数为L(θ)，式6.1.1

(6.1.1)似然函数最大的值称为θ的最大似然估计量。为求最大似然估计量，我们利用数学中所学的微积分。为了计算简单，利用对数函数，由于对数函数lnx是关于变量x的递增函数，由第五章可知最大化L(θ)与ln(L(θ))等价。可以用最大似然函数的对数函数式求解，对参数θ求导数可以求的最大似然估计量。如式6.1.2

(6.1.2)不变性：令L(θ)是θ的似然函数,并且g(θ)是参数θ一一对应的函数，即g(θ1)=g(θ2)θ1=θ2如果是参数θ的最大似然估计量，则是g(θ)最大似然估计量。信号检测与估计6.1最大似然估计Examle6.1thereceivedsignalunderhypothesesH1andH0was(a)Assumingtheconstantmisnotknown,obtaintheMLestimateofthemean.(b)Supposenowthatthemeanmisknown,butthevarianceσ2isunknown.ObtaintheMLEofθ=σ2.在第五章中，是确定假设中的那个假设是真的。而在本章中，假设H1是真的，参数是未知的需要用最大似然估计来估计。(a)在例题中需要确定的参数对应为，m∈M,由于样本参数是独立同分布的，由式6.1.1得似然函数：信号检测与估计6.1最大似然估计等式两边同取对数得利用式6.1.2解似然方程得到似然估计得得到。Thus,theMLestimatoris信号检测与估计6.1最大似然估计(b)最大似然估计式为方程两边取对数得其中对lnL(σ2)最大化等价于对σ2最小化由似然函数的不变性得信号检测与估计6.1最大似然估计因此，σ2的最大似然估计为信号检测与估计6.2广义似然比检验在例5.9中，我们解决了复合假设检验问题。参数m在假设H1下虽然已知m是正或负，但是值是未知。当m仅为正值（仅为负值）时，在UMP测试，判决规则为m>0时m<0时由于设置参数m的正负致使实验结果不同，因此，对所有的参数m，UMP测试是不行的。因此运用了上节所讲的最大似然估计。也就是说，假设H1是真，要用已有的样本来估计θ。如果假设是正确的，我们可以用最大似然比检验。信号检测与估计6.2广义似然比检验如果所使用的估计是最大似然估计，则称为广义似然比检验，并且由下式给出

(6.2.1)θ0和θ1是在假设H0和H1估计的未知参数。Example6.2ConsidertheproblemofExample5.9,wheremisanunknownparameter.ObtainthegeneralizedlikelihoodratiotestandcompareittotheoptimumNeyman-Pearsontest.信号检测与估计6.2广义似然比检验Example5.9ConsiderthesituationwheretheobservationsundereachhypothesisaregivenbywhereNdenotesawhiteGaussiannoiseofzeromeanandvarianceσ2,andmisunknown.Then,wesaythatH0isasimplehypothesis,andH1acompositehypothesis.由于K个观测值是独立的，所以在假设H1和H0下的条件密度函数是信号检测与估计6.2广义似然比检验其中m是未知参数。由于假设H0不包含m，所以估计过程仅适用于假设H1。根据（6.1.2）给出的似然方程，假设H1下的m的似然估计由下式给出代入式得或者则似然比检验为信号检测与估计6.2广义似然比检验

代入在上述表达式中获得的的值，并在取对数之后进行简化得由于是非负的，如果η小于等于1（lnη负），则判定H1总是真的。因此，η可以设置为大于等于1的数。因此，不等式变换得信号检测与估计6.2广义似然比检验其中γ1>0。因此，上式等价于下式判决门限图如图6.2.1Figure6.2.1Decisionregionsofthegeneralizedlikelihoodratiotest设定期望的失警概率，可以确定γ1的值。在得到失警概率PF的表达式之前，我们需要确定Z的密度函数。信号检测与估计6.2广义似然比检测在假设H0下Y的均值为零和方差σ2，所有的观察数据都是统计独立的高斯过程。因此，的密度函数均是均值为零和方差Kσ2的高斯过程。因此，Z也是具有均值为零和方差σ2的高斯过程。失警的概率为，如图6.2.2所示Figure6.2.2DensityfunctionofZunderH0.信号检测与估计6.2广义似然比检验

从上面可以在没有m的失警概率中确定γ1的值。然而，检测的概率不能在没有m的情况下确定，但可以对m做参数估计。在假设H1下，是具有均值为Km和方差Kσ2的高斯过程。因此，Z的密度函数是具有均√Km和方差σ2。给定m的检测概率为，概率密度图如图6.2.3所示信号检测与估计6.2广义似然比检验通过比较，广义似然比检验和奈曼-皮尔逊检验效果一样好。Figure6.2.3DensityfunctionofZunderH1.信号检测与估计6.3优良估计评价标准由于估计参量是随机变量，所对应的值不止一个。因此需要确定最优估计。无偏估计：是无偏估计，满足6.3.1式（6.3.1）有偏估计：如式6.3.2（6.3.2）1.如果b(θ)不依赖于θ(b(θ)=b)，就认为估计量具有已知的偏差，也就是说(-b)是无偏估计。2.当b(θ)≠b，由于θ是未知的，所以不能获得无偏估计。在这种情况下，就认为估计量具有未知的偏差。当参数θ既满足式（6.3.1）并且不是随机的（没有θ的先验概率分布），这有时称为绝对无偏估计。信号检测与估计6.3优良估计评价标准如果估计是无偏的，其意味着估计值与真实值接近，但是不一定是最优估计。可以通过图6.3.1中所示的估计的条件密度函数容易地看出。从图中观察到，即使是无偏估计，因估计的方差很大也可能发生相当大的误差。然而如果方差小，估计量和期望值的相差也很小。因此，可以认为估计的优良性可以有方差大小判断。Figure6.3.1Densityfunctionoftheunbiasedestimatorθˆ.信号检测与估计6.3优良估计评价标准无偏最小方差：是θ的最小方差和无偏估计，对所有的参数θ'都有E(θ')=θ,则对所有var()≤var(θ')

也就是说，对于所有θ无偏估计，具有最小的方差。一致估计：是基于K个观察样本的参数θ的一致估计，如果满足式6.3.3(6.3.3)P(.)代表概率。应用上述定义并不能验证估计的一致性。可以用以下定理定理：是基于K个观察样本的参数θ的无偏估计，如果满足式6.3.4（6.3.4）（6.3.5）

是参数θ的一致估计量。如果满足式6.3.5信号检测与估计6.3优良估计评价标准

Example6.3(a)VerifyiftheestimatorofExample6.1isanunbiasedestimateofm.(b)Istheestimatorunbiased?Solution(a)

TheestimatorisunbiasedifE[]=m.Aftersubstitution,weobtainHence,isunbiased.(b)

TheestimatorisunbiasedifE[]=σ2.Thatis,Hence,isunbiased.信号检测与估计6.4贝叶斯估计在贝叶斯估计中，引入了代价(损失)函数，对所有的定义为。代价函数是两个随机变量θ和的非负实函数。在贝叶斯检测中，代价函数的平均代价定义为风险函数，如式6.4.1

。（6.4.1）

贝叶斯估计就是寻找使得风险函数（即平均代价）达到最小的判决准则。一般情况是估计单变量，所以利用估计误差来进行估计。估计误差如式6.4.2（6.4.2）下面有三种常用的代价函数，其图形如图6.4.1所示。1.平方代价函数2.绝对值代价函数（6.4.3）（6.4.4）信号检测与估计6.4贝叶斯估计3.均匀代价函数（6.4.5）△表示一个很小的量，可见所谓的均匀代价函数是指当误差超过某一门限值时，代价是相同的，而当误差小于该门限值时，代价为零。Figure6.4.1Costfunctions:(a)squarederror,(b)absolutevalueoferror,and(c)uniform.信号检测与估计6.4贝叶斯估计未知参数假定为密度函数为的连续随机变量，风险函数可以用是6.4.6表示。（6.4.6）可以取所有θ和Y的平均代价，Y可以由向量[Y1

,Y2,...,YK]T表示。6.4.1最小均方误差估计

式（6.4.2）中给出的代价函数使风险函数最小的估计称为最小均方估计（MMSE）。相应的风险函数用ℜms表示。得式6.4.7（6.4.7）由式1.91，风险函数可以化为式6.4.8（6.4.8）信号检测与估计6.4贝叶斯估计由于密度函数fY(y)是非负的，最小化ℜms就等价于最小化括号中的方程。因此对括号中的方程对参数求导，得式6.4.9(6.4.9)用式（1.38）给出的莱布尼茨准则，得式6.4.10（6.4.10）信号检测与估计6.4贝叶斯估计也就是说，的最小均方估计是在Y的条件下参数θ的均值（θ的后验均值）。可以得出，关于的二阶导数是正定的，所以是对应于ℜms唯一的最小值，并且由6.4.11式给出（6.4.11）

给定Y的条件下θ的方差为式6.4.12（6.4.12）因此，ℜms是给定所有可能Y的值条件下θ的方差。平方误差准则的该估计过程有时称为误差估计的最小方差（MV）。信号检测与估计6.4贝叶斯估计6.4.2条件中位数估计这种情况下，把式6.4.4代入风险函数得式6.4.13（6.4.13）使用与上节相同的方法，可以通过最小化括号中的积分来最小化风险函数，括号中的方程由6.4.14式给出（6.4.14）相对于式6.4.14的微分，并且设结果等于零，得式6.4.15（6.4.15）信号检测与估计6.4贝叶斯估计也就是说，估计是密度函数条件的中值，该估计称为误差的最小平均绝对值（MAVE）估计，因此。6.4.3最大后验概率对于式6.4.5给出的代价函数，贝叶斯风险函数变为式6.4.16（6.4.16）信号检测与估计6.4贝叶斯估计然而（6.4.17）P(.)表示概率。因此，通过最大化式（6.4.17）对ℜunf最小化。的后验密度函数为，寻求的使其满足条件最大，则称的最大后验估计量。定义为式6.4.18（6.4.18）对式6.4.18两边取对数得式6.4.19（6.4.19）信号检测与估计6.4贝叶斯估计方程（6.4.19）称为MAP方程。但是要注意这是必要不充分条件，因为可以具有几个局部最大值。由贝叶斯准则得式6.4.20（6.4.20）两边取对数变换得式6.4.21（6.4.21）由最大后验估计准则得式6.4.22（6.4.22）总是假设Δ足够小，使得估计由最