信号检测与估计【精制材料】

1、Chapter 6,Parameter Estimation,成员：董春波 马和峰 李聘婷,1,行业相关,目 录,6.1 最大似然估计 6.2 广义似然比检验 6.3 优良估计评价标准 6.4 贝叶斯估计 6.5 Cramer-Rao不等式 6.6 多参数估计 6.7 最佳线性无偏估计 6.8 最小二乘估计 6.9 递归最小二乘估计,2,行业相关,序言,在第5章中，我们学习了关于检测理论的问题，主要是解决在M个可能的假设中来确定哪个假设是正确。 本章主要介绍假设接受的信号是正确的，但是有些相关联的参数是未知的，主要的目的就是利用有限的样本参数用最佳的方式估计这些参数。 令Y1，Y2，.，YK为

2、K个独立同分布的随机变量Y的样本，其密度函数取决于未知参数。 y 1，y 2，.，y K为样本Y1，Y2，.，YK所对应的值，函数 g（Y1，Y2，.，YK）用来估计参数。 表示为 称为参数的估计。 通常，估计的参数可以是随机的或非随机的。 随机参数的估计被称为贝叶斯估计，而非随机参数的估计被称为最大似然估计（MLE）。,3,行业相关,6.1 最大似然估计,如在前面的函数中所提到的，通常用最大似然（ML）估计来估计非随机参数。 令Y1，Y2，.，YK具有样本值y 1，y 2，.，y K的随机变量Y的K个观测值，并且这些随机变量是独立同分布的。令 表示随机变量Y的条件密度函数。Y的密度函数取决于

3、需要估计的参数， 记最大似然函数为L()，式6.1.1 (6.1.1) 似然函数最大的值 称为的最大似然估计量。为求最大似然估计量，我们利用数学中所学的微积分。为了计算简单，利用对数函数，由于对数函数lnx是关于变量x的递增函数，由第五章可知最大化L()与ln(L()等价。可以用最大似然函数的对数函数式求解，对参数求导数可以求的最大似然估计量。如式6.1.2 (6.1.2) 不变性：令L()是的似然函数,并且g()是参数一一对应的函数，即g(1)=g(2) 1=2 如果 是参数的最大似然估计量，则 是g()最大似然估计量。,4,行业相关,6.1 最大似然估计,Examle6.1,the rec

4、eived signal under hypotheses H1 and H0 was (a) Assuming the constant m is not known, obtain the ML estimate of the mean. (b) Suppose now that the mean m is known, but the variance 2 is unknown. Obtain the MLE of = 2 . 在第五章中，是确定假设中的那个假设是真的。而在本章中，假设H1是真的，参数是未知的需要用最大似然估计来估计。 (a) 在例题中需要确定的参数 对应为 ，mM,由于

5、样本参数是独立同分布的，由式6.1.1得似然函数：,5,行业相关,6.1 最大似然估计,等式两边同取对数得,利用式6.1.2 解似然方程得到似然估计得,得到 。 Thus, the ML estimator is,6,行业相关,6.1 最大似然估计,(b) 最大似然估计式为,方程两边取对数得,其中对lnL( 2)最大化等价于对 2最小化,由似然函数的不变性得,7,行业相关,6.1 最大似然估计,因此， 2的最大似然估计为,8,行业相关,6.2 广义似然比检验,在例5.9中，我们解决了复合假设检验问题。参数m在假设H1下虽然已知m是正或负，但是值是未知。 当m仅为正值（仅为负值）时，在UMP测试

6、，判决规则为,m0时,m0时,由于设置参数m的正负致使实验结果不同，因此，对所有的参数m，UMP测试是不行的。因此运用了上节所讲的最大似然估计。也就是说，假设H1是真，要用已有的样本来估计。如果假设是正确的，我们可以用最大似然比检验。,9,行业相关,6.2 广义似然比检验,如果所使用的估计是最大似然估计，则称为广义似然比检验，并且由下式给出 (6.2.1),0和1是在假设H0和H1估计的未知参数。,Example 6.2 Consider the problem of Example 5.9, where m is an unknown parameter. Obtain the genera

7、lized likelihood ratio test and compare it to the optimum Neyman-Pearson test.,10,行业相关,6.2 广义似然比检验,Example 5.9 Consider the situation where the observations under each hypothesis are given by,where N denotes a white Gaussian noise of zero mean and variance 2 , and m is unknown. Then, we say that H0

8、is a simple hypothesis, and H1 a composite hypothesis.,由于K个观测值是独立的，所以在假设H1和H0下的条件密度函数是,11,行业相关,6.2 广义似然比检验,其中m是未知参数。 由于假设H0不包含m，所以估计过程仅适用于假设H1。 根据（6.1.2）给出的似然方程，假设H1下的m的似然估计由下式给出,代入式 得,或者,则似然比检验为,12,行业相关,6.2 广义似然比检验,代入在上述表达式中获得的 的值，并在取对数之后进行简化得,由于 是非负的，如果小于等于1（ln负），则判定H1总是真的。,因此，可以设置为大于等于1的数。因此，不等式变

9、换得,13,行业相关,6.2 广义似然比检验,其中10。因此，上式等价于下式,判决门限图如图6.2.1,Figure 6.2.1 Decision regions of the generalized likelihood ratio test,设定期望的失警概率，可以确定1的值。 在得到失警概率PF的表达式之前，我们需要确定Z的密度函数。,14,行业相关,6.2 广义似然比检测,在假设H0下Y的均值为零和方差2，所有的观察数据都是统计独立的高斯过程。 因此， 的密度函数均是均值为零和方差K2的高斯过程。因此，Z也是具有均值为零和方差2的高斯过程。,失警的概率为，如图6.2.2所示,Figur

10、e 6.2.2 Density function of Z under H0.,15,行业相关,6.2 广义似然比检验,从上面可以在没有m的失警概率中确定1的值。然而，检测的概率不能在没有m的情况下确定， 但可以对m做参数估计。在假设H1下， 是具有均值为Km和方差K2的高斯过程。因 此，Z的密度函数是具有均K m和方差2。,给定m的检测概率为，概率密度图如图6.2.3所示,16,行业相关,6.2 广义似然比检验,通过比较，广义似然比检验和奈曼-皮尔逊检验效果一样好。,Figure 6.2.3 Density function of Z under H1.,17,行业相关,6.3 优良估计评价

11、标准,由于估计参量 是随机变量，所对应的值不止一个。因此需要确定最优估计。,无偏估计： 是无偏估计，满足6.3.1式,（6.3.1）,有偏估计：如式6.3.2,（6.3.2）,1.如果b()不依赖于(b()=b)，就认为估计量 具有已知的偏差，也就是说( -b)是无偏估计。,2.当b()b，由于是未知的，所以不能获得无偏估计。在这种情况下，就认为估计量具有 未知的偏差。,当参数既满足式（6.3.1）并且不是随机的（没有的先验概率分布），这有时称为绝对无偏估计。,18,行业相关,6.3 优良估计评价标准,如果估计是无偏的，其意味着估计值与真实值接近，但是不一定是最优估计。可以通过图6.3.1中所

12、示的估计的条件密度函数容易地看出。从图中观察到，即使是无偏估计，因估计的方差很大也可能发生相当大的误差。然而如果方差小，估计量和期望值的相差也很小。因此，可以认为估计的优良性可以有方差大小判断。,Figure 6.3.1 Density function of the unbiased estimator .,19,行业相关,6.3 优良估计评价标准,无偏最小方差： 是的最小方差和无偏估计，对所有的参数都有E()=,则对所有var( )var() 也就是说，对于所有无偏估计， 具有最小的方差。 一致估计： 是基于K个观察样本的参数的一致估计，如果满足式6.3.3,(6.3.3),P(.)代表概

13、率。,应用上述定义并不能验证估计的一致性。 可以用以下定理,定理： 是基于K个观察样本的参数的无偏估计，如果满足式6.3.4,（6.3.4）,（6.3.5）,是参数的一致估计量。,如果满足式6.3.5,20,行业相关,6.3 优良估计评价标准,Example 6.3,(a) Verify if the estimator of Example 6.1 is an unbiased estimate of m. (b) Is the estimator unbiased?,Solution,(a) The estimator is unbiased if E = m . After substi

14、tution, we obtain,Hence, is unbiased.,(b) The estimator is unbiased if E = 2. That is,Hence, is unbiased.,21,行业相关,6.4 贝叶斯估计,在贝叶斯估计中，引入了代价(损失)函数，对所有的 定义为 。代价函数是两个随机变量和 的非负实函数。在贝叶斯检测中，代价函数的平均代价定义为风险函数，如式6.4.1 。,（6.4.1）,贝叶斯估计就是寻找使得风险函数（即平均代价）达到最小的判决准则。一般情况是估计单变量，所以利用估计误差 来进行估计。估计误差如式6.4.2,（6.4.2）,下面有三种

15、常用的代价函数，其图形如图6.4.1所示。,1.平方代价函数 2. 绝对值代价函数,（6.4.3）,（6.4.4）,22,行业相关,6.4 贝叶斯估计,3.均匀代价函数,（6.4.5）,表示一个很小的量，可见所谓的均匀代价函数是指当误差超过某一门限值时，代价是相同的，而当误差小于该门限值时，代价为零。,Figure 6.4.1 Cost functions: (a) squared error, (b) absolute value of error, and (c) uniform.,23,行业相关,6.4 贝叶斯估计,未知参数假定为密度函数为 的连续随机变量，风险函数可以用是6.4.6表示

16、。,（6.4.6）,可以取所有和Y的平均代价，Y可以由向量Y1 ,Y2,.,YK T表示。,6.4.1 最小均方误差估计,式（6.4.2）中给出的代价函数使风险函数最小的估计称为最小均方估计（MMSE）。相应的风险函数用ms表示。 得式6.4.7,（6.4.7）,由式1.91，风险函数可以化为式6.4.8,（6.4.8）,24,行业相关,6.4 贝叶斯估计,由于密度函数fY(y)是非负的，最小化ms就等价于最小化括号中的方程。因此对括号中的方程对参数 求导，得式6.4.9,(6.4.9),用式（1.38）给出的莱布尼茨准则，得式6.4.10,（6.4.10）,25,行业相关,6.4 贝叶斯估计

17、,也就是说， 的最小均方估计是在Y的条件下参数的均值（的后验均值）。可以得出，关于 的二阶导数是正定的，所以是对应于ms唯一的最小值，并且由6.4.11式给出,（6.4.11）,给定Y的条件下的方差为式6.4.12,（6.4.12）,因此，ms是给定所有可能Y的值条件下的方差。平方误差准则的该估计过程有时称为误差估计的最小方差（MV）。,26,行业相关,6.4 贝叶斯估计,6.4.2 条件中位数估计,这种情况下，把式6.4.4代入风险函数得式6.4.13,（6.4.13）,使用与上节相同的方法，可以通过最小化括号中的积分来最小化风险函数，括号中的方程由6.4.14式给出,（6.4.14）,相对

18、于式6.4.14 的微分，并且设结果等于零，得式6.4.15,（6.4.15）,27,行业相关,6.4 贝叶斯估计,也就是说，估计 是密度函数 条件的中值 ，该估计称为误差的最小平均绝对值（MAVE）估计，因此 。,6.4.3 最大后验概率,对于式6.4.5给出的代价函数，贝叶斯风险函数变为式6.4.16,（6.4.16）,28,行业相关,6.4 贝叶斯估计,然而,（6.4.17）,P(.)表示概率。因此，通过最大化式（6.4.17）对unf最小化。 的后验密度函数为 ，寻求 的使其满足条件 最大，则称 的最大后验估计量。 定义为式6.4.18,（6.4.18）,对式6.4.18两边取对数得式6.4.19,（6.4.19）,29,行业相关,6.4 贝叶斯估计,方程（6.4.19）称为MAP方程。 但是要注意这是必要不充分条件，因为 可以具有几个局部最大值。由贝叶斯准则得式6.4.20,（6.4.20）,两边取对数变换得式6.4.21,（6.4.21）,由最大后验估计准则得式6.4.22,（6.4.22）,总是假设足够小，使得估计 由最大后验概率方程给出。也