信号检测与估计复习习题

1、国家重点实验室国家重点实验室第四章第四章 信号的波形检测复习及习题信号的波形检测复习及习题课件下载地址：课件下载地址：密码：密码：111111国家重点实验室国家重点实验室 匹配滤波器匹配滤波器 匹配滤波器的定义匹配滤波器的定义 匹配滤波器的设计匹配滤波器的设计 匹配滤波器的主要性质匹配滤波器的主要性质国家重点实验室国家重点实验室 随机过程的正交级数展开随机过程的正交级数展开(1) 掌握随机过程的卡亨南掌握随机过程的卡亨南-洛维展开洛维展开 理解白噪声条件下，正交函数集的任意性理解白噪声条件下，正交函数集的任意性国家重点实验室国家重点实验室随机过程的正交级数展开随机过程的正交级数展开(2)1.

2、完备的正交函数集及确知信号的正交级数展开完备的正交函数集及确知信号的正交级数展开1.1 完备的正交函数集完备的正交函数集若实函数集若实函数集 在在(0 ,T)时间内满足时间内满足 , 2 , 1,ktfk kjkjdttftfTjk, 0, 10 00Tkdttgtf不存在函数不存在函数g(t)，满足，满足则称函数集则称函数集 是完备正交函数集。是完备正交函数集。 , 2 , 1,ktfk国家重点实验室国家重点实验室随机过程的正交级数展开随机过程的正交级数展开(3)2.随机过程的正交级数展开随机过程的正交级数展开 NkkkNtfxtx1lim 假设接收为信号假设接收为信号 tntstx 其中其

3、中s(t)是确知信号，是确知信号，n(t)是零均值的平稳随机过程，则是零均值的平稳随机过程，则接收信号也是平稳随机过程。接收信号也是平稳随机过程。 由于随机过程是由很多样本函数构成的集合，而每个样由于随机过程是由很多样本函数构成的集合，而每个样本函数是时间的函数，所以对给定的样本函数，可以进本函数是时间的函数，所以对给定的样本函数，可以进行正交级数展开行正交级数展开 Tkkdttxtfx0 所有样本函数的展开系数，构成了一族随机变量。所有样本函数的展开系数，构成了一族随机变量。国家重点实验室国家重点实验室随机过程的正交级数展开随机过程的正交级数展开(4)3.随机过程的卡亨南随机过程的卡亨南-洛

4、维展开洛维展开 目的：给出一种正交函数集的选择方法，以保证目的：给出一种正交函数集的选择方法，以保证展开系数之间是互不相关的随机变量。展开系数之间是互不相关的随机变量。正交函数集正交函数集 Tkkdttxtfx0 假设随机过程为假设随机过程为 tntstx , 2 , 1,ktfk tntstx 的展开系数是随机变量，且的展开系数是随机变量，且 TkTkkdttntstfEdttxtfExE00ks国家重点实验室国家重点实验室随机过程的正交级数展开随机过程的正交级数展开(5)4.白噪声条件下，正交函数集的任意性白噪声条件下，正交函数集的任意性utNutRn20jjkksxsxE TTjnkdt

5、duufutRtf00 TTjnkdtduufutNtf0002 TjkdttftfN002kjN20在白噪声条件下，可任意选取正交函数集，均可保证展开系数之间是不相在白噪声条件下，可任意选取正交函数集，均可保证展开系数之间是不相关的。关的。国家重点实验室国家重点实验室二元波形信号检测归纳二元波形信号检测归纳(1)首先，利用随机过程的正交级数展开，将随机过程用一组随机变量首先，利用随机过程的正交级数展开，将随机过程用一组随机变量来表示；来表示；然后，针对展开得到的随机变量，取前然后，针对展开得到的随机变量，取前N个展开系数，利用第三章个展开系数，利用第三章的统计检测方法，构建贝叶斯检测表达式的

6、统计检测方法，构建贝叶斯检测表达式(白高斯噪声条件下，展白高斯噪声条件下，展开系数是不相关的，也是独立的开系数是不相关的，也是独立的)；最后，令最后，令N趋向于无穷大，求极限，得到波形信号的检测表达式。趋向于无穷大，求极限，得到波形信号的检测表达式。基本检测方法基本检测方法(正交级数展开法正交级数展开法)：国家重点实验室国家重点实验室二元波形信号检测归纳二元波形信号检测归纳(2) 2ln20010sHHTENdttxts简单二元信号判决表达式及检测系统结构简单二元信号判决表达式及检测系统结构国家重点实验室国家重点实验室二元波形信号检测归纳二元波形信号检测归纳(3) 22ln2010000110

7、EENdttxtsdttxtsHHTT一般二元信号判决表达式及检测系统结构一般二元信号判决表达式及检测系统结构国家重点实验室国家重点实验室二元波形信号检测归纳二元波形信号检测归纳(4)国家重点实验室国家重点实验室二元波形信号检测归纳二元波形信号检测归纳(5)检测性能与偏移系数有关检测性能与偏移系数有关02012HlVarHlEHlEddef022NEds简单二元信号简单二元信号一般二元信号一般二元信号01010222EEEENd11101HHPHHP2ln1ddQ01001HHPHHP2ln1ddQ国家重点实验室国家重点实验室二元波形信号检测归纳二元波形信号检测归纳(6) 在高斯白噪声条件下，

8、对于确知一般二元信号的波形检测，在高斯白噪声条件下，对于确知一般二元信号的波形检测，当两个信号设计成互反信号时，可在信号能量给定的约束下当两个信号设计成互反信号时，可在信号能量给定的约束下获得最好的检测性能。获得最好的检测性能。对简单二元信号，只要保持信号对简单二元信号，只要保持信号s(t)的能量不变，信号波形可以的能量不变，信号波形可以任意设计，检测性能不发生变化。任意设计，检测性能不发生变化。国家重点实验室国家重点实验室课后习题课后习题P245，4.13 TdttsE0200 解：解： 根据题设，得到两个信号的能量分别为根据题设，得到两个信号的能量分别为 TdttsE0211由于两个假设先

9、验等概，因此在最小平均错误概率准则下，判决门限由于两个假设先验等概，因此在最小平均错误概率准则下，判决门限1利用一般二元信号检测波形判决表达式，得利用一般二元信号检测波形判决表达式，得 22ln201030030110EENdttxtsdttxtsHHTT由于由于 tsts01sEEE10所以所以 010301HHTdttxts国家重点实验室国家重点实验室 为求平均错误概率，首先需要计算偏移系数为求平均错误概率，首先需要计算偏移系数02012HlVarHlEHlEddef 01300HdttstxEHlET dttstntsET1300sE dttstxlT301 在两种假设下，统计量在两种假

10、设下，统计量 均是高斯随机变量，因此有均是高斯随机变量，因此有国家重点实验室国家重点实验室0HlVar200HlEHlE 2301TdttstnE20sEN 11301HdttstxEHlET dttstntsET1301sE国家重点实验室国家重点实验室2/0202012sssdefENEEHlVarHlEHlEd08NEs1HlVar211HlEHlE 2301TdttstnE20sEN国家重点实验室国家重点实验室dlHlpHHP0012lnddQdlHlpHHP1112lnddQ10HHP2ln1ddQ2dQ02NEQs21dQ021NEQs02NEQs101010HHPHPHHPHPPe

11、02NEQs国家重点实验室国家重点实验室P246，4.18其中其中, 由题设，贝叶斯检测表达式为由题设，贝叶斯检测表达式为tbtats011coscos)(课后习题课后习题 22ln2010000110EENdttxtsdttxtsHHTTtbts00cos)(dttsET0211)(dttsET0200)(上述判决表达式可进一步改写为上述判决表达式可进一步改写为 1001cosHHTdttatx国家重点实验室国家重点实验室 为求平均错误概率，首先需要计算偏移系数为求平均错误概率，首先需要计算偏移系数02012HlVarHlEHlEddef dttatxlT01cos 0100cosHtdta

12、txEHlET tdtatntbET100coscos 在两种假设下，统计量在两种假设下，统计量 均是高斯随机变量，因此有均是高斯随机变量，因此有tdttbabT100coscos国家重点实验室国家重点实验室0HlVar 201cosTtdtatnE200HlEHlE420TaN 1101cosHtdtatxEHlET tdtatntbtaET1001coscoscostdttbabTaT1002coscos2国家重点实验室国家重点实验室1HlVar0202012NTaHlVarHlEHlEddef211HlEHlE 201cosTtdtatnE420TaN偏移系数与信号偏移系数与信号 无关，

13、因此不影响系统的检测性能。无关，因此不影响系统的检测性能。tbts00cos)(国家重点实验室国家重点实验室第五章第五章 信号的统计估计理论信号的统计估计理论课件下载地址：课件下载地址：密码：密码：111111国家重点实验室国家重点实验室随机参量的贝叶斯估计随机参量的贝叶斯估计(1)1. 最小均方误差估计最小均方误差估计xCdpx2dpx222022msedpdpxx1dpxdpmsex国家重点实验室国家重点实验室随机参量的贝叶斯估计随机参量的贝叶斯估计(2)1. 最小均方误差估计最小均方误差估计dpmsex注：注：1）最小均方误差估计的估计量实际是条件均值）最小均方误差估计的估计量实际是条件

14、均值xxEdpmse2）最小均方误差估计的条件平均代价实际是条件方差）最小均方误差估计的条件平均代价实际是条件方差dpCmsemsexx2dpExx23）最小均方误差估计量的另一种形式）最小均方误差估计量的另一种形式dpmsex dppxx,dpdpxx, dppdppxx国家重点实验室国家重点实验室 随机参量的贝叶斯估计随机参量的贝叶斯估计(3)2. 最大后验估计最大后验估计 dpcCxx选定的代价函数为选定的代价函数为 22dpdpxx , 0, 1cc221dpx使条件平均代价最小，应该使使条件平均代价最小，应该使 取到最大值取到最大值22dpx当当很小时，为保证上式最大，应当选择估计量

15、很小时，为保证上式最大，应当选择估计量 ，使它处于后验概率密度函数使它处于后验概率密度函数 最大值的位置。最大值的位置。xp国家重点实验室国家重点实验室 随机参量的贝叶斯估计随机参量的贝叶斯估计(4)0mappx根据上述分析，得到最大后验概率估计量为根据上述分析，得到最大后验概率估计量为两种等价形式两种等价形式0lnmappx 0lnlnmapppx xxxpppp国家重点实验室国家重点实验室 最大似然估计最大似然估计(1)0mlpx或或根据最大似然估计原理，如果已知似然函数根据最大似然估计原理，如果已知似然函数 ，则最大似然估计量可由，则最大似然估计量可由xp0lnmlpx解得。解得。国家重

16、点实验室国家重点实验室最大似然估计最大似然估计(2) 最大似然估计量不变性归纳最大似然估计量不变性归纳 则有以下两个结论则有以下两个结论如果参量如果参量 的最大似然估计量为的最大似然估计量为 ，函数，函数 的最大似然估计量为的最大似然估计量为 gmlml(1)如果如果 是是 的一对一变换，则有的一对一变换，则有mlmlg g所有变换参量的似然函数所有变换参量的似然函数 中具有最大值的一个中具有最大值的一个jipi, 2 , 1x通过通过 求出求出 最大似然估计量最大似然估计量 。(2)如果如果 是是 的一对的一对j变换，则应找出在变换，则应找出在 取值范围内，取值范围内， gjippi, 2

17、, 1,maxxxxpml国家重点实验室国家重点实验室单参量估计方法小结单参量估计方法小结 最大似然估计适用于非随机参量和概率密度函数未知的最大似然估计适用于非随机参量和概率密度函数未知的随机参量估计随机参量估计 最小均方误差估计和最大后验估计适用于概率密度函数最小均方误差估计和最大后验估计适用于概率密度函数已知的随机参量估计。已知的随机参量估计。 但对于非高斯型的，不同的估计方法，可能会得到不同的估计量，如何来衡量一个但对于非高斯型的，不同的估计方法，可能会得到不同的估计量，如何来衡量一个估计量的好坏？估计量的好坏？如果后验概率密度是高斯型的，则最小均方误差、最大后验和条件中值三种方法得到如

18、果后验概率密度是高斯型的，则最小均方误差、最大后验和条件中值三种方法得到的估计量相同，都是具有最小均方误差的估计量。的估计量相同，都是具有最小均方误差的估计量。国家重点实验室国家重点实验室 估计量的性质估计量的性质(1)1. 估计量的主要性质估计量的主要性质1.1 估计量的无偏性估计量的无偏性(1) 对于随机参量对于随机参量 ，如果估计量，如果估计量 的均值满足的均值满足 EddpE xx,则称则称 是随机参量是随机参量 的无偏估计。的无偏估计。国家重点实验室国家重点实验室 估计量的性质估计量的性质(2)1.1 估计量的无偏性估计量的无偏性(2) 对于非随机参量对于非随机参量 ，如果估计量，如

19、果估计量 的均值为的均值为 bdpEx若若 则称则称 是非随机参量是非随机参量 的无偏估计。的无偏估计。 0b若若 则称则称 是非随机参量是非随机参量 的有偏估计。的有偏估计。 0b若若 则称则称 是非随机参量是非随机参量 的已知偏差的有偏估计，的已知偏差的有偏估计， bb可从估计量可从估计量 中减去常数中减去常数b获得无偏估计。获得无偏估计。国家重点实验室国家重点实验室 估计量的性质估计量的性质(3)1.1 估计量的无偏性估计量的无偏性(3) 如果根据如果根据N次观测量构造的估计量次观测量构造的估计量 是有偏的，但满足是有偏的，但满足NxNNExlim或或 EENNxlim非随机参量非随机参

20、量随机参量随机参量则称则称 是是 的渐近无偏估计。的渐近无偏估计。Nx国家重点实验室国家重点实验室估计量的性质估计量的性质(4)1.2 估计量的有效性估计量的有效性对于被估计量对于被估计量 的任意无偏估计的任意无偏估计 和和 ，若估计的均方误差，若估计的均方误差2221EE12则称估计量则称估计量 比比 更有效。更有效。12如果如果 的无偏估计量的无偏估计量 小于其他任意无偏估计量的均小于其他任意无偏估计量的均方误差，则称该估计量为最小均方误差估计量。方误差，则称该估计量为最小均方误差估计量。问题：能否确定一个均方误差的下界？问题：能否确定一个均方误差的下界？国家重点实验室国家重点实验室估计量

21、的性质估计量的性质(5)1.3 估计量的一致性估计量的一致性假设根据假设根据N次观测量构造的估计量为次观测量构造的估计量为 Nx0limNNPx若若则称估计量则称估计量 是一致收敛的估计量。是一致收敛的估计量。Nx0lim2NNEx若若则称估计量则称估计量 是均方一致收敛的估计量。是均方一致收敛的估计量。Nx国家重点实验室国家重点实验室非随机参量的克拉美非随机参量的克拉美-罗不等式罗不等式(1)设设 是非随机参量是非随机参量 的无偏估计，则有的无偏估计，则有 22ln1xpEEVar或 222ln1xpEEVar当且仅当当且仅当 时，上述两式取等号。时，上述两式取等号。 kplnx克拉美克拉美

22、-罗罗不等式不等式克拉美克拉美-罗不等式取等号的条件罗不等式取等号的条件国家重点实验室国家重点实验室非随机参量的克拉美非随机参量的克拉美-罗不等式罗不等式(2)2.1 非随机参量情况下的克拉美非随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途222ln1ln1xxpEpE(1) 非随机参量非随机参量 的任意无偏估计量的任意无偏估计量 的方差的方差 ，即，即均方误差恒不小于均方误差恒不小于 Var(2) 若非随机参量若非随机参量 的无偏估计量的无偏估计量 满足满足 kplnx则无偏估计量则无偏估计量 是有效的，否则是无效的。是有效的，否则是无效的。 国家重点实验室国家重点实验室非

23、随机参量的克拉美非随机参量的克拉美-罗不等式罗不等式(3)2.1 非随机参量情况下的克拉美非随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途 2EVar(3) 若非随机参量若非随机参量 的无偏估计量的无偏估计量 是有效的，则估计量是有效的，则估计量的方差，即均方误差可由克拉美的方差，即均方误差可由克拉美-罗界取得。罗界取得。222ln1ln1xxpEpE国家重点实验室国家重点实验室非随机参量的克拉美非随机参量的克拉美-罗不等式罗不等式(4)2.1 非随机参量情况下的克拉美非随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途(4) 若非随机参量若非随机参量 的无偏有

24、效估计量的无偏有效估计量 存在，它必定是存在，它必定是 的最大似然估计量的最大似然估计量 ，且可由最大似然方程解得。，且可由最大似然方程解得。 ml(5) 若非随机参量若非随机参量 的最大似然估计量的最大似然估计量 不一定是无偏有不一定是无偏有效的。效的。ml0lnmlpx最大似然估计量为 kplnx由 0mlkml国家重点实验室国家重点实验室非随机参量的克拉美非随机参量的克拉美-罗不等式罗不等式(5)2.2 非随机参量情况下，无偏有效估计量的均方误差计算方法非随机参量情况下，无偏有效估计量的均方误差计算方法若非随机参量若非随机参量 的无偏估计量的无偏估计量 也是有效的，则其均方误差也是有效的

25、，则其均方误差为为 kEVar12 kplnx由 kkpln22x kkkEpEln22x kpEEVar1ln1222x国家重点实验室国家重点实验室随机参量的克拉美随机参量的克拉美-罗不等式罗不等式(1)设设 是随机参量是随机参量 的无偏估计，则有的无偏估计，则有 22,ln1xpEEVar或 222,ln1xpEEVar当且仅当当且仅当 时，上述两式取等号。时，上述两式取等号。kp,lnx克拉美克拉美-罗罗不等式不等式克拉美克拉美-罗不等式取等号的条件罗不等式取等号的条件国家重点实验室国家重点实验室随机参量的克拉美随机参量的克拉美-罗不等式罗不等式(2)3.1 随机参量情况下的克拉美随机参

26、量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途(1) 由于由于 ppplnln,lnxx所以所以 22222lnln1ppEEVarx 22lnln1ppEEVarx国家重点实验室国家重点实验室随机参量的克拉美随机参量的克拉美-罗不等式罗不等式(3)3.1 随机参量情况下的克拉美随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途222,ln1,ln1xxpEpE(2) 随机参量随机参量 的任意无偏估计量的任意无偏估计量 的方差的方差 ，即均，即均方误差恒不小于方误差恒不小于 Var国家重点实验室国家重点实验室随机参量的克拉美随机参量的克拉美-罗不等式罗不等式(4)3.

27、1 随机参量情况下的克拉美随机参量情况下的克拉美-罗不等式的含义和用途罗不等式的含义和用途222,ln1,ln1xxpEpE 2EVar(4) 若随机参量若随机参量 的无偏估计量的无偏估计量 是有效的，则估计量的是有效的，则估计量的方差，即均方误差可由克拉美方差，即均方误差可由克拉美-罗界取得。罗界取得。(3) 若随机参量若随机参量 的无偏估计量的无偏估计量 满足满足 则无偏估计量则无偏估计量 是有效的，否则是无效的。是有效的，否则是无效的。 kp,lnx国家重点实验室国家重点实验室随机参量的克拉美随机参量的克拉美-罗不等式罗不等式(5)3.1 随机参量情况下的克拉美随机参量情况下的克拉美-罗

28、不等式的含义和用途罗不等式的含义和用途(6) 若随机参量若随机参量 的无偏有效估计量的无偏有效估计量 存在，它必定是存在，它必定是 的的最大后验估计量最大后验估计量 ，且可由最大后验方程解得。，且可由最大后验方程解得。 map 0lnlnmapppx最大后验估计量为最大后验估计量为 kpplnlnx由0mapkmap国家重点实验室国家重点实验室随机参量的克拉美随机参量的克拉美-罗不等式罗不等式(6)3.2 随机参量情况下，无偏有效估计量的均方误差计算方法随机参量情况下，无偏有效估计量的均方误差计算方法若随机参量若随机参量 的无偏估计量的无偏估计量 也是有效的，则其均方误差为也是有效的，则其均方

29、误差为 kEVar12kp,lnx由kp22,lnxkpE22,lnx kpEEVar1,ln1222x国家重点实验室国家重点实验室非随机参量函数的克拉美非随机参量函数的克拉美-罗不等式罗不等式(1) 222lnxpEgEVar或 2222lnxpEgEVar当且仅当当且仅当 时，上述两式取等号。时，上述两式取等号。 kplnx克拉美克拉美-罗罗不等式不等式克拉美克拉美-罗不等式取等号的条件罗不等式取等号的条件设设 非随机参量非随机参量 的函数的函数 ，其估计量，其估计量 是是 的任意无偏的任意无偏估计，则有估计，则有 g国家重点实验室国家重点实验室随机矢量的贝叶斯估计随机矢量的贝叶斯估计最小

30、均方误差估计最小均方误差估计 第j个参量的最小均方误差估计为： 用矢量表示为：最大后验估计最大后验估计 式中 ( |),1,2,.,jmsejpdjM x( | )msepx dln( | )0mappx 最大后验方程组12ln( | )ln( | )ln( | )ln( | )defMpxpxpxpx 国家重点实验室国家重点实验室随机矢量的伪贝叶斯估计随机矢量的伪贝叶斯估计应用范围：随机矢量的均值矢量和协方差矩阵已知，但概率密度应用范围：随机矢量的均值矢量和协方差矩阵已知，但概率密度函数未知时，可采用函数未知时，可采用伪贝叶斯估计伪贝叶斯估计方法。方法。 方法：根据随机矢量的均值矢量和协方差

31、矩阵，将随机矢量的概方法：根据随机矢量的均值矢量和协方差矩阵，将随机矢量的概率密度函数假设为某种分布，然后应用贝叶斯方法进行估计。率密度函数假设为某种分布，然后应用贝叶斯方法进行估计。 最常用的，是假设为随机矢量服从高斯分布。最常用的，是假设为随机矢量服从高斯分布。采用伪贝叶斯估计方法得到的估计量，其均方误差阵不差于采用采用伪贝叶斯估计方法得到的估计量，其均方误差阵不差于采用最大似然估计时的结果。最大似然估计时的结果。国家重点实验室国家重点实验室随机矢量的经验伪贝叶斯估计随机矢量的经验伪贝叶斯估计应用范围：随机矢量的均值矢量、协方差矩阵和概率密度函数均应用范围：随机矢量的均值矢量、协方差矩阵和

32、概率密度函数均未知时，可采用经验未知时，可采用经验伪贝叶斯估计伪贝叶斯估计方法。方法。 方法：根据观测信号，首先估计随机矢量的均值矢量和协方差矩方法：根据观测信号，首先估计随机矢量的均值矢量和协方差矩阵，然后根据估计结果将随机矢量的概率密度函数假设为某种分阵，然后根据估计结果将随机矢量的概率密度函数假设为某种分布，并应用贝叶斯方法进行估计。布，并应用贝叶斯方法进行估计。 最常用的，是假设为随机矢量服从高斯分布。最常用的，是假设为随机矢量服从高斯分布。采用经验伪贝叶斯估计方法得到的估计量，其均方误差阵不差于采用经验伪贝叶斯估计方法得到的估计量，其均方误差阵不差于采用最大似然估计时的结果。采用最大

33、似然估计时的结果。国家重点实验室国家重点实验室线性最小均方误差估计线性最小均方误差估计(1)线性最小均方误差估计准则线性最小均方误差估计准则 线性最小均方误差估计量的构造线性最小均方误差估计量的构造线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质线性最小均方误差估计的应用范围：线性最小均方误差估计的应用范围：已知观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。已知观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。国家重点实验室国家重点实验室线性最小均方误差估计线性最小均方误差估计(2)线性最小均方误差估计准则线性最小均方误差估计准则 首先，构造的估计矢量

34、是观测矢量x的线性函数，即： 同时要求估计矢量 的均方误差最小，即为 最小，式中， 表示矩阵的轨迹。所以，线性最小均方误差估计的估计规则，就是把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。Bx2() () ()() TTETr E ()Tr 国家重点实验室国家重点实验室线性最小均方误差估计线性最小均方误差估计(3)解得解得1xxCCBxxxxCCBa1所以所以xCCCCBxaxxxxx11lmsexxxxCC1国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质(1) 估计矢量是观测矢量的线性函数估计矢量是观测矢量的线性函数(2) 线性最小均

35、方误差估计矢量是无偏估计线性最小均方误差估计矢量是无偏估计lmsexxxxCC1lmseE xxxxCC1ExxxxCCE1lmse所以所以是是 无偏估计无偏估计国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质(3)估计矢量均方误差阵的最小性估计矢量均方误差阵的最小性 线性最小均方误差估计矢量在线性估计中具有最小的均方误差，且均方误差线性最小均方误差估计矢量在线性估计中具有最小的均方误差，且均方误差矩阵也具有最小性。矩阵也具有最小性。(4)估计的误差矢量与观测矢量的正交性估计的误差矢量与观测矢量的正交性被估计矢量被估计矢量与观测矢量与观测矢量x是正交的，

36、即是正交的，即与线性最小均方误差估计矢量与线性最小均方误差估计矢量 之间的误差矢量之间的误差矢量lmselmse0TlmseEx国家重点实验室国家重点实验室线性最小均方误差估计矢量的性质线性最小均方误差估计矢量的性质0TlmseExlmse由于由于是是 无偏估计无偏估计TTlmseExxTlmseExTTExxxxxxCC1TTEExxxxxxxCCx1xxxxCCCC10国家重点实验室国家重点实验室最小二乘估计最小二乘估计(1)( )() ()TJxHxH1. 最小二乘估计方法最小二乘估计方法均方误差最小：被估计量与估计量之差在统计平均的意义上达到最小值。均方误差最小：被估计量与估计量之差在

37、统计平均的意义上达到最小值。若只有观测信号模型，则无法从统计平均的角度考虑估计误差最小，但可以按照误差的若只有观测信号模型，则无法从统计平均的角度考虑估计误差最小，但可以按照误差的平方和最小的原则进行估计。平方和最小的原则进行估计。nHx观测信号模型为：观测信号模型为： 0lsJ所以，线性最小二乘估计量，是满足下述方程的解：所以，线性最小二乘估计量，是满足下述方程的解：国家重点实验室国家重点实验室最小二乘估计最小二乘估计(2)2. 线性最小二乘估计线性最小二乘估计 HxHHxHx2TTJ由于由于所以所以lsTTHHxHxHHHTTls1国家重点实验室国家重点实验室最小二乘估计最小二乘估计(3)

38、(1) 估计矢量是观测矢量的线性函数估计矢量是观测矢量的线性函数(2) 若观测噪声矢量若观测噪声矢量n的均值矢量为零，则线性最小的均值矢量为零，则线性最小 二乘估计矢量是二乘估计矢量是无偏的。无偏的。(3) 若观测噪声矢量若观测噪声矢量n的均值矢量为零，协方差矩阵为的均值矢量为零，协方差矩阵为 ，则线性，则线性最小二乘估计矢量的均方误差阵为：最小二乘估计矢量的均方误差阵为： nC11()()lsTTTnMH HH C H H H3. 线性最小二乘估计量的性质线性最小二乘估计量的性质 xHHHTTlsEE1nHHHHTTE1 E国家重点实验室国家重点实验室最小二乘估计最小二乘估计(4)4. 线性

39、最小二乘加权估计线性最小二乘加权估计提出背景：如果各次观测噪声的强度不同，所得的各次观测量的精度也是不同的。提出背景：如果各次观测噪声的强度不同，所得的各次观测量的精度也是不同的。噪声方差小时，观测量的精度较高，噪声方差大，观测量的精度较低。如何在构造估计噪声方差小时，观测量的精度较高，噪声方差大，观测量的精度较低。如何在构造估计量时，综合考虑上述因素？量时，综合考虑上述因素？可以通过加权的方式，提高估计的精确度可以通过加权的方式，提高估计的精确度加权线性最小二乘估计。加权线性最小二乘估计。 HxWHxJWT 0lswJW线性最小二乘加权估计量，是满足下述方程的解：线性最小二乘加权估计量，是满

40、足下述方程的解：国家重点实验室国家重点实验室最小二乘估计最小二乘估计(5) HxWHHxWHxW2TTJ由于由于所以所以lswTTWHHWxHWxHWHHTTlsw1 lswTlswlswHxWHxJWminWxHWHHHxWWxHWHHHxTTTTT11国家重点实验室国家重点实验室波形中参量估计的基本原理波形中参量估计的基本原理令令 ，得到，得到N NkkkNNNsxNptxp102,0exp1limlimxNkkkNNNNsxN102,2/0limexplim TdttstxNF020,1exp2/0limNNNF国家重点实验室国家重点实验室波形中参量估计的基本原理波形中参量估计的基本原理

41、所以，所以， 的最大似然估计是满足下述方程的解的最大似然估计是满足下述方程的解 0lnmltxp由于由于 dttststxNtxpT00,2ln 0,200mldttststxNT国家重点实验室国家重点实验室信号振幅的估计信号振幅的估计( ; )( ), 0s tas ttT 信号可表示为信号可表示为其中，其中，s(t)是已知信号，振幅是已知信号，振幅a是待估计量，其最大似然估计量是待估计量，其最大似然估计量是满足下述方程的解是满足下述方程的解 0,200mldttststxNT 0200mlaaTdtatastastxN国家重点实验室国家重点实验室信号振幅的估计信号振幅的估计 dttstas

42、txNdtatastastxNTT000022由于由于 dttasdttstxNTT02002所以所以0ml20( ) ( )( )TTx t s t dtas t dt国家重点实验室国家重点实验室信号振幅的估计信号振幅的估计信号振幅估计的性质信号振幅估计的性质0ml20( ) ( )( )TTx t s t dtas t dt TTmldttsdttstxEaE020 TTdttsdttstxE020 TTdttsdttstntasE020a的无偏估计量。是aaml国家重点实验室国家重点实验室信号振幅的估计信号振幅的估计 dttstastxNaatxpT002ln由于由于 dttasdtts

43、txNTT02002 dttsdttstxadttsNTTT0200202mlsaaNE20有的无偏有效估计量，且是aamlsmlENaaE202国家重点实验室国家重点实验室课后习题课后习题是高斯白噪声，所以是高斯白噪声，所以N次观测是互不相关的，次观测是互不相关的，5.9(1). 因为因为(1,2,)kn kN也是统计独立的。于是也是统计独立的。于是12(,.,)TNxxxx的概率密度函数为的概率密度函数为:由最大似然方程，得：由最大似然方程，得：2/2221/ 21()exp22NkNknnxpx21ln1022mlNkknpx x解得：解得：12NmlkkxN国家重点实验室国家重点实验室

44、下面考察下面考察ml的主要性质：的主要性质：因为因为122NmlkkEEnN所以，所以，m l是无偏估计量。是无偏估计量。又因为又因为22211ln12224NNkkkknnpNxxNxmlk所以，所以，m l也是有效估计量。也是有效估计量。这样，这样，m l是无偏，有效估计量，其均方值取克拉美是无偏，有效估计量，其均方值取克拉美-罗界为罗界为2222ln|41nmlpEEN x国家重点实验室国家重点实验室(2). 由最大后验方程，得：由最大后验方程，得： 21lnln11()224Nkknppxx221110244mapNkknnNx 解得：解得：2121,NmapknkxNN2121Nkn

45、kxNN0,map2121NknkxNN因为因为221211()()( )2NmapknnkEEnENNN所以，所以，map是有偏估计量，但是渐进无偏的。是有偏估计量，但是渐进无偏的。国家重点实验室国家重点实验室估计量估计量map的均方误差为的均方误差为22212()2NnmapkkEEnNN2242222111422()()NNNnnnkkkkkkEnEnnNNNNN2422221144()()NNnnkkkkEnE nNNN4222222244(1)4nnnnNNNN国家重点实验室国家重点实验室(3). 令令11NkkxxN则则2222112,210,2mlnnmapnxxxNNxN ，

46、与观测量与观测量 的关系如上图所示。的关系如上图所示。 从估计量的均方误差看，虽然求最大后验估计量从估计量的均方误差看，虽然求最大后验估计量 时，给出时，给出了被估计量了被估计量 的概率密度函数的概率密度函数 ，但限定了它大于等于，但限定了它大于等于 0，所构，所构造的估计量造的估计量 是有偏的。而是有偏的。而 是无偏有效估计量。所以是无偏有效估计量。所以 的的均方误差大于均方误差大于 的均方误差。但随着观测次数的均方误差。但随着观测次数N的增加，二者的均的增加，二者的均方误差之差随之减小。方误差之差随之减小。mlmap xmap pmapm lmapml国家重点实验室国家重点实验室 课后习题

47、课后习题方法方法1：先求：先求2mln，再利用最大似然估计的不变性得，再利用最大似然估计的不变性得 。m lnP解：噪声解：噪声n(t)的的N个独立样本个独立样本(1,2,)kn kN构成构成N维高斯随机矢量维高斯随机矢量12( ,.,)TNx xxx，其，其N维联合概率密度函数为维联合概率密度函数为22/22211()exp22NNknknnnpn方差方差2n的最大似然估计量的最大似然估计量2mln，由最大似然方程，得，由最大似然方程，得22222241ln022nnmlNnkknnnpnN x解得解得2211mlNnkknN利用最大似然估计的不变性，并考虑利用最大似然估计的不变性，并考虑2

48、10lgnnP是一对一变换，所以噪声是一对一变换，所以噪声n(t)的功率的最大似然估计量为的功率的最大似然估计量为221110lg10lgmlmlNnnkknNP5.13国家重点实验室国家重点实验室方法方法2：利用：利用210lgnnP，将，将2( |)npn等效地参数化为等效地参数化为( |p )np n然后直接求然后直接求pn的最大似然估计的最大似然估计 。 pmln解：因为解：因为210lgnnP所以，所以，/10210nnP这样，这样，2( |)npn等效参数化为等效参数化为2/2/10/1011(n |p )()exp2102 10nnNNknknpPP由最大似然方程，得：由最大似然

49、方程，得：2/101lnpp22ln(2 )ln10pp102 10nNnnkknnpnNNPn/1021110|nnnmlNppkknNP两边取对数两边取对数21110 lgm lNnkknNP2/101ln 101ln 100202010nnnm lNkkppnN P即：即：国家重点实验室国家重点实验室课后习题课后习题5.14 先求先求ml，再利用最大似然估计量的不变性得，再利用最大似然估计量的不变性得ml解：观测信号矢量解：观测信号矢量12( ,.,)TNx xxx的的N维联合概率密度函数为维联合概率密度函数为2/22211()exp22NkNknnxpx由最大似然方程，得：由最大似然方

50、程，得：221ln0mlNkknnpxN x解得：解得：11NmlkkxN是无偏、有效估计量，其均方误差是无偏、有效估计量，其均方误差ml22nmlEN利用最大似然估计的不变性，并考虑到利用最大似然估计的不变性，并考虑到bc是一对一的变换，所以，是一对一的变换，所以，1Nm lm lkkbbcxcN国家重点实验室国家重点实验室因为因为1()()NmlkkbEEncbcN所以，所以， 是无偏估计量。是无偏估计量。ml又因为又因为21ln1()NkknpxNxmlk21()NkknbNbcxcNb式中式中2nNkb 所以，所以， 也是有效估计量。也是有效估计量。ml均方误差取克拉美均方误差取克拉美

51、-罗界，为：罗界，为：222222ln|()nmlpbbcEEN x国家重点实验室国家重点实验室课后习题课后习题解：线性最小二乘估计矢量的构造公式为解：线性最小二乘估计矢量的构造公式为1()TTlsx H HH估计矢量的均方误差为估计矢量的均方误差为11()()lsTTTnCMH HHH H H(1).单参量估计的情况，线性观测方程为：单参量估计的情况，线性观测方程为：,1,2,kkkxhnkN观测矩阵为：观测矩阵为：12,TNh hhH =观测矢量为：观测矢量为：12,TNx xxx =观测噪声矢量为：观测噪声矢量为：12,TNn nnn =线性最小二乘估计量为：线性最小二乘估计量为：111

52、2212122111NlsNNkkNkkkNNhxhxhhhhhhh xhhx5.31国家重点实验室国家重点实验室221121112222121212222222111()00000011lslsnnNNNnNNNnNnkNNkkkkkEhhhhhhhhhhhhhhhhhhhhh2211nNkkh(2).在单参量估计的情况下，若观测噪声在单参量估计的情况下，若观测噪声 的统计特性满足：的统计特性满足：2()0,(),()0kjknjkkE nE n nEn 2220000()00nTnnnECnn于是，估计量的均方误差为：于是，估计量的均方误差为：国家重点实验室国家重点实验室222222222

53、211111111()()kklsNNlsknknNNNkkkkkkkkEhhhhh(3).在单参量估计的情况下，若观测噪声的统计特性满足：在单参量估计的情况下，若观测噪声的统计特性满足：2()0,(),()0kkjknjkkE nE n nEn 122220000()00NnnTnnECnn于是，估计量的均方误差为：于是，估计量的均方误差为：国家重点实验室国家重点实验室121212222222222()NNNnnnnnnTnnnnECnn(4).在单参量估计的情况下，若观测噪声的统计特性满足：在单参量估计的情况下，若观测噪声的统计特性满足：2()0,(),()0kkjknkE nE n nE

54、n在线性最小二乘估计量的均方误差式中，各项分别为：在线性最小二乘估计量的均方误差式中，各项分别为：112112211()TNNkkNhhhhhhhH H国家重点实验室国家重点实验室12121212222122221222212222211111NNNNjnnnnnnTnNNnnnNNNNNknknknjknkkkjkNhhChhhhhhhhhhhhHH =22222221111111111()jjlsNNNNjknjknNNNjkjkkkkkkkhhhhhhh这样，线性最小二乘估计量的均方误差为：这样，线性最小二乘估计量的均方误差为：国家重点实验室国家重点实验室112112211()TNNkkNhhhhhhhH H1 11 212 12 2212222222222()NNNNNNn nn nn nn nn nn nTnn nn nn nECnn(5).在单参量估计的情况下，若观测噪声的统计特性满足：在单参量估计的情况下，若观测噪声的统计特性满足：22()0,(),()0j kkjkjkn nn nkE nE n nEn在线性最小二乘估计量的均方误差式中，各项分别为：在线性最小二乘估计