学习信号统计分析讲义chapter

1、信号统计分析第5章信号估计理论本章内容5.1引言5.2估计准则5.3多参量的常用估计准则5.4估计量评价的指标5.5克拉美-罗不等式5.6应用5.1引言信号检测：是否存在信号或存在哪种信号信号估计：对信号的参量甚至波形进行定量的推断从信号检测到信号估计，是对事物从定性的量的描述。到定不同应用领域：数理统计领域：估计总体的均值、方差、各阶矩、相关函数等；信息与通信工程领域：估计信号的振幅、相位、频率、时延等；工程领域：估计动态系统的参量和状态，如飞行体的质量、位置、速度、度等；领域：估计、各种反应运行的指标，如人均生产总值、物价指数等。分类确定参量估计和随机参量估计单维（标量）参量估计和（矢量）

2、参量估计时变参量估计和时不变参量估计线性参量估计与非线性参量估计5.2估计准则5.2.1最大后验概率估计5.2.2最大似然估计5.2.3最小均方误差估计5.2.4线性最小均方误差估计5.2.5最小平均绝对误差估计5.2.6贝叶斯估计5.2.7最小二乘估计观测信号x (t ) =(t )0 £ t £ T其中 s (t;q ,q ,"q)为有用信号， = q ,qT 为待估,",q12M12M计参量，n (t ) 为观测噪声。利用N个观测样本 x = 记为 = g (x )xN T进行估计,估计量5.2.1最大后验概率估计使后验概率密度最大的一种估计，即=

3、 arg max f (q | x)qMAPqf (q | x)为单个待估计量q 的后验概率密度函数。其中估计量q可以通过如下方程得到MAPé ¶êë ¶qé ¶êë ¶qf (q | x)ùln f (q | x)ù= 0= 0orúúûûq =qq =qMAPMAP利用 f (q )f (q |进一步可得é ¶êë ¶qln f (x |q ) + ¶ln f (q )&#

4、249;= 0ú¶qûq =qMAP例 5.1已知如下观测样本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s2s2n,其中信号噪声同分布，i并且信号与噪声不相关。sMAP求。5.2.2最大似然估计使观测样本的似然函数 f (x | q )计，即取得最大值的一种估= arg max f (x | q )qMLq估计量q可以通过如下方程得到ML ¶¶q ¶¶qf (x | q )ln f (x |q )= 0= 0orq =qq =qMLML 适用于确定参量估计和先验分布未

5、知的随机参量估计。例 5.2已知如下观测样本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s2s2n,其中信号噪声同分布，i并且信号与噪声不相关。sML求。5.2.3最小均方误差估计使估计的均方误差最小的一种估计。定义估计误差e (q) = q - q估计的均方误差x (q) = E e2 (q)= ò ò (q - q)2(q ) ( x ) | x) f (x)dxf (q( x )则= arg min x (q) = arg min x (q | x)qMSqq利用¶¶qx (q | x)= 0

6、q=qMS可得q f (q | x)dq = E q | xqò(q )=MS例 5.3已知如下观测样本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s2s2n,其中信号噪声同分布，i并且信号与噪声不相关。sMS求。5.2.4线性最小均方误差估计最小均方误差估计的一种特例，要求估计量与观测样本之间必须满足线性关系，即：Nq = g (x) = a + åb x= a + bT xkkk =1其中和b = b , b ,", bT是待定系数，根据最小均方12N误差准则确定。估计的均方误差为ìï

7、éöù2 üï( )æNå kkx q= Eq- a +b xíýþïê÷úçèøûîïëk =1则ìöü¶( )æN- åbk xkE x q=E-2 q- a÷ý = 0íç¶Laèøþîk =1ìæü&#

8、182;( )öN- åbk xk ÷ xk ý = 0E x q= -2Eq- aíçL¶bîèøþk =1k求解得aL = E q - Covx, xE x= Covqx, xbTLùLMS= a+ bT即ûLL正交条件：线性最小均方误差估计的估计误差与观测样本是正交的。)xT = 0(Eq- qLMSe = - LMSe = - LMSc2 x2x2c1 x1 = xx2LMS1x1 = LMS例 5.4已知如下观测样本xi = s + ni ,i = 1,

9、2,", N()()s % N0,sn % N0,s2s2n,其中信号噪声同分布，i并且信号与噪声不相关。sLMS求。5.2.5最小平均绝对误差估计使绝对估计误差的统计平均值最小的一种估计。定义绝对估计误差eABS(q) = q - q其统计平均绝对误差éùúúû(q) =f (x) dxq - qò òx,ABSêë(q ) ( x )( x )(q )( = ò xABS( x )x(q) = arg min x(q | x)q= arg min x则ABSABSABSqq(q x

10、) ¶¶qx= 0即ABSq=qABS解得qf (q x)dq = ò+¥f (q x)dqòABSq-¥ABS可见，q是条件概率密度的中位数，故又称作条件中ABS位数估计。例 5.5已知如下观测样本xi = s + ni ,i = 1, 2,", N()()s % N0,s噪声 n % N0,s其中信号2s2n同分布，,i并且信号与噪声不相关。sABS求。5.2.6贝叶斯估计使估计所承担的平均风险最小的一种估计。定义 q所承担的风险（代价函数）c (q ,q), 则估计的q估计为平均风险为C (q) = ò &#

11、242; c (q ,( x ) (q )f (| x) f (x) dx(x )即= arg min C (q) = arg min C (q | x)qBAYqq（1）最小均方误差估计与贝叶斯估计若定义c (q ,q) = (q - q)2平均风险C (q) = ò ò (q - q)2 f (q , x) dqdx = E (q - q)2 (x) (q )则q= qBAYMS（2）最小平均绝对误差估计与贝叶斯估计若定义c (q ,q) = q - q则平均风险f (q , x) dqdx = E q - qC (q) = ò ò q - q(x)

12、 (q )q= q则BAYABS（3）最大后验概率估计与贝叶斯估计若定义q - q ³ Dì1,c (q ,q) = ï2D2D>0是很小的常数íï0,q - q<ïîq= q则BAYMAP5.2.7最小二乘估计基于参量的线性观测模型，把估计作为确定的最优化问题来处理。线性观测方程为xi = hiq + ni ,估计的误差平方和为i = 1, 2,", N2( )(- hiq)Nåx q=xii=12( )(x - hiq)Nåi=1q= arg min xq= arg min则LS

13、iqq ¶¶qx (q)= -2å(Nx- h q)h= 0即iiii=1q =qLS解得Nåhi xi i=1Nq=LSåi=12hi线性观测方程的矢量形式x = hq + nT, h = h , h ,", hT, n = n , n ,", nT"N12N12ND误差平方和为x (q) = (x - hq)T (x - hq)解得= (hT h)-1 hT xqLS例 5.6已知如下观测样本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s其中信号2s噪声2

14、n同分布，,i并且信号与噪声不相关。sLS求。5.3多参量的常用估计准则多参量矢量 = q1,q2 ,",qMT估计量ùT = éq ,q ,",qëû12M估计误差矢量e ( ) = - = é(q - q ), (q- q ),", (q)Tù- qëû1122MM（1）多参量最大后验概率估计= arg max f ( | x) MAP即é ¶êë ¶ln f ( | x)ù= 0úû=MAP其中第 i

15、个方程为é ¶ln f ( | x)ù= 0 ,i = 1, 2,", Mê¶qúëû =iMAP（2）多参量最大似然估计= arg max f (x | ) ML即é ¶êë ¶ln f (x | )ù= 0úû=ML其中第 i个方程为é ¶ln f (x | )ù= 0 , i = 1, 2,", Mê¶qúëû =iML（3）多参量

16、最小均方误差估计= arg min ( ) = arg min ( | x ) MS得(x) = ò f ( | x) d MS()其中第 i 个方程估计量为(x) =q f ( | x) dqò()i = 1, 2,", MiMSi（4）多参量线性最小均方误差估计 = a + Bx线性关系估计的均方误差为x ( ) = E - a - BxT - a - Bx则E x ( )E x ( ) ¶¶a ¶¶B= 0= 0a=aLB=BLa=aLB=BL解得E + Covx, xéëx - E xù

17、û LMSE ( - LMS )x = 0T正交条件（5）多参量最小平均绝对误差估计= arg min ( ) = arg min ( | x ) ABS解得q+¥f ( | x) d = òf ( | x) dòi = 1, 2,", MiABSq-¥iABS（6）多参量贝叶斯估计平均风险为C ( ) = ò ò c (e) f (x, )ddx(x) ()则= arg min C ( ) = arg min C ( | x) BAYc ( ) = e ()e ()T= eBAY当MSMc (e) = å

18、; i - = BAYABS当ii=1（7）多参量最小二乘估计x = H + n多参量线性观测方程为()Téx - Hùéùx =x - H误差的平方和为ëûëû= arg min x ( ) LS则 ¶ x ( )(x - H ) = 0= -2HT即¶=LS= (HT H)-1 HT x LS解得（8）多参量最小二乘估计对x ( )性能指标后做最小二乘估计，获得更好的估计结果。( ) = éx - HûùTW ëx - Hùéx&#

19、235;ûW是 N ´ N维的对称正定矩阵。则( ) LSW= arg min xW ¶ x( )= -2HT W éëx - Hùû = 0即¶W=LSW解得= (HT WH)-1 HT Wx LSW估计误差矩阵为()H WR WH (HT WH)-1T-1ù é - éùE - = H WHTTëLSW û ëLSW ûn= E nnT 是对称正定矩阵，可分解为Rn = D DT其中Rn利用矩阵施瓦兹不等式BT B ³ (

20、AB)T (AAT)-1 (AB)A = HT D-1, B = DWH (HT WH)-1令()T-1ù é - éùE - ³H RH-1T可得ëû ëLSW ûLSWn当 W = R-1时上式中等式成立，即估计误差达到最小。n()-1T-T-= H RH11H Rx此时LSWnn例 5.7已知线性观测方程为x = Cs + n其中n 是N 维高斯噪声列矢量，E n = 0,Varn = Vn ;s 是M 维高斯信号列矢量，E s = 0,Vars = Vs ;，C是 N ´ M 维观测矩阵

21、信号与噪声相互sMAP , sMS , sLMS试求。例 5.8对某二维矢量 做了两次观测，观测方程如下x1 = H1 + n1x2 = h2 + n2其中= é1ù,= é01ù,xHê2úê12ú11ë ûëû2,h2 = 2x2 = 4, LS试求。5.4估计量评价的指标（1）无偏性对于确定参量 ，若估计量 满足E = 或对于随机参量 ，若估计量E = E 则称所求的估计量 具有无偏性，是无偏估计，否则就是有偏估计。满足E - E - E 确定参量有偏估计的偏差量为随机

22、参量有偏估计的偏差量为当观测样本数趋于无穷时，若lim E = N ®+¥或lim E = E N ®+¥则称估计量 具有渐进无偏性，是渐近无偏估计。（2）有效性均方误差衡量了估计量在真值附近的密集程度。如果某个无偏估计量的均方误差是所有估计量均方误差的最小值，称该估计量是有效估计量。均方误差的最小值由克拉美-罗不等式给出。无偏估计量的有效率Varh =min- )() (TVar = E - 111Var 1h 越大估计质量越好，对于有效估计h = 1 。当观测样本数N趋于无穷时，若lim h = 1N ®+¥则称该估计量为渐近有效

23、估计量。对某一估计量，若lim h = h0 ¹ 1N ®+¥则称 h0 为渐进有效率。（3）一致性若观测样本数N 趋于无穷时，估计量越来越接近其真值，则此时的估计量称为一致估计量。一致估计的两种度量方法：A 当 N ® +¥时，估计量 在概率意义上收敛于lim P ( - < e ) = 1N ®+¥B 当 N ® +¥ 时，估计量 在均方意义上趋近于lim E - 2 = 0N ®+¥（4）充分性对待定参量 及其估计量 (x ),如果似然函数满足f (x | ) = g &#

24、233;ë | ùû h (x)其中，h (x) ³ 0且与 无关，g éë | ùû是 , 的函数，则称 (x)为充分估计量。表明g (×) 中的 包含了观测样本中关于待定参量的全部信息。即：从充分估计量中可以获取待定参量的全部信息，而其它估计量中关于待定参量的信息总是小于充分估计量的。5.5克拉美-罗不等式5.5.1确定单参量估计的克拉美-罗不等式5.5.2随机单参量估计的克拉美-罗不等式5.5.3确定矢量估计的克拉美-罗不等式5.5.4随机矢量估计的克拉美-罗不等式5.5.1确定单参量估计的克拉美-

25、罗不等式对于确定单参量q 的无偏估计为q ，有() 1 12Eq - q³= -ïìé ¶ù2 ïüì ¶2üln f (x |q )ý()ln fx |qEíEíýêúq¶2q¶îþïîëûïþ ¶ln f (x |q ) = K (q )(q - q )当且仅当¶q时等号成立，此时的估计量 q为有效估计量

26、。确定单参量的有效估计是它的最大似然估计。5.5.2随机单参量估计的克拉美-罗不等式对随机单参量 q 的无偏估计q ，为定义 q 给定时估计误差的条件数学期望为g (q ) = ò (q - q ) f (x |q ) dx( x )若f (x | q ) 对q 并满足的一二阶导数都存在且绝对可积，lim f (q ) g (q ) = 0,lim f (q ) g (q ) = 0q ®+¥q ®-¥有() 1 12Eq - q³= -ìïé ¶ù2 ïü

27、6; ¶2üln f (x,q )ý()ln fx,qEíEíýêúq¶2q¶îþïîëûïþ ¶¶qln f (x,q ) = K (q - q )当且仅当时，等号成立。q此时为有效估计量。随机单参量的有效估计是它的最大后验概率估计。5.5.3确定矢量估计的克拉美-罗不等式对确定矢量 的无偏估计为 ,有()()2Eq- q-³i = 1, 2,", M1Jiiii其中

28、9;ìé ¶ïüïì ¶ïüùTùTù é ¶é ¶()()()J = E= -Eln fx | ln fx | ln fx | íýíýêú êúêú¶¶¶¶ëû ëûëûîïþïîïþï ¶¶qM= åj=1ln f (x | )当且仅当q - qi