第三讲_经典检测和估计理论

1、1 22.1 2.1 引言引言 1H0H 00:Hr tstn t 11:Hr tstn t3 4 ： 11)(pHp00)(pHp)|(RHpi)|(iHRp tr01VZ1Z0nrrrr2152.2 简单二元假设检验简单二元假设检验 假定观测空间对应一组假定观测空间对应一组N个观测值：个观测值： 。可以用矢量。可以用矢量r表示：表示： 123,.,Nr rrrnrrrr212.2.1 判决准则判决准则在二元假设中，要么在二元假设中，要么H1为真，要么为真，要么H0为真，所以在实验中有为真，所以在实验中有下列下列4种情况之一发生种情况之一发生（注：第一个下标表示选择哪一种假设，第二注：第一个

2、下标表示选择哪一种假设，第二下标表示哪个假设为真下标表示哪个假设为真）1、H0 为真，选择为真，选择H00 2、 H0 为真，选择为真，选择H103、H1为真，选择为真，选择 H01 4、H1为真，选择为真，选择 H11 6 00100111: ,: ,: ,:CPCPCPCPFMD正0P1P110PP 000001001011 11101 101(|)|C P PHHC P PHHC PPHHC PPHH 视为为真视为为真视为视为为真700)|(0|ZHdHpPRRr正 )(011漏警遗漏：发现：MDPDPDH正确（不发现）虚警：010DPDHF1MDPP1正PPF 11,)|(1ZHDdH

3、pPRR| rDZHMPdHpP1)|(011|RRr10)|(0|ZHFdHpPRRr8 011110001|1011|1110|0100|000|ZHZHZHZHdHpPCdHpPCdHpPCdHpPCRRRRRRRRrrrr000|1ZHdHpRRr011|1ZHdHpRRr1Z0Z、100101110111|11()|HZP CCpPCPCH rR固定代价RRrdHpCCPH|0|0010009 0|001001|11011|011HpCCPHpCCPHHHRRrr1101100100CCPCCP1H0H 01|01HpHpHHRRR| rr0|1|01HpHpHHRRrr110110

4、0100CCPCCP R1H0Hln Rln1H0H10例：例：假定在假定在 下，源输出恒压下，源输出恒压m m。在。在 下源输出为零。在观测下源输出为零。在观测之前，源输出电压被附加噪声污染。我们对输出波形进行每秒之前，源输出电压被附加噪声污染。我们对输出波形进行每秒N N次采样并得到次采样并得到N N个样本。每个噪声样本室方差为个样本。每个噪声样本室方差为 的零均值的随的零均值的随机变量机变量n n。在各瞬间的噪声样本均是独立的随机变量，且独立于。在各瞬间的噪声样本均是独立的随机变量，且独立于源的输出。两种假设下的观测量为源的输出。两种假设下的观测量为210: 1,2,: 1,2,iiii

5、HrmniNHrniN1H0H211)2exp(21)(22XXpin)2)(exp(21)()|(221|1mRmRpHRpiiniHrii)2exp(21)()|(220|0iiniHrRRpHRpii)2)(exp(21)|(2211|1mRHpiNiHRr)2exp(21)|(2210|0iNiHRHpRr12)2exp(21)2)(exp(21)(221221iNiiNiRmRR22122)(lnNmRmNiiRln22212NmRmNii由具体判决准则确由具体判决准则确定的门限值定的门限值NiiR1 2ln2Nmm13 1 1、最小总错误概率准则：、最小总错误概率准则： FPMP1

6、1001 CC01100 CC01101|10|0|ZHZHdHpPdHpPRRRRrr00101lnlnlnPPPP1H0H 0|1|01HpHpHHRRRrr)(lnR 14 2、最大后验概率准则 MAP)|(1RHP)|(0RHP)()()|(11RPHPHRP)()()|(00RPHPHRP)|(iHRPdRHRpHRPii)|()|(11)|(PHRp00)|(PHRp10PP1H0H1H0H1H0H R1H0H15 1P011PPMDPP 1FPP 1正 MPFP1P*1P FMPCCPCCCCP0010110100111FFPCPCP10001)1 ()(16 0)(*1111P

7、PPP*1P 00010110100111FMPCCPCCCCP01100 CCMCC01FCC01FFMMPCPC17二、二、Neyman-Pearson准则：准则： FP ： minmaxMDPPFMPPF10010|1|ZHZHdHpdHpFRRRRrr0010|1|1ZHHdHpHpFRRRrr R1H0HFPdHpPHF0|018小结：小结：)(R)(Rln Rln1H0H 0|1|01HpHpHHRRRrr10|112,.1|012,.0(|)( ,|)(|)( ,|)r HNr HNPR HP r r rHPR HP r r rH19)(Rl )()(LR)()|()|(|RHL

8、HRhgpiHliHrii)()| )()|(xxxhlgpx20)|()|()(01HRpHRpR dHppdHppdHpdHppMFD)|()|()|()|(10010H1H21NiiRNl11 2lnmNmN) 1 ,/(:1mNNH) 1 , 0(:0NH 2/lndd 22xdxxx)2exp(21)(2xcdxxx)2exp(21)(2)2/(lnddPcF)2/(lnddPcD23 )|(0HpddPFdHppdHppFD)|()|(010, 01, 10DFDFPPPP)|()(0|0HpddPHDFDdPdP24由例题可推出由例题可推出接收机工作特性的一般性质接收机工作特性的

9、一般性质性质性质1：所有连续似然比检验的接收机工作特性都是向上凸的。如：所有连续似然比检验的接收机工作特性都是向上凸的。如果不是，则随机化检验应当比检验更好，这与似然比检验为最佳果不是，则随机化检验应当比检验更好，这与似然比检验为最佳的结论相矛盾。的结论相矛盾。性质性质2：所有连续似然比检验的接收机工作曲线均位于：所有连续似然比检验的接收机工作曲线均位于PD=PF之上。之上。这条线正好是性质这条线正好是性质1的特殊情况，因为点的特殊情况，因为点（ PD=0，PF=0 ）和和（ PD=1，PF=1 ）包含在所有接受机工作特性曲线之中。包含在所有接受机工作特性曲线之中。性质性质3：接收机工作特性曲

10、线在某一特定点处的斜率等于门限值：接收机工作特性曲线在某一特定点处的斜率等于门限值 由于该门限值由于该门限值 可以得到该店的可以得到该店的PD和和PF值。值。性质性质4：当贝叶斯风险最大值在：当贝叶斯风险最大值在P1轴的（轴的（0,1）区间内时，极大绩效）区间内时，极大绩效检验的工作点是直线。检验的工作点是直线。25nsrHnsrH000111： nrH00： 观测取样多次：观测取样多次： 0Z1Z2ZNrrrr,321Nrrr21r100011,:,:HH26 )()(11rRMFPP,1)|()|(001ZjjFdRHRpHDPP11)|()|()|()|()|(1001111ZjjjjZ

11、jjDdRHRpHRpHRpdRHRpHDPP )|()|()(01HRpHRpRjjj1)(jR1lnln )(11111，上门限DP)()()|()|()|()|()|()|()|()|()(111010110101jjjijjjjjijjjjjRrHrpHrpHrpHrpHrpHrpHRpHRpR27正PdRHRpRdRHRpHDPPZjjjZjjM0011000)|()()|()|(1lnln )(1)1 (000，下门限MP0)(jR)()()(1jjjRrR / )(ln)1 (ln/ ,/ )(lnln)1 (/00101011HRLEHNEHRLEHNE01*N*N R1H0H

12、2829求和取平均 比较器参考单元 CFAR移位寄存器被检测单元K门限=KMNiiXN11.30二元检测总结二元检测总结名称准则门限应用条件1、Bayes已知最小总错最大后验极大极小 最大不要求先验只用代价2、N-P先验、代价均未知dHp)|(0minc)()(1101100100CCPCCPijCPP10MFppppc1010/ pp0, 111001001CCCC0, 111001001CCCC10/ pp)|()|(01RHPRHP)(1minPc0)()()(001011010011FMPCCPCCCCFFMMPCPCFPmaxDP1H0H313、序列检测 双门限序列得到观测值4、CF

13、AR 自适应恒虚警根据 、 确定S/N 杂波电平变化参考单元噪声平均功率，K门限5、秩检测器 非参量 相当于恒虚警 先验、代价 大小排序 加上M/N检验进一步降低虚警 分布均不用FPP 、D10,)()()(1jjjRrR1,1,01MFPPMFPP,322.3 M2.3 M元检测元检测 ，第一个下标表示选择第，第一个下标表示选择第i个假设，第二个下标表示第个假设，第二个下标表示第j个假设为真，我们把观测空间中选择个假设为真，我们把观测空间中选择Hi的空域表示为的空域表示为Zi，切其先验，切其先验概率为概率为Pi。1210,MZZZZiZ1010|)|(MiMiZjHijjijdHpCPRRr

14、ijC33许树声，许树声，“信号检测与估计信号检测与估计”，P70P701010min)()|(MiMjjjijiHPHRpCiiH 1010)(/ )()|()|(MjjjijMjjijiRpHPHRpCRHPCCiHiH34 jiCCijii, 1, 0(|)(|)imimiP HRP HRH如果对所有，判101,0min)()|(MijMijjjiHPHRp10min)|(1)|()|(MjiijiRHpRHpRHpC max)|(1, 1 , 0成立判决iMiiHRHp35 0tft( ) t( )r t0tft( ) r( ) t( ) t( ) r( )r t36)()()(tnt

15、tr估计准则( )r t( ) t( ) r( )n t估计问题：根据对受噪声污染信号的观测来估计参量、估计问题：根据对受噪声污染信号的观测来估计参量、 随机过程或系统特性的一种数学方法。随机过程或系统特性的一种数学方法。37nara估计问题的模型由四个部分组成：估计问题的模型由四个部分组成：参数空间、从参数空间到观测空间的概率映射、观测空间、估计参数空间、从参数空间到观测空间的概率映射、观测空间、估计规则。模型如下图所示：规则。模型如下图所示：382.4.1、随机参数的、随机参数的Bayes估计（把代价因子变为代价函数）估计（把代价因子变为代价函数） )( ()()(aaCaCaCRR aa

16、aRR RRRRrdApaACdAaaCEa,Rr|Apa39 msa 0|msaaa RRRrms，ApaAddAa|2 RRRRrr|2ApaAdApda RRr|2ApaAdAadda dAApadAAApaaRRRrr|2|2| RRrms|AApdAaa Rmsa 40 ()()()()( ,)( ,)( )( ) ,( ) ,( )b xb xaxaxdFxFxdddxxb xa xF x b xF x a xxx )(Raabs)|(RAP RRRRrrabs|ApaAdApda RRRRRrRrR|ApaAdAApAadAIaaaa Ra RRrRrabsabsRaAaaapd

17、AApdA|41 a MAPa )|(RAp) ,(aaC 2/2/|1RRrrunfunfunfRRRaaadAAppdRr|Apa0|ln|RrRaAaAAp0|RrRaAaAAp42估计被噪声污染的，随机参数估计被噪声污染的，随机参数a a是高斯型：是高斯型：n进行进行n次观测：次观测：若采用最小方差估计，算出后验概率密度：若采用最小方差估计，算出后验概率密度：已知已知代入后验概率密度公式，得：代入后验概率密度公式，得：aN, 0nN, 0Ninarit, 2 , 1, RRRrrrpApApApaaa| 222exp21aaaAAp221|2exp21|niNinaARApRr43考虑

18、到考虑到是对任意是对任意R下，下，a的条件概率密度的条件概率密度整理得整理得 222121|21exp2121|anNiiaNinaAARpApRRrrRr|Apa1|dAApaRr222212221nananapNN 212222|1/21exp|NiinaapaRNNAkApRRr为高斯分布，则最小方差估计为高斯分布，则最小方差估计为其条件均值：为其条件均值： Rmsa 44讨论：讨论：噪声小，参数不确定性大，噪声小，参数不确定性大，测量值可信测量值可信信号较确定，噪声很大，信号较确定，噪声很大，测量值无用测量值无用充分统计量充分统计量计算条件均值困难，只有高斯假设下有解析解计算条件均值困

19、难，只有高斯假设下有解析解Gauss下三种代价得出下三种代价得出 一样一样 NiinaaRNNa12221/Rms:22na,11NiiRNa:22na,0 a NiiRl1Ra 452.4.22.4.2、实参数估计、实参数估计 a RRRrdApAaAa|2 AaRms RRRrrrpApApApaaa|46 mlaA RRRrrrpApApApaaalnln|ln|ln| ApApAlaaln|ln|Rr 0ln|ln|RRrRRaAaaAaaAAApAApAAl 0|ln|RrmlRaAaAAp Rmla 47 )(,RaNn)( Ran a )()| ()|(RfAaPARP RRRR

20、rdApaaEa| AaER 1lim ARaPNn Ra 48 12|2|lnAApEaVaraRRr49若估计无偏，则对A求导其中，上式可表示为： 0|RRRRrdAaApAaEa 0|RRRRRrrdAaAApdApaa xfxfxfdApaln,1|RRrApAApAApaaa|ln|RRRrrr 1|ln|RRRRrrdAaApAApaa50利用利用Schwarz不等式不等式,取等号条件为：取等号条件为：得：得：满足满足时取等号时取等号上述不等式可改写为：上述不等式可改写为： 1|ln|RRRRRrrrdAaApApAApaaa 1|ln|2|2|RRRRRRrrrdApAadApA

21、Apaaa,)()()()(222dttgdttfdttgtf),()(tkgtf12|2)|(ln)( AApEAaEaRRr)()( )|(ln|AkAaAApaRRr51 12|2)|(ln)( AApEaVaraRRr2|2|2)|(ln)|(lnAApEAApEaaRRrr, 1)|(|RRrdApa对对A求导求导再对再对A求导求导0)|()|(ln)|(|RRRRRrrrdApAApdAApaaa0)|()|(ln)|()|(ln|2|2|2RRRRRRrrrrdApAApdApAApaaaa52 )()( mRRlaa)()( )|(ln|AkAaAApaRRr)(mRla)()

22、(|)()( )|(ln0RRrmlmlRRaAaAaAkAaAAp)(mRla53例例1：非随机参数的：非随机参数的ML估计估计为互相独立的高斯变量，为互相独立的高斯变量，似然函数似然函数对上式取对数再取偏导，得似然方程：对上式取对数再取偏导，得似然方程：., 2 , 1,NinArii), 0(nN 221|2exp21)|(niNinaARApRrNiinaARNNAAp12|1)|(lnRr考核一下估计的质量：考核一下估计的质量： 无偏性：无偏性：NiilRNa1m1)(R,1)(1)(11mAANRENaENiNitlR54有效性：上述似然方程满足有效性：上述似然方程满足是有效估计，

23、方差满足是有效估计，方差满足C-R界等号界等号 )()|(ln|AkAaAApaRRr)(mRla12|2)|(ln)( AApEAaaRRVarr22|2)|(lnnaNAApRr对似然方程再取偏导，得：对似然方程再取偏导，得：一致性：一致性：则则 收敛于收敛于A的真值的真值N0)(2NAanml RVar)( Ra55212|)(21exp21)|(nNiinaAsRApRr例例2：非随机参数非随机参数A以非线形方式出现在信号中，表示为以非线形方式出现在信号中，表示为为互相独立的高斯变量：为互相独立的高斯变量：)(AsiinAsr)(), 0(nN NiinaAAsAsRAAp12|)()

24、(1)|(lnRr一般情况下，不符合有效估计关系（非线性），如果一般情况下，不符合有效估计关系（非线性），如果 线性，则为有效估计线性，则为有效估计)(As56使似然方程为使似然方程为0：，得：，得：若若 的反函数存在，且是单值的（则无模糊）：的反函数存在，且是单值的（则无模糊）：这说明最大似然估计与非线性运算是可交换的，所以最大这说明最大似然估计与非线性运算是可交换的，所以最大似然估计经过非线性运算仍然成立似然估计经过非线性运算仍然成立NiimlRNsa111)(R0)(11)()(12RmlaANiinAsRNAAs NiimlRNas11)(R)(As57方差：对似然方程再取偏导，得：方

25、差：对似然方程再取偏导，得：C-R界为：界为：注意到注意到但在非线性条件下，我们并不知道真正误差偏离它多远但在非线性条件下，我们并不知道真正误差偏离它多远考虑边界考虑边界 有用的条件：有用的条件：2212222|2)()()(1)|(lnAAsNAAsAsRAApnNiina Rr12|2)|(lnAApEaRr0)()(iinEAsrE22)()( AAsNAan RVar22)(AAsNn 58设设iinYrAsY),( YAAs)()( )(RaAAAsYA 若对若对Y的误差的误差很小，附近斜率很小，附近斜率可视为常数，则可视为常数，则对应的估计对应的估计a的方差为：的方差为：的非线性特

26、性如下图：的非线性特性如下图：222)()()()(AAsNAAsyan VarVar)(As59 在参数非线性情况下，若估计误差在参数非线性情况下，若估计误差 很小，很小， 与与 成线性关系时，实际估计方差接近于成线性关系时，实际估计方差接近于C-R界界 A Y YML估计对线性估计是有效的，对非线性估计是渐估计对线性估计是有效的，对非线性估计是渐进有效的进有效的时，估计值收敛到精确值，所以时，估计值收敛到精确值，所以ML估估N计也是一致估计。计也是一致估计。602.4.32.4.3、多参数估计、多参数估计 a)(a )()()()(a2211RRRRRKKaaaaaa ,21Kaaa)a

27、a,(C)(a )(a)()(a (T12iRRRR KiaC61 ARARRrmsddpC),()(a (a , ARARRaRRrrmsdpdpT)|()(a )()(| a ARARRRrrmsdpAadpKiii)|()()(| a12msKiApi, 2 , 1, 0)(ln|(R)aAramapR|AAR|AARaramsdp)()(|62 KAAA21AKmKmAGAGAGAGAG111211GA0A|(R(R)aAa | rAml)ln p0R|A(R)aAra|Amap)(ln p63iiAdpaRA)|(RRa | r)()( RiajARA)|(RRa | rdApaji

28、)(ijjidpApa RA)|(RA)|(RRa | ra | rln)(64 KApApAaA)|(RA)|(RRxa | ra | rlnln)(111KKKKTJJJJJE111211200100011 xx01121JcofactorJ 11JJJcofactor1121 iiJ1-JjiAApE)ln2A|(Ra | rjiijApApEJ)ln)lnA|(RA|(Ra | ra | r65 KjjijiiApkAa1ln)()(A)|(RARa | r)lnln(TppEA)|(RA)|(RJa | rAa | rA)ln(TpEA)|(Ra | rAAjiijApApEJlnlnA)|(RA)|(Ra | ra | r)( Ra)( Aa RVar)( RaiiiiJAai)(RVar2 66 jiAAp)(lnEAa2PDTJJJTJDJPJjiijApAp)(ln)(lnEAAJaaP67 rm1TNiiirma,1Nrr iinarin2nrmrmTTTaaE 选择选择m，使得误差，使得误差 最小最小 0)(0TTTaErrmm1rrrm)(TTTEaE68 0rrm)(TTaE baTrmaTabEaE , rm rm EbTa )( rrmrmrmEEaTaTaT)() (aaaaET 0)()(0TTEaaErrmaae(t)=a -aR0rrrrm)