信号参数与估计分析

1、信号参数与估计分析信号参数与估计分析 信号处理的根本任务是要提取有用的信息，有信号处理的根本任务是要提取有用的信息，有 用信息是通过检测、估计的方法对信号进行处用信息是通过检测、估计的方法对信号进行处 理后提取出来的，所以、检测、估计的信号处理后提取出来的，所以、检测、估计的信号处 理方法是信号处理技术的理论基础，它的应用理方法是信号处理技术的理论基础，它的应用 领域十分广泛。领域十分广泛。 信号参数与估计分析信号参数与估计分析 信号参数与估计分析信号参数与估计分析 声纳系统声纳系统-利用声波信号确定船只的位置利用声波信号确定船只的位置 图象处理图象处理-使用红外检测是否有飞机出现使用红外检测

2、是否有飞机出现 图象分析图象分析-根据照相机的图象估计目标的位置根据照相机的图象估计目标的位置 和方向，用机器人抓目标时是必须的和方向，用机器人抓目标时是必须的 生物医学生物医学-估计胎儿的心率估计胎儿的心率 控制控制-估计汽艇的位置，以便采用正确的导航估计汽艇的位置，以便采用正确的导航 行为，如行为，如LoranLoran系统系统 地震学地震学-检测地下是否有油田，并根据油层和检测地下是否有油田，并根据油层和 岩层的密度，根据声反射来估计油田的地下距离。岩层的密度，根据声反射来估计油田的地下距离。 信号参数与估计分析信号参数与估计分析 所有这些问题都有一个共同的特点，那就是从含所有这些问题都

3、有一个共同的特点，那就是从含 有噪声的数据集中去提取我们所需要的有用信息，有噪声的数据集中去提取我们所需要的有用信息， 这些有用信息可能是这些有用信息可能是“目标出现与否目标出现与否”、“数字数字 源发射的是源发射的是0 0还是还是1 1”或者或者“目标的距离目标的距离”、“目标目标 的方位的方位”，或，或”目标的速度目标的速度”等，由于噪声固有等，由于噪声固有 的随机性，因此，有用信息的提取必须采用统计的随机性，因此，有用信息的提取必须采用统计 的方法，这些统计方法的基础就是检测理论与估的方法，这些统计方法的基础就是检测理论与估 计理论，就是本课程后续章节学习的内容。计理论，就是本课程后续章

4、节学习的内容。 信号参数与估计分析信号参数与估计分析 5.5.估计理论估计理论 5.1 估计的基本概念估计的基本概念 5.2 贝叶斯估计：贝叶斯估计：已知代价函数及先验概率，使估计付出的平均代价最小已知代价函数及先验概率，使估计付出的平均代价最小 5.3 最大似然估计：最大似然估计：使似然函数最大使似然函数最大 5.4 估计量的性能估计量的性能 5.5 线性最小均方估计：线性最小均方估计：已知估计量的一、二阶矩已知估计量的一、二阶矩,使均方误差最小的使均方误差最小的 线性估计线性估计 5.6 最小二乘估计：最小二乘估计：观测与估计偏差的平方和最小观测与估计偏差的平方和最小 5.7 波形估计波形

5、估计 信号参数与估计分析信号参数与估计分析 估计问题通常是以下三种情况：估计问题通常是以下三种情况： n 根据观测样本直接对观测样本的各类统计特性作出估计；根据观测样本直接对观测样本的各类统计特性作出估计； n 根据观测样本，对观测样本中的信号中的未知的待定参量根据观测样本，对观测样本中的信号中的未知的待定参量 作出估计，称为信号的参量估计问题，又分为点估计和区间作出估计，称为信号的参量估计问题，又分为点估计和区间 估计；估计； n 根据观测样本对随时间变化的信号作出波形估计，又称为根据观测样本对随时间变化的信号作出波形估计，又称为 过程估计。过程估计。 5.15.1估计的基本概念估计的基本概

6、念 信号参数与估计分析信号参数与估计分析 信源s( ) P( ) 混合 P(n) n 估计规则估计规则 估计估计 ( ) z 观测空间观测空间 信号参量估计的统计推断模型信号参量估计的统计推断模型 5.15.1估计的基本概念估计的基本概念 信号参数与估计分析信号参数与估计分析 估计问题基本要素估计问题基本要素 5.15.1估计的基本概念估计的基本概念 概率传递机制概率传递机制估计准则估计准则 信号参数与估计分析信号参数与估计分析 1 1、贝叶斯估计、贝叶斯估计 在已知代价函数及先验概率基础上，使估计付出的平均在已知代价函数及先验概率基础上，使估计付出的平均 代价最小。代价最小。 设观测值为设观

7、测值为z，待估参量为，待估参量为 。 估计误差：估计误差： 设代价函数：设代价函数： 贝叶斯估计准则：贝叶斯估计准则： ( ) z ( ) min ( )zE C ( )C 5.25.2贝叶斯估计贝叶斯估计 信号参数与估计分析信号参数与估计分析 ( )( ,( ) ( ,( )( , ) ( ,( )(| )( ) (| ) ( ) E CE Cz Czfz d dz Czfz df z dz Cz f z dz ( , ( ) ( | )Czfz d 最小 条件平均代价条件平均代价 统计平均代价：统计平均代价： 等价于使下式最小：等价于使下式最小： 5.25.2贝叶斯估计贝叶斯估计 信号参数

8、与估计分析信号参数与估计分析 2 ( ,)()C 2 2、典型代价函数及贝叶斯估计、典型代价函数及贝叶斯估计 5.25.2贝叶斯估计贝叶斯估计 平方代价：平方代价： ( , )|C 绝对值代价：绝对值代价： 1,| 2 () 0,| 2 C ， 均匀代价：均匀代价： 信号参数与估计分析信号参数与估计分析 最小均方估计最小均方估计(Minimal Square) 对对 求导数，并使其等于零：求导数，并使其等于零： 得：得： 即即 ，也称为条件均值估计。，也称为条件均值估计。 2 (| )()(| )Czfz d 最小 ( | ) 2( | )2( | ) dCz fz dfz d d (| )f

9、z d | Ez 5.25.2贝叶斯估计贝叶斯估计 2 ( ,)()C 平方代价：平方代价： 信号参数与估计分析信号参数与估计分析 条件中位数估计条件中位数估计(Median)(Median) 对对 求导数，并使其等于零，得：求导数，并使其等于零，得： 可见，估计为条件概率密度可见，估计为条件概率密度 的中位数。的中位数。 (| )|(| ) ()(| )()(| ) Czfz d fz dfz d (| )(| ) abs abs fz dfz d (| )fz 5.25.2贝叶斯估计贝叶斯估计 ( , )|C 绝对值代价：绝对值代价： 信号参数与估计分析信号参数与估计分析 最大后验概率估计

10、最大后验概率估计( (maximal posterior probability) 应当选择应当选择 ，使它处在后验概率，使它处在后验概率 的最大处。的最大处。 最大后验概率方程：最大后验概率方程： 或或 2 2 (| )1(| ) map map Czfz d (| ) 0 map fz (| )fz ln(| ) 0 map fz 5.25.2贝叶斯估计贝叶斯估计 1,| 2 () 0,| 2 C ， 均匀代价：均匀代价： 信号参数与估计分析信号参数与估计分析 由关系式：由关系式： 两边取对数并对两边取对数并对 求导，得最大后验概率方程的另一形式：求导，得最大后验概率方程的另一形式： (

11、|)( ) (| ) ( ) f zf fz f z ln( |)ln( ) 0 map f zf 5.25.2贝叶斯估计贝叶斯估计 信号参数与估计分析信号参数与估计分析 例例1设观测为设观测为 ，其中被估计量，其中被估计量A在在-A0,A0上均匀分布上均匀分布, 测量噪声测量噪声vN(0, )，求，求A的最大后验概率估计和最小均方估计。的最大后验概率估计和最小均方估计。 5.25.2贝叶斯估计贝叶斯估计 zAv 2 v 2 2 1() ( |)exp 22 v v zA f z A ( |) ( ) (| ) ( ) f z A f A f A z f z ( |) ( ) ( |) ( )

12、 (| ) ( ) ( |) ( ) ms Af z A f A dA f z A f A AAf A z dAAdA f z f z A f A dA 信号参数与估计分析信号参数与估计分析 例例2 高斯白噪声中的直流电平估计高斯白噪声中的直流电平估计- -高斯先验分布。设有高斯先验分布。设有N N次独立次独立 观测观测z zi i=A+v=A+vi i,i=1,2,.N,i=1,2,.N，其中，其中vN(0, )vN(0, )，A A ，求，求 A A的估计。的估计。 5.25.2贝叶斯估计贝叶斯估计 习题：习题：7.3、7.6 2 2 (,) AA N ( |) ( ) (| ) ( |)

13、 ( ) fA f A f A fA f A dA z z z 2 | 2 2 | | 11 exp() 2 2 A z A z A z A 信号参数与估计分析信号参数与估计分析 由最大后验概率估计由最大后验概率估计 若先验概率密度函数若先验概率密度函数 未知，则由左边第一项求解未知，则由左边第一项求解 参量参量 ，即最大似然估计，用，即最大似然估计，用 表示。最大似然方程为：表示。最大似然方程为： ln( |)ln( ) 0 map f zf ( )f mL ln( |) 0 mL f z 1 1、最大似然估计、最大似然估计 5.35.3最大似然估计最大似然估计 (Maximum Likel

14、ihood Estimate) 信号参数与估计分析信号参数与估计分析 例例1、高斯白噪声中的直流电平估计、高斯白噪声中的直流电平估计-未知参数。设有未知参数。设有N次次 独立观测独立观测zi=A+vi ，i=1,2,.N，其中，其中viN(0, 2)，A为未知为未知 参数，参数， 2已知，求已知，求A的最大似然估计。的最大似然估计。 5.35.3最大似然估计最大似然估计 /2 2 22 1 11 ( /)exp() 22 N N i i fAzA z 1 1 N mli i Azz N 信号参数与估计分析信号参数与估计分析 例例2、设有、设有N次独立观测次独立观测zi=vi ，i=1,2,.N

15、，其中，其中 viN(0, 2)，求，求 2 的最大似然估计。的最大似然估计。 5.35.3最大似然估计最大似然估计 /2 22 22 1 11 ( /)exp 22 N N i i fz z 22 1 1 N mli i z N 信号参数与估计分析信号参数与估计分析 例例3、高斯白噪声中的直流电平估计、高斯白噪声中的直流电平估计-未知参数与未知方未知参数与未知方 差。设有差。设有N次独立观测次独立观测zi=A+vi ，i=1,2,.N，其中，其中 vN(0, 2)， 2、A均为未知参数，求均为未知参数，求A和和 2的最大似然估的最大似然估 计。计。 5.35.3最大似然估计最大似然估计 /2

16、 2 22 1 11 ( / )exp() 22 N N i i fzA z =A 2T 2 2 1 1 () ml N ml i i z A zz N 信号参数与估计分析信号参数与估计分析 1 1、估计量的性能标准、估计量的性能标准 无偏性无偏性 如果估计量的均值等于非随机参量或等于随机参量的均如果估计量的均值等于非随机参量或等于随机参量的均 值，则称估计量具有无偏性。即满足：值，则称估计量具有无偏性。即满足： 对于确定量，有：对于确定量，有： 对于随机量，有：对于随机量，有： E EE 5.45.4估计量的性能估计量的性能 信号参数与估计分析信号参数与估计分析 有效性有效性 5.45.4估

17、计量的性能估计量的性能 对于无偏估计，如果估计的方差越小，表明估计量的取对于无偏估计，如果估计的方差越小，表明估计量的取 值越集中于真值附近，估计的性能越好。值越集中于真值附近，估计的性能越好。 2 ( )( ) VarEE 信号参数与估计分析信号参数与估计分析 对于有偏估计，尽管估计的方差很小，但估对于有偏估计，尽管估计的方差很小，但估 计的误差可能仍然很大。计的误差可能仍然很大。 5.45.4估计量的性能估计量的性能 信号参数与估计分析信号参数与估计分析 有效性有效性 5.45.4估计量的性能估计量的性能 对于无偏估计，如果估计的方差越小，表明估计量的取对于无偏估计，如果估计的方差越小，表

18、明估计量的取 值越集中于真值附近，估计的性能越好。值越集中于真值附近，估计的性能越好。 2 ( )( ) VarEE 用估计的方差还不能准确地描述估计的性能用估计的方差还不能准确地描述估计的性能，所以我们可，所以我们可 以用均方误差作为评价估计量性能的一个指标。以用均方误差作为评价估计量性能的一个指标。 2 ( ) MseE 信号参数与估计分析信号参数与估计分析 一致性一致性 即对于任意小数即对于任意小数 ，若有：，若有： 则估计量则估计量 为一致估计量。为一致估计量。 若满足若满足 则称为均方一致估计量。则称为均方一致估计量。 12 lim( ,)0 N N Pz zz 2 lim()0 N

19、 N E z 5.45.4估计量的性能估计量的性能 信号参数与估计分析信号参数与估计分析 5.45.4估计量的性能估计量的性能 例例1、高斯白噪声中的直流电平估计、高斯白噪声中的直流电平估计-未知参数。设有未知参数。设有N次次 独立观测独立观测zi=A+vi ，i=1,2,.N，其中，其中viN(0, 2)， 2已知。已知。 00 00 00 map AzA AzAzA AzA 1 1 N mli i Azz N 1 1 () N mli i E AEzA N ()() mlmap Mse AMse A () map E AA 信号参数与估计分析信号参数与估计分析 2 2、克拉美罗限、克拉美罗

20、限(Cramer-Rao Low bound)(Cramer-Rao Low bound) 无偏估计量的估计方差的最小值无偏估计量的估计方差的最小值 非随机参量非随机参量 5.45.4估计量的性能估计量的性能 21 ( ) VarEJ 任何无偏估计量的方差满足任何无偏估计量的方差满足 2 2 2 ln( | )ln( | )f zf z JEE ln( | ) () ( ) f k z 等号成立的条件：等号成立的条件： 克拉美克拉美- -罗限罗限 信号参数与估计分析信号参数与估计分析 2 2、克拉美罗限、克拉美罗限(Cramer-Rao bound)(Cramer-Rao bound) 5.4

21、5.4估计量的性能估计量的性能 如果一个无偏估计，它的方差达到如果一个无偏估计，它的方差达到CRLBCRLB，那么，这个估计必，那么，这个估计必 定是最大似然估计。这时最大似然估计是最好的。但如果不定是最大似然估计。这时最大似然估计是最好的。但如果不 存在达到存在达到CRLBCRLB的估计，最大似然估计就不一定是最好的估计。的估计，最大似然估计就不一定是最好的估计。 ln( | ) 0 ml f z ln( | ) () ()0 ml mlml f k z 信号参数与估计分析信号参数与估计分析 例例2、高斯白噪声中的高斯白噪声中的DCDC电平。电平。DCDC电平的最大似然估计的方电平的最大似然

22、估计的方 差是否达到差是否达到CRLBCRLB？它的估计方差是多少？它的估计方差是多少？ 5.45.4估计量的性能估计量的性能 1 1 N mli i Azz N 11 11 NN mlii ii E AEzE zA NN 22 1 ln( /)1 () N iml i fANN zAAA AN z 2 2 2 1 () ln( /) ml Var A Nf z A E A 信号参数与估计分析信号参数与估计分析 2 2、克拉美罗限、克拉美罗限(Cramer-Rao Low bound)(Cramer-Rao Low bound) 无偏估计量的估计方差的最小值无偏估计量的估计方差的最小值 随机参

23、量随机参量 5.45.4估计量的性能估计量的性能 21 ( ) MseEJ 任何无偏估计量的均方误差满足任何无偏估计量的均方误差满足 2 2 2 ln( , )ln( , )f zf z JEE ln( , ) () f k z 等号成立的条件：等号成立的条件： 克拉美克拉美- -罗限罗限 信号参数与估计分析信号参数与估计分析 2 2、克拉美罗限、克拉美罗限(Cramer-Rao Low bound)(Cramer-Rao Low bound) 无偏估计量的估计方差的最小值无偏估计量的估计方差的最小值 随机参量随机参量 5.45.4估计量的性能估计量的性能 如果有某个无偏估计达到如果有某个无偏

24、估计达到CRLB,CRLB,那么该估计必定是最大后验概那么该估计必定是最大后验概 率估计率估计. .而最小均方估计的均方误差也是最小的而最小均方估计的均方误差也是最小的, ,所以这时最小所以这时最小 均方估计与最大后验概率估计等价均方估计与最大后验概率估计等价. . ln( , ) () f k z 信号参数与估计分析信号参数与估计分析 5.45.4估计量的性能估计量的性能 例例2 高斯白噪声中的直流电平估计高斯白噪声中的直流电平估计- -高斯先验分布。设有高斯先验分布。设有N N次独立次独立 观测观测z zi i=A+v=A+vi i,i=1,2,.N,i=1,2,.N，其中，其中vN(0,

25、 )vN(0, )，A A ，求，求 A A的估计的的估计的CRLBCRLB。 2 2 (,) AA N 2 2 2/222 2 1 ( ,)( |) ( ) 1111 exp()exp (2)22 2 N iA N i A A fAfA f A zAA zz 22 ln( , )1 map A fAN AA A z ()( ) map E AE A 2 222 ln( , )1 A fAN A z 1 22 2 2222 1 ( )() A AA N MseE N 信号参数与估计分析信号参数与估计分析 1 1、线性最小均方估计、线性最小均方估计(linear minimum mean (li

26、near minimum mean square error estimation) square error estimation) 前提：不知道前提：不知道 ，知道，知道 的一、二阶矩特性的一、二阶矩特性 准则：使均方误差最小的线性估计准则：使均方误差最小的线性估计 实现：实现： 选择适当的系数选择适当的系数ai及及b，使估计均方误差最小。，使估计均方误差最小。 1 N lmsii i a zb 5.55.5线性最小均方估计线性最小均方估计 ( )f 2 2 1 ( )() min N ii i MseEEa zb 信号参数与估计分析信号参数与估计分析 ()0 jlmsj EzEz 1 N

27、 ii i bEa E z 5.55.5线性最小均方估计线性最小均方估计 正交条件正交条件 1 0 N iij i Ea zb z 正交条件是信号最佳线性滤波和估计算法的基础，在随机正交条件是信号最佳线性滤波和估计算法的基础，在随机 信号处理中占有十分重要的地位。信号处理中占有十分重要的地位。 信号参数与估计分析信号参数与估计分析 性能分析：性能分析： 线性最小均方估计为无偏估计，即有：线性最小均方估计为无偏估计，即有： 线性最小均方估计的均方误差等于误差与被估计量乘线性最小均方估计的均方误差等于误差与被估计量乘 积的统计均值，即：积的统计均值，即： 其中：其中： lms EE 2 EE lm

28、s 5.55.5线性最小均方估计线性最小均方估计 信号参数与估计分析信号参数与估计分析 例例1、设观测模型为设观测模型为zi=s+vi ，i=1,2,.，其中随机参量，其中随机参量s以等以等 概率取概率取-2,-1,0,1,2诸值，噪声干扰诸值，噪声干扰vi以等概率取以等概率取-1,0,1诸诸 值，且值，且Esvi=0， ，试根据一次、二次、三，试根据一次、二次、三 次观测数据求参量次观测数据求参量s的线性最小均方估计。的线性最小均方估计。 5.55.5线性最小均方估计线性最小均方估计 2 ijv Ev v = ij 信号参数与估计分析信号参数与估计分析 1 1、最小二乘估计（、最小二乘估计（

29、Least square estimationLeast square estimation） 前提：前提：适用于线性观测模型；适用于线性观测模型； 不规定估计的概率或统计描述；不规定估计的概率或统计描述； 需要关于被估计量的观测信号模型需要关于被估计量的观测信号模型 ; 准则：准则：使观测与估计偏差的平方和最小。使观测与估计偏差的平方和最小。 假定观测模型为线性，即观测数据假定观测模型为线性，即观测数据zk与参量与参量 1， 2， M之间服从：之间服从： 其中其中hk1，hk2，hkM为已知常系数。为已知常系数。 1122kkkkMMk zhhhnNk, 2 , 1 5.65.6最小二乘估计

30、最小二乘估计 信号参数与估计分析信号参数与估计分析 将观测方程用矢量及矩阵表示：将观测方程用矢量及矩阵表示： 最小二乘估计是使观测与估计偏差的平方和最小，即：最小二乘估计是使观测与估计偏差的平方和最小，即： zHn min T JzHzH 5.65.6最小二乘估计最小二乘估计 ( )min T W JzHW zH 1 TT ls H HH z最小二乘估计为：最小二乘估计为： 1 () TT lsw H WHH Wz 加权最小二乘估计为：加权最小二乘估计为： 信号参数与估计分析信号参数与估计分析 性能分析：性能分析： 对于线性观测模型，最小二乘估计是线性估计，对测量对于线性观测模型，最小二乘估计

31、是线性估计，对测量 噪声的统计特性无任何假设，应用十分广泛；噪声的统计特性无任何假设，应用十分广泛； 若噪声均值为零，若噪声均值为零，最小二乘估计为无偏估计，即有：最小二乘估计为无偏估计，即有： ls E 5.65.6最小二乘估计最小二乘估计 lsw E 信号参数与估计分析信号参数与估计分析 性能分析：性能分析： 最小二乘估计的均方误差为：最小二乘估计的均方误差为： 对于加权最小二乘估计，如果有一些模型的知识，如对于加权最小二乘估计，如果有一些模型的知识，如 E(v)=0， ，当，当 时，估计误差的方时，估计误差的方 差阵达到最小，这个最小的方差阵为：差阵达到最小，这个最小的方差阵为： 11

32、2TTT lsn E H HH V H H H T n EVnn 5.65.6最小二乘估计最小二乘估计 211 ()() TTT lsw E H WHH WRWH H WH T ER nn 111 1 () () TT lsRlsRlsR VarE H WH 1 WR 信号参数与估计分析信号参数与估计分析 例例1、观测数据为：、观测数据为： 其中其中a为待估参量，为待估参量，nk为观测噪声，求为观测噪声，求a的最小二乘估计。的最小二乘估计。 1,2, kk zankN 5.65.6最小二乘估计最小二乘估计 信号参数与估计分析信号参数与估计分析 例例2、根据以下对二维矢量、根据以下对二维矢量 的

33、两次观测，的两次观测， 求求 的线性最小二乘估计。的线性最小二乘估计。 11 22 211 101 412 zn zn 5.65.6最小二乘估计最小二乘估计 1 1 1 1111112 1 236 ()0101011 4 3611 12121243 TT ls TT H HH z 信号参数与估计分析信号参数与估计分析 最小二乘估计在目标跟踪中的应用最小二乘估计在目标跟踪中的应用 5.65.6最小二乘估计最小二乘估计 匀速直线运动的观测模型：匀速直线运动的观测模型： 00 ( )( ) i z ixx tw i 000 T xxX ( )1 i itH 0 ( )( )( )z iiw iHX 习题：7.26,7.31 信号参数与估计分析信号参数与估计分析 1 1、波形估计、波形估计 参量估计适用于非时变参量，无法解决时变参量估计问参量估计适用于非时变参量，无法解决时变参量估计问 题。题。 关于时变参量甚至时变信号本身的估计称为时变信号估关于时变参量甚至时变信号本身的估计称为时变信号估 计或波形估计，因此波形估计又称过程估计。计或波形估计，因此波形估计又称过程估计。 波形估计其实质就是给定有用信号和加性噪声的混合波波形估计其实质就是给定有用信号和加性噪声的混合波 形，寻求一种线性运算作用于此混合波形，