雷达数据处理及应用（第四版） 课件 第2章 参数估计

于洪波雷达数据处理及应用雷达数据处理及应用

第2章参数估计2参数估计1.参数估计定义参数估计状态估计1参数估计的概念参数估计为根据一组与未知参数有关的观测数据按照某种准则推算出未知参数的值。这时得到的估计在该准则下是最优的。参数估计示意图黑盒子

设z(j)是参数x的量测值(2.1)对于k个这样的量测Zk={z(1),

z(2),…,

z(k)}={z(j),j=1,2,…,k}

按照某种准则构造函数

(2.2)就是在该准则下对参数x的估计。2.估计准则

代价函数(风险函数)：是真实值和估计值的函数，通常用表示。对于单参量估计常把代价函数设定为估计误差的函数，即。贝叶斯提出的平均代价最小的估计准则。选择估计使平均代价达到最小。平均代价（平均风险）z的函数由条件概率密度函数可得条件平均代价或条件平均风险此时所得到的估计为贝叶斯估计。(1)均匀代价函数

均匀代价函数-Δ/2Δ/210最大后验估计三种典型的代价函数(2)

误差平方代价函数

误差平方代价函数0最小均方误差估计(3)误差绝对值代价函数误差绝对值代价函数条件中位数估计0将均匀代价函数代入条件平均代价函数中可得2四种基本的估计方法后验概率密度函数图1.最大后验估计(maximumaposterior

estimate

)意义：在给定量测Zk的条件下，参数x落在最大后验估计某个邻域内的概率要比落在其它任何值相同邻域内的概率要大。最大后验估计由贝叶斯准则

参数x的ML，即

2.最大似然估计(maximumlikelihoodestimate)最大后验估计和最大似然估计哪个更好？例2.1设观测数据为其中：x为待估计的参数，w为量测噪声，且w~N(0,σ2)，参数x与噪声w是不相关的。(1)求最大似然估计;(2)当参数x具有单边指数先验概率密度函数，即求它的最大后验估计。解:（1）最大似然估计w~N(0,σ2)由题意可知，且z=x+w，则z~N(x,σ2)参数x的似然函数从数学上讲，估计算法的实际就是求某个给定的指数函数的极值问题。似然方程参数x的似然函数=0(2)最大后验估计由于可得最大后验方程由最大后验方程确定的估计即为最大后验估计。即当时，可使达到极大。若并且a→0，此时由已知条件可知将误差平方代价函数代入条件平均代价函数中可得3.最小均方误差估计(MinimumMean-SquareErrorEstimation)选取使达到极小，即可得到最小均方误差估计。使均方误差达到极小的x值的估计称为最小均方误差估计。最小均方误差估计(MMSE)(2.9)它的解是条件均值，用条件概率密度函数可表示为

(2.10)最小均方误差估计是无偏估计；估计的均方误差即为估计误差的方差；最小均方误差估计的均方误差阵小于任何其它估计准则所得到的均方误差阵。最小均方误差估计的性质4.最小二乘估计(Least-SquaresEstimation)对于量测

(2.6)k时刻参数x的最小二乘估计是指使该时刻误差的平方和达到最小的x值，即

(2.7)最大后验估计

最大似然估计

最小二乘估计

最小均方误差估计最大后验估计需要知道似然函数和待估计参数的先验概率密度函数；最大似然估计只需要知道似然函数；最小均方误差估计只需要知道一、二阶统计矩，而不需要其它概率假定；最小二乘估计去掉了全部概率假定，把估计问题作为确定性的最优化问题来处理，其可看作不断放宽统计要求的最后一步。随机模型：参数是具有先验的概率密度函数p(x)的随机变量，估计常用的方法为贝叶斯方法，包括最大后验估计(MAP)、最小均方误差估计(MMSE)。非随机模型：参数有一个未知的真实值x0，估计常用的方法为非贝叶斯方法，包括最大似然估计(ML)、最小二乘估计(LS)。例题2.2

假定接收到的目标量测数据为k个，即其中x为待估计的随机变量，求(1)参数x的最小二乘估计；(2)若w(j)为独立、同分布的零均值高斯分布随机变量，方差为σ2，求参数x的最大似然估计。解：（1）最小二乘估计，由定义有设由则可得即该情况下参数x的最小二乘估计是样本均值。对其求一阶和二阶导数有(2)最大似然估计

高斯情况下，随机变量X和Y相互独立的充要条件为相关系数ρ=0。即ρ=0，所以不同时刻测量数据z(i)和z(j)(i≠j)之间是统计独立的。例题2.3

雷达测量数据为z=x+w(2.11)其中：x为待估计的参数，w为量测噪声，且w~N(0,σ2)。若已知参数x的先验信息为：x是高斯随机变量，且其均值为、方差为σ02，参数x与噪声w是不相关的，试利用测量数据对参数x做出估计，要求得到的估计值围绕着待估计参数波动最小。解：参数x的最小均方误差估计似然函数为

通过对x配平和重新排列指数，可得参数x的后验概率密度函数为

(2.20)其中：最大后验估计

最大似然估计

最小均方误差估计小结

最小二乘估计于洪波雷达数据处理及应用雷达数据处理及应用

第2章参数估计1．无偏性对于具有真实值x0的非随机参数x，如果则说估计是无偏的。若在的极限情况下上式成立，则称为渐近无偏估计，否则为有偏估计。

一、估计性质称为以作为参数x的估计的系统误差。

对于具有先验概率密度函数p(x)的随机变量x，如果则说估计是无偏的。如果在的极限情况下上式成立，则称为渐近无偏估计，否则为有偏估计。称为以作为参数x的估计的系统误差。无偏估计的实际意义:无系统误差.2．估计误差的方差设和都是根据观测值z1,z2,…,zk做出的随机参数x的无偏估计，若有则称估计较有效。对于具有真实值x0的非随机参数x的无偏估计对于随机参数x的无偏估计

一致估计是指随着可利用的观测数据数量的增加，估计器给出的估计值越来越趋近于真实值。3．一致估计X(t)x1(t)x2(t)x3(t)┇xn(t)┇如果则称随机序列{ξ

n}均方收敛于ξ。

如果随着接收样本数量的增加，均方误差的极限等于零，即则称估计是均方一致（相合）的。若某个估计为一致估计，则随着接收样本数的增加估计性能将变得更好。4．有效估计(EfficientEstimators)

有效估计：若某参数估计为无偏估计，且对应的均方误差达到克拉美-罗下界(CRLB)，则称该估计为有效估计。

克拉美-罗下限揭示了无偏估计量估计方差的最小值，称此最小值为克拉美-罗下限（Cramer-Rao-CRLB）。

如果非随机参数x的估计是无偏估计，并且参数估计对应的均方误差不小于Cramer-Rao下界(CRLB)

则估计误差方差等于CRLB的估计称为非随机参数x的有效估计。其中：是Fisher信息

对于非随机参数而言，如果存在达到CRLB的估计量，那么这个估计就是最大似然估计，这时最大似然估计就是最好的，若有效估计不存在，其最大似然估计则不能认为是有效估计。结论：

如果随机参数x的估计是无偏估计，并且其均方误差是有界的

则估计误差方差等于CRLB的估计称为随机参数x的有效估计。其中：

例题2.3

量测方程z=x+w，其中x为待估计的参数，量测噪声w~N(0,σ2)，参数x与噪声w是不相关的。(1)当参数x为未知常数时，可求得其最大似然估计和最小二乘估计为(2)当参数x是具有均值、方差σ02的高斯随机变量时，可求得其最大后验估计和最小均方误差估计为例题2.5

判断例题2.3给出的四种估计是不是无偏估计？哪一个估计效果更好？是否为有效估计？解：参数x的ML估计、LS估计、MAP估计和MMSE估计都是无偏估计。

参数x的ML估计和MAP估计误差的方差分别为当参数x为未知的常数时当参数x为随机变量时由随机变量有效估计的定义有

最小均方误差估计是使均方误差达到极小的x值，即二、静态向量情况下的参数估计高斯情况下

1.最小均方误差估计2.线性最小均方误差估计所谓线性最小均方误差估计，就是假定所求的估计量是观测量的线性函数，以估计误差方差矩阵达到最小作为最优估计的性能指标的估计方法。步骤：(1)估计是观测量的线性函数;(2)无偏性;(3)均方误差最小。x线性最小均方误差估计的几何表示观测空间估计误差-正交性设估计量是观测量z

的线性函数其中：b为非随机向量，A为非随机矩阵。(1)构造观测量的线性函数(2)无偏性(3)正交性(4)估计的均方误差例题：设观测模型为zi=x+vi,i=1,2,…其中随机变量x以等概率取{-2,-1,0,1,2}诸值，噪声干扰vi以等概率取{-1,0,1}诸值，且E{xvi}=0，E{vivj}=，试根据1次、2次、3次测量数据求参量x的线性最小均方误差估计，并问随着观测数据的增多线性最小均方估计呈现什么趋势？

解：无偏性由正交条件2次测量数据3次测量数据线性最小均方误差估计需要知道被估计量x和观测量z的一、二阶矩，即均值E[x]、E[z]，方差Var[x]、Var[z]和协方差Cov[x,z]。一、估计性质无偏性方差有效估计一致估计小结二、线性最小均方误差估计于洪波雷达数据处理及应用雷达数据处理及应用

第2章参数估计1．无偏性对于具有真实值x0的非随机参数x，如果则说估计是无偏的。若在的极限情况下上式成立，则称为渐近无偏估计，否则为有偏估计。

一、估计性质称为以作为参数x的估计的系统误差。

对于具有先验概率密度函数p(x)的随机变量x，如果则说估计是无偏的。如果在的极限情况下上式成立，则称为渐近无偏估计，否则为有偏估计。称为以作为参数x的估计的系统误差。无偏估计的实际意义:无系统误差.2．估计误差的方差设和都是根据观测值z1,z2,…,zk做出的随机参数x的无偏估计，若有则称估计较有效。对于具有真实值x0的非随机参数x的无偏估计对于随机参数x的无偏估计

一致估计是指随着可利用的观测数据数量的增加，估计器给出的估计值越来越趋近于真实值。3．一致估计X(t)x1(t)x2(t)x3(t)┇xn(t)┇如果则称随机序列{ξ

n}均方收敛于ξ。

如果随着接收样本数量的增加，均方误差的极限等于零，即则称估计是均方一致（相合）的。若某个估计为一致估计，则随着接收样本数的增加估计性能将变得更好。4．有效估计(EfficientEstimators)

有效估计：若某参数估计为无偏估计，且对应的均方误差达到克拉美-罗下界(CRLB)，则称该估计为有效估计。

克拉美-罗下限揭示了无偏估计量估计方差的最小值，称此最小值为克拉美-罗下限（Cramer-Rao-CRLB）。

如果非随机参数x的估计是无偏估计，并且参数估计对应的均方误差不小于Cramer-Rao下界(CRLB)

则估计误差方差等于CRLB的估计称为非随机参数x的有效估计。其中：是Fisher信息

对于非随机参数而言，如果存在达到CRLB的估计量，那么这个估计就是最大似然估计，这时最大似然估计就是最好的，若有效估计不存在，其最大似然估计则不能认为是有效估计。结论：

如果随机参数x的估计是无偏估计，并且其均方误差是有界的

则估计误差方差等于CRLB的估计称为随机参数x的有效估计。其中：

例题2.3

量测方程z=x+w，其中x为待估计的参数，量测噪声w~N(0,σ2)，参数x与噪声w是不相关的。(1)当参数x为未知常数时，可求得其最大似然估计和最小二乘估计为(2)当参数x是具有均值、方差σ02的高斯随机变量时，可求得其最大后验估计和最小均方误差估计为例题2.5

判断例题2.3给出的四种估计是不是无偏估计？哪一个估计效果更好？是否为有效估计？解：参数x的ML估计、LS估计、MAP估计和MMSE估计都是无偏估计。

参数x的ML估计和MAP估计误差的方差分别为当参数x为未知的常数时当参数x