第二十四讲：最小二乘估计、波形估计课件

7.6最小二乘估计（LeastSquareEstimate）最小二乘估计是一种对数据的概率分布未做任何假定的一种估计方法，仅对数据模型进行假定。SignalModelPerturbationnoiseModelinaccuraciesSignalModel-+7.6最小二乘估计（LeastSquareEstim1选择一种的最佳估计,使s(n)最接近z(n)例如：DC电平信号选择一种的最佳估计,使s(n)最接近z(n)2例：正弦信号频率的估计最小化难以得到闭合性形式的解，原因是信号与未知参数f0之间存在高度的非线性关系。例：正弦信号频率的估计最小化难以得到闭合性形式的解，原因是信3第二十四讲：最小二乘估计、波形估计课件4加权最小二乘估计加权最小二乘估计5讨论：（1）当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计。讨论：（1）当观测噪声的均值为零时，最小二乘与加权最小二乘6（2）估计的方差阵（2）估计的方差阵7(3)对于加权最小二乘估计，如果有一些模型的知识，如E(v)=0，E[vvT]=R，当W=R-1时，估计误差的方差阵达到最小，这个最小的方差阵为这时的估计称为马尔可夫估计(3)对于加权最小二乘估计，如果有一些模型的知识，如E(v8例：信号幅度的估计设N次独立观测为方法一：例：信号幅度的估计设N次独立观测为方法一：9方法2：方法2：10信号处理实例：最小二乘在目标跟踪中的应用目标的跟踪问题可等效成一个曲线拟合问题假定目标做匀速直线运动运动模型（只考虑x方向）：信号处理实例：最小二乘在目标跟踪中的应用目标的跟踪问题可等效11观测模型：令观测模型：令12递推算法：批处理算法，运算量太大。递推算法：批处理算法，运算量太大。13递推算法：递推算法：147.7波形估计(WaveformEstimation)根据{z(n),n[n0,nf]}估计s(n)波形估计的应用图像恢复语音恢复目标跟踪弹道数据处理7.7波形估计(WaveformEstimation)151.波形估计的三种类型(1)滤波：根据当前和过去的观测值{z(k),k=n0,n0+1,...,n}对信号s(n)进行估计(2)预测:根据当前和过去的观测值{z(k),k=n0,n0+1,...,nf

}对未来时刻n(n>nf)的信号s(n)进行估计，预测也称为外推。数据数据1.波形估计的三种类型(1)滤波：根据当前和过去的观测值16(3)内插:根据某一区间的观测数据{z(k),k=n0,n0+1,...,nf

}对区间内的某一个时刻n(n0<n<nf)的信号进行估计，内插也称为平滑。数据(3)内插:根据某一区间的观测数据数据17波形估计宜采用可建立递推算法的线性最小均方估计或最小二乘估计。v(n)相互独立，且若采用最大似然估计波形估计宜采用可建立递推算法的线性最小均方估计或最小二乘估计18这个估计量是没有意义的，因为没有对观测做任何处理。这个估计量是没有意义的，因为没有对观测做任何处理。19最小均方估计：线性最小均方估计：滤波最小均方估计：线性最小均方估计：滤波20由正交原理：Wiener-Holf方程波形估计的关键是如何求解Wiener-Holf方程由正交原理：Wiener-Holf方程波形估计的关键是如何21维纳滤波器假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统为线性时不变离散时间线性系统，n0=-，即观测数据为{z(k),-<k}，维纳滤波器假定信号和观测过程是平稳随机序列，并且是联合平稳随22维纳滤波器维纳滤波器23当信号s(n)与观测噪声统计独立时当信号s(n)与观测噪声统计独立时24如果假定{z(k),-<k}，系统为因果的线性时不变系统如果假定{z(k),-<k}，系统为因果的线性25第二十四讲：最小二乘估计、波形估计课件26当观测为白噪声的时候，当观测为白噪声的时候，27如果不是白噪声，那么可以先白化Hw(z)H2(z)如果不是白噪声，那么可以先白化Hw(z)H2(z)28例7.13设观测过程为z(n)=s(n)+v(n)，其中假定观测噪声v(n)为零均值白噪声，方差为1，s(n)是具有有理谱的平稳随机序列，功率谱密度为信号s(n)与v(n)统计独立，求估计s(n)的维纳滤波器例7.13设观测过程为z(n)=s(n)+v(n)，其中假29解：解：30第二十四讲：最小二乘估计、波形估计课件31第二十四讲：最小二乘估计、波形估计课件32连续时间的维纳滤波器离散时间滤波连续时间滤波物理可实现物理可实现连续时间的维纳滤波器离散时间滤波连续时间滤波物理可实现物理可33例7.13设观测过程为z(t)=s(t)+v(t)，-<t<其中假定观测噪声v(n)为零均值白噪声，功率谱密度为1，s(n)是具有有理谱的平稳随机过陈，功率谱密度为求估计s(t)的维纳滤波器。例7.13设观测过程为z(t)=s(t)+v(t)，-<34第二十四讲：最小二乘估计、波形估计课件35第七章小结贝叶斯估计非贝叶斯估计最小均方估计条件中位数估计最大后验概率估计线性最小均方估计最大似然估计最小二乘估计都需要计算后验概率密度需要计算似然函数只对数据模型进行假定第七章小结贝叶斯估计非贝叶斯估计最小均方估计最大似然估计都需361.最小均方估计平方代价函数的贝叶斯估计最小均方估计是无偏估计2.条件中位数估计绝对值代价函数的贝叶斯估计1.最小均方估计平方代价函数的贝叶斯估计最小均方估计是无偏373.最大后验概率估计采用绝对值代价函数的贝叶斯估计最大后验概率方程3.最大后验概率估计采用绝对值代价函数的贝叶斯估计最大后验38贝叶斯估计都需要计算后验概率密度，需要已知被估计量的分布特性。先验信息的应用，有利于提高估计的性能。贝叶斯估计都需要计算后验概率密度，需要已知被估计量的分布特性39Mean=Median=Mode高斯后验分布Mean=Median=Mode高斯后验分布404.最大似然估计最大似然方程：4.最大似然估计最大似然方程：41常用信号参数的估计（1）高斯白噪声中恒定电平的估计（2）高斯白噪声的方差估计均值为零均值已知均值未知常用信号参数的估计（1）高斯白噪声中恒定电平的估计（2）42（3）信号幅度的估计z[n]=As[n]+v[n]，n=0,1,….N-1正弦信号幅度估计:（3）信号幅度的估计z[n]=As[n]+v[n]，n=043(4)正弦信号相位的估计(4)正弦信号相位的估计445.估计的性能0DesirePDF概率密度越尖越好均值要等于真值方差越小越好对于有偏估计，均方误差越小越好性能指标：无偏性有效性一致性5.估计的性能0DesirePDF概率密度越尖越好对于有45估计量的CRLB当且仅当任何无偏估计的方差满足估计量的CRLB当且仅当任何无偏估计的方差满足46达到CRLB的估计称为效估计量如果有效估计量存在，则该有效估计量一定是最大似然估计如果有效估计量不存在，则最大似然估计的方差不一定是最小的。最大似然估计是渐近有效估计量，即达到CRLB的估计称为效估计量如果有效估计量存在，则该有效估47随机参量的CRLB任何无偏估计的均方误差满足等号成立的条件随机参量的CRLB任何无偏估计的均方误差满足等号成立的条件48如果有某个无偏估计达到CRLB,那么该估计必定是最大后验概率估计.而最小均方估计的均方误差也是最小的,所以这时最小均方估计与最大后验概率估计等价.如果有某个无偏估计达到CRLB,那么该估计必定是最大后验概率496.线性最小均方估计6.线性最小均方估计50线性最小均方估计是无偏的。当观测与被估计量是联合高斯分布式，线性最小均方估计与最小均方估计等价。矢量形式：线性最小均方估计是无偏的。当观测与被估计量是联合高斯分布式517.最小二乘估计7.最小二乘估计52第二十四讲：最小二乘估计、波形估计课件53性质：当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计。W=R-1时称为马尔可夫估计性质：W=R-1时称为马尔可夫估计548.波形估计滤波、预测、平滑的概念运用正交原理获得Wiener-Holf方程8.波形估计滤波、预测、平滑的概念运用正交原理获得Wien55离散时间滤波连续时间滤波物理可实现物理可实现离散时间滤波连续时间滤波物理可实现物理可实现56习题：7.237.247.25习题：7.237.247.25577.6最小二乘估计（LeastSquareEstimate）最小二乘估计是一种对数据的概率分布未做任何假定的一种估计方法，仅对数据模型进行假定。SignalModelPerturbationnoiseModelinaccuraciesSignalModel-+7.6最小二乘估计（LeastSquareEstim58选择一种的最佳估计,使s(n)最接近z(n)例如：DC电平信号选择一种的最佳估计,使s(n)最接近z(n)59例：正弦信号频率的估计最小化难以得到闭合性形式的解，原因是信号与未知参数f0之间存在高度的非线性关系。例：正弦信号频率的估计最小化难以得到闭合性形式的解，原因是信60第二十四讲：最小二乘估计、波形估计课件61加权最小二乘估计加权最小二乘估计62讨论：（1）当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计。讨论：（1）当观测噪声的均值为零时，最小二乘与加权最小二乘63（2）估计的方差阵（2）估计的方差阵64(3)对于加权最小二乘估计，如果有一些模型的知识，如E(v)=0，E[vvT]=R，当W=R-1时，估计误差的方差阵达到最小，这个最小的方差阵为这时的估计称为马尔可夫估计(3)对于加权最小二乘估计，如果有一些模型的知识，如E(v65例：信号幅度的估计设N次独立观测为方法一：例：信号幅度的估计设N次独立观测为方法一：66方法2：方法2：67信号处理实例：最小二乘在目标跟踪中的应用目标的跟踪问题可等效成一个曲线拟合问题假定目标做匀速直线运动运动模型（只考虑x方向）：信号处理实例：最小二乘在目标跟踪中的应用目标的跟踪问题可等效68观测模型：令观测模型：令69递推算法：批处理算法，运算量太大。递推算法：批处理算法，运算量太大。70递推算法：递推算法：717.7波形估计(WaveformEstimation)根据{z(n),n[n0,nf]}估计s(n)波形估计的应用图像恢复语音恢复目标跟踪弹道数据处理7.7波形估计(WaveformEstimation)721.波形估计的三种类型(1)滤波：根据当前和过去的观测值{z(k),k=n0,n0+1,...,n}对信号s(n)进行估计(2)预测:根据当前和过去的观测值{z(k),k=n0,n0+1,...,nf

}对未来时刻n(n>nf)的信号s(n)进行估计，预测也称为外推。数据数据1.波形估计的三种类型(1)滤波：根据当前和过去的观测值73(3)内插:根据某一区间的观测数据{z(k),k=n0,n0+1,...,nf

}对区间内的某一个时刻n(n0<n<nf)的信号进行估计，内插也称为平滑。数据(3)内插:根据某一区间的观测数据数据74波形估计宜采用可建立递推算法的线性最小均方估计或最小二乘估计。v(n)相互独立，且若采用最大似然估计波形估计宜采用可建立递推算法的线性最小均方估计或最小二乘估计75这个估计量是没有意义的，因为没有对观测做任何处理。这个估计量是没有意义的，因为没有对观测做任何处理。76最小均方估计：线性最小均方估计：滤波最小均方估计：线性最小均方估计：滤波77由正交原理：Wiener-Holf方程波形估计的关键是如何求解Wiener-Holf方程由正交原理：Wiener-Holf方程波形估计的关键是如何78维纳滤波器假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统为线性时不变离散时间线性系统，n0=-，即观测数据为{z(k),-<k}，维纳滤波器假定信号和观测过程是平稳随机序列，并且是联合平稳随79维纳滤波器维纳滤波器80当信号s(n)与观测噪声统计独立时当信号s(n)与观测噪声统计独立时81如果假定{z(k),-<k}，系统为因果的线性时不变系统如果假定{z(k),-<k}，系统为因果的线性82第二十四讲：最小二乘估计、波形估计课件83当观测为白噪声的时候，当观测为白噪声的时候，84如果不是白噪声，那么可以先白化Hw(z)H2(z)如果不是白噪声，那么可以先白化Hw(z)H2(z)85例7.13设观测过程为z(n)=s(n)+v(n)，其中假定观测噪声v(n)为零均值白噪声，方差为1，s(n)是具有有理谱的平稳随机序列，功率谱密度为信号s(n)与v(n)统计独立，求估计s(n)的维纳滤波器例7.13设观测过程为z(n)=s(n)+v(n)，其中假86解：解：87第二十四讲：最小二乘估计、波形估计课件88第二十四讲：最小二乘估计、波形估计课件89连续时间的维纳滤波器离散时间滤波连续时间滤波物理可实现物理可实现连续时间的维纳滤波器离散时间滤波连续时间滤波物理可实现物理可90例7.13设观测过程为z(t)=s(t)+v(t)，-<t<其中假定观测噪声v(n)为零均值白噪声，功率谱密度为1，s(n)是具有有理谱的平稳随机过陈，功率谱密度为求估计s(t)的维纳滤波器。例7.13设观测过程为z(t)=s(t)+v(t)，-<91第二十四讲：最小二乘估计、波形估计课件92第七章小结贝叶斯估计非贝叶斯估计最小均方估计条件中位数估计最大后验概率估计线性最小均方估计最大似然估计最小二乘估计都需要计算后验概率密度需要计算似然函数只对数据模型进行假定第七章小结贝叶斯估计非贝叶斯估计最小均方估计最大似然估计都需931.最小均方估计平方代价函数的贝叶斯估计最小均方估计是无偏估计2.条件中位数估计绝对值代价函数的贝叶斯估计1.最小均方估计平方代价函数的贝叶斯估计最小均方估计是无偏943.最大后验概率估计采用绝对值代价函数的贝叶斯估计最大后验概率方程3.最大后验概率估计采用绝对值代价函数的贝叶斯估计最大后验95贝叶斯估计都需要计算后验概率密度，需要已知被估计量的分布特性。先验信息的应用，有利于提高估计的性能。贝叶斯估计都需要计算后验概率密度，需要已知被估计量的分布特性96Mean=Median=Mode高斯后验分布Mean=Median=Mode高斯后验分布974.最大似然估计最大似然方程：4.最大似然估计最大似然方程：98常用信号参数的估计（1）高斯白噪声中恒定电平的估计（2）高斯白噪声的方差估计均值为零均值已知均值未知常用信号参数的估计（1）高斯白噪声中恒定电平的估计（2）99（3）信号幅度的估计z[n]=As[n]+v[n]，n=0,1,….N-1正弦信号幅度估计:（3）信号幅度的估计z[n]=As[n]+v[n]，n=0100(4)正弦信号相位的估计(4)正弦信号相位的估计1015.估计的性能0DesirePDF概率密度越尖越好均值要等于真值方差越小越好对于有偏估计，均方误差越小越好性能指标：无偏性