线性最小均方误差估计的估计规则课件

第三章：统计信号估计3.1问题描述3.2随机参量的Bayes估计3.3ML估计3.4估计量的性质3.5线性最小均方误差估计3.6最小二乘估计1第三章：统计信号估计3.1问题描述13.1问题描述（信道估计为例）数字通信数据帧结构信道估计：根据yP、xP以及hP的统计信息，估计hP，即：(yP,xP,stat_info(hP))hP（如yP=hPxP+w)可行性：一般信道都是slowlytimevarying的（相干时间>>时延要求），因此hd≈hp其他估计问题：载波频率、相位、时延等23.1问题描述（信道估计为例）数字通信数据帧结构2建模估计规则参量空间观测空间需要接收端作出估计的参量集合参量空间：观测空间：接收端收到的观测信号的集合概率映射：信源发送信号到接收端过程中，会有噪声的影响，观测信号中包含被估计矢量的信息，所以观测信号是以被估计矢量为参数的随机矢量，用来描述。3建模估计规则参量空间观测空间需要接收端作出估计的参量集合参量建模本章的核心问题之一就是研究上述函数的构造方法，评估所构造估计量的优劣。估计规则：利用被估计矢量的先验知识和观测信号的统计特性，根据指标要求，构造观测矢量的函数来定义估计量。估计量性能的评估估计量的均值估计量的均方误差4建模本章的核心问题之一就是研究上述函数的构造方法，评估所构造3.2随机参量的贝叶斯估计常用代价函数贝叶斯估计的概念最小均方误差估计最大后验概率估计条件中值估计最佳估计的不变性53.2随机参量的贝叶斯估计常用代价函数5代价函数和贝叶斯估计误差平方代价函数误差绝对值代价函数均匀代价函数贝叶斯估计：使平均代价最小的一种估计准则。代价函数的基本特性：非负性和时的最小性。6代价函数和贝叶斯估计误差平方代价函数误差绝对值代价函平均代价设被估计的单随机变量的先验概率密度函数为平均代价C为易知代价函数在给定，选定代价函数的条件下，使平均代价最小的估计称为贝叶斯估计。7平均代价设被估计的单随机变量的先验概率密度函数为平均平均代价由是非负值，因此使平均代价最小，就等价于使最小。条件平均代价8平均代价由是非负值，因此使平均代价最小，就等价于使最RelationwithcostinM-aryDetection估计：参数连续取值；检测：参数取自有限个离散点集合。9RelationwithcostinM-aryDe检测与估计的联系检测：参量的状态是有限的（M-ary检测）估计：参量的状态是连续的（比如实数域，复数域）当M∞时，检测就变成了估计用检测做估计：复杂度太高，不合适用估计做检测：可以，实际上经常这样用比如，在衰落信道y=hx+w的信号检测中，经常对信号先进行估计得到x的估计值x1（复数域上的任意值），然后将其量化到信号星座上的某个点，即检测值x2。无线通信中，有时候并不严格区分检测与估计10检测与估计的联系检测：参量的状态是有限的（M-ary检测）1最小均方误差估计选定的代价函数为使条件平均代价最小的一个必要条件是对上式中求偏导令偏导为零来求得最佳的估计量求解方法11最小均方误差估计选定的代价函数为使条件平均代价最小的最小均方误差估计12最小均方误差估计12最小均方误差估计注：1.最小均方误差估计的估计量实际是条件均值2.最小均方误差估计的条件平均代价实际是条件方差3.最小均方误差估计量的另一种形式13最小均方误差估计注：1.最小均方误差估计的估计量实际是条件均最大后验估计选定的代价函数为使条件平均代价最小，应该使取到最大值当很小时，为保证上式最大，应当选择估计量，使它处于后验概率密度函数最大值的位置。14最大后验估计选定的代价函数为使条件平均代价最小，应该最大后验估计根据上述分析，得到最大后验概率估计量为两种等价形式15最大后验估计根据上述分析，得到最大后验概率估计量为两种等价形条件中值估计选定的代价函数为使条件平均代价最小的一个必要条件是对上式中求偏导令偏导为零来求得最佳的估计量求解方法16条件中值估计选定的代价函数为使条件平均代价最小的一个条件中值估计17条件中值估计17例1研究在加性噪声中单随机参量的估计问题。观测方程为其中nk是均值为零，方差为的独立同分布高斯随机噪声被估计量是均值为零，方差为高斯随机变量求的贝叶斯估计量(最小均方误差、最大后验和条件中值)18例1研究在加性噪声中单随机参量的估计问题。观测方解：根据最大后验估计准则，估计量为满足以下方程的解，即最大后验估计由题设，可知，给定条件下，观测信号xk是均值为，方差为的高斯随机变量19解：根据最大后验估计准则，估计量为满足以下方程的解，即所以最大后验估计量为满足以下方程的解20所以最大后验估计量为满足以下方程的解20估计量的均方误差为21估计量的均方误差为21根据最小均方误差估计准则，估计量为最小均方误差估计由题设，可知，给定条件下，观测信号xk是均值为，方差为的高斯随机变量22根据最小均方误差估计准则，估计量为最小均方误差估计由题设23232424上述分布是高斯型的，其均值为估计量的均方误差为方差为所以最小均方误差估计量为25上述分布是高斯型的，其均值为估计量的均方误差为方差为所以最小条件中值估计估计量的均方误差为所以条件中值估计量为由于26条件中值估计估计量的均方误差为所以条件中值估计量为由于26结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下，使平均代价最小的估计量相同，都等于最小均方误差估计量，估计量的均方误差都是最小的——最佳估计的不变性。条件中值估计最小均方误差估计最大后验估计27结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代例2研究在加性噪声中单随机参量的估计问题。观测方程为其中n是均值为零，方差为的独立同分布高斯随机噪声被估计量在(-SM,SM)之间均匀分布的随机变量求的贝叶斯估计量(最小均方误差和最大后验)28例2研究在加性噪声中单随机参量的估计问题。观测方解：根据最大后验估计准则，估计量为满足以下方程的解，即最大后验估计由题设，可知，给定条件下，观测信号xk是均值为，方差为的高斯随机变量29解：根据最大后验估计准则，估计量为满足以下方程的解，即所以最大后验估计量为满足以下方程的解30所以最大后验估计量为满足以下方程的解30由于s在(-SM,SM)之间取值，所以31由于s在(-SM,SM)之间取值，所以31根据最小均方误差估计准则，估计量为最小均方误差估计32根据最小均方误差估计准则，估计量为最小均方误差估计32333334343.3最大似然估计ML估计：先验等概下的MAP估计出发点：若先验概率未知，或者θ为非随机的未知量，此时MAP不适用。构造：353.3最大似然估计ML估计：先验等概下的MAP估计35例1如果参量θ的观测方程为其中nk是均值为零，方差为的独立同分布高斯随机噪声；θ是均值为零，方差为的高斯变量。求并与比较36例1如果参量θ的观测方程为363737均方误差38均方误差383939ML估计的不变性若是一对一变换，有…………….是一对J(J>1)变换，40ML估计的不变性40例2同例1，求的ML估计41例2同例1，求的M由题设，可知，给定条件下，观测信号xk是均值为，方差为的高斯随机变量由于是的一对一变换，即是单调函数，因此可得解：42由题设，可知，给定条件下，观测信号xk是均值为所以最大似然估计量为由最大似然估计原理，得最大似然估计量为满足以下方程的解。43所以最大似然估计量为由最大似然估计原理，得最大似然估计量为满3.4估计量的性质：无偏性非随机变量无偏估计有偏估计已知偏差的有偏估计

为无偏估计443.4估计量的性质：无偏性非随机变量44估计量的性质：无偏性随机变量无偏估计有偏估计渐近无偏估计45估计量的性质：无偏性随机变量45有效性对于被估计量的任意无偏估计和，若估计的均方误差则称估计量比更有效。如果的无偏估计量小于其他任意无偏估计量的均方误差，则称该估计量为最小均方误差估计量。问题：能否确定一个均方误差的下界？46有效性对于被估计量的任意无偏估计和一致性则称估计量是一致收敛的估计量。假设根据N次观测量构造的估计量为若则称估计量是均方一致收敛的估计量。若47一致性则称估计量是一致收敛的估计量充分性若被估计量的估计量为，x是观测量。如果以为参量的似然函数能够表示为：

则称为充分估计量。

其中，是通过才与x有关的函数，并且以为参量。有效估计量必然是充分估计量48充分性若被估计量的估计量为，x是观Cramer-Rao界：非RV非RV情况：设是非随机参量的无偏估计，则有当且仅当对任意的和x，均满足

时，不等式取等号。49Cramer-Rao界：非RV非RV情况：设是非随证明设是非随机参量的无偏估计，则有对上式求偏导，得50证明设是非随机参量的无偏估计，则有对证明上式改写为51证明上式改写为51证明根据柯西-施瓦滋不等式当且仅当时，上式等号成立。52证明根据柯西-施瓦滋不等式当且仅当证明等号成立条件53证明等号成立条件53证明克拉美-罗不等式的另一种形式求偏导再求一次偏导54证明克拉美-罗不等式的另一种形式求偏导再求一次偏导54证明克拉美-罗不等式的另一种形式所以55证明克拉美-罗不等式的另一种形式所以55Remarks非随机参量情况下的克拉美-罗不等式的含义和用途(1)非随机参量的任意无偏估计量的方差，即均方误差恒不小于(2)若非随机参量的无偏估计量满足则估计量的方差取到最小值，即取到克拉美-罗界。56Remarks非随机参量情况下的克拉美-罗不等式的含义和用途Remarks(3)若非随机参量的无偏估计量满足则无偏估计量是有效的，否则是无效的。(4)若非随机参量的无偏估计量是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。57Remarks(3)若非随机参量的无偏估计量Remarks(5)若非随机参量的无偏有效估计量存在，它必定是的最大似然估计量，且可由最大似然方程解得。(6)非随机参量的最大似然估计量不一定是无偏有效的。最大似然估计量为由58Remarks(5)若非随机参量的无偏有效估计均方误差若非随机参量的无偏估计量也是有效的，则其均方误差为由59均方误差若非随机参量的无偏估计量也是有例1如果参量的观测方程为其中nk是均值为零，方差为的独立同分布高斯随机噪声，试讨论估计量的最大似然估计量的无偏性、有效性和一致性。60例1如果参量的观测方程为其中nk是均值为零，方差由题设，由于61由题设，由于61最大似然估计量是的有效估计量，且估计量的均方误差为最大似然估计量是一致收敛估计量。最大似然估计量是均方一致收敛估计量62最大似然估计量是的有效估计量，且估计量的均方误差为Cramer-Rao界：RV设是随机参量的无偏估计，则有或当且仅当时，上述两式取等号。克拉美-罗不等式克拉美-罗不等式取等号的条件63Cramer-Rao界：RV设是随机参量Remarks(1)由于所以64Remarks(1)由于所以64Remarks(2)随机参量的任意无偏估计量的方差，即均方误差恒不小于(3)若随机参量的无偏估计量满足则估计量的方差取到最小值，即取到克拉美-罗界。65Remarks(2)随机参量的任意无偏估计量Remarks(5)若随机参量的无偏估计量是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。(4)若随机参量的无偏估计量满足则无偏估计量是有效的，否则是无效的。66Remarks(5)若随机参量的无偏估计量Remarks(6)若随机参量的无偏有效估计量存在，它必定是的最大后验估计量。最大后验估计量为67Remarks(6)若随机参量的无偏有效估计量均方误差若随机参量的无偏估计量也是有效的，则其均方误差为由68均方误差若随机参量的无偏估计量也是有效例2同例1。试讨论估计量的贝叶斯估计量的无偏性、有效性和一致性。69例2同例1。试讨论估计量的贝叶斯估计量69由题设，由于70由题设，由于70由于71由于71贝叶斯估计量是的有效估计量，且估计量的均方误差为贝叶斯估计量是一致收敛估计量。贝叶斯估计量是均方一致收敛估计量72贝叶斯估计量是的有效估计量，且估计量的均方误差为贝非随机参量函数的CRLB设非随机参量的函数，其估计量是的任意无偏估计，则有或当且仅当时，上述两式取等号。克拉美-罗不等式克拉美-罗不等式取等号的条件73非随机参量函数的CRLB设非随机参量的函数例3同例1。求的无偏性和有效性，并求估计的均方误差。74例3同例1。解由于易知根据最大似然估计的不变性，得到75解由于易知根据最大似然估计的不变性，得到7576763.5LMMSE估计ModelMMSE、MAP估计：需要后验概率信息ML估计：需要先验概率信息若仅已知前二阶距信息：观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。---采用LMMSE估计773.5LMMSE估计Model77LMMSE估计准则线性最小均方误差估计准则首先，构造的估计矢量是观测矢量x的线性函数，即：

同时要求估计矢量的均方误差最小，即为

最小，式中表示矩阵的迹。所以，线性最小均方误差估计的估计规则，就是把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。78LMMSE估计准则线性最小均方误差估计准则78LMMSE估计构造令79LMMSE估计构造令79LMMSE估计构造80LMMSE估计构造80LMMSE估计构造Lemma81LMMSE估计构造Lemma81LMMSE估计构造注意到82LMMSE估计构造注意到82LMMSE估计构造解得所以83LMMSE估计构造解得所以83LMMSE估计的物理解释均值（先验）新息（观测提供的信息）观测量的信息参量的信息84LMMSE估计的物理解释均值（先验）新息（观测提供的信息）观LMMSE估计的性质(1)估计矢量是观测矢量的线性函数(2)线性最小均方误差估计矢量是无偏估计所以是无偏估计85LMMSE估计的性质(1)估计矢量是观测矢量的线性函数(2LMMSE估计的性质(3)估计的误差矢量与观测矢量的正交性被估计矢量与观测矢量x是正交的，即与线性最小均方误差估计矢量之间的误差矢量86LMMSE估计的性质(3)估计的误差矢量与观测矢量的正交性被LMMSE估计的性质由于是无偏估计87LMMSE估计的性质由于是无偏估计87LMMSE估计的性质(4)最小均方误差估计与线性最小均方误差估计的关系当观测矢量与被估计矢量是联合高斯分布时，最小均方误差估计与线性最小均方误差估计两者相同随机矢量的最小均方误差估计矢量可以是观测矢量的非线性函数，而线性最小均方误差估计的估计矢量一定是观测矢量的线性函数。88LMMSE估计的性质(4)最小均方误差估计与线性最小均方误差例设M维被估计随机矢量的均值矢量和协方差矩阵分别为和，观测方程为求的线性最小均方误差估计矢量和估计矢量的均方误差阵且已知解：由89例设M维被估计随机矢量的均值矢量和协方差矩阵分别为9090919192的线性函数的线性MMSE估计矢量为：

线性变换上的可转换性的线性MMSE估计矢量为证明：随机矢量函数的线性最小均方误差估计9292的线性函数的93

线性变换上的可转换性无偏性：均方误差阵：的线性函数的线性MMSE估计矢量为：随机矢量函数的线性最小均方误差估计9393线性变换上的可转换性无偏性：均方误差阵：的线性函数

线性MMSE估计的可叠加性若和分别是同维随机矢量和的线性MMSE估计矢量，

那么的线性MMSE估计矢量为：无偏性：均方误差阵：随机矢量函数的线性最小均方误差估计94线性MMSE估计的可叠加性若和

线性MMSE估计的可叠加性可以推广到任意有限L个同维矢量的情况若是随机矢量的线性MMSE估计矢量，则

线性MMSE估计矢量为随机矢量函数的线性最小均方误差估计95线性MMSE估计的可叠加性可以推广到任意有限L个同维矢3.6最小二乘估计不需要任何先验信息，只需知道关于被估计量的观测信号模型系统模型被估计量的信号模型误差平方和最小963.6最小二乘估计不需要任何先验信息，只需知道关于被估计量线性最小二乘估计系统模型最小二乘估计误差97线性最小二乘估计系统模型97估计量的构造98估计量的构造98线性最小二乘估计误差99线性最小二乘估计误差99估计量的性质估计矢量是观测矢量的线性函数若噪声矢量均值为0，LLS估计是无偏估计100估计量的性质估计矢量是观测矢量的线性函数100均方误差矩阵101均方误差矩阵101例1102例1102解103解103加权估计给观测噪声较小的观测量以较大的权值，以提高估计的精度加权矩阵W：对称正定矩阵二乘加权估计误差最小二乘加权估计104加权估计给观测噪声较小的观测量以较大的权值，以提高估计的精度估计量的构造105估计量的构造105估计量的性质估计矢量是观测矢量的线性函数若噪声矢量均值为0，LLS估计是无偏估计均方误差矩阵106估计量的性质估计矢量是观测矢量的线性函数106最佳加权矩阵的设计Lemma：设A和B分别是M*N和N*K的任意两个矩阵,且AAT的逆矩阵存在，则有矩阵不等式令有因此107最佳加权矩阵的设计Lemma：设A和B分别是M*N和N*K的例2求解：108例2108非线性最小二乘估计参量变换方法109非线性最小二乘估计参量变换方法109非线性最小二乘估计参量分离方法一般模型：目标：使得下式最小算法：对于给定的，计算使上式达到最小的此时的估计误差为

然后选择使得上式最小110非线性最小二乘估计参量分离方法110作业3信道估计问题（Slide2）Rayleigh,slowfadingchannely=hx+w1）分别采用LMMSE估计和LS估计时，给出MSE随长度P的变化曲线。2）分别采用LMMSE估计和LS估计时，给出BER随信道估计负载比(P/N）的变化曲线。（不同负载比情况下仍要求每帧传输速率相同）111作业3信道估计问题（Slide2）111第三章：统计信号估计3.1问题描述3.2随机参量的Bayes估计3.3ML估计3.4估计量的性质3.5线性最小均方误差估计3.6最小二乘估计112第三章：统计信号估计3.1问题描述13.1问题描述（信道估计为例）数字通信数据帧结构信道估计：根据yP、xP以及hP的统计信息，估计hP，即：(yP,xP,stat_info(hP))hP（如yP=hPxP+w)可行性：一般信道都是slowlytimevarying的（相干时间>>时延要求），因此hd≈hp其他估计问题：载波频率、相位、时延等1133.1问题描述（信道估计为例）数字通信数据帧结构2建模估计规则参量空间观测空间需要接收端作出估计的参量集合参量空间：观测空间：接收端收到的观测信号的集合概率映射：信源发送信号到接收端过程中，会有噪声的影响，观测信号中包含被估计矢量的信息，所以观测信号是以被估计矢量为参数的随机矢量，用来描述。114建模估计规则参量空间观测空间需要接收端作出估计的参量集合参量建模本章的核心问题之一就是研究上述函数的构造方法，评估所构造估计量的优劣。估计规则：利用被估计矢量的先验知识和观测信号的统计特性，根据指标要求，构造观测矢量的函数来定义估计量。估计量性能的评估估计量的均值估计量的均方误差115建模本章的核心问题之一就是研究上述函数的构造方法，评估所构造3.2随机参量的贝叶斯估计常用代价函数贝叶斯估计的概念最小均方误差估计最大后验概率估计条件中值估计最佳估计的不变性1163.2随机参量的贝叶斯估计常用代价函数5代价函数和贝叶斯估计误差平方代价函数误差绝对值代价函数均匀代价函数贝叶斯估计：使平均代价最小的一种估计准则。代价函数的基本特性：非负性和时的最小性。117代价函数和贝叶斯估计误差平方代价函数误差绝对值代价函平均代价设被估计的单随机变量的先验概率密度函数为平均代价C为易知代价函数在给定，选定代价函数的条件下，使平均代价最小的估计称为贝叶斯估计。118平均代价设被估计的单随机变量的先验概率密度函数为平均平均代价由是非负值，因此使平均代价最小，就等价于使最小。条件平均代价119平均代价由是非负值，因此使平均代价最小，就等价于使最RelationwithcostinM-aryDetection估计：参数连续取值；检测：参数取自有限个离散点集合。120RelationwithcostinM-aryDe检测与估计的联系检测：参量的状态是有限的（M-ary检测）估计：参量的状态是连续的（比如实数域，复数域）当M∞时，检测就变成了估计用检测做估计：复杂度太高，不合适用估计做检测：可以，实际上经常这样用比如，在衰落信道y=hx+w的信号检测中，经常对信号先进行估计得到x的估计值x1（复数域上的任意值），然后将其量化到信号星座上的某个点，即检测值x2。无线通信中，有时候并不严格区分检测与估计121检测与估计的联系检测：参量的状态是有限的（M-ary检测）1最小均方误差估计选定的代价函数为使条件平均代价最小的一个必要条件是对上式中求偏导令偏导为零来求得最佳的估计量求解方法122最小均方误差估计选定的代价函数为使条件平均代价最小的最小均方误差估计123最小均方误差估计12最小均方误差估计注：1.最小均方误差估计的估计量实际是条件均值2.最小均方误差估计的条件平均代价实际是条件方差3.最小均方误差估计量的另一种形式124最小均方误差估计注：1.最小均方误差估计的估计量实际是条件均最大后验估计选定的代价函数为使条件平均代价最小，应该使取到最大值当很小时，为保证上式最大，应当选择估计量，使它处于后验概率密度函数最大值的位置。125最大后验估计选定的代价函数为使条件平均代价最小，应该最大后验估计根据上述分析，得到最大后验概率估计量为两种等价形式126最大后验估计根据上述分析，得到最大后验概率估计量为两种等价形条件中值估计选定的代价函数为使条件平均代价最小的一个必要条件是对上式中求偏导令偏导为零来求得最佳的估计量求解方法127条件中值估计选定的代价函数为使条件平均代价最小的一个条件中值估计128条件中值估计17例1研究在加性噪声中单随机参量的估计问题。观测方程为其中nk是均值为零，方差为的独立同分布高斯随机噪声被估计量是均值为零，方差为高斯随机变量求的贝叶斯估计量(最小均方误差、最大后验和条件中值)129例1研究在加性噪声中单随机参量的估计问题。观测方解：根据最大后验估计准则，估计量为满足以下方程的解，即最大后验估计由题设，可知，给定条件下，观测信号xk是均值为，方差为的高斯随机变量130解：根据最大后验估计准则，估计量为满足以下方程的解，即所以最大后验估计量为满足以下方程的解131所以最大后验估计量为满足以下方程的解20估计量的均方误差为132估计量的均方误差为21根据最小均方误差估计准则，估计量为最小均方误差估计由题设，可知，给定条件下，观测信号xk是均值为，方差为的高斯随机变量133根据最小均方误差估计准则，估计量为最小均方误差估计由题设1342313524上述分布是高斯型的，其均值为估计量的均方误差为方差为所以最小均方误差估计量为136上述分布是高斯型的，其均值为估计量的均方误差为方差为所以最小条件中值估计估计量的均方误差为所以条件中值估计量为由于137条件中值估计估计量的均方误差为所以条件中值估计量为由于26结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下，使平均代价最小的估计量相同，都等于最小均方误差估计量，估计量的均方误差都是最小的——最佳估计的不变性。条件中值估计最小均方误差估计最大后验估计138结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代例2研究在加性噪声中单随机参量的估计问题。观测方程为其中n是均值为零，方差为的独立同分布高斯随机噪声被估计量在(-SM,SM)之间均匀分布的随机变量求的贝叶斯估计量(最小均方误差和最大后验)139例2研究在加性噪声中单随机参量的估计问题。观测方解：根据最大后验估计准则，估计量为满足以下方程的解，即最大后验估计由题设，可知，给定条件下，观测信号xk是均值为，方差为的高斯随机变量140解：根据最大后验估计准则，估计量为满足以下方程的解，即所以最大后验估计量为满足以下方程的解141所以最大后验估计量为满足以下方程的解30由于s在(-SM,SM)之间取值，所以142由于s在(-SM,SM)之间取值，所以31根据最小均方误差估计准则，估计量为最小均方误差估计143根据最小均方误差估计准则，估计量为最小均方误差估计3214433145343.3最大似然估计ML估计：先验等概下的MAP估计出发点：若先验概率未知，或者θ为非随机的未知量，此时MAP不适用。构造：1463.3最大似然估计ML估计：先验等概下的MAP估计35例1如果参量θ的观测方程为其中nk是均值为零，方差为的独立同分布高斯随机噪声；θ是均值为零，方差为的高斯变量。求并与比较147例1如果参量θ的观测方程为3614837均方误差149均方误差3815039ML估计的不变性若是一对一变换，有…………….是一对J(J>1)变换，151ML估计的不变性40例2同例1，求的ML估计152例2同例1，求的M由题设，可知，给定条件下，观测信号xk是均值为，方差为的高斯随机变量由于是的一对一变换，即是单调函数，因此可得解：153由题设，可知，给定条件下，观测信号xk是均值为所以最大似然估计量为由最大似然估计原理，得最大似然估计量为满足以下方程的解。154所以最大似然估计量为由最大似然估计原理，得最大似然估计量为满3.4估计量的性质：无偏性非随机变量无偏估计有偏估计已知偏差的有偏估计

为无偏估计1553.4估计量的性质：无偏性非随机变量44估计量的性质：无偏性随机变量无偏估计有偏估计渐近无偏估计156估计量的性质：无偏性随机变量45有效性对于被估计量的任意无偏估计和，若估计的均方误差则称估计量比更有效。如果的无偏估计量小于其他任意无偏估计量的均方误差，则称该估计量为最小均方误差估计量。问题：能否确定一个均方误差的下界？157有效性对于被估计量的任意无偏估计和一致性则称估计量是一致收敛的估计量。假设根据N次观测量构造的估计量为若则称估计量是均方一致收敛的估计量。若158一致性则称估计量是一致收敛的估计量充分性若被估计量的估计量为，x是观测量。如果以为参量的似然函数能够表示为：

则称为充分估计量。

其中，是通过才与x有关的函数，并且以为参量。有效估计量必然是充分估计量159充分性若被估计量的估计量为，x是观Cramer-Rao界：非RV非RV情况：设是非随机参量的无偏估计，则有当且仅当对任意的和x，均满足

时，不等式取等号。160Cramer-Rao界：非RV非RV情况：设是非随证明设是非随机参量的无偏估计，则有对上式求偏导，得161证明设是非随机参量的无偏估计，则有对证明上式改写为162证明上式改写为51证明根据柯西-施瓦滋不等式当且仅当时，上式等号成立。163证明根据柯西-施瓦滋不等式当且仅当证明等号成立条件164证明等号成立条件53证明克拉美-罗不等式的另一种形式求偏导再求一次偏导165证明克拉美-罗不等式的另一种形式求偏导再求一次偏导54证明克拉美-罗不等式的另一种形式所以166证明克拉美-罗不等式的另一种形式所以55Remarks非随机参量情况下的克拉美-罗不等式的含义和用途(1)非随机参量的任意无偏估计量的方差，即均方误差恒不小于(2)若非随机参量的无偏估计量满足则估计量的方差取到最小值，即取到克拉美-罗界。167Remarks非随机参量情况下的克拉美-罗不等式的含义和用途Remarks(3)若非随机参量的无偏估计量满足则无偏估计量是有效的，否则是无效的。(4)若非随机参量的无偏估计量是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。168Remarks(3)若非随机参量的无偏估计量Remarks(5)若非随机参量的无偏有效估计量存在，它必定是的最大似然估计量，且可由最大似然方程解得。(6)非随机参量的最大似然估计量不一定是无偏有效的。最大似然估计量为由169Remarks(5)若非随机参量的无偏有效估计均方误差若非随机参量的无偏估计量也是有效的，则其均方误差为由170均方误差若非随机参量的无偏估计量也是有例1如果参量的观测方程为其中nk是均值为零，方差为的独立同分布高斯随机噪声，试讨论估计量的最大似然估计量的无偏性、有效性和一致性。171例1如果参量的观测方程为其中nk是均值为零，方差由题设，由于172由题设，由于61最大似然估计量是的有效估计量，且估计量的均方误差为最大似然估计量是一致收敛估计量。最大似然估计量是均方一致收敛估计量173最大似然估计量是的有效估计量，且估计量的均方误差为Cramer-Rao界：RV设是随机参量的无偏估计，则有或当且仅当时，上述两式取等号。克拉美-罗不等式克拉美-罗不等式取等号的条件174Cramer-Rao界：RV设是随机参量Remarks(1)由于所以175Remarks(1)由于所以64Remarks(2)随机参量的任意无偏估计量的方差，即均方误差恒不小于(3)若随机参量的无偏估计量满足则估计量的方差取到最小值，即取到克拉美-罗界。176Remarks(2)随机参量的任意无偏估计量Remarks(5)若随机参量的无偏估计量是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。(4)若随机参量的无偏估计量满足则无偏估计量是有效的，否则是无效的。177Remarks(5)若随机参量的无偏估计量Remarks(6)若随机参量的无偏有效估计量存在，它必定是的最大后验估计量。最大后验估计量为178Remarks(6)若随机参量的无偏有效估计量均方误差若随机参量的无偏估计量也是有效的，则其均方误差为由179均方误差若随机参量的无偏估计量也是有效例2同例1。试讨论估计量的贝叶斯估计量的无偏性、有效性和一致性。180例2同例1。试讨论估计量的贝叶斯估计量69由题设，由于181由题设，由于70由于182由于71贝叶斯估计量是的有效估计量，且估计量的均方误差为贝叶斯估计量是一致收敛估计量。贝叶斯估计量是均方一致收敛估计量183贝叶斯估计量是的有效估计量，且估计量的均方误差为贝非随机参量函数的CRLB设非随机参量的函数，其估计量是的任意无偏估计，则有或当且仅当时，上述两式取等号。克拉美-罗不等式克拉美-罗不等式取等号的条件184非随机参量函数的CRLB设非随机参量的函数例3同例1。求的无偏性和有效性，并求估计的均方误差。185例3同例1。解由于易知根据最大似然估计的不变性，得到186解由于易知根据最大似然估计的不变性，得到75187763.5LMMSE估计ModelMMSE、MAP估计：需要后验概率信息ML估计：需要先验概率信息若仅已知前二阶距信息：观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。---采用LMMSE估计1883.5LMMSE估计Model77LMMSE估计准则线性最小均方误差估计准则首先，构造的估计矢量是观测矢量x的线性函数，即：

同时要求估计矢量的均方误差最小，即为

最小，式中表示矩阵的迹。所以，线性最小均方误差估计的估计规则，就是把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。189LMMSE估计准则线性最小均方误差估计准则78LMMSE估计构造令190LMMSE估计构造令79LMMSE估计构造191LMMSE估计构造80LMMSE估计构造Lemma192LMMSE估计构造Lemma81LMMSE估计构造注意到193LMMSE估计构造注意到82LMMSE估计构造解得所以194LMMSE估计构造解得所以83LMMSE估计的物理解释均值（先验）新息（观测提供的信息）观测量的信息参量的信息195LMMSE估计的物理解释均值（先验）新息（观测提供的信息）观LMMSE估计的性质(1)估计矢量是观测矢量的线性函数(2)线性最小均方误差估计矢量是无偏估计所以是无偏估计196LMMSE估计的性质(1)估计矢量是观测矢量的线性函数(2LMMSE估计的性质(3)估计的误差矢量与观测矢量的正交性被估计矢量与观测矢量x是正交的，即与线