(信号检测与估计学习辅导)第8章

来源网络侵权请联系删除来源网络侵权请联系删除第8章信号参量估计的基本理论8.1内容提要及结构本章首先介绍信号参量估计的实质，分析信号参量估计的基本原理，然后讨论信号参量贝叶斯估计和最大似然估计，讨论估计量的性能指标和克拉美−罗不等式，最后讨论线性最小均方误差估计和最小二乘估计。本章内容逻辑结构如图8.1图图8.1.1克拉美−罗不等式信号参量估计的基本原理信号参量贝叶斯估计信号参量估计的实质最大后验估计最小均方误差估计条件中值估计估计量的性能指标最大似然估计线性最小均方误差估计最小二乘估计信号参量估计的基本理论8.2目的及要求本章的目的是使学习者理解信号参量估计的实质，掌握以贝叶斯统计决策为基础的信号参量估计的基本原理。掌握信号参量贝叶斯估计的使用条件及一般方法，掌握信号参量贝叶斯估计的三个具体方法：最小均方误差估计、条件中值估计及最大后验估计。理解和掌握估计量的性能指标和克拉美−罗不等式。熟悉多元随机参量信号检测的基本原理。从使用条件、准则及估计量等方面，理解和掌握论线性最小均方误差估计和最小二乘估计。8.3学习要点8.●内容提要：本小节主要简述信号参量估计的相关概念、实质和研究思路。●关键点：理解信号参量估计的实质，熟悉信号参量估计的研究思路。1．信号参量估计的相关概念（1）信号估计是根据接收信号的观测值或观测波形来估计信号的未知参量或未知波形。（2）信号参量估计是根据接收信号的观测值或观测波形来估计信号的未知参量。未知参量可能是随机变量，也可能是非随机的变量。2．信号参量估计的实质信号参量估计的实质是随机信号的参量估计问题，也就是数理统计中参数估计向随机信号的拓展，是应用贝叶斯统计决策理论和方法研究信号的参量估计问题。3．信号参量估计的研究思路信号参量估计采用贝叶斯统计决策的理论和方法。它是一个特殊的贝叶斯统计决策。通过使贝叶斯风险最小，求解估计量。8.3.2●内容提要：本小节主要将贝叶斯统计决策方法应用于信号参量估计问题，分析信号参量估计的基本原理。●关键点：熟悉信号参量估计的信息传输系统模型及接收信号模型，理解观测空间、参量空间、判决空间及代价函数的物理意义，掌握信道噪声概率密度、发送信号及似然函数的关系，掌握设计信号参量估计算法或系统的步骤。1．信号参量估计的信息传输系统模型信号参量估计的信息传输系统模型是加性噪声情况信息传输系统模型，如图8.3图图8.3.1信息源发送设备信道接收设备（含信号参量估计系统）噪声源终端设备2．信号参量估计的信号模型（1）接收信号模型设发送设备发送的信号为，信道的加性噪声为，接收设备的接收信号为，则加性噪声情况信息传输系统的接收信号模型为（8.3.1式中：为未知参量向量，表示未知参量信号的个未知参量。由于噪声是随机信号，故接收设备的接收信号也是随机信号。（2）观测空间在信号参量估计中，将所有可以观测的接收信号组成的集合称为观测空间，并记为，或记为。3．参量空间及判决空间（1）参量空间对于信号参量估计，信号的所有参量向量组成的集合称为参量空间，记作。（2）判决空间对于信号参量估计，判决空间一般取参量空间，即。4．信号参量估计所需的信息信号参量估计所需的信息是指未知信号、噪声以及信息传输系统的统计特性，也就是贝叶斯统计决策所需的信息，包括先验信息、抽样信息和损失信息。1）先验信息对于信号参量估计问题，先验信息就是可以事先确定的信息源和发送设备发送信号的参量向量的联合概率密度，称为先验概率密度。2）似然函数对于接收信号，如果发送设备发送的信号是具有未知参量信号（信号形式已知），则接收设备接收信号的概率分布形式与噪声的概率分布形式相同，只是概率分布的参数不相同。将接收信号看作总体，知道了信道噪声的概率分布形式，也就知道了接收设备所接收信号的总体分布。设信道噪声的概率密度为，以信号参量向量为条件的接收信号的条件分布为（8.3.2）条件分布就是似然函数，它是对接收信号统计特性的描述，是接收信号观测样本信息与接收的信号总体信息的综合反映。似然函数也就是抽样信息。3）损失信息损失信息就是信号参量估计系统作出正确或错误判决的代价函数，表示信号参量估计系统所作决策的正确程度。设发送设备发送信号的真实参量为，而信号参量估计系统将信号参量估计为，定义信号参量估计系统为此付出的代价为代价函数。真实参量与估计量之差称为估计误差。一般选用的代价函数与估计误差有关。即，而且误差越大，代价越大。代价函数应为非负函数、凹函数、在估计误差时达到最小值，并且是误差绝对值的非减函数，是关于的对称函数。4）典型代价函数常用的典型代价函数有：误差平方代价函数、误差绝对值代价函数及均匀代价函数。（1）误差平方代价函数的数学表示式为（8.3.3）误差平方代价函数的图形如图8.3（2）误差绝对值代价函数的数学表示式为（8.3.4）误差绝对值代价函数的图形如图8.3（3）均匀代价函数的数学表示式为（8.3.5）式中：为正的常数。均匀代价函数的图形如图8.3.4图图8.3.2图8.3.3图8.3.45．信号参量估计的准则信号参量估计的准则就是使估计量达到最佳的标准。信号参量估计问题是一个最优化问题。6．信号参量估计的估计量信号参量的估计量就是满足一定最佳准则的从观测空间到判决空间上的一个映射或函数，7．估计量的性能评价对于同一个参量向量，可以有许多不同的估计量或有许多不同的估计方法，需要对估计量性能进行评价。8．设计信号参量估计系统框图在满足估计性能要求的情况下，依据估计量的数学表示式，设计信号参量估计系统的系统模型，并画出系统框图。9．设计信号参量估计系统的步骤一是确定信号参量估计所需的已知条件；二是寻求一种准则下的估计量；三是评估估计量的性能；四是设计信号参量估计系统框图。8.3.●内容提要：本小节首先讨论应用贝叶斯统计决策方法的信号参量估计的一般方法，即信号参量贝叶斯估计；然后将代价函数分别取为误差平方代价函数、误差绝对值代价函数及均匀代价函数，讨论最小均方误差估计、条件中值估计及最大后验估计。●关键点：理解和掌握风险函数及贝叶斯风险的构造方法，掌握使贝叶斯风险最小的方法。理解和掌握最小均方误差估计、条件中值估计及最大后验估计。1．一般贝叶斯估计（1）信号参量贝叶斯估计：采用贝叶斯统计决策的理论和方法的信号参量估计，常简称为贝叶斯估计。（2）贝叶斯估计的准则：使贝叶斯风险最小的准则。（3）贝叶斯估计所需的使用条件发送信号的参量向量的先验概率密度，反映接收信号统计特性的似然函数，描述参量估计所产生代价或损失的代价函数。（4）风险函数估计量的风险函数是代价函数对似然函数的统计平均，即（8.3.6）（5）贝叶斯风险贝叶斯风险是风险函数对参量向量的先验概率密度的统计平均，即（8.3.7）式中：表示在给定观测信号条件下，待估参量向量的条件概率密度，即参量向量的后验概率密度。（6）贝叶斯估计贝叶斯估计就是选择估计量使贝叶斯风险达到最小。它是把贝叶斯风险作为目标函的无约束条件的最优化问题；通过求解最优化问题，推导出贝叶斯估计的估计量。贝叶斯风险最小等价于使条件贝叶斯风险最小，即使（8.3.8）最小。式中：称为条件贝叶斯风险，或称为条件平均代价。它表示在观测向量已知条件下的贝叶斯风险或平均代价。将条件贝叶斯风险对求偏导并等于0，就能求得参量向量的贝叶斯估计量。即（8.3.9）2．最小均方误差估计（1）最小均方误差估计：是使估计误差平方的统计平均达到最小的估计。它是代价函数为误差平方代价函数的贝叶斯估计。（2）最小均方误差估计的贝叶斯风险对于单参量估计的情况，如果选用误差平方代价函数，信号参量估计的贝叶斯风险为（8.3.10）它实际是估计量对真实参量的均方误差。最小均方误差估计的条件贝叶斯风险为（8.3.11）（3）最小均方误差估计的估计量最小均方误差估计量应满足如下方程（8.3.12）最小均方误差估计量为（8.3.13）它是参量对后验概率密度函数的均值。对于由个参量组成的参量向量，误差平方代价函数为（8.3.14）条件贝叶斯风险为（8.3.15）最小均方误差估计量应满足如下方程（8.3.16）求解联立方程，就可以同时获得个参量的估计向量。3．条件中值估计对于单参量估计的情况，如果选用误差绝对值代价函数，条件贝叶斯风险为（8.3.17）贝叶斯估计应满足，故有（8.3.18）即估计量是条件分布的条件中值或条件中位数，故称为条件中值估计，或称为条件中位数估计，条件中值记为。对于由个参量组成的参量向量，误差绝对值代价函数为（8.3.19）贝叶斯风险为（8.3.20）相应的条件贝叶斯风险为（8.3.21）贝叶斯估计量应满足如下方程（8.3.22）求解联立方程，就可以同时获得个参量的估计向量。4．最大后验估计（1）最大后验估计是使后验概率密度函数最大的估计，最大后验估计量记为。它是代价函数为均匀代价函数的贝叶斯估计。（2）最大后验估计所需的已知条件有：发送信号的参量向量的先验概率密度，接收信号的似然函数。（3）最大后验估计方程对于单参量估计的情况，最大后验估计方程为（8.3.23）和（8.3.24）或（8.3.25）对于由个参量组成的参量向量，最大后验估计方程组为（8.3.26）或（8.3.27）8.3.4最大似然估计●内容提要：本小节主要讨论最大似然估计的准则、使用条件及方法。●关键点：理解最大似然估计概念，熟悉最大似然估计的使用条件，掌握最大似然估计的方法。掌握最大似然估计的不变性原理。（1）最大似然估计是使似然函数最大的估计，最大似然估计量记为。（2）最大似然估计的使用条件是：接收信号的似然函数。（3）最大似然估计方程对于单参量估计的情况，最大似然估计方程是（8.3.28）或（8.3.29对于由个参量组成的参量向量，最大似然估计方程组为（8.3.30或（8.3.31）（4）最大似然估计的不变性原理最大似然估计具有不变性：如果是的最大似然估计，且，则的最大似然估计为。也就是说，用原始参量的最大似然估计量替换变换关系中的参量，可以求出变换后的参量的最大似然估计量。最大似然估计的这个性质称为不变性。8.3.5估计量的性能指标●内容提要：本小节主要讨论衡量估计量性能优劣的指标，评价估计量的性能指标主要有4个：无偏性、有效性、一致性及充分性。●关键点：理解和熟悉评价估计量的性能指标：无偏性、有效性、一致性及充分性。1．评价估计量的性能指标（1）估计量的性能指标：用衡量估计量性能优劣的标准。（2）评价估计量的性能指标主要有4个：无偏性、有效性、一致性及充分性。2．无偏性（1）非随机参量的无偏性对于非随机参量，如果估计量满足，则估计量称为的无偏估计量。（2）随机参量的无偏性对于随机参量，如果估计量满足，则估计量称为的无偏估计量。（3）非随机参量的渐近无偏性对于非随机参量，如果估计量是根据有限次观测量构造的，且满足，则估计量称为的渐近无偏估计量。（4）随机参量的渐近无偏性对于随机参量，如果估计量是根据有限次观测量构造的，且满足，则估计量称为的渐近无偏估计量。（5）无偏性的意义：保证估计量分布在被估计参量或被估计参量的均值附近。3．有效性（1）有效性是指估计量能否具有最小方差，具有最小方差的估计量称为有效估计量。（2）有效性的意义：保证估计量具有最小的误差。误差越小，越有效。4．一致性（1）一致估计量对于任意小的正数，如果估计量满足，则估计量称为一致（概率收敛的）估计量。（2）均方一致估计量如果估计量的均方误差满足，则估计量称为均方一致（均方收敛的）估计量。（3）一致性的意义：估计量是收敛的，并以概率或均方误差收敛于被估计量的真值或均值。5．充分性（1）充分估计量对于观测数据，如果被估计量的估计量使得似然函数分解成则估计量称为充分估计量。式中：是通过才与有关的函数，并且以为参量，即只是和的函数；函数只是的函数，与参量无关。函数可以是估计量的概率密度函数。（2）充分估计量的意义：充分估计量比其他估计量能够提供更多的有关参量的信息，或者说，充分估计量体现了含在观测数据中有关参量的全部有用信息。8.3●内容提要：本小节主要说明克拉美-罗不等式意义和作用，针对单个非随机参量、单个随机参量、单个非随机参量函数、非随机参量向量、随机参量向量及非随机参量向量函数的估计，分别讨论了相应的克拉美-罗不等式。以单个非随机参量估计的克拉美-罗不等式为代表，重点讨论。●关键点：理解和熟悉克拉美-罗不等式意义和作用，掌握不同类型的克拉美-罗不等式及使用条件。熟悉单个非随机参量和单个随机参量估计的克拉美-罗不等式的推导方法。1．克拉美-罗不等式意义和作用（1）克拉美-罗不等式的意义在于说明：任何估计量都存在一个方差或均方误差下限。（2）克拉美-罗下限作用：求有效估计量的方差或均方误差。2．单个非随机参量情况的克拉美-罗不等式定理1：设是单个非随机参量的任意无偏估计量，为似然函数，则估计量的方差满足（8.3.32）或（8.3.33）当且仅当对所有的和都满足（8.3.34）时，两个不等式的等号成立。其中，可以是的函数，但不能是的函数，也可以是任意非0常数。两个不等式称为单个非随机参量情况的克拉美-罗不等式。克拉美-罗不等式的右端是无偏估计量的方差下限，称为克拉美-罗下限或克拉美-罗下界。证明：由于是单个非随机参量的任意无偏估计量，有通过对上式两边求偏导，得到进一步由上式得到利用施瓦兹不等式，得到单个非随机参量情况的不等式克拉美-罗不等式的第一种形式。通过对下式两边求2次偏导，得到于是有将上式代入克拉美-罗不等式的第一种形式，就可得到克拉美-罗不等式的另一种形式。3．单个随机参量情况的克拉美-罗不等式定理2：设是单个随机参量的任意无偏估计量，为观测信号与待估随机参量的联合概率密度，则估计量的均方误差满足（8.3.35）或（8.3.36）当且仅当对所有的和都满足（8.3.37）时，两个不等式的等号成立。式中，为任意非0常数。两个不等式称为单个随机参量情况的克拉美-罗不等式。克拉美-罗不等式的右端是无偏估计量的均方误差下限，称为克拉美-罗下限。4．关于单个参量情况的克拉美-罗不等式的讨论（1）任何单个待估计参量，它的有效估计量并不一定总存在。（2）当有效估计量存在时，此有效估计量的方差或均方误差就是克拉美-罗下限。（3）对于单个非随机参量，当有效估计量存在时，有效估计量等于最大似然估计。（4）对于单个随机参量，当有效估计量存在时，有效估计量等于最大后验估计。（5）有效估计量一定是建立在无偏的基础上的。（6）只有无偏的和有效的估计量，其估计的方差或均方误差才能达到克拉美-罗下限，并可通过计算克拉美-罗下限求得该估计量的方差或均方误差。5．单个非随机参量函数情况的克拉美-罗不等式定理3：设单个非随机参量的函数，其估计量是的任意无偏估计量，为似然函数，则估计量的方差满足（8.3.38）或（8.3.39当且仅当对所有的和都满足（8.3.40）时，两个不等式的等号成立。其中，可以是的函数，但不能是的函数，也可以是任意非0常数。两个不等式称为单个非随机参量函数情况的克拉美-罗不等式。克拉美-罗不等式的右端是无偏估计量的方差下限，称为克拉美-罗下限。6．非随机参量向量情况的克拉美-罗不等式定理4：设是非随机参量向量的任意无偏估计向量，为似然函数，如果是被估计的非随机参量向量的第个参量的任意无偏估计量，则估计量的方差满足（8.3.41）式中：是阶矩阵的第行第列元素。矩阵的第行第列元素为（8.3.42）矩阵通常称为费希尔（Fisher）信息矩阵，它表示从观测数据中获得的信息。当且仅当对所有的和都满足（8.3.43）时，不等式的等号成立。不等式就是非随机参量向量情况的克拉美-罗不等式，不等式的右边就是克拉美-罗下限。如果对于维非随机参量向量的任意无偏估计向量中的每一个参量，不等式的等号均成立，那么这种估计称为联合有效估计。所以，是的方差的下限，即克拉美-罗下限。7．随机参量向量情况的克拉美-罗不等式定理5：设是随机参量向量的任意无偏估计向量，为似然函数，如果是被估计的随机参量向量的第个参量的任意无偏估计量，则估计量的均方误差满足（8.3.44）式中：是阶矩阵的第行第列元素。为信息矩阵。矩阵的第行第列元素为（8.3.45）矩阵的第行第列元素为（8.3.46）当且仅当对所有的和都满足（8.3.47）时，不等式的等号成立。不等式就是随机参量向量情况的克拉美-罗不等式，不等式的右边就是克拉美-罗下限。8．非随机参量向量函数情况的克拉美-罗不等式对于由维非随机参量向量，如果估计维向量的维函数，这就是非随机参量向量函数的估计问题。定理6：设维非随机参量向量，向量的维函数，是非随机参量向量函数的任意无偏估计向量，为似然函数，如果是被估计向量的第个参量的任意无偏估计量，则估计量的方差满足（8.3.48）式中：是矩阵的第行第列元素。矩阵为（8.3.49）当且仅当对所有的和都满足（8.3.50）时，不等式的等号成立。不等式就是非随机参量向量函数情况的克拉美-罗不等式，不等式的右边就是克拉美-罗下限。8.3.7线性最小均方误差估计●内容提要：本小节首先介绍线性最小均方误差估计的概念，然后分别讨论单个参量和参量向量的线性最小均方误差估计，最后讨论线性最小均方误差估计的性质。●关键点：理解线性最小均方误差估计的概念，掌握线性最小均方误差估计方法，熟悉线性最小均方误差估计的性质。1．线性最小均方误差估计的概念（1）估计量是观测量的线性函数，并以均方误差最小为准则的估计称为线性最小均方误差估计。（2）线性最小均方误差估计需要已知观测信号和被估计参量的前二阶矩。（3）线性最小均方误差估计量具有正交性质：估计的误差向量与观测向量正交，这一正交性质常称为正交原理。（4）最小均方误差估计是一种最佳估计，而线性最小均方误差估计是一种准最佳估计。与最小均方误差估计相比较，线性最小均方误差估计的性能稍差些。2．单个参量的单次观测情况设单个被估计参量为，一次观测得到的数据为，对的估计量是观测量的线性函数，即（8.3.51式中：，为常系数。线性最小均方误差估计就是使（8.3.52最小。式中：为估计误差。线性最小均方误差估计的系数为（8.3.53）（8.3.54）式中：是被估计参量的均值；是观测数据的均值；是观测数据的方差，即；为和的协方差，即（8.3.55）线性最小均方误差估计的估计量为（8.3.56）最小均方误差为（8.3.57）当与的联合概率密度为高斯分布时，线性最小均方误差估计与最小均方误差估计一致。3．单个参量的多次观测情况设单个被估计参量为，次观测得到的数据为，对的估计量是观测数据的线性函数，即（8.3.58）式中：为常系数。线性最小均方误差估计就是使（8.3.59）最小。式中：为估计误差。线性最小均方误差估计的系数是下列方程组的解（8.3.60）（8.3.61）式中：是观测数据的均值。4．参量向量的线性最小均方误差估计设被估计参量向量为，次观测得到的数据为，观测数据组成观测向量为，对的估计量是观测向量的线性函数，即（8.3.62）式中：为阶的常数矩阵；为行常数向量。定义估计误差向量为。线性最小均方误差估计就是使（8.3.63）最小。式中：为估计误差向量。线性最小均方误差估计的矩阵和向量为（8.3.64）（8.3.65）式中：是被估计参量向量的均值；是观测向量的均值；是观测向量的协方差矩阵；为和的互协方差矩阵。协方差矩阵和互协方差矩阵的表示式为（8.3.66）（8.3.67）线性最小均方误差估计的估计量为（8.3.68）5．线性最小均方误差估计的性质（1）线性最小均方误差估计的估计量是观测量的线性函数。（2）线性最小均方误差估计只需要已知观测量和被估计参量的前二阶矩。（3）线性最小均方误差估计的估计量是无偏估计量。（4）线性最小均方误差估计的估计量具有正交性质：即估计误差与观测量正交。（5）当观测量与被估计参量的联合概率密度为高斯分布时，线性最小均方误差估计与最小均方误差估计一致。（6）线性最小均方误差估计的估计量在线性变换上的可转换性。（7）线性最小均方误差估计的估计量的可叠加性。8.3.7●内容提要：本小节首先介绍最小二乘估计的概念及准则，然后分别讨论单个参量的线性最小二乘估计和参量向量的线性最小二乘估计，最后讨论加权线性最小二乘估计。●关键点：理解最小二乘估计的概念及，熟悉最小二乘估计的准则，掌握单个参量的线性最小二乘估计、参量向量的线性最小二乘估计和加权线性最小二乘估计。1．最小二乘估计的概念（1）最小二乘估计：使信号模型的观测数据与真实数值误差平方和达到最小的一种估计方法。（2）最小二乘估计的使用条件：含有被估计参量的信号模型已知，观测数据和被估计参量的任何统计知识均未知。（3）信号模型：信号与被估计参量的关系式。（4）观测数据：信号模型的观测值，它等于信号模型加上观测误差（或噪声）。（5）最小二乘估计可分为线性最小二乘估计和非线性最小二乘估计。（6）线性最小二乘估计：信号模型是线性函数（信号是被估计参量的线性函数）的最小二乘估计。（7）非线性最小二乘估计：信号模型是非线性函数（信号是被估计参量的非线性函数）的最小二乘估计。2．最小二乘估计准则对于单个被估计参量，设信号模型为，如果对信号进行了次观测得到观测量，被估计参量的最小二乘估计是使（8.3.69）达到最小，相应的估计量记为。最小二乘估计的准则是使误差的平方和达到最小的估计。对于被估计参量向量，设信号模型为，对信号进行（）次观测得到的数据为，观测数据组成观测向量为，被估计参量向量的最小二乘估计使（8.3.70）达到最小，相应的估计向量记为。式中：为误差向量。3．单个参量的线性最小二乘估计对于单个被估计参量，设线性信号模型为（8.3.71）式中：是已知的观测