第三章贝叶斯估计理论 LMMSE

贝叶斯估计理论——LMMSE和小结罗义军QQ:896442923贝叶斯估计理论——内容安排主要内容引言线性贝叶斯估计量（LMMSE）估计量总结一般贝叶斯估计量选择估计量使得平均代价（贝叶斯风险）最小对给定代价函数，可得最优估计量的形式三种代价函数图11.2不同代价函数的估计量最小均方误差（MMSE）估计最大后验概率（MAP）估计条件中位数估计LMMSE的引入MMSE含有多重积分，MAP含有多维最大值求解问题。联合高斯假设条件下容易得到，一般情况下难以求得不能做出高斯假定时，选择保留MMSE准则限定估计量线性LMMSE估计类似于BLUE估计量的显式可由前两阶矩来确定卡尔曼滤波器是维纳滤波器的重要推广贝叶斯估计理论——内容安排主要内容引言线性贝叶斯估计量（LMMSE）估计量总结线性MMSE估计假定标量参数给定数据矢量假定：联合PDF未知；已知前两阶矩；

X与θ统计相关目标：求满足如下形式的最佳估计量选择加权系数使贝叶斯MSE最小，导出的估计量称为LMMSE估计量最佳加权系数的推导代入得对求偏导数，代入可得这里标量！展开可得对加权系数求偏导可得注意：LMMSE估计仅需1阶和2阶矩，不需PDF代入并化简可得若和统计独立，则完全基于先验信息，数据无用例12.1WGN中具有均匀先验PDF的DC电平若，需要积分而无法得到闭合形式的解因此，采用LMMSE回顾例10.11×N几何解释内积空间(IPSpaces)矢量：全部随机变量集合/0均值、有限方差（ZMFV）标量：全部实数集合内积：<X,Y>=E{XY}构成内积空间首先：是矢量空间用于估计标量随机变量由N个随机变量的线性组合进行估计应用正交原理假定可逆矢量LMMSE估计待估参数线性估计量目标：对每个元素，使最小可将矩阵A的第i行和矢量a第i个元素，看成的标量LMMSE估计量的形式已知每个待估参数的标量LMMSE形式得出相应的解组合为矢量形式

矢量LMMSE的解矢量LMMSE估计若相似地，可得矩阵LMMSE估计量的两个性质1.在线性变换上是可以转换的若且为LMMSE估计量，则为的LMMSE估计量2.未知参数之和的LMMSE估计量是每个估计量之和若则贝叶斯高斯-马尔可夫定理令数据为应用前面的结果，可得与贝叶斯线性估计（已包含高斯假定）形式相同除非最佳估计线性，通常为次佳估计LMMSE只需得到均值和协方差矩阵则若定理4.2一般线性模型的MVUE定理11.1贝叶斯线性模型下MMSE估计序贯LMMSE估计与序贯LS方法相同固定参数个数（在此为随机的），增加数据样本数目数据模型目标：给定基于的估计，当新的数据样本到达时，更新估计到求序贯LMMSE在此，我们利用矢量空间得到“白噪声中的直流电平”的解，再推广到一般情况假定和均为0均值，给定，其LMMSE估计再由寻求该估计的序贯更新看作矢量空间首先估计新数据，即求利用正交原理由提供的新的非冗余信息，称为“新息”由旧数据，估计新数据预测A在误差矢量上的投影正是所求的修正项回顾特性：新息序列新息序列是：推导和应用序贯LMMSE的关键正交的（即不相关的）矢量序列在信号处理和控制中非常重要一般序贯LMMSE估计

初始化：无数据，利用先验信息估计量更新：序贯LMMSE框图框图与序贯LS相同信号处理的例子——维纳滤波器信号模型：问题表述：用线性滤波器处理，得到去噪的信号，使得所求信号相关的最小滤波、平滑、预测FIR维纳滤波原理上：实际中：IIR维纳滤波可看作，此时维纳滤波为时不变的则维纳-霍夫等式为可采用“谱因式分解”求得维纳滤波为IIR时不变的定长FIR维纳滤波数据：FIR平滑器为便于解释，考虑N=1的情况：IIR平滑器基于数据估计维纳-霍夫方程为：1步预测的结果：对于AR（3）贝叶斯估计理论——内容安排主要内容引言线性贝叶斯估计量（LMMSE）估计量总结估计方法在经典方法中，数据信息总结在概率密度函数p(x;θ)中，其中PDF是θ的函数。在贝叶斯方法中，由于先验PDFp(θ)描述了有关θ的知识而增加