自适应滤波教学文案课件

自适应滤波1.按数字结构分类自适应滤波器按其数字结构可分为开环自适应滤波器和闭环自适应滤波器。自适应处理器自适应算法输入信号输出信号参考信号图5.1开环自适应滤波器7/25/20232自适应处理器自适应算法输入信号输出信号期望响应误差∑-+图5.2闭环自适应滤波器2.按自适应处理器分类自适应滤波器按其自适应处理器可分为非递归自适应滤波器和递归自适应滤波器。7/25/202333.按自适应算法分类自适应滤波器按其自适应算法可分为LMS(最小均方)自适应滤波器和RLS（递归最小二乘）自适应滤波器等。5.1.3自适应滤波应用举例1.自适应预测2.自适应干扰对消3.自适应系统辨识7/25/202345.2维纳滤波器滤波定义:

所谓滤波,是指在含噪信号x(k)=s(k)+v(k)或其矢量信号x(k)=s(k)+v(k)中尽可能排除噪声v(k)或v(k)干扰，而将有用信号s(k)或s(k)分离或提取出来。若设计的对x(k)进行滤波的滤波器能使其输出y(k)尽可能逼近s(k)，成为s(k)的最佳估计,这种滤波器称为最佳滤波器滤波、预测与平滑

设基于观测过程x(k)或矢量观测过程x(k)，对s(k+α)或s(k+α)作最优估计，那么

若α=0，就是滤波问题。

若α>0，就是预测问题。

若α<0，就是平滑问题。7/25/20235维纳滤波

设信号s(k)或s(k)及观测过程x(k)或x(k)是广义平稳的,且已知其功率谱或自相关函数的知识，则基于观测过程x(k)

或x(k)，按线性最小均方误差估计准则，对信号s(k)或s(k)

所作的最优估计称为维纳滤波5.2.1正交性原理与维纳-霍甫夫方程考虑如图所示的一般线性时不变离散时间滤波器。设该滤波器的输入x(n)=s(n)+v(n)是混有噪声的观测数据，其单位冲激响应为h(n)，y(n)=是对信号s(n)的最佳估计。

估计误差e(n)定义为期望响应s(n)与滤波器输出y(n)之差,即。h(n)图一7/25/20236设计滤波器的过程可表述如下：设计线性离散时间滤波器的单位冲激响应h(n),使滤波器输出y(n),在给定输入样本x(0),x(1),…的情况下给出期望响应s(n)的估计，并能使估计误差的均方值为最小根据图一，n时刻的滤波器输出表示为：由于滤波器为物理可实现的，故h(n)必须是因果序列：又由于实际中只能得到有限个观测数据，故（1）式可写成：（1）（2）7/25/20237估计的均方误差为式中为了书写方便，令hi=h(m),xi=x(n-m),e=e(n),s=s(n),(3)为求出使E[e2]最小的hi，将上式对各hi求偏导数，并令其等于0，得得及(4)(5)式(4)或式（5）称为正交方程7/25/20238正交性原理及推论：1）正交性原理：要使估计的均方误差最小，滤波系数{hi}的选择应使估计误差e与所有的观测值xi正交，其中i=0,1,2….N-1。2）正交性原理的推论：要使估计的均方误差最小，滤波系数{hi}的选择应使估计误差e与估计值正交，其中i=0,1,2….N-1。即(6)式(6)称为维纳-霍甫夫方程，它反映了相关函数与最佳单位脉冲响应之间的关系。将i=0,1,2,…N-1分别代入（6）得N个方程组成的线性方程组，写成矩阵形式7/25/20239式中Rxx称为x(n)的自相关阵,Rsx称为s(n)与x(n)的互相关向量。(7)7/25/202310由式(7)可解出最佳单位脉冲响应为5.2.2维纳-霍甫夫方程求解维纳-霍甫夫方程的解就是维纳滤波器的系数，也即FIR数字滤波器的单位脉冲响应h(n)，此时维纳滤波器的输出是信号的最佳估计。相应地，最佳的单位脉冲响应叫做维纳解。设计维纳滤波器可以归结为求维纳解，也就是解维纳-霍甫夫方程。下面介绍一种求维纳解的方法，搜索法。首先将前面提到的单位脉冲序列h(n)表示为权系数w0,w1,…wN-1,由权系数组成的向量称为权向量。则n时刻权向量表示为7/25/202311n时刻及以前的数据组成的向量叫信号向量，表示为n时刻希望得到的输出叫期望响应，用d(n)表示，定义均方误差性能函数为根据前面的分析，得对滤波器的输出即期望响应d(n)的估计为均方误差性能函数表达式为7/25/202312上式P为互相关函数组成的N维列向量（8）（9）7/25/202313令R为数据的自相关函数组成的N×N维矩阵（10）7/25/202314将（9）式、（10）式代入（8）式可得均方误差性能函数为：单权重情况:抛物线性能曲面7/25/202315两个权系数:抛物面7/25/202316个权系数:一个维空间内的超抛物面“碗底”点对应于均方误差最小点，也就是最优权系数矢量所在的点。对于一个二次性能方程，存在唯一全局最优权矢量，没有局部最优点存在.将碗底所对应的权向量表示为上式即为搜索目标，即实现最优滤波时的权系数。7/25/202317梯度法

很多自适应方法使用基于梯度的方法寻找可以达到最小均方误差的权矢量。均方误差性能曲面的梯度定义为：最优权重矢量处梯度为零：7/25/202318最小均方误差：与维纳滤波器的最小均方误差比较:7/25/2023195.2.3误差性能曲面的几何性质误差性能函数将误差性能函数改写为如果令ε(w)为某固定值，在二维情况下，*式就是椭圆方程。该椭圆方程也叫等高线方程。图1给出了不同均方误差的椭圆曲线图。*7/25/2023207/25/202321下面以ε(w)=2εmin为例分析等高线的性质。将ε(w)=2εmin代入*式得为了便于分析，现将等高线方程标准化，即通过坐标系的平移、旋转使等高线方程标准的椭圆方程。1）首先进行坐标系平移通过坐标系平移，将原来w坐标系的坐标原点移至碗底位置成为v坐标系，有将代入上式得**7/25/202322将上式代入**式得结合式得上式即为平移坐标系v中的椭圆方程。与标准椭圆方程比较***7/25/202323得若椭圆方程为标准方程，则R矩阵必须为对角阵。下面通过旋转来实现。2）进行坐标系旋转对N阶实对称阵R存在正交阵Q使得上式中λi是对角阵Λ的特征值也是称阵R的特征值。若将上式两边同乘Q，有令上式写为****7/25/202324即说明Q的各列是R的特征向量，分别对应于Λ的对角线的一个元素。7/25/202325将****式两边同乘QT=Q-1代入***式得令QTV=V′代入上式，整理得上式即为标准的椭圆方程N维的均方误差函数在平移坐标系、主轴坐标系中的表示分别为7/25/202326N维的均方误差函数在主轴坐标系中的表示式对权向量v’求导得性能曲面的梯度向量为由上式可得以下两点结论：1）当搜索点位于某一主轴上时，由于其它主轴上的分量为零，此时梯度向量就处在该轴上，大小为7/25/202327均方误差函数沿任一主轴的二阶导为相应特征值的两倍7/25/2023285.2.4举例7/25/2023297/25/2023307/25/2023317/25/2023327/25/2023337/25/2023347/25/2023357/25/2023367/25/2023375.3最速梯度法7/25/202338本节介绍最速梯度法求维纳解。即沿着负梯度的方向移动搜索点。5.3.1权系数的迭代解为了深刻理解梯度搜索法的基本概念，首先讨论一维的情况。一个权（单变量）的性能表面是一条抛物线，如图所示。w0w0(n)w0*w0(n+1)εminε(w0)一维最速下降法示意图7/25/202339w0w0(n)w0*w0(n+1)εminε(w0)一维最速下降法示意图用w0(n+1)和w0(n)分别表示经过n+1次迭代和n次迭代后w0的值，则一次迭代的调整量△w0为7/25/202340根据梯度下降法的思路，应有逐次迭代直至显然，若调整量△w0足够小，则在w0可展开成泰勒级数，取一次项，则***有**式和***式得***7/25/202341显然上式要成立，△w0必须取负导数的方向，也即负梯度的方向，令式中>0称为步长因子或收敛因子。将上式代入*式及***式得****7/25/202342****式即为权系数w0的迭代公式。将****式推广至多维情况，得通用迭代公式式中是ε面上任一点的梯度。显然，要由上式迭代得维纳解w*，必须知道ε面上相应点的梯度。因为为了便于分析，将上式改写为*****7/25/202343则上式梯度为将上式代入*****得5.3.2权系数的闭式解★下面将★式迭代解化为闭式解设正交阵Q为实对称阵R的特征向量矩阵，则7/25/202344由于Q为正交阵，有QQT=QQ-1=I,所以上式两边同乘QT得7/25/202345令w’(n)=QTw(n),则上式进一步写成在旋转坐标系中的最优解将上式表示成展开形式7/25/202346上式为旋转坐标系中最优权的表达式。7/25/202347将式表示成展开形式下面推导权系数的闭式解由上式，令n=0，得7/25/202348令n=1，得令则上式写为上式即为权系数的闭式解表达式7/25/2023495.3.3最速梯度法的收敛条件由于经过多次迭代后，权向量将收敛于维纳最优解，即。可以证明，仅当满足时，上式收敛才能保证。式中，为最大特征值，即为Λ中的最大对角元素。

经验公式7/25/2023505.3.4权系数的收敛规律平移坐标系、主轴坐标系中的权向量分别表示为主轴坐标系中任一权系数为将及代入上式整理得7/25/202351稳定条件:上式也是主轴坐标系中的最优解。收敛速率滤波器参数的收敛速度决定于自适应步长的选择在主轴系统中参数沿着各个参数坐标轴独立收敛。各个坐标轴的收敛速度被各自的几何比r控制。需要注意的是，在自然坐标系中各个参数w并不是独立收敛的。这是我们为什么要变换坐标系到主轴系统进行收敛分析的原因。7/25/202352γ取不同值时权系数与迭代次数的关系曲线7/25/202353稳定(收敛)过阻尼临界阻尼欠阻尼不稳定(不收敛)γ取不同值时权系数的收敛情况7/25/202354收敛速度：几个时间常数权系数衰减时间常数权系数衰减到初始值的需要花费的时间。说明：收敛时间常数与步长因子和相应特征值均成反比7/25/202355(2)学习曲线时间常数即均方误差与最小均方误差的差值下降到初始差值的时所花费的时间。7/25/2023565.4最小均方（LMS）算法最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。

LMS方法使用一个特别方法估计这个梯度（这个梯度对于自适应的线性组合器是有效的）LMS方法的优势在于:(1)计算简单方便(2)不需要离线的梯度估计或者数据副本如果自适应系统是一个自适应线性组合器，并且输入矢量和期望响应在每次迭代时都可以得到，那么LMS方法通常是一个最好选择。7/25/2023575.4.1权系数的迭代解使用单次计算的估计误差平方代替平方误差的期望。LMS使用单次误差代替误差平均，造成梯度和权矢量成为围绕真值的随机变量。☆7/25/202358将☆式写成展开式稳定条件:7/25/2023595.4.2LMS权系数的收敛性分析最陡下降法LMS权向量的均值等于最速梯度法得到的权向量7/25/202360梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机起伏。这意味着稳态的均方误差值在附近随机的改变。这个偏移量的期望值称为超量均方误差MSE5.4.3均方误差的收敛性分析及失调量超量均方误差MSE对最小均方误差的归一化定义为失调量，用M表示说明步长因子和信号功率都对失调有影响7/25/202361失调与收敛时间常数的关系实际应用中，失调量，收敛速度和权系数的个数往往需要作一个折中，因此这个方程很有用。若R的N个特征值相等，则有7/25/2023625.6递归最小二乘（RLS）算法基本思想

把最小二乘法(LS)推广为一种自适应算法，用来设计自适应的横向滤波器，利用n-1时刻的滤波器抽头权系数，通过