现代数字信号处理(chap5自适应滤波)(修订版)

主讲教师:何松华教授联系方式0731)8268771813973132618@139.com

现代数字信号处理/自适应滤波第五章自适应滤波器教学内容最小均方自适应横向型滤波器(LMS)

正则方程、梯度法、LMS算法递归最小二乘自适应滤波器(RLS)

原理、迭代算法自适应滤波器应用自适应对消器前言一、自适应滤波器的提出Weiner滤波器：输入x(n)，期望输出yd(n)输入\期望输出信号是广义平稳的；输入\期望输出信号的相关及互相关特性是已知的。自适应滤波器(两层)的含义：输入信号统计特性是未知的或知道甚少，或者其统计特性是时变的，自动适应输入信号的统计特性,能够根据输入信号统计特性的变化自动调整其结构参数，以满足某种最佳准则的要求。平滑滤波D步预测前言二、自适应滤波器的组成滤波结构IIR、FIR、横截型、格型

自适应算法LMS、RLS实际输出期望输出前言三、自适应滤波器的典型应用自适应系统建模

回波抵消模型、控制模型、信道模型自适应逆滤波

自适应均衡、盲解卷积自适应信号预测

自适应预测编码、变化检测多传感器干扰抵消

阵列信号处理(角分辨)与自适应波束形成始终保证误差信号的方差或动态范围为最小,降低编码比特数移动通信:信道模型空间位置的变化而变化干扰信号的方向是未知的变化的电视现场直播信号前言四、自适应滤波器的典型应用举例通信中的回波抵消(电话交换机)由于阻抗不匹配造成能量泄漏前言滤波器的参数自动适应C--混合器B--D的回波路径仅剩B的话音,回音被对消前言自适应预测误差编码第一节LMS自适应滤波器WidrowB，HoffMEJr.Adaptiveswitchingcircuits.1960线性(L)最小均方误差(MS)滤波器、最陡下降法一、最佳滤波器的正则方程d(n)自适应算法∑x(n)y(n)+_e(n)z-1z-1z-1w1(n)w1(n)wM(n)滤波器的参数不再是常数,而是与n有关的变量第一节LMS自适应滤波器为平稳信号情况下的线性FIR滤波最优滤波器的参数与时间n无关为非平稳信号情况下的线性FIR滤波最优滤波器的参数与时间n有关记M-1阶线性滤波器第一节LMS自适应滤波器定义：均方误差性能函数则：对于非平稳过程,数学期望不再是常数矢量函数的含义?第一节LMS自适应滤波器定义：矢量标量行矢量[矩阵]列矢量=标量(列矢量,互相关矢量)自相关矩阵(列矢量行矢量)第一节LMS自适应滤波器标量对矢量的导数为矢量根据《矩阵论》中的二次型求导原理，当则：第一节LMS自适应滤波器平稳\Rx,P已知情况下正则方程的求解满秩直接矩阵求逆算法最陡下降法(牛顿梯度法)Levinson－Durbin算法LMS算法、RLS算法运算量大，且在非平稳情况下对每个n都要求逆格形自适应滤波器LMS算法的基础,同样可以避免矩阵求逆运算Rx,P未知情况下以及非平稳正则方程的求解二、梯度法(Gradient-Method)

最陡下降法(ThemethodofSteepestDescent)第一节LMS自适应滤波器1算法(牛顿梯度法)(一维情况)LMS算法的基础，必须先进行介绍W(n)=W1时W(n)=W2时向左搜索向右搜索第一节LMS自适应滤波器梯度的极性约束方向，控制步长\收敛速度\精度。

当算法收敛统计特性P、Rx已知的情况下,一旦给定初始权值W(0),则收敛路径确定见前面的推导第一节LMS自适应滤波器2.W的收敛条件自相关矩阵Rx的本征分解理论由Rx的特征根构成的对角矩阵由Rx的特征向量构成的矩阵根据特征向量矩阵的正交性QTQ=I本征分解对推导\分析的好处:转化为对角矩阵运算处理一定能收敛到最优解吗?上式两边取转置并利用性质证:第一节LMS自适应滤波器2.W的收敛条件定义误差矢量非负定、对称，存在正交矩阵，即非负定的含义：根据矩阵理论，自相关矩阵是非负定的满足根据则有:则:第一节LMS自适应滤波器定义

则

Q的正交性对角矩阵第一节LMS自适应滤波器或时，当满足条件的第k个元素的第k个元素第一节LMS自适应滤波器共M个指数过程，收敛取决于最慢的指数过程(i最小的)指数收敛因子收敛路径分析第一节LMS自适应滤波器3.均方误差序列的收敛性以及收敛精度第一节LMS自适应滤波器根据定义根据对角矩阵乘积交换律选择收敛步长u满足：根据权值收敛特性性能曲面函数第一节LMS自适应滤波器4.二维情况下误差性能曲面举例关于的椭圆椎面函数第一节LMS自适应滤波器令C为常数等高线大特征值对应短轴，收敛(逼近最优点)快第一节LMS自适应滤波器牛顿梯度法举例:预测估计∑x(n)z-1z-1w1w2第一节LMS自适应滤波器a1a2λ1λ2λ1/λ2ξmin1-0.19500.920.09652-0.97500.951.50.530.07313-1.59550.951.8180.182100.03224-1.91140.951.9570.01981000.0038情况2的说明已知:第一节LMS自适应滤波器的两个特征根分别为练习5.1：根据表中的其他情况的1、2以及Rx性质(对称，且对角元素值相等)反推矩阵Rx，根据a1、a2以及Rx反推P并计算min第一节LMS自适应滤波器取则当n足够大时,统计特性已知时,只有在大矩阵情况下才体现运算上的优势第一节LMS自适应滤波器三、LMS算法(LeastMeanSquare)

1.B.Widrow和M.E.Hoff1960年权值递推算法给定任意的初始权值矢量

以及合适的步长，从n=0开始一般采用全零的矢量第一节LMS自适应滤波器单个误差样本的平方

随机梯度随机变量随机路径无须事先知道P、Rx等统计特性,自动适应其统计特性,并收敛到最优权值然后由、、计算、；依此类推标量矢量第一节LMS自适应滤波器LMS算法流程

假设输入数据从n0=0开始，在n=0的边界附近构造矢量时，的值可以用零代替H:共轭转置*:共轭复数据情况同样适用矢量LMS算法流程第一节LMS自适应滤波器LMS算法框图2.权矢量收敛性第一节LMS自适应滤波器几点假设联合平稳梯度矢量的随机估计误差权值估计误差矢量X(n)和不相关虽然只与矢量X(n-1)有关,该假设比较牵强,X(n)与X(n-1)之间有重叠,以下证明为不严格的证明,但在应用上尚未出现明显的问题处的理论梯度与实际梯度的误差第一节LMS自适应滤波器梯度估计矢量是无偏的(含义)不相关假设第一节LMS自适应滤波器定义则前面已证明为0P第一节LMS自适应滤波器令原式两边同乘Q-1根据递推原理第一节LMS自适应滤波器要求:;收敛速度取决于最大的项或最小的项,特征值的散度越大，则收敛时间愈长。第一节LMS自适应滤波器收敛条件可取根据矩阵理论更严格地满足收敛条件期望意义上收敛N足够大时3.估计误差能量的收敛性第一节LMS自适应滤波器根据最佳估计时的误差与X(n)不相关的原理练习5.3:该矩阵对角线元素值的和为第一节LMS自适应滤波器将QT移到前面去相乘w与x无关,则v与x无关第一节LMS自适应滤波器

均方误差收敛条件超量均方误差

结论:LMS算法使用随机梯度,权值收敛为均值意义上的收敛(在最优权矢量附近左右摆动),平均误差能量大于牛顿梯度法的最小误差能量4.超量均方误差第一节LMS自适应滤波器根据可以得到练习5.4假设r(n)与v’(n)不相关对角矩阵相乘的位置可交换性,假设权系数误差之间互不相关如何求方差?第一节LMS自适应滤波器当时理想稳态情况下误差矢量在时的近似解为练习第一节LMS自适应滤波器定义：失调量值越大，失调量大为矩阵对角线元素上的值注:第一节LMS自适应滤波器当n足够大时,权值在最优点附近扰动;并非依概率1收敛于最优权值扰动所带来的超量均方误差为因此,当n足够大时,权值在最优点附近扰动是比较小的收敛路径中的噪声第一节LMS自适应滤波器5.应用：自适应均衡码间干扰现代通信中一般设置训练比特反射波个数\延迟\幅度未知重构的部分数据y(n)第一节LMS自适应滤波器+x(n)y(n)d(n)e(n)通信信号数据发生器信道hn高斯白噪声发生器自适应均衡器+I(n)v(n)收发同步后接收端根据已知的训练比特重构的I(n)训练比特是位置固定的0,1取值已知比特当自适应均衡器为信道hn的逆滤波器时，y(n)=I(N)；均衡器达到理想效果第一节LMS自适应滤波器W3.5r(0)1.09631.15681.22641.3022r(1)0.43880.55960.67290.7774r(2)0.04810.07830.11320.1511λmin0.33390.21360.12560.0656λmax2.02952.37612.72633.0707实际信道直射波两个反射波第一节LMS自适应滤波器W=3.5W=3.3W=3.1W=2.9u=0.075W越大,反射波越强，则收敛精度越低第一节LMS自适应滤波器W=2.9u=0.075u=0.025u=0.0075u越小,则收敛速度越慢,但收敛精度越高第一节LMS自适应滤波器第一节LMS自适应滤波器梯度法与LMS算法：统计梯度与随机梯度梯度法在n趋于无穷时能收敛到最小均方误差，这是因为每次迭代都使用了精确的梯度向量。LMS算法在n趋于无穷时，最小均方误差大于。这是因为存在梯度估计误差。梯度法定义了明确的学习曲线(收敛路径)，该曲线反映了均方误差对迭代次数的变化情况。LMS算法学习曲线由噪声和衰减指数和组成，噪声的幅度通常随步长参数u的减小而减小。

第一节LMS自适应滤波器课程上机实验6：线性信道均衡中的LMS梯度算法实现采用Matlab或VB语言编程(1)参照实验3的方法产生均值为0，根方差为0.01的、正态白噪声序列(2)假设信源发送的前10个比特为训练比特,为假设信源发送的后10个比特为信息比特,为收发双方按通信协议约定的,收方已知收方未知第一节LMS自适应滤波器(3)假设在接收端的采样率为每个调制脉冲采集10点,采样后数字基带信号的数字角频率为0.21,A=1,则接收到的直射波采样信号(经同步后)可以表示为(4)假设有两个反射波,相对于直射波的延时分别为2,4;幅度系数分别为0.3,0.2;则合成的信号为(5)加上信道噪声后的信号为ASK调制第一节LMS自适应滤波器(6)画出直射回波a(n)以及带有信道噪声以及码间干扰的信号x(n)的波形图,计算平均误差(7)设置自适应滤波器的抽头数M=6,搜索步长取为初始权值设置为利用训练比特对应的前100点数据计算权值,伪代码为可以改变抽头数以及步长,比较收敛效果假设数组的下标只能从1开始的修正第一节LMS自适应滤波器观察最终得到的权值(8)用得到的权值对信息比特对应的后100点数据进行滤波处理

前100点的期望输出是已知的可以多次运行上述过程,以前一次的运行结果为初值;观察是否可以改善均衡效果第一节LMS自适应滤波器画出误差序列ed(n)的波形图;画出均衡后的序列y(n)的波形图,观察其与a(n)波形图的后半部分的差异性[远小于x(n)与a(n)的差异性]伪代码,需要根据具体的语言进行修正第一节LMS自适应滤波器(9)计算信道均衡后的平均误差比较其与e1的差异性(远小于e1)观察ed(n)的波形图中的个别毛刺点(误差绝对值较大的点),思考:为什么个别毛刺点对误码率影响不大?思考:如果信号幅度A不为1且未知,是否对信道均衡产生影响?按A=2重复实验(期望输出保持不变,则滤波输出下降到1/A,输出波形的调制方式\形状不变)第一节LMS自适应滤波器在期望输出不变的情况下,为了将不同A情况下的均衡结果进行有意义的比较,必须对误差能量进行功率归一化.信道均衡前,功率归一化后的平均误差能量信道均衡后,功率归一化后的平均误差能量比较e1,e2,观察信道均衡效果第二节最小二乘自适应滤波器一、RLS算法与LMS算法(RLS:RecursiveLeastSquare)LMS算法－伪最小均方误差准则，一类数据的最佳滤波器RLS算法－最小二乘准则，一组数据的最佳滤波器二、最小二乘原理有限长度输入信号为M(M<<N)阶线性滤波器期望输出信号为递归的实际上对同类的不同数据有不同的解第二节最小二乘自适应滤波器代价函数2、数据窗范围1、输入输出方程、代价函数

当已知的输入数据为x(n)(n=0,1,…,N-1),则其中输出y(0),y(1),…,y(M-2)牵涉到n<0的输入数据x(n);y(N),y(N+1),…,y(N+M-2)牵涉到n>N-1的输入数据x(n);必须对边界外的数据进行假定为什么不考虑n<0以及n>N+M-2?输入数据范围第二节最小二乘自适应滤波器(1)协方差法：使得n=M-1到N-1范围内的误差能量最小，不牵涉到[0，N-1]之外的输入数据，无须任何假定定义数据矢量定义数据矩阵n时刻进入滤波器的数据第二节最小二乘自适应滤波器(2)自相关法：使得n=0到N+M-2全部范围内的误差能量最小，假设[0，N-1]之外的输入数据都为零第二节最小二乘自适应滤波器(3)前加窗法：使得n=0到N-1范围内的误差能量最小，不牵涉大于n>N-1时刻的输入数据，对其不做任何假定；但假设n<0的输入数据为零第二节最小二乘自适应滤波器(4)后加窗法：使得n=M-1到N+M-2范围内的误差能量最小,不牵涉n<0时刻的输入数据，对其不做任何假定；但假设n>N-1的输入数据为零第二节最小二乘自适应滤波器3、正则方程

(前加窗)其他加窗情况作为练习,自己推导.为什么以前加窗作为重点?期望输出都有定义定义滤波器输出信号矢量:

定义权矢量:

MN维M维N维第二节最小二乘自适应滤波器则有:

定义误差信号矢量:

定义期望信号矢量:

则有:

误差信号能量:

N维N维标量第二节最小二乘自适应滤波器根据标量对矢量的二次型的求导公式得到:

M维M维MN,NMMMMN,N1M1定义样本自相关矩阵:

第二节最小二乘自适应滤波器对称；但对角线元素值不同,不满足Toepliz的两个条件其中:

定义:

其中:

第二节最小二乘自适应滤波器则得到正则方程最小误差能量为：一般不满足Toepliz性质，有没有递归算法避免大矩阵的直接求逆运算？是要解决的主要问题,后面介绍将解代入第二节最小二乘自适应滤波器三、(递归最小二乘)RLS自适应横向滤波器当前误差能量积累(离当前时刻越远，加权越小)定义只讨论前加窗情况A(n)是矩阵A的前n+1列当前输入数据矩阵当前输出数据矢量第二节最小二乘自适应滤波器则有定义将输入数据段为0到N-1情况下的矩阵形式表示形式推广到输入数据段为0到n情况下的矩阵形式表示形式,目的?中n的含义?当前误差数据矢量当前最优权值矢量第二节最小二乘自适应滤波器则有

的定义？适用?根据最小二乘原理，参照情况的解，得到该线性方程组解为矢量第二节最小二乘自适应滤波器此处，、的定义为第二节最小二乘自适应滤波器矢量标量将解代入表达式练习：根据上述矩阵的定义以及对角矩阵相乘的性质第二节最小二乘自适应滤波器如何递推求解，避免矩阵求逆?、都是MM的矩阵、的递推关系？则可求出权的递推第二节最小二乘自适应滤波器矩阵求逆定理：如果E、F为正定矩阵，且满足下面推导与的关系则有观察C为列矢量时，D只能为标量，CTFC也为标量设第二节最小二乘自适应滤波器令令增益系数有有第二节最小二乘自适应滤波器将K(n)表达式的分母移到左边相乘，再移位根据q(n)的递推式根据p(n)的递推式第二节最小二乘自适应滤波器先验估计误差;要求与具有最小误差，在未获得之前，以作为d(n)先验估计第二节最小二乘自适应滤波器小节初始条件：递推算法：(M维矢量)对n=0,1,…,N-1,执行上述递归迭代运算，则最终的为所求MM维对角矩阵，为任意较小的正数没有出现任何的矩阵求逆运算(M维矢量)(标量)第二节最小二乘自适应滤波器前向加窗法:从n=0迭代到n=N-1协方差法:从n=M-1迭代到n=N-1迭代次数少,初始值影响大自相关法:从n=0迭代到n=N+M-2后发散现象后向加窗法:从n=M-1迭代到n=N+M-2后发散现象边界外的期望值定义为零第三节自适应对消器自适应对消器的组成应用一：消除交流市电干扰应用二：