73LMS自适应滤波器

1、7.3 LMS自适应滤波器自适应滤波器实际上是一种能够自动调整本身参数的特殊维纳滤波器，在设计时不需要预先知道关于输入信号和噪声的统计特性， 它能够在工作过程中逐步 了解或估计出所需的统计 特性，并以此为依据自动调整自身的参数， 以到达最正确滤波效果。 一旦输入信号的统计特性 发生变化，它又能够跟踪这种变化，自动调整参数，使滤波器性能重新到达最正确。一更触生巾口F Fj- Ki卜图7-3自适应滤波器原理图自适应滤波器由参数可调的数字滤波器(或称为自适应处理器)和自适应算法两 局部组成，如图7-3所示。参数可调数字滤波器可以是FIR数字滤波器或IIR数字滤波器，也可以是格型数字滤波器。输入信号x

2、(n)通过参数可调数字滤波器后产生输出信号(或响应)y(n),将其与参考信号(或称期望响应)d(n)进行比 较， 形成误差信号e(n),并以此通过某种自适应算法对滤波器参数进行调整， 最终使e(n)的均方值最小。尽管自适应滤波器具有各种不同的算法和结构，但是，其最本质特征是始终不变的。这种最本质的特征可以概括为：自适应滤波器依据用户可以接受的准那么或性 能标准，在未知的而且可能是时变的环境中正常运行，而无须人为的干预。本章主要讨论的是基于维纳滤波器理论的最小均方(LMS)算法，可以看到LMSB法的 主要优点是算法简单、运算量小、易于实现；其主要缺点是收敛速度较慢，而且 与输入信号的统计特性有关

3、。7.3.1LMS算法根本原理1,自适应线性滤波器:自通应算法t-1自唧鼻法卜图7-4单输入自适应线性滤波器图7-5多输入自适应线性滤波器自适应线性滤波器是一种参数可自适应调整的有限冲激响应(FIR)数字滤波器, 具有非递归结构形式。因为它的分析和实现比拟简单，所以在大多数自适应信号 处理系统中得到了广泛应用。如图7-4所示的是自适应线性滤波器的一般形式。输入信号矢量x(n)的L+1个元素，既可以通过在同一时刻为又t L+1个不同信号源 取样得到，也可以通过对同一信号源在n以前L+1个时刻取样得到。前者称为多 输入情况，如图7-5所示，后者称为单输入情况如图7-4所示，这两种情况下输 入信号矢

4、量都用x(n)表示，但应注意它们有如下区别。单输入情况：.j. -?-I -(7-18)多输入情况：(7-19)单输入情况下x(n)是一个时间序列，其元素由一个信号在不同时刻的取样值构 成；而多输入情况下x(n)是一个空间序列，其元素由同一时刻的一组取样值构 成，相当于并行输入。对于一组固定的权系数来说，线性滤波器是输出y(n)等于输入矢量x(n)的各元素的线性加权之和。然而实际上权系数是可调的，调整权系数的过程叫做自适应 过程。在自适应过程中，各个权系数不仅是误差信号e(n)的函数，而且还可能是输入信号的函数，因此，自适应线性滤波器的输出就不再是输入信号的线性函 数。输入信号和输出信号之间的

5、关系为单输入情况：三i，,i：,一 ,(720)多输入情况：:(7-21)如图7-4所示的单输入自适应线性滤波器，实际上是一个时变横向数字滤波器， 有时称为自适应横向滤波器。它在信号处理中应用很广泛。自适应线性滤波器的L+1个权系数构成一个权系数矢量，称为权矢量，用w(n)表示，即列凯以嘲(7-30)w(n)-w(n)吸黑1这样，输出响应表示为/5/5=r rM Mr r必用w 巩 X，式M M参考响应与输出响应之差称为误差信号，用en表示，即M - dn-自适应线性滤波器按照误差信号均方值或平均功率最小的准那么，E乳出=区/即=minmin来自动调整权矢量。2.自适应滤波器的性能函数习惯上常

6、称均方误差 鼬沏为自适应滤波器的性能函数，并记为 圉 即MSEMSE Y Y次期由式7-24、7-25和式7-26,均方误差表示式为=后可 x x可仲00-00-耳 工， 四 胡H在dn和x n都是平稳随机信号的情况下，输入信号的自相关矩阵n的互相关矩阵P都是与时间力无关的恒定二阶统计，分别定义为厘不姆/岚明同/几琐一j?=j?=里必切/项=改冢函初 秋再%?说再 3/|i|iilil或q q “甬的版广. .51d51d小其项=用穴项式琅或月居 6,或可。优犷以上二式对应于多输入情况，对于单输入情况，不难写出类似结果。入式7-27,得到均方误差的简单表示形式(7-22)(7-23)(7-24

7、)(7-25)LL或MSE ,(7-26)(7-27)R, d( n)与x(7-28)(7-29)将上二式代为了书写方便这里省略了Wn)的时间标记。从该式可看出，在输入信号和参考 响应都是平稳随机信号的情况下，均方误差 ?是权矢量w各分量的二次函数。这 就是说，假设将上式展开，那么w各分量只有一次项和二次项存在。e的函数图形是L+2维空间中一个中间下凹的超抛物面，有唯一的最低点该曲面称为均方误差性能曲面，简称性能曲面，如图7-6所示。自适应是自动调整权系数，使均 方误差到达最小值 备加的过程，这相当于沿性能曲面往下搜索最低点。图7-6均方误差性能曲面3.最速下降法从前面的讨论中已经知道，在输入

8、信号和参考响应都是平稳随机信号的情况下， 自适应线性组合器的均方误差性能曲面是权矢量wn)的二次函数。由于自相关矩阵为正定的，故此超抛物面向上凹，表示均方误差函数有唯一的最小值， 该最 小值所对应的权系数矢量为自适应滤波器的最正确权矢量制同，即等于维纳滤波器的权矢量%的。如果自适应滤波 器的权系数个数大于2,其性能外表的超抛物面仍有唯一的全局最优点。在许多 实际应用中，性能曲面的参数，甚至解析表示式都是未知的，因此，只能根据已 知的测量数据，采用某种算法自动地对性能曲面进行搜索，寻找最低点，从而得到最正确矢量。最常见的搜索方法是最速下降法(Method of Steepest Descent)

9、 ,它在工程上比拟容易实现，有很大的实用价值。下面进行简单讨论。均方误差性能曲面的梯度用V表示，定义为将式(7-31)代入上式，得到9 =(7-32)最小均方误差对应的权矢量称为最正确权矢量或维纳解，用评5表示。在性能曲面上，该点梯度等于零，即2 2取:-2-2尸一。0101r r由此解出罡F(7-34)式(7-34)称为维纳一霍夫方程。将上式代入式(7-31),即可得到自适应滤波器的 最小均方误差为利用矩阵运算规那么，可以将上式简化为； 二；.一一,？ 口：尸到(7-36)由式(7-17)可知，只要知道了输入信号的自相关矩阵R和期望响应与输入信号的互相关矢量P,就可以由该式直接得出最正确权矢

10、量 帽。但是在实际应用中，这种方法往往是难以头现的。一方面，我们通 常很难得到有关信号和噪声的统计先验知识；另一方面，当R的阶数较高时，直接计算R的逆矩阵有一定的困难。因此，最正确权矢量的实现一般都采用迭代方法， 一步一步地在性能外表上搜索，并最终到达最小均方值和实现最正确权矢量。最速下降法是一种古老而又非常有用的通过迭代寻找极值的方法。从几何意义上来说，迭代调整权矢量的结果是使系统的均方误差沿性能曲面最陡的方向向下搜(7-31)(7-33)瓢=现/京=现/ (初十/咱也2产以取(7-35)索曲面的最低点，曲面的最速下降方向是曲面的负梯度方向，或性能函数耳停)的梯度那么的反方向连续调整滤波器的

11、权矢量w( n),梯度矢量可以表示为Vr - 1二，：；(7-37)这样，最速下降法可以表示为(7-3 ( (7-：; (7 3.(7-38)式中，是正值常数，称为收敛因子，用于调整自适应迭代的步长。为了证明最速下降法满足/仲6+1)叱(训项，即在迭代的每一步都满足在性能外表上下降，将性能函数在环(圻处进行一阶泰勒展开，并利用式(7-38),得到一，.一-“一 ?, (7-39)由于收敛因子小是正值常数，因此，随着科的增加，性能函数4的您)不断减小， 当XT oo时，性能函数趋于最小值，岫。最速下降法的自适应迭代公式可以通过把式(7-32)代入式(7-38)得到，即(7-4 (P,.1： Ir

12、：(7-40)最速下降法的稳定性取决于两个因素，一是收敛因子小的取值，二是自相关矩阵R的特性。定义权误差矢量v( n)为爪H . - H口(7-41)利用上式和肥P,消去式(7-40)中的互相关矢量P ,有7nL(7-42)式中，U为单位阵。式(7-42)再次强调了最速下降法的稳定性是由 和R控制的。利用正交相似变换，可以将自相关阵R表示为K*1。一(7-43)= f _lAJvnlAJvn- CA-Jtf(7-51)式中，Q为正交矩阵，矩阵Q的各个列矢量为自相关矩阵R的特征值相对应的特 征矢量。人为一对角阵，其对角元素为矩阵R的特征值。通常将这些特征值表示为入44,且均为正实值。每一个特征值

13、对应矩阵Q中一列特征矢量。将 式(7-43)代入式(7-42),有V J ： 59 . L .(7-44)上式两边左乘。并利用正交矩阵的性质，有 ，： + i，一4可，J(7-45)定义有(7-47)设叫电的初始值为(7-48)再假定自适应滤波器权矢量的初始值为 磔0) =口，那么上式简化为一】(7-49)考虑小W)矢量的第加个模式，那么式(7-30)所示的最速下降法的迭代公式变为-，：/“：.II.：(7-50)式中，人乂为自相关矩阵R的第个期特征值，(矶为矢量/5)的第个加元素。 上式为，的一阶齐次方程。假设设，的初始值为嗫(),那么该差分方程的解 为叫访三。一 =Q.WS)-吗讨(7-4

14、6)由于矩阵R为正定阵，其特征值均为正实值。这样，式联门=，构成了一个 等比级数，其公比为1-2/。为了保证最速下降法稳定收敛，必须有-1-1 1-21-2闷津ll, ,m m = =口j.j., ,M M即保证1-2m的幅值小于1。当迭代次数T8 时，最速下降法的各个模式均趋于0,而与初始状态无关。这意味着当时，自适应滤波器的权矢量趋于最佳权矢量 地。将式(7-51)写成矢量形式，有(7-53)由式(7-52)可以得到最速下降法收敛因子的限制条件:式中，上3为自相关矩阵R的最大的特征值。最速下降法的主要优点是它的简单性，然而，这种方法需要大量的迭代， 才能使算法收敛于充分接近最优解的点。这个

15、性能是由于最速下降法是以围绕当前点的性能外表的一阶近似为根底的。在实际应用中，如果计算的简单性相对重要，那么选择最速下降法是适宜的。然而，如果收敛速度是更重要的，可以选用牛顿法及其改良方法，这里就不再讨论了。【例7-2】均方误差性能函数为 闿+2只+24啊-1啊-1圾+42,初值权值为0,L=0.05 ,给出最速下降法的学习曲线。y+ 2吗 +2晒-14-115+42=42-27 8助 +崂Wf啊?(7-52)即按式7-30的形式可得:由式7-34可得：L = R尸3f由式7-36可得：% 词d悯-F%=4由式7-41可知最速下降法学习曲线为：如=f皿+*Q：4-2吹由7-46式定义可知“?喇

16、W厮沙黑M明“破F0 = H0-1F0=-=U U 1 17 7可以解得自相关矩阵R的第m个特征值人为：4 = 3自相关矩阵R的特征值对应特征矢量为列矢量构成的正交阵Q为：由7-41式权误差矢量定义知1 1 -1城?1 _所以的rF(n-1),.AT?(7-87)_M7_2MW_1)MCHT式中I-2M是对角矩阵，交叉项之积的期望值等于零，那么 .丁.1 1 ；ri11- I. I(7-88)通过化简，可以得到-.丁丁:： |-一1-二】(7-89)该式建立了梯度估计噪声协方差与权矢量协方差之间的关系。将式(7-83)代入上 式，得到(7-83)(7-84)网箱+1；= (/-。阳网加一)(7

17、-85)(7-90)假设选取为很小的数值，那么M的值将远小于1,上式得到进一步近似一 工1(7-91)现在来估计LMSJ法的失调系数。将式(7-77)变换到主坐标系，得一二卜一一一1小三?;I,一(7-92)1假定自适应过渡过程已经结束，平方误差已接近于性能曲面的最低点，这样，可认为可吟力是玫昉的协方差矩阵中的元素。于是，可将上式进一步近似为Ed L.-?回(7-93)根据式(7-93),可得到LMST法的失调系数的表达式为卡(7-94)它正比于自适应增量常数 以。对照式(7-74),学习曲线的时间常数为. I = (7-95)4卉4式中，下标k表示第k个学习曲线时间常数。根据上式可将相关矩阵

18、R的迹写成t?盟.4.茂式中，下标av表示“平均。将式(7-95)代入式(7-94),得到 MM/ 1 14在所有特征值相等的情况下，上式得到进一步的简化为0M + !0=5 -4 J(7-96)(7-97)(7-98)上式说明了失调系数、学习曲线时间常数以及权系数的个数三者的关系。由该表 达式可以看出，选择大的自适应时间常数，可以使失调系数减小，而对于给定的 时间常数，失调系数随加权数目成正比例增加。 实验说明，这是一个很好的近似 关系式。在特征值未知的情况下，这个近似式对于设计自适应系统是很有用的。【例7-5】如图7-10所示，自适应滤波器有两个实加权系数，输入随机信号队的 样本间隔相互独

19、立，且他的平均功率为 凡=Ml；信号周期为N=16个样点。求最 佳权向量和使该系统收敛的自适应步长因子的取值范围。先求出输入信号的相关值。对单频正弦波信号求相关可等效为周期内在时间上求平均，即力=加=痣如引+吨=。51小口,x, 2欣，2碌-I口n_ “灯八S = E4&不皆血方地一 +孙小卜058父再计算期望响应和输入信号的互相关值：1 12irt2irt 2 2成0=矶%d J =?z 2 Sincos = 0H 7NANNmwA x1尊砥k-D 2欣 僮L。二以，应上方M 2即cos = -sin哂因此，输入信号的自相关矩阵为R=0.51 02COSCOS町COS7C/8图7-1

20、0自适应线性滤波器那么均方误差性能函数为:i =E/=财- 2w3rL + wRjv= 0,51w； +w；+眄吗cos + 2W3sinIE/8+ 2由正规方程可得最正确加权矢量:为求出的取值范围，可求出相关矩阵R的特征值: = = 0.9720.972=0,048=0,048而一#国=4+ & = 1.味有两种世的取值方法：0/1几3和0八肋网按第 二种取法得：|o|o C/K0.98C/K0.98实际使用LM就法，仙的取值约为上式给出的上界的1/10量级。7.3.3 LMS自适应滤波器的改良从根本的LM就法出发，通过改良LMSB法的收敛特性， 减小稳态均方误差和计 算复杂度等根底

21、上，相继提出了LMS自适应滤波器的一些改良形式，以下内容列 举了其中的三种算法。1 .归一化LMS算法(NLMS)通过对前面两个小节对LMSB法的根本原理和Tt能的分析得知,LMSB法的收敛 性和稳定性能均与自适应滤波器权系数矢量的系数数目和输入信号的功率直接相关。为了确保自适应滤波器的稳定收敛，出现了对收敛因子进行归一化的NLMS算法，这种算法的归一化收敛因子表示为一(7-99)式中，为输入信号x(n)的方差。直接计算是很难求出结果的，通常的做法是 用时间平均来代替上式中的统计方差，即RS =2Iff1.02 cosQc痛cosn/81.02-1-10一皿鹤)3一7弘-4.17二-f.7-1

22、00J-0J-0式中，H 是对d的近似估计。将归一化收敛因子代入LMSB法，得到通常我们还要在上式中的分母上加上一个小的正的常数 里这样可以防止0值的出现。于是，我们得到的NLMSU法迭代公式表示为由于式7-101中的归一化收敛因子川=4卡+/式功是在迭代过程中随时间 变化的，因此，实际上NLM为一种归一化变步长算法。【例7-6】考虑一个线性自适应均衡器系统，用NLMSJ法进行实现，画出一次 实验的误差平方的收敛曲线，给出最后设计滤波器系数。一次实验的训练序列长度为500。进行20次独立实验，画出误差平方的收敛曲线。给出3个步长值的 比拟。假设随机数据产生双极性的随机序列xn,它随机地取+1和

23、-1。随机信号通过一个信道传输，信道性质可由一个三系数FIR滤波器刻画，滤波器系数分别是0. 3, 0.9, 0.3。在信道输出参加方差为7平方高斯白噪声，设计一个有11个权 系数的FIR结构的自适应均衡器，令均衡器的期望响应为xn-7,选择几个合理的白噪声方差7平方不同信噪比，进行实验。例程7-4归一化LMS算法MATLAB程序实现如下：1.NLMS算法1次实验% N=训练序列长度% u二收敛因子clear;N=500;db=20;sh1=sqrt(10A(-db/10);u=1;error_s=zeros(1,N);叫H H + +1)1)= =*4-4-2J9 9町域M)M)工冷(7-1

24、01)-言- 侬工P+P+工3 3网口(7-102)for loop=1:1w=0.05*ones(1,11);V=sh1*randn(1,N );K=randn(1,N)-0.5; x=sign(K);for n=3:N;M(n)=0.3*x(n)+0.9*x(n-1)+0.3*x(n-2);endz=M+V;for n=8:N;d(n)=x(n-7);enda(1)=z(1)A2;for n=2:11;a(n)=z(n).A2+a(n-1);endfor n=12:N;a(n)=z(n).A2-z(n-11)A2+a(n-1);endfor n=11:N;z1=z(n)z(n-1) z(n

25、-2) z(n-3) z(n-4) z(n-5) z(n-6) z(n-7) z(n-8) z(n-9) z(n-10);y(n)=w*z1;e(n)=d(n)-y(n)；w=w+u./(eps+a(n).*z1.*conj(e(n);enderror_s=error_s+e，2;end w error_s=error_s./1;n=1:N;plot(n,error_s);xlabel(n(当u=1;DB=20时)；ylabel(e(n)A2);title(NLMS算法1次实验误差平方的均值曲线);2.NLMS算法20次实验clear;N=500;db=20;sh1=sqrt(10A(-db/

26、10);u=1;error_s=zeros(1,N);for loop=1:20w=0.05*ones(1,11);V=sh1*randn(1,N );K=randn(1,N)-0.5; x=sign(K);for n=3:N;M(n)=0.3*x(n)+0.9*x(n-1)+0.3*x(n-2);endz=M+V;for n=8:N;d(n)=x(n-7);enda(1)=z(1)A2;for n=2:11;a(n)=z(n).A2+a(n-1);endfor n=12:N;a(n)=z(n).A2-z(n-11)A2+a(n-1);endfor n=11:N;z1=z(n)z(n-1) z

27、(n-2) z(n-3) z(n-4) z(n-5) z(n-6) z(n-7) z(n-8) z(n-9) z(n-10);y(n)=w*z1;e(n)=d(n)-y(n)；w=w+u./(eps+a(n).*z1.*conj(e(n);enderror_s=error_s +e，2; end werror_s=error_s./20;n=1:N;plot(n,error_s);xlabel(n(当u=1;DB=20时)；ylabel(e(n)A2);title(NLMS算法20次实验误差平方的均值曲线);【程序运行结果】图7-11收敛曲线表7-1用LMS算法设计的自适应均衡器系数序号123

28、45678910111次-0.00370.0074 -0.0010-0.0517 0.1667 -0.5112 1.4216-0.52440.1668-0.05970.016420次0.0383 0.04800.0565-0.1058 0.2208 -0.5487 1.4546-0.56810.2238-0.09970.0367结果分析：观察三个不同步长情况下的平均误差曲线， 不难看出，步长越小，平均误差越小， 但收敛速度越慢，为了更精度，必然牺牲收敛速度；当降低信噪比时，尽管20次平均仍有好的结果，但单次实验的误差曲线明显增加， 这是更大的噪声功率对 随机梯度的影响。2 .泄漏LMS算法除了上面介绍的NLMSJ法外，泄漏LMST法也是一种应用广泛的自适应算法。 例如，在通