(完整word版)自适应滤波LMS算法及RLS算法及其仿真.

1、自适应滤波第 1 章绪论 111 自适应滤波理论发展过程 112 自适应滤波发展前景 2121 小波变换与自适应滤波 2122 模糊神经网络与自适应滤波 3第 2 章线性自适应滤波理论 421 最小均方自适应滤波器 4211最速下降算法 4212最小均方算法 622 递归最小二乘自适应滤波器 7第 3 章 仿真 123.1 基于LMS算法的 MATLAB真 123.2 基于RLS算法的MATLAB真15组别：第二小组 组员：黄亚明 李存龙 杨振I第 1 章绪论从连续的 (或离散的 )输入数据中滤除噪声和干扰以提取有用信息的过 程称为滤波。相应的装置称为滤波器。实际上，一个滤波器可以看成是 一个

2、系统，这个系统的目的是为了从含有噪声的数据中提取人们感兴趣的、 或者希望得到的有用信号，即期望信号。滤波器可分为线性滤波器和非 线性滤波器两种。当滤波器的输出为输入的线性函数时，该滤波器称为线 性滤波器，当滤波器的输出为输入的非线性函数时，该滤波器就称为非线 性滤波器。自适应滤波器是在不知道输入过程的统计特性时，或是输入过程的统计特性 发生变化时，能够自动调整自己的参数，以满足某种最佳准则要求的滤波器。11自适应滤波理论发展过程 自适应技术与最优化理论有着密切的系。 自适应算法中的最速下降算法以及 最小二乘算法最初都是用来解决有无约束条件的极值优化问题的。1942年维纳(Wiener)研究了基

3、于最小均方误差(MMSE准则的在可加性噪声 中信号的最佳滤波问题。并利用Wiener. Hopf方程给出了对连续信号情况的最佳 解。基于这准则的最佳滤波器称为维纳滤波器。20世纪60年代初，卡尔曼(Kalman) 突破和发展了经典滤波理论，在时间域上提出 了状态空间方法， 提出了一套便于在计算机上实现的递推滤波算法， 并且适用于 非平稳过程的滤波和多变量系统的滤波，克服了维纳 (Wiener) 滤波理论的局限 性，并获得了广泛的应用。这种基于MMS准则的对于动态系统的离散形式递推算 法即卡尔曼滤波算法。这两种算法都为自适应算法奠定了基础。从频域上的谱分析方法到时域上的状态空间分析方法的变革，也

4、标志 着现代控制理论的诞生。 最优滤波理论是现代控制论的重要组成部分。 在控制论 的文献中，最优滤波理论也叫做 Kalman滤波理论或者状态估计理论。从应用观点来看，Kalman滤波的缺点和局限性是应用Kalman滤波时要求知道 系统的数学模型和噪声统计这两种先验知识。然而在绝大多数实际应用问题中， 它们是不知道的， 或者是近似知道的， 也或者是部分知道的。 应用不精确或者错 误的模型和噪声统计设计Kalman滤波器将使滤波器性能变坏，导致大的状态估计 误差，甚至使滤波发散。为了解决这个矛盾，产生了自适应滤波。最早的自适应滤波算法是最小JY(LMS)算法。它成为横向滤波器的一种简单 而有效的算

5、法。实际上，LM算法是一种随机梯度算法，它在相对于抽头权值的 误差信号平方幅度的梯度方向上迭代调整每个抽头权 值。1996年Hassibi等人证明了 LM算法在H。准则下为最佳，从而在理论上证明 了 LM算法具有孥实性。自Widrow等人1976年提出LMSt适应滤波算法以来，经过 30多年的迅速发展， 已经使这一理论成果成功的应用到通信、 系统辨识、 信号处 理和自适应控制等领域， 为自适应滤波开辟了新的发展方向。 在各种自适应滤波 算法中，LMSf法因为其简单、计算量小、稳定性好和易于实现而得到了广泛应 用。这种算法中，固定步长因子卩对算法的性能有决定性的影响。若卩较小时， 算法收敛速度慢

6、， 并且为得到满意的结果需要很多的采样数据， 但稳态失调误差较小：当“较大时，该算法收敛速度快，但稳态失调误差变大，并有可能使算法 发散。收敛速度与稳态失调误差是不可兼得的两个指标。以往的文献对LMSt法的性能和改进算法已经做出了相当多的研究， 并且至今仍然是一个重要的研究课 题。另一类重要的自适应算法是最小二乘（LS）算法。LS算法早在1795年就由高斯 提出来了，但LS算法存在运算量大等缺点，因而在自适应滤波中一般采用其递推 形式一一递推最小二乘（RLS）算法，这是一种通过递推方式寻求最佳解的算法， 复杂度比直接LS算法小，因而获得了广泛应用。1994年 Sayec和Kailath建立了

7、Kalman滤波和RLSS法之间的对应关系，证明了 RLSS法事实上是Kalman滤波器的一种特例，从而使人们对RLSS法有了进一步 的理解，而且Kalman滤波的大量研究成果可应用于自适应滤波处理。 这对自适应 滤波技术起到了重要的推动作用。基本上，现有的参考文献都是基于这两种算法进行改进的。 而这两种算法又 可以简单的用以下语句来描述：LMS（抽头权向量更新值）=（老的抽头权向量值）+（学习速率）（抽头输出向量）（误 差信号）RLS （状态递推值）=（旧的状态值）+（卡尔曼增益）（新息向量） 以往的研究多集中在线性滤波方面，非线性滤波理论还有待于进一步的研究开 发。1 2自适应滤波发展前景

8、现代信号处理理论为自适应滤波技术的发展提供了广阔的空间。 尤其是小波 技术和人工智能理论的发展，更是推动和加快了自适应滤波技术的前进。121小波变换与自适应滤波小波变换是由法国地球物理学家 Morlet 于80年代初在分析地球物理信 号时作为种信号分析的数学工具提出来的。通俗地讲，小波是一种短期 波。在积分变换中，小波作为核函数的用法大体与傅立叶分析中的正弦和 余弦函数或与沃耳什 （Walsh） 分析中的沃耳什函数的用法相同。目前，小波 分析主要用于信号处理、图像压缩、次能带编码、医学显像、数据压缩、 地震分析、消除噪声数据、计算机图像、声音合成等领域。小波变换的基 本特点是多分辨率或多标度的

9、观点，目的是“既要看到森林 （信号的概貌 ）， 又要看到树木 （ 信号的细节 ） ”。借助于小波的精辟理论，自适应滤波技术有 了新的发展方向，这也引起了信号处理领域许多学者专家的浓厚兴趣和热 切关注。基于小波变换的自适应滤波技术是未来自适应滤波发展的方向之一， 有着广阔的应用前景。目前还有许多问题亟待解决，例如不同形式的小波 滤波器的滤波效果研究；在时变信号滤波方面的应用研究以及对于失调噪 声的滤波等等。122模糊神经网络与自适应滤波神经网络作为一种新的计算方法， 已经引起了人们广泛的研究兴趣。 神经网 络可以认为是一种由许多称为 “神经元” (neuron) 的基本计算单元通过广泛的连 接所

10、组成的网络。 它是在现代神经科学研究成果的基础上提出来的， 反映了人脑 功能的基本特征。 网络的信息处理由神经元之间的相互作用来实现， 网络的学习 与识别决定于各神经元之间联接权系数的动态变化过程。人工神经网络是模仿和延伸人脑认知功能的新型智能信息处理系统， 由于神 经元本身具有高度自适应性，因而由大量神经元组成的神经网络具有自学习性、 自组织性、巨量并行性、存储分布性、结构可变性等特点，能解决常规信息处理 方法难以解决或无法解决的问题。模糊技术也是现代智能理论的一个重要方面。 利用模糊技术我们可以很容易 的将人们熟悉的语言描述应用到自动控制或信号处理中来， 然而，模糊理论与神 经网络都存在着

11、各自的优缺点。模糊逻辑和神经网络在许多方面具有关联性和互补性。 它们的交叉研究正是 基于二者互补性和关联性的结合。首先，两者具有互补性。一方面，模糊技术的 特长在于模糊推理能力，容易进行高阶的信息处理。将模糊技术引入神经网络， 可以大大拓宽神经网络处理信息的范围和能力， 使其不仅能够处理精确信息， 也 能够处理模糊信息或其它不精确信息， 不仅能够实现精确性联想及映射， 也能够 实现不精确性联想及映射， 特别是模糊联想和模糊映射。 另一方面， 神经网络在 自学习和自动模式识别方面有极强的优势，采取神经网络技术进行模糊信息处 理，则使得模糊规则的自动提取及隶属函数的全自动生成有可能得以解决。 其次

12、， 两者具有关联性， 有许多共同点。 它们都着眼于模拟人的思维， 都是为了处理实 际中不确定性、 不精确性等引起的系统难以控制等问题。 两者在形式上有不少相 似之处， 其信息都是分布式存储于其结构之中， 从而都具有好的容错能力。 不管 是神经网络还是模糊逻辑， 都不需要建立数学模型， 只需根据输入的采样数据去 获取所需的结论， 也就是模型无关估计器。 另外， 神经网络的映射功能早已得到 证明。近年来，Kosko、L。X. Wan等证明了模糊系统能以任意精度逼近紧密集 上的实连续函数，这也说明了二者之间有着密切的关系。因此，将两者融合在一起的模糊神经网络可以有效的克服两者的缺点， 提高 整个网络

13、的性能。 譬如；神经网络可以降低透明程度， 使它们更接近于模糊系统； 而模糊系统可以提高自适应性， 更接近于神经网络。 神经网络与模糊神经网络有 力的推动了自适应滤波技术， 特别是非线性自适应滤波技术的发展。 事实上， 一 个神经网络或模糊神经网络本身就可以看作是一个自适应滤波器。第2章线性自适应滤波理论线性自适应滤波理论比非线性自适应滤波理论发展的比较早、比较成熟。这里只重点介绍基本的最小均方(LMS)年tl最小二乘(LS)自适应滤波器。2. 1最小均方自适应滤波器本节所讨论的LMSf法是应用最广泛的一类算法，从理论体系上来看，最优 化方法中的最速下降法是随机梯度信息处理的一种递归算法，在误

14、差性能未知的 情况下，它可以寻求误差曲面的最小点，可为平稳随机条件下的LMSf法提供若干启发性思路，并且是分析算法性能的重要基础。2. 1. 1最速下降算法最速下降法是一种不用求矩阵逆来解正规方程组的方法。它通过递推方式寻 求加权矢量的最佳值。虽然在自适应滤波中很少直接使用最速下泽算法， 但它构 成了其它自适应算法、特别是LMSf法的基础。图2. 1表示一个横向滤波器。输入矢量为x(n) x(n,x(n 1),.,x(n M 1) T (2 1) 加权矢量(即滤波器参数矢量)为w(n)wo(n),w(n) 1，., Wm 1(n) 丁 (2 2)滤波器输出为mynw)nxni1 wnxn (2

15、 3)i 1利用图2-1中输出信号y(n)与期望信号的d(n)的关系，误差序列e(n)可以写成:e(n )=d( n)-y( n) (2 4)自适应滤波器就是根据误差序列8(行)按照某种准则和算法对其系数 w(n)进行调 整，最终使自适应滤波器的目标(代价)函数达到最小，即最佳滤波状态。按照均 方误差(MSE)准则所定义的目标函数是F(e(n)= E (n)=Ee 2(n)=Ed 2(n)-2d(n)y(n)+y 2(n)(2-5)将式(2 3)代入上式，得到2TTTE (n)=Ed (n)-2Ed(n)w (n)x(n) +Ew (n)x(n)x (n)w(n)(2-6)固定滤波器系数，贝U

16、目标函数(2 . 6)可写为2TTE (n)= E =Ed (n)-2w p+w w(2.7)式中，R=Ex(n)x T(n)是输入信号的自相关矩阵；P=Ed( n)x( n)是期望信号与输入信号的互相关矢量。假设输入自相关矩阵R为非奇异的，当R与P均已知时，将式(2 . 7)对W 求导数，并令其等于零，可得到使目标函数最小的最佳滤波参数 W为W =F-1P(2-8)这个解称为维纳解，即最佳滤波参数值。从式(2 . 7)可以看出，自适应滤波器的 目标函数是滤波参数 W勺二次函数，因此形成了一个多维的超抛物曲面，二维时 好像是一个碗状的曲面且具有唯一的碗底最小点。这个多维的超抛物曲面通常称之为自

17、适应滤波器的误差性能曲面。位于该曲面上的某一点，经过自适应调节过程，可以朝碗底最小方向移动，最终到达最小点。最速下降法就是实现这种从初 始值到最佳值搜索的一种优化技术，它利用梯度信息分析白适应滤波性能和最佳 滤波状态，避免了对输入信号自相关矩阵R直接求逆。可以想象，沿着E减小的方向调整权值应该可以找到最佳值W，因为梯度的方向是增长最快的方向， 所以负的梯度方向就是E减少最快的方向，这样，就可以采用如下的递推公式来调整W以寻找W :+ (2-9)式中， (n)代表珂时刻孝的梯度，是一个MX 1维的矢量，这里M为滤波器滤波权 系数的数目；u是一个正实常数，通常被称为步长或步长因子。根据梯度定义，

18、(n)可以写成：吗")伽(料)将式(2 . 7)对W取偏导，可以得到：V(j?) n -2P + 2Rw(fl)(2-11)将式(2 11)代入式(2-9)可得到最速下降法的递推公式：w(w 41) = w(n) + 2mP “(2-12)有关最速下降法的收敛性，这里只给出其结果。当最速下降法满足下面条件时是 收敛的：0<卩 < 入max 式中，入ma是自相关矩阵R的最大特征根。2. 1. 2最小均方算法如上节所述，要使用最速下降法，就要知道均方误差性能函数的梯度的精确值， 见式(2 11)，这就要求输入信号x(n)和期望信号d(n)平稳，并且要求它们的二 阶统计特性已知

19、。而这是相当复杂的，很多情况下它们是未知的或不完全知道的， 因此一般采用梯度的估计值 (n)来代替梯度 (n)，即(2-14)4 1) =一最小均方(LMS)算法就是使用瞬时输出误差功率的梯度Ee 2(n)作为均方误差梯度 Ee 2(n)的估计值，也就是令= V£e3 何二 C2-15)将式(2 15)代入式(2-14)，有w(w + l)二 w(w) -=w(n) - fiVd(n)wr(ra)x(n)f=+(2-16)式(2 . 16)就是LMSf法的递推公式。自适应LMSf法简单，既不需要计算输入信号的相关函数，又不需要 求矩阵的逆，因而得到了广泛应用。但是，由于 LMSf法采

20、用梯度矢量的 瞬时估计，它有很大的方差，以至不能获得最优滤波性能。下面给出完整 的算法步骤： 有关参量：M滤波器抽头数；1 2卩步长；0卩 V(MR)-, Rn=Ex1(n)初始条件：w(O)=0或者由先验知识确定计算步骤：对于H=1,2, ?(1)取x(n)，d(n)滤波 y(n)=WT(n)x(n)估计误差e(n)=d(n)-y(n)更新权向量w(H+1)=w(n)+卩e(n)x(n)当滤波器的输入信号为有色随机过程时，特别是输入信号为高度相关的情况，大多数自适应滤波算法的收敛速度都要下降，对于上述典型LM算法。此问题更加突出。为了提高收敛速度，相继提出了多种改进的算法。下面给出几种改进的

21、权 值递推公式：(1)归一化LM算法:(247)w(w + l) = w(«) + e(n)x(n)Y + X (n)x(n)式中，0卩1为控制失调的固定收敛因子；丫是为了避免 XT(n)x(n)过小而导致步长值太大而设置的正常数简化的LM算法:W（rt + 1） =+w（n + 1） =+初4班巾）（3）MLM畀法:（21紆（2-19）（2-20）w（«4l） =叫町 + “阳（力 41"朋（幵 + l）K（n + 1）式中，=；f/l I xr(wl)i(n + 1),P賦(17+U =+ 1) - UT(M)X(rt + l)以上这几种改进LM算法中，前两种

22、都是交步长方法，后一种采用的是改变梯度 估值的方法。除了这几种方法以外，还有很多改进的算法，比如变换域LM算法， 该算法适用于输入信号具有高度相关性的情况下；频域LM算法，该算法与经典梯度下降法相比较有着更好的收敛性；分块 LMST法，与其它方法相比该算法计 算量大为减少；最小高阶均方(LMK)算法，该算法是LM算法的扩展，或者说LMS 算法是该算法的特例，当系统噪声为非高斯分布时，LM!算法要比LM算法收敛精 度高；QR分解LM算法，该算法适用于横向延迟线抽头数目比较小的情况。其它 方法这里不再列举。2. 2递归最小二乘自适应滤波器最小二乘(LS)法是一种典型的有效的数据处理方法，既可用于静

23、态系统，又可用于动态系统：既可用于线性系统，又可用于非线性系统；既可用于离线估计， 又可用于在线估计。递归最小二乘 (Recursive Least Square 简写RLS)是最小乘 法的一种快速算法，它包含时间递归最小二乘 (TRLS)算法和阶数递归最小二乘 (ORES算法两方面内容，一般前者适用于动态系统辨识和在线估计，后者适用于静态系统辨识和离线估计。与LMSf法相比，RLSS法有着非常快的收敛速度。w（卉十1） = w（打I + 2严ignx（町恂酬列冲）图2-2自适应RLS算法采用RLS算法的自适应滤波器如图2-2所示。输入信号x(n)，含有N个已知样本 x(1), x(2), x

24、(3)x(N)，期望输出为d(n)=d(1) , d(2),，d(N)。滤波器输出为S叫(n)x(fl-A +l)f n = ),2,N(2-22)4-fM为滤波器长度，且 M No 误差信号为e( n)=d( n)-y( n) (2-23)按照最小平方准则，设计滤波器目标函数为右二=为“一(2-24)堆 1j=i将式(2-22)代入式(2 24)得到N*g (川三 £ 用(i) - 2工叫何£ d (i)x(t-A +1)+叫(旳叫 5)三曲-4 + l)x(i - 也 +1)(2-25)A-l eTr-1定义如下参量：AS0(帛*严)=x(j -灯曲-加；km = 0丄

25、,A/ -1(2-26)为确定性自相关函数，表示输入信号在抽头 k与抽头n之间两信号的相关性：e (N;灯二- k) i 2 0亿,M -1(2-27)z为确定性互相关函数，表示期望响应与在抽头 K1入信号之间的互相关性：岂何2-28)f-i为期望响应序列的能量。将式(2-26)(2-28)代入式(2 . 25)，目标函数可写为W 财十工工叫(町叫冲(NSH(2-29)因此有-20(N;k J) +-hm-1)(2-30)朋】鳶何二dwh)令式(2-30)等于零，得到为%k = 1,2,M(2-3J)朋二I把它简化成矩阵形式，有(2-32)式中，w(n)为MX 1维最小平方估计的滤波器系数矢量

26、，即(2-35)二叫(心昭(心，町(«)f(2-33)f 0(皿0) 机科;】)A旗忙()|05:1,1»Tj)'A/1)IB*ia(2-34)4(诃7仍0(丼;4/ 7】)1, jW - 1)；<P(n)=(n)为延迟线抽头输入信号的确定性自相关函数，疋曰一个MX M隹矩阵即9 (n)为脉冲响应序列与输入信号之间的确定性互相关函数 MX 1维矢量，即 e丽丽丽屁V亦m-诃9假定矩阵(n)是非奇异的，其逆矩阵存在，则由(2-32)可求得=(2-36)式f2 , 36)就是最+-乘法自适应滤波算法的正规方程。 从式中可以看出，它要求 (n)是可逆的矩阵，虽然如此

27、，但是对大多数应用来说这都是成立的。若对于 某应用(n)为降秩，即为不可逆矩阵，则式(2-36可理解为采用了伪逆矩阵。下面推导RLS算法由式(2，36)有w(h-1)=7(冲 一 1)05 -1)(2-37)根据式(2 . 26)可得到侃仁刑)=-1;+- m)x(rt - k)(2-38)写成矩阵形式>(«)亍 0>(n -1) + x(n)KT(t2)(249)利用矩阵求逆定理(2-40)再由式(2-39)可求得(2-41)引入MX M隹矩阵和N维矢量(2-43)(2-42)K(n)被称为增益系数。将式(2 . 42)和式(2-43)代入(2-41)得到P(n)毛 P

28、(h 1) - K(m)x7<w)P(h-1)(2-44)上式两边右乘x(n)P(頑 d = P(nl)x(w) 一 K(h)xr(町 P(h - l)xG)(2-45)用式(2 . 43)中分母多项式右乘上式两边，整理得到K(ra|xz (»)P(rtl)x(n) - P(w -1)x(rt)亠 K(ff)(2-46)把上式带入式(2 . 45)中，可化简成下式K(ff) = P(n)x(rt)(2-47)另外，根据式(2 . 27)有如下递推关系式&(n; k) =一 1;灯 + d(n)x(n - k(2-4S)写成矩阵形式h (对=-1) + d(n )x(n)

29、(2-49)式中MX1维矢量d(n)x(n)代表递归计算的更新校正项，把式(2 42)代入式(2-36)得到：w(/?) = P(>?)e(r)(2-50)再将式(2-49)代入上式，并由式(2-47)可得到w(n)= P(n)fi(ft-l) + P(hX(M)x(rT)-P(ff)9(» 一 1) + K(n)d/(w)(2-51)将式(2-44)代入式(2-51)中，且根据式(2-50)有w(w) =-1)-1)4 K(ri)dn)二-!) + K(畑(町-1)(2-52)上式就是RLS算法的递推公式。与LMST法相比较，两者的主要差别在于增益系数， LMS算法简单的利用

30、输入矢量乘上常数，而 RLS算法则用较复杂的K(n)。下面给出RLS算法的初始条件以及运算步骤：初始条件：w(O)=0; P(O)=-1(0)= S -11为小的正实数运算步骤：对于 n=1,2，?(1) 取d(n)，x(n)更新增益矢量5)二晟帶怎(3)更新滤波器参数 心心H H皿小更新逆矩阵P(沪卩07一第3章 仿真3.1 基于LMS算法的MATLA仿真在matlab中输入以下程序，可得出仿真结果g=100;%统计仿真次数为 gN=1024;%输入信号抽样点数k=128;% 滤波器阶数pp=zeros(g,N-k);其平均%将每次独立循环的误差结果存于矩阵PP中，以便后面对u=0.0002

31、6; for q=1:g%滤波器收敛因子t=1:N;a=1;s=a*sin(0.05*pi*t);%输入单信号 sfigure(1);subplot(411)Plot(s);%信号s时域波形title('信号s时域波形'); xlabel('n');axis(0,N,-a-1,a+1);xn=awgn(s,5);%设置初值%加入均值为零的高斯白噪声y=zeros(1,N);%输出信号yy(1:k)=xn(1:k);%将输入信号xn的前k个值作为输出y的前k个值w=zeros(1,k);%设置抽头加权初值e=zeros(1,N);%误差信号%用LMS算法迭代滤波f

32、or i=(k+1):NXN=xn(i-k+1):(i); y(i)=w*XN' e(i)=s(i)-y(i); w=w+u*e(i)*XN;endpp(q,:)=(e(k+1):N)A2;endsubplot(412) plot(xn);title('信号s加噪声后的时域波形');subplot(413)plot(y);title('自适应滤波后的输出时域波形');subplot(414)plot(e);title('估计误差e(t)的时域波形');for b=1:N-kbi(b)=sum(pp(:,b)/g;endfigure(2);t=1:N-k;plot(t,bi,'r');title('收敛曲线');hold on%信号s时域波形%信号s时域波形%求误差统计平均%算法收敛曲线%将每次循环的图形显示结果保存下来正