L0范数约束的自适应滤波器设计

1、本 科 毕 业 设 计（论 文）学院(部)电子信息学院题 目L0范数约束的自适应滤波器设计年 级2014级专业电子信息工程班 级14电信学号1428403050姓 名晏萱藤指导老师倪锦根职称副教授论文提交日期2018年5月20日目 录 TOC o 1-3 h z u HYPERLINK l _Toc514591044 摘要 摘要稀疏系统是指系统的系数向量中绝大部分元素数值为零或者接近于零。工程应用中稀疏系统普遍存在，诸如回声消除中的回声路径和数字电视传输信道等。传统的自适应滤波算法在处理稀疏系统时往往存在收敛速度过慢的问题。为了提高估计稀疏系统的速率，可以采用低阶范数对自适应滤波器的系数向量进

2、行约束。本文的主要内容是选取稀疏范数中常用的l0范数作为约束项，实现基于l0范数的自适应滤波器。该设计的基本原理是将l0范数作为零吸引子整合进三种经典自适应滤波算法的代价函数，在加快系统收敛的同时兼顾算法的稳态误差。文中首先介绍自适应滤波器的发展历程与研究现状，然后分别介绍三种l0范数约束的滤波器基本原理，最后通过仿真实验测试算法的收敛率与稳态误差，并对全文进行总结。关键词：稀疏系统，自适应滤波，l0范数作 者：晏萱藤指导教师：倪锦根AbstractA sparse system is defined when most elements of which are zero or close

3、to zero. It can be found in a wide diversity of areas and scenarios such as echo cancellation, system identification and digital TV transmission channels. The truth that general adaptive filters suffer from slow convergence when processing sparse systems leads to the proposal of many improved algori

4、thms. One popular approach among them is to employ norm constraint. This letter introduces three kinds of adaptive filter algorithms, namely the l0-RLS, the l0-APA and the l0-RLS. They outperform general ones with faster convergence rate and smaller mean square deviation by integrating l0 norm into

5、their cost functions. The letter is organized as follows. A summary of adaptive filters is first presented. Then comes introduction of three improved algorithms. Simulations and conclusions which verify new algorithms superiority are drawn in final section.Keywords: Sparse system, adaptive filtering

6、, l0 normWritten by Yan XuantengSupervised by Ni Jingen第1章 绪论在现代科技飞速发展的今天，自动驾驶，人脸识别，语音交互各个领域均可见到人们努力尝试革新的身影。数字信号处理作为信息化时代的产物，也在努力寻求“智能化”的道路上不断发展。其中，自适应滤波器作为能够依照环境变化自行调整参数的滤波器，大大简化了数字滤波器针对特定应用系统“量身定制”的环节，被广泛地应用在通信、控制、雷达、声呐以及生物医学工程等各个领域1。自适应滤波器得益于数字集成电路技术的发展进步，自适应滤波理论产生于上世界中叶，成熟与上世纪七十年代。自适应滤波器的基础是一种以最

7、小均方为求解目标的维纳滤波器，它在处理特性已知的平稳信号时表现较好。然而维纳滤波器的系数是固定不变的，其设计主要基于对已输入信号统计规律的经验认知，一旦输入信号为非平稳时变信号，滤波器性能便会大打折扣。由此引发了对能够自主适应输入信号变化的自适应滤波器的研究浪潮。自适应滤波器简介当噪声和信号的数值统计规律未知时，仍然可以使用递归算法依照误差反馈不断调整滤波器参数，建立性能可靠的滤波器，这便是自适应滤波器的设计初衷。如果输入信号和噪声是平稳的，自适应滤波器系数可以收敛到最优解；如果它们是非平稳的，只要滤波器系数的收敛速度大于系统的变化率，自适应滤波器仍然能够追踪系统的变化并及时调整自身参数实现最

8、佳滤波效果2。最早出现的自适应滤波器基于最小均方(LMS, Least mean square)思想，这一思想于上世纪60年代被Widrow Hoff提出。LMS滤波器的核心算法参考了维纳滤波器的基本原理，硬件实现简单，计算量小，是多年来一直被广泛使用的算法，很多后续改进算法均基于LMS。除了LMS以外的另外一种常用滤波器是递归最小二乘滤波器(RLS)。与LMS相比，RLS的不同之处在于其代价函数是在误差函数的加权平方和基础上构建的。这类迭代方式在提升收敛速率的同时也相应地增加了计算复杂度。自适应滤波器基本原理自适应滤波器的结构框图如图1-1所示。图中代表在时刻滤波器的输入信号，期望信号是输入

9、信号在通过未知系统时受噪声干扰情况下的输出，而为信号通过滤波器的产生的输出信号。将标记为误差信号，计算式为。简单来说，自适应滤波器以误差信号为反馈来调整自身的传输函数，从而不断更新滤波器系数以实现最佳滤波效果。图1-1 自适应滤波器结构框图有三个主要因素是自适应滤波器设计阶段必须要考虑的：滤波器结构、目标函数和自适应算法。这三个要素通过不同的组合来实现不同功能，应用于不同场合。下面就三个因素进行分点介绍： 1)滤波器结构和传统的数字滤波器一样，自适应滤波器的实现结构可以有多种。常用的如有限冲激响应(FIR)自适应数字滤波器和无限冲激响应(IIR)自适应数字滤波器。其中以横向滤波器为代表的FIR

10、滤波器普遍采用非递归结构，而IIR滤波器大多采用标准直接形式结构等递归结构。2)目标函数目标函数是滤波器在系数迭代过程中遵照输入输出信号和参考信号的反馈来不断调整参数使实现最小值的函数。目标函数必须是非负值，且在理想情况下其最优解的值为零。较为普遍使用的目标函数有均方误差(MSE)、最小二乘(LS)、加权最小二乘(WLS)以及瞬时平方值(ISV)等。3)自适应算法自适应算法设计对滤波器性能的影响较大，如前所述，目前常用的算法有两大类：第一类为随机梯度算法，例如非常经典的LMS算法3以及由此衍生出的归一化最小均方算法(NLMS)、符号最小均方算法(Sign LMS)和仿射投影算法(APA)等。该

11、类算法因其计算简单的特性在信号处理中应用广泛，多年来一直是最受欢迎的算法之一。另一类算法称为最小二乘算法，它很好地体现了“最佳收敛”效果。这类算法中比较典型的是RLS算法，该算法采用误差函数的加权平方和为目标函数，其能够及时追踪输入向量的变化，因而在应对非平稳系统时表现相对更优。在选择算法进行设计时，除了应当考虑应用环境的具体要求和限制，还应当将计算量和算法稳定性等纳入考虑范围。常见的算法性能指标如下：收敛速度 - 即目标函数实现最优解时的迭代次数。稳态失调 - 通常而言稳态失调越小越好,常用的稳态失调衡量指标如均方误差(MSE)：，式中表示期望信号，它是输出信号与噪声的叠加；为系统实际输出信

12、号，为计算期望值的符号。鲁棒性 - 指信源(内部或外部)发生改变时，算法将误差变化控制在一定小范围内的能力。自适应滤波器的应用虽然不同的应用场合所采用的滤波器特性大不相同，但是其相同点都是利用输出信号和期望信号的误差反馈来调整控制滤波器系数。几种常见的自适应滤波器应用场合介绍如下。1)系统辨识图1-2是自适应滤波器在系统辨识中的模型，未知系统和自适应滤波器的输入均为未经延迟的输入信号。未知系统端的输出为期望信号，自适应滤波器端的输出为输出信号。算法根据误差信号的反馈调整滤波器的系数向量，以此来减小输出信号与未知系统之间的偏差，达到对系统进行辨识的目的。诸如通信信道的建模以及回音消除等均会用到系

13、统辨识4, 5。图1-2 系统辨识模型图2)信号增强信号增强系统的参考信号是输入信号与噪声叠加产生的信号，滤波器端以与加性噪声成相关函数的噪声为输入。1-3 信号增强模型图其系统模型如图1-3所示，该种结构常用于诸如生物医学工程中的心电信号降噪处理、助听器噪音消除以及通信电子设备的杂音消除等6, 7。3)逆系统建模逆系统建模的目的是根据输入信号等对系统传输函数进行估测，并利用该传输函数补偿通信系统信道的线性失真。图1-4展示了逆系统建模的框图。图中参考信号是经过延迟的系统输入信号，滤波器的输入为叠加了噪声的输入信号，滤波器参数调整遵照输出信号与参考信号的误差反馈来不断优化设计。逆系统建模在补偿

14、通信系统信号衰落与色散、信道均衡以及旁瓣消除中表现优异，比如在逆系统建模基础上建立的判决反馈均衡器(DFE)在信道严重失真的情况下仍然能够在很短时间内降低噪声8。图1-4 逆系统建模模型图4)信号预测信号预测在语音信号的线性预测编码、自适应线谱增强(ALE)领域发挥作用较大9。信号预测的模型结构如图1-5所示，图中滤波器的作用是对随机信号做出最佳预测，因此系统中的期望信号为未经延迟的输入信号；自适应滤波器以经过延迟的输入信号为输入，通过不断调整自身参数来逼近当前时刻的输入信号，实现对其进行有效预测的目的。图1-5 信号预测模型图稀疏系统的自适应滤波稀疏系统简介在实际通信过程中，通信信道往往会因

15、迟滞效应被延长，这使得冲激响应只占信道的极小部分，信道其余部分的系数为零或者几乎为零。这种系统被称作稀疏系统，诸如回声消除网络10和数字电视传输信道11等多个应用场合均可见到稀疏系统。稀疏系统可分为两类，一类是普通稀疏系统，如图1-6(a)所示；另外一类称作簇稀疏系统，图1-6(b)为簇稀疏系统简图，该类稀疏系统一般都包含几个簇，每个簇都由若干大系数构成。例如声音回波信道是典型的单簇稀疏系统，而卫星电视链路的通信信道是由好几个簇组成的多簇稀疏系统。图1-6(a) 普通稀疏系统图1-6(b) 簇稀疏系统稀疏系统的普遍存在给自适应滤波器在系统辨识等方面的功能实现带来了困难。因为稀疏系统延长了信道，

16、使得其滤波实现需要更长的滤波器，而滤波器长度的增加往往意味着更大的时延；另一方面，尽管稀疏系统中大部分元素接近于零，但是滤波器在处理过程中仍然需要将其考虑计算在内，这就降低了滤波器系数的收敛速度。如何做到快速收敛是自适应滤波器面临的主要问题：收敛速度与稳态误差的不可调和性导致若在保证收敛率的情况下增加全局步长加快收敛，必然会引发更大的稳态失调；若要保证MSE，则需要减小步长牺牲收敛速度。因此很多算法的改进思路都是在收敛速度和MSE两个指标间寻找折中，比如在迭代过程中使用可变步长等。稀疏系统测度出于研究分析需要，现提出一种可以量化表示系统稀疏性的方法。由此假设现有一个长度的向量 (1-1)同时定

17、义一个函数 (1-2)而后可以表示出的l0范数，即中非零元素的个数，写作 (1-3)应当指出的最小化求解属于NP问题(Non-Polynomial hard problem)，一般很少直接使用l0范数表达式，实际应用中常用的是l0范数连续函数逼近式。除了l0范数之外，稀疏系统还可以用l1范数、l2范数等来量化稀疏程度。的l1范数表达式为， (1-4)的l2范数表达式为 (1-5)经过推导可以得到l0范数、l1范数与l2范数的关系为 (1-6)针对稀疏系统的自适应滤波算法正如上节所述，系统的稀疏性导致亟需提出可以应对该情况的自适应滤波算法。首先出现的是归一化最小均方自适应滤波器(NLMS)，它能

18、够根据当前的输入信号独立调整每一次迭代过程中的步长。在这种情况下，滤波器的增益按比例分配给每一个系数，数值较大的系数在这个过程中被突显以提升算法整体收敛率。然而尽管这种独立迭代的思想很早就出现，真正意义上应用这一思想的是Duttweiler于2000年提出的PNLMS(Proportionate NLMS)13。PNLMS的本质是以滤波器当前的预测为基础对滤波器系数进行调整，使数值大的系数对应大步长加快收敛，给小系数分配以小步长确保精确度。这一算法自出现以来在回波消除等领域取得广泛应用，同时也成为自适应滤波的经典算法。其后涌现的稀疏系统自适应算法主要可以分为两类，一类以PNLMS为代表，另外一

19、类以稀疏范数约束为显著特征，其简要介绍如下：1)以PNLMS为代表的第一类算法PNLMS建立在对当前滤波器系数进行估值的基础之上，在使用过程中无需系统的先验经验认知。然而，这种算法从某种程度上来说是以“直觉感知”的方式提出的，因为用于计算步长因子的等式没有基于任何优化标准，而是基于预测和随机14。因此， PNLMS会在经历最开始的快速迭代之后放慢收敛，甚至在后期慢于NLMS。此外，该算法对系统的稀疏性非常敏感，仅在系统稀疏程度较高的情形下性能较好。在PNLMS之后，大量基于该算法的优化算法涌现出来。例如2002年Benesty等人提出的IPNLMS15以及2006年Naylor等人提出的IIP

20、NLMS16，前者将部分更新和非部分更新结合使用，解决了PNLMS遇到较为分散的稀疏系统时收敛慢于NLMS的问题；后者对前者进行了进一步改进，提升了PNLMS在迭代后期的收敛速度。随后提出的还有IAF-PNLMS17，AMPNLMS(Adaptive -law PNLMS)18 等。还有一个在PNLMS思想基础上拓展得到的算法为部分更新的仿射投影算法PAPA(Proportionate APA)，其算法迭代思想与PNLMS类似，只不过PAPA在计算时记忆并重复使用先前的数据，在某种程度上可以降低MSE，性能优于PNLMS19。2)稀疏范数约束类算法该类算法基于近年来对压缩感知(CS, Comp

21、ressive Sensing)20和最小绝对值收敛算子(LASSO)21的研究，其将稀疏范数作为加快小系数收敛的因子与原算法的代价函数进行整合，由此得到新算法。常用的有l0、l1和l2范数等。比如基于l1范数的ZA-LMS和RZA-LMS，基于l0的LMS (l0-LMS)，l0-APA，l1-RLS和lp-LMS等。这些算法均在收敛速度和MSE等方面均有很大改进，具体介绍可参见参考文献22-26。本文结构安排本文首先简要回顾自适应滤波器的原理和应用、稀疏系统的数理表示以及稀疏系统自适应算法的发展历程，明晰相关研究概念。然后实现基于l0范数的LMS(l0-LMS)、l0-APA和l0-RLS

22、，最后通过仿真实验测试算法的性能。第2章 基于l0范数的LMS滤波器LMS滤波器LMS滤波器作为最早出现的自适应滤波器之一，能够无偏收敛到维纳解，且不需要对矩阵进行求逆运算，大大减小了计算复杂度，因而应用广泛，一直以来备受欢迎。维纳解最优维纳解是包括LMS算法在内的许多自适应信号处理理论的根基，它是在最小均方误差的准则下求得的。自适应滤波算法常用MSE(Mean Square Error)作为目标函数，该目标函数是滤波器系数向量的二次函数，故存在极值并可通过计算求得。通过梯度运算求解可以得到MSE实现最小值时对应的最优滤波器系数为，式中是输入信号的自相关矩阵，为输入信号与期望信号的互相关向量。

23、是维纳解。LMS算法的基本思想就是采用随机梯度下降求解维纳解。LMS算法描述在某时刻，系统在以为输入向量的情况下得到期望信号，其表达式为 (2-1)式中为滤波器系数向量的最优解，代表在时刻滤波器的输入信号，为加性噪声。自适应滤波器的输出信号为 (2-2)其中，。将期望信号与输出信号之差定义为误差信号，即 (2-3)然后将算法的代价函数定义为误差的平方值，即 (2-4)通过求解该代价函数的最小值，可得滤波器系数向量的更新公式 (2-5)式中为算法的步长，它决定了算法的迭代收敛速度。需要注意的是，经过数学计算推导发现，只有当的取值范围在时算法才能够实现有效收敛，其中为功率谱密度的最大值。基于l0范

24、数的LMS滤波器(l0-LMS)l0范数l0范数在CS中应用广泛，其引入是为了设备在低于奈奎斯特频率的采样频率情况下仍能有效捕捉和重建信号，达到降低成本的目的。如式(1-3)所示，l0范数能够表示向量中非零元素的个数，可以很好地表示矩阵和向量的稀疏程度。然而，其本身是非连续函数，对其求解最小化问题是一个NP难题。为了解决这一问题，学者们提出了几种l0范数的逼近表达式，如l0范数的Gaussian逼近、Laplace逼近和Geman-McClure逼近等。l0-LMS算法描述将l0范数与LMS算法的代价函数进行整合，得到新的代价函数如下 (2-6)符号用以标记向量中非零元素的个数，表示第个滤波器

25、抽头。式中的作用是为了平衡两个相加项的大小，控制前项与后项的数值之差不过于悬殊。根据算法性质，当代价函数值最小时得到最优解。然而对于有l0范数的多项式而言，其最小值的求解比较困难，因此在这里采用l0范数的Laplace逼近式，方便后续计算： (2-7)经过数学推导可以证明，当接近无穷大时，上式两端的数值可视作相等。为避免算法迭代时计算量过大，这里对式(2-7)中的进行泰勒展开，得到 (2-8)联立式(2-7)、(2-8)并将其带入式(2-6)得到改进后的代价函数为 (2-9)当代价函数的值最小时，可得新的滤波器系数迭代方程式 (2-10)其中是一个分段函数 (2-11)同样，根据NLMS算法的

26、基本原理，可以将l0范数与NLMS算法结合，得到l0-NLMS滤波器的迭代式： (2-12)式中是为了防止矩阵运算结果为零而引入的值很小的常数。算法简要分析从以上公式可以看出，新算法与原算法相比，改进的地方在于给滤波器系数的迭代公式增加了一个零吸引因子。图2-1给出了l0范数表达式的函数坐标图。如该图所示，当函数中的自变量落入函数表达式的零吸引区间时，接近于零的系数会向零逼近，且越小，算法对其的“吸引力”就越强，从而达到加快算法收敛的目的。另外值得一提的一点是算法中的决定着l0范数的吸引区间和吸引力的大小，增加意味着其对滤波器系数的吸引力度增加，但同时会缩小吸引区间的范围，因此在算法应用过程中

27、，应当妥善选取的值，以实现算法最优性能。图2-1 的函数坐标图仿真实验仿真条件为了验证改进后的算法具有更优性能，实验中设定滤波器长度为100，同时参考Godavarti在论文27中的讨论，本章实验中l0-LMS与l0-NLMS中的值均取5；算法性能采用均方偏差(MSD, Mean Square Deviation, 单位dB)来衡量，其表达式为，式中是滤波器系数的初始系数向量，是自适应滤波器的系数向量，为选取的仿真实验次数，这里选取为100次，取最终平均值。除以上条件外，实验采用的高斯白噪声均值为零、方差为；有色信号由高斯白噪声通过传递函数为的自回归系统产生。仿真结果与分析本节将对以下情况进行

28、仿真：测试白噪声和有色信号输入情况下l0-LMS和l0-NLMS的性能，并与LMS和NLMS进行对比。探究算法中值的选取对l0-LMS性能的影响。第一个实验结果如图2-2、2-3和2-4所示。图2-2为LMS与l0-LMS的均方偏差学习曲线，对比图2-2(a)与图2-2(b)可以发现，在控制MSD相同的情况下，无论输入白噪声还是有色信号，l0-LMS都会先于LMS实现全局收敛。并且当输入信号为有色信号时，l0-LMS的快速收敛特性会更加明显。图2-2(a) LMS与l0-LMS的均方偏差学习曲线，白噪声输入图2-2(b) LMS与l0-LMS的均方偏差学习曲线，有色信号输入图2-3(a)和图2

29、-3(b)为NLMS与l0-NLMS的学习曲线对比。其显示的实验结果与图2-2类似，可以看到在引入l0范数后，无论输入信号为白噪声还是有色信号，l0-NLMS均能在与NLMS保持最终相同MSD的情况下实现更为快速的收敛。此外，当输入信号为有色信号时，l0-NLMS在收敛速度上的优势更加明显，由此验证了LMS家族的算法(LMS、NLMS)在将l0范数整合进其代价函数后，能够显著提升自身性能。即使输入信号为有色信号，l0-LMS、l0-NLMS仍旧能够实现快速收敛。图2-3(a) NLMS与l0-NLMS的均方偏差学习曲线，输入白噪声图2-3(b) NLMS与l0-NLMS的均方偏差学习曲线，输入

30、有色信号此外，图2-4进行的实验将LMS、NLMS、l0-LMS与l0-NLMS放在一起比较，可以看到，由于NLMS在LMS的基础上对步长设置进行了改进，整个迭代过程中NLMS的步长会不断变化调整，因此其整体性能（MSD、收敛速度等）会略微优于LMS。而在引入l0范数后，l0-LMS与l0-LMS的性能差异更加明显。图2-4(a) LMS、l0-LMS、NLMS与l0-NLMS的均方偏差学习曲线，输入白噪声图2-4(b) LMS、l0-LMS、NLMS与l0-NLMS的均方偏差学习曲线，输入有色信号第二个实验测试算法表达式(2-10)中的对算法性能的影响，由式(2-10)可知，控制l0范数约束

31、项在滤波器系数迭代式中的权重。值越大，l0范数对算法的约束越强。但同时图2-1显示，l0范数约束项可以将接近零的系数随机向坐标原点零吸引，增大会导致小系数在零点附近移动加剧，从而带来更大的稳态误差。故在本次实验中通过仿真来验证该推断，实验中采用的输入信号为高斯白噪声。图2-5显示值的选取需要在一个合理区间内，当超过该区间时，增大或者减小都会影响l0-LMS的性能，甚至导致l0-LMS表现逊于LMS。因此值的选取应当结合系统的实际情况，在收敛速度与MSD之间做出折中选择，实现相对最优。图2-5 不同值的l0-LMS学习曲线本章小结本章实现了一种基于l0范数的LMS自适应滤波器，并在l0-LMS的

32、基础上将其推广为l0-NLMS。仿真实验将LMS与l0-LMS、NLMS与l0-NLMS进行两两对比，观察它们在MSD相同情况下的学习速度，验证了l0-LMS和l0-NLMS具有更低的MSD或者更快的收敛速度。此外本章还探究了不同值对l0-LMS性能的影响，实验结果与论证相符，即值选取应当在收敛速度与MSD之间折中选取，以实现算法的最佳性能。第3章 基于l0范数的APA滤波器LMS出现之后受到广泛欢迎，但是它的收敛速度依赖于输入信号，这极大程度地限制了自身的应用场合，其后出现的仿射投影算法(APA, Affine Projection Algorithm)于1984年由Ozeki等人提出28，

33、它从数学意义上讲是LMS的阶推广。不同于LMS仅仅使用当前的信号输入值，APA的显著特点是重复使用过去的输入信号向量，虽然这样做会略微增加计算复杂度，但是能够大大提升算法的收敛速度，且稳态失调量小。APA滤波器因为LMS的收敛速度依赖于当前的输入信号特征，所以得到的最优估计值往往不够精准存在偏差。APA的思想是利用先前个连续的输入信号作为估计梯度值的参考，使得新的滤波器迭代系数尽可能靠近前一个，利用最小距离法则使得后验误差尽可能为零。APA算法描述首先定义在时刻系统中最后的个输入信号向量组成的矩阵 (3-1)滤波器的输出为 (3-2)系统的参考信号为 (3-3)式(3-3)中的为系统的加性噪声

34、。定义下一个滤波器系数与当前滤波器系数的欧几里得距离为，表达式为 (3-4)算法的核心是令在后验误差为零的附加条件约束下实现最小值。后验误差写作 (3-5)将式(3-5)带入(3-4)中解得滤波器系数的迭代方程为 (3-6)为了避免矩阵求逆运算作为公式分母出现无穷大的计算结果，在上式中添加一个极小的常量与单位矩阵的乘积以进行修正方便运算，单位矩阵的阶数即为重复利用的输入信号个数。同时加入步长来调控算法迭代速度，得到最终的APA滤波器系数迭代式 (3-7)算法简要分析APA是在数据重复利用的基础上建立的29，重复利用数据的个数即APA滤波器的阶数。当阶数为0时，便得到APA的特例：NLMS。图3

35、-1 APA超平面滤波器系数向量更新图图3-1所示为APA算法滤波器系数更新的示意图，先前提到，APA的迭代更新将后验误差为零作为附加条件，从空间的角度该条件可以解释为矩阵是过去个输入向量组成矩阵在个子空间内的正交投影。这种投影非常关键，因为它使新的滤波器系数落在当前子空间与过去子空间的交集上，从而实现与的最短欧几里得距离，即在每次迭代中都尽可能接近，达到快速收敛的目的，APA(Affine Projection Algorithm)的名字也由此得来。基于l0范数的APA滤波器(l0-APA)与l0-LMS的思想类似，l0-APA也是在滤波器系数的迭代更新算式中添加l0范数作为约束项，即写作

36、(3-8)式中表示对l0范数约束项进行梯度运算，需要注意的是该约束项在实际使用时需要采用其他算式逼近，原因之一是l0范数的求导属于NP-hard Problem，这一点已经在第2章提到。原因之二是依赖于算法中将要更新得到的滤波器系数。而算法采用的思想决定了与非常接近，所以可以用已经求得的来代替，然后为了解决范数约束项的求导问题，这里给出了两种常用的l0范数逼近式，它们分别是 (3-9) (3-10)式(3-9)是l0范数的Laplace逼近式，式(3-10)是l0范数的Geman-McClure逼近式，有关这两种l0范数逼近式的讨论可参见参考文献30-31，经数学推导可以证明当取值足够大时，公

37、式(3-9)和(3-10)中的约等于号两端可视作相等。同时以上两个公式表明，当公式中的等于零时，范数项表示个0相叠加的结果；当且值很大时，表示个1相加的结果，从而达到统计向量中非零元素个数的目的。将对关于的求导式记作，得到两种l0范数逼近式的求导式如下， (3-11) (3-12)将求导算式带入公式(3-8)，得到l0-APA最终的迭代公式 (3-13)仿真实验本节会进行以下几个仿真实验：1) 分别在高斯白噪声和有色信号输入的情况下，仿真对比APA与l0-APA的性能差异。实验中会采用两种l0范数的逼近式并测试这两种逼近式对l0-APA的影响。 测试选取不同阶数对l0-APA性能的影响。仿真条

38、件在以下几个仿真实验中，滤波器的长度均为100，算法衡量指标为MSD，APA算式中的正则化系数大小为0.001，学习曲线取100次实验的平均值进行绘制以使曲线更加平滑。此外，实验中选用的高斯白噪声均值为零，方差为，有色信号由高斯信号通过一阶系统产生，即为AR(1)信号。仿真结果与分析对比阶数为4的l0-APA与APA性能差异:l0范数逼近式为Laplace逼近，分别输入白噪声和有色信号，结果如图3-2所示：图3-2(a) 白噪声输入下APA与l0-APA的均方偏差学习曲线，l0范数逼近式为Laplace 图3-2(b) 有色信号输入下APA与l0-APA的均方偏差学习曲线，l0逼近式为式Lap

39、lace图3-2(a)和图3-2(b)为采用Laplace l0范数逼近式的算法学习曲线对比图，从中可以清楚地看到在引入l0范数后, APA算法显著提高了收敛速度，并且不同于原APA在有色信号输入情况下存在收敛率下降的情况，l0-APA无论在白噪声还是有色信号输入情况下收敛到稳态的迭代次数基本保持不变，算法稳定性更强。图3-3(a) 白噪声输入下APA与l0-APA的均方偏差学习曲线，l0逼近式为Geman-McClure逼近图3-3(b) 有色信号输入下APA与l0-APA的均方偏差学习曲线，l0逼近式Geman-McClure逼近为了进一步验证不同的l0范数对算法性能的影响，图3-3为选取

40、Geman-McClure l0范数求导式算法的学习曲线图，观察图3-2与图3-3可以发现，无论采用何种l0范数逼近式，l0-APA均具有更快的收敛速度和更小的稳态均方偏差，同时l0-APA可以维持相对稳定的性能。这证实了l0范数可以作为零吸引因子被应用在自适应滤波算法中提升其在稀疏系统应用中的迭代速度。测试选取不同阶数对l0-APA性能的影响：实验中对比了三个不同的阶数选择，即分别取4、10、20，实验结果如图3-5所示，实验中APA和l0-APA选取的步长均为0.1，输入信号为高斯白噪声，l0范数逼近式为Laplace逼近。图3-5 不同阶数对l0-APA性能的影响从图中可以看到，在步长设

41、置相同的情况下，阶数越高，算法收敛速度越快，但同时MSD也越大。这是因为阶数代表算法迭代过程在重复使用的输入向量个数，重复使用个数越多，算法越依赖过去的信号。这在一方面会加快系统收敛；但在另一方面，一旦系统波动起伏较大且前后信号不相关，重复使用过去的输入信号会产生较大的MSD。本章小结本章介绍了基于l0范数的APA自适应滤波器，首先就APA算法原理进行推导和简单分析，然后基于两种常用的l0范数逼近表达式设计了改进后的自适应滤波器算法。仿真实验对比了l0-APA相对于APA在MSD、收敛率等指标上的差异，实验显示，l0-APA可以显著提高算法的收敛速度；此外实验中还测试了系统稀疏程度与算法阶数对

42、l0-APA的影响，阶数越高，算法收敛越快，但稳态误差也会随之增加。因此在APA的相关改进算法中，有一些就APA的投影阶数提出改进方案，比如2009年Kim S E等人提出了变投影阶数的APA，算法具体细节可参见参考文献32。第4章 基于l0范数的RLS滤波器RLS自适应滤波器是和LMS几乎同时出现的自适应滤波器，由于RLS在进行系统滤波时需要系统当前和过去的全部输入信号，因而计算复杂度远远大于LMS，也比上一章介绍的APA计算量大。但RLS的收敛速度快，即使系统中输入信号是时变的，仍能够做到快速收敛。RLS滤波器RLS与LMS的区别在于，LMS基于随机梯度算法和最小均方准则，其在运算过程中采

43、用梯度的瞬时估计值来代表梯度向量，因而收敛较慢；而RLS遵循最小二乘(LS)准则，其推导基于一个确定公式，故可以实现快速收敛。RLS算法描述给定在时刻，自适应滤波器系统内存储了个输入信号，这些输入信号组成一个向量，记作 (4-1)该时刻系统的输出为，为滤波器的系数向量。同时将后验误差写作，RLS的目标函数就是后验误差的加权平方和，写作， (4-2)对公式(4-2)关于进行求导运算，得到其偏导数为 (4-2)令式(4-2)中偏导数多项式为零，解得使值最小的滤波器系数向量 (4-3)式中，为输入信号的自相关矩阵，为输入信号与期望信号的互相关矩阵，将记作并计算如下 (4-4)又已知与满足关系 (4-

44、5)联立公式(4-3)、(4-4)与(4-5)，最终得到RLS自适应滤波器系数的迭代更新方程： (4-6)式中为先验误差，记作 (4-7)算法简要分析RLS是基于LS法则得到的，公式(4-2)中的既是误差求和运算的加权因子，也是遗忘因子，它控制算法对过去输入信号的记忆功能，对距离当前时刻近的信号赋以更大的求和权重。而关于的选取有如下讨论：一方面，当时，滤波器将所有时刻的误差视作同等重要，RLS也因为不存在对误差的加权求和，变成普通的LS算法；另一方面，当时，意味着RLS不再对过往的信号进行累加求和，即不具有任何记忆功能。因为自适应滤波算法需要具有跟踪系统变化的功能，所以和这两种情形都不可取，实

45、际应用中，常取接近于1的小数。在任意时刻，系统滤波器中输入信号向量组成的矩阵为，表示为 (4-8)同时期望信号是一个的向量， (4-9)将式(4-8)与(4-9)代入(4-3)，得到最小二乘解的另一种表达 (4-10)而根据定义，滤波器的输出为，代入上式可以发现此时误差向量为零()，即在最小二乘解实现的条件下，误差信号与输入信号正交，是在方向上的投影。此外，还可以证明在，较大的情况下，LS最优解无限接近于维纳解，具体证明可以参见文献33。基于l0范数的RLS滤波器(l0-RLS)与前面的章节相似，这里将两种l0范数整合进RLS算法的代价函数。两种l0范数逼近式中的一种是Geman-McClur

46、e Function (GMF)，另外一种是Laplace逼近表达式。GMF表达式如式(4-11)所示，式中是一个用于调控表达式逼近l0范数的精度和表达式曲线平滑度的正实数34，GMF的函数图像如图4-1所示， (4-11)图4-1 l0范数GMF逼近式曲线()其梯度运算为 (4-12)式中为 (4-13)而l0范数的Laplace逼近式为 (4-14)它的函数图像如图4-2所示。l0范数 Laplace逼近式的导数写作 (4-15)又因为无限逼近35，因此可用代替上式中的，最终得到的基于l0范数的RLS算法表达式如下，式中的如(4-13)和(4-15)所示， (4-16)图4-2 l0范数L

47、aplace逼近式曲线()仿真实验本节会进行以下实验：分别在高斯白噪声和有色信号输入的情况下，仿真对比RLS与l0-RLS在收敛速度与MSD等方面的差异，其中l0-RLS中的l0范数表达式采用公式(4-11)与(4-14)所示的两种。仿真条件在以下仿真实验中，滤波器的长度均为100，稳态误差用MSD来衡量，公式表达式为，单位为dB。每次实验中算法会迭代100次，取100次迭代的MSD均值绘制学习曲线。系统中输入的高斯白噪声均值为0，方差；有色信号是由均值为0的高斯白噪声通过传递函数为的一阶自回归系统产生的。控制l0范数在滤波器系数迭代式中权重大小的取值为5，另外一个权值控制系数，仿真中采用的R

48、LS正则化系数的大小为0.001。仿真结果与分析对比l0-RLS与RLS性能差异:首先选取l0范数GMF逼近式，分别输入白噪声和有色信号，仿真中不断调整RLS与l0-RLS的遗忘因子使最后两个算法的MSD相同，以便于比较两种算法的学习收敛速度。图4-3(a) 白噪声输入下RLS与l0-RLS的均方偏差学习曲线，l0逼近式为GMF图4-3(b) 有色信号输入下RLS与l0-RLS的均方偏差学习曲线，l0逼近式为GMF实验结果如图4-3所示。通过对比图4-3(a)与图4-3(b)可以发现，无论是在白噪声输入情况下还是在有色信号输入情况下，l0-RLS均在第1000次迭代左右实现收敛，而RLS则经历

49、1600次左右的迭代才实现收敛，可见在引入l0范数后，新的算法大大提升了原算法的性能。为了进一步验证不同的l0范数对算法性能的影响，采用l0范数的Laplace逼近式再次进行实验，图4-4为采用l0范数Laplace逼近式的实验结果。图4-4(a) 白噪声输入下RLS与l0-RLS的均方偏差学习曲线，l0逼近式为Laplace图4-4(a)与图4-4(b)显示，采用不同的l0范数逼近式均能增加系统的收敛速度，改进后的算法不仅MSD比原算法低，还具有更高的收敛率。说明不管采取何种l0范数逼近式作为算法改进的基础，均能得到更优的结果。图4-4(b) 有色信号输入下RLS与l0-RLS的均方偏差学习

50、曲线，l0逼近式为Laplace本章小结本章实现了基于l0范数的l0-RLS自适应滤波器。首先对传统RLS算法进行回顾和简单分析，而后通过将两种不同的l0范数逼近式整合进原RLS算法的代价函数得到改进后的算法。仿真显示，无论采用何种l0范数逼近式均能够降低稳态误差，提升稳定性，提高收敛率，达到显著提升算法性能的目的。第5章 总结与展望本文总结经过三十余年的发展，数字滤波器技术已经基本成熟。而在当今人工智能技术日渐完善时代，滤波器也在“自适应”的道路上不断改良，以追求更好的性能与更高的实现效率。传统的自适应滤波算法有LMS、APA和RLS等，这些滤波器在面对稀疏系统的信号滤波处理往往会被系统中接

51、近于零的系数“拖慢”收敛速度，其自身的稳态误差也会增加。因此本文针对稀疏系统的自适应滤波在LMS、APA和RLS的基础上实现了l0范数约束的优化算法。本文首先对数字滤波器以及自适应滤波器的发展历程进行了简单回顾，然后介绍了稀疏系统的定义、稀疏系统对数字滤波器性能的影响。在第2章、第3章和第4章三个章节里，两种不同表达形式的l0范数被分别整合到LMS、APA和RLS三种算法的代价函数中，得到改进后的优化算法。同时在第2章里，将l0-LMS进一步拓展为l0-NLMS。仿真实验验证了这些改进后算法的性能相对于原算法的提升之处。实验显示，改进后的算法不仅在收敛速度上获得提升，在稳态误差方面也得到降低。

52、问题与展望本文实现的优化算法利用了l0范数对数值小的系数具有吸引能力，因而改进后的算法在稀疏系统中表现出色。但是该类优化算法往往对系统稀疏程度十分敏感，本文中未探究其对系统稀疏程度的敏感度，如何降低这种敏感度也待于继续研究。此外，实验中采用了不同形式的l0范数逼近式，但并未对不同形式的l0范数表达式进行数学上的理论推导与深入研究。在今后的研究中，可以进一步探究不同形式的l0范数逼近式对基于l0范数自适应滤波器的影响。参考文献Diniz P S R. Adaptive Filtering: Algorithms and Practical Implementation M. Springer S

53、cience & Business Media, 2012.Haykin S. Adaptive filter theory M. Pearson Education India, 2008.Widrow B, Hoff M E. Adaptive switching circuits R. Stanford Univ CA Stanford Electronics Labs, 1960.Proakis J G, Digital Communication M. McGraw Hill, 2001Subramanian S, Shpak D J, Diniz P S R, et al. The

54、 performance of adaptive filtering algorithms in a simulated HDSL environment C. Proceedings of the IEEE Canadian Conference on Electrical and Computer Engineering. 1992.Widrow B, Glover J R, McCool J M, et al. Adaptive noise cancelling: Principles and applications J. Proceedings of the IEEE, 1975,

55、63(12): 1692-1716.Van Veen B D, Buckley K M. Beamforming: A versatile approach to spatial filtering J. IEEE Signal Processing Magazine, 1988, 5(2): 4-24.Abdulrahman M, Falconer D. Cyclostationary crosstalk suppression by decision feedback equalization on digital subscriber loops J. IEEE Journal on S

56、elected Areas in Communications, 1992, 10(3): 640-649.Rabiner L R, Schafer R W. Digital processing of speech signals M. Prentice Hall, 1978.Radecki J, Zilic Z, Radecka K. Echo cancellation in IP networks C. IEEE 45th Midwest Symposium on Circuits and Systems, 2002, 2: II-II.Schreiber W F. Advanced t

57、elevision systems for terrestrial broadcasting: Some problems and some proposed solutions J. Proceedings of the IEEE, 1995, 83(6): 958-981.Huang Y, Benesty J, Chen J. Acoustic MIMO signal processing M. Springer Science & Business Media, 2006.Duttweiler D L. Proportionate normalized least-mean-square

58、s adaptation in echo cancelers J. IEEE Transactions on Speech and Audio Processing, 2000, 8(5): 508-518.Paleologu C, Benesty J, Ciochina S. Sparse adaptive filters for echo cancellation J. Synthesis Lectures on Speech and Audio Processing, 2010, 6(1): 1-124.Benesty J, Gay S L. An improved PNLMS algo

59、rithm C. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2002, 2: II-1881-II-1884.Naylor P A, Cui J, Brookes M. Adaptive algorithms for sparse echo cancellation J. Signal Processing, 2006, 86(6): 1182-1192.Souza F C, Tobias O J, Seara R, et al. A PNLMS algorithm wi

60、th individual activation factors J. IEEE Transactions on Signal Processing, 2010, 58(4): 2036-2047.Arenas-Garca J, Figueiras-Vidal A R. Adaptive combination of proportionate filters for sparse echo cancellation J. IEEE Transactions on Audio, Speech, and Language Processing, 2009, 17(6): 1087-1098.Ga