自适应信号处理

1自适应信号处理

AdaptiveSignalProcessing

薛永林

xueyl@FIT1-410

2课程内容C.1 自适应信号处理（Introduction）自适应系统特点,自适应处理原理梯度和最小均方误差，性能函数和性能曲面C.2 自适应搜索算法性能曲面梯度搜索 牛顿法，最陡下降法学习曲线及比较C.3 LMS算法LMS算法导出，加权矢量的收敛性学习曲线，梯度估计对自适应过程的影响加权矢量解中的噪声，失调C.4 最小二乘自适应滤波及快速算法投影矩阵，滤波算子格型滤波器，快速横向滤波器C.5 自适应信号处理的应用

3参考文献(1)张旭东、陆明泉，离散随机信号处理，清华大学出版社，2005(2)BernardWidrow，SamuelD.Stearns， AdaptiveSignalProcessing，

Prentice-Hall，1985(3)SimonHaykin，自适应滤波器原理，第4版，电子工业出版社，20034C.1自适应信号处理C1.1自适应处理概述C1.1.1自适应系统特点:能自动适应(最佳)变化的(时变)环境条件和要求可被训练以实现特定的过滤和判决可趋于自学习、自修复、自更新和自设计复杂性高，系统性能高（尤其是对时变信号）主要是时变的非线性系统5自适应滤波器：

当环境条件发生变化时，能自动检测变化并调整参数使输出性能达到最优的滤波器

自适应过程：

包括学习过程和跟踪过程 性能测量：

自适应的速度 接近最优的程度

6C1.1.2自适应系统分类开环系统

7

闭环系统8C1.1.3自适应系统指标（1）收敛速率

滤波器从初始参数调节到输出充分接近最优所需 的迭代次数（2）失调

充分接近与最优的偏离程度（3）计算量（复杂度）9C1.1.4自适应算法

根据滤波器结构和算法准则,自适应算法主要有：梯度算法最小均方滤波器格型自适应滤波器最小二乘自适应滤波器快速横向自适应滤波器自适应无限冲激响滤波器

随机梯度滤波算子

10C1.1.5自适应滤波应用范围系统辨识自适应均衡语音处理谱分析自适应信号检测自适应噪声消除自适应动目标检测11C1.2自适应系统基本原理C1.2.1自适应线性组合器非递归自适应滤波器12输入信号可以是多个信源信号输入，也可以是一个信号的个连续样本的输入，记

或每个信号的加权因子为

输出

或

对闭环自适应系统，系统参数（加权矢量）和“希望响应”或“训练信号”有关，即有性能反馈13C1.2.2性能函数和均方误差性能表面

若希望响应为dk，误差信号为平方误差信号为如果该过程为统计平稳的，则 设相关矩阵，希望响应和输入分量间的互相关用表示,则均方误差—性能函数14

均方误差性能表面是一个关于的碗形的二次误差函数或二次曲面。

15C1.2.3梯度和最小均方误差常用梯度法以寻求性能表面的最小点梯度可求得为：

为获得均方误差的最小值，对加权向量取其最佳值，使梯度为0，即

这是Wiener-Hopf方程的一种矩阵表示，则最小均方误差为

16性能函数也可用下式表示（可证与2.2中性能函数相等）

若令则

欲使,则须 当时,,Rx

正定,Rx

半正定

若梯度可有另一种表达方式若17C1.2.4二次性能曲面的性质对于输入相关矩阵Rx，

为Rx的特征值

为Rx的特征矢量，

则

可以证明：（1）若

，即特征矢量相互正交,即,,n=0，…L

令（3）归一化 （2）18证明：（1），，则故（2）令，则，，故 （3）归一化为标准正交矩阵，则19特征值和特征矢量的几何意义

—平移—旋转—等值线椭圆 或可表示为即另由 梯度20结论：输入相关矩阵的特征矢量规定误差曲面的主轴输入相关矩阵的特征值规定误差曲面关于其主轴的二阶导数

21C1.2.5误差和输入信号的不相关性

当时，

结论：当滤波器响应达到最佳时， 误差信号与输入信号互不相关（正交）。误差信号22C.2自适应搜索算法

或

或

C.2.1梯度搜索算法基本原理23在性能曲面上，以任意W0为起始寻求W*，即是决定收敛速率和稳定性的增益常数，称作收敛因子。或归纳可得第K次迭代当时，对于一维加权矢量24C.2.2牛顿搜索算法选定初值w0，预计下一估值w1其导数

则归纳可得求函数的解：25

而故令，则对于二次曲面，将当时，，一次迭代即可。为估值代入26一般地对于任意加权矢量，有 ∴

一次迭代27又有最小均方误差加权矢量梯度向量故当时，，一次迭代即达最优。2829

在二次性能曲面上，牛顿迭代法可一次达到最优，但实际自适应系统没有足够的信息量来保证这一次迭代的成功。在非稳条件下，有两个问题：（1）

矩阵未知，仅仅只能尽可能好地估计。（2）在每一次自适应迭代时，梯度须利用局部观测来加以估计。30为了预期有噪的和估计的影响，我们调整牛顿迭代法：得到一种算法，使在许多次迭代后收敛于，这小增量将有平滑在和估计中噪声的效果， 以较小的增量调节修改后的牛顿迭代法为：使得自适应系统有稳定的性能31

在无噪声条件下，和收敛仅取决于标量收敛因子为此代入式归纳为可以准确知道32

在无噪情况下的收敛条件为： 是一步收敛是振荡收敛

实际自适应系统中具有噪声，的优化在小于1/2，通常作为多次迭代的收敛因子。是平滑收敛33最陡下降法和牛顿方法不同，每一步的加权调节是在梯度方向上。最陡下降法迭代算法为：而

则

平移向量平移C.2.3最陡下降梯度搜索方法所以34旋转座标到主轴方向，即 其中故归纳可得迭代公式35最陡下降法稳定和收敛的条件为： 由于对角矩阵之积恰等于相应对角元素乘积之矩阵，故36要满足收敛条件，须其中是的最大特征值。 而则则3738C.2.4迭代的稳定性和收敛速率

若满足上述条件，各项公比均满足 迭代收敛的条件为39当，称为过阻尼情况，稳定收敛。，当，称为临界阻尼情况，一步收敛。，当，称为欠阻尼情况，振荡收敛。，当或称为不收敛或不稳定情况。

时，40收敛速率随r的减小而增大。41

自适应系统中，MSE收敛于其最小值的过程，作为其性能的一种测度，我们现称之为学习过程，而MSE值对应其迭代次数的曲线称之为学习曲线。均方误差 利用移动座标则C.2.5自适应搜索学习曲线42在牛顿迭代算法中：

则

为简单几何级数，几何比为：

43牛顿法的学习曲线是有单一时间常数的纯指数函数

44为了说明学习曲线的收敛过程，定义两种时间常数：如果一个单位时间相应于一次迭代，可以记为收敛特性时间常数和权值公比的关系，，，即K次迭代，一次迭代而则权值收敛时间常数45

学习曲线的时间常数定义为学习曲线的几何比则相应的时间常数为由此 46在最陡下降搜索算法时： 其中

和均为对角矩阵，可交换47则

故最陡下降搜索算法的学习曲线是一些递降几何级数之和，各个几何级数之公比为： 最陡下降法的学习曲线是具有几何比为即学习