现代信号处理-第11讲

第六章自适应处理技术信号处理中会遇到：信号非平稳，且统计特性也未知若按四、五章的方法处理，需已知或先估计信号的统计特性，很难实时实现需对信号自适应处理，以适应信号非平稳性要求1

、自适应处理的基本概念自适应处理是一类新的信号处理方法基本特点：不需已知或先估计待信号的统计特性，直接利用信号值，根据某种判据在观察中不断递归更新处理参数，逐步逼近某一最优的处理结果非平稳信号统计特性随时间变化，对信号处理时其理论最优解也应随时间变化。采用自适应处理方法后，可通过处理参数的不断递归来自动跟踪信号统计特性的变化自适应处理方法更加符合信号非平稳性的要求

441信号自适应处理的技术不断发展，算法多种多样总的来说，可从三个常用角度概括信号自适应处理方法：

(1)从自适应处理算法所采用的处理器结构看分为横向(抽头延迟线)结构和格形结构两大类两类处理器使用的结构都是FIR型的(2)从每输入多少数据重复一次自适应计算看

分为每输入一段数据重新计算一次的成批处理法和每输入一个数据就根据新信息和旧处理结果计算出新结果的递归处理法前者仅是以前介绍的固定数据处理法的推广，后者才是本章着重介绍的自适应处理方法(3)从逐次调节所用算法看

分成最小均方(LMS，LeastMeanSquare)法和最小二乘(LS，LeastSquare)法两大类前者发展比较早，常以随机梯度形式来实现，也称随机梯度法。算法简单、易于实时实现，仍有广泛应用，也在不断发展中

递归的最小二乘(RLS，RecursiveLeastSquare)法计算量虽大，但收敛速度快，理论基础系统，是一类有发展前景的自适应处理算法442自适应信号处理的应用范围很广：噪声和回声的抵消谱线的增强通道的均衡系统的辨识延迟时间的估计等2

、横向结构的随机梯度法本节介绍的自适应滤波方法，是使观察信号的线性组合和期望信号之间的误差的均方值最小，因此称为最小均方(LMS)自适应滤波器LMS自适应滤波器常以随机梯度形式实现

LMS自适应滤波器有横向结构和格形结构两种实现方式本节先介绍横向结构随机梯度法的基本算法和性能

443(1)基本算法自适应线性组合器是构成自适应数字滤波器的基本单元设线性组合器输入为p个观察值x(k)，x(k-1)，

，x(k-p+1)，相应的加权系数为w0，w1，

，wp-1记观察矢量X(k)为：

X(k)=[x(k)x(k-1)

，x(k-p+1)]T加权系数矢量W为：W=[w0

w1

wp-1]T则线性组合器的输出y(k)为：令d(k)为期望的输出信号，定义误差信号e(k)为：

444误差的平方等于：

两边求均值，得到均方误差为：

定义Rd(0)是期望信号d(k)的均方，RdX为d(k)和观察矢量X(k)的互相关函数矢量：RdX=E[d(k)X(k)]，RX为X(k)的自相关函数矩阵：RX=E[X(k)XT(k)]，则：

结论：均方误差E[e2(k)]是加权系数矢量W的二次函数自相关函数矩阵RX对称正定，因此均方误差是开口向上的p维抛物面，存在唯一的最小值调节加权系数可使均方误差最小，相当于沿p维抛物面下降至最小值，因此可用梯度法求解该最小值

445对加权系数矢量W求导数，得到均方误差函数梯度为：

求出最优的加权系数矢量Wopt为：此问题的解是第四章中介绍过的维纳滤波器的解最优加权系数矢量Wopt称为维纳加权系数矢量将Wopt代入令

得到最小均方误差为：

446准确求解最优加权系数矢量Wopt，需已知先验的统计知识RdX和RX，且要进行矩阵求逆和相乘运算，计算量很大信号自适应处理问题：在没有先验统计知识条件下，随着每一次新的观察值x(k+1)的输入，采用自适应算法逐次更新加权系数矢量W，使它逐渐接近最优值Wopt横向结构的自适应处理框图如下

447这种自适应算法的立足点：最优化方法中的最速下降法根据最速下降理论，下一时刻的加权系数矢量W(k+1)应是现在的加权系数矢量W(k)加上均方误差负梯度的比例项：

其中

称为步长，也称为收敛因子，是一个控制算法收敛速度和稳定性的常数

要准确计算梯度十分困难，常用随机梯度法来近似随机梯度法用由单样本求得的梯度来代替真实的梯度，即用e2(k)的梯度来近似E[e2(k)]的梯度：

e(k)的梯度为：

448加权系数矢量W(k+1)的递推公式为：

输入新的观察值x(k+1)，X(k)更新为：X(k+1)=[x(k+1)x(k)

，x(k-p+2)]T重新计算的误差函数为：e(k+1)=d(k+1)-y(k+1)=d(k+1)-WT(k+1)X(k+1)根据递推式得到更新的加权系数矢量W(k+2)随着新的观察值的不断加入，不断递推，可使加权系数矢量逐渐逼近于最优解Wopt步长

大小不同，自适应的收敛过程也不同

过大，甚至会导致发散

449(2)算法性能每次的加权系数矢量是随机变量，因此在均值意义上讨论

k=0时有：

对两边取均值：

其中I为单位矩阵

k=1时，由E[W(1)]可推出：

4410不断重复，迭代至k+1时，有：初始加权系数矢量是人为设定的，可取：E[W(0)]=W(0)，因此有：RX是实值的对称阵，可写成特征值分解式：

其中

=diag(

1，

2，，

p)是对角阵，对角线上元素是RX的特征值

Q是各特征矢量组成的正交归一阵，有：Q-1=QTQTQ=14411对于这些矩阵，可以证明存在下列恒等式和关系式：当

所有对角线上的元素均小于1，则有：

4412结论：当迭代次数趋于无穷大时，加权系数矢量的均值收敛于维纳解

收敛条件：所有对角线上的元素均小于1设

max是RX的最大特征值，则有：|1-2

max|<1要使迭代收敛，决定收敛速度的步长

应该满足：算法收敛与否和初始值W(0)无关

4413设

min是RX的最小特征值，则可证明使收敛速度最快的步长

应取为：

max/

min越大，算法的收敛速度越差从算法收敛速度角度看，自相关矩阵RX特征值不宜太分散k

时，E[W(k+1)]收敛于Wopt，但由于W(k+1)是随机变量，因此均值等于0并不意味着：k

时，W(k+1)

Wopt

W(k+1)与Wopt有偏差，意味着输出的均方误差变大，即E[e2(k)]不会收敛到其极小值E[e2(k)]min，而大于E[e2(k)]min将均方误差的这一增大称为失调M，记为：4414若过程是非平稳的，则失调还应加上由于Wopt本身的变化所带来的影响，此时失调可表示成：

3

、格形结构的随机梯度法横向结构随机梯度法的优点：结构简单缺点：收敛速度慢为克服这一缺点，可采用格形结构的随机梯度法滤波器格形结构已在第五章的Burg算法中介绍过，这里格形结构的随机梯度法采用相同的前向和后向反射系数设计准则：使均方误差最小

可证明，当

值较小时，稳态失调等于：TrRX表示自相关矩阵RX的迹4415

在随机梯度法的格形结构中，定义第m级的前向残差fm(n)和后向残差gm(n)为：

其中K(m)称为反射系数，n表示时刻，xn为输入信号

4416定义前向滤波器的传递函数为：其中p为滤波器阶次

定义后向滤波器的传递函数为：4417

m=1时，有：A1(z)=A0(z)+K(1)z-1B0(z)=1+K(1)z-1于是有：A1(z-1)=1+K(1)z此时：B1(z)=K(1)A0(z)+z-1B0(z)=K(1)+z-1=z-1A1(z-1)

m=2时，有：A2(z)=A1(z)+K(2)z-1B1(z)=1+K(1)z-1+K(2)z-1(K(1)+z-1)=1+K(1)z-1+K(2)z-2+K(1)K(2)z-1则有：A2(z-1)=1+K(1)z+K(2)z2+K(1)K(2)z而：B2(z)=K(2)A1(z)+z-1B1(z)=K(2)(1+K(1)z-1)+z-1(K(1)+z-1)=z-2(1+K(1)z+K(2)z2+K(1)K(2)z)=z-2A2(z-1)依次类推，可以得到：

可见：若前向滤波器传递函数Am(z)的零点在单位圆内(最小相位条件)，则后向滤波器传递函数Bm(z)的零点便在单位圆外4418将

代入

比较等式两边的系数得：

为使Am(z)是最小相位多项式，滤波器系数需满足|am(m)|<1，因此反射系数满足|K(m)|<1由于有：Fm(z)=Am(z)X(z)，则时域表达式为：4419定义前向滤波器Am(z)残差能量为Fm

其中Rx(j)是平稳信号xn的自相关函数

可证明，后向滤波器Bm(z)残差能量Gm和Fm相等：

可见以下三种情况完全等价：前向滤波器Am(z)残差能量Fm最小后向滤波器Bm(z)残差能量Gm最小前、后向滤波器平均残差能量(Fm+Gm)/2最小4420为确定前向滤波器Am(z)的系数am(k)，1

k

m，1

m

p，只需使残差能量Fm最小：

此时最小残差能量Fmmin为：m=p时，有：am(0)=1

4421写成方程：

记：

则有：Rxap=epap=[1ap(1)

ap(p)]T

ep=[Fpmin

0

0]T

从第五章的分析中可知：这仍是线性预测的Yule-Walker方程

4422定义：

定义对角阵P为：

其中L的第m+1(1

m

p)行是后向滤波器Bm(z)的系数

其中

表示未知的数据

4423进一步可得到：(LRLT)T=LRLT=P

另一方面

记：Xp=[xn

xn-1

xn-p]T，gp=[g0(n)g1(n)

gp(n)]T，则有：

LXp=

gp进一步可推导出：由于P为对角阵，上式意味着：

结论：后向残差gm(k)互相正交，不相关这说明：格形滤波器各级是解耦的，可独立设计每一级

4424令w(n)为加权函数：定义误差函数Em(k)和加权误差函数分别为：

利用加权误差函数相对K(m)最小，可求出最优反射系数1981年Makhoul和Cosell推导出最优反射系数为：

其中

是前、后向残差的加权：0

14425很容易证明：|K(m)(n)|<1这就保证：|am(n)|<1，因此Am(z)满足最小相位

若定义：

从Cm(n)和Dm(n)定义看，有：

与Burg算法不同点：Burg算法中

=0.5，现在的

是前、后向残差的加权w(n)的选取原则：对近期的数值加较大的权，对过去的数值加较小的权

4426格形随机梯度法自适应滤波器算法：

(1)时间初始化：对n<0，0

m

p，有fm(n)=gm(n)=0，Cm(n)=0，Dm(n)等于一很小正数；令n=0

(2)阶次初始化：f0(n)=g0(n)=xn

(3)将m从等于0，1，

，到p-1进行递归计算：a.计算Cm(n)和Dm(n)：b.计算K(m+1)(n)：c.Burg递推：d.计算fm+1(n)和gm+1(n)：fm+1(n)=fm(n)+K(m+1)(n)gm(n-1)gm+1(n)=gm(n-1)+K(m+1)(n)fm(n)

(4)取

(5)令n=n+1，若n等于数据总长度，则停止；若n小于数据总长度，则依次重复步骤(2)、(3)、(4)

这种滤波器的自适应准则仍然是使均方误差Fm最小，因此也称为自适应LMS格形滤波器优点：收敛速度快，对舍入误差不敏感44274

、横向结构的最小二乘法若用一横向结构滤波器对p个观察值x(n)=s(n)+n(n)进行处理，其中s(n)为信号，n(n)为噪声，可得到s(n)的预测值设n时刻横向滤波器系数矢量W为：W=[w0

w1

wp-1]T，则有：

其中X(n)=[x(n)x(n-1)

x(n-p+1)]T为观察矢量若预期的输出信号为d(n)，则预测的误差e(n)为：

最小二乘法要选取wk，0

k

p-1，使误差平方和最小

4428最小二乘法与最小均方的区别：后者使E[e2(n)]

min，是均值意义下的最小化，而前者是单样本时间意义上的最小化其中若R(n)非奇异，则有：这就是最小二乘法滤波器的参数公式

4429当考虑自适应处理情况，最小二乘法可用递归估计计算此时上述滤波器系数矢量W记为W(n)递归最小二乘估计(RLS)特点：由上一次滤波器系数矢量W(n-1)，根据本次新观察值x(n)，得出本次系数矢量W(n)递归最小二乘估计中，上次W(n-1)=R-1(n-1)U(n-1)，本次W(n)=R-1(n)U(n)，若找到U(n)和U(n-1)、R(n)和R(n-1)的关系，就可得出W(n)和W(n-1)的递归关系式显然，U(n)=U(n-1)+d(n)X(n)，R(n)=R(n-1)+X(n)XT(n)为便于递推，需找到R-1(n)和R-1(n-1)的关系式

可证明：若p

p矩阵A是非奇异的，B是p阶矢量，则有：令：A-1=R(n-1)，B=

X(n)

4430令：P(n)=R-1(n)

因W(n)=

P(n)U(n)=P(n)[U(n-1)+d(n)X(n)]=P(n)U(n-1)+

d(n)

P(n)

X(n)

W(n)=[P(n-1)-G(n)XT(n)P(n-1)]U(n-1)+d(n)G(n)=W(n-1)+G(n)[d(n)-XT(n)P(n-1)U(n-1)]

因此W(n)和W(n-1)的递归式为：

W(n)=W(n-1)+G(n)[d(n)-XT(n)W(n-1)]

4431传统的RLS自适应算法：

(1)初始化：令W(0)=0，R(0)为单位阵I，则有：P(0)=I(2)n从1，2，

依次加1进行递推处理：先更新观察值矢量X(n)计算G(n)：计算W(n)：W(n)=W(n-1)+G(n)[d(n)-XT(n)W(n-1)]

计算P(n)：继续递推直至结束

与LMS自适应算法相比，RLS自适应算法收敛速度快：大约比LMS自适应算法快一个数量级一般而言，大约经过2p次迭代，这种算法就可收敛只要过程各态历经，n

时，W(n)将收敛于维纳解，而不象LMS自适应算法只是W(n)的均值收敛于维纳解

RLS自适应算法的优点以增大计算量为代价：LMS自适应算法所需的乘法次数约正比于p，而RLS自适应算法所需的乘法次数却正比于p2

4432为适应非平稳信号处理需求，可在横向结构RLS自适应算法中引入遗忘因子

(<1)，此时P(n)和G(n)的公式修改为：4

、格形结构的最小二乘法最小二乘法既可用在横向结构的滤波器上，也可用在格形结构的滤波器上一般而言，高效的最小二乘法大多以格形结构为基础将用线性矢量空间概念来推导格形结构最小二乘法的算法

(1)线性矢量空间线性空间：其中各元素(矢量)满足一定基本规律，如结合律、交换律、存在零矢量和负矢量、满足加法性和乘法性等4433n时间的观察矢量x(n)可表示为：x(n)=[x(1)x(2)

x(n)]T这里不失一般性，令时间的起点为1观察矢量x(n)可被当作线性矢量空间的一个元素(矢量)下面介绍线性矢量空间的一些基本概念：两矢量x(n)和

y(n)的内积定义为：两矢量内积两矢量的内积是一个标量当两矢量x(n)和

y(n)的内积等于0，则称这两个矢量正交：x(n)

y(n)

两个矩阵X和Y的内积定义为：

两个矩阵的内积不再是一个标量，是一个矩阵内积的一个重要性能是它的线性性质以矩阵的内积为例，有：4434一个矢量的范数是矢量与矢量本身内积的开方：

矢量的范数从几何上说，一个矢量的范数相当于这个矢量的长度两个矢量之间的距离测度称为Euclidean距离：

两矢量x(n)和y(n)夹角的余弦为：

两矢量夹角的余弦子空间子空间是线性空间的一个子集，仍然是一个线性空间若干个矢量张成的子空间是这些矢量及其线性组合的集合所构成的1个矢量所张成的子空间是该矢量所在的直线2个矢量所张成的子空间是这两个矢量所决定的平面，

，

p个矢量所张成的子空间是这p个矢量所决定的p维空间等等4435矢量和子空间正交是指这个矢量和这个子空间内的所有矢量均正交两个子空间正交是指其中一个子空间内的任一矢量和另一个子空间内的所有矢量均正交

将由矩阵U的列矢量张成的子空间记为{U}，定义PUy(n)是矢量y(n)在子空间{U}上的投影子空间{U}上的投影矩阵为：U可以是矩阵，也可以是矢量

投影矩阵是一