随机信号处理

1、现代信号处理课程笔记整理第1章 离散时间信号处理基础1.1离散时间信号（在数字信号处理中，离散时间信号通常用序列来表示。记为x(n)，n为整型变量，x(n)表示序列中的第n个样本值。）一、常用的离散时间信号：（1）单位脉冲序列：（2）单位阶跃系列：两者之间的关系为：（3）（4） 实指数序列： （5）正弦序列：（6） 复指数序列：2、 序列的基本运算卷积和：1.2 离散时间系统离散时间系统的分类：（1）线性系统：输入输出满足齐次性和叠加性。（2）时不变系统：输入延时，与之对应的输出也延时。（3）因果系统：某时刻的输出只取决于该时刻以及此时刻以前的输入。（4）稳定系统：对于任意有界的输入信号，输出

2、有界。1.3 傅里叶变换离散傅里叶变换：设信号下x(n)为长度是N的有限长序列，则该序列的DTFT为：若DTFT为周期函数，在频域第一个周期均匀采样M个点：令N = M, 得离散傅立叶变换（DFT）：1.4 z变换1.5数字滤波器（是一个可以用常系数差分方程描述的离散系统）差分方程：Z变换为：该式子说明数字滤波器的特性取决于零极点的位置。例如，因果离散时间系统H(z)具有BIBO稳定性的充要条件是所有极点位于单位圆内，而系统H(z)的逆系统也稳定的充要条件是所有零点位于单位圆内，称因果并且零极点都位于单位圆的系统为最小相位系统。1.5.3 格型滤波器1. 全零点滤波器的格型结构（1）前向输出

3、fp(n) 的系统函数：（2）后向输出 bp(n) 的系统函数：2、 全极点滤波器的格型结构(IIR)系统函数：451.已知序列X（n）的z变换为：求逆z变换则由部分分式分解法，可得由ROC的形式，可以判定想x（n）为一个右边序列和一个左边序列之和。因此，X（z）的逆z变换为2. (1) 一线性时不变系统,其输入输出满足如下差分方程:求其频率响应。两边同时傅里叶变换得：因此频率响应：(2) 频率响应为:写出表征该系统的差分方程。相乘得：反变换得差分方程：第2章随机信号分析基础2.1 随机变量概率分布函数与概率密度函数之间的关系为：概率分布函数和概率密度函数的性质如下：2.1.2 随机变量的数字

4、特征2.2随机过程自相关的定义：。性质：（1）原点的值最大： （2）共轭对称性： （3）半正定性：1. 独立的随机过程：所有随机变量对全部k有相同的概率密度函数结论结论：(1)独立的随机过程一定不相关（2）若x(n)为平稳的零均值过程，则该过程正交。两个不同的随机过程的互相关：联合宽平稳随机过程的互相关:联合随机过程的几种状态。统计独立：不相关：正交：2.3几种典型的随机过程2.3.1复正弦加噪声，表达式为：V(n)为高斯白噪声，其自相关序列为：2.3.2实高斯过程，（1）宽平稳的过程必然也是严平稳的；（2）若两个时刻信号的取值是不相关的，则它们必然也是统计独立的；（3）一个高斯随机过程通过任

5、意线性变换 (或通过任意线性系统)，其输出仍然是高斯过程；（4）高斯随机过程的高阶矩可以用一阶、二阶矩表示。2.3.3 谐波过程表达式： A，w为常数，是服从均匀分布且相互独立的随机变量，其概率密度为：2.3.4 高斯马尔可夫过程随机过程的“现在”（n时刻）和“过去”已知时，“将来”（n+1时刻）的取值只与“现在”的取值有关，而与“过去”的取值无关，或者说“将来”和“过去”的统计特性是无关的。如果一个随机信号是高斯过程同时又是马尔可夫过程，则称该信号为高斯马尔可夫过程。;(12.4 随机信号通过线性系统1. 时域分析（稳定时不变线性系统）冲击响应为h(n)则：输出信号的自相关：2. 频域分析平

6、稳随机过程的功率谱密度定义为其自相关序列的离散傅里叶变换：复功率密度为其自相关序列的Z变换：其中如果输入信号为零均值白噪声，方差为2.5普分解定理因果离散系统的零极点都位于单位圆内，则称此系统为最小相位系统。平稳随机信号满足佩里维纳条件：。若平稳随机信号x(n)如果是规则的，则它的复功率谱和功率谱密度然可以分解为：Q(z)是最小相位系统的系统函数结论：规则的宽平稳（WSS）随机信号x(n)，总可以由白噪声w(n)通过传输函数Q(z)的最小相位系统获得。新息滤波器Q(Z)和白化滤波器,则有：其中w(n)称为x(n)的新息，Q(Z)称为信息滤波器；由x(n)通过输出白噪声，称为白化滤波器。有理分式

7、功率谱的分解：2.6.3 参数估计理论1.均值的估计习题：1已知随机信号，为常数，是的均匀分布随机变量，讨论当A满足系列条件时，的广义平稳性。1.A为常数时；2.为时间常数；1、当A为常数时，其中，故此时是广义平稳的；2.其中，此时不是广义平稳的；第三章 随机信号的线性模型3.1 AR过程（自回归模型，全极点滤波器 其差分方程如下：）3.1.1 AR(1)模型 当|a|>=1时，x(n)不是一阶平稳的；而当|a|<1时，如果n很大，则：Varx(n)和(n,n+l)均是n的函数，因此随机过程x(n)不是二阶平稳的，但是如果|a|<1，且n足够大，则：AR(1)过程x(n)可以

8、看做噪声序列(n)通过传递函数H(z)的单极点滤波器所产生的。其传递函数和功率谱密度如下：3.1.2 AR(2)模型（2阶差分方程由2个极点）系统函数为：如果两个极点都在单位圆内，则H(z) 为稳定系统。其自相关函数和功率谱密度为：3.1.3 AR(p)模型差分方程： Yule-Walker方程：若AR(p)为因果系统则x(n)可以看做噪声序列(n)通过传递函数H(z)的全极点滤波器所产生的。其传递函数和功率谱密度如下：3.2 MA过程（全零点滤波器）MA(q)过程的差分方程：传递函数：自相关函数：归一化自相关：功率谱密度：3.3 ARMA过程ARMA(p,q)过程的差分方程：此过程可以看做均

9、值为零的白噪声w（n）经过传递函数H(Z)的零极点滤波器产生的。自相关函数与模型系数之间的关系：考虑到模型的因果:x(n)可以写成线性卷积的形式，即：由此可得简化后的自相关序列函数修正Yule-Walker方程：由此得到的ARMA(p,q)过程的功率谱密度为：3.4 三种模型间的关系一般来说，任意的有限阶MA模型可用无限阶的AR模型表示；而任意的有限阶AR模型也可以用无限阶的MA模型来表示；经过转换后，ARMA模型可由无限阶的MA模型和无限阶的AR模型来表示。Yule-Walker方程以线性方程组的形式描述了AR模型参数与其自相关函数之间的关系，而MA和ARMA模型参数与其自相关函数之间是非线

10、性关系。无限阶滑动平均模型MA()令 。上式两边求 z 变换，得这说明MA()模型可转换成AR(1)模型。例3.1用AR()表示ARMA(1,1)模型。例、 一个AR(2)过程满足如下的差分方程其中w(n)是一个均值为0，方差为0.5的白噪声，求：（1） 写出该过程的Yule-Walker方程；(2)求自相关数值和；（3）求出的方差。解：（1）由题意得，由Yule-walker方程为 该过程的Yule-Walker方程：（2）求解（1）方程组得（3）因为w(n)的均值为0，所以的均值为0，其方差等于平均功率即第四章 非参数谱估计功率谱估计一般分成两大类：(1)经典谱估计，也称为非参数谱估计。(

11、2)现代谱估计，也称为参数谱估计。经典谱估计是建立在传统的傅立叶变换基础之上的。经典谱估计又可以分为两种方法：(1)相关图法。(2)周期图法。 4.1 平稳随机信号的自相关估计设x(n),n=0,N-1为实平稳随机过程x(n)的某次实现中的一段有限长数据记录。用时间平均代替集平均，得自相关函数的第一种估计方法：由于数据记录是随机的，因此基于数据记录的自相关估计也是随机的序列。当 |l|>=N 时，不可能到 的估计。有效的估计准则：N至少为50，并且 |l|<=N/4 。其自相关矩阵一定是非负定的。给定数据记录x(n),n=0,N-1，自协方差函数的估计算法为:当 x(n) 的均值为

12、零时，协方差等于自相关。4.2 相关图法(先估计自相关函数，然后计算其傅里叶变换得到功率谱估计)对于给定的数据记录,自相关估计的可取值范围为：定义相关图法功率谱估计为：为了减少谱估计的方差，采用长度为2M-1的窗函数对自相关函数进行截取，得功率谱估计：2） 求解矩形窗、Bartlett窗(三角窗)的表达式分别为：在实际应用中，我们先估计自相关序列，然后对自相关序列加合适的窗函数，最后用傅里叶变换计算功率谱。具体步骤如下：4.3 周期图法周期图算法是功率谱估计的另一种估计算法，定义为：在一定的前提下，可以证明周期图谱估计和相关图谱估计的结果是相等的。在实际应用中，周期图谱估计的计算式为：其中，w

13、(n)为窗函数。周期图谱估计的方差不会随记录数据N的增大而减小，而是近似于功率谱理论值的平方。周期图谱估计不是一致估计。4.4 周期图法的改进4.4.1 平滑单一周期图在频域中，利用一个滑动平均滤波器平滑周期图谱的估计值以减小估计方差。设周期图谱的估计值之间互不相关，则：功率谱估计的最小可分辨频率近似地由2/N增大为(2M+1)2/N4.4.2 多个周期图求平均把数据记录切分为K个分段，分别求周期图，然后求平均。第i段周期图的定义如下：通过对K个周期图求平均得到谱估计如下：Bartlett方法：D=L。Welch方法： D=L/2。设K 个数据分段之间互不相关，则：为一个渐近无偏估计和一致性估

14、计。如果N 固定，且 N = KL，为了降低方差而增加K，会导致L的减少，也就是分辨率的下降。在实际应用中，用DFT/FFT计算DTFT，则：4.5 应用举例4.5.1 语音频谱分析语音信号是一种典型的非平稳信号。相比于声波振动的速度，发音器官的运动速度就显得缓慢了。通常认为长度为10 ms30 ms的时间段中，语音信号是平稳信号。短时分析方法(分帧分析方法)。4.5.2 语谱图语音信号的时频分布为定义在二维空间的函数，把时频分布画成二维灰度图像的形式，即为语谱图(spectrogram)。最早的语图仪是利用模拟的带通滤波器组和一个精巧的电机系统实现的。参数与非参数谱估计：功率谱估计一般分成两

15、大类：一类是经典谱估计，也称为非参数谱估计。另一类是现代谱估计，也称为参数谱估计。非参数谱估计是建立在传统的傅立叶变换基础之上的，又可以分为两种方法：(1)相关图法。(2)周期图法。其主要缺陷是描述功率谱波动的数字特征方差性能较差，频率分辨率低。参数谱估计的目标都是旨在改善谱估计的分辨率。主要包括AR模型、MA模型、ARMA模型。第5章 最优线性滤波器5.1最优信号估计（最优是指均方误差最小）步骤：（1）选择滤波器结构；（2）选择一个性能准则或代价函数来测定估计器的性能；（3）以性能最优或代价最小为准则，求解最优估计器的参数。（4）对最优参数值进行评价，确定最优估计器是否满足设计要求。5.2

16、线性均方估计5.2.1 误差性能曲面均方误差为:或更简洁的表示为：5.2.2 线性最小均方误差估计器正则方程：，也可以写成矩阵的形式：当估计器的权系数取最优解时：最优估计的均方差：所以（1） x与d不相关，且（2） ，线性估计器使均方误差减小。归一化均方误差：5.2.3 正交原理也就是说，最优线性滤波器的估计误差与所用数据是正交的。5.3维纳滤波器5.3.1 Winer-Hopf 方程输出信号：，d(n)=s(n)为期望输出故估计误差定义为：Winer-Hopf 方程为：5.3.2 FIR维纳滤波器（有限冲击响应，k从0到M-1取有限个整数值）正则方程的矩阵形式为：其中， ，其MM矩阵形式为：

17、自相关矩阵具有对称和Toeplitz性质。其最优解为：，也即FIR滤波器的冲击响应。5.4.最优线性预测 前向线性预测用M个“过去”x(n-1)，x(n-2)，.，x(n-M)的数据点预测“当前”数据点x(n)的值，是一步前向预测问题。x(n)的预测值为：前向预测误差为：输入数据矢量为：输入数据的自相关矩阵为：输入数据与期望响应的互相关矢量为：求解前向最优线性预测的Winer-Hopf方程为：当采用最优线性预测系数时，预测误差的均方值达到最小，即最小均方误差为：1.前向线性预测误差滤波器滤波器输入与输出之前的关系为： 并且，2. 前向线性预测的增广Winer-Hopf 方程3.前向线性预测误差

18、滤波器与AR模型的关系x(n)为一个AR(p)过程，若M=p的前向线性预测器对该随机过程进行线性预测，则模型参数即为最优预测器系数。并且，前向(最优)线性预测误差滤波器的输出为白噪声信号，该白噪声信号的方差与驱动AR模型的白噪声相同，即。5.4.2 后向线性预测：用M个数据点x(n)，x(n-1)，.，x(n-M+1)预测“以前”的数据点x(n-M)的值，预测值为： 输入数据的自相关矩阵为： 输入数据与期望响应的互相关矢量：则最优Winer-Hopf 方程为：最小均方误差为：当x(n)为实平稳随机信号时，前向和后向的最优预测系数之间满足关系如下：1. 后向线性预测误差滤波器其中，对于实平稳随机

19、过程，最优后向和前向预测误差滤波器系数间的关系为：2.后向线性预测的增广Winer-Hopf 方程5.4.3 Levinson-Durbin算法（1）输入： （2）初始化。（3）对于m=1，2，.，M，逐项计算如下（4）输出：预测误差滤波器的格型结构的特点：（1）模块化结构。格型滤波器的每一级结构完全相同，只有唯一的参数反射系数的取值不同，这便于硬件模块的复；（2）增加阶数后不改变前级的参数。对于格型结构，由M阶增加到M+1阶只需要在最后增加一个反射系数为kM+1的模块，不需要改变前级的参数；（3）格型结构可以同时计算前向和后向预测误差。第5章 题1：有一个信号s(n)，自相关序列为 ，被均值

20、为零的加性白噪声v(n)干扰，噪声方差为1.5，白噪声与信号不相关。用维纳滤波器从被污染的信号x(n) = s(n)+v(n) 中尽可能恢复s(n)，计算二阶FIR滤波器系数，并计算滤波前后信噪比。2、 随机信号x(n)为AR(1)过程，满足，用Levinson-Durbin算法求解x(n)的各阶最优线性误差滤波器系数。6章例1：假设我们希望从观察矢量中估计序列。试确定最优滤波器系数、误差矢量和最小二乘误差能量。例2：设M=4，用分解方法求解下列正则方程：，其中R为正定对称矩阵。第6章 最小二乘滤波和预测6.2 线性最小二乘估计：给定期望响应和输入信号通过线性组合得到期望响应的估计，即。线性最

21、小二乘估计就是以误差序列的平方和取最小值为原则，求解最优权系数的过程。线性组合：估计误差为： 误差序列的平方和（也即误差信号的能量）：估计误差的矩阵形式为：可以更简洁的表示为：6.2.1 正则方程根据，误差信号的能量可写为：LSE估计器的权系数满足如下正则方程： （）此时，误差序列的平方和取最小值：定理：当且仅当矩阵x的列向量线性无关或等价于为正定矩阵时，可逆6.2.2 正交原理归一化的误差平方和：6.2.3 投影算子（矩阵的列线性无关，使行数目大于列数目）如果时间平均的相关矩阵是正定的，或者数据矩阵X的列是线性无关的。在这种情况下，LS的解可表示为：。其中，对d的LS估计可表示为：其中，称为

22、投影矩阵。LS的误差矢量可表示为：6.3 最小二乘FIR滤波器FIR滤波器的输出信号：FIR滤波器，为了使问题简化，通常使测量区间以外的数据为零：一般矢量e，d和矩阵X的具体形式取决于最小二乘代价函数中所用数据的范围为FIR滤波器的系数，则误差信号为：误差信号为： （e = d - Xw）输入数据矢量滤波器系数：其系数满足正则方程：由于LS方法中，数据为有限长，存在端点问题，其常用的四种处理方式为：（1）协方差方法；（2）自相关方法；（3）预加窗法；（4）后加窗法设计MMSE滤波器过程：由给定条件推自相关矩阵和互相关向量，后求Wiener-Hopf方程设计LS滤波器：在设定区间获取输入数据和期

23、望响应的测量值，选用一种加窗方式建立正则方程，求解方程，ls滤波器可以明显减小误差信号。维纳滤波器的目标使滤波器期望值最小（误差平方和最小），需求解输入信号的自相关矩阵和其期望响应，实际应用中难得到。6.4 最小二乘线性预测1. 自相关法（全加窗）：设输入数x(n)的测量区间为0，N-1，在区间外x(n)取零值。考虑一步前向预测，设M阶预测器的系数为，预测误差为预测系数满足的方程为：当系数满足此方程，预测误差平方和取最小值2. 协方差法（不加窗）：在计算滤波器的输出误差时不使用区间 0, N-1 以外的数据，期望响应，输入数据矢量则误差向量为：数据矩阵为：期望响应线性预测系数满足正则方程：，预

24、测误差平方和：第7章 参数谱估计参数谱估计的过程：给定平稳随机过程 x(n) 某次实现中的一段有限长数据 ，利用先验知识选择一个合理的模型（如ARMA），然后利用给定的数据估计模型参数：用下列公式计算功率谱估计。（2） 建立信号模型的步骤：一般来说具有锐锋而无深谷用AR模型反之MA,ARMA同时包含.第一步：模型选择；第二步：模型估计；第三步：模型确认7.2 AR模型谱估计7.2.1最大熵谱估计：功率谱估计是一个典型的从局部估计全局的问题。传统的谱估计方法（如相关图法）具有的一个局限是：给定长为 N 的观测值，只能估计|l|<N时的自相关序列。由于很多信号的自相关在|l|>=N 时

25、不为零，这一处理方法（也即加窗方法）可能会显著降低所估计谱的分辨率和精度，尤其是当信号具有窄带谱时，其自相关随 l 的增加衰减很慢，加窗效应更明显。如果我们能对自相关进行更精确地外推，就可能消除加窗效应。最大熵谱估计的思想是：假设已知（或可以估计出） ，为了用自相关序列计算功率谱，需外推自相关函数。外推得到的自相关为：则该随机过程的功率谱为：有若干种外推方法，Burg提出的外推准则是：在外推区间，使信号取最随机、最不可预测的值，换言之，就是使随机过程的熵最大。 其中，和正好满足Yule-Walker方程。因此，对于高斯随机过程，最大熵谱估计和 AR 模型谱估计是一致的。7.2.2 自相关法1.

26、采用自相关法进行AR模型谱估计的步骤为：（1）设定模型阶数p，建立正则方程（2） 利用Levinson-Durbin算法求解方程，得模型参数（3）计算功率谱；自相关法中误差的求和范围：0N-1+P平稳AR（p）自相关函数满足Yule-Walker方程，以时间平均代替集平均自相关得：自相关法的优点是，正则方程的系数矩阵具有Toeplitz性，可以用Levinson-Durbin算法求解正则方程，从而有效提高解方程的效率。7.2.3 协方差法（不加窗，比自相关法有更高分辨率的谱估计）1.采用协方差进行AR模型谱估的步骤为：（1）设定模型价数 p，采用快速算法计算，然后建立正则方程。（2）采用LDL

27、H分解方法求解正则方程，并计算Jmin。（3）计算功率谱。AR模型谱估计的协方差法，取误差平方的求和范围为p到N-1。数据矩阵：期望响应向量：线性预测系数：协方差法的正则方程：7.2.4 改进的协方差法 (其步骤与协方差法类似)正则方程：其中，修正的协方差法可给出统计稳定的高分辨率谱估计。特别在观测数据很短时，改进效果明显。7.2.5 Burg算法：同修正的协方差法一样，Burg算法也是最小化前向加后向预测误差的平方和来求解AR模型系数，但方法是直接采用输入数据x(n), n=0,N-1，逐级估计反射系数，然后采用Levinson系数递推公式求出相应阶的AR模型参数。（1）初始化：（2） 对m

28、 = 1，2，p，递推（3）由(2)得AR(p)模型系数的估计值和噪声方差：特点：如果处理的数据来自AR过程，那么采用Burg算法可以获得精确的AR谱估计。但对正弦信号谱估计有一定的困难，存在谱线偏移和谱分裂现象，且峰值的位置与相位有关。这四种AR谱估计方法的主要优缺点：（1）相关方法可用Levinson快速算法，运算量小，但频率分辨率较低。（2）协方差方法分辨率高，运算量较大。（3）改进协方差方法分辨率高，无谱线分裂和偏移，运算量大。（4）Burg算法可用改进的Levinson递推算法，分辨率高，但对正弦信号有谱线分裂和偏移。7.2.6 AR模型阶的确定我们只是在某种准则下用AR模型的功率谱

29、逼近待分析信号的谱。如果所用的模型阶数太小，估计的谱将被平滑，因而分辨率较差；而若所用的模型阶数太大，则可能会产生伪峰值，也有可能导致谱线分裂。因此，应该有一个准则来指导如何选择合适的AR模型阶数。7.3MA模型谱估计（1）基于观测数据x(0), x(1), , x(N-1)，进行MA模型参数估计的几种方法中，Durbin算法比较常用，其步骤如下：(1)以x(0), x(1), , x(N-1) 为观测数据，估计L阶AR模型参数和白噪声激励方差 ，L的选择应满足q<<L<<N，一般令L=4q，用自相关法进行求解。(2)以(1)求的AR系数 为输入数据，用自相关法估计该序

30、列的AR(q) 模型参数，即为MA(q) 模型参数的估计(3)将 和由第(1)算出的 代人MA谱公式，计算功率谱密度。7.4 ARMA模型谱估计用Kaveh方法进行ARMA模型谱估计的步骤：(1)选取合适的AR阶数p和MA阶数q。(2)用观测数据x(0), x(1), , x(N-1) 计算自相关的估计值。(3)把自相关的估计值代入下列方程，求解得AR参数的估计值 。(4)把和代入下式 ，计算(5) 把和代入下式，功率谱：与非参数功率谱估计相比，参数谱估计方法所增加的分辨率基本上是由于对数据设置了模型的结果。7.5 应用举例7.5.1 “预白化后着色”谱估计步骤：（1） 估计AR(p) 模型参

31、数（2）用预测误差滤波器计算残差信号（“预白化”）（3） 用非参数谱估计技术估计残差信号的功率谱（4） 用下式计算 x(n) 的功率谱（“后着色”）：第8章 自适应滤波器8.1 自适应滤波原理自适应滤波器可分为设计阶段和应用阶段，设计阶段的任务是明确滤波器的结构和系数更新算法，在应用阶段，对于每一个采样点除了完成滤波外还要更新滤波器系数以用于下一个样点。自适应滤波器的系数不是一成不变的，这与传统的滤波器有根本的区别。自适应滤波器的两种实现方式：（1）有监督（有导师）型自适应：在每一个时刻，滤波器预先知道期望响应，再根据滤波器的输出计算出误差，然后评估性能并用它来调整滤波器的系数。（2）无监督（

32、导师）型自适应：当期望响应不可知时，自适应滤波器无法准确计算出误差信号，更不可能用它来调整滤波器的系数并改进滤波器的性能。8.2 最速下降法自适应滤波器的系数是随输入信号和期望响应改变的随机变量，假设w(n)是非随机的，则均方误差性能曲面：当滤波器的系数矢量 w(n) 满足下列正则方程时，均方误差J(n) 取极小值：系数矢量递推公式：最速下降法（SDA） ：（1）在工程上比较容易实现，有很大的适用价值。（2）沿性能曲面最陡方向向下搜索曲面的最低点。曲面的最陡下降方向是曲面的负梯度方向，这是一个递推搜索过程。最速下降法的收敛条件：对于联合平稳输入信号和期望响应，如果步长满足下式，则w(n)将收敛

33、到其Wiener解。对于联合平稳的随机过程，滤波器系数取Wiener最优解时，均方误差取最小值：当输入信号自相关矩阵的特征值分布很分散时，最大特征值和最小特征值相差很大，算法的收敛速度很慢；反之，当输入信号的自相关矩阵的特征值比较接近时，收敛速度较快。若满足收敛条件，则 J(n) -> Jmin，均方误差的每一项的时间常数是相应权系数时间常数的一半，因此输入信号自相关矩阵特征值的分布对均方误差衰减速度的影响同权系数是一致的。8.3.1 基本的LMS算法（最小均方算法）算法简单，计算效率高，满足实际应用需求，也存在收敛速度慢、有额外均方误差等缺点为了构造真正的自适应算法，需要对这些参量进行

34、估计。一种最简单的估计方法是用自相关矩阵和互相关向量的瞬时值分别代替它们的集平均，即令梯度的估计值为：再代人最速下降法系数递推公式，得：对于FIR滤波器结构，LMS自适应滤波算法的步骤为：8.3.2 LMS算法的收敛性分析假设输入信号与期望响应联合平稳，输入信号矢量与滤波器权系数独立：性质1：对于LMS算法，若 则算法在均方意义下收敛。性质2：在LMS自适应算法中，均方误差由下列三部分组成：性质3：当LMS算法收敛时，稳态超量均方误差由下式确定性质4：当时，可以证明：LMS算法的收敛速度依赖于步长。步长越小，收敛速度就越慢。收敛速度也依赖于输入数据自相关矩阵的特征值分布。分布越大，收敛速度就越慢。8.3.3 LMS算法的改进1正则LMS算法；2符号LMS算法；3变换域解相关LMS算法8.4 最小二乘自适应滤波器8.4.1 RLS算法：基于LS原理的自适应滤波器应是LMS算法和最速下降算法的折中，它不像LMS算法那样，只用输入数据矢量和期望响应的瞬时值来调整滤波器权系数，可以固定起始时刻Ni，并令代价函数的时间上限为当前时刻n。在每个固定的时刻n，等价于令从起始时刻Ni至当前时刻n的误差平方和最小来确定滤波器权系数，每增加一个输入数据和期望响应的新值，就产生一个新的误差项，并由此更新滤波器的权系数（1）在RLS算法中，采用指数加权的误差平方和作为代价函数，