自适应信号处理讲义之三北京航空航天大学

1、自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法第第第第四四四四章章章章 自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法 4 4. .1 1 引引引引言言言言 自适应性即系统处理未知环境扰动的能力。 设计滤波器的假假设设： 线性、高斯 和平稳 易于用数学方法导出基于模型的算法。 实实际际情情况况：非线性、非高斯和非平稳。 如大量生物系统面对的是非线性环境，动物能够通过学习过程而非基于模型的方法适应环境的变化。 人脑是一个非线性的并行信息处理系统，以与冯诺曼计算机完全不同的方式工作。 自自自自适适适适应应应应信信信信号号号

2、号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法 在 有有监监督督 的 学 习 过 程 中假 设 有 一 个 “ 老 师 ” 监 控 整 个 学 习 过 程 。 大 脑 通 过一 组 例 子 来 学 习 未 知 的 环 境 ， 其 中 每 个 例 子 包 括 一 个 输入 信 号 和 一 个 期 望 信 号 。 在 没没有有监监督督 的 学 习 过 程 （ 即 权 系 数 调 整 过 程 ）学 习 过 程 没 有 “ 老 师 ” 的 监 控 。自自 适适 应应 与 学学 习习 是 紧 密 相 关 的自自 适适 应应 滤滤 波波 能 够 全 面 解 决 非 线 性 、

3、非 高 斯和 非 平 稳 滤 波 问 题 。大脑完成任务的方式有两种：有监督的和无监督的。自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法自适应系统通常具有如下所有或部分的特性： 1能自动地适应变化（非平稳）的环境与变化的系统要求； 2能够被训练成去完成特定的滤波或判决任务。具有这种能力的系统设计是通过训练自动完成的。 3与非自适应系统不同，自适应系统试图自行设计，不需要精确的综合方法。 4经过有限的、通常是少量的训练信号就能外推至一个性能模型以对付新的环境。 5在有限的范围内能够自我维修。 6常被描述为一种具有时变参量的非线性系

4、统。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法从 工 程 的 观 点 来 说 ， 一 个 自 适 应 系 统 包 括 三 个基 本 部 分 ： 1 包 括 一 组 可 调 加 权 系 数 的 系 统 滤滤 波波 过过 程程 2 测 量 输 出 （ 由 于 输 入 信 号 形 成 的 ） 与 期 望 信号 之 间 误 差 的 比 较 器 性性 能能 准准 则则 3 根 据 误 差 信 号 调 整 加 权 系 数 的 控 制 算 法 自自适适 应应 算算 法法 这 样 的 自 适 应 过 程 或 有 监 控 的 学 习 过 程

5、 实 际 上是 一 个 误 差 校 正 学 习 ， 其 目目 标标 是是 ： 最最佳佳地地调调整整加加权权系系数数，从从而而使使一一个个规规定定的的代代价价函函数数最最小小 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法滤滤波波器器的的结结构构： 非非线线性性自自适适应应滤滤波波：如人工神经网络。 线线性性自自适适应应滤滤波波：整个学习过程由线性过程控制，如LMS、RLS 等。 根据滤波器的记忆长度，可分为 IIR 和 FIR 滤波器。 根据滤波器传递函数的零极点结构，又可分为自适应递归滤波器（有零点也有极点）和自适应非递归滤波

6、器（线性组合器全零点结构）。 对于 FIR 滤波器，根据算法中的信息流动结构，可分为横向滤波器结构、格形滤波器结构和 Systolic 阵结构。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法自自适适应应准准则则： 考察自适应系统性能的优劣，在设计和实际应用一个自适应系 统 时 非 常 重 要 。 基 本 的 性 能 测 量 或 性 能 度 量 的 方 法 有 均 方 误差、信噪比、极大似然和最小噪声方差等，这些性能测量通常被称为自适应准则。 自自适适应应算算法法： 对于线性自适应滤波，调整权系数的方法基本可分为两类，一是基于梯

7、度的算法，二是基于最小二乘的算法。基于梯度的算法通过搜索误差性能表面迭代地达到性能测量的最优值，基于最小二乘的算法则通过使某个代价函数最小求最优权值。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法 最优线性滤波最优线性滤波要求已知一切模型参数与结构，以及信号与观测的统计知识。 维纳滤波线性、非递推，适于平稳过程。 卡尔曼滤波线性、递推算法，适于非平稳过程。 自适应滤波自适应滤波模型结构参数或统计知识未知上述信号与观测的模型结构参数或统计知识是时变的采用自适应系统进行有序的搜索，以不断寻找最佳值。维纳滤波器为评估线性自适应系统的

8、性能提供了最优的框架。自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法分析设计自适应滤波器需要考虑的问题：分析设计自适应滤波器需要考虑的问题： 稳定性稳定性 无论初值为多少均收敛。 鲁棒性鲁棒性 系统有扰动（失配/不确知模型） 收敛性收敛性： 平稳系统的性能瞬态特性（收敛速度）、稳态特性（失调） 跟踪时变系统的性能瞬态、稳态特性 数值稳定性数值稳定性/数值精度数值精度（有限字长效应） 计算复杂程度、结构计算复杂程度、结构（并行性） 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算

9、算算法法法法4 4 4 4. . . .2 2 2 2 自自自自适适适适应应应应线线线线性性性性组组组组合合合合器器器器 自适应线性组合器又称非递归自适应滤波器，本质上是一个非时变数字滤波器，它是自适应信号处理的基础。这是一种最简单、也是应用最广泛的自适应处理器。 自适应线性组合器包括一个L+1维输入信号向量kx和与之相应的一组可调权系数TLkkkhh0h，其输出为一个求和单元的单输出信号kTkkyxh。用于调整权值的方法称为自适应算法。 对于一组固定的权值，自适应线性组合器的输出是输入信号向量的线性组合，故这个组合器被称为是线性的。但是当这些权值处于自适应调整的过程时，权值也是输入信号向量的

10、函数，这时，组组合合器器的的输输出出不不再再是是输输入入的的线线性性函函数数。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法在物理上，输入信号向量中的M+1个元素可以是从L+1个不同信源到达的瞬时输入TLkkkxx0 x对应于多多输输入入情情况况（如自适应天线阵）， 也可以是从一个信源得到的L+1个序贯样本TLkkkxxx对应于单单输输入入情情况况（如自适应均衡器）。 对于单输入情况，自适应处理器可以用自适应线性组合器和单位延迟单元来实现，如下图所示，被称为自适应横向滤波器，它是非递归自适应滤波器的时间形式。 自自自自适适适适

11、应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法 自适应线性组合器 自适应横向滤波器 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法4 4 4 4. . . .3 3 3 3 性性性性能能能能测测测测量量量量方方方方法法法法 在大多数的实际应用中，自适应过程是按照使误差信号的均方值或平均功率达到最小来进行的。 对于一个离散时间系统，可定义期望响应kd为一个希望自适应系统输出ky与之相接近的信号。 设系统由一个自适应线性组合器和一个相减器组成，在 k 时刻系统的输出误差为： kkky

12、d 其 中kTkkyxh为 自 适 应 线 性 组 合 器 的 输 出 ，TLkkkxx0 x和TLkkkhh0h为自适应系统在 k 时刻的输入信号和权向量。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法则系统输出的均方误差为： Re2|)()(*222kkTkkTkkHkkkkkkkdEEdEydydEExhhxxh 考虑平稳随机信号，则输入信号的自相关为： *TkkTEERxxxx 期望响应kd与输入信号之间的互相关为： *kkdEdExxp 则自适应系统的均方误差性能测量函数为权函数的二次函数： Re2|)(22phhh

13、hTHkkRdEEJ 自适应系统在最小均方误差输出情况下的最佳权向量满足维纳霍夫方程： *1phRopt 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法从上式可见，)(hJ与权值的关系曲线为一个“碗形”面的立体图形，被称为性能表面性能表面(Performance Surface)。 由于)(hJ是一个h的二次性能函数，故它仅有全局最佳点，不存在局部最小点。利用均方误差性能测量的方法要求系统自适应调整权值，使其均方误差输出达到最小，此时达到最佳的权值被称为最佳权向量，对应于性能表面的碗底。 自自自自适适适适应应应应信信信信号号号号

14、处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法在自适应信号处理中，性能表面性能表面的一个重要特征重要特征是： 如果信号是平稳平稳的，且其统计特性不变，则性能表面的形状保持不变而且在其坐标系中保持固定。这时，自适应过程为：从性能表面的某点出发向下运动至最小点附近，最后停在最小点。 如果信号是非平稳非平稳的并具有慢变化的统计特性，则可视性能表面是起伏的或在其坐标系统中移动。此时，自适应过程不仅要向下运动至最小点，而且当性能表面移动时还要跟踪其最小点。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法SD算法描

15、述 SD是基于梯度的自适应算法（确切的说，为递推算法） SD是一种古老的最优化技术，属于最优化中的迭代算法 SD的基本思想是寻找集平均误差性能表面的最小点考虑一个线性最优滤波器：自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法误差)()()()(nnnxneHz zh 10)()()(mkkknznhnx代价函数代价函数或均方误差均方误差为：)()()(neneEnJ )()()()(2nRnnnHHHxh hh hh hp pp ph h其中)()(nxnEz zp p，)()(nnERHz zz zTmnhnhn)()()(1

16、0h hTmnznzn) 1()()(z z自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法均方误差)(nJ与待优化矢量)(nh h的关系，可以用一个有唯一最小值的 碗形平面表示自适应滤波器的 误误差差性性能能表表面面。 此表面最小点所对应的)(nh h即为最优滤波器的权值，满足维纳霍夫方程： p ph h oR 相应的最小均方误差为： oHxJh hp p2min SD 的的思思想想： 随便假设一个初值)0(h h，作为对最优值的猜测。 对)0(h h在负梯度矢量方向（即在误差性能表面最陡的方向）上连续校正，最后应收敛到最小值。

17、 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法)()()()()(2nRnnnnJHHHxh hh hh hp pp ph h h h)()(nJnJ （即斜率或梯度） )(22nRh hp p )(21)() 1(nJnnh hh h )()(nRnh hp ph h 而)(nRh hp p )()(nRnRRooh hh hh hh h )()() 1(nRnnoh hh hh hh h 注意： )( )()(nxnxne为消息的估计误差，而)(noh hh h 是维纳滤波器冲激响应的估计误差。 自自自自适适适适应应应应信

18、信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法二、稳定性条件二、稳定性条件定义滤波器权误差矢量onnh hh hc c)()(则)()() 1(nRnnc ch hh hSD 实实际际上上是是个个误误差差校校正正系系统统任任何何反反馈馈系系统统都都存存在在稳稳定定性性问问题题。稳稳定定性性的的定定义义是是滤滤波波器器不不发发散散是是滤滤波波器器权权误误差差随随时时间间增增长长趋趋于于零零。滤滤波波稳稳定定性性研研究究的的是是当当时时间间充充分分长长以以后后，初初值值的的影影响响是是否否可可忽忽略略是是否否无无论论怎怎样样选选取取滤滤波波初初值值，只只要要

19、时时间间充充分分长长，就就能能保保证证滤滤波波值值与与最最优优估估计计值值任任意意接接近近。自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法考虑滤波器权误差矢量权误差矢量： onnh hh hc c) 1() 1( )()(nRnoh hp ph hh h oooRnRnh hh hh hp ph hh h)()( p pc cp pc c)()(nRn )(nRIc c 滤波器稳定条件滤波器稳定条件 如何选择如何选择才能使才能使0)( nnc c？ 对)()(nnERHz zz z进行相似变换，即对角化处理，可得HQQR。其 中

20、 Q 为 酉 阵 ， 其 每 一 列 为 对 应 于R的 特 征 值 的 特 征 向 量 ，mdiag1，i为R的特征值，均为正实数。 则)() 1(nQQInHc cc c )() 1(nQQQQnQHHHHc cc c 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法)() 1(nQQInHc cc c/ )() 1(nQQQQnQHHHHc cc c 定义 TmHnvnvnQn) 1() 1() 1() 1(1c cv v，且IQQH )()() 1(nQInHc cv v )()(nIv v 其中oHHnQnQnh hh

21、hc cv v)()()( )()1 () 1(nvnvkkk，mk, 1 )0()1 ()(knkkvnv 当111kkr时（对所有k）, 0)( nknv 由于k均为正实数，故 SD的平稳条件（或收敛条件）为：max20。 若01kr01k，则)(nvk为过阻尼；若kkr10，则)(nvk为临界阻尼；若kkkr1210，则)(nvk为欠阻尼。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法为为为为什什什什么么么么步步步步长长长长会会会会影影影影响响响响稳稳稳稳定定定定性性性性？ )()()()()(2nRnnnnJHHHxh

22、 hh hh hp pp ph h，oHxJh hp p2min ToToRJnJ)()()(minhhhh )(2)(oRnJhh )(22nRh hp p ，)()(nxnEz zp p 考虑单权情况。 )(21)() 1(nJnhnh )(2)(2)(oRohnhhnhRnJ/)(22)(nhpnJ )()() 1(ohnhnhnh 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法当max2时，如8 . 1，有： )0( 8 . 1)0() 1 (ohhhh；) 1 ( 8 . 1) 1 ()2(ohhhh，如下图 1 所示

23、。 当max2时，如2 . 2，有： )0( 2 . 2)0() 1 (ohhhh；) 1 ( 2 . 2) 1 ()2(ohhhh，如下图 2 所示。 h0hopth1h2J(w) 图 1 /8 . 1 图 2 /2 . 2 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法三、三、 瞬态特性瞬态特性右图为)(nvk随时间采样n变化的规律，由于11k，故)(nvk是随n衰减的几何序列。为便于分析瞬态特性，用一个指数函数拟合上述几何序列：nnkke)()1 (1则时间常数)1ln(1kk。描述瞬态响应特性时，k指使)(nvk衰减至初

24、值)0(kv的e1 时对应的迭代次数n。 因为：)0()1 ()(knkkvnv)0(knvek 故： )0()(1kkkvev 当1时，kkkk11)1ln(1。 步步 长长越越 小小 ， 则则k越越 大大 ， 即即 SD 算算 法法 收收 敛敛 越越 慢慢 。自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法根据以上的概念和定义，分析滤波器加权矢量的瞬态特性：由oHnQnh hh hv v)()(，及IQQH，有)()(nQnov vh hh h)()(11nvnvmmoq qq qh hmkkkonv1)(q qh h其中)(

25、)()(1nhnhnmh h，mooohh1h h。由于)0()1 ()(knkkvnv，故mknkkkioiivqhnh1)1)(0()(，mi, 1自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法mknkkkioiivqhnh1)1)(0()(，mi, 1定义时间常数a为使)(nh h达到)0(h h的e1时所需要的迭代次数，则从上式可见，无法得到a的解析值。但是，可以分析a变化的范围，即其上界与下界。由于)(nhi是)(nvk的线性组合，故)(nhi的最慢收敛速度取决于收敛最慢的)(nvk。 若当jk 时，mink，而jk

26、时，0)0(kkivq时，对应的权值njjioiivqhnh)1)(0()(min收敛最慢。 反之，若当lk 时，maxk，而当lk 时，0)0(kklvq，则对应的权值nllioiivqhnh)1)(0()(max收敛最快。)1ln(1)1ln(1minmaxa自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法 均方误差)(nJ的瞬态特性)()()()()(2nRnnnnJHHHxh hh hh hp pp ph h p ph hp ph hp pp p1112)()(RnRRnRHHx当p ph h1 Ro时，p pp p12m

27、inRJHxoHonRnJnJh hh hh hh h)()()(min对R进行对角化处理：HQQR得oHHonQQnJnJh hh hh hh h)()()(min定义： TmoHnvnvnQn)()()()(1h hh hv v有：)()()(minnnJnJv vv vmkkkknvnvJ1min)()(mkkknvJ12min)(而)0()1 ()(knkkvnv故mkknkkvJnJ122min)0()1 ()(min)(limJnJn； nnJ)(的曲线称为学习曲线学习曲线。自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法

28、法法4 4 4 4. . . .4 4 4 4. . . .2 2 2 2 牛牛牛牛顿顿顿顿法法法法梯梯梯梯度度度度搜搜搜搜索索索索 一、牛顿算法一、牛顿算法 考虑前面的均方误差代价函数： ToToRJnJ)()()(minhhhh )(2)(oRnJhh )(22nRh hp p ，)()(nxnEz zp p 考虑单权情况。 )()()(21)() 1(ohnhnhnJnhnh 当1时，上述单变量梯度搜索过程是临界阻尼的，此时： oohhhhh)0( 0 . 1)0() 1 (； 可见在这种情况下，对二次型性能函数梯度搜索过程一步就收敛。 自自自自适适适适应应应应信信信信号号号号处处处处理

29、理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法由于它与微积分学中求多项式根的方法有关，故称为牛顿法。 牛顿法最初是用来求一个函数，比如说)(hf的零点，或者求方程0)(hf的解的方法。这些方法可以描述如下：由初始猜测0h开始，用一阶导数)(0hf计算新的估值1h，1h由)(0hf的切线与h轴的交点来确定。根据图中的几何关系，有： )/()()(1000hhhfhf )(/ )(0001hfhfhh 下一个点2h是将1h看成初始猜测用同样的方法得到。则一般地有： )(/ )(1kkkkhfhfhh 可见，牛顿法的收敛与初始猜测以及)(hf的性质有关。不过，已经知道对于一大类函数，

30、牛顿法的收敛是迅速的。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法为 了 用 牛 顿 法 来 搜 索 性 能 表 面 ， 必 须 从0)(hf出 发 。 由 于 我们 需 要 求)(hJ的 最 小 点 ， 所 以 对 于 单 变 量 性 能 表 面 ， 有 ： )()(hJhf 则 求)(hJ的 最 小 点 的 搜 索 过 程 为 ： )(/)( 1kkkkhJhJhh 当 性 能 表 面 为 二 次 型 时 ， 应 用 牛 顿 法 可 以 一 步 得 到 解 。 因 为 ： 2)()( okkhhkJhJ，2)( khJ

31、所 以 ： optopthhhhh2)(2001 可 见 ， 当 性 能 表 面 为 二 次 型 、 且 已 知)(hJ的 单 变 量 情 况 ， 牛 顿 法 非常 简 单 。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法当只有一个权且性能表面为二次型时，牛顿法一次就能找到最佳值。现在我们把单权情况的牛顿法推广到具有多权的情况，定义能在多维二次型表面上一步达到最佳权的方法为牛顿法。 我们知道，使)(hJ最小的最佳权向量为： ph1 Ropt 且性能函数的梯度向量为： phh22)(RJ，RJ2)(h 用121R左乘上式，并合并

32、上面两个方程得： 11)()()(21hhhhhhJJJRopt 写成自适应算法，有： )(2111kkkJRhhh 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法在上式中引入一个调整收敛速率的常数，则可将一般形式的牛顿法表示为： )(11kkkJRhhh 则 令2/1时 可 得 一 步 收 敛 公 式 。 否 则 可以在 下 式 定 义 的 稳定区域内选择值：10。 由 于 一 般 希 望 收 敛 过 程 为 过 阻 尼 的 过 程 ， 所 以 往 往 选 择 小 于1/2 的步长。 将梯度代入牛顿法迭代公式中，可得： )(2

33、1koptkkhhhh 求解之可得： )()21 (0optkoptkhhhh 从 此 式 可 见 ， 当2/1时 可 得 一 步 算 法opthh 1， 当 满 足10时，有opthh。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法二、牛顿算法的学习曲线二、牛顿算法的学习曲线 最速下降法的学习曲线nnJ)(为： mkknkkvJnJ122min)0()1 ()( 考虑)()()(minnnJnJv vv v以及

34、TmokHkvkvQk)()()(1h hh hv v。 对于牛顿法，有： optkkoptkkhhhhhh2)21 ()(21 optkoptoptkkoptkoptkhhhhhhhhhh)21 ()21 (2)21 ()(21 )()21 () 1(kkvv )0()21 ()( vvkk 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法因此可得牛顿迭代算法的均方误差表示式为： mkkknHnvJJnnJnJ122min2minmin)0()21 ()0()0()21 ()()()(vvv vv v 可见，最最速速下下降降法法

35、的的学学习习曲曲线线是具有以下公比的衰减几何级数之和： mkkmsek, 1 , 0 ,)1 (2 而而牛牛顿顿法法的的学学习习曲曲线线是具有单一公比的衰减几何级数，其公比为： 2)21 (mse 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法4 4 4 4. . . .4 4 4 4. . . .3 3 3 3 梯梯梯梯度度度度估估估估值值值值及及及及其其其其对对对对自自自自适适适适应应应应过过过过程程程程的的的的影影影影响响响响 一一、 用用微微分分法法估估计计梯梯度度及及性性能能损损失失 对于一个单实权的二次型性能函数，用

36、权误差值可表示为： 2minvJJ 其一阶和二阶导数分别为： vdvdJ2，222dvJd 采用最速下降法只需性能函数的一阶导数，而采用牛顿法则同时需要其一阶和二阶导数。可以采用“中心差”方法对上述导数进行估计： 2)()(vJvJdvdJ 222)()(2)(vJvJvJdvJd 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法性能损失定义为将权误调而不停留在opthhv时引起均方误差的平均增量： 22min22min)()()(221)()()(21vJvvJvJvJvJ二次型性能函数 进一步将梯度估值对自适应性能的影响定义为

37、扰动： min2minJJP 对于 m 维的矢量权函数，定义对其总扰动为测量每一梯度分量时所带来的扰动的平均值： min210min2min2JmJmRtrJPavmkk 对于牛顿法，需要用上述微商法对二阶导数进行测量。对于二次性能表面的情况，二阶导数是固定的，不需要经常测量，其对实际应用的影响可忽略。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法二、梯度估值的方差二、梯度估值的方差 对于一个二次型性能函数： 2|kEJ 其中kkkyd 为在 k 时刻系统的瞬时输出误差。 用瞬时输出误差的 N 个样本估计上述均方误差，有： N

38、kkNJ12|1 当输出误差k为零均值高斯分布时，可求出: NJJ2min2var 当输出误差k为均值是 a 方差是2高斯分布时，可求出: 222222min)/1 (/42varmaNJJ 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法因此可得梯度估值的方差为： 22min22222)()(21)(var41)(var41varNJvJvJNvJvJdvdJ小扰动 由于对梯度向量的所有分量进行估计时扰动和样本数 N是一样的，且在所有估值中输出误差k的样本是统计独立的并具有同样的方差，故第 k 次迭代梯度估值的协方差矩阵为： I

39、NJEHkkkkk22min)(cov 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法三、梯度估值误差对权向量解的影响三、梯度估值误差对权向量解的影响 根据上面得到的梯度估值误差的公式，可以研究这种带噪声的梯度估值对权向量解的影响。 将第 k 次迭代时的梯度估值表示为： )(kkkw 其中)(kw为第 k 次迭代时的梯度估值噪声。 考虑最速下降法，其权值迭代的标准形式为： )()() 1(nJnnh hh h 注注注注意意意意： 此处为了与牛顿法统一，最速下降法的权值与原来定义的： )(21)() 1(nJnnh hh h 不同

40、。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法对于权估计误差向量onnh hh hc c)1()1(，有： )()()2()()(2)()()()1(nnRInnRnnJnnwwc cc cc cc cc c 定 义 TmHnvnvnQn)1()1()1()1(1c cv v， 其 中Q 为 酉 阵 ， 其 每 一 列 为 对 应 于R的 特 征 值 的 特 征 向 量 ，mdiag1，i为R的特征值。 则有： )()()2()1(nnInwv vv v 其中)()(1nQnww。 对于上面的解耦差分方程，可得： )1()2

41、()0()2()(10lnIInnllnwv vv v 假定的值满足稳定条件，则当n时上式的第一项趋于 0，可得稳态解为： )1()2()(0lnInllwv v 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法可推导权估计误差向量的协方差为： )(cov)(4)()()(cov12nnnEnHwvvv 又因为： INJQQQnnEQnnEnnHH2min114cov4)()(4)()( )( covwwwww 故可得最速下降法权向量误差的协方差为： 1222min)(4)()()(covRRNJnnEnHccc 利用同样的方法，

42、可以导出牛顿法得到的权向量误差的协方差为： 2122min)1 (4)(covRNJnc 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法四四 、 超超 调调 均均 方方 误误 差差 与与 失失 调调 如 果 在 自 适 应 过 程 中 没 有 噪 声 ， 则 最 速 下 降 法 和 牛 顿 法 将 使权 向 量 收 敛 于 均 方 误 差 性 能 表 面 的 最 小 点 上 ， 权 向 量 误 差 的 协 方 差将 为0， 均 方 误 差 将 等 于minJ。 当 存 在 梯 度 估 计 误 差 时 ， 自 适 应 过程 中 的

43、 噪 声 会 引 起 稳 态 权 向 量 的 解 围 绕 最 小 点 随 机 的 变 化 ， 从 而 产生 了 “ 超 调 ” 均 方 误 差 ， 即 J 的 稳 态 大 于minJ。 定 义 “ 超 调 ” 均 方 误 差 为 ： )(minJnJEJex )()()()()()()(minminminnnJnRnJnRnJnJHHoHov vv vc cc ch hh hh hh h )()(nRnEJHexcc 上 述 定 义 仅 当 权 误 差 矢 量 对 时 间 k 而 言 是 平 稳 过 程 才 能 应 用 ，即 仅 当 自 适 应 瞬 态 过 程 结 束 时 才 能 应 用 。