自适应信号处理ASP4

第4章性能表面的搜索Chap.4SearchingthePerformanceSurface1.本章内容为什么要进行梯度搜索？梯度搜索法的基本思想一个简单的梯度搜索法算法的性能分析学习曲线两种梯度搜索法稳定性收敛速度牛顿法最速下降法当输入的期望响应均为统计平稳过程时，ALC的均方误差性能表面是权向量的二次函数，但在多数实际运用的场合中，的参数是未知的，即得不到的解析表达式。因为：不能用Wiener方程来直接得到最佳解所以：只能用搜索的方法来寻找为什么要进行梯度搜索？梯度搜索法的基本思想（1）用梯度来指明的最小值所在的方向梯度搜索法梯度搜索法的基本思想（2）以单权为例，

单权时，

其中：过程：从

开始，测该点的梯度（斜率），选一个的新值，使它等于

加上一个正

比于斜率的增量，得到

，测

处的斜率

一直到梯度为零处，过程停止。

使用的是负梯度-------“下山”(downhill)法GradientSearch一个简单的梯度搜索法将上述思想用数学方式表达出来

：

常数，控制收敛速度和稳定性在搜索的每一步上，wk的取值？

等比级数采用归纳法等比级数求和

算法的性能分析—稳定性为使

收敛于

i）是正值，否则会使搜索方向发生变化-不收敛ii）有上限取值，输入信号能量越大，

可得：

稳定性在算法收敛的前提下，r取值的大小决定了收敛速度

算法的性能分析—收敛速度不稳定收敛速度!!

希望0<r<1越小越好，r=0最好??能否做到，是否真的最好学习曲线（learningcurve）定义：

随k

的变化曲线

自适应过程是一个学习过程，用学习曲线描述学习“效果”用表示学习曲线的公比说明什么问题？从物理上讲，任何时刻的均不会小于其最小值

不同迭代次数及之间的连线没有物理意义，仅指明了叠代过程中均方误差的减小过程。！！学习曲线不会出现振荡现象（欠阻尼）牛顿法（Newton’smethod）：数学意义重要最速下降法（MethodofsteepestDescent）：实际应用广泛

两种梯度搜索法牛顿法定义：

在梯度搜索法中，当r=0时，即时的方法

特点：学习过程处于临界阻尼状态称作牛顿法。对于二次型性能表面而言，该方法一步迭代就能收敛。基本思想（单权情况为例）与数学中求解方程根的牛顿有对应关系。

求函数的零点!!

如果知道

点的函数值和梯度值，就可以得出

当用来搜索性能表面时，希望

（梯度）

则有

令梯度的搜索实际中必须估计和对于二次型函数，若已知，则二次型函数的特殊之处一步搜索到最佳值前提条件：

精确已知是二次型1）

2）

定义：在多维二次型性能表面上，一步搜索到达最佳解的方法称作多维牛顿法。

一维

→

多维

左边乘，得到多维空间的牛顿法当为二次型时：所以：

可以看出：即使对于多维情况，牛顿法仍可一步搜索出由于的存在权值搜索不是在椭圆的中心，即的方向进行的，而是指向牛顿法的搜索方向梯度搜索法：牛顿法：有时并不希望一步调整到

上，此时用代替1/2目的：调整收敛速度。归纳可知：算法推广非二次型性能表面举例与牛顿法不同，有量纲，为功率的倒数。

定义：在负梯度方向上调整权向的自适应方法。

直接用多维形式最速下降法权值搜索过程的比较—牛顿法第n个分量：

各个分量各自调整，相互之间没有影响权值调整是去耦的牛顿法：第

n个分量：

权值搜索过程的比较—最速下降法最速下降法：耦合的权值调整方式变换坐标系，简化问题平移坐标系：最速下降法—去耦分析主轴坐标系：第

n个分量：权值调整时，个分量之间没有耦合存在。性能分析起来更方便，更简单。主轴坐标系中由归纳推理：收敛条件：

即：稳定性分析每一个分量都有一个需要满足的步长要求。选择其中为苛刻的条件：即可使所有分量都收敛。最速下降法搜索过程主轴方向上有不同但各自恒定的公