人工神经网络第三0部分线性自适应

4线性神经网络LinearNeuralNetwork

自适应线性神经元ADALINE（ADAptiveLInearNEuron）是在1960年由斯坦福大学教授B.Widrow和M.Hoff提出的，它是线性神经网络最早的典型代表，其学习算法称之为LMS（LeastMeanSquare--最小均方误差）算法或WH学习规则。单层ADALINE网络和感知器网络一样，只能解决线性可分的问题，但其LMS学习规则却比感知器的学习规则的性能要强得多，一是增加了网络的抗噪能力,二是比感知器学习算法具有更广泛的实际用途，特别是在数字信号处理方面，比如，实现高性能的自适应滤波器。

但LMS算法只适于单层网络的训练，当需要进行多层网络的设计时，需要寻找新的学习算法，如BP算法。线性神经网络模型线性神经元模型线性神经网络模型线性神经网络层的输出为：线性神经网络层的输出可以取任意值，克服了感知器神经网络的输出只能取0或1的不足。另外，一般感知器神经网络是单层的，而线性神经元网络可以是多层的。但线性网络和感知器神经网络一样只能求解线性问题。

ADALINEADALINE是一个自适应可调的网络，适用于信号处理中的自适应滤波、预测和模型识别。自适应线性神经元模型如图所示，它有两个输出量，a是模拟输出量，q是数字输出量；实际应用时，往往还将目标响应t与模拟输出量a的误差e=t-a作为输出。线性神经网络的学习线性神经网络可以不经过训练直接求出网络的权值和阈值，如果网络有多个零误差解，则取最小的一组权值和阈值；如果网络不存在零误差解，则取网络的误差平方和最小的一组权值和阈值。因为线性系统有惟一的误差最小值，在这种情况下，根据给定的一组输入向量和目标向量，可以计算出实际输出向量和目标向量的误差最小值。另外,如果求解的问题不能直接求出网络权值和阈值，线性神经网络及自适应线性神经网络可采用使均方误差最小的学习规则，即LMS（LeastMeanSquares）算法，或称之为WH（Widrow-Hoff）学习规则来调整网络的权值和阈值，它是一种沿误差的最陡下降方向对前一步权值向量进行修正的。对于Q个训练样本：

Widrow-Hoff学习规则的基本思想是要寻找最佳的W、b，使各神经元输出的均方误差最小。神经元的均方误差为：

线性神经网络的学习Q—训练样本数；a—神经元输出的实际值；t—神经元输出的期望（目标）值。为了寻找最佳的W，b使每个神经元输出的均方误差最小，以x代表W或b，求mse对x的偏导：令其等于0，则可以求出mse的极值点，当然，极值点可以是极大值，也可以是极小值，但mse只能是正值，即mse-xj

曲面一定是凹向上的，所以极值点必为极小值。

线性神经网络的学习但按上式计算很麻烦，尤其当输入向量的维数R很高时，所以，通常采用搜索优化法，即假设获得第k次训练得到的权值或阈值，然后找出mse-x曲面上在该点的最陡下降方向，再沿此方向对权值进行修正。对于单个线性神经元：

线性神经网络的学习为避免求均方误差梯度的麻烦，以误差平方的梯度代替均方误差的梯度，则：所谓最陡梯度下降就是梯度的反方向，则

：

线性神经网络的学习式中，

是决定权值和阈值的收敛速度和稳定性参数，称之为学习速率，学习率越大，学习的速度越快，但过大的学习率会使修正过度，造成不稳定，反而使误差更大。

推广到多个线性神经元的情况，可写成向量形式：线性神经网络的LMS学习规则，是建立在均方误差(函数)最小化的基础上的，其学习过程表现为误差曲面上的梯度下降。同时，由于误差相对于权值(维数)构成的抛物面只有一个极小值点，因此LMS算法可