智能控制理论及应用 课件 第7章-线性神经网络

主要内容7.1线性神经网络的结构7.2线性神经网络的功能7.3线性神经网络的参数学习算法LMS7.4线性神经网络仿真示例7.1线性神经网络的结构是等值映射函数。此单元的输出就是它的净输入。.第7章7.1线性神经网络的结构…Adaline和Perceptron有什么区别？？？Adaline:线性神经网络BernardWidrow,19597.1线性神经网络的结构第7章7.1线性神经网络的结构激励函数不同7.1线性神经网络的结构第7章7.1线性神经网络的结构若网络中包含多个神经元节点，就能形成多个输出，这种线性神经网络叫做Madaline网络7.2线性神经网络的功能Adaline本质上就是一个线性回归器第7章7.2线性神经网络的功能65辆汽车的样本数据，每个点代表一个样本，横坐标为汽车重量（吨），纵坐标为每升汽油可行驶公里数（公里/升。解决方案：基于给定的数据建立线性神经网络模型假设我们给出第66辆汽车的重量，请你根据上述数据预测它的耗油量?7.2线性神经网络的功能第7章7.2线性神经网络的功能哪组参数是最优的？LMS:最小方差算法（LeastMeanSquare）；1960年，由Widrow和Hoff共同提出；又被称为Widrow-Hoff学习算法或DeltaRule。7.3线性神经网络的参数学习算法第7章7.3线性神经网络的参数学习算法定义评价函数（损失函数）注意:p:训练样本的序号。:第p组样本的目标输出。:第p组样本的网络计算输出。7.3线性神经网络的参数学习算法第7章7.3线性神经网络的参数学习算法评价函数E是关于权值向量w的函数7.3线性神经网络的参数学习算法第7章7.3线性神经网络的参数学习算法以7.2节中的汽车重量-油耗为例，该例中65组样本数据的误差平方和E与的函数关系为7.3线性神经网络的参数学习算法第7章7.3线性神经网络的参数学习算法以7.2节中的汽车重量-油耗为例，该例中65组样本数据的误差平方和E与的函数关系为线性神经网络的学习目标是找到适当的w，使得误差E(w)最小。*梯度下降算法又称为最速下降法其思路为从空间中的某一点开始，沿着负梯度方向（最陡下降方向）不断迭代，直到达到目标函数的最小值。随机选择w0,w1的初始值。更新参数

w0,w1重复步骤2，直到损失函数E接近于零第7章7.3线性神经网络的参数学习算法最佳预测=最小化

E=最优参数

w0,w1梯度定义:梯度通常只指其偏导数的向量。对于三维坐标系:第7章7.3线性神经网络的参数学习算法梯度7.3线性神经网络的参数学习算法第7章7.3线性神经网络的参数学习算法LMS算法的实现步骤7.3线性神经网络的参数学习算法第7章7.3线性神经网络的参数学习算法讨论1:批量学习vs增量学习批量学习:在更新权重之前，累积训练集中所有数据点的梯度贡献。增量学习:在看到每个数据点后立即更新权重。第7章7.3线性神经网络的参数学习算法讨论1:批量学习vs增量学习当训练集数量巨大时，建议使用增量式梯度下降算法Initializew0,w1Update,untilconvergeforp=1:N(numberoftrainingexamples){fori=1:n(numberofinputs)

{wi:=wi-learning_rate*Gradient;}}第7章7.3线性神经网络的参数学习算法讨论2:学习率如果

太小,该算法需要很长时间才能收敛如果

太大,最终可能会在误差曲面上来回跳动，最终发散lr=maxlinlr(P)P:输入向量输入向量组成的协方差矩阵的最大特征值第7章7.3线性神经网络的参数学习算法讨论2:学习率第7章7.3线性神经网络的参数学习算法学习率随着学习次数的增加逐渐下降比保持不变更加合理。在学习的初期，用较大的学习率保证搜索效率，随着迭代次数增加，减少学习率以保证精度。线性下降法指数下降法课堂练习推导损失函数E的梯度。假设我们有以下训练样本，请计算w1和w0的第一次迭代更新后的值。x1d-1.250.8-0.90.3-0.50.2w1

,w0

的初始值为0.1和0.2学习率=0.017.4线性神经网络仿真示例第7章7.4线性神经网络仿真示例%清除操作Clear,

clc,closeall;%样本数据的散点图绘制loadcardata%导入数据，第一列为汽车重量，第二列为每升汽油可行驶的公里数plot(cardata(:,1),cardata(:,2),'.','MarkerSize',14);%绘制样本数据xlabel('carweight/ton');%设置x轴标签ylabel('kmperliter')%设置y轴标签axis([0.62.4211.6])%设置坐标轴的范围

%构建线性神经网络并进行训练cardata=cardata';%数据转置lr=maxlinlr(cardata(1,:),'bias')%根据输入矩阵求解最大学习率net=linearlayer(0,lr);%建立线性神经网络，第一个参数为输入延迟量net=train(net,cardata(1,:),cardata(2,:));%训练网络view(net);%显示网络结构y=net(cardata(1,:));%基于训练好的网络进行预测perf=perform(net,cardata(2,:),y)