神经网络-第三章

1、神经网络-第三章3. 自适应线性元件由Widrow和Hoff提出，主要用于线性逼近一个函数式，因而能用于模式联想、信号处理滤波、预测、模型识别和控制等。线性激活函数,可以输出任意值比感知器具有更快的收敛速度和精度W-H学习规则(LMS)3.1 自适应线形神经元模型和结构网络结构网络结构 Adaline：一个自适应线性神经元模型：一个自适应线性神经元模型 .1p2prpnba1w2wrw13.1 自适应线形神经元模型和结构 Madline：两个以上自适应神经元组成的单层网络：两个以上自适应神经元组成的单层网络 1p2prp11wsrw1b2bsb1a2asa1n2nsn.1113.1 自适应线形

2、神经元模型和结构 主要特点：主要特点： 神经元的激活函数为线性函数：ai=f(ni)=ni 注意：注意： 多层线性网络与单层线性网络的映射能力相同 MALAB构造函数构造函数: newlin() newlind()3.2 W-H学习规则 W-H学习规则学习规则(规则规则, LMS算法算法)： 由由Widrow和和Hoff提出的修正权矢量的学习规则。提出的修正权矢量的学习规则。误差函数误差函数: E(W,B)=1/2SUMT-A2=1/2SUMT-WP-B2考虑多组输入输出对考虑多组输入输出对qkqkkaktqkeqmse1122)()(1)(13.2 W-H学习规则修正值修正值:复习复习: 梯

3、度下降法梯度下降法(最速下降法最速下降法)MATLAB工具函数工具函数: maxlinlr() learnwh() purelin()jiiijijpatwEwjiijpwiib或网络的训练过程：网络的训练过程：初始化：输入矢量样本和其期望的目标输出，学初始化：输入矢量样本和其期望的目标输出，学习率和目标（期望）误差，参数如权值和偏差的习率和目标（期望）误差，参数如权值和偏差的初始化，最大循环迭代次数；初始化，最大循环迭代次数；表达式：计算网络的输出矢量；表达式：计算网络的输出矢量；检查或比较：进行循环计算，不断比较网络的输检查或比较：进行循环计算，不断比较网络的输出误差的平方和与期望误差相比

4、较；若小于期望出误差的平方和与期望误差相比较；若小于期望误差或达到最大迭代次数，训练结束；否则进入误差或达到最大迭代次数，训练结束；否则进入下一步。下一步。学习：参数调整，学习：参数调整， 3.3 网络训练3.4 例题与分析 例例3.2 模式联想：设输入和目标输出为模式联想：设输入和目标输出为 共共16个线性方程，有准确解。但利用其他方个线性方程，有准确解。但利用其他方法麻烦。法麻烦。 实际中，只需要找到一定精度的近似解。实际中，只需要找到一定精度的近似解。 结论：利用自适应网络在一定精度下快速逼结论：利用自适应网络在一定精度下快速逼近线性映射。近线性映射。9 . 06 . 1125 . 03

5、213 . 02 . 15 . 11P6 . 00 . 11 . 014 . 08 . 12 . 034 . 07 . 12 . 11 . 14 . 12 . 235 . 0T， 3.4 例题与分析 例例3.3 设计训练一个线性网络实现下列输入设计训练一个线性网络实现下列输入到输出的变换：到输出的变换： P=1 2 3;4 5 6, T=0.5 1 -1。 演示线性相关出现的情况。本例中系数矩阵演示线性相关出现的情况。本例中系数矩阵为奇异的。为奇异的。 newlind.m对奇异矩阵效果一般；对非线性对奇异矩阵效果一般；对非线性问题，给出最小均方解，但效果不太理想。问题，给出最小均方解，但效果不

6、太理想。 本例中利用本例中利用newlin.m计算，误差较计算，误差较newlind.m小。小。 3.4 例题与分析 例例3.4 在例在例3.1的输入的输入/输出中增加两组元素，输出中增加两组元素，为为 P=10 1.5 3.0 -1.2, T=0.5 1.1 3.0 -1.0。 本例检验自适应网络的线性逼近能力。本例检验自适应网络的线性逼近能力。 方程数大于未知数个数，无准确解。方程数大于未知数个数，无准确解。 结论：本例用自适应线性网络解决不太适结论：本例用自适应线性网络解决不太适合。合。 例例3.5 查看学习率与训练收敛及收敛速度的查看学习率与训练收敛及收敛速度的关系关系 3.5 对比与

7、分析 l感知器与自适应网络的对比：网络模型结构： 激活函数不同，取值范围不同。学习算法 算法不同，完成功能有差异。适用性与局限性 感知器可完成线性可分问题。是否线性可分，事先不知道。 自适应网络除线性分类外，可进行线性逼近。对一些问题训练速度太慢。 3.6 单步延迟线及其自适应滤波的实现 自适应滤波是字适应网络的主要应用领域之一，常用于数字信号处理领域中。 .DDDP1Pd2Pd3PdNPddelay-1单步延迟线3.6 单步延迟线及其自适应滤波的实现 网络结构1b2bsb1n2nsn.111.DDD)(kP) 1( kP)2( kP) 1( NkP)(1ka)(2ka)(kas3.6 单步延

8、迟线及其自适应滤波的实现 自适应线性滤波器的网络输入/输出关系： bikPwbkPdwbPdWkaNiiNiiii1, 11, 1) 1()(*)(其中，,2,1 QPPPP初始输入2,1,0NPPP 132 1 1 02 1 NQPNPNPQPPPQPPPPd3.6 单步延迟线及其自适应滤波的实现 两种设计方式：两种设计方式： 1) 通过输入P来设计Pd，再按无时延方式来设计网络； 2)首先确定自适应网络newlin.m函数中的延时参数N，然后给定时延量的赋值： net=newlin(minmax(P),S); net.inputWeights1,1.delays=0,1,2,N-1;3.6

9、 单步延迟线及其自适应滤波的实现 例3.6 假定一个输入按输入顺序排列，其数值分别为3，4，5和6。该输入量自身产生两次延时，其延时量的初始输入值分别为1和2。用一个自适应线性网络对其滤波所获得的权矩阵为7 8 9。试计算在给定的输入值下该网络的输出值。 3.7 自适应线性网络的应用 1.线性化建模 参数辨识：系统的模型完全有几个参数决定，根据数据来求解系统内的各个参数。 系统建模：通过实验所测得的输入/输出数据求解系统的最佳匹配模型。 实际物理系统的输入/输出关系式： 线性化建模就是将上述关系利用线性关系近似代替)(,),1(),()(kxnkxnkxfky)() 1()()(01kxank

10、xankxakynn3.7 自适应线性网络的应用 神经网络系统建模设计原理图被 测 系 统)(kx)(kx)(ky)(ke)(ka) 1( kx)(nkxANN1z1z.+-3.7 自适应线性网络的应用2.预测 已知以前时刻的值已知以前时刻的值 预测当前值预测当前值 预测模型：预测模型： 线性预测模型：线性预测模型： )(,),2(),1(nkxkxkx)(kx)(,),2(),1()()(nkxkxkxfkxka)()2() 1()(21nkxakxakxakxn3.7 自适应线性网络的应用 神经网络预测模型原理图 )(kx)(ky)(ke)(ka) 1( kx)(nkxANN1z1z.+-3.7 自适应线性网络的应用3.消除噪声 设有效信号为c(k)，噪声信号为v(k)，混合信号m(k), 引擎噪声n(k)，误差e(k) m(k)=v(k)+c(k)