人工神经网络第二部分课件

1、人工神经网络 在钢铁工业中的应用东北大学信息学院人工智能所 郝培锋 人工神经网络简单例程BP神经网络及结构BP神经网络的学习算法一个简单的BP神经网络例程一个简单的识别用神经网络简单的线性网络模型简单线性网络模型的学习线性阈值网络及其学习重要的神经网络BP神经网络 一、简单的分类例题 其中a, b是输入单元，c, d是隐单元，e是输出单元。单元的激活值规定取1或0，每个单元的输出函数都取为等价函数，即a=o。单元的net值是所有输入的加权和：net=wo 。单元的激活函数采用阈值函数，阈值为0.01。即当单元的net值大于0.01时该单元的激活值取1，否则取0。dbcae+1+1+1+1-1-

2、1 输入 输出 阈值 ( 0 0 ) 0 =0.01 ( 0 1 ) 1 ( 1 0 ) 1 ( 1 1 ) 0=0.01 =0.01 =0.01 简单的分类计算 1. 输入为(0, 0)时，oa=ob=0 netc = oawca + obwcb = 01+ 0(-1)= 0 netd = oawda + obwdb = 0(-1)+ 01= 0 因为 netc0.01，netc 0.01，所以 ac=0，ad=0 得到oc=0, od=0。所以 nete = ocwec + odwed = 01 + 01 = 0 因为 nete0.01 所以 oe=ae=0 即当输入为(0, 0)时，网络

3、的输出为0。dbcae+1+1+1+1-1-1=0.01 =0.01 =0.01 简单的分类计算 2. 网络输入为(0, 1)时，oa=0, ob=1 netc = oawca + obwcb = 01+1(-1)= -1 netd = oawda + obwdb = 0(-1)+ 11= 1 因为 netc 0.01 所以 oc= ac= 0, od= ad= 1。得 nete = ocwec + odwed = 01 + 11 = 10.01 oe=ae=1 即当输入为(0, 1)时，网络的输出为1。dbcae+1+1+1+1-1-1=0.01 =0.01 =0.01 二、简单的线性模型

4、模型结构： 1. 只有输入、输出单元； 2. 输出函数是等值函数； 3. 输入层与输出层全连接； 4. 单元的新激活值为neti； 5. 两层网络可代替多层网络；jbcaiWij 6. 输入模式(学习样本)为正交集合时，学习规则采用hebb规则： wij =aj ti 如果输入模式非正交集合，但是线性无关时，使用Delt学习规则进行学习： wij =(tiai) aj线性模型学习例程1 正交输入模式集 目标输出 P1: 1 0 0 0 1 P2: 0 1 0 02 P3: 0 0 1 0 1 P4: 0 0 0 1 4dbcaeW3W2W1W4 网络学习规则采用hebb规则：wij =aj t

5、i 初始权重：W1 = W2 = W3 = W4 = 0学 习 率： = 0.5 判断网络学习的准确程度，利用目标值与实际输出误差指标函数：E = Sqrt(tie-aie)2) 第二次学习 先学习模式对(P1，t1e)，得 w1=-0.5，w2=w3=w4=0 相似的过程学习其它模式对得： w1=w3=w4=0，w2=1 w1=w2=w4=0，w3=0.5 w1=w2=w3=0，w4=2dbcaeW3W2W1W4 因此，w1=-1，w2=2，w3=1，w4=4 新权重下网络输出：a1e=-1, a2e=2, a3e=1, a4e=4 目标值与网络输出误差：E=Sqrt(tie-aie)2)=

6、0 结论：1. 训练后网络完成了模式对间的影射； 2. 定义的指标函数值为0，说明训练过程收敛； 3. 本次学习对样本有特殊要求(正交样本集合)。线性模型学习例程2 非正交输入模式集 目标输出 P1: 1 0 1 0 2 P2: 1 0 0 1 5 P3: 0 1 1 1 5 P4: 1 1 1 0 2dbcaeW3W2W1W4 网络学习规则采用hebb规则：wij =aj ti 随机置初始权重：W1 = W2 = W3 = W4 = 0置一个较小的学习率： = 0.5 判断网络学习的准确程度，利用目标值与实际输出误差指标函数：E = Sqrt(tie-aie)2) 第一次学习 首先计算学习之

7、前的网络误差： e=Sqrt(tie-aie)2)=7.62 开始学习模式对(P1，t1e)。 w1=aa t1e =0.51(-2) =-1 w2=ab t1e =0.50(-2) =0 w3=1，w4=0dbcaeW3W2W1W4 继续学习其它模式对，得第一次总的权重改变量 w1=-2.5, w2=3.5 w3=-0.5, w4=5 新权重 w1=-2.5, w2=3.5, w3=-0.5, w4=5 新权重下网络输出：a1e=-2, a2e=7.5, a3e=-9, a4e=-0.5 目标值与网络输出误差：e=Sqrt(tie-aie)2)=4.95 初始权为0, 则 a1e=a2e=a

8、3e=a4e=0 计算学习之前的网络误差： e=Sqrt(tie-aie)2)=7.62 开始学习模式对(P1，t1e)。 w1=(t1ea1e)aa =0.5(-2-0) 1 =-1dbcaeW3W2W1W4 w2=(t1ea1e)ab=0.5(-2-0)0=0 同样的计算得： w3= 1，w4=0 所以对第一个 模式对训练后新权重 w1=-1, w2=0, w3=1, w4=0 对第二个模式对(P2，t2e)进行训练时, 网络的 实际输出ae已经变化 a2e= a2i wi = 1使用Delt算法进行网络训练 所以 w1=(t2ea2e)aa = 0.5(5-1)1 = -2 w2=(t2

9、ea2e)ab = 0.5(5-1)0 = 0 w2 = 0, w2 = 2 对(P2，t2e)训练后新权重 w1=-3, w2=0, w3=1, w4=2dbcaeW3W2W1W4 同样的过程对模式对(P3，t3e)进行训练得权重为 w1=-3, w2=2, w3=-1, w4=4 对(P4, t4e)进行训练得权重w1=-1, w2=4, w3=1, w4=4 新权重下Pi实际输出 a1e=-2, w2e=5, w3e=-7, w4e=-4 得四个样本第一次学习误差 Sqrt(tie-aie)2)=2.83 注：附训练参考程序nnet1.mbda+1+1 设d、c阈值：=1.5, =0.5 对于输入模式(0,0) 计算 netd=aa Wda+ab Wdb=01.5 所以