计算智能人工神经网络

1、会计学1计算智能人工神经网络计算智能人工神经网络第1页/共60页第2页/共60页第3页/共60页第4页/共60页第5页/共60页第6页/共60页第7页/共60页第8页/共60页第9页/共60页CNNCPRCIANNAPRAIBNNBPRBI人类知识人类知识(+)传感输入传感输入知识知识(+)传感数据传感数据计算计算(+)传感器传感器B生物的生物的A符号的符号的C数值的数值的复复杂杂性性复杂性复杂性输入输入层次层次 贝慈德克的智能的贝慈德克的智能的3个层次个层次第10页/共60页第11页/共60页第12页/共60页第13页/共60页第14页/共60页第15页/共60页第16页/共60页x1xnx

2、iF( )yi=f(uj) =f（wixi-）ujw1wnwi激励函数(或传播函数)第17页/共60页1-1a 阶跃函数1-1b 斜坡函数f(x)= 1 x1 kx -1 x 1 -1 x-1f(x)= 1 x0 -1 x 0第18页/共60页1-1Sigmoid函数f(x) = 1 / ( 1+exp(-x) )第19页/共60页输入层隐层1x1xny1yn隐层2输出层Hj = f( (wijxi) -j)hj = f( (wijhi) -j)第20页/共60页第21页/共60页第22页/共60页第23页/共60页输入部分输出层x1xny1ymwij可解决的问题 两类线性可分模式的分类问题不

3、能解决的问题复杂的模式分类问题第24页/共60页 使用感知机的主要目的是为了对外部输入进行分类。罗森勃拉特已经证明，使用感知机的主要目的是为了对外部输入进行分类。罗森勃拉特已经证明，如果外部输入是线性可分的（指存在一个如果外部输入是线性可分的（指存在一个超平面超平面可以将它们分开），则单层感可以将它们分开），则单层感知器一定能够把它划分为两类。其判别超平面由如下判别式确定：知器一定能够把它划分为两类。其判别超平面由如下判别式确定： 作为例子，下面讨论用单个感知器实现逻辑运算的问题。事实上，单层感知作为例子，下面讨论用单个感知器实现逻辑运算的问题。事实上，单层感知器可以很好地实现器可以很好地实现

4、“与与”、“或或”、“非非”运算，但却不能解决运算，但却不能解决“异或异或”问题问题。 m,.,2 , 1j0 xn1ijiijw第25页/共60页输入部分输出层x1x2yw2w1第26页/共60页例例1 “与与”运算（运算（x1x2）(0,0)(1,1)(0,1)(1,0)与运算问题图示与运算问题图示输入输入输出输出超平面超平面阈值条件阈值条件x1x2x1x2w1*x1+ w2* x2-=0 000w1*0+ w2*0 -0 0 010w1*0+ w2*1 -0 w2 100w1*1+ w2*0 -0 w1 111w1*1+ w2*1-0 w1+ w2 可以证明此表有解，例如取可以证明此表有

5、解，例如取w1=1，w2=1，=1.5，其分类结果如右图所示。，其分类结果如右图所示。 其中，输出为其中，输出为1的用实心圆，输出为的用实心圆，输出为0的的用空心圆。后面约定相同。用空心圆。后面约定相同。第27页/共60页例例2 “或或”运算（运算（x1x2）输入输入输出输出超平面超平面阈值条件阈值条件x1x2x1x2w1*x1+ w2* x2-=0 000w1*0+ w2*0 -0 0 011w1*0+ w2*1 -0 w2 101w1*1+ w2*0 -0 w1 111w1*1+ w2*1-0 w1+ w2 此表也有解，例如取此表也有解，例如取w1=1，w2=1，=0.5，其分类结果如右图

6、所示。，其分类结果如右图所示。(0,1)(0,0)(1,0)与运算问题图示与运算问题图示(1,1)第28页/共60页例例3 “非非”运算（运算（x1）输入输入输出输出超平面超平面阈值条件阈值条件x1x1w1*x1-=0 01w1*0 - 0 0 10w1*1 w1 此表也有解，例如取此表也有解，例如取w1=-1，=-0.5，其分类结果如右图所示。，其分类结果如右图所示。 非运算问题图示非运算问题图示01第29页/共60页例例4 “异或异或”运算（运算（x1 XOR x2）输入输入输出输出超平面超平面阈值条件阈值条件x1x2X1 XOR x2w1*x1+ w2* x2-=0 000w1*0+ w

7、2*0 -0 0 011w1*0+ w2*1 -0 w2 101w1*1+ w2*0 -0 w1 110w1*1+ w2*1-w1+ w2 此表无解，即无法找到满足条件的此表无解，即无法找到满足条件的w1、w2和和，如右图所示。因为异或，如右图所示。因为异或问题是一个非线性可分问题，需要用问题是一个非线性可分问题，需要用多层感知器来解决。多层感知器来解决。(0,1)(0,0)(1,0) 异或运算问题图示异或运算问题图示(1,1)第30页/共60页A2 (1,1)A1 (0,0)B1 (1,0)B2 (0,1)无法用一条直线把节点正确分开-非线性问题第31页/共60页A2 (1,1)A1 (0,

8、0)B1 (1,0)B2 (0,1)可以用二条直线把节点正确分开-多层网络第32页/共60页第33页/共60页输入层隐层1x1xny1yn隐层2输出层Hj = f( (wijxi) -j)hj = f( (wijhi) -j)第34页/共60页x11y=x1 XOR x2x1X2x121-1111-1输入层隐层输出层权值权值图5.14 “异或”问题的多层感知器阈值0.5阈值-1.5阈值1.5(0,1)(0,0)(1,0)图5.15异或问题的解决(1,1) 隐层神经元隐层神经元x11所确所确定的直线方程为定的直线方程为 它可以识别一个半它可以识别一个半平面。隐层神经元平面。隐层神经元x12所所确

9、定的直线方程为确定的直线方程为它也可以识别一个半平它也可以识别一个半平面。面。05 . 01121xx05 . 11121xx输出层神经元所确定的直线方程为输出层神经元所确定的直线方程为 它相当于对隐层神经元它相当于对隐层神经元x11和和x12的输出的输出作作“逻辑与逻辑与”运算，因此可识别由隐层运算，因此可识别由隐层已识别的两个半平面的交集所构成的一已识别的两个半平面的交集所构成的一个凸多边形，如图所示。个凸多边形，如图所示。 05 .1111211xxy=x1 XOR x2 = (x1Vx2) AND (-x1V-x2)第35页/共60页输出层: i=yi(1-yi)(di-yi)中间层:

10、i=xi(1-xi)kwik第36页/共60页第37页/共60页第38页/共60页第39页/共60页第40页/共60页第41页/共60页第42页/共60页第43页/共60页第44页/共60页节点间的权值：wij 每个节点的状态：si si = 1 如果 WS(t) + I 0 0 其他情况wij第45页/共60页第46页/共60页ijiiijjj第47页/共60页第48页/共60页第49页/共60页第50页/共60页xi第51页/共60页第52页/共60页第53页/共60页CNNCPRCIANNAPRAIBNNBPRBI人类知识人类知识(+)传感输入传感输入知识知识(+)传感数据传感数据计算计算(+)传感器传感器B生物的生物的A符号的符号的C数值的数值的复复杂杂性性复杂性复杂性输入输入层次层次 贝慈德克的智能的贝慈德克的智能的3个层次个层次第54页/共60页例例2 “或或”运算（运算（x1x2）输入输入输出输出超平面超平面阈值条件阈值条件x1x2x1x2w1*x1+ w2* x2-=0 000w1*0+ w2*0 -0 0 011w1*0+ w2*1 -0 w2 101w1*1+ w2*0 -0 w1 1