第4章(1神经网络)

第4章

计算智能的仿生技术

（1）

神经计算

第4章计算智能的仿生技术4．1神经计算4．2模糊计算4．3遗传算法4．4人工生命4.1神经计算4.1.1人工神经网络

4.1.2反向传播模型BP4.1.3反向传播模型实例分析4.1.4神经网络专家系统4.1.1.1神经网络原理人工神经网络（ANN）是模拟人脑神经元活动的过程，其中包括对信息的加工、处理、存储、搜索等过程。ANN不能对人脑进行逼真描述，但它是人脑的某种抽象、简化和模拟。人脑神经元的形状为：神经元组成；树突：神经纤维较短，是接收信息的。细胞体：对接收到的信息进行处理。轴突：较长的神经纤维，是发出信息的。突触：一个神经元的轴突末端与另一个神经元的树突之间密切接触。神经元具有如下性质：（1）多输入单输出；（2）突触具有加权的效果；（3）信息进行传递；（4）信息加工是非线性。神经元的数学模型图：

其中：V1、V2、…Vn为输入；Ｕi为该神经元的输出；Ｔij为外面神经元与该神经元连接强度（即权），

为阈值，f(X)为该神经元的作用函数。每个神经元的状态Si（i＝1,2,…n）只取0或1，分别代表抑制与兴奋。每个神经元的状态，由M-P方程决定：

其中：Wij是神经元之间的连接强度，Wij（i≠j）是可调实数，由学习过程来调整。

i是阈值，f(x)是阶梯函数。

MP（MccullochPitts）模型[0,1]阶梯函数

(0,1)S型函数：神经网络的学习，主要是指通过一定的学习算法或规则实现对突触结合强度(权值)的调整。ANN学习规则主要有四种，即联想式学习、误差传播学习、概率式学习和竞争式学习。(1)联想学习：联想学习是模拟人脑的联想功能，典型联想学习规则是由心理学家Hebb于1949年提出的学习行为的突触联系，称为Hebb学习规则。

神经网络的学习Hebb规则若i与j两种神经元之间同时处于兴奋状态，则它们间的连接应加强，即：△Wij＝

SiSj(

＞0) 这一规则与“条件反射”学说一致，并得到神经细胞学说的证实。

设α＝1，当Si＝Sj＝1时，△Wij＝1，在Si，Sj中有一个为0时，△Wij＝0。

(2)误差传播学习：以1986年Rumelhart等人提出的δ规则(BP算法)为典型

δ规则中，误差由输出层逐层反向传至输入层，由误差修改网络权值，直至得到网络权值适应学习样本。4.1.1.2神经网络的几何意义1．神经元与超平面由n个神经元（j=1,2,…,n）对连接于神经元i的信息总输入Ii为：

其中Wij为神经元j到神经元i的连接权值，

i为神经元的阈值。神经元xj(j=1,2,…,n)相当于n维空间（x1,x2,…,xn）中一个结点的n维坐标（为了便于讨论，省略i下标记）。令：

它代表了n维空间中，以坐标xj为变量的一个超平面。其中wj为坐标的系数，

为常数项。当n=2时，“超平面”为平面（x1,x2）上的一条直线：当n=3时，“超平面”为空间（x1,x2,x3）上的一个平面：从几何角度看，一个神经元代表一个超平面。2.超平面的作用

n维空间（x1,x2,…,xn）上的超平面I=0，将空间划分为三部分。（1）平面本身超平面上的任意结点满足于超平面方程，即：

（2）超平面上部P超平面上部P的任意结点满足于不等式，即

（3）超平面下部Q超平面下部Q的任意结点满足于不等式，即

3.作用函数的几何意义神经网络中使用的阶梯型作用函数f（x）把n维空间中超平面的作用和神经网络作用函数结合起来，即

它的含义为：超平面上部P的任意结点经过作用函数后转换成数值1。超平面上任意结点和超平面下部Q上的任意结点经过作用函数后转换成数值0。4．神经元的几何意义通过以上分析可知，一个神经元将其它神经元对它的信息总输入I，作用以后（通过作用函数）的输出，相当于:该神经元所代表的超平面将n维空间（n个输入神经元构成的空间）中:

超平面上部结点P转换成1类，超平面及其下部结点转换成0类。结论：神经元起了一个分类作用。5．线性样本与非线性样本定义：对空间中的一组两类样本，当能找出一个超平面将两者分开，称该样本是线性样本。若不能找到一个超平面将两者分开，则称该样本是非线性样本。4.1.1.3多层神经网络的分类1．多个平面的分割将非线性样本变换成线性样本利用超平面分割空间原理，对一个非线性样本它是不能用一个超平面分割开。用多个超平面分割空间成若干区，使每个区中只含同类样本的结点。这种分割完成了一种变换，使原非线性样本变换成二进制值下的新线性样本。一个神经元相当于空间中一个超平面。一个超平面将空间划分为上下两部分，通过作用函数将空间两部分的所有结点（含超平面上结点），分别变换为取二进制值（0或1）的两个点。三个神经元相当于空间中三个超平面将空间划分成八区（见图4.3），P1面上部为1，下部为0；P2面右部为1，左部为0；P3面前部为1，后部为0。，同一个区的所有结点变换成同一个三位二进制（0或1）的点。空间八区的值为：000,001,010,011,100,101,110,111。011001P1P2P3

2．多层神经网络的变换作用BP神经网络模型实质上就是通过至少两层超平面分割（即隐结点层和输出结点层）来完成样本分类的。BP神经网络超平面的找出是反复通过神经网络修改权值的迭代:

最后求出隐结点层神经网络超平面的权值和阈值以及输出结点神经网络超平面的权值和阈值。4.1.1.4感知机模型(Perceptron)

神经元i的输入为

Ｉi＝∑ＷijＳj

Ｓj为j神经元的输出，Ｗij为神经元j到神经元i的连接权重。神经元i的输出为：Ｏi＝ｆ（Ｉi）其中ｆ（ｘ）为神经元作用函数。（一般采用[0,1]阶梯函数）设i神经元的期望输出为Ｄi，它与计算输出Ｏi之差为：δｉ＝Ｄi－Ｏi通过样本学习，应该让权重Ｗij使δi尽可能小。利用著名的德尔塔规则（deltarule）计算：△Ｗij＝αδiＳj（α为常数）δ规则:Ｗij(t+1)＝Ｗij(t)＋△Ｗij更新权重Ｗij。实例:两值逻辑加法输入X1X2输出ｄ（期望）００００１１１０１１１１

该例子的感知机计算公式：┌Ｗ1┐(k+1)┌Ｗ1┐(k)┌ｘ1┐││＝││＋ｃ（ｄ－ｙ）││└Ｗ2┘└Ｗ2┘└ｘ2┘

初值：┌Ｗ1┐┌０┐ｃ＝１└Ｗ2┘└０┘其中ｄ为期望输出，ｙ为计算输出。定义：对空间中的一组两类样本，当能找出一个超平面将两者分开，称该样本是线性可分样本。

yx1x2w1w2(0,1)(1,1)(1,0)(0,0)计算过程：Ｋ＝１：ｙ＝ｆ（０＋０）＝０

┌Ｗ1┐(1)┌Ｗ1┐(0)┌０┐┌０┐┌０┐┌０┐││＝││＋（０－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└０┘└０┘└０┘└０┘Ｋ＝２，ｙ＝ｆ（０＋０）＝０

┌Ｗ1┐(2)┌Ｗ1┐(1)┌０┐┌０┐┌０┐┌０┐││＝││＋（１－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└０┘└１┘└１┘Ｋ＝３，ｙ＝ｆ（０＋０）＝０

┌Ｗ1┐(3)┌Ｗ1┐(2)┌１┐┌０┐┌１┐┌１┐││＝││＋（１－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└０┘└１┘└０┘└１┘

Ｋ＝４，ｙ＝ｆ（１＋１）＝ｆ（２）＝１

┌Ｗ1┐(4)┌Ｗ1┐(3)┌１┐┌１┐┌０┐┌１┐││＝││＋（１－１）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└１┘└０┘└１┘再循环一次，将会得到所有例子的（ｄ－ｙ）值均为零，即权值（Ｗ1＝１，Ｗ2＝１）满足所有实例要求。对ＸＯＲ异或问题：输入ｘ1ｘ2输出ｙ００００１１１０１１１0样本是非线性样本，即找不到一个超平面，将两类样本分开。感知机对ＸＯＲ问题的计算：同二值逻辑样本计算，Ｋ＝１，２，３的计算相同，Ｋ＝４时有：

ｙ＝ｆ（１＋１）＝ｆ（２）＝１┌Ｗ11┐(4)┌Ｗ11┐(3)┌１┐┌１┐┌－１┐┌０┐││＝││＋（０－１）││＝││＋││＝││└Ｗ21┘└Ｗ21┘└１┘└１┘└－１┘└０┘修改后的权值，又回到了初始状态，如果继续计算，将出现无限循环，永远不会收敛。该例充分说明感知机对非线性样本无效。(0,1)(1,1)(1,0)(0,0)神经网络BP模型原理：BP算法的学习过程，由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经过隐层，再传向输出层，每一层的神经元的状态值只影响下一层神经元的状值；如果在输出层不能得到期望的输出值，则转入反向传播，将误差信号沿逆向通路返通过修正各层神经元的权值，使得网络的总误差值收敛到极小。信息的正向传播，误差的反向传播。4．1．2反向传播模型BP

网络开始训练时选用较小的随机给定权值与内部阈值（θ），通过反复利用训练样本调整权值，直到误差函数下降到可以接受的允许值（如0.05）。

BP神经网络对非线性数据分类是十分有效的。BP模型是1985年由Rumelhart等人提出的。1.多层感知机结构神经网络不仅有输入节点、输出节点，而且有一层或多层隐节点,如图：2.作用函数为(0,1)S型函数

3.误差函数BP算法是最小均方差算法（LMS）的一般化，用梯度搜索技术，使均方差函数最小。根据最小二乘法原理，对第p个样本误差计算公式可定义为为：

对于整个网络系统的总均方误差为：E＝1/p∑Ep，其中p为训练样本总数。网络训练的目的是找到一组权值，使E极小化。LMS算法用梯度下降法，即权重的增量正比于误差的负导数：用误差去修正输出层和隐节点的权值，误差反向传播。误差反向传播示意图BP算法计算公式：

1.隐结点的输出：2.输出结点计算输出：其中：其中：3.输出结点的误差公式：其中：令：对输出节点：对隐节点：令：其中：1.对输出结点： 2.权值修正：

3.对隐结点： 4.权值修正：

其中，隐结点误差的含义：表示输出层结点l的误差通过权值向隐结点I反向传播（误差乘权值再累加）成为隐结点的误差。阈值的修正

阈值

也是一个变化值，在修正权值的同时也修正它，原理同权值的修正。公式推理见书。

对输出结点：对隐结点：对算法公式的进一步推导和简化：作用函数存在关系对输出结点：

对隐结点：

BP模型计算公式汇总1.输出结点输出Ol计算公式（1）输入结点的输入xj（2）隐结点的输出：其中：Wij连接权值，结点阈值。(3)输出结点输出：其中：Tij连接权值，结点阈值。输出层（隐结点到输出结点间）的修正公式输出结点的期望输出：tl误差控制：所有样本误差：其中一个样本误差：

其中，p为样本数，n为输出结点数。（3）误差公式： （4）权值修正：

其中k为迭代次数。

（5）阈值修正：

3、隐结点层（输入结点到隐结点间）的修正公式（1）误差公式：（2）权值修正：（3）阈值修正：··

求

l(2)

i(1)Ol=f（－

l）yi=f（－

i）

l(k+1)=

l(k)+

l(2)

j·

修正（Tli，

l），（Wij，

i）修正权

l(2)=Ol(1－Ol)(dl－Ol)Til(k+1)=Til(k)＋

l(2)yi

i(1)=

yi(1－yi)Wij(k+1)=Wij(k)＋

i(1)xj输出节点lTli

隐节点

i修正权Wij输入节点xj

i(k+1)=

i(k)+

i(1)BP网络的学习过程⑴样本的正向传播过程(由输入计算到输出)⑵误差的逆向传播过程(由误差修改权值)⑶记忆训练过程：⑴、⑵的交替过程(反复修改权值)⑷学习的收敛过程：E→min4.1.3反向传播模型实例分析1.异或问题的BP神经网络按问题要求，设置输入结点为两个（x1,x2），输出结点为1个（z），隐结点定为2个（y1，y2）。各结点阈值和网络权值见图说明。2.计算机运行结果迭代次数：16745次；总误差：0.05隐层网络权值和阈值：w11=5.24，w12=5.23，w21=6.68，w22=6.64

1=8.01

2=2.98输出层网络权值和阈值： T1=-10，T2=10，

=4.793.用计算结果分析神经网络的几何意义隐结点代表的直线方程y1：5.24x1+5.23x2-8.01=0即x1+0.998x2-1.529=0 y2：6.68x1+6.64x2-2.98=0即 x1+0.994x2-0.446=0 图、隐结点代表的直线方程直线y1和y2将平面（x1，x2）分为三区：y1线上方区，x1+x2-1.53>0，x1+x2-0.45>0y1,y2线之间区，x1+x2-1.53<0，x1+x2-0.45>0y2线的下方区，x1+x2-1.53<0，x1+x2-0.45<0对样本点：点(0,0)落入y2的下方区，经过隐结点作用函数f(x)（暂取它为阶梯函数），得到输出y1=0,y2=0。点(1,0)和点(0,1)落入y1,y2线之间区，经过隐结点作用函数f(x)，得到输出均为y1=0,y2=1。点(1,1)落入y1线上方区，经过隐结点作用函数f(x)，得到输出为y1=1,y2=1。结论：隐结点将x1,x2平面上四个样本点 (0,0)，(0,1)，(1,0)，(1,1)

变换成三个样本点 (0,0)