计算智能-神经网络

1、4. 4. 人工神经网络一、特点特点可以充分逼近任意复杂的非线性关系；可以充分逼近任意复杂的非线性关系；所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；容错性；采用并行分布处理方法，使得快速进行大量运算成为可能；采用并行分布处理方法，使得快速进行大量运算成为可能；可学习和自适应不知道或不确定的系统；可学习和自适应不知道或不确定的系统；能够同时处理定量、定性知识；能够同时处理定量、定性知识；1)1)可硬件实现。可硬件实现。结构特征：并行式处理分布式存储容错性能力特征：自学习自组织自适应性4.

2、4. 人工神经网络二、基本功能基本功能输输入入样样本本 神神经经网网络络 输输出出样样本本 自自动动提提取取 非非线线性性映映射射规规则则非线性映射功能4. 4. 人工神经网络二、基本功能基本功能 传传 统统 分分 类类 能能 力力 A N N 分分 类类 能能 力力分类与识别功能4. 4. 人工神经网络二、基本功能基本功能优化计算功能4. 4. 人工神经网络 总之，神经网络具有学习和适应、自组织、函数逼近和大规模总之，神经网络具有学习和适应、自组织、函数逼近和大规模并行处理能力并行处理能力 神经网络在模式识别、信号处理、系统辨识和优化等方面广泛神经网络在模式识别、信号处理、系统辨识和优化等方

3、面广泛应用应用4.1 4.1 人工神经网络的结构一、生理神经元的结构与功能生理神经元的结构与功能1.1.生理神经元的结构生理神经元的结构大多数神经元由一个细胞体(cell body或soma)和突(process)两部分组成。突分两类， 即轴突(axon)和树突(dendrite)，。轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它相连接的神经元。树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神经元的生物信号。 轴突和树突共同作用，实现了神经元间的信息传递。轴突的末端与树突进行信号传递的界面称为突触(synapse)，通过突触向其它神经元发送信息。对

4、某些突触的刺激促使神经元触发(fire)。只有神经元所有输入的总效应达到阈值电平，它才能开始工作。无论什么时候达到阈值电平，神经元就产生一个全强度的输出窄脉冲，从细胞体经轴突进入轴突分枝。这时的神经元就称为被触发。越来越明显的证据表明，学习发生在突触附近，而且突触把经过一个神经元轴突的脉冲转化为下一个神经元的兴奋或抑制。 4.1 4.1 人工神经网络的结构二二. .人工神经元人工神经元1.人工神经元的组成人工神经网络(artificial neural nets,ANN)或模拟神经网络是由模拟神经元组成的，可把ANN看成是以处理单元PE(processing element)为节点，用加权有向

5、弧(链)相互连接而成的有向图。其中，处理单元是对生理神经元的模拟，而有向弧则是轴突-突触-树突对的模拟。有向弧的权值表示两处理单元间相互作用的强弱。 来自其它神经元的输入乘以权值，然后相加。把所有总和与阈值电平比较。当总和高于阈值时，其输出为1；否则，输出为0。大的正权对应于强的兴奋，小的负权对应于弱的抑制。在简单的人工神经网模型中，用权和乘法器模拟突触特性，用加法器模拟树突的互联作用，而且与阈值比较来模拟细胞体内电化学作用产生的开关特性。4.1 4.1 人工神经网络的结构2. ANNANN的数学描述的数学描述令来自其它处理单元(神经元)i的信息为Xi，它们与本处理单元的互相作用强度为Wi，i

6、=0,1,，n-1，处理单元的内部阈值为。那么本神经元的输入为xi为第i个元素的输入，wi为第i个元素与本处理单元的互联权重。f称为激发函数(activation function)或作用函数。它决定节点(神经元)的输出。该输出为1或0取决于其输入之和大于或小于内部阈值。 处理单元的输出为 4.1 4.1 人工神经网络的结构激发函数一般具有非线性特性，常用的非线性特性如下图所示，分述于下： 阈值型对于这种模型，神经元没有内部状态，激发函数为一阶跃函数，如图 (a)所示。 分段线性强饱和型 见图 (b)。 Sigmoid型激发函数称为西格莫伊德(Sigmoid)函数，简称S型函数，其输入输出特性

7、常用对数曲线或正切曲线等表示。这类曲线反映了神经元的饱和特性。S型函数是最常用的激发函数，它便于应用梯度技术进行搜索求解。4.1 4.1 人工神经网络的结构三、人工神经网络的基本特性和结构三、人工神经网络的基本特性和结构 1.1.神经网络的基本特性神经网络的基本特性 许多神经元以一定方式连接在一起，即构成神经网络。这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其他神经元连接；存在许多输出连接方法，每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图：对于每一个节电i存在一个状态变量xi;从节点j至节点i，存在一个连接权系统数w

8、ji；对于每个节点i，存在一个阈值i；对于每个节点i，定义一个变换函数f i(xi,wji, i),ij；对于最一般的情况，此函数取f i(wij xj -i)形式。4.14.1人工神经网络的结构2.2.神经网络的结构神经网络的结构递归网络有些神经元的输出被反馈至同层或前层神经元，信号能够从正向或反向流通。又叫反馈网络。典型例子：Hopfield网络、Elmman网络和Jordan网络如图：vi表示接点的状态，xi为节点的输入值，xi为收敛后的输出值，i=1,2,n前馈网络具有递阶分层结构，由一些同层神经元间不存在互连的层次组成。从输入到输出的信号通过单向连接流通；神经元从一层连接至下一层，不

9、存在同层神经元间的连接。如图：实线指明实际信号流通，虚线表示反向传播。典型例子：多层感知器MLP4.14.1人工神经网络的结构2.2.神经网络的结构神经网络的结构注：分层形前向网络具有任意精度的模式映射能力，因而可以用作模式分类、匹配等，而反馈型神经网络则是一个非线性动力学系统，它具有如下两个重要特征： 1系统具有多个稳定状态，从某一初始状态开始运动，系统最终可以到达某一个稳定状态； 2不同的初始连接权值对应的稳定状态也不相同。如果用系统的稳定状态作为记忆，那么由某一初始状态出发向稳态的演化过程，实际上就是一个联想过程，所以反馈型神经网络具有联想记忆的功能。 4.1 4.1 人工神经网络的结构

10、3.3.神经网络的主要学习算法神经网络的主要学习算法 加拿大心理学家Donald Hebb出版了行为的组织一书，指出学习导致突触的联系强度和传递效能的提高，即为“赫布律”。 在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。4.14.1人工神经网络的结构3.3.神经网络的主

11、要学习算法神经网络的主要学习算法有师学习有师学习 能够根据期望的和实际的网络输出(对应于给定输入)之间的差来调整神经元间连接的强度或权。因此，有师学习需要有老师或导师来提供期望或目标输出信号。 典型例子：规则、广义规则或反向传播算法 w0 j - 1 w1 j x1 X wi j j oj xj xn wn j Wj r ( Wj , X ，dj) 学 习 信 号 X 生 成 器 dj )()()()(ttd,t,trjjjXXWW)()()()()()(ttd,t,trt1tjjjjXXWWW4.1 4.1 人工神经网络的结构无师学习无师学习 不需要知道期望输出。在训练过程中，只要向神经网络

12、提供输入模式，神经网络就能够自动适应连接权，以便按相似特征把输入模式分组聚集。 典型例子：Kohonen算法、Carpenter-Grossberg自适应谐振理论。强化学习强化学习是有师学习的特例。它不许要老师给出目标输出，而采用一个评论员来评价与给顶输入相对应的神经网络输出的优度。4.2 4.2 BP网络基本思想B BP P神经网络也称：神经网络也称：后向传播学习的前馈型神经网络（后向传播学习的前馈型神经网络（Back Propagation Back Propagation Feed-forward Neural NetworkFeed-forward Neural Network，BPF

13、NN/BPNNBPFNN/BPNN），是一种，是一种应用最为广泛应用最为广泛的的神经网络神经网络在在BPNNBPNN中，后向传播是一种学习算法，体现为中，后向传播是一种学习算法，体现为BPNNBPNN的训练过程，的训练过程，该过程是该过程是需要教师指导的需要教师指导的；前馈型网络是一种结构，体现为；前馈型网络是一种结构，体现为BPNNBPNN的网络构架的网络构架反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，使得最终输出结果和预期结果的误差最小使得最终输出结果和预期结果的误差最小BPNNBPNN是一种典型的神经网络

14、，被广泛应用于各种分类系统，它包括了训练是一种典型的神经网络，被广泛应用于各种分类系统，它包括了训练和使用两个阶段。由于训练阶段是和使用两个阶段。由于训练阶段是BPNNBPNN能够投入使用的基础和前提，而使能够投入使用的基础和前提，而使用阶段本身是一个非常简单的过程，也就是给出输入，用阶段本身是一个非常简单的过程，也就是给出输入，BPNNBPNN会根据已经训会根据已经训练好的参数进行运算，得到输出结果练好的参数进行运算，得到输出结果 算法流程4.4.网络权值与神经元偏置调整网络权值与神经元偏置调整3.3.方向误差传播方向误差传播2.2.向前传播输入向前传播输入1.1.初始化网络权值初始化网络权

15、值BP网络与误差反向传播算法BP网络结构示意图vBPBP神经元神经元1njjiijjinetwxW X012,.TnXxx xx012,.TjjjjjnWwwww001,jjxw()jjof netv其中其中v数学模型数学模型要求其为可微的，常用S型函数BP算法正向传播阶段 ijk输入层输入层输出层输出层隐藏层隐藏层隐藏层节点的输出：隐藏层节点的输出：输出层节点的输出：输出层节点的输出：10()1,2,.nkkiiizfv xkq 20()1,2,.qjjkkkofw zjm v至此完成了至此完成了n n维空间向量对维空间向量对m m维维空间向量的映射空间向量的映射 BP算法反向传播阶段 11

16、PPppjppjjjEEonetonetp第个样本的误差211()2mpppjjjEyo则P个样本总误差为：21111()2PmPppjjppjpEyoE11()()PPppjjkppjkjkjjkEEnetEwwwnetw 2111() ()2mmpppppjjjjjjjjEyoyooo 2()jjjofnetnetS型函数的导数jkjknetzw输出层权值调整量：输出层权值调整量：最速下降法211()()=Pmppjkjjjkjkpjwyofnet zz（3-44）广义偏差广义偏差2()jjjjjkkjkoonetfnetwznetz1()kkkzfnetnet1()mppjjppjjjk

17、jkkEEooyozozz 11PPppkppkkkEEznetznetkikinetxv11()()PPppkkippkikikkiEEnetEvvvnetv 隐藏层权值调整量最速下降法1211()()()=Pmppkikjjjjkikipjvfnetyofnetw xx（3-53）j211()()=Pmppjkjjjkjkpjwyofnet zzBP算法流程例：如下图所示的多层前向传播神经网络结构。例：如下图所示的多层前向传播神经网络结构。假设对于输入假设对于输入 ，其期望的输出，其期望的输出为为 ： 网络权系数的初始值见图，试用网络权系数的初始值见图，试用BP算法训算法训练此网络。这里神

18、经元激励函数为练此网络。这里神经元激励函数为 ，学习步长为学习步长为TTxx3121xexf11)(1神经网络结构图神经网络结构图TTtt.050950211x1x211203-2-1110-21-23VW2O1O2解：解：1）设定最大容许误差值）设定最大容许误差值 和最大迭代学习次和最大迭代学习次数数 ，并设初始迭代学习次数，并设初始迭代学习次数 。 2）计算当前输入、及当前网络的连接权系数下）计算当前输入、及当前网络的连接权系数下的神经网络输出。的神经网络输出。 首先计算神经元首先计算神经元1和和2的中间状态的中间状态maxiteafe0iteafe111 11221012221 1222

19、20121( 2)32201 1zznetV xV xVxxnetV xV xVxx TTxx3121其中：111221211121012212220121021.88081( 2)3 1.6572OOOOOOnetw xw xwzznetw xw xwzz 1212110.13230.839911OOnetnetOOee则则1、2的输出为：的输出为：同理，可得神经元同理，可得神经元O1、O2的中间状态为：的中间状态为：O1、O2的输出为：的输出为：1122112121110 .1 1 9 211110 .7 3 111n e tn e tZfn e teeZfn e tee3）根据给定的教师

20、输出值，判断神经网络）根据给定的教师输出值，判断神经网络逼近误差要求或者迭代学习到最大容许值否？逼近误差要求或者迭代学习到最大容许值否？maxtOoriterateiterate若上述不等式中有一个满足若上述不等式中有一个满足,则退出学习则退出学习.否则进入否则进入4)。4）计算广义误差）计算广义误差(反向学习反向学习) TTtt.05095021（1）输出层权值调整量1212110.13230.839911OOnetnetOOee输出层总神经元的权值调整的简化过程如下：211()()=Pmppjkjjjkjkpjwyofnet zz则算出输出层的误差为：222( )( ) (1( ) yppjjfxfxfxt因为121111121122222222()()()(1)0.0938()()()(1)0.1062OOOOtOfnettO OOtOfnettOOO隐藏层总神经元的权值调整的简化过程如下：算出隐藏层的误差为：1111211211112121222222222121(1)(1)() 0.2811(1)(1)()0.04176zjjoojzjjoojZZwZZ wwZZwZZw