华中科技大学人工智能 神经网络课件

神经网络基于神经网络的知识表示与推理感知机学习算法基于反向传播网络的学习10/11/20221计算智能信息科学与生命科学的相互交叉、相互渗透和相互促进是现代科学技术发展的一个显著特点。计算智能(CI)涉及神经网络(NN)、模糊逻辑、进化计算和人工生命等领域，它的研究和发展正反映了当代科学技术多学科交叉与集成的重要发展趋势。CI-ComputationalIntelligenceNN-NeuralNets10/11/20222什么是计算智能把神经网络（NN）归类于人工智能（AI）可能不大合适，而归类于计算智能（CI）更能说明问题实质。进化计算、人工生命和模糊逻辑系统的某些课题，也都归类于计算智能。计算智能取决于制造者（manufacturers）提供的数值数据，不依赖于知识；另一方面，人工智能应用知识精品（knowledgetidbits）。人工神经网络应当称为计算神经网络。10/11/202231960年威德罗和霍夫率先把神经网络用于自动控制研究。60年代末期至80年代中期，神经网络控制与整个神经网络研究一样，处于低潮。80年代后期以来，随着人工神经网络研究的复苏和发展，对神经网络控制的研究也十分活跃。这方面的研究进展主要在神经网络自适应控制和模糊神经网络控制及其在机器人控制中的应用上。人工神经网络研究的进展10/11/20224ANN的发展史20世纪40年代：兴起与萧条1943年M-Pmodel心理学家W.S.McCulloch和数学家W.Pitts提出：形式神经元的数学描述与构造方法与阈值神经元model基本相同，权值固定1949年心理学家D.O.Hebb提出突触强度可调的假设：学习过程发生在突触上Hebb规则：10/11/2022520世纪60年代,低潮1969年Minsky和Papert编写的《Perceptron》出版 使NN的研究进入低潮Problems：仅可解线性问题 当时现状：数学机发达，认为可解决一切问题但工作并未停止10/11/202271975年Albus提出CMAC网络（CerebellaModelArticulationController）1977年英国Grossberg提出ART网络（AdaptiveResonanceTheory）Kohonen提出自组织映射理论福岛邦彦（K.Fukushima）提出认识机（Neocognitron）模型甘利俊（S.Amari）：NN数学理论10/11/20228J.J.Hopfield1982年Hopfield网络模型：网络能量数据、网络稳定性判据1984年HNN用电子线路实现HNN用途：联想记忆、优化计算机的新途径1984年Hilton引入模拟退火法，提出Boltzmann机网络1986年Rumelhart提出EBP学习算法，解决了MLP隐含层weights学习问题（errorBack-Propagation）10/11/2022101987年Nielson提出了对向传播（CounterPropagation）神经网络1988年L.O.Chua提出细胞神经网络（CNN）模型自1958年来已有近40种NNmodel10/11/202211NN研究学术机构1987年国际神经网络学会定期召开ICNN会议1988年《IEEETransactiononNeuralNetwork》创刊1990.12CCNN（中国）第一次会议1991年中国神经网络学会10/11/202212应用研究神经网络软件模拟和硬件实现的研究NN在各个技术领域中应用研究e.g.模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等10/11/202214生理神经元的结构

大多数神经元由一个细胞体(cellbody或soma)和突(process)两部分组成。突分两类，即轴突(axon)和树突(dendrite)，如图所示。轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它相连接的神经元。树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神经元的生物信号。神经网络的组成与特性

10/11/202215脑神经生理学研究结果表明，每个人脑大约含有1011-1012个神经元，每一神经元又约有103-104个突触。神经元通过突触形成的网络，传递神经元间的兴奋与抑制。大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维。

10/11/202217人工神经元的组成

人工神经网络(artificialneuralnets,ANN)或模拟神经网络是由模拟神经元组成的，可把ANN看成是以处理单元PE(processingelement)为节点，用加权有向弧(链)相互连接而成的有向图。其中，处理单元是对生理神经元的模拟，而有向弧则是轴突-突触-树突对的模拟。有向弧的权值表示两处理单元间相互作用的强弱。10/11/202218图中，来自其它神经元的输入乘以权值，然后相加。把所有总和与阈值电平比较。当总和高于阈值时，其输出为1；否则，输出为0。大的正权对应于强的兴奋，小的负权对应于弱的抑制。在简单的人工神经网模型中，用权和乘法器模拟突触特性，用加法器模拟树突的互联作用，而且与阈值比较来模拟细胞体内电化学作用产生的开关特性。人工神经网络的组成10/11/202219人工神经网络的结构-1Wj1X1X2Wj2XnWjn···Σ(_)Yi图4.2神经元模型10/11/202220图中的神经元单元由多个输入xi，i=1,2,...,n和一个输出y组成。中间状态由输入信号的权和表示，而输出为

-1Wj1X1X2Wj2XnWjn···Σ(_)Yj式中，j为神经元单元的偏置，wji为连接权系数。n为输入信号数目，yj为神经元输出，t为时间，f(_)为输出变换函数10/11/202221输出变换函数的基本作用控制输入对输出的激活作用；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有限范围内的输出。

10/11/202222人工神经网络的基本特性和结构人工神经网络是具有下列特性的有向图：对于每个节点i存在一个状态变量xi；从节点j至节点i，存在一个连接权系数wij；对于每个节点i，存在一个阈值i；对于每个节点i，定义一个变换函数fi；对于最一般的情况，此函数取形式。10/11/202224递归（反馈）网络:在递归网络中，多个神经元互连以组织一个互连神经网络。反馈网络x1x2xnV1V2Vn输入输出x1’x2’xn’有些神经元的输出被反馈至同层或前层神经元10/11/202225前馈网络特点

1.神经元分层排列，可有多层2.层间无连接3.方向由入到出感知网络（perceptron即为此）应用最为广泛

10/11/202227互联网络结构图每个元都与其它元相连

例：HopfieldBoltzmann机10/11/202228基于神经网络的知识表示与推理基于神经网络的知识表示在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。例如，在有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的。10/11/202229基于神经网络的知识表示与推理对图所示的异或逻辑的神经网络来说，其邻接矩阵为：异或逻辑的神经网络表示12345123451234510/11/202230基于神经网络的知识表示与推理如果用产生式规则描述，则该网络代表下述四条规则：IFx1=0ANDx2=0THENy=0IFx1=0ANDx2=1THENy=1IFx1=1ANDx2=0THENy=1IFx1=1ANDx2=1THENy=010/11/202231基于神经网络的知识表示与推理医疗诊断例子10/11/202232基于神经网络的知识表示与推理假设x1,x2…,x10对应的节点分别为节点1,2,…,10；xa,xb,xc对应的节点为别为节点11,12,13，与x11相连的节点为节点141.画出该神经网络对应的学习矩阵，注：此网络为前向网络，sowij=0ifi>=jwij=0ifi,j无连接其余为连接弧标示值10/11/202233基于神经网络的知识表示与推理Xj=∑wijxixj’=1ifXj>0 xj’=0ifXj=0 xj’=-1ifXj<0

Xj表示节点j输入的加权和，xj’表示节点j的输出。增加了w0jx0,即-j,x0=1;即w0j=-j,j是节点j的阈值。试计算x7? x7=w07+w17x1+w27x2+w37x3 其中w07=-7,7是节点7的阈值,wij和7的值可直接从网络中得到； x7=-7+w17x1+w27x2+w37x3 =-0+2x1-2x2+3x310/11/202234基于神经网络的知识表示与推理在用神经网络推理时，即使已知的信息不完全，照样可以进行推理考虑若x1=x3=1,x7=-0

+2x1-

2x2+3x3 知：无论x2出现或者不出现，可以确定x7为正数 Ii=∑wijxj；xj已知 Ui=∑∣wijxj∣；xj未知当∣Ii∣>Ui时，未知部分不会影响xi的判别符号 Soxi=1ifIi>0 xi=-1ifIi<010/11/202235基于神经网络的推理基于神经网络的推理是通过网络计算实现的。把用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。一般来说，正向网络推理的步骤如下：把已知数据输入网络输入层的各个节点。利用特性函数分别计算网络中各层的输出。用阈值函数对输出层的输出进行判定，从而得到输出结果。10/11/202236人工神经网络的主要学习算法有师学习算法：能够根据期望的和实际的网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。无师学习算法：不需要知道期望输出。强化学习算法：采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因数）。强化学习算法的一个例子是遗传算法（GA）。10/11/202237神经网络基于神经网络的知识表示与推理感知机学习算法

基于反向传播网络的学习10/11/202238感知机感知器、神经元、Perceptron学习一个感知机意味着确定权向量(w0…wn)w1x1+w2x2+…wnxn+w0>0输出1w1x1+w2x2+…wnxn+w0<=0输出-110/11/202239感知机的几何表示感知机——n维空间中的超平面决策面a）存在一个超平面能正确分类训练数据，则称为线性可分，并且学习算法可证明具备收敛性。b）不存在这样的超平面，则为不可分10/11/202240Rosenblatt感知机算法10/11/202241示例训练集参数：iXi.x1Xi.x2yi12112321325-1436-1学习率η=0.1；初始w0=(0,0),b=0;R2=4510/11/202242示例（第一轮）i=1y1(wX1+b)=1×(0×2+0×1+0)=0≤0w=w+ηy1X1

=

(0,0)+0.1×1×(2,1)=(0.2,0.1)b=b+ηy1R2=0+0.1×1×45=4.50.2×x1+0.1×x2+4.5=0i=2y2(wX2+b)=1×(0.2×3+0.1×2+4.5)>0i=3y3(wX3+b)=-1×(0.2×2+0.1×5+4.5)<0w=w+ηy3X3

=

(0.2,0.1)+0.1×-1×(2,5)=(0,-0.4)b=b+ηy3R2=4.5+0.1×-1×45=0-0.4×x2=0i=4y4(wX4+b)=-1×(0×3+-0.4×6+0)>010/11/202243示例（第二轮）i=1y1(wX1+b)=1×(0×2+-0.4×1+0)<0w=w+ηy1X1

=

(0,-0.4)+0.1×1×(2,1)=(0.2,-0.3)b=b+ηy1R2=0+0.1×1×45=4.50.2×x1-0.3×x2+4.5=0i=2y2(wX2+b)=1×(0.2×3+2×-0.3+4.5)>0i=3y3(wX3+b)=-1×(0.2×2+5×-0.3+4.5)<0w=w+ηy3X3

=

(0.2,-0.3)+0.1×-1×(2,5)=(0,-0.8)b=b+ηy3R2=4.5+0.1×-1×45=0-0.8×x2=0i=4y4(wX4+b)=-1×(0×3+-0.8×6+0)>010/11/202244示例（第三轮）i=1y1(wX1+b)=1×(0×2+-0.8×1+0)<0w=w+ηy1X1

=

(0,-0.8)+0.1×1×(2,1)=(0.2,-0.7)b=b+ηy1R2=0+0.1×1×45=4.50.2×x1-0.7×x2+4.5=0i=2y2(wX2+b)=1×(0.2×3+2×-0.7+4.5)>0i=3y3(wX3+b)=-1×(0.2×2+5×-0.7+4.5)<0w=w+ηy3X3

=

(0.2,-0.7)+0.1×-1×(2,5)=(0,-1.2)b=b+ηy3R2=4.5+0.1×-1×45=0-1.2×x2=0i=4y4(wX4+b)=-1×(0×3+-1.2×6+0)>010/11/202245示例（第四轮）i=1y1(wX1+b)=1×(0×2+-1.2×1+0)<0w=w+ηy1X1

=

(0,-1.2)+0.1×1×(2,1)=(0.2,-1.1)b=b+ηy1R2=0+0.1×1×45=4.50.2×x1-1.1×x2+4.5=0i=2y2(wX2+b)=1×(0.2×3+2×-1.1+4.5)>0i=3y3(wX3+b)=-1×(0.2×2+5×-1.1+4.5)>0i=4y4(wX4+b)=-1×(0.2×3+-1.1×6+4.5)>010/11/202246示例（第五轮）i=1y1(wX1+b)=1×(0.2×2+-1.1×1+4.5)>00.2×x1-1.1×x2+4.5=010/11/202247神经网络基于神经网络的知识表示与推理感知机学习算法

基于反向传播网络的学习10/11/202248基于反向传播网络的学习反向传播(back－propagation,BP)算法是一种计算单个权值变化引起网络性能变化值的较为简单的方法。由于BP算法过程包含从输出节点开始，反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正，所以称为"反向传播"。

10/11/2022491.反向传播网络的结构

鲁梅尔哈特(Rumelhart)和麦克莱兰(Meclelland)于1985年发展了BP网络学习算法，实现了明斯基的多层网络设想。BP网络不仅含有输入节点和输出节点，而且含有一层或多层隐(层)节点，如图所示。输入信号先向前传递到隐节点，经过作用后，再把隐节点的输出信息传递到输出节点，最后给出输出结果。节点的激发函数一般选用S型函数。基于反向传播网络的学习BP网络10/11/202250BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐单元层逐层处理后，传至输出层。每一层神经元的状态只影响下一层神经元的状态。如果在输出层得不到期望输出，那么就转为反向传播，把误差信号沿原连接路径返回，并通过修改各层神经元的权值，使误差信号最小。基于反向传播网络的学习10/11/202251最基本BP网络的拓扑结构LA(n)LB(p)LC(q)a1a2a3anc1c2c3cqvhiwijθiγj10/11/202252逆传播学习过程(一)规范化：给LA层单元到LB层单元的连接权vhi、LB层单元到LC层单元的连接权whi、LB层单元的阈值θ