神经网络培训

1、人工神经网络 (Artificial Neural NetwroksArtificial Neural Netwroks -ANN) - -孙宝光引引 言言利用机器模仿人类的智能是长期以来人们认识自然、改利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。造自然和认识自身的理想。 研究研究ANNANN目的：目的：（1 1）探索和模拟人的感觉、思维和行为的规律，设计具）探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。有人类智能的计算机系统。（2 2）探讨人脑的智能活动，用物化了的智能来考察和研）探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过

2、程及其规律。究人脑智能的物质过程及其规律。 ANNANN的研究内容的研究内容（1 1）理论研究理论研究：ANNANN模型及其学习算法，试图从数学上描述模型及其学习算法，试图从数学上描述ANNANN的动力学过程，建立相应的的动力学过程，建立相应的ANNANN模型，在该模型的基础模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。满足学习要求的算法。（2 2）实现技术的研究实现技术的研究：探讨利用电子、光学、生物

3、等技术实：探讨利用电子、光学、生物等技术实现神经计算机的途径。现神经计算机的途径。（3 3）应用的研究应用的研究：探讨如何应用：探讨如何应用ANNANN解决实际问题，如模式解决实际问题，如模式识别、故障检测、智能机器人等。识别、故障检测、智能机器人等。 研究研究ANNANN方法方法（1 1）生理结构的模拟：）生理结构的模拟： 用仿生学观点，探索人脑的生理结构，把对人脑的用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络微观结构及其智能行为的研究结合起来即人工神经网络（Artificial Neural NetwroksArtificial Neural

4、 Netwroks，简称，简称ANNANN）方法。）方法。（2 2）宏观功能的模拟：）宏观功能的模拟： 从人的思维活动和智能行为的心理学特性出发，利从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即符用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。号处理方法。ANNANN研究的目的和意义研究的目的和意义(1)(1)通过揭示物理平面与认知平面之间的映射，了解它通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。质，探索智能的本源。(2)(2)争取

5、构造出尽可能与人脑具有相似功能的计算机，争取构造出尽可能与人脑具有相似功能的计算机，即即ANNANN计算机。计算机。(3)(3)研究仿照脑神经系统的人工神经网络，将在模式识研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。难以达到的效果。 神经网络研究的发展神经网络研究的发展(1)(1)第一次热潮第一次热潮(40-60(40-60年代未年代未) ) 1943 1943年年, ,美国心理学家美国心理学家W.McCullochW.McCulloch和数学家和数学家W.PittsW.Pitts在提出了一

6、在提出了一个简单的神经元模型，即个简单的神经元模型，即MPMP模型。模型。19581958年，年，F.RosenblattF.Rosenblatt等研制出等研制出了感知机了感知机(Perceptron(Perceptron）。）。(2)(2)低潮低潮(70(70- -8080年代初年代初) ): :(3)(3)第二次热潮第二次热潮 19821982年，美国物理学家年，美国物理学家J.J.HopfieldJ.J.Hopfield提出提出HopfieldHopfield模型，模型，它是一个互联的非线性动力学网络它是一个互联的非线性动力学网络. .他解决问题的方法是一种反复他解决问题的方法是一种反复

7、运算的动态过程运算的动态过程, ,这是符号逻辑处理方法所不具备的性质这是符号逻辑处理方法所不具备的性质. . 1987 1987年年首届国际首届国际A ANNNN大会在圣地亚哥召开，国际大会在圣地亚哥召开，国际A ANNNN联合会成立，创办了多联合会成立，创办了多种种A ANNNN国际刊物。国际刊物。19901990年年1212月，北京召开首届学术会议。月，北京召开首届学术会议。人工神经网络人工神经网络研究的局限性研究的局限性（1 1）ANNANN研究受到脑科学研究成果的限制。研究受到脑科学研究成果的限制。 （2 2）ANNANN缺少一个完整、成熟的理论体系。缺少一个完整、成熟的理论体系。（3

8、 3）ANNANN研究带有浓厚的策略和经验色彩。研究带有浓厚的策略和经验色彩。（4 4）ANNANN与传统技术的接口不成熟。与传统技术的接口不成熟。 人工神经网络概述人工神经网络概述 什么是什么是人工神经网络人工神经网络？T.KoholenT.Koholen的定义：的定义：“人工神经网络人工神经网络是由是由 具有具有适应性的简单单元组成的广泛并行互连的网络，适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。体所作出的交互反应。” 二、神经元与神经网络二、神经元与神经网络大脑可视作为1000多亿神经元组成

9、的神经网络从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质。脑神经信息活动的特征脑神经信息活动的特征(1)(1)巨量并行性。巨量并行性。(2)(2)信息处理和存储单元结合在一起。信息处理和存储单元结合在一起。 (3) (3)自组织自学习功能。自组织自学习功能。 神经网络基本模型细胞体突触轴突树突图12.2 生物神经元功能模型输入输出信息处理电脉冲形成传输人工神经元，神经元的数学模型 )(1jjjmiiijjsfyxws其中j为阈值，wij为从神经元i到神经元

10、j的连接权重因子，f( )为传递函数，或称激励函数。神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。人工神经网络的构成1）前向网络 2）从输出到输入有反馈的前向网络3) 层内互连前向网络4) 相互结合型网络BPBP神经网络及其原理神经网络及其原理BP (Back Propagation)神经网络是一种神经网络学习算法。其由输入层、中间层、输出层组成的阶层型神经网络，中间层可扩展为多层。相邻层之间各神经元进行全连接，而每层各神经元之间无连接，网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，各神经元获得网络的输入响应产生连接权值（Weight）。然后按

11、减小希望输出与实际输出误差的方向，从输出层经各中间层逐层修正各连接权，回到输入层。此过程反复交替进行，直至网络的全局误差趋向给定的极小值，即完成学习的过程。BP 神经网络的信息处理方式具有如下特点:1）信息分布存储。人脑存储信息的特点是利用突触效能的变化来调整存储内容， 即信息存储在神经元之间的连接强度的分布上， B P神经网络模拟人脑的这一特点，使信息以连接权值的形式分布于整个网络。2) 信息并行处理。人脑神经元之间传递脉冲信号的速度远低于冯诺依曼计算机的工作速度，但是在很多问题上却可以做出快速的判断、决策和处理，这是由于人脑是一个大规模并行与串行组合的处理系统。BP神经网络的基本结构模仿人

12、脑，具有并行处理的特征，大大提高了网络功能。3）具有容错性。生物神经系统部分不严重损伤并不影响整体功能，BP神经网络也具有这种特性，网络的高度连接意味着少量的误差可能不会产生严重的后果，部分神经元的损伤不破坏整体，它可以自动修正误差。这与现代计算机的脆弱性形成鲜明对比。4）具有自学习、自组织、自适应的能力。BP神经网络具有初步的自适应与自组织能力，在学习或训练中改变突触权值以适应环境，可以在使用过程中不断学习完善自己的功能，并且同一网络因学习方式的不同可以具有不同的功能，它甚至具有创新能力，可以发展知识，以至超过设计者原有的知识水平。 BPBP神经网络的主要功能神经网络的主要功能函数逼近：用输

13、入向量和相应的输出向量训练一个网络以逼近一个函数。模式识别：用一个待定的输出向量将它与输入向量联系起来。分类：把输入向量所定义的合适方式进行分类。数据压缩：减少输出向量维数以便传输或存储。BP神经网络神经网络在实例中的应用在实例中的应用函数类型函数类型函数名称函数名称函数用途函数用途前向网络创建函数前向网络创建函数newcf创建级联前向网络创建级联前向网络Newff创建前向创建前向BPBP网络网络传递函数传递函数logsigS S型的对数函数型的对数函数tansigS S型的正切函数型的正切函数purelin纯线性函数纯线性函数 学习函数学习函数learngd基于梯度下降法的学习函数基于梯度下

14、降法的学习函数learngdm梯度下降动量学习函数梯度下降动量学习函数性能函数性能函数 mse均方误差函数均方误差函数msereg均方误差规范化函数均方误差规范化函数 显示函数显示函数plotperf绘制网络的性能绘制网络的性能plotes绘制一个单独神经元的误差绘制一个单独神经元的误差曲面曲面plotep绘制权值和阈值在误差曲面绘制权值和阈值在误差曲面上的位置上的位置errsurferrsurf计算单个神经元的误差曲面计算单个神经元的误差曲面1) newff该函数用于创建一个BP网络。调用格式为：net=newffnet=newff(PR,S1 S2.SN1,TF1 TF2.TFN1,BTF

15、,BLF,PF)其中，net=newff;用于在对话框中创建一个BP网络。net为创建的新BP神经网络；PR为网络输入向量取值范围的矩阵；S1 S2SNl表示网络隐含层和输出层神经元的个数；TFl TF2TFN1表示网络隐含层和输出层的传输函数，默认为tansig；BTF表示网络的训练函数，默认为trainlm；BLF表示网络的权值学习函数，默认为learngdm；PF表示性能数，默认为mse。 2）newcf函数用于创建级联前向BP网络，newfftd函数用于创建一个存在输入延迟的前向网络。 BP网络创建函数神经元上的传递函数传递函数是BP网络的重要组成部分。传递函数又称为激活函数，必须是连

16、续可微的。BP网络经常采用S型的对数或正切函数和线性函数。1) logsig该传递函数为S型的对数函数。调用格式为：A=logsig（N）info=logsig（code）其中，N：Q个S维的输入列向量；A：函数返回值，位于区间（0，1）中；2）tansig该函数为双曲正切S型传递函数。调用格式为：A=tansig（N）info=tansig（code）其中，N：Q个S维的输入列向量；A：函数返回值，位于区间（-1，1）之间。3）purelin该函数为线性传递函数。调用格式为：A=purelin（N）info=purelin（code）BP网络学习函数1）learngd该函数为梯度下降权值/阈值学习函数，它通过神经元的输入和误差，以及权值和阈值的学习效率，来计算权值或阈值的变化率。调用格式为：dW,ls=learngd(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)db,ls=learngd(b,ones