人工神经网络模型讲解课件

第二章神经网络理论基础生物神经元生物神经网络信息处理特征神经元理论模型人工神经网络模型神经网络基本特性神经网络模拟神经网络学习机理神经网络信息处理能力神经网络的稳定性和收敛性1脑神经系统神经元的结构脑神经元的功能2.1生物神经网络2

人工神经网络的研究实质，就是ANN向BNN学习的问题；生物神经系统就是指人的脑神经系统；脑是生物的神经中枢，表现在：脑是遗传基因深化的结果；脑是后天生命体与环境相互作用的结果；脑是生命体在适应环境过程中的经验、学习和训练的结果；脑是生物漫长历史进化的结果；2.1.1脑神经系统3认知平面脑表现在较低的结构组织（如分子、细胞等）水平上观测不到的现象和性质；例如：思维、意识、记忆、联想等；更为奥秘的情感、灵感和创造等；表现为一个宏观的、与认知行为相联系的集体特征；属于信息活动的范畴。5概括脑是物理平面和认知平面的统一体；人工神经网络的研究目的通过揭示物理平面与认知平面的映射，了解两者相互联系和作用的机理；构造向生物神经网络学习的人工神经网络，具有类似人脑的智能思维和行为的机器。6神经元是脑神经系统的基本组成单元；人脑内的神经元大约有（数十亿至数千亿）个，神经元之间广泛连接，构成来脑神经系统智能信息处理的基础。严格说，没有任意两个神经元在现状上是完全相同的，但绝大多数的神经元具有共同的结构特征和功能；脑神经元可以分为三个部分：细胞体轴突树突2.1.2脑神经元的结构78轴突（Axon）又称轴索由胞体发出的一根粗细较均匀、表面光滑的突起，长度一般为几个微米；是神经元许多突起中最长的（唯一一根）；功能是传出从细胞体输出的神经信息（又称神经冲动impulse），相当于细胞的输出线路；其末端有许多神经末梢（又称轴突末梢），它把神经信息分发给其它神经元；相对于神经元的信号输出端口；两种结构形式髓鞘纤维（粗）无髓鞘纤维（细）10突触（Synapse）又称神经键；一个神经元的轴突（输出端口）与另一个神经元的树突（输入端口）相互连接，实现神经元之间信息的传递，该接口部分称为突触；突触由两种类型兴奋性抑制型每个神经元有个突触；每一个神经元可以与个神经元相互连接；轴突与树突通过突触一一连接，组成一个复杂的神经网络系统。12突触（续）当脉冲信息到达突触前部分后，会产生某种化学物质，从而突触后部分细胞膜的离子通透性发生了变化，因此在突触后产生了正或负的电位。这种电位称作突触后电位（PostSynapsePotential,简称PSP）。突触前部分通过化学接触，将信息传递到突触后部分，产生电位变化，从而实现神经元的信息传递。14膜电位（MembranePotential）细胞静止时体内相对于体外有一个电位差，称为膜电位，大约60mv，膜外为正，膜内为负；突触后正或负的电位的产生，分别对应于负的静止电位的绝对值的减少或者增加。产生正电位称为去极化，产生负电位称为过极化。能产生正电位的突触称为兴奋型突触，此时有神经脉冲输出；产生负电位的突触称为抑制型突触，此时没有神经脉冲输出；15结构可塑性由于突触的信息传递特性时可变的，随着神经冲动传递方式的变化，传递作用可增强或者减弱；当轴突有信号输出时，此时，可以认为轴突和树突已经连接起来；当轴突没有信号输出时，轴突与树突可以认为是不相连的；因此，细胞之间的连接是柔软的，也即，细胞的结构是可塑的。16神经元是脑神经系统信息处理的基本单位；具有以下功能空间整合功能时间整合功能兴奋与拟制状态脉冲与电位转换突触延时和不应期学习、遗忘和疲劳2.1.3脑神经元的功能17空间整合功能来自不同神经元的输入信号，作用于神经元的不同突触；所形成的突触后电位，将进行代数相加，使得神经元的膜电位发生变化，这个过程称为空间整合功能，又称空间总和功能。该总和的程度与突触后神经元的时间常数有关；通俗讲，空间整合功能就是神经元对同一时刻不同神经元输入的神经冲动（输入信号）有代数求和功能。18兴奋与抑制状态神经元具有两种工作状态兴奋状态抑制状态神经元如何确定其工作状态？根据神经元膜电位的变化来确定神经元的膜电位是外正内负，神经元细胞膜外电位为基准电位（0mv），膜外钠平衡电位约50mv膜内钾平衡电位约-80mv阈值电位约-40mv静止电位约-60mv20神经元内部电位示意图21神经元在兴奋状态产生的神经脉冲，可以认为是等幅、恒宽的离散脉冲信号。其幅度约为

60～100mv，宽度约为1ms有神经脉冲输出的状态称为状态“1”；没有神经脉冲输出的状态称为状态“0”；神经元的两个工作状态满足“1/0律”23脉冲与电位转换也即神经元具有A/D、D/A转换功能数模（D/A）转换功能一个神经元可以接受个以上的突触传输来往的脉冲信号；经过神经元的时空整合功能，在突触后转化为可以连续变化的膜电位；模数（A/D）转换功能膜电位的变化，可以使神经元进入兴奋状态，产生脉冲输出；或者使神经元进入抑制状态，没有神经脉冲输出；有脉冲输出可看做为高电平1，没有脉冲输出也可以看做为低电平0；一个神经元就具有D/A、A/D功能，是一个基本信息处理单元。24突触延时神经脉冲从突触前传递到突触后，也即从神经脉冲到达突触到生产突触后电位，有0.2～1ms的时间延时；是神经脉冲到突触前，引起化学物质的分泌、扩散到突触间隙，到达突触后产生膜电位的时间的总和。26不应期在相邻的两个神经脉冲之间，需要一个时间间隔，就是不应期；因为在一个神经脉冲产生之后，神经元的膜电位阈值会变化：在激励神经元产生神经脉冲后的一段时间内，其阈值会变得非常大，此时，无论给予多少激励，时空整合后的膜电位都不会超过阈值，此阶段称为绝对不应期；稍后，神经元的阈值会慢慢下降，此时对应于相对不应期；最后，阈值恢复到原来的数值，为正常状态。27学习、遗忘、疲劳神经元结构的可塑性，神经元之间的突触的传递作用有增强、减弱和饱和，所以，神经元具有相应的学习、遗忘和疲劳总结生物神经元不是一个简单的二值逻辑元件，而是一个超级的微型生物信息处理机由许许多多个神经元构成的大脑，具有智能信息处理功能。28脑是人体的中枢神经系统是一个由个神经元广泛互联构成的一个智能信息处理系统；脑神经网络具有其固有的特征大规模并行处理信息处理和信息存储合二为一很强的容错性自组织学习能力能接收和处理自然信息求满意解而不求精确解强的系统性2.2脑神经网络信息处理特征30大规模并行处理人脑智能信息处理的工作模式是大规模并行处理；单个神经元的信息传递速度是很慢的，延时在1ms量级，而电子器件的门电路延时在10ns，慢5个数量级；每一个神经元的处理功能和速度，均比不过计算机的一条指令；但人脑对于复杂过程的反应却是非常快的，远远超过计算机的反应速度。31例如，如图所示的文字识别问题计算机必须逐点扫描，转换成图像，然后进行模式识别。如果图像的噪声很大，则一般难于很快得出正确的结论。但人能够文字的知识背景，一眼就能得出正确结论。因为脑神经信息处理是一个众多神经元所组成的并行处理系统；巨大的脑神经元提供了一个巨大的存储空间，存储有大量的知识和经验，能够用一定的空间复杂性来有效地降低问题的时间复杂性，从而能在需要时以很快的反应速度作出判断。32信息处理和信息存储合二为一脑神经元既是信息处理单元，又是信息存储单元；作为神经元之间连接接口的突触（连接强度），既是信息转换站，又是信息存储器；这种信息处理和信息存储合一，能够直接获得信息，而不必像计算机哪样，先找到存储地址，然后提取存储内容；也是基于该特点，人脑在回忆问题时，具有从部分信息恢复全部信息的能力；例如：能很快认出多年未见、面貌大变的朋友；能根据不完整的相片进行辨认等。33很强的容错性人每天大约有40万个脑神经细胞死亡，也有相当数量的神经细胞生长；但是，人的认知功能并不会出现突然的降低；神经系统由于疾病或者损伤，其功能会随着损伤的神经元数目的增加而逐步丢失；这表明，脑神经系统的信息存储和表示时分布式的，具有很强的容错能力；信息不是存储在某些神经元内，而是分布在整个神经网络中，并体现在神经元之间的突触连接强度上；当少量的神经元受到损坏，通过自组织，其它众多的神经元作出的总体模式，将使得网络的整体功能仍然有效；数字计算机，元件的局部损坏和程序的微小错误，都可能引起严重后果。34自组织和自学习能力人脑神经系统具有很强的自组织和自学习能力；能根据外界环境的输入信息，改变突触之间的连接强度，重新安排神经元之间的相互关系，从而达到适应环境的变化的目的；大脑功能既受先天因素制约，有可通过后天的训练、学习、经历而得到增强；例如：正常人先天条件类似，但因经历不同在专业知识上千差万别；盲人的听觉、触觉特别发达，也是后天逐步形成的；人类的很多智能活动，并不是按照逻辑推理方式进行的，而是由于训练“习惯成自然”形成的；例如：人们会骑自行车，决不是按照力学原理来推断每步的动作的；小孩能很快识别父母，但很难说出“特征是什么”。35能接收和处理自然信息人类从感觉器官所接收的视觉信息、听觉信息都是连续的；所见到的环境景物和所听到的语言音响等经常带有模糊信息；每天所遇到的要解决的问题也是随机的；连续的、模糊的、随机的信息称为自然信息；人脑神经系统能够通过内部自组织、自学习的能力，不断地适应外界环境，有效地、迅速地处理大量连续的、模糊的和随机的自然信息；这是现代计算机科学所努力的目标。36求满意解而不是求精确解人类的日常信息处理和运动控制，例如行走、买东西、用语言表达意见等，都不是按照最优的、最精确的方式求解，而是以能解决问题为原则，既求满意解就可以了；例如：买东西，比较几家的商品及其价格，人就能智能地作出判断，是自己满意就可以了。寻找相对最优解或者满意解，要比寻找绝对精确的最优解节省大量的信息处理时间和成本；这也是神经脉冲传递速度并不快的脑神经系统，在决策识别等智能方面远优于数字计算机的主要原因；Hopfield模型求解TSP问题就是利用了这个特性。37强的系统性大脑的各个部分可以看做为一个大系统中的许多子系统，各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为；单个神经元的功能，不能体现为全体宏观系统的功能；另外，人脑的神经活动，还有感情、灵感、创造等高层次的信息活动，这些，有待于进一步的研究。38数字计算机与人脑之间的比较比较内容基本单位单元数量信号形式动作速度记忆形式信息处理系统结构能力擅长数字计算机门电路电脉冲秒按地址记忆集中数字处理串行处理高精度数值计算人脑神经元神经脉冲秒按内容记忆联想分布模拟处理串、并行处理模式识别、模糊判断39神经元是神经网络系统的控制和信息处理的基本单元；门电路是计算机的基本单元；神经元在功能上比门电路要复杂；模拟神经元一方面希望能对神经元的功能和如何由神经元构成功能更为复杂的神经网络有更好的了解，另一方面，也希望能借此对数字计算机的发展有所帮助；人工神经元理论模型的研究存在着两个不同的方向：微观研究宏观研究2.3神经元理论模型40微观研究着眼于神经元本身；神经元模型尽可能逼真地模拟生物神经元的结构和各种特性，即要尽可能细化神经元模型；宏观研究着眼于从神经元模型构成能完成复杂功能的神经网络；要尽可能简化神经元模型，只保留哪些对完成功能的必不可少的特性；41根据生物神经细胞的结构和功能，从1943年以来，提出了有上百种神经元模型；比较有名的有以下几种：MP模型MP模型的改进形式类MP模型一般理论模型421943年由美国心理学家McCulloch和数学家Pitts共同提出的第一个神经元理论模型；称为MP模型、M-P模型MP模型没有考虑神经元的时间特性；单个神经元MP模型的结构2.3.1MP模型43有N个神经元与之相连；N个神经元的输入为当，表示第个神经元处于兴奋状态，有信号输出；当，表示第个神经元处于抑制状态，没有信号输出；这N个神经元对该神经元的作用的程度可以用一个系数表示，称为权系数或者连接强度。

表示第个神经元有信号输入到该神经元，表示第个神经元没有信号输入；44按照神经元的时空整合功能，该神经元的输出可以表示为：式中，是阈值，是阈值函数或者阶跃函数45从而，神经元的输出为令则有46MP模型的特点：神经元输出遵循“0/1律”；神经元为一个“多输入/单输出”的结构；每一个神经元通过权系数来表征其对神经元的作用程度；表示有作用，表示没有作用；具有空间整合功能：具有阈值作用：不具有时间整合、延时等功能，没有不应期。47当有N个神经元互连时，则每一个神经元的输入就包括其它N-1个神经元的输出和自己的输出；第个神经元到第个神经元的连接权系数方向是：第个神经元的输出为：N个神经元的输出为48式中49如果将阈值也看做为一个权值，即则第个神经元的输出为：写出矩阵形式为：50MP模型模拟了生物神经元的一些基本结构与功能MP模型很简单，功能有限；人们在MP模型的基础上，进行了一些修改，提出了MP模型的改进形式：时延MP模型改进的MP模型类MP模型2.3.2MP模型的改进形式51时延MP模型在MP模型的基础上增加了时延功能为第个神经元的突触延时，有52时延MP模型的特点神经元输出遵循“0/1律”；神经元为一个“多输入/单输出”的结构；每一个神经元通过权系数来表征其对神经元的作用程度；表示有作用，表示没有作用；具有空间整合功能：具有阈值作用：具有时延功能，各个神经元具有恒定的工作节奏，取决于突触延时，为常数，即各种神经元的时延是固定不变的。不具有时间整合功能，没有不应期。53改进的MP模型在时延MP模型的基础上，考虑时间整合功能和不应期，就构成了改进的MP模型改进的MP模型的结构图54第个神经元的输出为随变化，也即随时延变化此时，连接权系数可以取连续值，而不再只取0，1二值。55表示该神经元对过去所有输入信号进行时间空间整合；表示第个神经元内反馈连接权系数，其值用来模拟不应期功能为较大的正数，为单调递减的指数函数56改进的MP模型的特点神经元输出遵循“0/1律”；神经元为一个“多输入/单输出”的结构；每一个神经元通过权系数来表征其对神经元的作用程度，其值不再取“0，1”，而是可以取连续值；具有空间时间整合功能；具有阈值作用；具有不应期功能。57其它类似MP模型的两种形式非线性模型微分方程模型2.3.3类MP模型58非线性模型非线性模型与MP模型的结构一样，只不过其输出函数不仅可以为阈值函数，也可以为其它类型的函数。可以有6种不同的输出函数阶跃函数（阈值函数）子阈积累函数分段线性函数恒等函数S形函数双曲正切函数59阶跃（阈值）函数表达式为60子阈积累函数表达式为为斜率，一般可取61分段线性函数表达式为62恒等函数表达式为63S形（Sigmoid）函数表达式为64双曲正切函数表达式为65双曲正切函数与S形函数非常相似，只不过其均值为0；在这六个非线性函数中，S形函数和双曲正切函数具有非常好的性能；S形函数可以看做是处理单元的一个非线性增益，其增益的大小取决于给定点的斜率，即一阶导数。当从增加到0时，增益从0增加到最大；当从0增加到时，增益从最大减少到0；而且总是正数；可以处理小信号（在0附近），也可以处理大信号（在坐标轴的两端）；66微分方程模型为了反映神经元状态参数连续变化的性能，常用一阶非线性微分方程模型来表示；神经元的状态和输出的关系为：为时间常数，为神经元在时刻的输入，为神经元时刻的状态，为神经元在时刻的输出，为输出函数，为阈值。67美国PDP（并行分布处理）研究组提出了一个神经元的一般理论模型在N个神经元组成的神经网络中，每一个神经元都是一个基本处理单元。每一个神经元都有一个活化值，也就是神经元所处的状态，用表示。活化值相当于生物神经元的膜电位，只要活化值确定了，则神经元的状态也就确定了。2.3.4神经元一般理论模型68神经元之间的相互作用，是由相邻神经元之间的信号传递来完成的；神经元输出信号越强，则对相邻神经元的影响越大；神经元输出信号的强弱，取决于该神经元的活化值的大小；每一个神经元都将当前的活化值，通过一个输出函数映射为一个输出函数该输出通过连接送到网络的其它神经元，该连接称为连接强度或者连接权系数，用表示，是一个实数，方向；神经元的所有输入与权系数的代数和与它前一时刻的活化值一起，通过活化函数决定了其当前时刻的活化值。69神经元的一般理论模型结构作用方向70模型公式式中，是第个神经元的净输入分别是神经元的输出是神经元到神经元的连接权系数是神经元的在时刻的活化状态是神经元的外部输入（可有可无）可以取六种函数中的任何一种形式71由于函数可以取六个函数之一，所以神经元的活化值可以为离散的，也可以是连续的；取值不同，构成的神经网络模型的特性会有所不同；讨论：输出函数和活化函数不同形式对于网络模型的影响；假设，神经元的输出在集合A内取值，

R表示整个实数集，I表示（0,1）区间实数集；72假设：为线性函数，是阈值函数则，A＝｛0，1｝是的一个映射是的一个映射具有这种作用方式的神经元称为线性阈值单元，例如：Perceptron模型中的神经元就属于此类。神经元输出为：73假设：为线性函数，也是线性函数则，A＝R

是的一个映射是的一个映射具有这种作用方式的神经元称为线性单元，例如：Adaline模型中的神经元就属于此类。神经元输出为：74假设： 为线性函数，为是单调递增函数（S型函数）则，A=I，即可取（0,1）区间是的一个映射是的一个映射具有这种作用方式的神经元具有非常好的处理性能，例如：BP模型中的神经元就属于此类。神经元输出为：75人工神经网络结构的特点人工神经网络模型分类神经网络模型简介2.4人工神经网络模型76人工神经网络结构特点人工神经网络模型是由大量的神经元广泛互连而构成的网络；模拟了人脑神经网络的基本特性；人工神经网络结构特点神经网络的基本处理单元是神经元，整个神经网络是由大量简单的神经元相互连接而构成的；大量的神经元按照不同的方式连接，就可以构成不同类型的神经网络模型；77每一个神经元之间的连接强度是由神经网络内部权值决定的，当一个神经网络的结构确定后，将根据学习规则修正神经元之间的连接强度，从而获得有关问题的知识和解决方案；也即神经网络具有自学习特性；各个神经元的工作可以是同步方式，也可以是异步方式；78人工神经网络模型分类人工神经网络模型的分类可以有不同的分类方法可以有以下分类方法按照组织形式按照拓朴结构按照输入输出类型按照学习方式79按照组织形式分类根据不同的组织形式和抽象级，人工神经网络模型可以分为四级：1）神经元级模型2）网络级模型3）系统级模型4）智能级模型801）神经元级模型神经元级模型主要研究单个神经元的基本特性和功能，探索神经元对输入信息有选择的响应、基本存储功能的机理等；例如：MP模型一般理论模型等812）网络级模型网络级模型是由许许多多相同的神经元相互连接而构成的网络；用于完成某些特定的任务，通过网络级模型可以从整体上研究神经元的集体特性；例如：BP模型Hopfield模型等目前我们研究的人工神经网络绝大部分是属于网络级模型。823）系统级模型系统级模型是由许多个不同性能的网络级模型相互连接构成的；用来模拟生物神经网络更复杂和抽象的性质；例如：神经网络集成将几个不同的神经网络的输出进行综合判断，以提高系统的整体输出精度和准确性。834）智能级模型智能级模型是由多个系统级模型构成的；是一种最抽象的层次，也是最高层次的神经网络模型；它可以模拟人脑信息处理的运行、过程、算法和策略，可以模拟感知、思维等基本过程；具有相当高的智能程度；是人工神经网络学科所追求的最高境界。84按照网络拓朴结构分类人工神经网络模型根据网络拓朴结构可以分为两种基本模型：前馈（feed-forward）网络模型Perceptron、BP模型等反馈（feed-back）网络模型Hopfield模型等85具体可以分为四种情况1）不含反馈的前馈网络2）从输出层到输入层由反馈的前馈网络3）层内神经元相互连接的前馈网络4）反馈网络861）不含反馈的前馈网络神经网络的神经元分层排列；由输入层、隐蔽层（中间层）、输出层组成每一层的神经元只接收前一层神经元的输入同一层神经元之间没有连接各层神经元的数量可以不相同输入模式按照顺序变换后，成为输出层的输出Perceptron、BP等模型属于此类872）从输出层到输入层有反馈的前馈网络整个网络也是有多层前馈网络组成；只是从输出层到输入层有反馈，其它各层没有反馈；用于存储某种模式，提取新知识；例如福岛和Jordan提出的神经认知机883）层内神经元相互连接的前馈网络层与层之间的神经元相互前向连接；同一层神经元之间也有相互连接，可以实现同层神经元之间的横向抑制；例如：可以将某一层内具有最大输出的神经元挑选出来，而抑制其它神经元；例如：自组织神经网络（ART模型、Kohonen特征映射模型）就属于此类894）反馈网络又称全互连网络没有方向，即任意两个神经元都有连接，并且是双方向的连接；两个方向的连接强度可以相等，也可以不相等；例如：Hopfield模型、Boltzman模型90在无反馈的前馈网络中，信号一旦通过某个神经元，过程就结束了；在反馈网络中，信号要在神经元之间反复传递，网络处于一种不断改变状态的动态之中；在满足一定的条件下，经过若干次状态变化后，网络中各个神经元的状态不再变化，此时，网络处于稳定状态；也有可能，网络的状态总是达不到稳定的状态，此时网络是不稳定的；反馈网络不一定是稳定的，所以必须考虑其稳定性。而前馈网络则肯定稳定，所以不必考虑其稳定性。91按照网络输入输出类型分类按照网络的输入输出数据的类型可以分为五类：连续性模型离散型模型确定性模型随机型模型模糊型模型92按照网络的学习方式分类按照网络的网络的学习方式可以分为二种模型：有指导学习，又称有教师（监督）学习无指导学习又称无教师（监督）学习93神经网络模型简介目前，实用的神经网络模型很多；每年，还有新的神经网络模型提出；主要的神经网络模型感知器（Perceptron）可训练的信息分类单层网络，最早应用于实际Madaline具有最小均方误差学习功能的线性网络，主要应用于自适应控制94反向传播（BP）将输出误差反馈到网络的每一层，调节神经元之间的连接强度，达到学习的目的；是目前应用最为广泛的神经网络模型；Hopfiled由相同单元构成的单层反馈网络，能实现联想记忆和优化计算；Kohonen自组织特征映射能根据输入信息的内在特征，将相同或相近特征的模式映射到同一个区间，从而实现模式自动分类；95人工神经网络是基于人脑的结构和功能建立起来的新学科，试图模拟人脑的作者方式和信息处理方式而建立的信息处理系统，是信号处理学科的一个分支；目前，人工神经网络是人脑的低级模拟；很多主要特性和人脑的智能特性类似；2.5人工神经网络基本特性96并行结构和并行处理机制；信息的分布处理；自适应性；容错性；优化计算特性；人工神经网络的局限性人工神经网络的基本特性97并行和并行处理机制人工神经网络模型是由大量的神经元广泛互连而构成的网络；每一个神经元都是可以同时操作的；神经网络的计算功能、信息处理功能部分在每个神经元上；神经网络再结构上是并行的，其处理机制也是并行的；网络的状态变化反应了神经网络的处理过程；当前，大部分神经网络都是用数字计算机的串行工作方式去模拟并行工作方式，所以并不能直接反映神经网络的真正能力。98信息分布处理神经网络的信息处理结果，是存储在各神经元之间的连接强度上；要获得存储的信息，采用“联想”的方法；当一个神经网络的输入一个激励时，网络要在已存储的信息中寻找与该输入匹配最好的存储信息，作为该输入的输出（解）；就好像一个教师能容易地辨认出他的学生的笔迹，不管该笔迹时潦草的，还是变形的。99自适应性自适应型是指系统对外界环境的不敏感性；即，当外界环境发生变化时，系统仍然能保持良好的性能，或者，自己能适应外界环境的变化；自适应性包括：自学习、自组织和综合推理自学习当外界环境发生了变化，在结果一段时间之后，系统能改善自己的性能，就认为系统在这段时间内进行了学习；例如，神经网络能识别模式（图形等）就必须先进行学习；也即，必须先教网络或者训练；属于有指导的学习。100自组织在训练时，有时只给它大量的样本，没有指定期望的输出，网络就自动按输入样本的特性对他们进行分类；网络通过训练自动调节神经元之间的连接权系数，从而实现对输入样本的分类。这种特性就称为自组织特性；自组织特性属于无指导的学习；101综合推理能力指网络具有正确响应和分辨从未见过的输入样本的能力；例如，在进行数字图形识别时，对于不完全的数字图形或者叠加有大量噪声而失真的数字图形仍然能正确辨认；102容错性与人脑具有很强的容错性一样，人工神经网络也具有较强的容错性；神经网络能从不完善的数据和图形进行学习和作出判断；由于信息时存储在整个神经网络的连接权系数上，而不是存储在某些单元，一定比例的神经元不参与运算，对整个神经网络的性能不会有太大的影响；103优化计算特性神经网络的优化计算特性主要指神经网络在求解优化计算问题时，采用与人脑一样的策略；求满意解，不求精确解；Hopfield网络就是一个例子104人工神经网络的局限性神经网络不适用于高精度的数值计算；神经网络的设计没有严格确定的方法，一般都是凭经验进行设计；神经网络的学习过程耗时较长，常常需要较长时间的脱机训练；不适合有实时性处理要求的场合；当训练样本发生变化时，必须对全部训练样本进行重新训练；硬件限制：真正的神经网络芯片和相应硬件还没有得到突破。105神经网络模拟神经网络的工作过程2.6神经网络模拟与工作方式106神经网络模拟，就是指人工神经网络如何模拟人脑的组织方式和信息处理机制；简单说，就是人工神经网络的实现方法；神经网络是由大量的神经元相互连接构成的，每一个神经元都完成基本相同的任务；可以认为，神经元及其连接就是神经网络的“硬件”，各神经元之间的连接权系数和阈值就是神经网络的“软件”；如果能够按照预期的算法来修正权系数和阈值，则就构成了一个学习机制；神经网络模拟107确定网络的拓朴结构；确定活化函数；确定网络的输入；确定神经元的输出；确定工作方式；神经网络模拟包括：108确定网络的拓朴结构人工神经网络有许多模型，不同的神经网络模型有其擅长的信息处理能力，而每种模型的信息处理能力又有其技术限制，不能适合于所有的问题。因此，应用神经网络求解问题，必须在熟悉本领域应用特点的基础上，理解各种神经网络的能力与限制，然后选择适合具体应用的神经网络模型，达到最高性能的实现。网络的拓朴结构与实际问题密切相关109确定活化函数按照神经元的一般理论模型，神经元的状态与其过去的状态和当前的输入有关；其关系可以用活化函数来确定；一般情况下，神经元的活化函数都采用恒等函数；即：当然，还可以是其它形式的函数。110确定网络的输入首先，要确定网络输入层神经元的数量，即网络接收多少维的输入信号；考虑每个输入模式的数据类型和值域；是离散型还是连续型？输入模式是否要进行预处理？是否要编码？选择适当的训练样本；111确定神经元的输出神经元之间的相互作用是通过把有关信号传递到其它神经元上来实现；对每一个神经元，其状态决定了其输出值输出函数可以选择六种类型中的任一种，要考虑实际应用情况；还有确定神经网络的输出神经元的数量；以及输出神经元是否要编码等；考虑训练样本的期望输出等；112确定网络的工作方式同步方式所有神经元都把上一步所得的输出值当作输入，所有的神经元都同时工作；网络的状态是对所有神经元同时修改的结果，模拟计算的顺序并不重要；异步工作方式每一步都以某种顺序修改其中一个神经元的状态；新输出值马上传送到其它神经元，以便调整整个网络的状态；模拟计算的顺序时很重要的。113两个阶段工作期各连接权系数固定，计算神经元的状态变化，以求达到稳定状态；给定的输入产生给定的输出；学习期输入输出保持不变，修正神经元之间的连接权系数；神经网络工作过程114两个记忆短期记忆在工作期，各神经元的状态变化很快，各单元的状态称为短期记忆；STM（ShortTermMemory）长期记忆在学习期，各神经元的状态变化很慢，此时，权及连接方式称为长期记忆；LTM（LongTermmemory）115学习的一般概念通过样本进行学习Hebb学习规则其它学习规则2.7神经网络学习机理116学习概念是来自生物模型；学习是生物体早期复杂多变的环境中进行有效的自我调节；对于一个系统来说，学习就是当外界环境发生变化时，在经过一段时间之后，系统能改善自己的性能，则称该系统在这段时间内进行了学习；人工神经网络具类似于人脑的学习特性。学习的一般概念117在构造出一个神经网络后，神经元的活化规则和输出规则就确定了；从公式可以得出，若想改变系统的输出值，但又不能在学习过程改变，则只能改变加权求和的输入；神经网络是如何进行学习的呢？118神经元不能控制输入模式，它是对环境作出反映而不是产生环境；因此，要改变加权求和的输入，必须改变权系数；也就是说，网络的学习依赖于权系数的变化；（阈值也是可以学习的，可以归纳到权系数之中）；学习的数学表达119基于何种规则对神经网络的权系数进行修改，就构成了不同的学习规则，或者学习算法。也就是说，学习规则定义了对于给定的输入产生期望输出时如何修正权系数；神经网络的两个工作期学习期执行学习规则，修改权系数，使得输入/输出满足一定的映射关系；工作期权系数固定，由给定的输入产生一定的输出；120学习与训练实质都是修正权系数区别训练是指调节网络权系数的操作动作和过程；整个过程对于网络来说就是学习例如举办一个训练班，对学生进行某种技能的训练；对学生来说，他们在班内学习；一般不必区分学习和训练121网络学习必须要有训练样本每个训练样本加载到神经网络的输入端（称为输入向量），在输出端会产生一个输出（称为输出向量）；学习（训练）就是相继加入输入向量，按照预定的学习规则修正权系数，使得学习结束后，权系数收敛于一个确定值，此时，每一个输入向量都能产生一个期望的输出向量，或者非常接近期望的输出向量；122网络学习两种方式有指导的学习无指导的学习有指导的学习在学习过程中，不但需要输入向量，而且需要与之对应的输出目标向量；输入向量和输出向量称为训练对；学习时，一般需要很多训练对；所有的训练对称为训练组（训练样本集合），123当加入一个输入向量时，计算网络的实际输出，并与相应的输出目标向量比较，用其误差来修正权系数；所有的训练样本都相继加入到网络，计算误差和修正权系数；当所有的训练样本都已经用完，则从第一个训练样本重新计算，直到对于所有的训练样本，其输出总误差满足我们的要求；一般情况下，训练样本组是要反复循环加载到网络进行训练；124无指导的学习只有输入向量，没有对应的输出目标向量；网络通过自身来完成学习功能，即完成修正权系数的功能；如何完成？没有输出目标向量，就没有输出误差；修改权系数，使得输出产生某种可理解的规律性；这种规律性可以通过某些统计特性来表示125例如：数据的分类通过输出向量的位置，可以对给定的输入样本进行分类。126几种神经网络模型的学习方式有指导的学习二进制输入Hopfield网络模型连续值输入Perceptron、BP网络模型无指导的学习二进制输入Grossberg的ART模型连续值输入Kohonen自组织特征映射模型127通过样本学习学习算法范例：学习的目标：产生一个网络，在给定的范例下，修正网络的权系数（权值），使得该网络实现映射128一般地，通过样本学习可以表示为环境X概念学习过程假设训练样本测试过程目标129网络输入输出存在映射网络实际实现的映射训练样本集目标：例如：环境X： ｛一组图画｝ 概念： ｛是一颗树或者不是树｝ 假设： ｛识别树的系统｝ 样本：｛一些是树的画和不是树的画｝ 测试： ｛通过观察典型图片学习树的概念｝130给出典型的是树的图画和不是树的图画让系统进行训练；构造假设，使得当输入为时，输出尽可能逼近；学习完成后，就获得了假设，可以应用去识别待识别的样本；也即，当输入是树的图画，假设能判断是树；当输入不是树的图画，假设能判断不是树；131要学习的知识是，实际学习到的知识是是的良好近似；两个参数度量最小训练样本集最大识别误差除了至多幅图画和最多次失败外，都有

学习应该尽可能使均小；一般而言，参数是相互矛盾的；132

Hebb学习规则学习规则定义了由给定的输入产生预期的输出时如何修正权系数；Hebb学习规则的基本思想如果神经元从接收一个输入，而且两个神经元处于兴奋状态，则到之间的连接权系数将增强：是系数（又称学习率），是神经元的活化值（状态）是神经元的输出133Hebbs学习规则的一般形式其中，是对神经元的指导（期望）输出都是随着时间而变化的神经元到的连接强度的改变量等于神经元的活化值与其目标输入的函数乘以神经元的输出值和连接强度的函数注意：此处，函数和与活化函数和输出函数没有任何关系；134当函数和取如下的形式则有，其中，此式就是最简单的Hebb学习规则135当函数和取如下的形式则有，其中，此式就是Wirdow-Hoff学习规则，又称学习规则，是属于有指导的学习方式，在感知器模型中采用。136当函数和取如下的形式则有，其中，此式就是Grossberg学习规则，属于无指导的学习方式，在Grossberg提出的ART模型中采用。137其它学习规则负梯度学习规则随机学习规则Kohonen学习规则138负梯度学习规则使要求的输出和实际输出的误差最小；此时，连接权系数的变化量与误差对权值的负梯度成正比，即误差函数E可以有多种形式，常用的是实际输出与期望输出的均方误差，也可以取其它形式BP网络模型采用的就是负梯度学习规则；负梯度学习规则收敛速度较慢，且可能收敛到误差函数的局部最小。139随机学习规则随机学习规则利用了随机过程的概率和能量函数之间的关系来修正权系数；思路：随机改变一个权值，确认权值改变后的能量函数，并按照以下准则确认：若神经网络的能量降低了，则保留此变化；若神经网络的能量没有降低，则根据预先选定的概率来决定是否保留此变化；接收能量函数增加的权值改变，有可能使网络的性能变坏，但从总的效果来看，却可能使神经网络获得最佳效果；模拟退火算法（SimulatedAnnealing）属于此类。140

Kohonen学习规则Kohonen学习规则是芬兰科学家Kohonen提出的；属于无指导的学习方式；在学习过程中，神经元均参与竞争，具有最大值的神经元是获胜者，只有获胜者才允许输出，同时，能激活其附近区域的神经元，在该区域内的神经元的权系数才能修正；该获胜神经元具有抑制其它神经元的能力，其它神经元的权系数保持不变；区域大小是可变的，一般开始时较大，然后越来越小，直到最