神经网络基础

神经网络理论基础§1引言当你现在学习神经网络知识的时候，你实际上正在使用着一个复杂的生物神经网络。神经生理学和神经解剖学证明，人的思维是由脑完成的。神经元是组成人脑的最基本单元，能够接受并处理信息。人脑约由101l~1012个神经元组成，其中，每个神经元约与104~105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络。虽然，每个神经元都比较简单，但是，如此多的神经元经过复杂的联接却可以演化出丰富多彩的行为方式。因此，人脑是一个复杂的信息并行加工处理巨系统。探索脑组织的结构、工作原理及信息处理的机制，是整个人类面临的一项挑战，也是整个自然科学的前沿。关于人脑的功能，一方面受先天因素的制约，即由遗传信息先天确定了其结构与特性，另一方面后天因素也起重要的作用，即大脑可通过其自组织(Self-Organization)、自学习(Self-Learning)，不断适应外界环境的变化。一般认为，包括记忆在内的所有生物神经功能，都存贮在神经元及其之间的连接上。学习被看作是在神经元之间建立新的连接或对已有的连接进行修改的过程。大脑的自组织、自学习性，来源于神经网络结构的这种可塑性(Plasticity)，它主要反映在神经元之间联接强度是可变的。既然我们已经对生物神经网络有一个基本的认识，那么能否利用一些简单的人工“神经元”构造一个小神经网络系统，然后对其进行训练，从而使它们具有一定有用功能呢？答案是肯定的。当然，人工神经元不是生物神经元，它们是对生物神经元极其简单的抽象，可以用程序或硅电路实现。虽然由这些神经元组成的网络的能力远远不及人脑的那么强大，但是可以对其进行训练，以实现一些有用的功能。§2神经网络模型2.1生物神经网络的启示前面分析可知，人脑由大量的、高度互连的神经元组成。神经元主要由三部分组成：树突、细胞体和轴突。树突是树状的神经纤维接收网络，它将电信号传送到细胞体，细胞体对这些输入信号进行整合并进行阈值处理。轴突是单根长纤维，它把细胞体的输出信号导向其他神经元。一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触。神经元的排列和突触的强度(由复杂的化学过程决定)确立了神经网络的功能。图2.1是两个生物神经元的连接情况。图2.1生物神经元网络结构生物学研究表明一些神经结构是与生俱来的，而其他部分则是在学习的过程中形成的。在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。比如，如果在某一段关键的时期内禁止一只小猫使用它某一只眼睛，则它的这只眼在以后很难形成正常的视力。神经结构在整个生命期内不断地进行着改变，后期的改变主要是加强或减弱突触连接。生物学研究结果认为，新记忆的形成实际上是通过改变突触强度而实现的，因此，记住一位新朋友的面孔实质上是对各种突触改变的过程。前面分析可知，生物神经网络是由大量的生物神经元（信息处理单元）高度互连而成，网络的功能主要取决于神经元的连接状态。人工神经网络正是基于生物神经网络的特点而构成的，可以通过电子电路实现。虽然没有人脑那么复杂，但二者之间的关键相似之处是：两个网络的构成都是可计算单元的高度互连(虽然人工神经元比生物神经元简单得多)，处理单元之间的连接决定了网络的功能。值得注意的是，虽然生物神经元相对于电子电路来说非常慢(10-3秒相对于10-9秒)，但人脑却能以比现有计算机快得多的速度完成许多任务。这主要是因为生物神经网络具有巨大的并行性，即所有的神经元能同时操作。目前，大多数人工神经网络通过传统的数字计算机实现，但其并行处理结构也适合于采用电子、光学器件和并行处理技术实现。2.2人工神经元模型人工神经网络(ANN—ArtificialNeuralNetwork)是模拟人类智能的一条重要途径，具有模拟人的部分形象思维的能力。它是由简单信息处理单元(人工神经元，简称神经元)互连组成的网络，能接受并处理信息，网络的信息处理由处理单元之间的相互作用来实现，通过把问题表达成处理单元之间的联接权来处理。一、单输入神经元对照生物神经元网络结构（图2.1），可以得到一个单输入神经元如图2.2所示。其权值对应于突触的连接强度，细胞体对应于累加器和作用函数，神经元输出即轴突的信号。图2.2单输入神经元模型图中，是指神经元的输入；是指连接权值；是神经元的阈值；是神经元的净输入；是非线性函数；是神经元的输出。神经元的输出：(2.1)当输入，权值，阈值时，神经元输出。可见，神经元的实际输出还取决于所选择的作用函数。神经元的阈值可以看作为一个输入值是常数1的连接权值。根据实际情况，也可以在神经元模型中忽略它。关于作用函数的选择将在后面详细讨论。在单输入神经元模型中，和是神经元的可调整标量参数。设计者也可以选择特定的作用函数，依据一定的学习规则来调整参数和，以满足特定的需要。二、多输入神经元生物学研究结果表明一个神经元不止一个输入，每个神经元约与104~105个神经元通过突触连接。1943年由美国心理学家WarrenMcCulloch和数理逻辑学家WalterPitts首先提出了一个简单的多输入人工神经元模型，被称为MP的人工神经元模型，其结构如图5.2.3所示。图2.3MP神经元模型图中，是第个神经元的输出，它可与其它多个神经元通过权连接；,,…,,…,分别是指与第个神经元连接的其它神经元的输出；,,…,,…,分别是指其它神经元与第个神经元联接的权值；是第个神经元的阈值；是第个神经元的净输入；是非线性函数，又称作用函数。这是一个多输入／单输出的非线性信息处理单元。该模型的主要特点是把神经元输入信号的加权和其阈值相比较，以确定神经元的输出。如果加权和小于阈值，则神经元输出为零；如果加权和大于阈值，则神经元输出为1。神经元的输出为：(2.2)设(2.3)则(2.4)是作用函数(ActivationFunction)，也称激发函数。MP神经元模型中作用函数为单位阶跃函数，见图2.4所示。图2.4单位阶跃函数其表达式为由式(2.2)~(2.4)可知，当神经元的输入信号加权和超过阈值时，输出为“1”，即“兴奋”状态；反之，输出为“0”，是“抑制”状态。WarrenMcCulloch和WalterPitts进一步证明由这样神经元构成的网络原则上可以完成任何数学和逻辑函数的计算。但是，由于没有找到训练神经网络的方法，所以必须提前设计出神经网络的参数以实现特定的功能。若把阈值也作为一个权值，则式(2.2)可写为(2.5)式中，，。三、神经元的作用函数MP神经元模型是人工神经元模型的基础，也是神经网络理论的基础。在神经元模型中，作用函数除了单位阶跃函数之外，还有其它形式。不同的作用函数，可构成不同的神经元模型。1、非对称型Sigmoid函数非对称型Sigmoid函数如图2.3(a)所示，可以用式(2.6)表示：(2.6)Sigmoid函数也称为S型作用函数，是可微分的。有时为了需要，也可表达为如下的形式，见图2.3(b)。(2.7)式(2.7)中，。(a)(b)图2.5非对称型Sigmoid函数作用函数2、对称型Sigmoid函数对称型Sigmoid函数如图2.4所示，可以用式(2.8)和式(2.9)表示：(2.8)(2.9)式(2.9)中，。(a)(b)图2.6对称型Sigmoid函数作用函数3、对称型阶跃函数图2.5所示的作用函数，为对称型阶跃函数，也称之为符号函数。可以表示为：(2.10)采用阶跃作用函数的神经元，称为阈值逻辑单元。图2.7符号函数作用函数4、线性函数线性作用函数的输出等于输入，即(2.11)饱和线性作用函数(2.12)对称饱和线性作用函数(2.13)线性作用函数如图2.8所示：线性饱和线性对称饱和线性图2.8线性作用函数5、高斯函数图2.9所示的作用函数是高斯函数，可以表示为：(2.14)式(2.14)中的反映出高斯函数的宽度。图2.9高斯函数作用函数2.3人工神经网络模型人工神经网络(简称神经网络——NN)是由人工神经元(简称神经元)互连组成的网络，它是从微观结构和功能上对人脑的抽象、简化，是模拟人类智能的一条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。一、神经网络组成对于绝大多数的信息处理问题，即使是多输入单输出的神经元也不能满足实际需要，因此，实际应用中往往需要多个并行操作的神经元。若干个神经元通过相互连接就形成一个神经网络，这个神经网络的拓扑结构称为神经网络的互连模式。图2.10给出了一个简单的神经网络，其中每个小圆圈表示一个神经元(也称处理单元或节点)。各个神经元之间的连接并不只是一个单纯的传送信号的通道，而是在每对神经元之间的连接上有一个加权系数，这个加权系数起着生物神经系统中神经元的突触强度的作用，它可以加强或减弱上一个神经元的输出对下一个神经元的刺激。这个加权系数通常称为权值(或称为连接强度、突触强度)。图2.10简单的神经网络在神经网络中，连接权值并非固定不变，而是按照一定的规则和学习算法进行自动修改。这也体现出神经网络系统的“进化”行为。神经网络中神经元模型、数量及互连模式确定了神经网络的结构，而神经网络结构又决定了神经网络信息处理的能力。最初的神经网络结构只由输入层和输出层组成。这种结构的神经网络信息处理能力极为有限，不能进行复杂的计算。后来在这种双层神经网络的基础上引入了中间隐含层，大大地提高了神经网络的计算能力。研究表明由具有Sigmoid型作用函数的隐含层和具有线性作用函数的输出层构成的三层神经网络，经过训练后，可以以任意精度逼近绝大多数的函数。二、神经网络结构目前，神经网络模型的种类比较多，已有近40余种神经网络模型，其中典型的有BP网络、Hopfield网络、CMAC小脑模型、ART自适应共振理论和Blotzman机网络等。众所周知，神经网络强大的计算功能是通过神经元的互连而达到的。根据神经元的拓扑结构形式不同，神经网络可分成以下两大类：1、层次型神经网络神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出层后输出(图2.11(a))。每层的神经元只接受前一层神经元的输入，各神经元之间不存在反馈。所以这种网络形式又称为前向神经网络。感知器(Perceptron)、BP神经网络和径向基函数(RBF---RedialBasisFunction)神经网络都属于这种类型。(a)(b)(c)图2.11层次神经网络模型在前向神经网络中有的在同一层中的各神经元相互有连接，见图2.11(b)。通过层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴奋机制，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。在层次网络结构中，只在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈，如图2.11(c)所示。这种模式可用来存储某种模式序列，如神经认知机即属于此类，也可以用于动态时间序列过程的神经网络建模。2、互连型神经网络在互连网络模型中，任意两个神经元之间都可能有相互连接的关系，如图2.12所示。其中，有的神经元之间是双向的，有的是单向的。Hopfield网络、Boltzman机网络属于这一类。图2.12互连神经网络模型在无反馈的前向网络中，信号一旦通过某个神经元，过程就结束了。而在互连网络中，信号要在神经元之间反复往返传递，神经网络处在一种不断改变状态的动态之中。从某个初始状态开始，经过若干次的变化，才会到达某种平衡状态，根据神经网络的结构和神经元的特性，还有可能进入周期振荡或其它如浑沌等平衡状态。根据神经网络的连接结构及功能特点可知，层次型神经网络主要用于函数映射，互连型神经网络主要用作各种联想存储器或用于求解最优化问题。§3神经网络的效能神经网络是由大量神经元广泛连接而成的复杂系统，是人脑神经系统的某种简化、抽象或模拟，它可以反映出人脑功能的部分特性。虽然构成神经网络的每个神经元的功能和结构比较简单，但是，由大量神经元广泛连接起来的神经网络却能演化出丰富多彩、异常复杂的动力学行为。神经网络具有良好的自学习能力，通过训练后可以获得期望的输出特性，因此，神经网络在复杂计算及智能信息处理过程得到广泛应用。3.1神经网络的工作过程神经网络的工作过程主要分为学习期和工作期两个阶段：在学习期，神经元之间的连接权值按照一定的学习规则进行自动调整，调整的目标是使性能函数达到最小。当性能指标满足要求时，学习过程结束；在工作期，神经网络中各神经元的连接权值固定，由网络输入信号计算出网络的输出结果。由神经网络的结构分析可知，其输出性能主要取决于以下几个因素：=1\*GB2⑴神经元的模型结构；=2\*GB2⑵神经网络的拓扑结构；=3\