神经网络基础辅导

神经网络基础辅导中央电大理工部冼健生

2006年12月11日一、神经网络的基本特征与功能神经网络是对人脑生物神经网络的简化、抽象与模拟，是一种模仿人脑结构及功能的信息处理系统，它可呈现出人脑的许多特征，并具有人脑的一些基本功能。1．基本特征（1）结构特征1）并行处理神经网络是由大量简单处理元件相互连接构成的高度并行的非线性系统，具有大规模并行性处理特征。2）分布式存储结构上的并行性使神经网络的信息存储必然采用分布式方式，分布在网络所有的连接权中。3）容错性神经网络的容错性表现为两个方面：其一，网络中部分神经元损坏时不会对系统的整体性能造成影响；其二，神经网络能通过联想恢复完整的记忆，实现对不完整输入信息的正确识别。（2）能力特征1）自学习能力神经网络的自学习能力是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于给定输入能产生期望的输出。2）自组织能力神经网络的自组织能力是指神经系统能在外部刺激下按一定规则调整神经网络元之间的突触连接，逐渐构建起神经网络。3）自适应性神经系统的自适应性是指神经系统通过改变自身的性能以适应环境变化的能力。实际上自适应性包含了自学习和自组织两层含义，它是通过自学习和自组织实现的。2．主要功能人工神经网络具有人脑生物神经系统的某些智能特点：（1）联想记忆神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。（2）非线性映射设计合理的神经网络通过对系统输入输出样本对照进行自动学习，能够以任意精度逼近任意复杂的非线性映射。（3）分类与识别由于神经网络可以很好地解决对非线性曲面的逼近，因此对于在样本空间上区域分割曲面十分复杂的事物，神经网络具有很强的识别和分类能力。（4）优化计算优化计算指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。神经网络将目标函数设计为网络的能量函数，无需对目标函数求导即可求解。（5）知识处理与人脑类似，神经网络可以从对象的输入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。二、生物神经及其信息处理的控制1．生物神经元的结构生物神经元在结构上由细胞体、树突、轴突和突触四部分组成。（1）细胞体细胞体是神经元的主体。神经元中信息的产生和整合是由细胞体完成的。（2）树突树突是从细胞体向外延伸出的多支神经纤维。神经元靠树突接受来自其他神经元的输入信号，相当于细胞体的输入端。（3）轴突由细胞体伸出的最长的一条突起称为轴突，用来传出细胞体产生的输出电化学信号，相当于细胞体的输出端。（4）突触神经元之间通过轴突末梢或树突进行通信连接，这种连接相当于神经元之间的输入输出接口，称为突触。多个神经元以突触连接即形成神经网络。2．生物神经元的信息处理机制在神经元中，突触为输入输出接口，树突和细胞体为输入端，接受突触点的输入信号；细胞体相当于一个微型处理器，对各树突和细胞体各部位收到的来自其他神经元的输入信号进行组合，并在一定条件下触发，产生一输出信号；输出信号沿轴突传至末梢，轴突末梢作为输出端通过突触将这一输出信号传向其他神经元的树突和细胞体。神经元间信息的产生、传递和处理是一种电化学活动。神经元产生的信息是具有电脉冲形式的神经冲动，信息的传递和接收、信息的整合也是通过这些电脉冲信号在神经元之间的输入、输出而完成的。

三、人工神经元模型以及神经网络模型1．人工神经元模型（1）图解模型人工神经元是对生物神经元的一种模拟，其图解模型应具有生物神经元的四个功能：神经元具有多输入信号；每一个输入都有一个加权系数wij，反映突触的不同连接强度；组合输入信号的“总和值”，相应于生物神经元的膜电位；人工神经元的输出与输入之间的对应关系可用某种函数来表示。（2）数学模型神经元数学模型的简化形式为式中Oj表示神经元的输出；Wj表示权重向量；X为输入向量；f为神经元转移函数的符号。（3）转移函数神经元的转移函数决定了神经元的信息处理特性，它反映了神经元输出与其激活状态之间的关系。常用的转移函数有阈值型转移函数、非线性转移函数和分段线性转移函数三种。2．人工神经网络模型人工神经网络模型有两种分类方式。按照神经元的的连接方式，神经网络可分为层次型网络结构和全互连型网络结构两类。根据网络信息流量不同，神经网络又可分为前馈型网络和反馈型网络两类。如教材图3-9所示，单纯前馈型网络的结构与层次型网络是一致的，信息的处理具有逐层传递的方向性；图3-10是单纯反馈型网络的结构示意，它与全互连型网络一致，网络中所有节点都具有信息处理功能。3．人工神经网络的学习人工神经网络的功能特性由其连接的拓扑结构和突触连接强度，即连接权值决定。神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的实际输出不断地接近所期望的输出。神经网络的学习方式改变权值的规则称为学习规则或学习算法。神经网络的学习算法一类是有导师学习，一类为无导师学习。有导师学习在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”。当网络的输出与期望的教师信号不符时，则调整权值，能产生所期望的输出。无导师学习需要不断给网络提供动态输入信息，网络能根据自有的学习规则和这些输入信息调整权值。这种模式中，网络的权值调整不取决于外来教师信号的影响，网络的学习评价标准隐含于网络的内部。四、多层前馈神经网络1．单层感知器及其功能单层感知器是只有一层处理单元的感知器，包括输入层在内，应为两层。从对一个最简单的单计算节点感知器分析，可知单层感知器具有分类功能。但它只能解决线性可分问题，而不可能用于解决线性不可分问题。这是单层感知器的局限性。2．BP神经网络BP神经网络是指基于误差反向传播算法的多层前馈神经网络。反向传播算法的基本思路：学习过程由信号的正向传播和反向传播两个过程组成。正向传播时，输入样本由输入层进入，经隐层处理后传向输出层。若实际输出与教师信号不符，则转入误差的反向传播阶段。输出误差将通过隐层向输入层逐层反传，并把误差分摊而得到各层单元的误差信号，作为修正各单元权值的依据。权值的调整过程即BP网络的学习过程，直到网络输出精度满足要求为止。优点：将BP算法用于具有非线性转移函数的三层前馈网，可以以任意精度逼近非线性函数。缺点：易形成局部极小而得不到全局最优。训练次数多使得学习效率低，收敛速度慢。五、离散型反馈神经网络DHNN1．DHNN网络结构DHNN网络结构为单层全反馈网络。每个神经元都通过连接权接收所有神经元输出反馈回来的信息，其目的是为了让任一个神经元的输出都能受所有神经元输出的控制，从而使各神经元的输出能相互制约。2．DHNN的稳定性DHNN网是一个离散的非线性动力学系统。网络从初态X（0）开始，若能经有限次递归