神经网络简介

1、主要内容 3.1 3.1 概述概述 3.2 3.2 前馈神经网络前馈神经网络 1 3.1.1生物神经元模型 人脑大约包含1012个神经元，分成约1000种 类型，每个神经元大约与102104个其他神 经元相连接，形成极为错综复杂而又灵活多 变的神经网络。每个神经元虽然都十分简单， 但是如此大量的神经元之间、如此复杂的连 接却可以演化出丰富多彩的行为方式。同时， 如此大量的神经元与外部感受器之间的多种 多样的连接方式也蕴含了变化莫测的反应方 式。 2 3 3.1.2 人工神经元模型 人工神经元是利用物理器件对生物神经元的一种模拟 与简化。它是神经网络的基本处理单元。如图所示为 一种简化的人工神经

2、元结构。它是一个多输入、单输 出的非线性元件。 4 5 其输入、输出关系可描述为 其中， 是从其他神经元传来的输入信号； 表示从神经元j到神经元i的连接权系数； 为阈值； 称为输出变换函数。 6 n j ijiji xwI 1 )( ii Ify )n ,j(xj 21 ij w i )(f 输出变换函数 决定了神经元（节点）的输出。该输出 为1或0，取决于其输入之和大于或小于内部阈值 。函数 一般具有非线性特性。下图表示了几种常见的激发 函数。 7 )(f i )(f 8 3.1.3 人工神经网络模型 人工神经网络是以工程技术手段来模拟人脑神经元网 络的结构与特征的系统。利用人工神经元可以构

3、成各 种不同拓扑结构的神经网络，它是生物神经网络的一 种模拟和近似。就神经网络的主要连接型式而言，目 前已有数十种不同的神经网络模型，其中前馈型网络 和反馈型网络是两种典型的结构模型。 9 人工神经网络是一个并行和分布式的信息处理网 络结构，该网络结构一般由许多个神经元组成， 每个神经元有一个单一的输出，它可以连接到很 多其他的神经元，其输入有多个连接通路，每个 连接通路对应一个连接权系数。 严格来说，神经网络是一个具有如下性质的有向 图。 （1）对于每个结点有一个状态变量 ； （2）结点i到结点j有一个连接权系数 ； （3）对于每个结点有一个阈值 ； （4）对于每个结点定义一个变换函数 。

4、10 j x ij w i )(f 3.2 前馈型神经网络 前馈型神经网络如图所示，神经元分层排列，有输入 层、隐层（可有若干层）和输出层，其信息从输入层 依次向上传递，直至输出层。每一层的神经元只接受 前一层神经元的输入。 从学习的观点来看，前馈网络是一种强有力的学习系 统，其结构简单而易于编程；从系统的观点看，前馈 网络是一静态非线性映射，通过简单非线性处理单元 的复合映射，可获得复杂的非线性处理能力。但从计 算的观点看，缺乏丰富的动力学行为。大部分前馈网 络都是学习网络，它们的分类能力和模式识别能力一 般都强于反馈网络，典型的前馈网络有感知器网络、 BP 网络等。 11 12 3.2.1

5、 感知器网络 感知器（perceptrvon）是一个具有单层神经元的神经 网络，并由线性阈值元件组成，是最简单的前向网络。 它主要用于模式分类，单层的感知器网络结构如下图所 示。 13 14 感知器的一种学习算法： 随机地给定一组连接权 ，k=0; 输入任取的一组样本和期望的输出（亦称之为教师信 号），计算 计算感知器实际输出 调整连接权 选取另外一组样本，重复上述2）4）的过程，直 到权值对一切样本均稳定不变为止，学习过程结束。 15 0 i w n i pii xws 1 1 1 )s(fy p 3.2.2 BP网络 误差反向传播神经网络，简称BP网络（Back Propagation），

6、是一种单向传播的多层前向网络。在 模式识别、图像处理、系统辨识、函数拟合、优化计算、 最优预测和自适应控制等领域有着较为广泛的应用。如 图是BP网络的示意图。 下面要介绍的多层前馈网的神经元变换函数采用S型函 数，因此输出量是0到1之间的连续量，它可以实现从 输入到输出的任意的非线性映射。 16 17 误差反向传播的BP算法简称BP算法，其基本 思想是最小二乘算法。它采用梯度搜索技术， 以期使网络的实际输出值与期望输出值的误差 均方值为最小。 BP算法的学习过程由正向传播和反向传播组成。 在正向传播过程中，输入信息从输入层经隐含 层逐层处理，并传向输出层，每层神经元（节 点）的状态只影响下一层

7、神经元的状态。如果 在输出层不能得到期望的输出，则转人反向传 播，将误差信号沿原来的连接通路返回，通过 修改各层神经元的权值，使误差信号最小。 18 BP学习算法的计算步骤 1). 初始化 置所有权值为较小的随机数 2). 提供训练集 3). 计算实际输出，计算隐含层、输出层各神经元输出 4). 计算目标值与实际输出的偏差E 5). 计算 6). 计算 7). 返回“2）”重复计算，直到误差满足要求为止 19 jkpw ijpw 20 在使用BP算法时，应注意的几个问题是： 1). 学习开始时，各隐含层连接权系数的初值应 以设置较小的随机数较为适宜。 2). 采用S型激发函数时，由于输出层各神

8、经元 的输出只能趋于1或0，不能达到1或0。在设置 各训练样本时，期望的输出分量dpk不能设置为 1或0，以设置为或0，1较为适宜。 3). 学习速率的选择，在学习开始阶段，选 较大的值可以加快学习速度。学习接近优化区 时，值必须相当小，否则权系数将产生振荡 而不收敛。平滑因子的选值在左右。 21 3.2.3 BP网络学习算法的改进 1多层前向BP网络的优点： 1). 网络实质上实现了一个从输入到输出的映 射功能，而数学理论已证明它具有实现任何 复杂非线性映射的功能。这使得它特别适合 于求解内部机制复杂的问题； 2). 网络能通过学习带正确答案的实例集自动 提取“合理的”求解规则，即具有自学习

9、能 力； 22 2多层前向BP网络的问题： 1). BP算法的学习速度很慢 2). 网络训练失败的可能性较大 3). 难以解决应用问题的实例规模和网络规模间的矛 盾 4). 网络结构的选择尚无一种统一而完整的理论指导， 一般只能由经验选定 5). 新加入的样本要影响已学习成功的网络，而且刻 画每个输入样本的特征的数目也必须相同 6). 网络的预测能力（也称泛化能力、推广能力）与 训练能力（也称逼近能力、学习能力）的矛盾 23 3BP网络学习算法的改进 1). 增加“惯性项 2). 采用动态步长 3). 与其他全局搜索算法相结合 4). 模拟退火算法 目前在神经网络的学习中，基于梯度的算法都不能

10、从理 论上保证收敛结果是全局最优的。 24 3.2.4 神经网络的训练 可以任意逼近一个紧集上的任意函数这一特点是神 经网络广泛应用的理论基础。但是，在实际应用中， 目前尚未找到较好的网络构造方法，确定网络的结构 和权值参数，来描述给定的映射或逼近一个未知的映 射，只能通过学习来得到满足要求的网络模型。 25 神经网络训练的具体步骤如下 1获取训练样本集 获取训练样本集合是训练神经网络的第一步，也是十分重 要和关键的一步。它包括训练数据的收集、分析、选择和 预处理等 2选择网络类型与结构 神经网络的类型很多，需要根据任务的性质和要求来选择 合适的网络类型。 3训练与测试 最后一步是利用获取的训

11、练样本对网络进行反复训练，直 至得到合适的映射结果。 26 3.1.1生物神经元模型 人脑大约包含1012个神经元，分成约1000种 类型，每个神经元大约与102104个其他神 经元相连接，形成极为错综复杂而又灵活多 变的神经网络。每个神经元虽然都十分简单， 但是如此大量的神经元之间、如此复杂的连 接却可以演化出丰富多彩的行为方式。同时， 如此大量的神经元与外部感受器之间的多种 多样的连接方式也蕴含了变化莫测的反应方 式。 27 3.1.2 人工神经元模型 人工神经元是利用物理器件对生物神经元的一种模拟 与简化。它是神经网络的基本处理单元。如图所示为 一种简化的人工神经元结构。它是一个多输入、单输 出的非线性元件。 28 其输入、输出关系可描述为 其中， 是从其他神经元传来的输入信号； 表示从神经元j到神经元i的连接权系数； 为阈值； 称为输出变换函数。 29 n j ijiji xwI 1 )( ii Ify )n ,j(xj 21 ij w i )(f 30 3.1.3 人工神经网络模型 人工神经网络是以工程技术手段来模拟人脑神经元网 络的结构与特征的系统。利用人工神经元可以构成各 种不同拓扑结构的神经网络，它是生物神经网络的一 种模拟和近似。就神经网络的主要连接型式而言，目 前