神经网络控制及应用基础ppt课件

1、第三章第三章 人工神经网络人工神经网络控制及运用控制及运用人工神经网络定义人工神经网络定义 人工神经网络是一个由许多简单的并行任务的人工神经网络是一个由许多简单的并行任务的处置单元组成的系统，其功能取决于网络的构造、处置单元组成的系统，其功能取决于网络的构造、衔接强度以及各单元的处置方式。衔接强度以及各单元的处置方式。 人工神经网络是一种旨在模拟人脑构造及其功能人工神经网络是一种旨在模拟人脑构造及其功能的信息处置系统。的信息处置系统。 神经网络是由多个非常简单的处置单元彼此按神经网络是由多个非常简单的处置单元彼此按某种方式相互衔接而构成的计算系统，该系统是靠某种方式相互衔接而构成的计算系统，该

2、系统是靠其形状对外部输入信息的动态呼应来处置信息的。其形状对外部输入信息的动态呼应来处置信息的。3.1.13.1.1神经网络的根本特征与功能神经网络的根本特征与功能构造特征：构造特征：并行式处置并行式处置分布式存储分布式存储容错性容错性才干特征：才干特征：自学习自学习自组织自组织自顺应性自顺应性 3.1.1 3.1.1 神经网络的根本特征与功神经网络的根本特征与功能能联联想想记记忆忆功功能能非线性映射功能非线性映射功能输输入入样样本本 神神经经网网络络 输输出出样样本本 自自动动提提取取 非非线线性性映映射射规规则则 3.1.1 3.1.1 神经网络的根本特征与功神经网络的根本特征与功能能分类

3、与识别功能分类与识别功能 传统分类能力传统分类能力 ANN 分类能力分类能力 3.1.1 3.1.1 神经网络的根本特征与功神经网络的根本特征与功能能优化计算功能优化计算功能 3.1.1 3.1.1 神经网络的根本特征与功神经网络的根本特征与功能能知识处置功能知识处置功能 问问 题题 解解 答答 知知 识识 分分 布布 式式 表表 示示 由由 同同 一一 知知 识识 获获 取取 、 知知 识识 库库 神神 经经 网网 平平 行行 推推 理理 络络 实实 现现 输输 入入 数数 据据 变变 量量 变变 换换 求求 解解 的的 问问 题题 神神 经经 网网 络络 专专 家家 系系 统统 的的 构构

4、 成成 3.1.1 3.1.1 神经网络的根本特征与功神经网络的根本特征与功能能3.1.2 生物神经元及其信息处置生物神经元及其信息处置生物神经元生物神经元人工神经元模型人工神经元模型 人类大脑大约包含有人类大脑大约包含有1.41.410111011个个神经元，每个神经元与大约神经元，每个神经元与大约103103105105个其它神经元相衔接，构成一个个其它神经元相衔接，构成一个极为庞大而复杂的网络，即生物神极为庞大而复杂的网络，即生物神经网络。经网络。3.1.2 生物神经元及其信息处置生物神经元及其信息处置 神经生理学和神经解剖学的研讨结果神经生理学和神经解剖学的研讨结果阐明，神经元阐明，神

5、经元(Neuron)是脑组织的根本单是脑组织的根本单元，是人脑信息处置系统的最小单元。元，是人脑信息处置系统的最小单元。3.1.2 生物神经元及其信息处置生物神经元及其信息处置3.1.2.1生物神经元的构造生物神经元的构造 生物神经元在构造上由 细胞体(Cell body) 树突(Dendrite) 轴突(Axon) 突触(Synapse) 四部分组成。用来完成神经元间信息的接纳、传送和处置。3.1.2 生物神经元及其信息处置生物神经元及其信息处置3.1.2.2 生物神经元的信息处置机生物神经元的信息处置机理理信息的产生信息的产生 神经元间信息的产生、传送和处置是一神经元间信息的产生、传送和处

6、置是一种电化学活动。种电化学活动。信信息息的的传传送送与与接接纳纳3.1.2.2 生物神经元的信息处置机生物神经元的信息处置机理理空间整合：同一时辰产生的刺激所引起的膜电空间整合：同一时辰产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变位变化，大致等于各单独刺激引起的膜电位变化的代数和。化的代数和。时间整合：各输入脉冲抵达神经元的时间先后时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累不一样。总的突触后膜电位为一段时间内的累积。积。3.1.2.2 生物神经元的信息处置机生物神经元的信息处置机理理 由多个生物神经元以确定方式和拓扑构由多个生物神经元以

7、确定方式和拓扑构造造 相互衔接即构成生物神经网络。相互衔接即构成生物神经网络。 生物神经网络的功能不是单个神经元信息 处置功能的简单叠加。 神经元之间的突触衔接方式和衔接强度神经元之间的突触衔接方式和衔接强度不不 同并且具有可塑性，这使神经网络在宏同并且具有可塑性，这使神经网络在宏观观 呈现出千变万化的复杂的信息处置才干呈现出千变万化的复杂的信息处置才干。 神经元及其突触是神经网络的根本器件。因此，模拟生物神经网络应首先模拟生物神经元。在人工神经网络中，神经元常被称为“处置单元。有时从网络的观念出发常把它称为“节点。人工神经元是对生物神经元的一种方式化描画。 x1 x1 w1j o oj j

8、wij o oj j xi xi wnj xn xn (a)多多输输入入单单输输出出 (b)输输入入加加权权 x1 w1j x1 w1j wij o oj j wij o oj j xI xI f wnj wnj xn xn (c)输输入入加加权权求求和和 (d)输输入入-输输出出函函数数神神经经元元模模型型表表示示图图神神经经元元的的数数学学模模型型)()(jn1iijiijjTtxwftoij 输入输出间的突触时延；输入输出间的突触时延； Tj 神经元神经元j的阈值；的阈值； wij 神经元神经元i到到 j 的突触衔接系数或称的突触衔接系数或称 权重值；权重值； f ()神经元转移函数。神

9、经元转移函数。)()(jn1iiijjTtxwf1to(3-1)(3-2)n1iiijjtxwttne)()(3-3) net netj=WjTX (3-j=WjTX (3-4)4) Wj=(w1 w2 wn)T Wj=(w1 w2 wn)T X=(x1 x2 xn)T X=(x1 x2 xn)T 令令x0=-1，w0=Tj，那么有，那么有-Tj=x0w0神神经经元元的的数数学学模模型型XWTjn0iiijjjjxwnetTtne(3-5) oj=f(netj)=f (WjTX) (3-6)神神经经元元的的数数学学模模型型神神经经元元的的转转移移函函数数(1)阈值型转移函数阈值型转移函数 1

10、x0f(x)= (3-7) 0 x0 f (x ) 1 .0 x0(2)非线性转移函数非线性转移函数xexf11)(xxeexf11)( f (x) 1.0 0.5x0 f (x) 1.0 0 x-1.0神神经经元元的的转转移移函函数数(3-8)(3)分段线性转移函数分段线性转移函数 f (x) 1.0 x0 xc 0 x0f(x)= cx 0 xxc (3-9) 1 xc x 神神经经元元的的转转移移函函数数层次型构造层次型构造 按按神神经经元元衔衔接接方方式式分分类类 输出层到输入层有衔接输出层到输入层有衔接 按按神神经经元元衔衔接接方方式式分分类类 层内有衔接的层次型构造层内有衔接的层次

11、型构造 按按神神经经元元衔衔接接方方式式分分类类 全互连型构造全互连型构造 按按神神经经元元衔衔接接方方式式分分类类 按按网网络络信信息息流流向向分分类类前馈型网络前馈型网络 反响型网络反响型网络 按按网网络络信信息息流流向向分分类类 神经网络可以经过对样本的学习训练，神经网络可以经过对样本的学习训练，不断改动网络的衔接权值以及拓扑构造，以不断改动网络的衔接权值以及拓扑构造，以使网络的输出不断地接近期望的输出。这一使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是过程称为神经网络的学习或训练，其本质是可变权值的动态调整。可变权值的动态调整。 神经网络的学习算法：常用学习规则一览表 权值调整 学习规则 向量式 元素式 权 值 初始化 学习方式 转移函数 Hebbian XXWW)(Tjjf i)(xfwTjijXW 0 无导师 任意 Perceptron XXWW)(Tjjjsgn-d i)(xsgn-dwTjjijXW 任意 有导师 二进制 Delta XW)()(jjjjnetf-od ijjjijxn