最新人工神经网络基础

1、人工神经网络基础 人工神经网络 人工神经网络基础 l人工神经网络概述 l前向多层网络 l自组织特征映射网络（SOFM） 人工神经网络基础 一 人工神经网络发展 二 生物学基础 三 人工神经网络结构 四 神经网络基本学习算法 人工神经网络概述 人工神经网络基础 一一 人工神经网络发展人工神经网络发展 n最早的研究可以追溯到20世纪40年代。1943年，心 理学家McCulloch和数学家Pitts合作提出了形式神 经元的数学模型。这一模型一般被简称M-P神经网 络模型，至今仍在应用，可以说，人工神经网络的 研究时代，就由此开始了。 n1949年，心理学家Hebb提出神经系统的学习规则， 为神经网

2、络的学习算法奠定了基础。现在，这个规 则被称为Hebb规则，许多人工神经网络的学习还遵 循这一规则。 人工神经网络基础 l1957年，F.Rosenblatt提出“感知器”(Perceptron) 模型，第 一次把神经网络的研究从纯理论的探讨付诸工程实践，掀 起了人工神经网络研究的第一次高潮。 l1969年，人工智能学者专著感知机的发表，从数学上 严格论证了简单的线性感知机不能解决“异或”（XOR） 问题。同时也指出如果在感知器中引入隐含神经元，增加 神经网络的层次，可以提高神经网络的处理能力，但是却 无法给出相应的网络学习算法。于是，从20世纪60年代末 期起，人工神经网络的研究进入了低潮。

3、 一一 人工神经网络发展人工神经网络发展 人工神经网络基础 l1982年，美国加州工学院物理学家Hopfield提出了离散的 神经网络模型，标志着神经网络的研究又进入了一个新高 潮。1984年，Hopfield又提出连续神经网络模型，开拓了 计算机应用神经网络的新途径。 l1986年，Rumelhart和Meclelland提出多层网络的误差反 传(back propagation)学习算法，简称BP算法。解决了多 层前向神经网络的学习问题，证明了多层神经网络具有很 强的学习能力，它可以完成许多学习任务，解决许多实际 问题。 一一 人工神经网络发展人工神经网络发展 人工神经网络基础 l自20世

4、纪80年代中期以来，世界上许多国家掀 起了神经网络的研究热潮，可以说神经网络已 成为国际上的一个研究热点。 一一 人工神经网络发展人工神经网络发展 人工神经网络基础 神经网络研究的两大派：神经网络研究的两大派： l主要包括:生物学家、物理学家和心理学家 l研究目的：给出大脑活动的精细模型和描述。 l主要包括:工程技术人员 l主要目的：怎样利用神经网络的基本原理，来构 造解决实际问题的算法，使得这些算法具有有趣 的和有效的计算能力。 l人工神经网络属于此类 一一 人工神经网络发展人工神经网络发展 人工神经网络基础 人工神经网络概念：人工神经网络概念： l人工神经网络： l就是把一个描述生物神经网

5、络运行机理和工 作过程的抽象和简化了的数学-物理模型，表 达成为一个以其中的人工神经元为节点、以 神经元之间的连接关系为路径权值的有向图， 再用硬件或软件程序实现该有向图的运行， 其稳态运行结果体现生物神经系统的某种特 殊能力。 一一 人工神经网络发展人工神经网络发展 人工神经网络基础 l人工神经网络是近年来得到迅速发展的一 个前沿课题。神经网络由于其大规模并行 处理、容错性、自组织和自适应能力和联 想功能强等特点，已成为解决很多问题的 有力工具。 一一 人工神经网络发展人工神经网络发展 人工神经网络基础 二二 生物学基础生物学基础 l 生物神经元 l 突触信息处理 l 信息传递功能与特点 人

6、工神经网络基础 1、生物神经元 l神经元是大脑处理信息的基本单元 l人脑约由101l-1012个神经元组成，其中，每个神 经元约与104-105个神经元通过突触联接，形成 极为错纵复杂而且又灵活多变的神经网络 l神经元以细胞体为主体，由许多向周围延伸的 不规则树枝状纤维构成的神经细胞，其形状很 像一棵枯树的枝干 l主要由细胞体、树突、轴突组成 人工神经网络基础 树突是树状的神经纤维接收网络，它将电信号传送到细胞体树突是树状的神经纤维接收网络，它将电信号传送到细胞体 细胞体对这些输入信号进行整合并进行阈值处理细胞体对这些输入信号进行整合并进行阈值处理 轴突是单根长纤维，它把细胞体的输出信号导向其

7、他神经元轴突是单根长纤维，它把细胞体的输出信号导向其他神经元 神经元的排列和突触的强度神经元的排列和突触的强度( (由复杂的化学过程决定由复杂的化学过程决定) )确立了神经网络确立了神经网络 的功能。的功能。 1、生物神经元 人工神经网络基础 生物学研究表明一些神经结构是与生俱来的，而 其他部分则是在学习的过程中形成的。 在学习的过程中，可能会产生一些新的连接，也 可能会使以前的一些连接消失。这个过程在生命 早期最为显著。 1、生物神经元 人工神经网络基础 2 2、突触的信息处理、突触的信息处理 l生物神经元传递信息的过程为多输入、单输出； l神经元各组成部分的功能来看，信息的处理与传 递主要

8、发生在突触附近； l当神经元细胞体通过轴突传到突触前膜的脉冲幅 度达到一定强度，即超过其阈值电位后，突触前 膜将向突触间隙释放神经传递的化学物质； l突触有两种类型，兴奋性突触和抑制性突触。前 者产生正突触后电位，后者产生负突触后电位。 人工神经网络基础 3 3、信息传递功能与特点、信息传递功能与特点 具有时空整合能力 不可逆性，脉冲只从突触前传到突触后，不逆向传递 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在 1150ms之间 信息传递时延和不应期，一般为0.3lms 可塑性，突触传递信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳（饱和）效应 l对应突触传递作用增强、减弱和饱

9、和 人工神经网络基础 三三 人工神经网络结构人工神经网络结构 l人工神经网络人工神经网络 l人工神经元模型人工神经元模型 l常见的神经元激发函数常见的神经元激发函数 l人工神经网络典型结构人工神经网络典型结构 人工神经网络基础 1943，神经生理学家，神经生理学家 McCulloch 和数学家和数学家 Pitts 基于早期神经元学说，归纳总结了生物神经基于早期神经元学说，归纳总结了生物神经 元的基本特性，建立了具有逻辑演算功能的神经元的基本特性，建立了具有逻辑演算功能的神经 元模型以及这些人工神经元互联形成的人工神经元模型以及这些人工神经元互联形成的人工神经 网络，即所谓的网络，即所谓的 Mc

10、Culloch-Pitts 模型。模型。 McCulloch-Pitts 模型（模型（MP模型）是世界上第模型）是世界上第 一个神经计算模型，即人工神经系统。一个神经计算模型，即人工神经系统。 二、人工神经元模型二、人工神经元模型 人工神经网络基础 MP模型：模型： 称为输出函数或激活函数称为输出函数或激活函数 人工神经网络基础 n 激活函数激活函数 n 求和操作求和操作 1 ( )() n iijiji j yf xfw u ij n j jii uwx 1 MP模型：模型： 人工神经网络基础 f(x)是激活函数是激活函数(Activation Function)，也称输出函数。，也称输出函

11、数。 MP神经元模型中的输出函数为阶跃函数：神经元模型中的输出函数为阶跃函数： 其表达式为：其表达式为： 0,0 0,1 )( x x xf MP模型：模型： 人工神经网络基础 激活函数的基本作用激活函数的基本作用 控制输入对输出的激活作用控制输入对输出的激活作用 对输入、输出进行函数转换对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输出将可能无限域的输入变换成指定的有限范围内的输出 可知当神经元可知当神经元i i的输入信号加权和超过阈值时，输出为的输入信号加权和超过阈值时，输出为 “1”1”，即，即“兴奋兴奋”状态；反之输出为状态；反之输出为“0”0”，是，是“抑制抑制

12、” 状态。状态。 MP模型：模型： 人工神经网络基础 例例：实现逻辑函数“与门”（AND gate）运 算。 1 真，0假 人工神经网络基础 例例：实现逻辑函数“与门”（AND gate）运 算。 1 真，0假 人工神经网络基础 3 3、常见的神经元激活函数、常见的神经元激活函数 MP 神经元模型是人工神经元模型的基础，也是神经神经元模型是人工神经元模型的基础，也是神经 网络理论的基础。在神经元模型中，激活函数除了阶跃函网络理论的基础。在神经元模型中，激活函数除了阶跃函 数之外，还有其它形式。不同的激活函数，可构成不同的数之外，还有其它形式。不同的激活函数，可构成不同的 神经元模型。神经元模型

13、。 人工神经网络基础 对称型对称型Sigmoid函数函数 x x e e xf 1 1 )( 0, 1 1 )( x x e e xf或或 人工神经网络基础 非对称型非对称型Sigmoid函数函数 x e xf 1 1 )( 或或0, 1 1 )( x e xf 人工神经网络基础 对称型阶跃函数对称型阶跃函数 0,1 0,1 )( x x xf 采用阶跃作用函数的神经元，称为阈值逻辑单元。采用阶跃作用函数的神经元，称为阈值逻辑单元。 人工神经网络基础 线性函数线性函数 （1 1）线性作用函数：输出等于输入，即）线性作用函数：输出等于输入，即 xxfy)( （2 2）饱和线性作用函数）饱和线性作

14、用函数 1 10 0 1 0 )( x x x xxfy （3 3）对称饱和线性作用函数）对称饱和线性作用函数 1 11 1 1 1 )( x x x xxfy 人工神经网络基础 高斯函数高斯函数 )( 22 )( x exf 反映出高斯函数的宽度反映出高斯函数的宽度 人工神经网络基础 双曲正切函数双曲正切函数 人工神经网络基础 n众所周知，神经网络强大的计算功能是通过神经元的互众所周知，神经网络强大的计算功能是通过神经元的互 连而达到的。根据神经元的拓扑结构形式不同，神经网络连而达到的。根据神经元的拓扑结构形式不同，神经网络 可分成以下两大类：可分成以下两大类： 4 4、人工神经网络的典型结

15、构、人工神经网络的典型结构 n目前，神经网络模型的种类比较多，已有近目前，神经网络模型的种类比较多，已有近4040余种神经余种神经 网络模型，其中典型的有网络模型，其中典型的有BPBP网络、网络、HopfieldHopfield网络、网络、CMACCMAC小小 脑模型、脑模型、ARTART自适应共振理论和自适应共振理论和BlotzmanBlotzman机网络等机网络等 人工神经网络基础 层次型神经网络层次型神经网络 （1 1）前向神经网络）前向神经网络 神经元分层排列，顺序连接。由输入层施加输入信息，通过神经元分层排列，顺序连接。由输入层施加输入信息，通过 中间各层，加权后传递到输出层后输出。

16、每层的神经元只接中间各层，加权后传递到输出层后输出。每层的神经元只接 受前一层神经元的输入，各神经元之间不存在反馈受前一层神经元的输入，各神经元之间不存在反馈。 人工神经网络基础 （2 2）层内有互联的前向神经网络）层内有互联的前向神经网络 在前向神经网络中有在前向神经网络中有 的在同一层中的各神经元相互有连接的在同一层中的各神经元相互有连接, ,通过层内神经元的通过层内神经元的 相互结合，可以实现同一层内神经元之间的横向抑制或兴相互结合，可以实现同一层内神经元之间的横向抑制或兴 奋机制，这样可以限制每层内能同时动作的神经元数，或奋机制，这样可以限制每层内能同时动作的神经元数，或 者把每层内的

17、神经元分为若干组，让每组作为一个整体来者把每层内的神经元分为若干组，让每组作为一个整体来 动作。动作。 层次型神经网络层次型神经网络 人工神经网络基础 （3 3）有反馈的前向神经网络）有反馈的前向神经网络 在层次网络结构中，只在在层次网络结构中，只在 输出层到输入层存在反馈，即每一个输入节点都有可能接输出层到输入层存在反馈，即每一个输入节点都有可能接 受来自外部的输入和来自输出神经元的反馈。这种模式可受来自外部的输入和来自输出神经元的反馈。这种模式可 用来存储某种模式序列，如神经认知机即属于此类，也可用来存储某种模式序列，如神经认知机即属于此类，也可 以用于动态时间序列过程的神经网络建模。以用

18、于动态时间序列过程的神经网络建模。 层次型神经网络层次型神经网络 人工神经网络基础 互联型神经网络互联型神经网络 在互连网络模型中，任意两个神经元之间都可能有相在互连网络模型中，任意两个神经元之间都可能有相 互连接的关系。其中，有的神经元之间是双向的，有的是互连接的关系。其中，有的神经元之间是双向的，有的是 单向的。单向的。 HopfieldHopfield网络、网络、BoltzmanBoltzman机网络属于这一类。机网络属于这一类。 人工神经网络基础 互联型神经网络互联型神经网络 在无反馈的前向网络中，信号一旦通过某个神经元，过在无反馈的前向网络中，信号一旦通过某个神经元，过 程就结束了。

19、而在互连网络中，信号要在神经元之间反复往程就结束了。而在互连网络中，信号要在神经元之间反复往 返传递，神经网络处在一种不断改变状态的动态之中。从某返传递，神经网络处在一种不断改变状态的动态之中。从某 个初始状态开始，经过若干次的变化，才会到达某种平衡状个初始状态开始，经过若干次的变化，才会到达某种平衡状 态，根据神经网络的结构和神经元的特性，还有可能进入周态，根据神经网络的结构和神经元的特性，还有可能进入周 期振荡或其它如浑沌等平衡状态。期振荡或其它如浑沌等平衡状态。 人工神经网络基础 2、神经网络的学习规则、神经网络的学习规则 l联想式学习联想式学习 Hebb学习规则学习规则 l误差纠正式学

20、习误差纠正式学习Delta ()学习规则学习规则 三三 神经网络的基本学习方式和学习规则神经网络的基本学习方式和学习规则 1 、神经网络的学习方式、神经网络的学习方式 n有监督（误差校正）学习方式有监督（误差校正）学习方式 n无监督学习方式无监督学习方式 人工神经网络基础 l人工神经网络连接权的确定通常有两种方法 l根据具体要求，直接计算，如Hopfield网络作优化 计算 l通过学习得到的。大多数人工神经网络都采用这种 方法 n学习是改变各神经元连接权值的有效方法，也是体现人 工神经网络智能特性最主要的标志。离开了学习，神经 网络就失去了诱人的自适应、自组织能力 学习方法是人工神经网络研究中

21、的核心问题学习方法是人工神经网络研究中的核心问题 三三 神经网络的基本学习方式和学习规则神经网络的基本学习方式和学习规则 人工神经网络基础 1 1、有监督学习方式、有监督学习方式 特点：特点： 不能保证得到全局最优解不能保证得到全局最优解 要求大量训练样本，收敛速度慢要求大量训练样本，收敛速度慢 对样本地表示次序变化比较敏感对样本地表示次序变化比较敏感 神经网络根据实际输出与期望输出的偏差，按照一定神经网络根据实际输出与期望输出的偏差，按照一定 的准则调整各神经元连接的权系数，见下图。期望输出又的准则调整各神经元连接的权系数，见下图。期望输出又 称为导师信号，是评价学习的标准，故这种学习方式又

22、称称为导师信号，是评价学习的标准，故这种学习方式又称 为有导师学习。为有导师学习。 神经网络的学习方式神经网络的学习方式 人工神经网络基础 无导师信号提供给网络，神经网络仅仅根据其输入调无导师信号提供给网络，神经网络仅仅根据其输入调 整连接权系数和阈值，此时，网络的学习评价标准隐含整连接权系数和阈值，此时，网络的学习评价标准隐含 于内部。其结构见下图。这种学习方式主要完成聚类操于内部。其结构见下图。这种学习方式主要完成聚类操 作。作。 2 2、无监督学习方式、无监督学习方式 神经网络的学习方式神经网络的学习方式 人工神经网络基础 lDonall Hebb根据生理学中的条件反射机理，于根据生理学

23、中的条件反射机理，于1949 年提出的神经元连接强度变化的规则：年提出的神经元连接强度变化的规则： l如果两个神经元同时兴奋如果两个神经元同时兴奋(即同时被激活即同时被激活)，则它，则它 们之间的突触连接加强们之间的突触连接加强 l 为学习速率，为学习速率，oi、oj为神经元为神经元 i 和和 j 的输出的输出 1 1、联想式学习、联想式学习 Hebb Hebb学习规则学习规则 ijij woo Hebb学习规则是人工神经网络学习的基本规则，几乎所学习规则是人工神经网络学习的基本规则，几乎所 有神经网络的学习规则都可以看作有神经网络的学习规则都可以看作Hebb学习规则的变形学习规则的变形 神经

24、网络的学习规则神经网络的学习规则 人工神经网络基础 2 2、纠错式学习、纠错式学习 Delta() Delta()学习规则学习规则 首先我们考虑一个简单的情况：设某神经网络的输首先我们考虑一个简单的情况：设某神经网络的输 出层中只有一个神经元出层中只有一个神经元i，给该神经网络加上输入，这样，给该神经网络加上输入，这样 就产生了输出就产生了输出yi(n)，称该输出为实际输出。，称该输出为实际输出。 对于所加上的输入，我们期望该神经网络的输出为对于所加上的输入，我们期望该神经网络的输出为 d(n),称为期望输出或目标输出（样本对里面包含输入和称为期望输出或目标输出（样本对里面包含输入和 期望输出

25、）。实际输出与期望输出之间存在着误差，用期望输出）。实际输出与期望输出之间存在着误差，用 e(n)表示：表示： ( )= ( )- ( ) i e nd n y n 神经网络的学习规则神经网络的学习规则 现在要调整权值，是误差信号现在要调整权值，是误差信号e(n)减小到一个范围。减小到一个范围。 为此，可设定代价函数或性能指数为此，可设定代价函数或性能指数E(n)： 人工神经网络基础 2 1 ( )=( ) 2 E ne n 反复调整突触权值使代价函数达到最小或者使系统达反复调整突触权值使代价函数达到最小或者使系统达 到一个稳定状态（及突触权值稳定不变），就完成了该学到一个稳定状态（及突触权值

26、稳定不变），就完成了该学 习过程。习过程。 该学习过程成为纠错学习，或该学习过程成为纠错学习，或Delta学习规则。学习规则。 wij 表示神经元表示神经元xi到到xj学的突触权值，在学习步骤为学的突触权值，在学习步骤为n时时 对突触权值的调整为：对突触权值的调整为： ( )=( )( ) ijj w ne n x n 学习速学习速 率参数率参数 则则(1)=( )+( ) ijijij w nw nw n 神经网络的学习规则神经网络的学习规则 人工神经网络基础 网络的运行一般分为训练和仿真训练和仿真两个阶段。 训练的目的是为了从训练数据中提取隐含的知识和规律，并 存储于网络中供仿真工作阶段使

27、用 神经网络的仿真过程神经网络的仿真过程实质上是神经网络根据网络输入数据， 通过数值计算得出相应网络输出的过程。通过仿真，我们 可以及时了解当前神经网络的性能从而决定是否对网络 进行进一步的训练。 人工神经网络的运行人工神经网络的运行 人工神经网络基础 感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究 大脑的存储、学习和认知过程而提出的一类具有自学习 能力的神经网络模型，它把神经网络的研究从纯理论探 讨引向了从工程上的实现。 Rosenblatt提出的感知器模型是一个只有单层计算单元 的前向神经网络，称为单层感知器。 感知器特别适合于简单的模式分类问题，模式分类的学 习控制和多模态

28、控制中 感知器神经网络 人工神经网络基础 采用阶跃函数作为神经元的激活函数激活函数是感知器神经元的典型特征 p为输入矢量，学习误差e为目标矢 量t和网络实际输出矢量a之间的差值 感知器神经网络 人工神经网络基础 感知器神经网络的训练感知器神经网络的训练 感知器的训练主要是反复对感知器神经网络进行仿真和学习， 最终得到最优的网络阀值和权值 1） 确定我们所解决的问题的输入向量P、目标向量t，并确定 各向量的维数，以及网络结构大小、神经元数目。 2）初始化：权值向量w和阀值向量b分别赋予1,+1之间的 随机值，并且给出训练的最大次数。 3）根据输入向量P、最新权值向量w和阀值向量b，计算网络 输出

29、向量a。 4）检查感知器输出向量与目标向量是否一致，或者是否达到 了最大的训练次数，如果是则结束训练，否则转入（5）。 5）根据感知器学习规则调查权向量，并返回3）。 人工神经网络基础 感知器神经网络应用举例感知器神经网络应用举例 两种蠓虫Af和Apf已由生物学家W.L.Grogan与w. w. Wirth(1981) 根据它们触角长度和翼长以区分。 见下表中9只Af蠓和6只Apf蠓的数据。 根据给出的触角长度和翼长可识别出一只标本是Af还是Apf。 1给定一只Af或者Apf族的蒙，你如何正确地区分它属于哪一族？ 2将你的方法用于触角长和翼长分别为（1.24,1.80）、 （1.28,1.84）、(1.40,2.04)的三个标本 Af