人工神经网络基础

1、人工神经网络,人工神经网络概述 前向多层网络 自组织特征映射网络（SOFM）,一 人工神经网络发展 二 生物学基础 三 人工神经网络结构 四 神经网络基本学习算法,人工神经网络概述,一 人工神经网络发展,最早的研究可以追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一模型一般被简称M-P神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。 1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。,1957年，

2、F.Rosenblatt提出“感知器”(Perceptron) 模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。 1969年，人工智能学者专著感知机的发表，从数学上严格论证了简单的线性感知机不能解决“异或”（XOR）问题。同时也指出如果在感知器中引入隐含神经元，增加神经网络的层次，可以提高神经网络的处理能力，但是却无法给出相应的网络学习算法。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。,一 人工神经网络发展,1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年

3、，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。 1986年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，简称BP算法。解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。,一 人工神经网络发展,自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。,一 人工神经网络发展,神经网络研究的两大派： 主要包括:生物学家、物理学家和心理学家 研究目的：给出大脑活动的精细模型和描述。 主要包括:

4、工程技术人员 主要目的：怎样利用神经网络的基本原理，来构造解决实际问题的算法，使得这些算法具有有趣的和有效的计算能力。 人工神经网络属于此类,一 人工神经网络发展,人工神经网络概念： 人工神经网络： 就是把一个描述生物神经网络运行机理和工作过程的抽象和简化了的数学-物理模型，表达成为一个以其中的人工神经元为节点、以神经元之间的连接关系为路径权值的有向图，再用硬件或软件程序实现该有向图的运行，其稳态运行结果体现生物神经系统的某种特殊能力。,一 人工神经网络发展,人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很

5、多问题的有力工具。,一 人工神经网络发展,二 生物学基础,生物神经元 突触信息处理 信息传递功能与特点,1、生物神经元,神经元是大脑处理信息的基本单元 人脑约由101l-1012个神经元组成，其中，每个神经元约与104-105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络 神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干 主要由细胞体、树突、轴突组成,树突是树状的神经纤维接收网络，它将电信号传送到细胞体 细胞体对这些输入信号进行整合并进行阈值处理 轴突是单根长纤维，它把细胞体的输出信号导向其他神经元,神经元的排列和突触的强度(由复

6、杂的化学过程决定)确立了神经网络的功能。,1、生物神经元,生物学研究表明一些神经结构是与生俱来的，而其他部分则是在学习的过程中形成的。 在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。,1、生物神经元,2、突触的信息处理,生物神经元传递信息的过程为多输入、单输出； 神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近； 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质； 突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。,3、信息

7、传递功能与特点,具有时空整合能力 不可逆性，脉冲只从突触前传到突触后，不逆向传递 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1150ms之间 信息传递时延和不应期，一般为0.3lms 可塑性，突触传递信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳（饱和）效应 对应突触传递作用增强、减弱和饱和,三 人工神经网络结构,人工神经网络 人工神经元模型 常见的神经元激发函数 人工神经网络典型结构,1943，神经生理学家 McCulloch 和数学家 Pitts 基于早期神经元学说，归纳总结了生物神经元的基本特性，建立了具有逻辑演算功能的神经元模型以及这些人工神经元互联形成的人工神经网络

8、，即所谓的 McCulloch-Pitts 模型。,McCulloch-Pitts 模型（MP模型）是世界上第一个神经计算模型，即人工神经系统。,二、人工神经元模型,MP模型：,称为输出函数或激活函数,激活函数,求和操作,MP模型：,f(x)是激活函数(Activation Function)，也称输出函数。MP神经元模型中的输出函数为阶跃函数：,其表达式为：,MP模型：,激活函数的基本作用 控制输入对输出的激活作用 对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输出,可知当神经元i的输入信号加权和超过阈值时，输出为“1”，即“兴奋”状态；反之输出为“0”，是“抑制”状态

9、。,MP模型：,例：实现逻辑函数“与门”（AND gate）运算。 1 真，0假,例：实现逻辑函数“与门”（AND gate）运算。 1 真，0假,3、常见的神经元激活函数,MP 神经元模型是人工神经元模型的基础，也是神经网络理论的基础。在神经元模型中，激活函数除了阶跃函数之外，还有其它形式。不同的激活函数，可构成不同的神经元模型。, 对称型Sigmoid函数,或, 非对称型Sigmoid函数,或, 对称型阶跃函数,采用阶跃作用函数的神经元，称为阈值逻辑单元。, 线性函数,（1）线性作用函数：输出等于输入，即,（2）饱和线性作用函数,（3）对称饱和线性作用函数, 高斯函数,反映出高斯函数的宽度

10、, 双曲正切函数,众所周知，神经网络强大的计算功能是通过神经元的互连而达到的。根据神经元的拓扑结构形式不同，神经网络可分成以下两大类：,4、人工神经网络的典型结构,目前，神经网络模型的种类比较多，已有近40余种神经网络模型，其中典型的有BP网络、Hopfield网络、CMAC小脑模型、ART自适应共振理论和Blotzman机网络等, 层次型神经网络,（1）前向神经网络 神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入，各神经元之间不存在反馈。,（2）层内有互联的前向神经网络 在前向神经网络中有的在同一层中的各神经元相互

11、有连接,通过层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴奋机制，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。, 层次型神经网络,（3）有反馈的前向神经网络 在层次网络结构中，只在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种模式可用来存储某种模式序列，如神经认知机即属于此类，也可以用于动态时间序列过程的神经网络建模。, 层次型神经网络, 互联型神经网络,在互连网络模型中，任意两个神经元之间都可能有相互连接的关系。其中，有的神经元之间是双向的，有的是单向的。 Hopfield网

12、络、Boltzman机网络属于这一类。, 互联型神经网络,在无反馈的前向网络中，信号一旦通过某个神经元，过程就结束了。而在互连网络中，信号要在神经元之间反复往返传递，神经网络处在一种不断改变状态的动态之中。从某个初始状态开始，经过若干次的变化，才会到达某种平衡状态，根据神经网络的结构和神经元的特性，还有可能进入周期振荡或其它如浑沌等平衡状态。,2、神经网络的学习规则 联想式学习 Hebb学习规则 误差纠正式学习Delta ()学习规则,三 神经网络的基本学习方式和学习规则,1 、神经网络的学习方式 有监督（误差校正）学习方式 无监督学习方式,人工神经网络连接权的确定通常有两种方法 根据具体要求

13、，直接计算，如Hopfield网络作优化计算 通过学习得到的。大多数人工神经网络都采用这种方法,学习是改变各神经元连接权值的有效方法，也是体现人工神经网络智能特性最主要的标志。离开了学习，神经网络就失去了诱人的自适应、自组织能力,学习方法是人工神经网络研究中的核心问题,三 神经网络的基本学习方式和学习规则,1、有监督学习方式,特点： 不能保证得到全局最优解 要求大量训练样本，收敛速度慢 对样本地表示次序变化比较敏感,神经网络根据实际输出与期望输出的偏差，按照一定的准则调整各神经元连接的权系数，见下图。期望输出又称为导师信号，是评价学习的标准，故这种学习方式又称为有导师学习。, 神经网络的学习方

14、式,无导师信号提供给网络，神经网络仅仅根据其输入调整连接权系数和阈值，此时，网络的学习评价标准隐含于内部。其结构见下图。这种学习方式主要完成聚类操作。,2、无监督学习方式, 神经网络的学习方式,Donall Hebb根据生理学中的条件反射机理，于1949年提出的神经元连接强度变化的规则： 如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强 为学习速率，oi、oj为神经元 i 和 j 的输出,1、联想式学习 Hebb学习规则,Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形, 神经网络的学习规则,2、纠错式学习 Delta()

15、学习规则,首先我们考虑一个简单的情况：设某神经网络的输出层中只有一个神经元i，给该神经网络加上输入，这样就产生了输出yi(n)，称该输出为实际输出。 对于所加上的输入，我们期望该神经网络的输出为d(n),称为期望输出或目标输出（样本对里面包含输入和期望输出）。实际输出与期望输出之间存在着误差，用e(n)表示：, 神经网络的学习规则,现在要调整权值，是误差信号e(n)减小到一个范围。为此，可设定代价函数或性能指数E(n)：,反复调整突触权值使代价函数达到最小或者使系统达到一个稳定状态（及突触权值稳定不变），就完成了该学习过程。,该学习过程成为纠错学习，或Delta学习规则。,wij 表示神经元x

16、i到xj学的突触权值，在学习步骤为n时对突触权值的调整为：,学习速率参数,则, 神经网络的学习规则,网络的运行一般分为训练和仿真两个阶段。 训练的目的是为了从训练数据中提取隐含的知识和规律，并存储于网络中供仿真工作阶段使用,神经网络的仿真过程实质上是神经网络根据网络输入数据，通过数值计算得出相应网络输出的过程。通过仿真，我们可以及时了解当前神经网络的性能从而决定是否对网络进行进一步的训练。,人工神经网络的运行,感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。 Ro

17、senblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。 感知器特别适合于简单的模式分类问题，模式分类的学习控制和多模态控制中,感知器神经网络,采用阶跃函数作为神经元的激活函数是感知器神经元的典型特征,p为输入矢量，学习误差e为目标矢 量t和网络实际输出矢量a之间的差值,感知器神经网络,感知器神经网络的训练,感知器的训练主要是反复对感知器神经网络进行仿真和学习， 最终得到最优的网络阀值和权值,1） 确定我们所解决的问题的输入向量P、目标向量t，并确定 各向量的维数，以及网络结构大小、神经元数目。 2）初始化：权值向量w和阀值向量b分别赋予1,+1之间的 随机值，并

18、且给出训练的最大次数。 3）根据输入向量P、最新权值向量w和阀值向量b，计算网络 输出向量a。 4）检查感知器输出向量与目标向量是否一致，或者是否达到 了最大的训练次数，如果是则结束训练，否则转入（5）。 5）根据感知器学习规则调查权向量，并返回3）。,感知器神经网络应用举例,两种蠓虫Af和Apf已由生物学家W.L.Grogan与w. w. Wirth(1981) 根据它们触角长度和翼长以区分。 见下表中9只Af蠓和6只Apf蠓的数据。 根据给出的触角长度和翼长可识别出一只标本是Af还是Apf。 1给定一只Af或者Apf族的蒙，你如何正确地区分它属于哪一族？ 2将你的方法用于触角长和翼长分别为（1.24,1.80）、 （1.28,1.84）、(1.40,2.04)的三个标本,输入向量为： p=1.24 1.3