大二下大礼包-模式识别chapter

模式识别

PatternRecognition

2015Wuhan,Hubei,ChinaTel.:+86-27-68771218Email:Mobile:8Web:Dr.Prof.JianYao

（姚剑）SchoolofRemoteSensingandInformationEngineering

WuhanUniversity,Wuhan,Hubei,P.R.China第一章概论第二章贝叶斯决策理论第三章判别函数与确定性分类器第四章聚类分析第五章模式特征分析与选取第六章模糊集合理论在模式识别中的应用第七章句法模式识别第八章神经网络在模式识别中的应用模式识别教学纲要§8.1神经网络基本概念§8.2前馈神经网络§8.3Hopfield网络

§8.4自适应共振理论神经网络

§8.5自组织特征映射神经网络第八章人工神经网络在模式识别中的应用

第八章人工神经网络在模式识别中的应用什么是人工神经网络(ArtificialNeuralNetworks，ANN)？引言§8.1神经网络基本概念什么是人工神经网络？所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）。人是地球上具有最高智慧的动物，而人的指挥均来自大脑，人类靠大脑进行思考、联想、记忆和推理判断等，这些功能是任何被称为“电脑”的一般计算机所无法取代的。长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，虽然到目前对大脑的内部工作机理还不甚完全清楚，但对其结构已有所了解。引言§8.1神经网络基本概念什么是人工神经网络？由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。需要指出，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于极低的水平。按美国神经网络学者Nielsen的定义人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。引言§8.1神经网络基本概念人工神经网络与一般计算机的区别在一般的计算机中，通常有一个中央处理器，它可访问其存储器。该处理器可取一条指令和该指令所需的数据，并执行该指令，最后将计算结果存入指定的存储单元中。任何动作都按照确定的操作程序，以串行方式执行。在人工神经网络中，操作既不是串行的，也不是预先确定的，它根本没有确定的存储器，而是由许多互连的简单处理单元组成。引言§8.1神经网络基本概念人工神经网络与一般计算机的区别每个处理单元的处理功能只是求其所有输入信号的加权和，当该和值超过某一阈值时，输出呈现兴奋状态（高电平），否则低于阈值时呈现抑制状态（低电平）。人工神经网络并不执行指令序列，它对并行加载的输入信号也按并行方式来处理和响应，结果也不存储在特定的存储单元中。当它达到某种平衡状态后，网络的整个状态就是所求的结果。目前还没有用硬件真正实现并行处理的人工神经网络，对它的实现还是基于一般计算机的软件模拟，这显然并没有真正发挥出人工神经网络并行快速的特点。引言§8.1神经网络基本概念人工神经网络的两种操作过程训练学习训练时，把要教给神经网络的信息（外部输入）作为网络的输入和要求的输出，使网络按某种规则（称为训练算法）调节各处理单元间的连接权值，直至加上给定输入，网络就能产生给定输出为止。这时，各连接权已调接好，网络的训练就完成了。正常操作（回忆操作）对训练好的网络输入一个信号，它就可以正确回忆出相应输出，得到识别结果。引言§8.1神经网络基本概念实例1：文本（英文）朗读机输入装置是一个阅读窗口，当它沿文本的一行移动时，每次前移一个字母，但每个瞬间输入七个相邻的字母（包括空格和句号）信息。由于英文字母的发音与其前后字母有关，所以训练人工神经网络时，只要求每次七个字母的中间字母发音（靠人工神经网络的输出相应状态驱动一个语音综合发生器）。训练时，将一篇有1024个字的文本一行一行通过阅读窗口，并要求对应每个字母时人工神经网络的输出结点能输出相应音素的状态值。引言§8.1神经网络基本概念实例1：文本（英文）朗读机这样通过十遍阅读（训练），可以达到输出可理解的语音。通过50遍阅读（训练），可以达到95%的精确度。训练过程中听上去像小孩学说话一样，由不清楚到清楚。训练完成后，再阅读从未见过的课文，朗读精度仍可达78%，完全可以听懂。引言§8.1神经网络基本概念实例2：人脸识别用10个人的照片，每个人都在不同的角度照5张照片，共有50张照片的输入信息。对人工神经网络进行训练，每个照片信息作为输入时，代表10个人的10个结点中相应的一个结点输出最大，每个人的5张照片都对应着同一个结点的最大输出。经过训练后，再对原来的10个人中的一个从不同角度拍照（尺寸不变），进行识别，结果是他本人对应的结点的输出比其它9个结点的输出都高得多。引言§8.1神经网络基本概念人工神经网络(ArtificialNeuralNetworks，ANN)：简称神经网络。模拟人脑神经细胞的工作特点：与目前按串行安排程序指令的计算机结构截然不同。单元间的广泛连接；并行分布式的信息存贮与处理；自适应的学习能力等。引言§8.1神经网络基本概念ANN四个发展阶段：第一阶段：启蒙期，始于1943年。美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。第二阶段：低潮期，始于1969年。《感知器》(Perceptions)一书出版，指出局限性。第三阶段：复兴期，从1982年到1986年。Hopfield的两篇论文提出新的神经网络模型；《并行分布处理》出版，提出反向传播算法。第四阶段：1987年至今，趋于平稳。回顾性综述文章“神经网络与人工智能”。引言§8.1神经网络基本概念引言§8.1神经网络基本概念ANN优点：较强的容错性;很强的自适应学习能力；可将识别和若干预处理融为一体进行；并行工作方式；对信息采用分布式记忆，具有鲁棒性。ANN缺点：需要更多的训练数据；在通常的计算机上实现模拟运行速度较慢；无法得到所使用的决策过程的透彻理解（例如，无法得到特征空间中的决策面）。引言§8.1神经网络基本概念ANN研究与应用的主要内容：人工神经网络的研究首先须解决全局稳定性、结构稳定性、可编程性等问题。现今的研究热点集中在以下几个方面：人工神经网络模型的研究神经网络原型研究，即大脑神经网络的生理结构、思维机制。神经元的生物特性如时空特性、不应期电化学性质等的人工模拟。易于实现的神经网络计算模型。利用物理学的方法进行单元间相互作用理论的研究，如：联想记忆模型。神经网络的学习算法与学习系统。引言§8.1神经网络基本概念神经网络基本理论研究神经网络的非线性特性，包括自组织、自适应等作用。神经网络的基本性能，包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性。神经网络的计算能力与信息存贮容量。开展认知科学的研究。探索包括感知、思考、记忆和语言等的脑信息处理模型。采用诸如连接机制等方法，将认知信息处理过程模型化，并通过建立神经计算学来代替算法论。鲁棒性(Robust，健壮、强壮)：控制专家用这个名字来表示当一个控制系统中的参数发生摄动时系统能否保持正常工作的一种特性或属性。就像人在受到外界病菌的感染后，是否能够通过自身的免疫系统恢复健康一样。引言§8.1神经网络基本概念神经网络智能信息处理系统的应用认知与人工智能：包括模式识别、计算机视觉与听觉、特征提取、语音识别语言翻译、联想记忆、逻辑推理、知识工程、专家系统、故障诊断、智能机器人等。优化与控制：包括优化求解、决策与管理、系统辨识、鲁棒性控制、自适应控制、并行控制、分布控制、智能控制等。信号处理：自适应信号处理（自适应滤波、时间序列预测、谱估计、消噪、检测、阵列处理）和非线性信号处理（非线性滤波、非线性预测、非线性谱估计、非线性编码、中值处理）。传感器信息处理：模式预处理变换、信息集成、多传感器数据融合。引言§8.1神经网络基本概念神经网络的软件模拟和硬件实现在通用计算机、专用计算机或者并行计算机上进行软件模拟，或由专用数字信号处理芯片构成神经网络仿真器。由模拟集成电路、数字集成电路或者光器件在硬件上实现神经芯片。软件模拟的优点是网络的规模可以较大，适合于用来验证新的模型和复杂的网络特性。硬件实现的优点是处理速度快，但由于受器件物理因素的限制，根据目前的工艺条件，网络规模不可能做得太大，仅几千个神经元，但代表了未来的发展方向，因此特别受到人们的重视。引言§8.1神经网络基本概念神经网络计算机的实现计算机仿真系统。专用神经网络并行计算机系统：数字、模拟、数—模混合、光电互连等。光学实现、生物实现。关于智能本质的研究是自然科学和哲学的重大课题之一，对于智能的模拟和机器再现肯定可以开发拓展出一代新兴产业。由于智能本质的复杂性，现代智能研究已超越传统的学科界限，成为脑生理学、神经科学、心理学、认知科学、信息科学、计算机科学、微电子学，乃至数理科学共同关心的“焦点”学科。人工神经网络的重大研究进展有可能使包括信息科学在内的其他学科产生重大突破和变革。展望人工神经网络的成功应用，人类智能有可能产生一次新的飞跃。

生物神经元1．生物神经元的结构细胞体、树突、轴突和突触。神经网络基本概念§8.1神经网络基本概念2．生物神经元的工作机制兴奋和抑制两种状态。

不应期输入兴奋总量超过阈值§8.1神经网络基本概念神经网络基本概念抑制状态的神经元由树突和细胞体接收传来的兴奋电位产生输出脉冲神经元被激发进入兴奋状态由突触传递给其它神经元从信息系统研究的观点出发，对于人脑这个智能信息处理系统，有如下一些固有特征：§8.1神经网络基本概念神经网络基本概念(1)并行分布处理的工作模式实际上大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒(ms)，比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限。但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。

例如：要判定人眼看到的两个图形是否一样，实际上约需400ms，按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。例如：在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。由此可见，大脑信息处理的并行速度已达到了极高的程度。§8.1神经网络基本概念神经网络基本概念(2)神经系统的可塑性和自组织性神经系统的可塑性和自组织性与人脑的生长发育过程有关。例如，人的幼年时期约在9岁左右，学习语言的能力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良好。从生理学的角度看，它体现在突触的可塑性和联接状态的变化，同时还表现在神经系统的自组织特性上。例如在某一外界信息反复刺激下，接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。神经网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。§8.1神经网络基本概念神经网络基本概念(3)信息处理与信息存贮合二为一大脑中的信息处理与信息存贮是有机结合在一起的，而不像现行计算机那样，存贮地址和存贮内容是彼此分开的。由于大脑神经元兼有信息处理和存贮功能，所以在进行回忆时，不但不存在先找存贮地址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容。(4)信息处理的系统性大脑是一个复杂的大规模信息处理系统，单个的元件“神经元”不能体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。§8.1神经网络基本概念神经网络基本概念(5)能接受和处理模糊的、模拟的、随机的信息(6)求满意解而不是精确解人类处理日常行为时，往往都不是一定要按最优或最精确的方式去求解，而是以能解决问题为原则，即求得满意解就行了。(7)系统的恰当退化和冗余备份人工神经元人工神经元：生物神经元的简化模拟。人工神经元间的互连：信息传递路径树突-轴突-突触的简化；连接的权值：两个互连的神经元之间相互作用的强弱。人工神经元模型图接收的信息(其它神经元的输出)互连强度作比较的阈值n维输入向量X

输出

输出函数§8.1神经网络基本概念神经网络基本概念神经元的动作：输出函数f：也称作用函数，非线性。阈值型S型伪线性型f为阈值型函数时：设，点积形式：式中，§8.1神经网络基本概念神经网络基本概念3.人工神经网络典型结构（1）前向网络如感知器（2）输出向输入反馈的前向网络如福岛网络§8.1神经网络基本概念神经网络基本概念（3）层内互连前向网络（4）全互连反馈网络如Hopfield网络（5）局部互联反馈网络§8.1神经网络基本概念神经网络基本概念如自组织网络§8.1神经网络基本概念§8.2前馈神经网络§8.3Hopfield网络

§8.4自适应共振理论神经网络

§8.5自组织特征映射神经网络第八章人工神经网络在模式识别中的应用

第八章人工神经网络在模式识别中的应用§8.2前馈神经网络前馈神经网络一、前馈神经网络特点：前馈网络的各神经元接受前一级输入，并输出到

下一级，无反馈。节点：输入节点，输出节点。

计算单元--可有任意个输入，但只有一个输出，输出可耦合到任意多个其他节点的输入。层：可见层--输入和输出节点；

隐层--中间层。二、感知器（Perceptron）

F．Rosenblatt于1957年提出。

感知器结构示意图双层（输入层、输出层）；两层单元之间为全互连；连接权值可调；

输出层神经元个数等于类别数（两类问题时输出层为一个神经元）。结构特点：§8.2前馈神经网络感知器§8.2前馈神经网络感知器感知器是一种双层神经网络模型，一层为输入层，另一层为输出层，具有计算单元，可以通过监督学习建立模式判别的能力。学习的目标是通过改变权值使神经网络由给定的输入得到给定的输出。作为分类器，可以用已知类别的模式向量或特征向量作为训练集，当输入为属于第j类的特征向量X时，应使对应于该类的输出yj=1，而其他神经元的输出则为0（或-1）。§8.2前馈神经网络感知器为使实际的输出逼近理想输出，可以反复依次输入训练集中的向量X，并计算出实际的输出，对权值w作如下的修改：感知器的学习过程与求取线性判别函数的过程是等价的。感知器的特性：①两层感知器只能用于解决线性可分问题。②学习过程收敛很快，且与初始值无关。设输入模式向量，，共M类。输出层第j个神经元对应第j个模式类，θj：第j个神经元的阈值；wij：输入模式第i个分量与

输出层第j个神经元间的连接权。令,取有输出为输出单元对所有输入数值加权求和，经阈值型输出函数产生一组输出模式。§8.2前馈神经网络感知器M类问题判决规则(神经元的输出函数)为正确判决的关键：输出层每个神经元必须有一组合适的权值。感知器采用监督学习算法得到权值；权值更新方法：δ学习规则。算法描述第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。第二步：输入新的模式向量。第三步：计算神经元的实际输出。§8.2前馈神经网络感知器设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为第j个神经元的实际输出为第四步：修正权值。dj：第j个神经元的期望输出。第五步：转到第二步。当全部学习样本都能正确分类时，学习过程结束。经验证明，当η随k的增加而减小时，算法一定收敛。§8.2前馈神经网络感知器三、BP网络采用BP算法（Back-PropagationTraining

Algorithm）的多层感知器。认识最清楚、应用最广泛。

误差反向传播算法性能优势：识别、分类1．多层感知器针对双层感知器学习算法的局限性：模式类必须线性可分。输入层第一隐层第二隐层输出层中间层为一层或多层处理单元。结构：前馈网络；BP网络§8.2前馈神经网络2．BP算法BP算法的学习过程设：某层任一神经元

j

的

输入为netj，输出为yj；

相邻前一层中任一

神经元i的输出为yi。两个阶段正向传播阶段：逐层状态更新反向传播阶段：误差jiwij：神经元i与j之间的连接权；f(∙)：神经元的输出函数。§8.2前馈神经网络BP算法算法思想：反向逐层传播输出层的误差，以间接算出隐层误差。算法分为两个阶段：第一阶段(正向过程)输入信息从输入层经隐层逐层计算各单元的输出值；第二阶段(反向传播过程)由输出误差逐层向前算出隐层各单元的误差，并用此误差修正前层权值。S型输出函数：θj：神经元阈值；h0：修改输出函数形状的参数。设：输出层中第k个神经元的实际输出为yk，输入为netk；

与输出层相邻的隐层中任一神经元j的输出为yj。§8.2前馈神经网络BP算法对输入模式Xp，若输出层中第k个神经元的期望输出为dpk，实际输出为ypk，则输出层的输出方差：若输入N个模式，网络的系统均方差为：当输入Xp时，wjk的修正增量：其中，由

式得到：§8.2前馈神经网络BP算法令

，可得输出单元的误差：输出单元的修正增量：对于与输出层相邻的隐层中的神经元j和该隐层前一层中的神经元i：输出层中神经元输出的误差反向传播到前面各层，对各层之间的权值进行修正。§8.2前馈神经网络BP算法BP算法步骤：第一步：对权值和神经元阈值初始化：(0，1)上分布的随机数。第二步：输入样本，指定输出层各神经元的希望输出值。第三步：依次计算每层神经元的实际输出，直到输出层。第四步：从输出层开始修正每个权值，直到第一隐层。若j是输出层神经元，则：若j是隐层神经元，则：第五步：转到第二步，循环至权值稳定为止。§8.2前馈神经网络BP算法改进的权值修正：——收敛快、权值平滑变化α：平滑因子，0<α<1。BP算法存在问题：存在局部极小值问题；算法收敛速度慢；隐层单元数目的选取无一般指导原则；新加入的学习样本影响已学完样本的学习结果。

§8.2前馈神经网络BP算法输出层各单元之间相互作用较大的负权值输入对方，构成正反馈。四、竞争学习神经网络1．竞争学习典型的非监督学习策略。与二层前馈网络类似；结构特点：输出层具有侧抑制。竞争层：竞争学习网络的核心侧抑制：加强自身具有最高输入总和的单元的输出状态为1，其他单元为0。§8.2前馈神经网络竞争学习神经网络2．汉明(Hamming)网分类器结构：

仿效生物神经网“中心激励，侧向抑制”的功能。§8.2前馈神经网络竞争学习神经网络工作原理：每个模式类由一个典型样本代表；匹配网计算输入样本与各类典型样本的匹配度，由匹配度决定匹配网的输出；由最大网给出输入样本所在类别号（分类）。匹配度=n－输入样本与典型样本之间的汉明距离xij：第j类典型样本的第i个分量；xi

：输入样本的第i个分量；n：样本向量的维数。输入样本与典型样本越相似：汉明距离越小，匹配度越大。二值模式向量(分量：+1,-1)分类准则：样本间汉明距离最小。§8.2前馈神经网络竞争学习神经网络匹配网上层每个神经元的输出：：输入样本第i个分量与匹配网上层第j个神经元

的连接权；：第j个神经元的阈值。wij由第j类典型样本的各分量确定。匹配网输出函数f(∙)：§8.2前馈神经网络竞争学习神经网络汉明网算法步骤：第一步：设置权值和神经元阈值。wlk：最大网中第l个神经元和第k个神经元的连接权；最大网中神经元的阈值为零。xij：第j类典型样本的第i个分量；wij：匹配网上层神经元j和输入样本第i个分量的连接权;θj

：神经元j的阈值。§8.2前馈神经网络竞争学习神经网络第三步:进行迭代运算直到收敛。第四步：转到第二步。第二步：输入未知样本，计算匹配网上层各神经元的输出sj，设置最大网中神经元输出的初始值。设最大网中第j个神经元在t时刻的输出为y(t)，则§8.2前馈神经网络竞争学习神经网络3．自组织特征映射神经网络（SOM网络）神经元之间相互作用与距离的关系神经网络中邻近的各神经元通过侧向交互作用彼此相互竞争，自适应地发展成检测不同信号的特殊检测器。T.Kohonen关于自组织特征映射的含义：§8.2前馈神经网络竞争学习神经网络SOM-Self-OrganizingMap输入层：每个神经元与输出层所有神经元连接。SOM网络结构：输出层：广泛连接，格阵形式。竞争学习算法：由交互作用函数取代简单的侧抑制。§8.2前馈神经网络竞争学习神经网络自组织特征映射算法步骤：第一步：设置初始权值，定义输出层神经元的邻域。第二步：输入新的模式向量。第三步：计算输入模式到每个输出层神经元j的距离dj。wij(t)：t

时刻输入层神经元i到输出层神经元j之间的连接权。第四步：选择与输入模式距离最小的输出层神经元j*。第五步：修改与j*及其邻域中神经元连接的权值。设t时刻神经元j*的邻域用

表示，权值修改为：：修正参数，，随

t

的增加而减小。第六步：转到第二步。§8.2前馈神经网络竞争学习神经网络聚类中心：存储在与神经元j*连接的权值上。输出层神经元邻域的选择：初始邻域选择大些，随算法的进行逐步收缩。§8.2前馈神经网络竞争学习神经网络§8.1神经网络基本概念§8.2前馈神经网络§8.3Hopfield网络

§8.4自适应共振理论神经网络

§8.5自组织特征映射神经网络第八章人工神经网络在模式识别中的应用

第八章人工神经网络在模式识别中的应用寻找记忆：模拟人脑联想记忆功能的神经网络模型。网络由初始状态向稳定状态演化的过程。初始输出模式向量单层全互连、权值对称的神经网络。结构：Hopfield网络（HNN）离散型HNN(DHNN)：M-P模型二值神经元连续型HNN(CHNN)：神经元为连续时间输出。§8.3

Hopfield网络反馈网络模型Hopfield网络(1)权值对称，即wij=wji，权矩阵W＝WT，为对称阵。(2)无自反馈，即wii=0，权矩阵W的对角线元素为0。每个神经元的输出通过加权与其余神经元的输入端连接；输入模式向量的各分量及神经元的输出值取(+1)或(-1)；神经元的个数与输入模式向量的维数相同；记忆样本记忆在神经元之间的连接权上。每个模式类有一个记忆样本，是网络的一个稳定输出状态。DHNN：§8.3

Hopfield网络反馈网络模型Hopfield网络设

是第s类的记忆样本。为了存储M个记忆样本，神经元i和神经元j之间的权值wij为设有M类模式，则有M个记忆样本，分别是网络的M个稳定输出状态。若神经元i的输入为ui，输出为，则式中，§8.3

Hopfield网络反馈网络模型Hopfield网络若输入一个未知类别的模式X，网络初始状态由X决定，根据上述算法，网络从初始状态开始逐步演化，最终趋向于一个稳定状态，即输出一个与未知类别模式相似的记忆样本。说明：定义网络的能量函数由某一神经元的状态的变化量

引起的E变化量为式中，，。∆E<0，E有界，网络最终可达到一个不随时间变化的稳定状态。§8.3

Hopfield网络反馈网络模型Hopfield网络算法步骤：第一步：给神经元的连接权赋值，即存贮记忆样本。

第二步：用输入的未知类别的模式

设置网络的初始状态。若

表示神经元i在t时刻的输出状态，则初始值：§8.3

Hopfield网络反馈网络模型Hopfield网络第三步：迭代计算

至算法收敛。第四步：转到第二步，输入新模式。神经元输出与未知模式匹配最好的记忆样本。§8.3

Hopfield网络反馈网络模型Hopfield网络Hopfield神经网络的局限性：网络能记忆和正确回忆的样本数相当有限；如果记忆中的某一样本的某些分量与别的记忆样本的对应分量相同，这个记忆样本可能是一个不稳定的平衡点。已证明：当记忆不同模式类的样本数小于网络中神经元个数（或模式向量的维数）的0.15倍时，收敛于伪样本的情况才不会发生。可以利用正交算法消除。§8.3

Hopfield网络反馈网络模型Hopfield网络§8.1神经网络基本概念§8.2前馈神经网络§8.3Hopfield网络

§8.4自适应共振理论神经网络

§8.5自组织特征映射神经网络第八章人工神经网络在模式识别中的应用

第八章人工神经网络在模式识别中的应用自适应共振理论神经网络既能模拟人脑的可塑性，可以学习知识，又能模拟人脑的稳定性，学习新的知识但不破坏原有知识，即这种网络不仅能记忆新的知识，而且还保留已记忆的内容。这种网络主要依据自适应共振理论(AdaptiveResonanceTheory—ART)，用生物神经细胞自兴奋与侧抑制的动力学原理指导学习，输出层各神经元竞争对输入模式的响应，在竞争中还可能采用侧抑制的方法，最后只有一个神经元获胜，获胜神经元则代表该输入模式的类别，权值的调整只在与获胜神经元关联的连接权中进行，通过网络双向连接权的记忆和比较，来完成对输入模式的记忆、回想，并以同样的方式实现模式的识别。当提供给网络的输入模式是一个网络已记忆的或与已记忆的模式十分相似的模式时，网络会把这个模式回想出来，并提供正确的分类；如果输入模式是网络不曾记忆的新模式，则网络将在不影响原有记忆的前提下，将这个模式记下来，并分配一个尚未使用过的输出层神经元作为这一记忆模式的记忆分类标志。§8.4自适应共振理论神经网络自适应共振理论神经网络一、ART网络的结构及原理１.结构：ART网络主要有ART1和ART2两种模型，其主要区别是前者为二值输入，后者为模拟输入。这里主要介绍ART1模型。ART1网络结构如图所示。§8.4自适应共振理论神经网络自适应共振理论神经网络２.原理：ART1网络的学习和工作是通过反复地将输入学习模式由输入层向输出层自下而上地短时记忆和由输出层向输入层自上而下地长期记忆和比较来实现的。当这种记忆和比较达到共振时，输出矢量可以正确地反映出输入学习模式的分类，且网络原有的记忆不受影响。至此，对一个输入模式的记忆和分类即告完成。§8.4自适应共振理论神经网络自适应共振理论神经网络当双手策动力的频率跟物体的固有频率相等时，振幅最大，这种现象叫共振。水中发出的嗡鸣声是铜盆腔内的振动和摩擦频率振动发生共振引起的。1)初始化：ρ－网络的警戒参数，ρ的大小由分类精度确定，它可以为一确定值，也可以在学习过程中变化。ρ取较小值时，分类较粗。{tji}－连接权初值，用于记忆已学的输入模式，其值为0或1，为使初始比较不丢失信息，将{tji}的初值全部置为1。{ωij}－连接权值，在网络学习结束后承担对学习模式的记忆任务，初始化时应给所有学习模式提供一个平等竞争的机会，然后通过对输入模式的竞争按一定规则调整ωij

。３.网络学习工作步骤如下：§8.4自适应共振理论神经网络自适应共振理论神经网络2)向网络输入模式uk=(uk1，uk2，…，ukn)T3)短时记忆(识别)阶段ART1网络的短时记忆与识别活动在输出层学习算法上是相同的，所以这个阶段也称为识别阶段。它们是在学习模式由输入层向输出层的传递过程中完成的，对于学习模式uk，用竞争学习算法寻找输出层获胜神经元，这实际上是输出层各神经元对输入模式的竞争响应过程。也可以通过抑制竞争方式求出获胜神经元。4)长期记忆和比较阶段由上可知，输出层每个神经元都代表着一种记忆，它对应于某一类模式。由于输出神经元的状态是变化的，就这个意义上讲，上述过程称为短时记忆。而各输出神经元所代表的类别信息是由与它关联的两类连接权长期记忆的。§8.4自适应共振理论神经网络自适应共振理论神经网络4)长期记忆和比较阶段（续）当向已学习结束的网络提供一个需识别的模式时，首先检查这个模式是否已学习过。如果是，则让网络回想出这个模式的分类结果；如果不是，则对这个模式进行记忆，并分配一个还未用过的输出层神经元来代表这个模式的分类结果。5)寻找阶段网络将在余下的输出层神经元中搜索输入模式uk的恰当分类。只要在输出层的神经元中含有与这一输入模式uk相对应的分类单元，则网络总可以得到与记忆模式相符的结果。如果在已记忆的分类结果中找不到与该输入模式对应的类别，但在输出层中还有未使用过的单元，就可以给这个模式分配一个新的分类单元。在以上两种情况下，搜索总能成功。§8.4自适应共振理论神经网络自适应共振理论神经网络§8.1神经网络基本概念§8.2前馈神经网络§8.3Hopfield网络

§8.4自适应共振理论神经网络

§8.5自组织特征映射神经网络第八章人工神经网络在模式识别中的应用

第八章人工神经网络在模式识别中的应用一﹑概述人脑的记忆不是神经元与记忆模式的一一对应，而是一群神经元对应一个模式。生理实验表明，某一外界信息所引起的兴奋刺激并不只针对一个神经细胞，而是对以某一个神经元为中心的一个区域内各神经元的兴奋刺激，并且刺激强度以区域中心为最大，随着与中心距离的增大，强度逐渐减弱，远离区域中心的神经元反而受到抑制。自组织特征映射(Self-OrganizingFeatureMap，SOFM)人工神经网络可以很好地模拟人类大脑的功能区域性、自组织特性及神经元兴奋刺激规律。§8.5自组织特征映射神经网络组织特征映射神经网络SOFM网络是由Kohonen提出来的，其模型结构如下图所示。它由输入层和输出竞争层组成，输入层与输出层之间是全互连的。有时输出层各神经元之间还有侧抑制连接。二、SOFM网络模型及原理§8.5自组织特征映射神经网络组织特征映射神经网络S