人工智能神经网络章节

人工智能神经网络章节第1页，课件共58页，创作于2023年2月概述什么叫人工神经网络采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。为什么要研究神经网络用计算机代替人的脑力劳动。计算机速度为纳秒级，人脑细胞反应时间是毫秒级。而计算机不如人。长期以来人类的梦想，机器既能超越人的计算能力，又有类似于人的识别、分析、联想等能力。第2页，课件共58页，创作于2023年2月概述发展史1890年，美国生物学家W.James出版了《Physiology》（生理学）一书。首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律。指出：人脑中当两个基本处理单元同时活动，或两个单元靠得比较近时，一个单元的兴奋会传到另一个单元。而且一个单元的活动程度与他周围的活动数目和活动密度成正比。

第3页，课件共58页，创作于2023年2月概述－发展史1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。——标志神经计算时代的开始输出表达式

第4页，课件共58页，创作于2023年2月概述－发展史MP模型的意义：M-P模型能完成一定的逻辑运算第一个采用集体并行计算结构来描述人工神经元和网络工作。为进一步的研究提供了依据（可以完成布尔逻辑计算）第5页，课件共58页，创作于2023年2月概述－发展史1949年DonalaU.Hebb（心理学家）论著《TheOrganizationofBehavior（行为自组织）》，提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。

——赫布规则多用于自组织网络的学习。即：若两个神经元输出兴奋，则它们之间的连接权加强，反之减少。第6页，课件共58页，创作于2023年2月概述－发展史赫布规则意义（提出了变化的概念）提出了一个神经网络里信息是储藏在突触连接的权中的概念连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积假设权是对称的细胞的互相连接的结构是他们权的改变创造出来的第7页，课件共58页，创作于2023年2月概述－发展史1957年FrankRosenblatt定义了一个神经网络结构，称为感知器(Perceptron)。规则学习 意义：第一次把神经网络研究从纯理论的探讨推向工程实现，在IBM704计算机上进行了模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果。掀起了神经网络研究高潮。第8页，课件共58页，创作于2023年2月概述－发展史1969M.Minsky和S.Papert发表了《Perceptrons》的论著，指出感知器仅能解决一阶谓词逻辑，只能做线性划分。对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点。——神经网络研究一度达到低潮。原因还有：计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮。图能划分的、不能划分的第9页，课件共58页，创作于2023年2月概述－发展史七十年代,据说全球只有几十个人在研究，但还是成功的。如：日本Fukusima的Neocognitron；芬兰Kohonen的自组织神经网络；StephenCrossberg的共振自适应理论ART网络等。第10页，课件共58页，创作于2023年2月概述－发展史1986年美国的一个平行计算研究小组提出了前项反馈神经网络的BackPropagation（BP）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。第11页，课件共58页，创作于2023年2月概述－发展史1987年在美国召开了第一届世界神经网络大会1000人参加。IJCNN等大会NeuralComputing,IEEENeuralNetwork等期刊第12页，课件共58页，创作于2023年2月概述人工智能与神经网络共同之处：研究怎样使用计算机来模仿人脑工作过程。学习——实践——再学习——再实践。不同之处：人工智能研究人脑的推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题。神经网络企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、学习和灵活性）第13页，课件共58页，创作于2023年2月概述例如：人工智能专家系统是制造一个专家，几十年难以培养的专家。 神经网络是制造一个婴儿，一个幼儿，一个可以学习，不断完善，从一些自然知识中汲取智慧的生命成长过程。同样是模仿人脑，但所考虑的角度不同。成年人和婴儿。学习过程不一样。一个是总结出常人都不懂得规律；一个是没完没了向他出示、重复一样东西，就象教一个小孩子说话。第14页，课件共58页，创作于2023年2月概述第15页，课件共58页，创作于2023年2月基本原理－神经元模型第16页，课件共58页，创作于2023年2月基本原理－神经元模型神经元每一个细胞处于两种状态。突触联接有强度。多输入单输出。实质上传播的是脉冲信号，信号的强弱与脉冲频率成正比。第17页，课件共58页，创作于2023年2月基本原理－神经元模型转移函数：神经细胞的输出对输入的反映。典型的转移函数是非线性的。第18页，课件共58页，创作于2023年2月基本原理－网络结构人脑神经网络： 人脑中约有１４０亿个神经细胞，根据Stubbz的估计这些细胞被安排在约１０００个主要模块内，每个模块上有上百个神经网络，每个网络约有１０万个神经细胞。

第19页，课件共58页，创作于2023年2月基本原理－网络模型前馈网络：每层只与前层相联接第20页，课件共58页，创作于2023年2月基本原理－网络模型输入输出有反馈的前馈网络：输出层上存在一个反馈回路，将信号反馈到输入层。而网络本身还是前馈型的第21页，课件共58页，创作于2023年2月基本原理－网络模型前馈内层互联网络：外部看还是一个前向网络，内部有很多自组织网络在层内互联着。第22页，课件共58页，创作于2023年2月基本原理－网络模型反馈型全互联网络：所有计算单元之间都有联接。如：Hopfield网络反馈型局部联接网络：特例，每个神经元的输出只与其周围的神经元相连，形成反馈网络。第23页，课件共58页，创作于2023年2月基本原理－网络分类分类前馈型；反馈型；自组织竞争；随机网络其它第24页，课件共58页，创作于2023年2月基本原理－基本属性基本属性：非线性： 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性。非局域性： 一个神经网络通常由多个神经元广泛联接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互联接所决定。通过单元之间的大量联接模拟大脑的非局域性。联想记忆是非局域性的典型例子。第25页，课件共58页，创作于2023年2月基本原理－基本属性非定常性： 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。非凸性： 一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。第26页，课件共58页，创作于2023年2月基本原理－优缺点评价优点： 并行性；分布存储；容错性；学习能力缺点： 不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多。

第27页，课件共58页，创作于2023年2月前馈型神经网概述最初称之为感知器。应用最广泛的一种人工神经网络模型，最要原因是有BP学习方法。前馈网络结构是分层的，信息只能从下一层单元传递到相应的上一层单元。上层单元与下层所有单元相联接。转移函数可以是线性阈值的。

第28页，课件共58页，创作于2023年2月前馈型神经网单层感知器第29页，课件共58页，创作于2023年2月前馈型神经网基本原理，结构简单。很少在实际应用中出现。采用阶跃函数作为传递函数。从２维空间可以很显然的看出其分类功能，但Minsky等揭示的致命弱点也一目了然。关键是学习算法及网络设计方法：输出yi等于：(1)其中第30页，课件共58页，创作于2023年2月前馈型神经网－单层感知器分类方法：如果输入x有k个样本，xp,p=1,2,…,k,xRn当将这些样本分别输入到单输出的感知器中，在一定的和下，输出有两种可能+1或-1。把样本xp看作为在n维状态空间中的一个矢量，那么k个样本为输入空间的k个矢量。而方程（1）就是把这个n为空间分为SA、SB两个子空间，其分界线为n-1维的超平面。即用一个单输出的感知器通过调整参数及来达到k个样本的正确划分。如：........….第31页，课件共58页，创作于2023年2月前馈型神经网－单层感知器........….则存在一组权值wij使得公式(1)满足:

则称样本集为线性可分的，否则为线性不可分的。

第32页，课件共58页，创作于2023年2月前馈型神经网－单层感知器例子：2维空间希望找到一根直线，把A,B两类样本分开，其分界线为:解有无数个。

单层感只能解决线性可分类的样本的分类问题。如样本不能用一个超平面分开，就会产生当年Minsky等提出的不可分问题。

第33页，课件共58页，创作于2023年2月++++++++X1X2二维输入感知器及其在状态空间中的划分

第34页，课件共58页，创作于2023年2月前馈型神经网多层感知器多层感知器的输入输出关系与单层感知器完全相同。前一层的输出是下一层的输入。也被称为BP网络。第35页，课件共58页，创作于2023年2月前馈型神经网多层感知器采用BP算法学习时要求传递函数为有界连续可微函数如sigmoid函数。因此，网络可以用一个连续的超曲面（而不仅仅是一个超平面）来完成划分输入样本空间的功能。先求误差，用梯度下降的方法求误差的传递。从后往前算。第36页，课件共58页，创作于2023年2月第37页，课件共58页，创作于2023年2月前馈型神经网多层感知器n层网络可以以n-1个超曲面构成一个符合曲面，弥补了单层感知器的缺陷。基于BP算法，依据大量样本通过逐步调整神经元之间的联接权重来构造网络。理论上，多层前馈网络在不考虑结果规模的前提下，可以模拟任意的输出函数。第38页，课件共58页，创作于2023年2月前馈型神经网特点：

用非线性连续可微的函数来分类，结果是一种模糊概念。当输出f(u)>0时，其输出不一定为１，而是一个>0.5(有时只是>0)的值，表示所得到的概率为多少。

应用： 各行各业。是应用最广泛的神经网络模型之一。第39页，课件共58页，创作于2023年2月自组织竞争人工神经网络概述在实际的神经网络中，存在一种侧抑制的现象。即一个细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制在脊髓和海马中存在，在人眼的视网膜中也存在。第40页，课件共58页，创作于2023年2月自组织竞争人工神经网络概述这种抑制使神经细胞之间出现竞争，一个兴奋最强的神经细胞对周围神经细胞的抑制也强。虽然一开始各个神经细胞都处于兴奋状态，但最后是那个输出最大的神经细胞“赢”，而其周围的神经细胞“输”了。胜者为王。小猫

第41页，课件共58页，创作于2023年2月自组织竞争人工神经网络概述自组织竞争神经网络是在“无师自通”的现象的基础上生成的。人类等生物的生长过程。第42页，课件共58页，创作于2023年2月自组织竞争人工神经网络结构： 层内细胞之间互联，在各个神经细胞中加入自反馈，相互作用，输出y为：系统稳定时“胜者为王”。此时赢者的权向量与输入向量的欧氏距离最小。此距离为：第43页，课件共58页，创作于2023年2月自组织竞争人工神经网络自组织映射模型自组织映射模型是由Kohonen提出来的。模型是以实际神经细胞中的一种特征敏感的细胞为模型的。各个细胞分别对各种输入敏感，可以代表各种输入，反映各种输入样本的特征。如果在二维空间上描述这些细胞，则，功能相近的细胞聚在一起，靠得比较近。功能不同的离得比较远。网络形成过程： 开始是无序的，当输入样本出现后各个细胞反映不同，强者依照“胜者为王”的原则，加强自己的同时对周围细胞进行压抑。使其对该种样本更加敏感，也同时对其他种类的样本更加不敏感。此过程的反复过程中，各种不同输入样本将会分别映射到不同的细胞上。第44页，课件共58页，创作于2023年2月Kohonen网络的结构

x2x1输入层输出层第45页，课件共58页，创作于2023年2月Nc(t)的形状和变化情况

Nc(t0)Nc(t1)Nc(t2)Nc(t0)Nc(t1)Nc(t2)第46页，课件共58页，创作于2023年2月自组织竞争人工神经网络特点：网络中的权值是输入样本的记忆。如果输出神经元j与输入n个神经元之间的联接用wj表示，对应其一类样本x输入，使yj达到匹配最大。那么wj通过学习后十分靠近x，因此，以后当x再次输入时，yj这个神经元必定会兴奋，yj是x的代表。.......….第47页，课件共58页，创作于2023年2月自组织竞争人工神经网络........….网络学习时对权的调整不只是对兴奋的那个细胞所对应的权进行，而对其周围Nc区域内的神经元同时进行调整。因此，对于在Nc内的神经元可以代表不只是一个样本x，而是与x比较相近的样本都可以在Nc内得到反映。因此，这种网络对于样本的畸变和噪声的容差大。（调整区域函数有。。。）各种函数网络学习的结果是：比较相近的输入样本在输出平面上映射的位置也比较接近。具有自然聚类的效果。第48页，课件共58页，创作于2023年2月神经网络的应用该门科学起源于心理学、生理学、生物学、医学等科学，研究发展过程中又涉及到数学、物理学、计算机科学等领域。然而，它的应用几乎遍及自然科学的各个领域。其中最多的是模式识别、通讯、控制、信号处理等方面。第49页，课件共58页，创作于2023年2月神经网络的应用根据应用背景选择网络结构排除各种干扰（预处理）根据网络结构特点准备输入样本选择训练样本训练网络第50页，课件共58页，创作于2023年2月前馈网络字符识别器的网络结构模型

第51页，课件共58页，创作于2023年2月多分类器合成系统结构图

Input

Output

C4C3C2C1第52页，课件共58页，创作于2023年2月单神经网络反馈系统模型图

第53页，课件共58页，创作于2023年2月

多神经网络反