人工神经网络方法课件

1、人工神经网络方法原理及应用张倩倩、孙晶人工神经网络方法人工神经网络简介应用实例长江三角洲地区 城市体系的职能分类A人工神经网络，是一个具有高度非线性的A超大轨横连续时间动另系统，是宙夫量爾 J 处理单元（神经元）广泛互连而形成的网络。；I 是人脑的某种抽象、简化与模拟。A人工神经网络的特点和优越性：具有自学 习功能；宜有联想看储功能；具有咼速寻 找优化解的能力。f A在现代地理学中，人工神经网络方法特别I适用于地理模式识别、地理过程模拟与预* 测、复杂地理系统的优化计算等问题的研 究。-贰、-人工神经网络简介A神经元模型A神经网络的基本结构A人工神经网络的工作原理* A人工神经网络的学习规则；

2、A神经网络模型的种类A神经元模型基于生物神经元构造，W.McCulloch和W.Pitts于1943 年建立了一个模拟神经元功能的数学模型，这个模型卑 被称为MP模型。?MP模型是一个多输岀单输岀的非线性兀件。n1y 哄）在MP模型中，f是二值函数，其输出值为0或1, 分别代表神经元的抑制和兴奋状态，它可以用阶 跃函数表示，即当wji0时，为兴奋性突触结合；当wjivO时，为 抑制性突触结合；当wji=O时，为无结合。神经元构成的神经网络如图所示。神经元之间的突触结合有兴奋性和抑制性两种。 在下图中，(a)和(b)分别给岀了两个神经 元串行连接和相互结合型连接的情形。(a) 所示的两个神经元串

3、行连接，当W20为兴奋性 谀 连接时，若神经元1处于兴奋状态，则神经元2也处于% 兴奋状态；当W2V0为抑制性连接时，若神经元1处于h 兴奋状态，反而会使神经元2容易处于抑制状态。在 f(b) 中，两个神经元处于相互结合性状态，若M2和 W21均为正，则某一个神经元处于兴奋状态时，另一个 神经元也倾向于兴奋状态，这称为神经元之间的协调 作用；若W2和W21均为均为负,则当某一个神经元处于兴奋状态时，另一神经元倾向于抑制状态，这称为 卩神经元之间的竞争作用。协调和竞争是神经网络中并行信息处理的基本动态特性。*A神经网络的基本结构大类O把大量的神经元通过一定的拓扑结构连接 起来，就形成了神经网络。

4、神经元之间的 连接方式有相互结合型结构和层状结构两图(a)所示的相互结合型神经网络系统中祥在着反馈 环。在神经元的学习过程中，进行误差反馈。反馈 有正、负之分，正反馈使系统发生振荡，负反馈使 系统稳定。在大脑神经系统中，由于负反馈的存在, :使控制抑制的机构起着十分重要的作用。正反馈对大脑神经元的同步动作起着一定的作用。在图(b)所 示的层状神经网络结构中，信号依特定的方向传播。(在生物体内，大脑皮质之间、感觉器官和大脑之间，/就可以看作是一种分层结构，即功能模块级的分层。，“在大脑内确实存在各种机理不同的功能模块，这一 卩 点被大脑的解剖研究已经证明，而且每一个模块内-部是由神经元组成的并彳

5、亍处理系统。A人工神经网络的工作原理人工神经网络首先要以一定的学习准则进行学习，然后才能 工作。网络学习的准则应该是：如果网络作出错误的判决， 则通过网络的学习，应使得网络减少下次犯同样错误的可能 性。将模式分布地记忆在网络的各个连接权值上。当网络再 次遇到其中任何一个模式时，能够作出迅速、准确的判断和此时各计算单元状态不变，各连接权值可修改(通过学习样本 或其他方法)，前一阶段较快，各单元的状态亦称短期记忆(STM),后一阶段慢的多，权及连接方式亦称长期记忆(LTM) o *识别。神经网络的工作过程主要由两个阶段组成，一个阶段 是工作期，此时各连接权值固定，计算单元的状态变化，以 求达到稳定

6、状态。另一阶段是学习期(自适应期，或设计期),人工神经网络的学习规则神经网络的学习过程，一般是，首先设定初时权值 如果无先验的知识，初时权值可设定为随机值。接 I /着输入样本数据进行学习，参照评价标准进行评判。如果达到要求，就停止学习，否则按照给定的学习法则调整权值，继续进行学习，直到取得满意的结 ; 果为止。1 神经网络的学习规则，主要包括误差传播式学习、 j 联想学习、竞争性(Competitive)学习和基于知识 的学习等。各种学习规则都是以Hebb规则为基础的。误差传播式学习Hi 0ui 0感知器(Perceptron)是神经网络中的一种最基本的 神经网络模型，它是F.Rosenbl

7、att于1961年提岀来的。 设神经元的输入输岀关系为= WJi(t) + 7SiXJji a+1)=叫,(0+- d)Xj是学习速率，di是教师信号或希望输出，6是实 际输岀y：与希望输出之差，y：和亏取1或0的离散值。*联想式学习根据空间或时间上接近的事物之间，性质上相彳以或相反的事物之间，以及存在因果关系的事物都可能在人的大脑中产生联想的原理，人们提岀了许多无教师的联想式学习模式，其学习规则可以表示为wji(t + X) = wji(t) + Tyixj在联想式学习中，权值变化仅是输入与输出同时 兴奋的结果。由于联想发生在输入与输出之间， 所以这种联想被称为异联想(Hetroassoci

8、ation)。竞争性学习 在竞争性学习时，网络各输出单元相互竞争，最 后达到只有一个最强者激活，最常见的一种情况 是输出神经元之间有侧向抑制性连接,这样，原 来输出单元中若有一个单元较强，则它将获胜并 抑制其它单元，最后只有此强者处于激活状态。 最常见的竞争性学习规则可以写为-W.,.）若神经旳竞争获胜 若神经元j竞争失败具有侧向抑制性连接的竞争学习网络A神经网络模型的种类按照拓扑结构可以分为反馈神经网络模型和前向神经 网络模型；按照性能可以分为连续型和离散型神经网 络模型，确定型和随机型神经网络模型；按照学习方 式可以分为有教师学习和无教师学习神经网络；按照 连接突触性质可以分为一阶线性关联

9、神经网络模型和 f高阶非线性关联神经网络模型。常见的人工神经网络 i 模型，主要包括感知器(Perceptron)神经网络、线 性神经网络、前馈神经网络、径向基函数神经网络、卜 自组织竞争神经网络、回归神经网络等。应用实例：长江三角洲地区城市体系的职能分类A建立城市职能分类的指标体系A Koh on en网络的原理A建立城市分类的Kohonen网络模型A结果及讨论建立城市职能分类的指标体系1选择反映城市社会发展的指标在人口与劳动力构成中选取总人口、非农业人 口、从业人员作为衡量城市规模的指标；将在 校小学生数、中等学校学生数、高等学校学生 数三项合并为一项，即在校学生数，同时选取 各类专业技术

10、人员、公共图书馆图书藏量、医 院卫生院床位数作为反映社会文化教育的指标2选择反映城市社会经济的指标在城市国民生产总值综合指标中，选取国内生产 总值、人均国民生产总值、第一产业、第二产业、 第三产业、工业产值、农林牧渔总产值以及有关 财政、金融、保险等17项指标。3选择反映城市基础设施的指标从交通运输、邮电事业的指标中，选取了公路客 运量、公路客运量、邮电业务总量3项指标。表城市职能分类指标体系城市社会发展/总人口、非农业人口、从业人员、在职职工年 平均工资、在校学生数、各类专业技术人员、f 公共图书馆图书藏量、医院卫生院床位数。丿厶（城市经济发展1叫辂 i城市社会发展国内生产总值、人均国民生产

11、总 值、第一产业产值、第二产业产值、第三产业 产值、工业产值、农林牧渔总产值、固定资产 投资、财政总收入、地方财政收入、地方财政 支出、出口总额、利用外资、年末金融机构存 款余额、年末金融机构贷款余额、保险收入、 已决赔款。1城市基础设施公路客运量、公路客运量、邮电业务总量。1Kohonen网络的原理Kohonen网络也称为自组织特征映射网络（Self- Organizing Feature Map,简称SOM 网络），通过 寻找最优权值矢量对输入模式集合进行分类。由输入层和输出层（也称竞争层）构成的两层 网络，输入层用于接收输入模式，输岀层的神 经元一般按正则二维阵列排列，两层之间的各 神经

12、元实现双向权连接。摸式分类输入模式Kohonen网络结构2 Kohonen网络的学习和工作规则Kohonen网络的自组织学习过程可以描述为：对 于每一个网络的输入，只调整一部分权值，使权 向量更接近或更偏离输入矢量，这一调整过程， 就是竞争学习，随着不断学习，所有权矢量都在 输入矢量空间相互分离，形成了各自代表输入空 间的一类模式，这就是Kohonen网络的特征自动 识别的聚类功能。建立城市分类的Kohonen网络模型1指标数据的处理在本模型中，采用标准差标准化，将原始数据Xj =（兀1，无2，兀护，兀巾）（i = 1，2,加）转换为：X；=（柿兀2,心）（i = 12申）習= (i = 1,

13、2,加;/ = 1,2,/)2运用Mat 1 ab神经网络工具箱建立Kohonen网络模型将长江三角洲各城市的2 8项指标导入Kohonen网络 作为网络的输入模式，因此输入层的#神经元个数为28；而竞争层的神经元个数决定于需要分成几类，在不清楚分类数目的情况下，竞争层神经 元个数从开始，然后依次加1,分别进行学习。(I在Kohonen网络模型中，选择网络训练的迭代最大次 j数为1000次，初始的学习率为0.5。3 Kohonen网络模型的分类结果PS结果及讨论:从长江三角洲城市的分类模型结果来看，分类结果与实际情况1 大体一致，结果较为理想。该方法的最大的优点是避免了各层 次权重带来的主观性。qi/运用Kohonen网络进行城市分类，存在很多需要改进的地方