神经网络在材料科学和工程中的运用

Ch6神经网络在材料科学

与工程中应用6.1引言6.2人工神经网络基础神经网络在材料科学和工程中的运用第1页6.1引言人类对人工智能研究能够分成两种方式对应着两种不一样技术：传统人工智能技术——心理角度模拟基于人工神经网络技术——生理角度模拟1.1人工神经网络提出1.2人工神经网络特点1.3历史回顾神经网络在材料科学和工程中的运用第2页引言—1.1人工神经网络提出人工神经网络（简记作ANN，ArtificialNeuralNetworks），是对人类大脑系统一阶特征一个描述。简单地讲，它是一个数学模型，能够用电子线路来实现，也能够用计算机程序来模拟，是人工智能研究一个方法。神经网络在材料科学和工程中的运用第3页引言—1.1人工神经网络提出1.1.1智能与人工智能智能是个体有目标行为，合理思维，以及有效、适应环境综合能力。智能是个体认识客观事物和利用知识处理问题能力。人类个体智能是一个综合能力。神经网络在材料科学和工程中的运用第4页引言—1.1人工神经网络提出智能能够包含8个方面感知与认识客观事物、客观世界和自我能力感知是智能基础——最基本能力

经过学习取得经验与积累知识能力这是人类在世界中能够不停发展最基本能力。了解知识，利用知识和经验分析、处理问题能力这一能力能够算作是智能高级形式。是人类对世界进行改造，推进社会发展基本能力。神经网络在材料科学和工程中的运用第5页引言—1.1人工神经网络提出联想、推理、判断、决议语言能力这是智能高级形式又首先。预测和认识“主动”和“被动”之分。联想、推理、判断、决议能力是“主动”基础。利用进行抽象、概括能力上述这5种能力，被认为是人类智能最基本能力，表现为三种综合能力：发觉、创造、创造、创新能力；实时、快速、合理地应付复杂环境能力；预测、洞察事物发展、改变能力。神经网络在材料科学和工程中的运用第6页引言—1.1人工神经网络提出人工智能：研究怎样使类似计算机这么设备去模拟人类这些能力。研究人工智能目标增加人类探索世界，推进社会前进能力深入认识自己三大学术流派符号主义（或叫做符号/逻辑主义）学派联接主义（或者叫做PDP）学派进化主义（或者叫做行动/响应）学派神经网络在材料科学和工程中的运用第7页引言—1.1人工神经网络提出1.1.2物理符号系统一个物理系统表现智能行为充要条件是它有一个物理符号系统

人脑反应形式化

现实信息数据

物理系统物理符号系统

表现智能神经网络在材料科学和工程中的运用第8页引言—1.1人工神经网络提出1.1.3联接主义观点

关键：智能本质是联接机制。神经网络是一个由大量简单处理单元组成高度复杂大规模非线性自适应系统ANN力争从四个方面去模拟人脑智能行为物理结构计算模拟存放与操作训练神经网络在材料科学和工程中的运用第9页引言—1.1人工神经网络提出1.1.4两种模型比较神经网络在材料科学和工程中的运用第10页引言—1.1人工神经网络提出物理符号系统和人工神经网络系统差异

项目物理符号系统人工神经网络处理方式逻辑运算模拟运算执行方式串行并行动作离散连续存放局部集中全局分布神经网络在材料科学和工程中的运用第11页引言—1.1人工神经网络提出两种人工智能技术比较项目传统AI技术ANN技术

基本实现方式

串行处理；由程序实现控制

并行处理；对样本数据进行多目标学习；经过人工神经元之间相互作用实现控制基本开发方法

设计规则、框架、程序；用样本数据进行调试（由人依据已知环境去结构一个模型）定义人工神经网络结构原型，经过样本数据，依据基本学习算法完成学习——自动从样本数据中抽取内涵（自动适应应用环境）适应领域

准确计算：符号处理，数值计算非准确计算：模拟处理，感觉，大规模数据并行处理模拟对象

左脑（逻辑思维）右脑（形象思维）神经网络在材料科学和工程中的运用第12页引言—1.2人工神经网络特点特点：信息分布表示运算全局并行和局部操作处理非线性

人工神经网络是一个非线性有向图，图中含有能够经过改变权大小来存放模式加权边，而且能够从不完整或未知输入找到模式。神经网络在材料科学和工程中的运用第13页引言—1.2人工神经网络特点关键点1）信息分布表示2）

运算全局并行与局部操作3）

处理非线性特征对大脑基本特征模拟1）

形式上：神经元及其联接；BN对AN2）

表现特征：信息存放与处理神经网络在材料科学和工程中的运用第14页引言—1.2人工神经网络特点别名人工神经系统（ANS）神经网络（NN）自适应系统（AdaptiveSystems）、自适应网（AdaptiveNetworks）联接模型（Connectionism）神经计算机（Neurocomputer）神经网络在材料科学和工程中的运用第15页引言—1.2人工神经网络特点神经网络在材料科学和工程中的运用第16页引言—1.3历史回顾萌芽期（20世纪40年代）最早能够追溯到人类开始研究自己智能第一高潮期（1950-1968）代表作是单级感知器（Perceptron）；可用电子线路模拟，反思期（1969-1982）二十世纪70年代和80年代早期研究结果神经网络在材料科学和工程中的运用第17页引言—1.3历史回顾第二高潮期（1983-1990）1984年，J.Hopfield设计研制了以后被人们称为Hopfield网电路。1986年，并行分布处理小组Rumelhart等研究者重新独立地提出多层网络学习算法——BP算法，很好地处理了多层网络学习问题。（Paker1982和Werbos1974年）1985年，UCSDHinton、Sejnowsky、Rumelhart等人在Hopfield网络中引入了随机机制，提出所谓Boltzmann机理神经网络在材料科学和工程中的运用第18页引言—1.3历史回顾再认识与应用研究期（1991-）问题：1）应用面还不够宽2）结果不够准确3）存在可信度问题神经网络在材料科学和工程中的运用第19页6.2人工神经网络基础6.2.1生物神经元模型6.2.2人工神经元模型6.2.3人工神经网络模型6.2.4神经网络学习方法神经网络在材料科学和工程中的运用第20页6.2.1生物神经元模型人脑大约包含1012个神经元，分成约1000种类型，每个神经元大约与102～104个其它神经元相连接，形成极为错综复杂而又灵活多变神经网络。每个神经元即使都十分简单，不过如此大量神经元之间、如此复杂连接却能够演化出丰富多彩行为方式。同时，如此大量神经元与外部感受器之间各种多样连接方式也蕴含了改变莫测反应方式。神经网络在材料科学和工程中的运用第21页6.2.1生物神经元模型神经网络在材料科学和工程中的运用第22页6.2.1生物神经元模型从生物控制论观点来看，神经元作为控制和信息处理基本单元，含有以下一些主要功效与特征：时空整合功效兴奋与抑制状态脉冲与电位转换神经纤维传导速度突触延时和不应期学习、遗忘和疲劳神经网络在材料科学和工程中的运用第23页6.2.2人工神经元模型人工神经元是对生物神经元一个模拟与简化。它是神经网络基本处理单元。如图所表示为一个简化人工神经元结构。它是一个多输入、单输出非线性元件。神经网络在材料科学和工程中的运用第24页6.2.2人工神经元模型神经网络在材料科学和工程中的运用第25页6.2.2人工神经元模型其输入、输出关系可描述为其中，是从其它神经元传来输入信号；表示从神经元j到神经元i连接权值；为阈值；称为激发函数或作用函数。神经网络在材料科学和工程中的运用第26页6.2.2人工神经元模型输出激发函数又称为变换函数，它决定神经元（节点）输出。该输出为1或0，取决于其输入之和大于或小于内部阈值。函数普通含有非线性特征。下列图表示了几个常见激发函数。1.阈值型函数（见图（a），（b））2.饱和型函数（见图（c））3.双曲函数（见图（d））4.S型函数（见（e））5.高斯函数（见图（f））神经网络在材料科学和工程中的运用第27页6.2.2人工神经元模型神经网络在材料科学和工程中的运用第28页6.2.3人工神经网络模型人工神经网络是以工程技术伎俩来模拟人脑神经元网络结构与特征系统。利用人工神经元能够组成各种不一样拓扑结构神经网络，它是生物神经网络一个模拟和近似。就神经网络主要连接型式而言，当前已经有数十种不一样神经网络模型，其中前馈型网络和反馈型网络是两种经典结构模型。神经网络在材料科学和工程中的运用第29页6.2.3人工神经网络模型前馈型神经网络前馈型神经网络，又称前向网络（FeedforwardNN）。如图所表示，神经元分层排列，有输入层、隐层（亦称中间层，可有若干层）和输出层，每一层神经元只接收前一层神经元输入。从学习观点来看，前馈网络是一个强有力学习系统，其结构简单而易于编程；神经网络在材料科学和工程中的运用第30页6.2.3人工神经网络模型从系统观点看，前馈网络是一静态非线性映射，经过简单非线性处理单元复合映射，可取得复杂非线性处理能力。但从计算观点看，缺乏丰富动力学行为。大部分前馈网络都是学习网络，它们分类能力和模式识别能力普通都强于反馈网络，经典前馈网络有感知器网络、BP网络等。神经网络在材料科学和工程中的运用第31页6.2.3人工神经网络模型神经网络在材料科学和工程中的运用第32页6.2.3人工神经网络模型反馈型神经网络反馈型神经网络（FeedbackNN）结构如图所表示。假如总节点（神经元）数为N，那么每个节点有N个输入和一个输出，也就是说，全部节点都是一样，它们之间都可相互连接。神经网络在材料科学和工程中的运用第33页6.2.3人工神经网络模型反馈神经网络是一个反馈动力学系统，它需要工作一段时间才能到达稳定。Hopfield神经网络是反馈网络中最简单且应用广泛模型，它含有联想记忆（Content一AddressibleMemory，CAM）功效，假如将Lyapunov函数定义为寻优函数，Hopfie1d神经网络还能够用来处理快速寻优问题。神经网络在材料科学和工程中的运用第34页6.2.3人工神经网络模型神经网络在材料科学和工程中的运用第35页6.2.4神经网络学习方法神经网络学习：从环境中获取知识并改进本身性能，主要指调整网络参数使网络到达某种度量，又称为网络训练学习方式：监督学习非监督学习再励学习神经网络在材料科学和工程中的运用第36页6.2.4神经网络学习方法学习规则(learningrule)：Hebb学习规则两个神经元同时处于激发状态时，它们之间连接强度将得到加强，这一叙述数学描述被称为Hebb学习规则Hebb学习规则是一个无教师学习方法，它只依据神经元连接间激活水平改变权值，所以这种方法又称为相关学习或并联学习。神经网络在材料科学和工程中的运用第37页6.2.4神经网络学习方法Delta（δ）学习规则δ规则实现了E中梯度下降，所以使误差函数到达最小值。但δ学习规则只适合用于线性可分函数，无法用于多层网络。BP网络学习算法称为BP算法，是在δ规则基础上发展起来，可在多网络上有效地学习。神经网络在材料科学和工程中的运用第38页6.2.4神经网络学习方法概率式学习从统计力学、分子热力学和概率论中关于系统稳态能量标准出发，进行神经网络学习方式称概率式学习。神经网络处于某一状态概率主要取决于在此状态下能量，能量越低，概率越大。同时，此概率还取决于温度参数T。T越大，不一样状态出现概率差异便越小，较轻易跳出能量局部极小点而到全局极小点；T越小时，情形正相反。概率式学习经典代表是Boltzmann机学习规则。它是基于模拟退火统计优化方法，所以又