神经网络原理与应用

1、神经网络原理与应用Artificial Neural Networks and Applications孙光民教授北京工业大学电子工程系Tel: 67391526; E-mail: 神经网络原理与应用第1页 第一章 绪论 一概述 二神经网络(ANN)研究简史 三神经网络(ANN)原理介绍 四ANN分类及研究方向神经网络原理与应用第2页/10/10神经网络与模式识别研究室3一概述近几十年，人工神经网络研究和应用，引发了国内外学术界广泛重视，并在许多领域取得了显著结果。对于电子技术和信号处理专业学生和科技人员，对神经网络理论进行必要学习和掌握，甚至可能话，在实际中加以应用，是非常有意义。神经网络原

2、理与应用第3页从第一台数字计算机问世（1946年），计算机系统几经更新换代，经历了由电子管、晶体管、LSI、VLSI，到以后飞跃4、双核技术等发展阶段。近年来，软件方面也在不停升级更新，计算机性能越来越优越，应用也越来越广泛。尽管如此，但计算机系统并非万能，它存在着本身不足和物理极限（小型化），其特点是串行运算，输入输出存在线性和确定性关系。神经网络原理与应用第4页 所以要深入提升性能，就必须要求在器件、原理及思绪上有所突破，要充分表达并行运算、非线性、不确定性关系等特点。以非线性大规模并行处理为特点人工神经网络，突破了传统线性处理为基础数字计算机局限，受到各学科领域广泛关注，将为计算机技术发

3、展带来一场革命，并促使以神经计算机为基础高技术群诞生和发展。神经网络与模式识别研究室/10/105神经网络原理与应用第5页 那么，什么是神经网络？它与传统数字计算机区分在于，它是模拟人脑一个信息处理系统，含有许多特点，功效强大。ANN与数字计算机比较: 并行处理串行处理 鲁棒性、容错性确定性、准确性 自学习能力教授经验知识库,无更新 大规模自适应非线性动力系统线性确定性系统 运算、存放合而为一运算、存放分离/10/10神经网络与模式识别研究室6神经网络原理与应用第6页/10/10神经网络与模式识别研究室7二ANN研究简史ANN研究简史可追溯到四十年代初，但因为种种原因，起始阶段发展不快，并曾一

4、度陷入低谷。近几十年，科学技术不停发展，为ANN发展奠定了基础，使得ANN异军突起，空前活跃，成为研究热点。神经网络原理与应用第7页1943年，MP模型(McCulloch和Pitts)1944年，Hebb学习规则(条件反射规则)1957年，Rosenblatt提出：感知器 (perceptron)1962年，自适应线性元件（Adaline）1969年，Minsky和Papert证实了感知器 不足，发表perceptron 论文/10/10神经网络与模式识别研究室8神经网络原理与应用第8页 1966-1982年，陷入低谷,期间：维纳学生Grossberg（美科学院院士）提出：自适应共振理论Ko

5、honen提出：自组织特征映射网络Amari（甘利俊一）从事数学理论研究Anderson提出：盒中脑（BSB）模型Webos提出：BP 理论（1974年）在这期间，数字计算机跨越三代，传统人工智能较快发展。/10/10神经网络与模式识别研究室9神经网络原理与应用第9页 1982年，加州工学院 Hopfield提出：HNN模型，在网络中引入能量函数概念，作为稳定性判据，给出RC电路模型，推进了NN发展，使ANN用于联想记忆和优化计算。之后，ANN研究进入空前活跃期，Hinton等提出Boltzman机，采取多层网络学习方法，在学习过程中借用统计物理学方法,引入模拟退火技术。/10/10神经网络与

6、模式识别研究室10神经网络原理与应用第10页Rumelhart等提出：并行分布处理理论，发展了BP算法。 Kosko提出：双向联想记忆网络1988年，加州大学蔡少堂和复旦大学杨林提出：细胞神经网络。/10/10神经网络与模式识别研究室11神经网络原理与应用第11页 近年来，ANN研究愈加炽热，提出了各种新网络模型，并结合含糊理论、小波理论、混沌理论、分形理论等技术，应用也愈加广泛。受到各国政府、科学家和企业家重视，各门学科联合研究，提出重大研究计划，如：美国DARPA计划、日本HFSP计划、法国尤里卡、德国欧洲防御、俄罗斯高技术发展计划，中国863计划等。86.4,召开第一届ANN国际会议,8

7、7.6,召开第一届IEEE NN国际会议，同年国际NN学会成立，88年元月，NN杂志创刊。88年后NN国际学会与IEEE联合每年一次国际会议，90年3月IEEE NN会刊问世。/10/10神经网络与模式识别研究室12神经网络原理与应用第12页ANN研究热潮出现，除了神经科学研究本身突破和进展外，更主要是因为计算机科学和人工智能发展需要以及VLSI技术，生物技术，超导技术和光学技术等领域快速发展，为ANN技术发展提供了技术上可能性。ANN研究包括到计算机科学、控制论、信息科学、微电子学、心理学、认知科学、物理学与数学等学科。/10/10神经网络与模式识别研究室13神经网络原理与应用第13页 除此

8、之外，还有一些其它科学背景支撑，如70年代产生新三论：协同论，突变论与耗散结构论以及近年来广泛研究混沌动力学理论等，都揭示了复杂系统怎样经过微观元件集体协同作用，使系统结构在宏观上到达从无序到有序，功效由简单到复杂非线性动力学过程。这种过程类似于生物系统进化过程和智能系统学习过程。所以，对NN研究给予了不可或缺启示。 /10/10神经网络与模式识别研究室14神经网络原理与应用第14页NN问世标志着认知科学、计算机科学及人工智能发展又处于一个新转折点，它应用和发展，不但会推进神经动力学本身，而且将影响新一代计算机设计原理，可能为新一代计算机和人工智能开辟一条崭新路径，并为信息科学带来革命性改变。

9、/10/10神经网络与模式识别研究室15神经网络原理与应用第15页/10/10神经网络与模式识别研究室16三神经网络原理介绍神经网络是模拟人脑一个信息处理系统，它只是一个抽象、简化模拟。NN模型有几十种甚至上百种，都是由许多简单、相同神经元组成，不一样模型区分在于反应神经元非线性特征激励函数、神经元之间连接方式和所采取学习规则不一样。这是决定NN特征三个基本要素。为了对三要素分别介绍，我们首先看一下生物神经元结构和机理。神经网络原理与应用第16页/10/10神经网络与模式识别研究室171. 生物神经元模型生物神经元由细胞核、轴突、树突和突触等组成。生物神经元功效： 时空整合功效兴奋和抑制状态突

10、触延时和不应期学习、遗忘和疲劳神经网络原理与应用第17页 2.人工神经元模型及惯用非线性函数人工神经元模型是对生物神经元模拟和近似，所以类似于生物神经元，其结构模型由下列图示：/10/10神经网络与模式识别研究室18神经网络原理与应用第18页/10/10神经网络与模式识别研究室19它是一个多输入单输出非线性器件，其中X1,Xn为外界输入信号，能够是来自其它神经元输出信号，Wi为连接权值， 为阈值,Yi为经神经元处理后输出信号，神经元对外界输入信号进行处理。可分为三步： 1）加权求和 2）阈值比较 3）非线性处理所以整个过程可由以下公式描述：神经网络原理与应用第19页对于不一样神经网络模型，其中

11、神经元非线性激励函数f(.)可能取不一样形式，惯用非线性函数有以下三种类型：a)阈值型: 这是最早提出二值离散神经元模型。/10/10神经网络与模式识别研究室20神经网络原理与应用第20页 b)线性或分段线性型： /10/10神经网络与模式识别研究室21神经网络原理与应用第21页 c)Sigmoidal函数型： 或 这类曲线可连续取值，反应了神经元饱和特征。/10/10神经网络与模式识别研究室22神经网络原理与应用第22页 3.神经网络连接方式神经网络是由大量神经元以不一样方式连接而成大规模复杂系统，不一样网络模型可能含有不一样连接方式，惯用连接方式有：/10/10神经网络与模式识别研究室23

12、神经网络原理与应用第23页 1)不含反馈前向网络：这种网络中神经元分层排列，每层神经元只接收前一层神经元输入。感知器和BP网络，径向基函数网络等均是这种类型。/10/10神经网络与模式识别研究室24神经网络原理与应用第24页 2)从输出层到输入层有反馈前向网络： 如：ART网络（自适应共振理论网络）神经网络原理与应用第25页 3)层内有相互接合前向网络，经过层内相互接合可到达同层中神经元之间侧向抑制和兴奋机制。 如：SOFM网络（自组织特征映射网络）/10/10神经网络与模式识别研究室26神经网络原理与应用第26页4)全互联网络（相互结合型网络）网络中各神经元之间都有可能连接，在这种网络中信号

13、要在神经元之间重复往返屡次传递，网络状态不停改变，直到某时刻才到达某种平衡状态。 HNN和Boltzman机等网络均属于这种。神经网络原理与应用第27页4.神经网络工作方式及学习规则在传统数字计算机中，计算与存放是完全独立两个部分，即计算机在计算之前要从存放器中取出待处理数据，然后计算，最终又将结果存入存放器，这么存放器与计算器之间通道就组成了计算机瓶颈，从而大大限制了它运算能力。/10/10神经网络与模式识别研究室28神经网络原理与应用第28页 在人工神经网络中，信息存放与处理是合二为一，即信息存放表达在神经元连接权值分布之中，并以大规模并行分布方式处理。神经网络信息处理过程能够分为两个阶段

14、，一个是学习期，此时各神经元状态不变，而各连接权值经过学习进行修正，这个过程相对较慢，权值调整过程即为学习过程，最终权值分布即为长久记忆。/10/10神经网络与模式识别研究室29神经网络原理与应用第29页而另一阶段则是工作期，此时神经网络已经训练好，连接权值保持不变，即经过信息不停传递，使各神经元状态发生改变，从而使网络最终到达一个稳定平衡态，这就像人脑寻找记忆过程，这一过程相对较快，各神经元状态也称之为短期记忆。/10/10神经网络与模式识别研究室30神经网络原理与应用第30页不一样网络学习规则有所不一样，学习规则即为权值调整一个算法，有网络学习或权值调整是在网络信息处理过程中自发地完成，而

15、有网络则需要从例子中进行学习，惯用学习规则有以下几个：/10/10神经网络与模式识别研究室31神经网络原理与应用第31页1)相关规则：仅依据连接间激活水平改变权值，比如Hebb规则为： 与条件反射学说相一致，即外界激励越强，神经元越兴奋，连接权值越增强。/10/10神经网络与模式识别研究室32神经网络原理与应用第32页2)纠错规则：依赖于输出节点外部反馈信息改变权值，相等于梯度下降法，经过改变权值不停纠正错误，从而到达最终所期望输出。所以需要有一个指导信号或参考信号，这种规则又称为有导师监督学习规则。/10/10神经网络与模式识别研究室33神经网络原理与应用第33页4)无导师监督学习规则：这种

16、规则是网络经过向外界客观事物学习，自发地完成权值修正，希望经过修正权值，以使网络能客观反应事物真实分布，学习过程是经过竞争而自适应地进行，从而使不一样节点有选择地接收或响应输入空间中含有不一样特征激励。/10/10神经网络与模式识别研究室34神经网络原理与应用第34页四ANN分类及研究方向 当前神经网络模型已经有近百种，不一样模型从不一样侧面模拟人脑一些特征，所以能够完成不一样功效。假如说要将神经网络进行分类话，能够从以下几个方面进行分类：/10/10神经网络与模式识别研究室35神经网络原理与应用第35页 1.按网络性能可分为： 连续型与离散型 确定性与随机性网络2.按网络结构可分为： 反馈网

17、络，存在稳定性问题 前向网络，不存在稳定性问题，只有 算法收敛性3.按学习方式可分为： 有导师学习网络 无教师学习网络/10/10神经网络与模式识别研究室36神经网络原理与应用第36页4.按连接突触性质可分为：一阶线性关联网络高阶非线性关联网络5.按网络模型所模拟人脑神经系统功效层次可分为：神经元层次模型：研究单个神经元特征及对输入响应机理。如 Adaline组合式模型：由数种不一样特征神经元组成，它们相互补充，相互协作，完成一些特定功效。如模式识别等。/10/10神经网络与模式识别研究室37神经网络原理与应用第37页 网络层次模型：由许多相同神经元互联而成，从整体上研究网络集体特征。如HNN

18、等。神经系统层次模型：由多个不一样性质网络组成复杂系统，模拟生物神经系统更复杂或更抽象性质。如概念形成。智能型模型：这是最抽象层次，试图模拟人脑信息处理过程和策略。如感知，思维等过程。/10/10神经网络与模式识别研究室38神经网络原理与应用第38页近年来，神经网络受到了国内外科技人员广泛关注，得到了大量研究，归纳起来，研究主要包含三个方面：理论应用实现其特点和详细研究课题介绍以下：/10/10神经网络与模式识别研究室39神经网络原理与应用第39页1理论研究： 其特点是NN数学理论相对比较微弱，所以轻易提出一些新方法和新思想，这方面研究课题主要包含： a)模型研究： 比如人脑生理结构、思维机制

19、、神经元生物特征（时空特征）、不应期、电化学性质等完善人工模拟，如高阶非线性模型，多维局域连接模型等。/10/10神经网络与模式识别研究室40神经网络原理与应用第40页神经网络计算模型及学习算法等研究。比如提出一些新网络结构，不一样神经元模型和非线性特征及新学习方法（混沌神经元，含糊神经元，随机逻辑神经元，高斯型非线性特征，负阻型非线性特征，随机算法，模拟退化算法，强化学习算法，遗传算法等）/10/10神经网络与模式识别研究室41神经网络原理与应用第41页 b）神经网络基本理论研究 非线性内在机制-自适应、自组织、协同作用、突变、奇怪吸引子与混沌、分维、耗散结构、随机非线性动力学等。 神经网络基本性能：稳定性、收敛性、容错性、鲁棒性、动力学复杂性等。/10/10神经网络与模式识别研究室42神经网络原理与应用第42页 NN计算能力与判别准则计算能力、准确性、存放容量、准则表示、综合性能判别等。 关于智能本质研究，这是自然科学与哲学课题之一，成各学科共同关心焦点。/10/10神经网络与模式识别研究室43神经网络原理与应用第43页2.应用研究其特点是还处于起始研究阶段，但因为NN本身所含有特点，使得其应用非常广泛，所以应用研究范围也相当广泛。 比如神经网络在智能信息处理方面应用研究包含：/10/10神经网络与模式识别研究室44神经网络原理与应