人工神经网络基础专家讲座

课时安排:48课时,1~16周。参考书目：最新汉字书籍；NeuralNetworks:AComprehensiveFoundation(SecondEdition)Simon.Haykin清华大学出版社,;相关刊物。人工神经网络基础专家讲座第1页第一章概述ArtificialNeuralNetwork,简记ANN;ConnectionismModel,连接机制模型ParallalDistributedModel,并行分布处理模型人工神经网络基础专家讲座第2页§1.1人工神经网络概念提出当代计算机有很强计算、信息处理能力，不过处理像模式识别、感知、评判和决议等复杂问题能力却远不如人；只能按人事先编好程序机械地执行，缺乏向环境学习适应环境能力。

人工神经网络基础专家讲座第3页人脑生物进化最高产物；最复杂、最完善和最有效信息处理系统；高级精神活动（智能、思维和情绪等）物质基础；人类认识较少领域之一。依据19世纪末创建神经元学说：人脑由大约1011～1012

神经元和1014～1015个突触组成巨系统。人工神经网络基础专家讲座第4页人脑固有特征：1.并行分布处理单个神经细胞反应速度:10-3s电子元件计算速度:10-9s决议过程只需1秒：记忆回溯、语言了解、直觉推理、图像识别等；从部分信息结构人和物图像。100步程序长度（J.A.Feldman）:串行工作模式没有这么快反应能力。人工神经网络基础专家讲座第5页2.可塑性和自组织性:突触信息传递特征可变，细胞间联接是柔软。3.系统性:相互作用;调整。4.系统恰当退化：少许神经元损伤（或正常死亡），网络总体功效继续有效。人工神经网络基础专家讲座第6页人脑与计算机信息处理能力比较1.记忆与联想能力2.学习与认知能力3.信息加工能力4.信息综合能力5.信息处理速度人工神经网络基础专家讲座第7页人脑与计算机信息处理机制比较1.系统结构2.信号形式3.信息存放4.信息处理机制人工神经网络基础专家讲座第8页从大脑组织结构和运行机制绝妙特点，追求新型信号处理系统：超越人计算能力，探寻新信息表示、存放和处理方式，设计全新计算处理结构模型；类似于人识别、判断、联想和决议能力，处理传统冯·诺依曼计算机难以处理问题。人工神经网络基础专家讲座第9页对神经网络分析和研究：揭示人脑工作机理；了解神经系统进行信息处理本质。目标：设计类似人脑一些功效智能系统。微观（结构）：与生物神经网络拓扑一致；宏观功效：与人类智能行为恰当对应。用机器代替人脑部分劳动是当今科学技术发展主要标志。仅用人工机械系统完全模拟人脑是不可能！人工神经网络基础专家讲座第10页以人脑组织结构和功效特征为原型，设法构建与人脑结构和功效拓扑对应人造智能系统来模拟人类智能行为。标准上讲，是智能模拟中一个很有前途发展方向。智能模拟研究两条不一样路径：1.心理学派：人类智能行为本质上是以思维为主要特征一系列心理活动结果。这一模式经典：人工智能学科人工神经网络基础专家讲座第11页智能模拟方式：传统冯•诺依曼(VonNeumann)计算机表达机构为基础;逻辑推理和符号操作为特征。在模拟实现人学习能力、联想记忆能力和人脑大规模并行处理能力等功效时，碰到困难。人工神经网络基础专家讲座第12页2.生理学模式:经典:人工神经网络,当前被认为是很有发展前途另一个智能模拟方法。人们经过对人脑神经系统初步认识，尝试结构人工神经元，组成人工神经网络系统，对人智能、思维行为进行研究，试图从理性角度说明人脑高级功效。人工神经网络基础专家讲座第13页HechtNielsen关于人工神经网络定义:“神经网络是由多个非常简单处理单元彼此按某种方式相互连接而形成计算系统,该系统是靠其状态对外部输入信息动态响应来处理信息”美国国防高级研究计划局关于人工神经网络解释是:“人工神经网络是一个由许多简单并行工作处理单元组成系统,其功效取决于网络结构、连接强度以及各单元处理方式。”综合人工神经网络起源、特点及各种解释，能够简单表述为：人工神经网络是一个意在模仿人脑结构及其功效信息处理系统。人工神经网络基础专家讲座第14页当前有上百种ANN模型：基本处理单元：人工神经元----对生物神经元近似仿真。人工神经元有不一样模型：算法在不一样程度上或多或少地靠近神经信息处理标准。人工神经网络基础专家讲座第15页输出信号强度大小：反应该单元对相邻单元影响强弱。人工神经元之间经过相互联接形成网络：人工神经网络（ANN）。人工神经网络基础专家讲座第16页ANN是由大量高度互连信号或信息处理单元（人工神经元）组成计算系统：用于模拟人脑行为复杂网络系统，反应人脑功效许多基本特征。1.对人脑神经系统某种简化、抽象和模拟；2.理论化人脑神经网络数学模型。当前ANN结构大致采取以下标准：1.一定数量基本单元分层联接;2.每个单元输入、输出信号以及综合处理内容比较简单；3.网络学习和知识存放表达在各单元之间联接强度上。人工神经网络基础专家讲座第17页ANN固有特征：1.信息处理和记忆分布在整个网络上,把硬件与软件在结构上分开是困难；2.高度并行性：大量简单处理单元并行活动。3.高度非线性全局作用：网络之间相互制约和相互影响，实现从输入空间到输出状态空间非线性映射;网络整体性能不是网络局部性能简单迭加。人工神经网络基础专家讲座第18页4.良好容错性与联想记忆功效：记忆信息存放在神经元之间联接（权值）中；分布式存放方式。5.处理单元（神经元）包含经典非线性激活函数;6.鲁棒性:高度冗余并行结构表现出很高非敏感性。人工神经网络基础专家讲座第19页7.自适应、自学习功效：联接模式：神经元之间相互联接方式。相互之间联接度经过联结权重表达。ANN中,改变信息处理过程及其能力,实际上就是修改网络权值过程。神经元主要方面：突触（联接）按照自适应改变。人工神经网络基础专家讲座第20页至今提出真实生物神经网络人工模型是很简单，只是真实生物结构粗略近似。人工神经网络结构问题仍是一个困难还未处理问题！是否有必要尽可能准确模拟生物结构？是否能经过不完全对应于真实生物神经系统模型，取得期望性质？人工神经网络基础专家讲座第21页§1.2人工神经网络发展人工神经网络是一门高度综合交叉学科,其发展大致分为四个时期:探索时期;第一次研究热潮时期;低潮时期;第二次研究热潮时期.人工神经网络基础专家讲座第22页一.探索时期:

(40年代)1890年,WilliamJames发表了第一部详细叙述人脑结构及功效专著:PrinciplesofPsychology(心理学原理)对相关学习、联想记忆基本原理做了开创性研究：当一个基本脑细胞曾经一起或相继被激活过，其中一个受刺激重新激活时会将刺激传输到另一个；神经细胞激活是细胞全部输入叠加结果。人工神经网络基础专家讲座第23页1943年，神经元理论建模；二值神经元模型：神经细胞视为二值（MP模型）开关元件，细胞按不一样方式组合联接来实现。模型过于简单。人工神经网络基础专家讲座第24页W.C.McCullochandW.A.PittsALogicalCalculationsoftheIdeasLmmanentinNervousActivityBulletinofmathematicalBiophysics,Vol.5:115~133,1943人工神经网络基础专家讲座第25页1949年，Hebb学习法则；脑细胞活动时细胞间联络被加强---经过调整神经元之间联接强度来实现ANN学习功效。D.O.HebbTheOrgnizationofBehaviorJohnWiley,NewYork,1949人工神经网络基础专家讲座第26页二.第一次研究热潮时期:(50年代末~60年代初)1958年：感知器（Perceptron）：模拟人脑感知和学习能力，主要用于模式分类。1959年：自适应线性元件（AdaptiveLinearElementAdaline）：感知器改变形式。从工程实际出发，在计算机上模拟了这种ANN；硬件实现，第一个用于处理实际问题ANN。人工神经网络基础专家讲座第27页1962年，Rosenblatt著作：ThePrincipleofNeurodynamic详细介绍感知器网络。模型比较简单，但显示与当初流行冯•诺依曼(VonNeumann)计算机一些不一样性质：可学习性；分布式存放；连续计算。感知器应用研究：学习记忆；文字识别；声音识别；声纳信号识别。人工神经网络基础专家讲座第28页F.RosenblattThePerceptron:aProbabilistiedModelforInformationStorageandOrganizationinTLBrainPsychologicalReview,Vol.65:386~408,1958B.WidrowandE.HoffAdaptiveSwitchingCircuit,IREWESCONConventionRecordPart4,Computers,Man-MachineSystems:96~104,1960人工神经网络基础专家讲座第29页三.低潮时期:(60年代末~70年代)理论上:计算机技术正处于快速发展阶段,掩盖了发展ANN理论必要性和迫切性;技术条件:硬件实现ANN非常困难;人为原因。M.MinskyandS.PapertPerceptronsMITPress,1969其它研究:神经网络动态过程数理分析；自组织理论研究；联想记忆。人工神经网络基础专家讲座第30页四.第二次研究热潮时期:(80年代~至今)1.Hopfield网络模型：用于联想记忆和优化计算反馈互连网络。网络稳定性明确判据；电子模拟电路实现：神经网络执行运算，不一样于布尔代数运算----由此兴起新一代电子神经计算机研究。2.BP网络：（BackPropagation）处理了感知器不能处理问题；找到了Minsky提出问题处理方法。人工神经网络基础专家讲座第31页J.J.HopfieldNeuralNetworksandPhysicalSystemswithEmergentCollectiveComputationalAbilitiesProc.Natl.Acad.Sci.,U.S.A.Vol.79:2554~2558,1982NeuronswithGradedResponsehaveCollectiveComputationalPropertiesLikeThoseofTwo-stateneurousProc.Natl.Acad.Sci.,U.S.A.Vol.81:3088~3092,1984人工神经网络基础专家讲座第32页D.E.RumelhartandD.E.McClellandParallelDistributedProcessing:ExplorationsintheMicrostructureofCognitionMITPress,CambridgeMA,19861987年6月:IEEE(国际电气和电工工程师协会)在SanDiego召开“第一届神经网络国际学术讨论会”;《IEEETransationonNeuralnetworks》同年,国际神经网络学会(INNS)成立《NeuralNetworks》人工神经网络基础专家讲座第33页迄今为止ANN研究，大致上分为三个方向：探求人脑神经网络生物结构和机制；用微电子学或光学器件形成特殊功效网络；NN理论作为处理一些问题伎俩和方法。人工神经网络基础专家讲座第34页我国NN研究起步于己于1988年；1992年在北京召开----国际网络学会和IEEE神经网络委员会联合学术会议（IJCNN）总体上，我国研究领域、论文数量，与国外有相当大差距。IEEE-INNS-ENNS:InternationalJointConferenceonNeuralNetworks,7.24~7.27,,Italy论文：526，大陆：10监督学习24多层感知器17进化计算17时序预测16模式识别14人脸识别14医疗应用20系统监别15机器15硬件实现24通信18人工神经网络基础专家讲座第35页新动向：1.神经计算基础理论框架以及生理层面研究仍需深入;2.监督学习:仍有很多研究问题;非监督学习:起步较晚,发展空间大;3.新模型和结构:现有网络：多层感知机、径向基函数网络、自组织特征映射网络、自适应谐振理论网络、含糊神经网络、循环神经网络等。人工神经网络基础专家讲座第36页脉冲神经网络(SpikingNeuralNetwork)支持向量机(SupportVectorMachine)4.增强ANN可了解性研究:神经计算和机器学习界研究热点。5.神经计算技术与其它技术,尤其是进化计算技术结合;混合方法和混合系统是研究热点。6.应用领域不停扩大。人工神经网络基础专家讲座第37页§1.3人工神经网络研究意义神经科学研究长久目标：揭示人脑工作机制，了解思维本质；近期目标：研究和利用大脑神经网络一些特征，设计出含有类似一些大脑功效智能系统。

人工神经网络基础专家讲座第38页神经网络理论研究是一门新兴边缘和交叉学科，它产生和发展首先受其它学科影响，反过来又势必