人工神经网络课程

ArtificialNeuralNetworks

Lecture1.IntroductionHongyingZheng(郑洪英)zhenghongy@重庆大学计算机学院研究生课程CollegeofComputerScienceandEngineering,ChongqingUniversity2023/10/81课程目的和要求

目的：将神经网络的理论和方法应用到生产实践要求：掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题了解人工神经网络的有关研究思想，从中学习开拓者们的部分问题求解方法掌握软件实现方法。2023/10/82授课计划第一课：绪论（Introduction） 第二课：matlab与神经网络 第三课：人工神经网络基础 第四课：单层前向感知器（Perceptron） 第五课：BP神经网络 第六课：hopfield神经网络 第七课：SOM网络第八课：神经网络研究展望2023/10/83ANN国际期刊ANN国际会议ANN研究团队参考书2023/10/84NeuralNetworks(ISSN:0893-6080)TheOfficialJournaloftheInternationalNeuralNetworkSociety,EuropeanNeuralNetworkSociety&JapaneseNeuralNetworkSociety;NeuralNetworksisaninternationaljournalappearingtentimeseachyearthatpublishesoriginalresearchandreviewarticlesconcernedwiththemodellingofbrainandbehavioralprocessesandtheapplicationofthesemodelstocomputerandrelatedtechnologies.Modelsaimedattheexplanationandpredictionofbiologicaldataandmodelsaimedatthesolutionoftechnologicalproblemsarebothsolicited,asaremathematicalandcomputationalanalysesofbothtypesofmodels./wps/find/journaldescription.cws_home/841/description#description(1.955)2023/10/85IEEETransactionsonNeuralNetworks

ISSN:1045-9227

Devotedtothescienceandtechnologyofneuralnetworks,whichdisclosesignificanttechnicalknowledge,exploratorydevelopments,andapplicationsofneuralnetworksfrombiologytosoftwaretohardware.Emphasisisonartificialneuralnetworks./portal/pages/pubs/transactions/tnn.html

(2.633)2023/10/86NeuralComputationNeuralComputationdisseminatesimportant,multidisciplinaryresearchresultsinafieldthatattractspsychologists,physicists,computerscientists,neuroscientists,andartificialintelligenceinvestigators,amongothers.Forresearcherslookingatthescientificandengineeringchallengesofunderstandingthebrainandbuildingcomputers,neuralcomputationhighlightscommonproblemsandtechniquesinmodelingthebrain,andinthedesignandconstructionofneurally-inspiredinformationprocessingsystems.Timely,shortcommunications,full-lengthresearcharticles,andreviewsfocusonadvancesinthefieldandalsocoverthebroadrangeofinquisitionintoallaspectsofneuralcomputation./

(2.3)2023/10/87Neurocomputing(0925-2312)Neurocomputingpublishesarticlesdescribingrecentfundamentalcontributionsinthefieldofneurocomputing.Neurocomputingtheory,practiceandapplicationsaretheessentialtopicsbeingcovered./wps/find/journaldescription.cws_home/505628/description#description

(1.429)2023/10/88ANNInternationalConferencesInternationalJointConferenceonNeuralNetworks

/2011/index.htm

InternationalSymposiumonNeuralNetworks(sixthconference,china)

.hk/~isnn2009

EuropeanSymposiumonArtificialNeuralNetworks(20th)

http://www.dice.ucl.ac.be/esann/

InternationalConferenceonArtificialNeuralNetworks

/

2023/10/89ANNSocietiesInternationalNeuralNetworksSociety

/IEEEComputationalIntelligenceSociety(earliertitle:IEEENeuralNetworksSociety)

/

2023/10/810ReferencesMartinT.Hagan,HowardB.Demuth,MarkH.Beale(戴葵,等译).NeuralNetworkDesign.机械工业出版社,2002.高隽.人工神经网络原理及仿真实例.机械工业出版社,2003.蒋宗礼.人工神经网络导论.高等教育出版社,2003.阮炯,顾凡及,蔡志杰.神经动力学模型方法和应用.科学出版社,2002.袁曾任.人工神经元网络及其应用清华大学出版社.19992023/10/811第1章

引言1.1人工神经网络的提出1.2人工神经网络的特点1.3历史回顾2023/10/8121.1人工神经网络的提出目前使用的计算机，其计算速度之快和处理信息准确性等方面有着独特的优点，但在逻辑推理、问题思考等方面，与人脑比较，还有着明显的差距。那么，怎样才能让计算机既会“思考”，又具有“智力”呢？2023/10/813Whatyouseeinthepicture?2023/10/814FromBiologicaltoArtificialNeuronModelIsthereanyconventionalcomputeratpresentwiththecapabilityofperceivingboththetreesandBaker'stransparentheadinthispictureatthesametime?Mostprobably,theanswerisno.Althoughsuchavisualperceptionisaneasytaskforhumanbeing,wearefacedwithdifficultieswhensequentialcomputersaretobeprogrammedtoperformvisualoperations.2023/10/815FromBiologicaltoArtificialNeuronModelInaconventionalcomputer,usuallythereexistasingleprocessorimplementingasequenceofarithmeticandlogicaloperations,nowadaysatspeedsapproaching109operationspersecond.Howeverthistypeofdeviceshaveabilityneithertoadapttheirstructurenortolearninthewaythathumanbeingdoes.ConventionalComputers2023/10/816FromBiologicaltoArtificialNeuronModelThereisalargenumberoftasksforwhichitisprovedtobevirtuallyimpossibletodeviceanalgorithmorsequenceofarithmeticand/orlogicaloperations.Forexample,inspiteofmanyattempts,amachinehasnotyetbeenproducedwhichwillautomaticallyrecognizewordsspokenbyanyspeakerletalonetranslatefromonelanguagetoanother,ordriveacar,orwalkandrunasananimalorhumanbeing[Hecht-Nielsen88]Whattraditionalcomputerscan'tdo?2023/10/817FromBiologicaltoArtificialNeuronModelWhatmakessuchadifferencebetweenbrainandconventionalcomputersseemstobeneitherbecauseoftheprocessingspeedofthecomputersnorbecauseoftheirprocessingability.Today’sprocessorshaveaspeed105timesfasterthanthebasicprocessingelementsofthebraincalledneuron.Whentheabilitiesarecompared,theneuronsaremuchsimpler.Thedifferenceismainlyduetothestructuralandoperationaltrend.Whileinaconventionalcomputertheinstructionsareexecutedsequentiallyinacomplicatedandfastprocessor,thebrainisamassivelyparallelinterconnectionofrelativelysimpleandslowprocessingelements.ComputersversusBrain2023/10/818FromBiologicaltoArtificialNeuronModel2023/10/8191.1人工神经网络的提出为了解决这个问题，人们进行了各种尝试。人工智能和神经网络方法是从不同角度进行的尝试。2023/10/820（1）生理结构的角度模拟：用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络（ArtificialNeuralNetwroks，简称ANN）方法。（2）宏观功能的角度模拟：从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即物理符号处理方法(人工智能方法)。2023/10/821人工神经网络是从人脑的生理结构出发，探讨人类智能活动的机理，从生理结构上来模拟，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来。2023/10/822人工智能方法是从人脑的智能活动出发，研究人脑智能的物质过程和规律。把人们所理解的人脑的逻辑思维规律加给计算机，但对人脑的构造及其物质基础却毫不关心。2023/10/823重点研究的是机器的思维问题，解决问题的关键在于知识的表示、获取、存储和使用。例如，专家系统是把各位专家的知识汇聚到计算机上，使计算机具有或超过专家的智能，但对专家的知识的物质基础－人脑，则毫不重视，因此其能力的界限也是显然的。2023/10/8241.1人工神经网络的提出两种方法的比较

心理过程逻辑思维高级形式（思维的表象）

生理过程

形象思维

低级形式（思维的根本）

仿生

人工神经网络物理符号系统2023/10/8251.1人工神经网络的提出物理符号系统和人工神经网络系统的差别

项目物理符号系统人工神经网络处理方式逻辑运算模拟运算执行方式串行并行动作离散连续存储局部集中全局分布2023/10/8261.1人工神经网络的提出两种方法的比较项目传统的AI技术

ANN技术

基本实现方式

串行处理；由程序实现控制

并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制

基本开发方法

设计规则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型）

定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习——自动从样本数据中抽取内涵（自动适应应用环境）

适应领域

精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象

左脑（逻辑思维）右脑（形象思维）2023/10/827实际上，脑对外部世界的时空客体的描述和识别，乃是认知的基础。认知问题离不开对底层次信息处理的研究和认识。虽然符号处理在脑的思维功能模拟等方面取得了很大进展，但它对诸如视听觉、联想记忆和形象思维模拟等方面往往力不从心。2023/10/828符号处理与神经网络是一种互补的关系。神经网络的研究重点在于模拟和实现人的认知过程中的感知觉过程、形象思维、分布式记忆和自学习自组织过程。神经网络与符号处理相结合，可能会使人们对人的认知过程有一个较全面的理解，也就是说不仅对左脑（逻辑思维）的功能有所认识，而且对右脑（形象思维）的认识规律也有所研究。2023/10/829利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。研究ANN目的：（1）探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。（2）探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。

2023/10/830ANN的研究内容（1）理论研究：ANN模型及其学习算法，试图从数学上描述ANN的动力学过程，建立相应的ANN模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。（2）实现技术的研究：探讨利用电子、光学、生物等技术实现神经计算机的途径。（3）应用的研究：探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。2023/10/831人工神经网络与生物神经网络的比较1单元上的差别对于生物神经元而言，影响突触传递信息强度的因素很多、很复杂。如突触前微细胞的大小与多少、神经传递化学物质含量的多少、神经传递化学物质释放的速度、突触间隙的变化、树突的位置与大小等诸多因素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。而人工神经元则忽略了这些影响，输入、输出关系十分简单。2023/10/832人工神经网络与生物神经网络的比较2信息上的差别生物神经元传递的信息是脉冲，而人工神经元传递的信息是模拟电压。2023/10/833人工神经网络与生物神经网络的比较3规模与智能上的差别目前，人工神经网络的规模还远小于生物神经网络，网络中神经元的数量一般在104个以下，显然，其智能也无法与生物神经网络相比。网络的规模(含拓扑结构)是影响网络智能的一个因素，但是，还有另一个重要因素，那就是网络信息处理的机理和机制(学习方法)。目前，人们对大脑智能信息处理(例如思维过程)的一些机理和机制性问题还不太了解，相应地这些问题也就不可能在人工神经网络中得到实质性的反映。随着这些问题的解决，人工神经网络的智能必然会得到相应提高。2023/10/8341.2人工神经网络的特点信息的分布表示运算的全局并行和局部操作处理的非线性

2023/10/835联接主义观点

核心：智能的本质是联接机制。神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统ANN力求从四个方面去模拟人脑的智能行为物理结构计算模拟存储与操作训练2023/10/8361.2.1人工神经网络的概念1、定义

（1）Hecht—Nielsen（1988年）人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PE—ProcessingElement）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。2023/10/8371.2.1人工神经网络的概念（1）Hecht—Nielsen（1988年）（续）处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。2023/10/8381.2.1人工神经网络的概念强调：

①

并行、分布处理结构；②一个处理单元的输出可以被任意分枝，且大小不变；③输出信号可以是任意的数学模型；④处理单元完全的局部操作

2023/10/8391.2.1人工神经网络的概念（2）Rumellhart，McClelland，Hinton的PDP1）

一组处