人工神经网课程第一讲优秀

人工神经网课程第一讲第一页，共五十五页，编辑于2023年，星期五大脑定位系统“内置GPS”1971年发现——“位置细胞”（处于不同位置，老鼠大脑海马区不同区域神经细胞激活不同）2005年发现——“网格细胞”（老鼠大脑海马区边缘的另一个关键构成——形成坐标系，可精确定位与寻找路径）大脑定位系统的认知，揭示大脑如何创建周围空间的“地图”？如何在复杂环境下定位路径？

在细胞与分子水平上对脑和神经系统研究已取得巨大成功，同时已有可能在整体水平上监测脑实施功能时各分区神经元的活动状态。为缩小脑科学研究的“巨大鸿沟”，迈出珍贵一步，即“位置细胞”与“网格细胞”在细胞层面上共同实现大脑对位置与路径认知。大脑的定位系统

2014年诺贝尔奖生理学医学奖美国科学家JohnO'Keefe(约翰-欧基夫)

挪威科学家MayBrittMoser(梅-布莱特)以及EdvandMoser(爱德华-莫索尔)

奖励在“发现了大脑中形成定位系统的细胞”方面所做的贡献第二页，共五十五页，编辑于2023年，星期五第三页，共五十五页，编辑于2023年，星期五大脑内视觉信息处理过程示意图第四页，共五十五页，编辑于2023年，星期五视觉第一通路第五页，共五十五页，编辑于2023年，星期五HVS-V1、V2—V3、V4、MT—IT第六页，共五十五页，编辑于2023年，星期五大脑皮层

◆大脑皮层将大脑分为左、右两个半球的裂纹和一个将大脑分为前、后两个区域的回间沟

◆视觉通过V1区的主感知区进入大脑皮层，V1区感觉到的是最低级的视觉特性。V1区将这些特性向上传给V4区和IT区以及其它一系列区域根据视觉系统的解剖、生理和功能特点，在脑内有两条视觉通路：1、腹侧通路（色彩通路）沿着大脑皮层的枕颞叶分布。从枕叶的初级视皮层(V1)区、次级视皮层(V2)区经高级视皮层(V4)区投射至下颞叶。腹侧通路的神经元主要对颜色和形状等物体特征进行反应，功能是对物体进行识别2、背侧通路（运动通路）沿着枕顶叶分布，从V1、V2、V3区经内侧颞叶(MT)投射至枕顶叶。背侧通路的神经元主要对运动速度与方向等特征进行反应，功能是对物体空间位置和运动进行识别

第七页，共五十五页，编辑于2023年，星期五国家中长期科学和技术发展规划纲要

（2006━2020年）

六、基础研究

2科学前沿问题（7）脑科学与认知科学(主要研究方向)◘脑功能的细胞和分子机理◘脑重大疾病的发生发展机理◘脑发育、可塑性与人类智力的关系◘学习记忆和思维等脑高级认知功能的过程及其神经基础◘脑信息表达与脑式信息处理系统◘人脑与计算机对话等第八页，共五十五页，编辑于2023年，星期五人脑的复杂的系统结构视觉系统听觉系统记忆系统……结构单元与功能单元复杂分子突触神经元局部网络运算单元系统脑1埃1微米100毫米1毫米1厘米10厘米1米结构单元与功能单元一致皮层功能柱……神经递质━受体分子水平亚细胞结构（树突、轴突）◆神经系统的层次结构（物质结构层次）系统水平网络水平分子水平（神经元以下水平）第九页，共五十五页，编辑于2023年，星期五人脑的复杂的系统结构层次结构为脑的特点之一，上一层次结构由多个下一层次结构为单元的组件组成细胞水平到神经网络水平研究、网络水平到系统水平的研究；前者目前是研究的热点；过去后者研究较多。◆神经系统的并行工作同类信息通过多条并行的通路传递和处理人脑的并行处理机制还需要深入研究◆神经结构的可塑性比如突触的可塑性变化，可以改变神经元之间的联系，从而改变神经网络的特性，实现记忆与学习功能。神经元是结构与功能相对独立的单元，可以在分子层与系统层间起着某种“隔离”作用。◆各种脑机制研究及其成果功能性核磁共振成像（fMRI）……视觉成像、听觉成像等的脑机制……第十页，共五十五页，编辑于2023年，星期五JeffHawkins解读大脑的三个标准

◆大脑功能的时间概念真正的大脑快速处理大量不断变化的信息流，在I/O的信息流中没有任何东西静止不动

◆反馈的重要性神经解剖学家已发现大脑浸润在反馈连接中。反馈也通过大脑皮层控制了大部分的连接

◆任何大脑模型或理论都应解释大脑的物理结构

新大脑皮层并不是一个简单的构造，是由一个不断重复的层级结构组成，任何神经网络对这一结构认识不足，就无法像大脑一样工作

但是现有的神经网络模型极其简单，与上面的三个标准不吻合。这些简单的神经网络只能处理静止的模式，不涉及反馈，与大脑没有任何相似之处。第十一页，共五十五页，编辑于2023年，星期五开启计算机“高智商”新时代

IBM成功构建模拟人脑功能的认知计算机芯片

（2011-8-18）

通过模拟大脑结构，首次成功构建出两个具有感知认知能力的硅芯片原型，可以像大脑一样具有学习和处理信息的能力。

两个计算机芯片结合了神经元的计算能力、突触（或神经节）的记忆能力和轴突的通信能力———开发新一代计算机◆模仿大脑构建智能计算机的曲折挑战以冯·诺依曼架构为基础，内存和处理器分开，以总线作为数据通道。利用软件实现人工智能一个更大的局限，就是受限于计算机的结构，被计算机科学家称为“冯·诺依曼瓶颈”。◆类脑芯片----目前最接近复杂的认知计算机

◘新的计算机芯片的核心是其构造与大脑类似，有“神经元”，有“突触”，还有“轴突”。“神经元”是计算机的数字信息处理器；“突触”是学习和记忆的基础；“轴突”则是数据通道。

◘新芯片采用45纳米工艺，晶体管构造，设计模仿大脑神经元和突触组织。两个芯片均有256个数字神经元和256个轴突，数字神经元为10兆赫，具有芯片的标准功能，如存储器、通信控制器等，可基于输入动态连接突触，神经元可记住最近的活动，引发突触。使用量大的轴突，其权重较大。其中一个芯片拥有262144个可编程突触；而另一个芯片拥有65356个学习突触，这种芯片最令人感兴趣。理论上,每个数字神经元可同时与另外255个数字神经元连接，对于拥有65356个学习突触的芯片而言，可产生1700个不同的组合。◆模仿大脑构建智能计算机的曲折挑战IBM完成本次一代类脑芯片原型，就动用了6个实验室，联合了来自康奈尔大学、威斯康星大学、加州大学、哥伦比亚大学和政府研究机构的上百位研究人员。不算IBM的投入，仅美国国防部高级研究计划局就资助了4100万美元的研究经费。即使这样，该研究也历时6年，耗费人工高达数百万小时。第十二页，共五十五页，编辑于2023年，星期五距离实用又进一步

IBM公布仿人脑功能的芯片

（2014-8-8）

已研制出一款能模拟人脑神经元、突触功能以及其他脑功能的微芯片，从而完成计算功能，这是模拟人脑芯片领域所取得的又一大进展。IBM表示这款名为TrueNorth的微芯片擅长完成模式识别和物体分类等繁琐任务，而且功耗还远低于传统硬件。由三星电子为IBM生产,制造技术与三星电子生产智能手机及其他移动设备使用的微处理器制造技术一致◆在仿人脑功能芯片技术方面实现重大进展

IBM阿尔马登研究中心（AlmadenResearchCenter）研究员、脑灵感计算首席科学家哈门德拉•莫得哈（DharmendraModha）：“我们拥有极具野心的商业化目标。”不过他也表示，TrueNorth不会取代传统电脑芯片，他们是互补的关系。TrueNorth微芯片(左)的热成像图

第十三页，共五十五页，编辑于2023年，星期五人类认知芯片的进展

IBM发明世界首个人造神经元，人工智能的底层硬件基石已完成

（2016-8-4）

相变神经元IBM苏黎世研究中心随机相变神经元具有生物神经元的特性可用于制造高密度、低功耗的认知学习芯片（90纳米）以模拟人类大脑的工作方式进行信号处理第十四页，共五十五页，编辑于2023年，星期五人工神经网络及其应用

方涛第十五页，共五十五页，编辑于2023年，星期五§1绪论主讲内容◆§1.1生物神经网络及其生理机能◆§1.2人工神经网络的基本概念◆§1.3人工神经网络的发展历史回顾◆§1.4本课程的主要内容安排◆§1.5主要参考书目◆§1.6课程结业第一讲绪论第十六页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能★1.1.1神经元及其行为机理1.1.1.1解剖学研究神经元的基本结构1.1.1.2神经元的生物学功能1.1.1.3突触的生物学功能1.1.1.4生物神经网络★1.1.2神经元的信息处理与传递1.1.2.1神经元的兴奋与抑制1.1.2.2神经元的信息传递及阈值特性1.1.2.3神经元的信息传递的单向性和延时性1.1.2.4神经元的信息综合特性1.1.2.5神经元、突触的D/A、A/D特性1.1.2.6神经元建模1.1.2.7人脑的特征第一讲绪论第十七页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能1.1.1神经元及其行为机理

构成人工神经网络的基础是生物神经系统研究的━━神经元。人脑100亿生物神经元1.1.1.1解剖学研究神经元的基本结构

第一讲绪论第十八页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能▲生物神经元是大脑的基本加工单元，具有信息存储与处理功能▲由细胞体、轴突、树突与突触组成①细胞体→内部包括细胞核、核糖体、原生质网状结构等②树突→细胞体延伸部分产生的分枝，接受从其它神经元传入的信息，是信息的入口③轴突→细胞体突出的延伸最长的管状纤维（可达1m)，将该神经元本身的兴奋信息传递到其它神经元，是信息的出口

④突触(Synapse)→一个神经元与另一个神经元相联系并传递信息的结构。第一讲绪论第十九页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能突触包括：突触前成分━━神经元的轴突末梢；突触间隙━━突触前成份和后成份之间的空间；突触后成分━━细胞体、树突或轴突▲兴奋性突触与抑制性突触（细胞膜电位变化）▲树突的数目和长度与突触的数目有关第一讲绪论第二十页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能单个神经元细胞及突触体内识别新技术(2010-7-28)----利用外源基因片段,神经元细胞便会发出红色荧光，相应的突触则会发出绿色荧光.▲破解人类大脑之迷是本世纪最重要的科学研究方向之一▲人类大脑中的神经网络非常复杂，成百上千亿个神经元细胞之间通过突触来相互通讯,从而使信息在神经网络中进行传递，并最终导致各种复杂的思维活动。▲信息流是如何在神经网络中进行传递的?▲神经系统中神经元细胞功能和结构上的多样性，神经回路的高度复杂性对这个当代神经生物学的关键性问题提出了极大的挑战。▲目前的神经网络研究极大地受限于神经细胞标识技术

▲该技术观察未分化的脑细胞是如何发育为单个的复杂神经细胞，然后形成复杂的神经网络。-----一项基础性的突破，对于破解人类大脑之迷有着极其重大的意义------美国斯坦福大学骆利群实验室神经生物学家李凌,主要研究哺乳动物神经网络发育第一讲绪论第二十一页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能1.1.1.2神经元的生物学功能▲能够处于兴奋或者抑制状态；▲神经元的信息传递及其阈值特性▲神经元信息传递及其单向性▲神经元的信息传递及其延时性（0.5～1ms延时），（通过突触传递引起的）▲具有自适应性▲能够进行时空信息的综合第一讲绪论第二十二页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能1.1.1.3突触的生物学功能▲能够进行信息的综合▲产生渐次变化的传送▲电接触或化学接触等多种连接方式▲会产生延时激发第一讲绪论第二十三页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能1.1.1.4生物神经网络▲生物神经网络的形成通过突触将多个神经元有机联系形成▲10万个突触/神经元▲计算能力—连通性▲可塑性（plasticityconnectivity)可塑性是指神经元的基因表达、结构和功能在生理和病理条件下发生显著改变，在神经系统发育和学习记忆中起着至关重要的作用,是前沿领域。突触在神经细胞持续活动影响下可发生特异性的结构和功能变化，称为“突触可塑性”第一讲绪论第二十四页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能突触可塑性的最新研究

(2008.11，NatureNeuroscience)▲神经细胞之间通过特异的通讯结构——“突触”，形成功能性神经环路来传递和存储信息▲在神经环路组成中，释放神经递质谷氨酸和γ-氨基丁酸（GABA）的神经元分别传递兴奋性和抑制性信息.其中占总细胞少数（约10%-20%）的GABA神经元却对神经环路的功能平衡、复杂性以及计算建构起着关键作用，其突触传递在神经信息的编码、分选和传递中发挥重要作用▲少数的GABA能突触的可塑性发生机理却知之甚少▲中国科学院神经科学研究所蒲慕明研究员和章晓辉研究员指导博士研究生徐春和赵漫夏完成的关于GABA能突触可塑性的发生模式和机理的重要研究工作▲揭示了发育中GABA能突触可塑性的发生模式和细胞分子机制，阐明了神经环路建立中GABA能突触连接的自我精细修整（refinement）的工作方式。第一讲绪论第二十五页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能1.1.2神经元的信息处理与传递1.1.2.1神经元的兴奋与抑制▲细胞膜的膜电位由细胞膜内外层之间的电位差形成的（神经元最外层为细胞膜）▲膜电位表征了神经元的兴奋与抑制兴奋状态━膜的内外间有内负外正电位差；抑制状态━膜的内外间有内正外负电位差；▲人工神经网络就是模拟神经元的兴奋与抑制第一讲绪论第二十六页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能1.1.2.2神经元的信息传递及阈值特性▲神经元信息的传递过程①一个神经元的电脉冲━（不衰减地通过其轴突）━到达轴突末梢━导致轴突末梢中囊泡产生变化━→释放神经递质(neurotransimitters

)；②神经递质━（通过突触的间隙）━进入另一个神经元的树突中━该树突中受体接受神经递质━导致其膜电位发生变化。▲神经元信息传递的阈值特性神经元接受来自其它神经元的信息时，膜电位开始渐变，超过设定的阈值时，产生沿轴突传递的电脉冲。第一讲绪论第二十七页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能1.1.2.3神经元的信息传递的单向性和延时性▲单向性从前一级神经元的轴突末梢传向后一级神经元的树突或细胞体，不能反向▲延时性信息经由突触传递，要产生0.5～1ms延时第一讲绪论第二十八页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能1.1.2.4神经元的信息综合特性▲空间综合特性在一个神经元的树突上，可以处理来自不同神经元的输入信息（神经元周围有10万个左右的突触）▲时间综合特性神经元可以对来自同一个神经元突触的信息进行综合第一讲绪论第二十九页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能1.1.2.5神经元、突触的D/A、A/D特性▲从神经元的阈值特性来看，其轴突上传递的信息是等幅、恒宽、编码的离散脉冲信号▲突触的D/A功能突触中释放的神经递质和另一个神经元的树突中膜电位连续变化，即突触具有D/A功能▲神经元的A/D功能当接受信息的神经元树突中膜电位高于某阈值时，膜电位转换为电脉冲，由轴突传送出去，即神经元具有A/D功能第一讲绪论第三十页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能1.1.2.6神经元建模神经元是神经网络中基本的信息处理单元，组成部分：▲一组突触和联结，联结具有权值w1,w2,…,wn▲通过加法器功能，计算输入的权值之和

▲激励函数限制神经元的输出幅度第一讲绪论第三十一页，共五十五页，编辑于2023年，星期五§1.1生物神经网络及其生理机能1.1.2.7人脑的特征▲1011神经元（100亿-相当于整个银河系星体总数），▲神经元转换（switching）时间大于10-3秒▲每个神经元平均有几千个连接▲每秒几百次运算▲高度并行计算▲分布式表达第一讲绪论第三十二页，共五十五页，编辑于2023年，星期五§1.2人工神经网络的基本概念★1.2.1从生物神经元到人工神经元★1.2.2人工神经元及其工作机制★1.2.3什么是人工神经网络★1.2.4人工神经网络信息处理原理★1.2.5人工神经网络的计算结构★1.2.6人工神经网络的特点★1.2.7人工神经网络的研究内容★1.2.8人工神经网络研究涉及多学科★1.2.9人工神经网络与模式识别第一讲绪论第三十三页，共五十五页，编辑于2023年，星期五§1.2人工神经网络的基本概念NN期望探究：将一簇神经元连接起来会产生什么样的行为。连接主义者期望研究神经元的相互作用，让智能不可捉摸的特性变得清晰，并期望通过复制神经元的连接，让一些令AI束手无策的问题得以解决。NN不同于计算机，没有CPU，不能对信息进行中央存储，整个网络的知识和记忆就象真正的大脑那样都分散在所有的连接上。第一讲绪论第三十四页，共五十五页，编辑于2023年，星期五§1.2人工神经网络的基本概念1.2.1从生物神经元到人工神经元（神经网络模型）从神经元特性看，单个神经元是一个多输入单输出的信息存储和处理单元，信息处理具有非线性特性。生物学上神经元简化为著名的McCulloch-Pitts神经元模型（1943年）━━MP模型第一讲绪论树突细胞体轴突McCulloch-Pitts神经元模型第三十五页，共五十五页，编辑于2023年，星期五§1.2人工神经网络的基本概念

x1,x2,…,xn━神经元的输入（来自前一级的n个神经元的轴突信息）━神经元i的阈值wi1,wi2,…win━神经元i对输入x1,x2,…,xn的权系数或叫连接权（表明突触的传递效率）f[·]━神经元i的激励函数（决定神经元i受到输入的共同刺激达到阈值时以何方式输出）yi━神经元i的输出第一讲绪论第三十六页，共五十五页，编辑于2023年，星期五§1.2人工神经网络的基本概念1.2.2人工神经元及其工作机制

▲神经元的输入端接受来自不同神经元的输入信号▲输入信号与连接权作用（乘积和或内积）后，汇入神经元细胞体，产生输出信号▲输入信号与连接权乘积和与阈值比较，或使神经元处于激励状态，或使神经元处于抑制状态▲神经元的工作状态①回忆状态━━对来自外部输入与连接权作用，汇入神经元细胞体，在激励函数作用下，产生输出②学习状态━━由输入不断修正连接权，并向其它神经元输出信号1.2.3什么是人工神经网络▲是在现代神经科学研究成果的基础上提出来的，是由大量处理单元（人工神经元）互联组成的非线性、自适应信息处理系统。其目的是通过模拟大脑神经网络处理、记忆信息的方式，来进行信息处理。▲T.Kohonen教授对人工神经网络下的定义：由简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统的真实世界物体所作出的交互反应。第一讲绪论第三十七页，共五十五页，编辑于2023年，星期五§1.2人工神经网络的基本概念1.2.4人工神经网络的计算结构（一般结构）▲激励状态及其规则▲输入/输出单元和隐含单元▲连接权及其修正和传播规则1.2.5人工神经网络的特点

▲生物学特性━━学习能力━━自适应能力━━自组织能力━━信息分布式存储━━容错和自修复能力━━大规模并行处理能力第一讲绪论第三十八页，共五十五页，编辑于2023年，星期五§1.2人工神经网络的基本概念▲数学特性━━非线性（激活和抑制两个基本状态）━━非局限性（人工神经元之间相互作用表现了信息处理与存储能力）━━非凸性---比如能量函数有多个极值，系统有多个平衡态，体现了多样性的演化━━非常定性----网络具有自组织、自适应、自学习能力1.2.7人工神经网络的研究内容▲神经网络模型研究━━人脑的生理结构━━以信息科学、认知科学来研究人脑思维机制━━神经网络的计算模型（实验模型）━━神经网络的学习算法和学习系统第一讲绪论第三十九页，共五十五页，编辑于2023年，星期五§1.2人工神经网络的基本概念▲神经网络的基本理论研究━━神经网络的基本性能：稳定性、鲁棒性、容错性、动力学特性━━非线性机制：自适应性、自组织、协同、突变、奇异吸引子、混沌、分维、非线性动力学等━━神经网络的能力和判别准则：计算能力、准确性、存储容量、表达与综合▲神经网络的应用研究▲神经网络计算机研究第一讲绪论第四十页，共五十五页，编辑于2023年，星期五§1.2人工神经网络的基本概念1.2.8人工神经网络研究涉及多学科1.2.8.1神经生理科学━━解剖学角度，研究人脑的神经系统结构，了解人脑信息采集、存储、传递和加工的生物学机理━━19世纪末创立了神经元学说━━目前已经开始从分子生物水平研究人脑的学习、记忆机制。1.2.8.2认知科学推理、学习、知觉、语言、情绪、意识、灵感等一系列心理活动，将神经网络中的神经元看成是一个巨大的状态向量空间。1.2.8.3数理科学知识1.2.8.4信息论和计算机科学第一讲绪论第四十一页，共五十五页，编辑于2023年，星期五§1.2人工神经网络的基本概念1.2.9人工神经网络与模式识别1.2.9.1人工神经网络研究分两类▲神经元模型研究（关心与生物神经网络的相似性）━━模拟人脑感知、学习和记忆组织的能力，以设计类人恼的人工神经网络▲利用人工神经网络的学习、并行处理能力解决工程应用1.2.9.2人工神经网络进行模式识别研究▲利用人工神经网络特性建造模式识别系统▲构造人工神经网络分类器第一讲绪论第四十二页，共五十五页，编辑于2023年，星期五§1.3人工神经网络的发展历史回顾★1.3.1二十世纪40年代到60年代早期发展★1.3.2二十世纪70年代（低潮期）

★

1.3.3二十世纪80年代----高潮★1.3.3二十世纪90年代至今★1.3.4人类脑计划（HumanBrainProject,HBP)★1.3.5上世纪90’s末期至今★1.3.62013年人类基因组计划后最宏大的研究项目★1.3.7

当前神经科学的前沿性问题第一讲绪论第四十三页，共五十五页，编辑于2023年，星期五§1.3人工神经网络的发展历史回顾1.3.1二十世纪40年代到60年代早期发展▲43年，心理学家McCulloch和数学家Pitts(USA芝加哥）━━MP模型（开创了神经网络理论研究时代）特点：只有兴奋和抑制两种神经元联系方式；MP模型固定不变；形式神经元。▲49年，心理学家Hebb━━神经网络学习机理的“突触联系效率可变假设”，即连接权调整原则或Hebb学习规则只有当两个神经元都处于兴奋状态时，其连接权得到加强。▲61年，Rosenblatt（USA康乃尔）━━著名的“Perceptron”模型（多层感知器）从理论研究进入工程实践，掀起了人工神经网络研究热潮，最早可用于模拟人与动物的感知和学习功能

（第一代神经网络）▲62年，Widrow（USA斯坦福）━━自适应线性神经元模型（Perceptron的变形）第一讲绪论第四十四页，共五十五页，编辑于2023年，星期五§1.3人工神经网络的发展历史回顾▲60年代Minsky和Papert对perceptron的研究观点，使人工神经网络研究进入低潮期[原因之一]━━线性感知器只能进行线性分类和求解一阶谓词问题━━具有隐含单元的多层神经网络才能解决高阶谓词问题━━难以找到具有隐含单元的多层网络的有效学习算法1.3.2二十世纪70年代（低潮期）

对人工神经网络理论，增加网络功能，各种学习算法研究为神经网络理论、数学模型、体系结构的研究打下了基础。（客观上，AI研究成就也掩盖了ANN的研究意义和工作）▲Marr及Poggio等（MIT的AI实验室）━━视觉计算理论视觉信息加工经历视觉初级到高级加工阶段━━初级视觉正则化理论（在视觉计算理论与实现机制间的桥梁）第一讲绪论第四十五页，共五十五页，编辑于2023年，星期五§1.3人工神经网络的发展历史回顾▲Grossberg（USA波士顿大学）━━自适应谐振理论——研究心理学与脑科学━━二进制输入的ART1模型━━连续信号输入的ART2模型━━ART3模型▲甘利俊一（日本东京大学）━━神经网络数学理论研究▲70年，Fukushima（NHK）━━视觉认知网络理论----研究视觉系统的时空人工神经系统模型，及脑的空间和时间的人工神经系统模型━━认知机模型▲71年，Kohonen（波兰）－－－Self-OrganizingMaps1995━━著名的自组织特征映射（无导师的竞争学习算法）第一讲绪论第四十六页，共五十五页，编辑于2023年，星期五§1.3人工神经网络的发展历史回顾▲Anderson━━线性联想记忆（LAM）1.3.3二十世纪80年代----高潮▲科学背景━━非平衡系统的自组织理论（耗散结构理论）━━协同学创立━━混沌现象发现▲视觉理论研究成果（神经系统处理信息的普遍原则）━━侧抑制原理━━感受野（每个视神经细胞只能看到物体的一点，并排列为与大脑表面垂直的柱状结构）━━皮层的功能柱结构━━信息的并行处理与层次加工▲81年，84年，Hopfield（加州理工学院生化系）－━━著名的Hopfield模型（ANN研究发展史上两项重大研究成果）

（第二代神经网络）第一讲绪论第四十七页，共五十五页，编辑于2023年，星期五§1.3人工神经网络的发展历史回顾

◆结点全互联的人工神经网络计算结构（模拟人脑记忆、联想、分类/识别、容错等处理能力）

◆引入能量函数

◆成功解决旅行商问题（TSP）◆神经网络计算机研究的开始━━BP反向传播算法━━双向联想记忆模式BAM━━Boltzmam机（GeoffreyHinton（UniversityofToronto

）andTerrySejnowski

）━━并行分布处理模型PDP1.3.4二十世纪90年代━━神经网络有广泛的应用领域━━与专家系统的结合━━理论研究的进展━━与其它技术的结合

━━脉冲神经网络提出（第三代神经网络）第一讲绪论第四十八页，共五十五页，编辑于2023年，星期五§1.3人工神经网络的发展历史回顾1.3.5二十一世纪前10年

深度学习出现

脑计划再一次隆重推出。。。第一讲绪论第四十九页，共五十五页，编辑于2023年，星期五§1.3人工神经网络的发展历史回顾1.3.6

人类脑计划（HumanBrainProject,HBP)━━继人类基因计划后，又一国际性科研大计划━━1991年美国NIMH正式成立━━1995年神经科学与信息科学的结合

JimHuffman:“我们正处于思维的新时代的初期。神经网络的重要性已超出我们是不是建立一个计算机的问题，更重要的吸引力是弄清楚大脑是如何工作的。”1.3.7

上世纪90’s末期至今（神经元以下水平研究）━━开展分子生物水平上的脑神经科学研究━━研究设备fMRI（功能性核磁共振成像）、PET（正电子发射断层技术）、……━━记忆功能的