智能科学中的神经计算

智能科学中的神经计算第1页，共52页，2023年，2月20日，星期五内容提要一、引言二、神经网络三、功能柱四、同步问题五、神经场六、结束语第2页，共52页，2023年，2月20日，星期五2023/4/10210多年的酝酿，1151人的参与两次会议：2001-05-11NSF预备会2001-12-03NSF/DOC(79人)政府及国家实验室32人大学28人企业及非政府组织19人2004-03成立ConvergingTechnologiesBarAssociation(CTBA)

科学发展大趋势

美国关于NBIC会聚技术的战略研讨第3页，共52页，2023年，2月20日，星期五2023/4/103InfoCognoBioNanoEnhancingHumanPerformanceNewHumanbeingNewIndustriesNewSocietyNewApplicationsNewSciencesNewEducation

科学发展大趋势第4页，共52页，2023年，2月20日，星期五2023/4/104第一次浪潮第二次浪潮第三次浪潮第四次浪潮1990

2020

2050

20802100创新步伐数字网络软件新媒体生物基因（蛋白质）纳米材料脑科学智能技术？？？？？？对21世纪技术创新浪潮长波的猜想第5页，共52页，2023年，2月20日，星期五2023/4/105第一次浪潮第二次浪潮第三次浪潮第四次浪潮第五次浪潮1785

1845

1900

195019901999

2020

创新步伐水力纺织铁蒸汽铁路钢电化学品内燃机石油化学电子航空数字网络软件新媒体60年55年50年40年30年技术创新浪潮的经济长波规律（康德拉捷夫）机械化铁路化电气化电子化数字化第6页，共52页，2023年，2月20日，星期五2023/4/106

科学发展大趋势

21世纪:

智能科学

智能科学是一门交叉学科，主要由

F脑科学

F认知科学

F人工智能等学科共同研究智能行为的基本理论和实现技术。

第7页，共52页，2023年，2月20日，星期五2023/4/107神经元第8页，共52页，2023年，2月20日，星期五2023/4/108McCulloch-Pitts神经元现代的神经网络开始于McCulloch,Pitts（1943）的先驱工作.在他们的经典论文里，McCulloch,Pitts结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑分析,他们的神经元模型假定遵循有-无模型律。如果如此简单的神经元数目足够多和适当设置连接权值并且同步操作,McCulloch,Pitts证明这样构成的网络原则上可以计算任何可计算函数。这是一个有重大意义的结果，有了它标志着神经网络和人工智能的诞生.第9页，共52页，2023年，2月20日，星期五2023/4/109McCulloch-Pitts神经元第10页，共52页，2023年，2月20日，星期五2023/4/1010Hebb学习假说1949年，Hebb的书《行为组织学》,他在里面第一次清楚说明了突触修正的生理学习规则。特别的，

Hebb提出大脑的连接随着生物学会不同功能任务而连续地变化的，

神经组织就是由这种变化创建起来的.Hebb继承了

Ramony和

Cajal早期的假设并引入自己的现在著名的学习假说，两个神经元之间的可变突触被突触两端神经元的重复的激活加强了。Hebb的书在心理学家中有广泛的影响，但遗憾的是对工程界却影响很少或没有。第11页，共52页，2023年，2月20日，星期五2023/4/1011感知器

Rosenblatt(1958)在他有关感知器的研究著作中提出了模式识别问题的新方法，一种新的监督学习方法.所为的感知器收敛定理使Rosenblatt的工作取得圆满的成功。他于1960年提出感知器收敛定理的第一个证明（1960）。Widrow和Hoff介绍了最小平均平方(leastmeansquare,LMS)算法并用它构成了Adaline(adaptivelinearelement).感知器和Adaline的区别在于训练过程。第12页，共52页，2023年，2月20日，星期五2023/4/1012感知器

1969年，Minsky和Papert合作发表了颇有影响的Perceptron一书，得出了消极悲观的论点，加上数字计算机正处于全盛时期并在人工智能领域取得显著成就，70年代人工神经网络的研究处于低潮。第13页，共52页，2023年，2月20日，星期五2023/4/1013Hopfield网络

1982年，Hoopfield用能量函数的思想形成一种具有对称连接的递归网络所执行的计算的新方法。这类具有反馈的特殊神经网络在80年代引起了大量的关注，产生了著名的Hopfield网络。尽管Hopfield网络不可能是真正的神经生物系统模型，他们包涵的原理，即在动态的稳定网络中存储信息原理的，是极深刻的。第14页，共52页，2023年，2月20日，星期五2023/4/1014神经计算自适应共振理论（ART）自组织特征映射理论Hinton等人最近提出了

Helmboltz机

徐雷提出的

Ying-Yang机理论模型

甘利俊一(S.Amari)开创和发展的基于统计流形的方法应用于人工神经网络的研究第15页，共52页，2023年，2月20日，星期五2023/4/1015模式结构Hinton提出了简单的有监督学习理论只能把神经网络引向死亡描述,提出了建立通过神经网络抽取模式结构为目标,形成外界环境在神经网络中形成内在表示的机理作为发展人工神经网络理论的基础。第16页，共52页，2023年，2月20日，星期五2023/4/1016智能科学

智能不仅要功能模拟,而且要机理模拟Actionsfromthoughts(Nature409,2001)

第17页，共52页，2023年，2月20日，星期五2023/4/1017神经元第18页，共52页，2023年，2月20日，星期五2023/4/1018突触可塑性第19页，共52页，2023年，2月20日，星期五2023/4/1019神经元模型神经元是神经网络中基本的信息处理单元，他由下列部分组成:一组突触和联结，联结具有权值W1,W2,…,Wm通过加法器功能，将计算输入的权值之和激励函数限制神经元输出的幅度第20页，共52页，2023年，2月20日，星期五2023/4/1020神经元模型InputsignalSynapticweightsSummingfunctionActivationfunctionLocalFieldvOutputyx1x2xmw2wmw1w0x0=+1第21页，共52页，2023年，2月20日，星期五2023/4/1021大脑神经系统神经系统是多层次的。这些不同层次的研究互相启示，互相推动。在低层次（细胞、分子水平）上的工作为较高层次的观察提供分析的基础，而较高层次的观察又有助于引导低层次工作的方向和体现其功能意义。第22页，共52页，2023年，2月20日，星期五2023/4/1022神经网络第23页，共52页，2023年，2月20日，星期五2023/4/1023神经网络

第24页，共52页，2023年，2月20日，星期五2023/4/1024神经网络第25页，共52页，2023年，2月20日，星期五2023/4/1025

功能柱20世纪60年代末，美国科学家发现，在大脑视觉皮层中，具有相同图像特征选择性和相同感受野位置的众多神经细胞，以垂直于大脑表面的方式排列成柱状结构———功能柱。30多年来，脑研究领域一直将垂直的柱状结构看作大脑功能组织的一个基本原则。但是，传统的功能柱研究还不能阐释视觉系统究竟是如何处理大范围复杂图像信息的。第26页，共52页，2023年，2月20日，星期五2023/4/1026功能柱

中科院上海生命科学研究院神经科学研究所李朝义实验室通过对猫的视皮层的研究，发现在初级视皮层中存在一种与处理大范围复杂图形特征有关的功能结构。与目前所有已知结构不同，它不是柱状的，而是形成许许多多直径约300微米的小球，分散地镶嵌在已知的垂直功能柱中。这是在简单特征功能柱基础上所形成的第二级功能筑构，处理各种更复杂的图像信息。视觉系统可能正是通过这种神经机制，以有限的信息量把目标物从复杂的背景图像中分离出来。第27页，共52页，2023年，2月20日，星期五2023/4/1027功能柱1972年:Wilson-Cowan方程来描述功能柱;1990年:Shuster等人模拟视皮层中发现的同步振荡;1993年:Jansen等人提出了耦合功能柱模型产生了类EEG波形和诱发电位；1994年:Fukai设计了功能柱式的网络模型来模拟视觉图样的获取;1997年:Hansel等人根据视皮层朝向柱的结构构建了一个超柱模型，研究其中的同步性和混沌特性，并对朝向选择性的功能柱机理做出解释;1998年:Fransén等人把传统网络中的单细胞代换成多细胞构成的功能柱，来模拟工作记忆

第28页，共52页，2023年，2月20日，星期五2023/4/1028功能柱中国科学院生物物理所视觉信息加工重点实验室中国科学院计算研究所李速①

齐翔林①

胡宏②

汪云九①

功能柱结构神经网络模型中的同步振荡现象

功能柱是一个振荡子，而且表明功能柱可以成为皮层多样化的节律活动的发生源，EEG中的各种节律均可以在结构具有普遍性的功能柱中找到生理基础。

第29页，共52页，2023年，2月20日，星期五2023/4/1029功能柱Rose-Hindmarsh方程来描述单神经元:

x:代表膜电位，y:表示快速回复电流，z:描述慢变化的调整电流，Isyn

表示突触电流，Istim表示外界输入第30页，共52页，2023年，2月20日，星期五2023/4/1030功能柱模型采用基于电流的突触模型，在突触前细胞的每个动作电位都将触发突触后细胞的Isyn

输入。突触电流

Isyn

表示为:

gsyn

为膜电导1,2时间常数Vsyn

表示突触后电位第31页，共52页，2023年，2月20日，星期五2023/4/1031功能柱第32页，共52页，2023年，2月20日，星期五2023/4/1032同源功能柱第33页，共52页，2023年，2月20日，星期五2023/4/1033异源功能柱第34页，共52页，2023年，2月20日，星期五2023/4/1034功能柱

功能柱是一个振荡子，而且表明功能柱可以成为皮层多样化的节律活动的发生源，EEG中的各种节律均可以在结构具有普遍性的功能柱中找到生理基础。

第35页，共52页，2023年，2月20日，星期五2023/4/1035功能柱功能柱是介于单神经元和皮层脑区之间的一种中间层次的单元，理解这种中间层次的单元的活动特点，能够为脑科学中微观现象和宏观现象的研究之间建立一座桥梁

第36页，共52页，2023年，2月20日，星期五2023/4/1036信息几何信息几何（InformationGeometry）是采用（Riemann流形上的）微分几何方法来研究统计问题的理论。

Efron首先在统计学中采用微分几何方法（1975)甘利俊一（S.Amari）引入α-联络,并应用到神经网络的研究中

zhuhaiyu等人研究了贝叶斯信息几何（BayesInformationGeometry)第37页，共52页，2023年，2月20日，星期五2023/4/1037统计流形概率神经网络模型（统计学习机）：

P(y|x;Θ)=Ф(y–F(x,W))Θ∈Rn指数簇（Exponentialfamilies）流形人工神经网络正态分布Boltzmann机混合专家神经网络弯曲指数簇流形人工神经网络神经场理论第38页，共52页，2023年，2月20日，星期五2023/4/1038朴素贝叶斯分类器(NBC)

Bayesian网络的简化朴素Bayesian假设：特征向量的各分量间相对于决策变量是相对独立降低计算复杂度更加直观简洁可能降低分类、预测精度第39页，共52页，2023年，2月20日，星期五2023/4/1039Fisher分Fisher分：

Fisher信息矩阵I可写为：Fisher分映射：第40页，共52页，2023年，2月20日，星期五2023/4/1040基于Fisher分朴素贝叶斯分类器(NBC)目标：提高NBC的分类精度方向：改进属性间的条件独立性关系途径：基于Fisher分重构属性集，在此基础上建立朴素贝叶斯分类器第41页，共52页，2023年，2月20日，星期五2023/4/1041神经场动力学Wilson-CowanAmariErmentrout-Cowan…….第42页，共52页，2023年，2月20日，星期五2023/4/1042神经场

神经场研究的出发点是信息处理系统的整体结构,一般的系统表示为非欧氏空间(在一定拓扑结构下形成流形)。研究的一个关键就是建立环境结构流形与神经流形的耦合关系,用流形的思想、拓扑的概念和统计推理来研究整体结构所具有的性质,利用整体不变性质,处理和分析表示结构与神经流形的优化逼近过程。第43页，共52页，2023年，2月20日，星期五2023/4/1043一维一层第44页，共52页，2023年，2月20日，星期五2023/4/1044自组织神经场动力学presynapticfield第45页，共52页，2023年，2月20日，星期五2023/4/1045拓扑映射自组织amplificationtopologypatchstructure(colummarstructure)dynamicalinstabilityWillshaw-MalsburgTakeuchi-AmariKohonensignalspaceneuralfield第46页，共52页，2023年，2月20日，星期五2023/4/1046神经场

............HiddenUnitsInputUnits

OutputUnits

x

yzFieldOrganizationMode