计算机前沿研究之人工神经网络

计算机前沿研究之人工神经网络摘要：现代计算机有很强的计算和信息处理能力，但是它对于模式识别、感知和在复杂环境中作决策等问题的处理能力却远远不如人，特别是它只能按人事先编好的程序机械地执行，缺乏向环境学习、适应环境的能力.人们也知道人脑的工作方式与现在的计算机是不同的，人脑是由极大量神经元组成，神经元之间经过复杂的相连组成一个复杂的、非线性的、并行处理的信息处理系统.巨大的神经元使人脑处理较快，从而使人们思考时候利用计算机较强的处理能力模拟神经网络.关键字：论文；计算机；发展前沿；神经网络人工神经网络就是指为了模拟生物大脑的结构和功能而构成的•种信息处理系统.人工神经网络以对大脑的生理研究成果为基础，其目的在于模拟大脑的某些机理与机制，实现某方面的功能.本文主要从以下四方面介绍人工神经网络.1引言本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理.特别是近二十年来.对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍.大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统.1943年McCulloch和Pitts结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑演算.他们的神经元模型假定遵循一种所谓“有或无"（all-or-none）规则.如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算的函数，这标志着神经网络学科的诞生.2什么是神经网络人工神经网络（ArtificialNeuralNetworks,简写为ANN或ANNs）是指为了模拟生物大脑的结构和功能而构成的一种信息处理系统.人工神经网络是一个并行的、分布处理结构，是由处理单元（人工神经元）及连接的无向讯号通道互连组成的网络.它是从微观结构和功能上对人脑的抽象、简化，是模拟人类智能的一-条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等.神经网络在系统辨识、模式识别、智能控制、预测等领域有着广泛而诱人的前景.简单地讲，他是一种数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法.传统的人工智能技术是基于物理符号系统的，而人工神经网络技术是基于联接主义观点的.人工神经网络是时人脑或自然神经网络若干基本特征的抽象和模拟.人工神经网络是对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某方面的功能.国际著名神经网络研究专家，第一家神经计算机公司的创立者与领导人Hecht-Nielsen给人工神经网络下的定义:“人工神经网络是由人工创立的以有向图为拓扑结构的动态系统,他通过对连续的或断续的输入作状态响应而进行信息处理.”知道了上面的介绍后我们需要理解下面的主要概念：神经网络是一个高度非线性动力学系统.虽然每个神经元的结构和功能并不复杂,但是神经网络的动态行为则是十分复杂的.因此，用神经网络可以表达实际物理世界的各种现象；神经元是以生物神经系统的神经细胞为基础的生物模型.在人们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数学化，就产生了神经元数学模型：人工神经网络系统源于人脑神经系统.了解人脑神经网络的组成和原理，有助于对人工神经网络的理解.大量的形式相同的神经元连结在一起就组成了神经网络；人工神经网络的模型现在有数十种之多，应用较多的神经网络模型有BP网络、Hopfield网络、ART网络和Kohonen网络.自从上世纪40年代初，美国McCulloch和Pitts从信息处理的角度，研究神经细胞行为的数学模型表达，提出了二值神经元模型以来，人们对神经网络进行了大量的研究.其中经历了40年代末心理学家Hebb提出著名的Hebb学习规则，50年代Rosenblatt提出的感知机模型.60年代神经网络的研究低潮，80年代提出新的神经网络HNN和Boltzmann机等一系列过程.目前，神经网络发展非常迅速，在许多方面已经取得了很多成就.并应用在许多重要领域中.3神经元及其行为机理神经网络的基础在于神经元.神经元是脑组织的基本单元，人脑是由大约10亿个神经元组成的巨系统.在人体内，神经元的结构形式并非完全相同.但是，无论结构形式如何，神经元都是由一些基本的成分组成的.神经元的解剖与主要介绍神经元的生物学解剖如图2.1所示：如第怵图2.1由图中可以看出：神经元是有细胞体、树突和轴突三部分组成.细胞体：由细胞核、细胞质和细胞膜组成，是神经元活动的能量供应地，在这里进行新陈代谢等各种生化过程.轴突：由细胞体外伸出的最长的分支组成，是把神经元兴奋的信息传出到其他神经元的出口，有兴奋型和抑制型两种.树突：由细胞体外伸出的较短的分支组成，是接受其他神经元传入信息的入□.神经元的生物行为根据生理学的研究发现，神经元有4种生物行为:能出于抑制或兴奋状态；能产生爆发和平台两种情况；能产生抑制后的反冲；具有适应性；突触突触是一个神经元与另一个神经元之间相联系并进行信息传送的结构，其结构如图2.3所示：图2.3由图可知，突触由突触前成分、突触间隙和突触后成分组成.突触有以下四种生物行为：能进行信息综合；能产生渐次变化的传送；有电接触和化学接触等多种连接方式；会产生延时激发突触有电接触和化学接触等多种连接方式.人工神经网络的研究主要是对神经元的第一种行为和突触的第一种行为进行模拟.所以，神经网络的研究只是处于初级阶段，后面还有大量的工作等待着人们去探讨和研究.4神经元的数学模型与神经生理学类比，连接机制结构的基本处理单元称为神经元.网络的每一个神经元模型模拟一个生物神经元，如图3所示：图3下面是本文所用到的数学公式：y=/（£%,x,一3.1Jl,x2%/ 3.2[0,x<x03.31+e/W- -1</（X）<1 3.4该神经元单元由多个输入（i=l,2,…,n）和一个输出Y组成.中间状态由输入信号的权和表示，而输出为公式3.1所示.公式3.1中，。为神经元单元的偏置（阈值），wi为连接权系数（对于激发状态，wi取正值，对于抑制状态，wi取负值），n为输入信号数目，Y为神经元输出，f为输出变换函数，有时叫做激发或激励函数，往往采用。和1二值函数或S形函数，这些函数都是连续和非线性的.一种二值函数可由公式3.2表示.一种常规的S形函数可由公式3.3表示.常用双曲正切函数来取代常规S形函数，因为S形函数的输出值均为正值，而双曲线正切函数的输出值为可正可负.双曲正切函数如公式3.4所示.神经网络的工作过程神经网络的工作过程如图3.1.1所示:目标图3.L目标图3.L1人工神经网络与计算机人工神经网络的知识存储容量很大.在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系.它分散地表示和存储与整个网络内的各种神经元及其连线上.每个神经元及其连线只表示一部分信息，而不是一个完整的具体概念.只有通过各神经元的分布式综合效果才能表达出特定的概念和知识.由于人工神经网络中神经元个数众多、整个网络存储信息容量巨大，使它具有很强的不确定性信息处理能力.即使输入信息不完全、不准确或模糊不清，神经网络仍然能通过联想思维恢复存在于记忆中的事物的完整图像.只要输入的模式接近于训练样本，系统就能给出正确的推理结论.5人工神经网络的特点和优越性人工神经网络是一个模仿及延伸人脑功能的新型信息处理系统，他是由大量垒局、局部或稀疏连接的简单处理器组成非线性动力学网络系统.这是一种垒新的计算机结构模型，他完全不同于传统的冯•诺依曼计算机.众所周知，冯•诺依曼计算机是一种采用数理逻辑、基于图灵模型的计算机体系，他擅长于逻辑推理、树立运算等属于抽象思维的计算.尽管这些计算功能大大促进了科学技术的发展，然而由于其本身结构的局限性，使这类计算结构对于人擅长的形象思维方面几乎无能为力，因而，从模仿人脑功能的角度出发来设计人工神经网络这种垒新的计算机结构模型得到了发展.一般来说，人工神经网络有以下突出的特点和优越性：可以充分逼近任意复杂的非线性关系；所有定量或定性的信息都分布贮存于网络内的各神经元及其连线上，故有很强的鲁棒性和容错性;采用并行分布处理方法，使得快速进行大量运算成为可能；可学习和自适应不知道或不确定的系统；能够同时处理定量、定性知识；具有自学习功能；具有联想存储功能：具有高速寻找优化解的能力.人工神经网络的主要方向神经网络的研究可以分为理论研究和应用研究两大方面.理论研究理论研究一是利用神经生理与认知科学研究人类思维以及智能处理，二是利用神经基础理论研究成果，用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究网络算法和性能并开发新的网络数理理论，如：神经网络动力学.非线性神经场等.应用研究应用研究一是神经网络的软件模拟和硬件实现的研究，二是神经网络在各个领域中应用的研究.这些领域主要包括：模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等.随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用将更加深入.6神经网络的发展趋势神经网络主要有以下两个发展趋势：神经网络VC维计算神经计算技术已经在很多领域得到了成功的应用，但由于缺少一个统一的理论框架，经验性成分相当高.最近十年里，很多研究者都力图在一个统一的框架下来考虑学习与泛化的问题.PAC(ProbablyApproximatelyCorrect)学习模型就是这样一个框架.作为PAC学习的核心以及学习系统学习能力的度量，VC维(Vapnik-Chervonenkisdimension)在确定神经网络的容量(capacity)、泛化能力(generalization)、训练集规模等的关系上有重要作用.如果可以计算出神经网络的VC维，则我们可以估计出要训练该网络所需的训练集规模；反之，在给定一个训练集以及最大近似误差时，可以确定所需要的网络结构.Anthony将VC维定义为：设F为一个从n维向量集X至弘0,1｝的函数族，则F的VC维为X的子集E的最大元素数，其中E满足：对于任意S包含于E,总存在函数fsGF,使得当xdS时fs(x)=l,x不属于S但xGE时fs(x)=0.VC维可作为函数族F复杂度的度量，它是一个自然数，其值有可能为无穷大，它表示无论以何种组合方式出现均可被函数族F正确划分为两类的向量个数的最大值.对于实函数族，可定义相应的指示函数族，该指示函数族的VC维即为原实函数族的VC维.基于神经网络的数据挖掘1996年，Fayyad>Piatetsky-Shapiro和Smyth对KDD(KnowledgeDiscoveryfromDatabases)和数据挖掘的关系进行了阐述.但是，随着该领域研究的发展，研究者们目前趋向于认为KDD和数据挖掘具有相同的含义，即认为数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识.数据挖掘的困难主要存在于三个方面：苜先，巨量数据集的性质往往非常复杂，非线性、时序性与噪音普遍存在；其次，数据分析的目标具有多样性，而复杂目标无论在表述还是在处理上均与领域知识有关；第三，在复杂目标下，对巨量数据集的分析目前还没有现成的且满足可计算条件的一般性理论与方法.在早期工作中，研究者们主要是将符号型机器学习方法与数据库技术相结合，但由于真实世界的数据关系相当复杂，非线性程度相当高，而且普遍存在着噪音数据，因此这些方法在很多场合都不适用.如果能将神经计算技术用于数据挖掘，将可望借助神经网络的非线性处理能力和容噪能力，较好地解决这一问题.7结束语虽然人工神经网络在最近几十年来已经取得长足的发展，特别是它在一些具体问题的应用，如TSP问题等，解决了以往经典学科的许多NP-hard问题.但是，就目前而言，神经网络这一学科的研究仍处于在方兴未艾的进程中，越来越多的专业人士正投入其中，许多新型的神经网络模型正在建立，如Fir-NN等，而且这些模型的稳定性、抗扰性等也在进一步讨论之中.