神经网络仿生前沿技术及应用

神经网络仿生前沿技术及应用读书报告神经网络仿生的发展和应用签名＿＿＿＿＿＿＿时间＿＿＿＿＿＿＿目录一、概述 31.1神经网络仿生的定义 31.2神经网络仿生的特点 3二、神经网络仿生的基本原理 42.1神经元(neuron)的基本结构及作用 42.2神经元的神经冲动传导 42.3神经元运算基本模型 52.4神经网络模型之BP模型 6三、神经网络仿生的发展历程与发展趋势 63.1发展历程 63.2发展趋势 83.2.1、与小波分析的结合 83.2.2、混沌神经网络 83.2.3、基于粗集理论 93.2.4、与分形理论的结合 9四、神经网络仿生的应用 94.1图像识别 94.2仿生眼 104.3仿生鼻 11五、参考文献 13

一、概述1.1神经网络仿生的定义何为神经网络仿生？神经网络仿生是指将神经科学和现代技术相结合，研究生物（尤其是高等哺乳动物）的神经结构（如神经网络）和性质，通过对其所具有的功能原理和作用机理作为生物模型进行研究，通过设计出人工神经网络，为工程技术提供新的设计思想及工作原理的科学。神经网络仿生的方向有很多，其中最本质的便是人工神经网络的设计和研究，基于人工神经网络，人们设计出神经网络与模糊系统、遗传算法、预测、组合优化而形成计算智能，电子鼻、电子耳等电子器官以及将混沌引入神经网络中而形成更接近实际人脑的混沌神经网络来实现人工智能。所以，在一定程度上，我们可以说神经网络仿生近似于人工神经网络的设计。神经网络仿生是生物学科和技术学科的综合学科，它涉及生物学、生物物理学、生物化学、控制论、物理学、心理学等多个科学领域。神经网络仿生是属于仿生学中比较高端的领域，它涉及对人脑的精密剖析与功能理解，对人类的进步，人类的生存也具有重要意义。其最明显的例子如根据模拟人脑控制和协调肢体运动的原理设计的能自动调节握力的机器手，既能轻轻地握住一个鸡蛋，又能使劲地举起数十斤的重物。在信息科学和电子学技术高度发达的今天，随着神经生物学和神经信息学的快速发展，神经网络仿生科学已经成为科研方面不可避免的研究方向，对国家的经济发展、国防实力和综合国力的提升有着不能忽视的重要影响。1.2神经网络仿生的特点神经网络仿生具有以下几个特点：可以充分逼近任意复杂的非线性关系。人工神经网络中的每个神经元并不是独立的，而是相互影响的。人工神经元处于激活或抑制两张不同的状态，这种行为在数学上表现为一种非线性的关系。神经网络从输入到输出的非线性映射正是通过各个神经元的权值而相互影响，相互调整而实现的。并行分布式的系统处理方式。人工神经网络是有许多相同的处理单元并联而成，虽然每个单元功能简单，但大量并联神经元的同时工作可以保证大量信息的传输、接收与处理。自我学习与更新性。人工神经网络具有自适应、自学习和自组织能力：人工神经网络在不断接收新信息，处理新信息时，自身非线性的动力系统也在不断变化，进行自我更新与进化，呈现出很强的自学习能力以及对环境的自适应性。二、神经网络仿生的基本原理2.1神经元(neuron)的基本结构及作用结构：一个神经元（neuron）可分为胞体(Soma)和突起（neurite）二部分。而神经元的突起有分为树突（Dendrites）、轴突(Axon),树突多呈树枝状分支，而轴突呈索状，末端有分支。通常一个神经元有一个至多个树突，但轴突只有一条。神经元与神经元之间的连接称为突触（Synapse）作用：①树突（Dendrites）：接收神经冲动，将冲动传向胞体；②轴突(Axon)：传出神经冲动，将冲动从胞体传向终末；神经元2.2神经元的神经冲动传导神经元神经元兴奋或冲动传导以细胞生物电为基础。在冲动传导时将发生一系列电位变化。细胞由厚约10rim、膜电阻为1KΩ／cm2的半透膜所包裹。细胞质的离子组成与细胞外液(体液)的离子组成有着本质上的不同，细胞内的阳离子主要是K+，而体液中却是Na+。这种差别使细胞质膜成为向外排出Na+，向内吸进K+的泵(钠泵)，在膜的内外形成离子的偏倚，产生内侧为负、外侧为正的电荷(膜的分极或极化)。其大小在神经和肌肉中约为100mV，普通的细胞也有几十毫伏，这是活细胞共同的性质。给细胞刺激时，膜的电荷性质的变化，曾用枪乌贼的巨神经(直径1mm)进行过仔细的研究。把插入神经中的微电极与阴极射线示波器连起来，记录电位的变化。如果刺激神经的一部分，膜对Na+的通透性暂时增大，负电位降低(脱分极或去极化)。刺激强度小时，质内在局部轻度脱分极；如果刺激强度超过阈值，便会发生显著的脱分极，Na+通过细胞膜大量地流入质内，电位成0。由于K+流出膜外，膜内侧暂时成正。继续下去先是Na+的入口关闭，接着K+的入口也关闭，钠泵启动，离子和电荷恢复原来的状态。离子浓度和膜的电荷之间有下列关系：Ek=（式中，Ek由于K+而产生的电位；ZkK+的电荷（=1）；KiKo细胞内和细胞外的K+离子浓度；R气体常数=8.314J/(K·2.3神经元运算基本模型这种模型有大量的基本单元（或称节点、神经元）之间相互连接构成。每两个基本单元之间的连接都代表一个对通过该连接的信号的加权值，称为权重，这相当于人工神经网络的记忆。此外还有一个激励函数（activationfunction）。神经网络的输出信号取决于神经网络的连接方式，权重值以及激励函数。如图所示：a1—an为输入信号的各个分量，w1—wn为神经元各个突触的权值，此外还有一个阈值，该阈值来源于实际中神经对刺激的反应情况：在实际中，当刺激不够强烈时，神经元的内外电位差会发生改变，但不会引起动作电位（或称神经兴奋或神经冲动），只有当刺激达到一定强度时，神经元才会产生动作电位（或称神经兴奋或神经冲动），而刚好引起神经冲动的刺激强度即称为阈值。InputSignalsWeightsNeuronOutputSignalsa1a2W1•W2•••SUMYY•Wnan神经元运算基本模型而激励函数(activationfunction)为：即当Y=+1时，神经元兴奋；当Y=-1时，神经元不兴奋。这种函数也称为指示函数除此之外，还有其他的激励函数(activationfunction)：2.4神经网络模型之BP模型BP模型，即(BackPropagation)网络模型，是由Rumelhart和McCelland于1986年提出，是一种误差逆传播算法训练的多层前馈网络。将输出误差以某种隐层向输入层逐层反传是BP的核心思想，使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小是它的学习规则。BP神经网络模型拓扑结构包括输入层（input）、隐层(hidelayer)和输出层(outputlayer)三、神经网络仿生的发展历程与发展趋势3.1发展历程1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为神经计算模型-阈值元件模型（或称为MP模型）。他们通过该MP模型提出了神经元的形式化数学描述和网络结构，奠定了人工神经网络研究的基础。1949年，心理学家D.O.Hebb提出了突触联系强度可变的设想，并通过该假设建立了人工神经网络的学习规则Hebb学习规则。他认为，学习过程发生在突触，连接的权值的调整正比于两个互相连接的神经元之间的激活值的乘积。50年代末，F.Rosenblatt提出了著名的感知机(perception)模型，首次把神经网络理论付诸工程实现。这个模型是由简单的阈值单元构成，具有神经网络的一些基本特征，如学习性、并行处理、分布存储等。生物神经网络到人工神经网络1960年，B.Windrow和M.E.hoff提出了自适应线性元件网络模型，是对实际问题如天气预报方面起作用的神经网络。生物神经网络到人工神经网络1969年，美国人工智能专家M.Minsky和S.Pape出版著作《Perception》，从数学角度证明感知机不能解决非线性问题。在此期间，还有一些研究者致力于人工神经网络的研究，提出了适应谐振理论(ART网)、自组织映射、认知机网络等理论，同时还进行了神经网络数学理论的研究，这些研究为神经网络的后续发展奠定了理论基础。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络研究。1985年，Hinton和Sejnowski提出了Boltzman机模型，借用统计物理学的统计热力学来研究神经网络，首次采用了多层网络的学习算法，并将模拟退火技术移植到网络的学习机理之中，保证整个系统趋于全局稳定点。1986年，Rumelhart和McCelland及其研究小组出版了《Paralleldistributionprocessing:explorationsinthemicrostructuresofcognition》，他们提出的误差逆传播算法，较好的解决了多层网络的学习问题，成为至今影响最大的一种网络学习算法，据统计有近90%的网络应用使用的是这一算法。1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。1988年，Broomhead和Lowe用径向基函数(Radialbasisfunction,RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。90年代初，Vapnik等提出了支持向量机(Supportvectormachines,SVM)和VC(Vapnik-Chervonenkis)维数的概念。1995年，Jenkins等人研究了光学神经网络PNN，建立了光学二维并行互联与电子学混合的光学神经网络，实现了光学神经元。3.2发展趋势3.2.1、与小波分析的结合1981年，法国地质学家Morlet通过对Fourier变换和加窗Fourier变换的异同、特点及函数构造进行研究，首先提出了"小波分析"的概念，并以他的名字为名，建立了Morlet小波。Morlet小波在时域和频域同时具有良好的局部化性质，对低频信号在频域和对高频信号在时域里都有很好的分辨率。小波分析相当于一个数学显微镜，具有放大、缩小和平移功能，通过检查不同放大倍数下的变化来研究信号的动态特性。小波神经网络将小波变换良好的时频局域化特性和神经网络的自学习功能相结合，因而具有较强的逼近能力和容错能力。在结合方法上，可以将小波函数作为基函数构造神经网络形成小波网络，或者小波变换作为前馈神经网络的输入前置处理工具，即以小波变换的多分辨率特性对过程状态信号进行处理，实现信噪分离，并提取出对加工误差影响最大的状态特性，作为神经网络的输入。小波神经网络在电机故障诊断、高压电网故障信号处理与保护研究、轴承等机械故障诊断以及许多方面都有应用，将小波神经网络用于感应伺服电机的智能控制，使该系统具有良好的跟踪控制性能，以及好的鲁棒性，利用小波包神经网络进行心血管疾病的智能诊断，小波层进行时频域的自适应特征提取，前向神经网络用来进行分类，正确分类率达到94%。3.2.2、混沌神经网络上世纪70年代Li-Yorke第一次提出混沌的概念。混沌是一种在确定的系统中出现的无规则的运动，是存在于非线性系统中的一种较为普遍的现象，混沌运动具有遍历性、随机性等特点，能在一定的范围内按其自身规律不重复地遍历所有状态。混沌理论所决定的是非线性动力学混沌，目的是揭示貌似随机的现象背后可能隐藏的简单规律，以求发现一大类复杂问题普遍遵循的共同规律。1990年KAihara、TTakabe和M.Toyoda等人根据生物神经元的混沌特性首次提出混沌神经网络模型，将混沌学引入神经网络中，使得人工神经网络具有混沌行为，更加接近实际的人脑神经网络。当神经网络实际应用中，网络输入发生较大变异时，应用网络的固有容错能力往往感到不足，经常会发生失忆现象。混沌神经网络动态记忆属于确定性动力学运动，记忆发生在混沌吸引子的轨迹上，通过不断地运动(回忆过程)，一一联想到记忆模式，特别对于那些状态空间分布的较接近或者发生部分重叠的记忆模式，混沌神经网络总能通过动态联想记忆加以重现和辨识，而不发生混淆，这是混沌神经网络所特有的性能，它将大大改善Hopfield神经网络的记忆能力。混沌吸引子的吸引域存在，形成了混沌神经网络固有容错功能。这将对复杂的模式识别、图像处理等工程应用发挥重要作用。3.2.3、基于粗集理论粗糙集(Roughsets)理论是1982年由波兰华沙理工大学教授Z.Pawlak首先提出，它是一个分析数据的数学理论，研究不完整数据、不精确知识的表达、学习、归纳等方法。粗糙集理论是一种新的处理模糊和不确定性知识的数学工具，其主要思想就是在保持分类能力不变的前提下，通过知识约简，导出问题的决策或分类规则。将两者结合起来，用粗集方法先对信息进行预处理，即把粗集网络作为前置系统，再根据粗集方法预处理后的信息结构，构成神经网络信息处理系统。通过二者的结合，不但可减少信息表达的属性数量，减小神经网络构成系统的复杂性，而且具有较强的容错及抗干扰能力，为处理不确定、不完整信息提供了一条强有力的途径。3.2.4、与分形理论的结合自从美国哈佛大学数学系教授BenoitB.Mandelbrot于20世纪70年代中期引入分形这一概念，分形几何学(Fractalgeometry)已经发展成为科学的方法论--分形理论用分形理论来解释自然界中那些不规则、不稳定和具有高度复杂结构的现象，可以收到显著的效果，而将神经网络与分形理论相结合，充分利用神经网络非线性映射、计算能力、自适应等优点，可以取得更好的效果。分形神经网络的应用领域有图像识别、图像编码、图像压缩，以及机械设备系统的故障诊断等。分形图像压缩/解压缩方法有着高压缩率和低遗失率的优点，但运算能力不强，由于神经网络具有并行运算的特点，将神经网络用于分形图像压缩/解压缩中，提高了原有方法的运算能力。将神经网络与分形相结合用于果实形状的识别，首先利用分形得到几种水果轮廓数据的不规则性，然后利用3层神经网络对这些数据进行辨识，继而对其不规则性进行评价。四、神经网络仿生的应用4.1图像识别将人工神经网络方法用于模式识别时，应用范围非常广，可以处理背景复杂，推理规则不明确的问题，相对于传统的模式识别方法，它有以下几个优点:具有较强的容错性，可以识别带有噪声的输入模式，允许输入图像有较大的缺损和畸变;(2)具有很强的自适应学习能力;(3)可以用高速并行处理系统实现;(4)能够实现特征空间较复杂的划分。但基于人工神经网络的模式识别方法也有一些弱点，它学习时需要更多的训练数据;在计算机上实现模拟的时候运行速度较慢;目前能识别的模式类还不够多，其模型在不断的丰富完善中;无法得到所使用的决策过程的透彻理解(如无法得到特征空间的决策面)。特征提取预处理神经网络识别特征提取预处理神经网络识别识别结果图像图像输入基于人工神经网络的图像模式识别的一般模型框图如图是基于人工神经网络的图像模式识别的一般模型框图。基于人工神经网络的模式识别系统一般由五部分组成:图像输入、图像预处理、特征提取、神经网络识别模块、输出识别结果。其中图像预处理就是通过图像平滑、二值化、归一化等方法将原始图像信息中的无用信息删除，便于后面的特征提取。神经网络图像识别系统中的特征提取部分可以存在，也可以不要，因为人工神经网络有自动提取图像特征的功能，根据是否提取特征可分为两大类:（1)有特征提取模块:这种方法是先将输入图像进行特征提取，这里对特征提取要求较高，如果特征提取的不好，不能反映出图像的本质，将直接影响后面神经网络对图像的识别，它的抗干扰性能不够好。（2)无特征提取模块:这种方法是直接将图像作为输入，而图像的维数一般都是比较大的，这样就导致了神经网络的结构可能很大。此时，完全是通过神经网络本身的性能来达到特征提取，消除图像模糊等变形的影响的目的。该方法的抗干扰性能好，识别率高。将神经网络用于模式识别时，如何选择合适的样本进行训练和选择合适的网络结构构造分类器是两个关键的问题。当神经网络学习时，每个类别的样本都要进行训练，并且每类样本的个数最好要近似相等，这样可以防止训练后的网络对样本多的类别响应过于敏感，而对样本数少的类别不敏感，使得网络的精度不高。同时可以大幅度提高网络训练速度，避免使网络陷入局部极小点。同时由于神经网络并不具有不变识别的能力，所以要使网络对输入图像旋转、伸缩等都具有不变性，在选择训练样本时要尽可能的选择各种可能情况下的样本，像不同角度、不同大小、不同背景、不同方位等有代表性的样本，以保证网络有较高的识别率。神经网络结构的选择目前还没有确切的理论作为指导，只能根据具体情况来进行设计。神经网络的输入就是图像的特征向量，输出就是类别数。神经网络的学习就是选择大量需要识别图像的样本，然后输入到神经网络中，通过输入大量的训练样本来修改网络中的参数，这个过程就是神经网络对正确样本的“记忆”过程。神经网络是按图像整个特征向量来记忆图像的，并将特征分配到各个权值上，只要输入图像的大多数特征都符合曾学习过的样本就可以认为是同一类别，所以当输入图像存在较大噪声的时候神经网络分类器仍可以正确识别。4.2仿生眼从1989年以来美国、德国、和澳大利亚的一些大学和研究所一直在寻求用仿生学方法来设计各种类型的人工眼已经在动物实验上取得了一定的进展。仿生眼的设计是基于视网膜结构的以下特点:1、外界物体通过晶状体聚焦在视网膜上形成光学图像；2、电流刺激视网膜的输出级神经元(神经节细胞)能产生闪光感觉。研究者试图将仿生眼应用于视网膜色素变性和黄斑变性导致的失明,这两种疾病都只破坏视网膜的感光细胞层其输出级神经元功能正常。仿生眼分“眼式”和“脑式”两种形式。眼式仿生眼的关键性部件是一片种植在视网膜上的微型芯片(人工视网膜)由硅光电二极管阵列组成。一个被装置在眼镜架上的摄像机把图像信息递给人工视网膜通过光电效应产生电流刺激视网膜神经节细胞产生兴奋从而引起光的感觉。脑式仿生眼是用在视网膜被完全损坏的情况。在这种情况下,刺激电极阵列是直接种植在大脑初级视皮层上。这种系统的基本构造与前一种一样,不过摄像机获得的信息是传送给植入视皮层的硅片以便将光学图像转换成电刺激,作用在大脑视皮层上(电流刺激初级视皮层也会引起闪光感觉)。需要特别指出的是目前这样的装置代价昂贵(手术加器件),而且只能给盲人提供某种光感和十分有限的图形感觉。即使是从长远观点看由于视觉系统结构和功能的复杂性用视网膜或皮层电刺激的方法不可能产生精细视觉,立体视觉、和色觉。虽然美国已成立了专门的研究所和公司，但是,直到目前为止美国食品和药品管理局还没有批准将这种技术应用于盲人。4.3仿生鼻（1）根据对生物嗅觉的研究和