人工神经网络概述

1问题概述及发展前景利用统计的经典理论，从一组具有因果关系的数据KNKX,21,中直接建立与的线性与非线性关系，线性,21|MKYYNX,21与非线性回归方法等，已经较为成熟。但是对于多个因变量的情况却有局限性。例如通过N个产品生产工艺参数,21T来评价是否给予企业不同期限不同额度贷款的多分类问题等，NX,都归纳为建立与的映射关系，特别的，当NX,211,21TYF这些因变量取值是有限使得映射关系。对于解决这类问题，回归分析方F法并不是最有效的，而适用神经网络建模来处理。神经网络建模的主要思想是构造已模型通过对已知数据样本的学习，获取有关的有关参数，F并使尽可能的逼近实际关系，最终能够以代替应用于解决实际问F题。人工神经网络（ARTIFICIALNEURALNETWORK,简称ANN）是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。神经网络在学校规则下，对提取的学习样本进行学习，从中获取特征信息，存储（记忆）在相应的权值及参数上。学习后，对于新的输入数据，网络通过已获取的权值及参数，计算网络的输出。神经网络具有高度的非线性、容错性与自学习，自适应更新等功能，能够进行复杂的逻辑操作和非线性关系实现。从近年来的发展看，神经网络的研究有两个大的发展趋势一个是在理论上向更加复杂的神经网络系统方向发展，表现在神经网络与模糊，进化算法的结合，神经网络与认知科学的结合，神经网络与生物医学的结合，以及各种混合神经网络的出现。二是神经网络的应用范围不断扩展，神经网络应用技术研究不断深入，它与多种学科相交叉，解决了很多传统科学解决不了的难题，为人类认识世界，开拓未知领域，提高现代科学技术水平进而以科技带动生产力对国民经济的增长起到了促进作用，是世界上公认的尖端前沿的技术研究领域之一。2神经网络概述1神经网络的基本特征神经网络的基本特征归纳为结构特征和能力特征。（1）结构特征并行处理、分布式存储与容错性。人工神经网络是由大量简单处理原件相互连接构成的高度并行的非线性系统，具有大规模并行处理特征。结构上的并行性事神经网络的信息存储必然采用分布式方式，即信息不是存储在网络的某个局部，而是分布在网络的所有连接权中。这两方面的特点使得网络中部分神经元损坏时不会对系统的整体性能造成影响，并能实现对不完整输入信息的正确识别。（2）能力特征自学习和自组织。通过有导师或无导师的学习，神经网络能改的自身的性能已适应环境变化。自学习是指当外界环境发生变化时神经网络能通过自动调节网络结构参数使得对于给定输入能产生期望输出，自组织表面网络能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。3神经网络的基本模型神经网络的理论依据定理如果为有界单调递增连续函数，为上的紧致子集，XFKNR为上的实值连续函数，则对任意,存在整数,21NXK0和实常数和使M,21,NJMIJ满足由此定理，可以得出下述结论,21IJIINXWCXF定理如果为有界单调递增连续函数，为上的紧致子集，则XFKR对任意连续映像可由一个三层前馈神经网络模型以任意精度XF逼近。神经网络的组成1基本神经元人工神经网络的基本处理单元为神经元，人工神经网络是由大量的神经元广泛互联而成的网络，神经元的基本结构如图所示。从生物角度讲，神经元由细胞体、树突、轴突三部分构成。细胞体是对信息加工处理部分，它通过树突获取信息，再将加工的信息由轴突传输出去。这种神经元的基本结构可以使人脑根据对外部信息的加工处理对不同的信息产生不同的反应。由图可知，神经元在树突部分接受了共N个信息，经过特定X,21的权值作用后进入到细胞体。作为信息的加工处理部分，细INIW2,1胞体通过作用函数对树突接受的信息进行处理，最终将信息JIIF1处理的结果通过轴突传输出去。IU神经网络在一定的学习规则下，对提供的学习样本进行学习，从中获取特征信息，并存储（记忆）在相应的权值及参数上，学习后，对于新的学习数据，网络可通过已获取的权值及参数，计算网络的输出。神经网络具有高度的非线性、容错性与自学习、自适应更新等功能，能够进行复杂的逻辑操作和非线性关系实现。2常见的作用函数神经元对信息处理有多种方式，分别由不同的作用函数来实现信息处理，以下分别介绍几种常见的作用。（1）线性函数为XAF（2）阀值型函数为其中为神经元阀值,01XF（3）在（0,1）内连续的SIGMOID函数为XEXF1（4）在（1,1）内连续的SIGMOID函数为XEXF1（5）符号转移函数为,01,XF（6）带限的线性函数为RXF,|,3常见的神经网络结构神经元是神经网络的基本处理单位，由大量的神经元组成的神经网络才能对复杂信息进行处理，神经网络的强大功能与其大规模并行互联、非线性处理以及互联结构的可塑性密切相关，因此必须按照一定规则将神经元连接成神经网络，并使各神经元的连接权按照一定规则变化，人工神经网络的类型很多，按照网络拓扑结构分类可将神经网络分为层次性结构和互联型结构。1层次性结构层次型结构的神经网络将神经元按功能分成若干层，如输入层、隐层和输出层，且将各层之间顺序相连。输入层各神经元接受来自外界的信息，并传递给中间隐层各个神经元。隐层是神经网络的内部信息处理层，负责信息变换，根据信息变换的要求可以设置多层隐结点层，变换后的信息从隐层传递到输出层，进一步处理后输出层向外界输出信息处理结果。层次型神经网络结构如图。2）互联型结构最早的互联型网络结构式1982年有霍普菲尔德提出的HOPFIELD神经网络模型。HOPFIELD神经网络是一个有非线性元件构成的全互联型单层反馈系统。不同于层次型结构，HOPFIELD网络中的每一个神经元既接受外界的输入信息，又向外界输出信息，且网络任意两个结点之间都存在双向的连接路径。从感知机模型开始，面对着应用领域的种种挑战，各种结构更复杂，性能更优的神经网络模型应运而生，其中比较成功的神经网络模型有HOPFIELD神经网络模型，误差反向传播（BP）神经网络，RBF神经网络模型自适应神经网络等。下面介绍几种最常用的神经网络模型。1BP神经网络模型基本原理BP神经网络模型是一种具有三层或三层以上的前馈型的、按梯度算法是计算输出与实际输出的误差沿逆传播修正各连接权的神经网络模型。网络按有教师示例的方式进行学习，当一对学习模式提供给网络后，神经元的激活值，从输入层经个中间层向输出层传播，在输出层的各个神经元获取网络的输入响应，并按减少希望输出与实际输出偏差的方向，从输入层经各中间层逐层修正各连接权，最后回到输入层，随着这种误差逆传播修正的不断进行，网络对输入模式的正确率不断上升。BP网络模型的特点设输入为，模型表示NX,21,1JNJIIFIMWY1,12,0,1MITITTOFVRQOA模型结构至少三层（至少一个隐层），多个输入，一个或多个输出。作用函数（SIGMOID型函数）1,0,1XFXEXF学习样本PDXKNKKNK,32,21,21权值修正公式设，是期望输出（实际输出），是网络计IIOIIO算输出。1）隐层与输出层连接权的修正TITITIVKKV1，是隐结点输出。ITITTKTIYHO1KTTTIODIY2）输入层与输出层连接权的修正IJIJIJWKKW1JIITKIJXYVHW11是输入节点输出。JKKTTKTXOHTI,13）第K个样本误差2/2/KTKTKTIDE总误差KEBP算法的几种改进BP算法实质上是把一组样本输入到输出问题转化成一个非线性优化问题，并通过梯度算法利用迭代运算求解权值问题的一种学习方法。但是BP算法尚存在一些缺陷，主要是容易形成局部极小而得不到整体最优，且迭代次数多，收敛慢，针对BP算法的缺点，提出了几种改进的方法。理论界的许多学者对BP神经网络的改进进行了研究，并提出了一系列的改进方法。例如，针对标准梯度下降算法的局限性，宿延吉等提出了几种BP网络的改进算法，包括克服遗忘得BP算法，改变误差函数的BP算法、带有变周期权值修正的BP算法，以及分级学习算法等。高海兵等提出了基于连接结构优化的粒子群优化算法（SPSO）训练神经网络权重的同时训练其连接结构，删除亢余连接，提高网络的分类能力。RUANQ和WANGYQ提出了把主成分分析法和BP网络现结合，用于优化隐层神经元的个数以及BP网络训练的初始参数，并进行了实例研究。应用1基于主成分分析法的PSOBP预测流程针对标准BP算法的局限性，提出了构造基于主成分分析方法的PSOBP混合预测模型，分别从样本质量和初始权值两个方面对BP神经网络进行改造。基本思路首先利用主成分分析法对预测模型的输入样本进行降维去噪处理，将提取的主成分作为预测模型新的输入以简化BP网络结构，然后利用粒子群算法对BP神经网络的初始权值进行训练，当权值定位于空间全局最优或近邻最优的附近时，在采用BP算法进行局部搜索，使其迅速收敛到最终的优化值。这样结合了它们的优势，不容易陷入局部极小，具有很高的精度，且收敛速度很快。粒子速度和位置初始化初始数据预处理对样本数据进行主成分分析确定BP网络结构建立粒子与BP网络权值及阀值的映射关系粒子适应度值计算粒子速度更新和位置更新寻找个体极值和群体极值是否满足终止条件基于PCA的PSOBP的算法流程图2基于遗传BP神经网络的预测问题基本思路为了提高迭代速度，先使用遗传算法优化BP神经网络的初始连接权值，然后再运用BP神经网络算法求解模型问题。先使用遗传算法优化神经网络算法中所需要的连接权、阈值等初始值，产生一个合理的搜索空间，然后根据神经网络算法设置输入层、隐含层。输出层、激活函数等模型要素在这个搜索空间中找到最优解。RBF神经网络总所周知，BP网络用于函数逼近时，权值的调节采用负梯度下降法，这种权值的方法有它的局限性，即存在收敛速度慢和局部极小等特点。而奖项基函数网络（RBF）无论在逼近能力、分类能力和学习速度等方面均优于BP网络。RBF神经网络是一种三层前馈式神经网络，由输入层、隐含层和输出层构成。RBF结构构成径向基函数的基本思想用隐单元实现输入空间到隐含层空间的变换。输入矢量不通过连接权值直接映射到隐层空间，输入层到隐含层的变换是非线性的，非线性映射通过径向基函数（高斯函数）实现。隐含层到输出层的映射是线性的，即网络的实际输出是隐含层的线性组合。RBF的模型表示RBF网络输入层到隐层的变换是非线性的，径向基函数取高斯函数，则隐层第K个结点的输出为2EXPIKKICH式中为第K个隐结点的中心向量；为第K个隐结12,KKNKCC点的宽度；为欧几里得范数。隐层到输出层的映射是线性的，即网络的实际输出是各单元响应的线性和。整个网络的输入输出方程为0RNJKJFXHXBA式中为当前网络中隐结点的个数；为偏移量；为隐层第K个结RNKJ点与输出层第J个结点的连接权值。由于输出层是线性函数，网络输出是径向基隐层输出输出的线性组合，从而容易达到从输入空间到输出空间非线性映射的目的。RBF特点1）当输入信号靠近映射函数的中央时，隐节点将产生较大的输出，即隐节点仅对输入数据子集产生响应，所以RBF也称局部感知场网络。2）由于输出层是线性函数，网络输出时径向基隐层输出的线性组合，从而很容易达到从输入空间到输出空间非线性映射的目的。与BP网络算法相比，由于参数调整时线性的，可获得较好的收敛速度。RBF学习算法1）确定出每个隐层神经元基函数的中心（可通过聚类方法确定）；JC2）确定权值及，设有P组输入/输出样本/隐层节IJWJPX,2,1LY点数为，网络在第P组样本输入下的第J维输出为RNPKJJXHTWTF定义误差函数为MJLPJLPMJJPIJPJIPPTETFYTETRY12122|权值调整公式为PKJPIJIJPIJIJXHTETWTETWT其中，为调整因子。3）也可以根据样本，利用最小二乘法，求出输出层的权值。KJW应用1基于熵聚类的RBF神经网络的学习算法熵聚类算法1）设M维空间的N个输入数据点，计算各数据点,21NXX的熵并设循环控制变量IXIE1M2）选择第M个聚类中心，满足（选含最小熵值的ANXIIXXANE点作为聚类中心）；3）计算中与的相近度大于的数据点集；XANXM4）考虑到远离聚类中心的孤立点也拥有极小的熵值，或者在中除去X一些数据后，剩余的分布在分散区域的零散点都不适合做聚类中心。设阀值，表示数据点的总数。若中的数据点大于，则接受NY05MXY作为聚类中心。从中去除，转6）；ANXX5）若中的数据点都不大于，则拒绝接受作为中心。为加快算MYANX法的收敛速度，标志中的点数不在作为聚类中心的候选点；M6）若中的聚类中心候选点数不大于，结束，否则，转XY1M2）；将训练样本的数据应用上述聚类算法，将会得到数据的聚类中心的个数和初始值。这样，就无需事先确定聚类数，省去了不同模式类对应的迭代计算量，保证了网络学习的快速性。上述过程可以确定聚类中心的个数和初始值，再利用KMEAN调整和修改中心和宽度。基本步骤如下第一步中心的确定。利用熵聚类算法对样本数据进行聚类，确定RBF网络隐节点的中心,21,MIC第二步选取中心。寻找训练样本距离哪个中心最近，既找到X是第次迭代时基函数的第I,21|,|MINNCICXDIIKK个中心。第三步调节中心。用下面的公式调整数据中心，其他；,1KIKIIXDNCXNC1NCII是指第K个样本与第I个隐节点距离最小；是学习步长，一般KD情况下小于1。第四步判断是否学完所以的训练样本且中心的分布不再变化，在实际的应用过程中，只要中心的变化小于我们预定的值，即可认为中心不再有任何变化。第五步计算，其中