第四章 用遗传算法设计神经网络

1、吉林工业大学硕士学位论文 第四章 用遗传算法设计神经网络 4.1概述自1986年Rumelhart和Parker发明误差反向传播算法（BP算法）以来，人工神经网络的理论和应用研究发展十分迅速，其中，前馈型网络（又称BP网）因其结构简单和非线性映射能力而具有广泛的工程应用前景，如模式识别、过程控制、故障诊断等，同时，BP网在人工智能研究中又被作为机器学习知识获取的重要工具。Kolmogorov已经证明了多层前馈神经网络能够解决可以表示成从某个输入空间到某个输出空间的连续映射的任意问题。但这只是一个存在性定理，它没有给出关于如何构造网络的提示，网络的构造是个非常重要的问题。如何优化BP网络的结构目

2、前尚无理论指导，在应用过程中往往指定过多的网络节点数和层数，期望通过BP算法自动地裁减多余部分，而实际情况并非如此。由于BP算法在冗余结构下会产生“过学习”现象，使网络的训练学习了样本模式的确切特征而不是样本集的一般特征，缺乏外推能力而难以实际应用18；基于数值实验的启发式设计也很困难，这种启发式方法有两个主要缺点：第一，可能的神经网络结构空间非常大，甚至对小型应用问题，其中的大部分结构也仍然没有探测；第二，构成一个好的结构的因素密切依赖于应用，既要考虑需要求解的问题，又要考虑对神经网络解的限制，但目前还没有一个好的技术或方法做到这一点，网络结构空间非常大，探测好的结构十分耗时。研究神经网络的

3、最终目的是解决实际问题，欲实现神经网络，网络的拓扑结构是至关重要的，它关系到实现的难易程度、网络可靠性、稳定性、抗干扰性等问题，BP网络的结构设计取决于具体应用，需要一种高效率搜索机制来探测结构空间。为了进一步揭示网络拓扑结构与网络性能之间的关系，需要开拓新的研究和分析方法。而遗传算法正具有这种特性。遗传算法是一种模拟生物界自然选择和自然遗传机制的高度并行、随机、自适应最优化搜索算法5，具有隐含的并行性和对全局信息的有效利用能力，使它只需搜索少数结构就能反映搜索空间的大量区域，利用群体的适应值信息，通过简单的复制、杂交和变异算子，遗传算法能以很大的概率找到全局最优解，遗传算法尤其适合于处理传统

4、搜索方法解决不了的复杂和非线性问题，并发展成为一种自组织、自适应的综合技术57。在一组给定的性能准则下优化神经网络结构是个复杂的问题，其中有许多变量，包括离散的和连续的，并且它们以复杂的方式相互作用，对一个给定设计的评价本身也是带噪声的，这是由于训练的效能依赖于具有随机性的初始条件。总之，神经网络设计对遗传算法而言是个逻辑应用问题。遗传算法一般可以通过两种方式应用到神经网络的设计中，一种方式是利用遗传算法训练已知结构的网络，优化网络的连接权；另一种方式是利用遗传算法找出网络的规模、结构和学习参数。用遗传算法研究神经网络的设计主要有两个目标。第一个目标是开发神经网络的设计工具，这种工具可以让设计

5、者描述解的问题或问题类，然后自动搜索一个最优的网络设计；第二个目标是通过发现更多的依据来帮助建立神经网络设计的理论。 4.2 遗传算法的描述自从生物进化理论得到人们的接受之后，生物学家就对进化机制产生了极大的兴趣。虽然目前关于推动这个进化的机制还没有完全弄清楚，但它们的某些特征已为人所知。进化是发生在作为生物体结构编码的染色体上，通过对染色体的译码部分地生成生物体，人们现在还不完全清楚染色体的编码和译码过程的细节，但下面几个关于进化理论的一般特性已广为人们所接受：（1）进化过程是发生在染色体上，而不是发生在它们所编码的生物体上。（2）自然选择把染色体以及由它们所译成的结构的表现联系在一起，那些

6、适应性好的个体的染色体有更多的繁殖机会。（3）繁殖过程是进化发生的那一刻，变异可以使生物体子代的染色体不同于它们父代的染色体。通过结合两个父代染色体中的物质，重组过程可以在子代中产生有很大差异的染色体。（4）生物进化没有记忆。有关产生个体的信息包含在个体所携带的染色体的集合以及染色体编码的结构之中，这些个体会很好地适应它们的环境。自然进化的这些特征早在60年代就引起了美国学者John Holland的极大兴趣。Holland注意到学习不仅可以通过单个生物体的适应而且通过一个种群的许多代的进化适应也能发生。受达尔文进化论适者生存的启发，他逐渐认识到，在机器学习的研究中，为获得一个好的学习算法，仅

7、靠单个策略的建立和改进是不够的，还要依赖于一个包含许多候选策略的群体的繁殖。他们的研究想法起源于遗传进化，Holland就将这个研究领域取名为遗传算法。Holland创建的遗传算法是一种概率搜索算法，它是利用某种编码技术作用于称为染色体的二进制数串，其基本思想是模拟由这些串组成的群体的进化过程。遗传算法通过有组织地然而是随机地信息交换来重新组合那些适应性好的串，在每一代中，利用上一代串结构中适应性好的位和段来生成一个新的串的群体；作为额外增添，偶尔也要在串结构中尝试用新的位和段来代替原来的部分。遗传算法利用简单的编码技术和繁殖机制来表现复杂的现象，从而解决非常困难的问题。特别是由于不受搜索空间

8、的限制性假设的约束，不必要求诸如连续性、导数存在和单峰等假设，以及其固有的并行性，遗传算法目前已经在最优化、机器学习和并行处理等领域得到了越来越广泛的应用。遗传算法的主要步骤如下：（1）随机产生一个由确定长度的特征串组成的初始群体。（2）对串群体迭代地执行下面的步（i）和步（ii），直到满足停止准则：（i）计算群体中每个个体的适应值；（ii）应用复制、杂交和变异算子产生下一代群体。（3）把在任一代中出现的最好的个体串指定为遗传算法的执行结果。这个结果可以表示问题的一个解（或近似解）。在准备应用遗传算法求解问题时，要完成以下四个主要步骤：（1）确定表示方案；（2）确定适应值度量；（3）确定控制算

9、法的参数和变量；（4）确定指定结果的方法和停止运行的准则。在常规的遗传算法中，表示方案是把问题的搜索空间中每个可能的点表示为确定长度的特征串。表示方案的确定需要选择串长l和字母表规模k。二进制串是遗传算法中常用的表示方法。选择一个便于遗传算法求解问题的表示方案经常需要对问题有深入的了解。适应值度量为群体中每个可能的确定长度的特征串指定一个适应值，它经常是问题本身所具有的。适应值度量必须有能力计算搜索空间中每个确定长度的特征串的适应值。控制遗传算法的主要参数有群体规模N和是执行的最大代数目M，次要参数有复制概率、杂交概率、变异概率p和代间隙G等参数。至于指定结果和停止和停止执行算法的方法视具体问

10、题而定。 4.3用遗传算法设计前馈神经网络 图4-1给出了遗传算法用于神经网络模拟系统构成的混合学习系统。4.3.1表示方案的确定在遗传算法的群体中，染色体串编码前馈多层神经网络的结构，特别地，它们为隐含单元的数目、布局和控制反向传播法的三个参数（即学习率、动量项和初始随机连接权的范围，均用Gray码）编码。在本文讨论的前馈神经网络中，允许至多有两个隐含层；在能使网络性能提高的条件下，这两个隐含层中任何一 遗传算法 神经网络通过学习后的网络性能 网络结构 图4-1 遗传算法与神经网络藕合成的混合学习系统层在演化中都可以被删去，在每一个隐含层中，神经元的最大数目为32。染色体串的编码形式如下：

11、第一隐含层（第1位=有/无，后5位=单元数，132） 第二隐含层（第1位=有/无，后5位=单元数，132）4.3.2适应值的确定在遗传算法中，适应值是用来区分群体中个体（问题的解）的好坏，适应值越大的个体越好，反之，适应值越小的个体越差。遗传算法正是基于适应值对个体进行选择，以保证适应性好的个体有机会在下一代中产生更多的子个体。此外，象在赌盘选择中，还要求适应值必须是非负数。然而在许多问题中，求解目标更自然地被表示成某个代价函数f（x）的极小化，而不是某个利益函数g（x）的极大化；即使问题被表示成极大化形式，仅仅这一点并不能确保利益函数g（x）对所有的x都是非负的。作为这些问题的结果，常常需要

12、通过一次或多次变换把目标函数转化到适应函数F（x）。对优选结构的评价需要从网络的学习能力和一般化(外推)能力两方面综合考虑。根据第三章的讨论，我们采用自适应学习率加动量项的改进算法，隐层激励函数为Sigmod函数，输出层激励函数为线性函数，采用K重杂交训练方法。我们取网络性能评价目标函数为： E= 训练样本集平均相对误差 + 测试样本集平均相对误差 适应值函数定义为：SyzEXP（min（E）E）式中EXP（）表示以e为底的指数函数；min（）表示最小值。这种指数比例变换使适应值范围在12.718之间，既可限制优势个体的复制数量又可提高相似串之间的竟争性。4.3.3确定选择方法复制就是根据适应

13、值从群体中选择串进行拷贝的过程。一旦一个串被选择，则将这个串的拷贝放入在一个新的暂时群体交配池中，以便进行杂交和变异。当完成了N次复制后，整个暂时群体就被填满了。复制算子有多种：如赌盘选择，确定性选择，有退还和无退还随机选择，有退还和无退还剩余随机选择等。本文采用了确定性选择方法：对群体中每个串计算生存概率,从而得到的期望拷贝数，仍记为；根据值的整数部分，分配给每个串一个拷贝数，并按照值的小数部分对群体中的串进行排序；最后按排列顺序从大到小选择串，直到填满暂时群体。4.3.4确定控制算法的参数和变量（1）群体规模N群体规模影响到遗传算法的最终性能和效率。当规模太小时，由于群体对大部分超平面只给

14、出了不充分的样本量，所以得到的结果一般不佳。大的群体更有希望包含出自大量超平面的代表，从而可以阻止过早收敛到局部最优解；然而群体规模越大，每一代需要的计算量也就越多，这有可能导致一个无法接受的慢收敛率。在我们的实验中，由于实验条件的限制，适应值的评价相当费时，群体规模取为10。（2）杂交率杂交率控制杂交算子应用的频率，在每代新的群体中，有个串实行杂交。杂交率越高，群体中串的更新就越快。如果杂交率过高，相对选择能够产生的改进而言，高性能的串被破坏得要更快。如果杂交率过低，搜索会由于太小的杂交率而可能停滞不前。本实验选取了0.6作为杂交率。（3）变异率变异是增加群体多样性的搜索算子，每次选择和杂交

15、之后，新的群体中的每个串的每一位以概率等于变异率进行随机改变，从而每代大约发生次变异，其中为串长。一个低水平的变异率足以防止整个群体中任一给定位保持永远收敛到单一的值。高水平的变异率实质上产生的是随机搜索。本实验采用了0.01作为变异率。（4）代间隙G代间隙控制每一代中群体被替换的百分率，即上一代中有个串被随机地选择保留到下一代中，我们取0.9。（5）停止准则迭代停止准则设定为规定的代数，本实验定为20。一个基本的遗传算法可以用下面的伪码描述：Procedure Genetic Alogorithm；begin k：=0； 初始P（k）； P（k）为第k代群体 计算P（k）的适应值； whil

16、e (不满足停止准则)do k：=k+1； 从P（k-1）中选择P（k）； 复制算子 重组P（k）； 杂交和变异算子 在上一代中随机选择个个体随机替换P（k）中的个体； 计算P（k）适应值 endend 4.4遗传算法的改进遗传算法是一种参数搜索算法。采用适应度比例选择、单点杂交和单点变异的遗传算法称为简单遗传算法，它的缺陷是收敛速度慢、易陷入局部极小等。在应用遗传算法中，要首先给定一组控制参数，如群体规模、杂交率和变异率等，控制参数的不同选取会对遗传算法的性能产生很大的影响；各种算法是针对实际问题的，都有各自的特点，采用不同的选择、杂交和变异策略，对算法的性能会有很大的影响。针对本项目的具体

17、问题，我们对简单遗传算法作了一些改进，本文从以下几个方面进行遗传算法的改进。4.4.1编码方案的改进生成初始染色体群最简单的方法，就是利用随机数发生器随机地产生一系列方案，然后以此为基础进行迭代。此方法简单方便，但是产生的初始方案杂乱无章，良莠并存。只有经过若干次迭代后，那些生命力强的染色体才会被遗传或产生出来，进而提高染色体的品质，得到满意的解。仔细分析上述传统二进制结构编码方案我们发现存在如下缺点：（1）缺乏全局性和稀疏性。单隐层的网络结构多于双隐层的结构，且单隐层的神经元数相对集中在132中间的一些数上，有可能重复；（2）出现无隐层的现象。由于采用二进制编码，虽然比较容易操作，但如果要表

18、示较大的范围，则串的长度比较大。从理论上已经证明：具有短定义长度、低阶并且适应值高于群体平均值的模式，在遗传算法迭代中将按指数率增长，对群体中N个串的处理实际上隐含地并行处理了大约O(N3)个模式5。由于实验条件有限，尽管遗传算法本身具有隐含并行性，但对于适应值的计算并行性有待于研究，而对于我们这个混合学习系统，适应值的评价是非常费时的，因此我们设置的群体数量较少，而且迭代次数也不可能太多，还不能真正实现全局范围内的优化。对于单隐层的网络，隐含节点数在30以上的网络很难得到评价。对于这一点，除了采用全新的编码方案如浮点编码方案以外，我们也可以对上述的编码方案作如表4-1的改进。这种编码方案，不

19、仅位串少了一位，而且表示的范围较传统的编码范围大，表示的模式也较多，保证了遗传算法搜索的全局性和稀疏性，同时也避免了出现无隐层的现象。 表4-1 染色体串编码结构序号域名称位数 取值说明1学习速率20.5，0.25，0.125，0.06252冲量因子20.9，0.8，0.7，0.63初始权值范围2±1，±0.5，±0.25，±0.1254多层结构10表示单隐层，神经元数为序号5、6之和：264；1表示两隐层5第1隐层节点数51326第2隐层节点数51324.4.2适应值的比例变换适应值的度量问题是一个很重要的问题。在简单遗传算法中我们采用的是指数比例变换

20、： E= 训练样本集批平均相对误差 + 测试样本集平均相对误差 适应值函数定义为：SyzEXP（min（E）E）这样使适应值范围在 12.718 之间，这种指数比例变换在搜索初期可限制优势个体的复制数量，防止算法早熟收敛，但到搜索后期对于提高相似串之间的竟争性不利，因为到搜索后期按此式计算出的适应值差别很小。为此我们对此式加以修改，将指数比例变换为下面的关系式： Syz=EXP（min（E）/E） （4-1）这种类型比例方法的基本思想出自于模拟退火过程。下面应用指数比例方法处理两组典型的数据。例1 群体中有6个串，其中一个传递适应值非常大：原适应值 1 0.04 0.035 0.03 0.02

21、5 0.02比例适应值（=1） 2.718 1.041 1.036 1.030 1.025 1.020 例2 群体中有6个串,它们的适应值都比较接近：原适应值 0.9 0.8 0.7 0.6 0.5 0.4比例适应值（=5） 90 55 33 20 12 7从上面可以看到，指数比例既可以让非常好的串保持多的复制机会，同时又限制了其复制数目以免其很快控制整个群体；这种方法也提高了相近串的竞争性。系数的值很重要，它决定选择的强制性，越大，选择强制就越趋向于那些具有最高适应值的串。对于如何确定值，本文提出了一种新的自适应的调整方法： （4-2）式中avg（）表示取平均值；max（）取最大值。并且对做

22、如下限制：如果大于4，则=4；如果小于1，则=1。这样在搜索初期，avg(E)<(max(E)-avg(E)，也就是说进化群体在解空间中较分散时，则给予较小的值，限制性能好的群体的复制数目，以免其很快控制整个群体；当avg(E)>(max(E)-avg(E)，也就是说在搜索后期，整个群体的性能值都比较接近的情况下，我们采用较大的比例系数，提高相似串间的竞争性。4.4.3自适应杂交率和变异率的设计在简单遗传算法(SGA)或标准遗传算法(CGA)中，变异率是个常数。通常，对于变异率是一常量的情况，经过多次迭代后，群体的素质会趋于一致，这样就形成了“近亲繁殖 ”，近亲繁殖对后代的质量不利

23、。同样，如果双亲的基因码链非常接近，杂交以后其后代对于双亲，素质提高也极少。因此，群体基因的多样性变差不仅会减慢进化历程，而且可能导致进化停滞，过早收敛于非最优解。目前许多学者都认识到变异率需要随着遗传进程而自适应变化，这种有组织性能的遗传算法具有更高的鲁棒性、全局最优性和效率。文献47提出一种杂交率Pc和变异率Pm随基因操作的在线性能自适应变化的有效方法，性能提高则Pc增加，反之则Pm增加；文献46研究了Pm随迭代次数变化的效果，实例证明Pm随指数下降有较好性能；文献48提出一种自适应变异方式，Pm与1对父串间的海明距离成反比，结果显示能有效保持基因的多样性；文献49提出一种Pc和Pm随父串

24、的适合度自适应变化的新方法，进行了详细的理论分析和广泛的实验研究，结果显示该方法在非线性和多模型问题的优化中性能优异。可见，在今后的研究中，遗传算法结构、基因操作和参数都会向自组织的形式发展并将进行系统的综合。本文借鉴上述文献的思想，提出如下新的自适应杂交和变异概率，具体公式设计如下： （4-3） （4-4）其中：杂交概率；：变异概率；：每代中个体适应值最高值；每代平均适应值。且对变异率作如下的重新定义：每代中个体发生变异的概率，也就是每代中有N个个体发生变异。文献25提出对于变异个体每位发生变异的概率为： （4-5）我们通过实验发现，这种方法能够保证在迭代初期，对劣质个体赋予较大的变异率，以

25、造成足够的扰动，扩大解空间，对于优良个体发生变异的位数较少。但是到了后期，个体适应值比较接近时，就没有变异发生；而且即使在迭代初期也没有必要对劣质个体发生较大变异，这也不符合自然进化规律。我们采用恒定的变异率，每个变异个体2或3位发生变异即可。这种方法在群体中各个个体过分趋于一致时，会使变异的可能性增加，从而提高群体的多样性，增强算法维持搜索的能力；而当进化群体在解空间中较分散时，则给予较大的杂交概率，使其尽快找到最优解。4.4.4 选择和变异的结合变异算子虽然增加了种群的多样性，但却是以降低算法的离线和在线性能为代价的。为什么会如此？我们对此作了分析，主要是因为随机变异所致。传统的遗传算法是

26、在杂交后实施变异操作，“优良”个体和“劣质”个体经受相同的杂交和变异概率，这样很难保证丢失基因的恢复，即使是恢复了，有效基因的个体的适应值也不一定高，经过选择操作后又会造成有效基因的丢失。对于传统算法的步骤我们加以改进：我们先进行选择和变异，最后再进行杂交。我们把传统的确定性选择算法与变异结合起来，本文采用了确定性选择方法：对群体中每个串计算生存概率，从而得到的期望拷贝数，仍记为；根据值的整数部分，分配给每个串一个拷贝数，并按照值的小数部分对群体中的串进行排序；最后按排列顺序从大到小选择串，直到填满（N-N）暂时群体，余下的N个串从中选择适应值较低的串进行变异，并放入交配池中，这样就避免了随机

27、变异所造成的有效基因的丢失，从而避免了算法性能的下降。4.4.5杂交算子的改进传统遗传算法是建立在随机模型的基础上，因而即使在搜索寻优计算前期样本模式较多，在执行杂交操作时也经常会遇到杂交的两个位串极其相似的情况；特别在搜索后期，样本个体趋于一致时，由于其相似性，杂交后很难得到新个体，不仅影响搜索寻优进度，而且影响到搜索结果的有效性。这就是所谓的近亲杂交问题。根据Holland提出的遗传算法的模式理论，一个模式就是一个描述种群中在位串的某些确定位置上具有相似性的位串子集的相似模板。为了描述一个模式，在用以表示位串的二个字符的字母表0，1中加入一个通配符*，构成一个表示模式用的三个字母表0,1,

28、*。一个模式就象一个模式匹配装置。模式理论中有两个重要概念，对于模式H，定义：（1）模式位数（H）：H中有定义的非*位的个数；（2）定义长度（H）：H中最两端的有定义位置之间的距离。由于基于随机模型的杂交算子在实际使用中经常会出现近亲杂交问题，为解决此问题可以定义一位串间的相似性程度值近亲值S（取值0，1，0表示完全不同，1表示完全相同），表示位串和之间的近亲值，且。定义由位串和的相同位组成的位串位模式，则的大小与的大小成正比，又因为大的模式其杂交后个体发生变化的机率亦大，综合二者的影响，定义如下近亲值计算式： （4-6）（其中L为位串长度，为加权系数,且）。 位串：1 0 1 1 0 位串：

29、0 0 1 0 0位串（10110）和（00100）的模式为（*01*0），并且L=5。假设某一种群有n个位串，则各位串之间的近亲值可以用如下所示矩阵表示： 为获得最佳的杂交对，可以对上面的近亲值矩阵执行如下操作：(1) 搜索近亲矩阵上三角矩阵的S值，得到一最小值的杂交对；(2) 保存此杂交对；(3) 将矩阵在的行和列删除，得到一新矩阵；(4) 重复上三步至所要求的杂交对数。文献26提出：在搜索寻优后期，如果继续使用远亲有先策略，会使一个种群丧失其优良特性。这在生物界，也同样体现在同种相配或近种相配，以使种族得以延续。为了避免产生劣等品种，在搜索后期，应对异种杂交进行限制。定义一位串间的相异性

30、程度值远亲值D，则位串和的远亲值为，取值。利用构造远亲值矩阵，用上述同样方法求解最小的最佳杂交配对。而我们根据实验发现，到搜索后期，样本趋于一致时，更应采用远亲交配方法，这样有利于产生新的个体，当然这也导致算法在线性能的下降，我们将会采取补救措施。对于新杂交算子的实现描述如下： Procedure New_Crossover Begin 计算各位串之间的近亲值； 构造近亲值矩阵； 利用上述方法对矩阵求解最佳杂交对； 执行随机位选的杂交操作；End采用上述选择和变异结合，在此基础上再采用远亲交配策略，就不会出现大量重复迭代相同的个体，保证了变异和杂交所出现的种群多样性的效果。最后为了弥补杂交和变

31、异算子对算法性能造成的影响，对简单遗传算法中的代间隙也加以重新定义：从上一代中选择（1-G）个适应值最好的个体保存到下一代中，这里G取0.8。综合改进遗传算法叙述如下：Procedure Genetic Algorithm；begin 初始化P（k）； for k=1:T T为规定迭代的代数 计算P（k）各个体的训练误差和测试误差； if (满足停止准则) break; end 自适应指数比例系数计算； 适应值计算； 自适应杂交率和变异率的计算； 从P（k-1）中选择N-N个染色体放入交配池中； 复制算子 从P（k-1）中选择N个适应值较差的染色体，进行变异并放入交配池中 ； 新的杂交算子；

32、从上一代中选择个适应值最好的串随机替换交配池中的 个个体； end end 改进的遗传算法避免了重复迭代相同的个体；采用变异劣质个体的方法，避免了随机变异而造成对优良个体的破坏；我们把每代中两个最优个体保留到下一代的前提下，采用较高的变异率和杂交率，不但增加了种群的多样性，而且也保证了算法的离线性能，当然在线性能有所影响。 4.5 算法性能分析和试验结果遗传算法的性能分析一直是都是遗传算法研究领域中最重要的主题之一。在遗传算法中，群体规模、杂交和变异算子的概率等控制参数的选取是非常困难的。而对于算法性能的评价也是个复杂的问题，同样也存在收敛速度和收敛精度的矛盾。特别是通过BP算法评价结构又带有

33、一定的随机性，因为网络的训练效能依赖于随机的初始化条件；如果定义停止准则为某代个体的最优性能达到规定的要求或两代之间最好性能值之差为某个值，由于初始群体的随机性，以算法的收敛速度去评价性能就失去意义。为了能够综合评价算法的性能，我们定义停止准则为规定的代数，除了比较算法的离线性能和在线性能，我们对最后的收敛结果也加以分析和比较。下面定义两个性能度量，一个是度量算法的收敛性能，另一个是度量算法的进行性能，分别称为离线性能和在线性能。定义 在f的响应面上，搜索算法a的在线性能定义为 （4-7）其中是在时间内所得到的性能值。在线性能表示算法在直到当前为止的时间内得到的所有性能值的平均值。定义 在f的

34、响应面上，搜索算法a的离线性能定义为 （4-8）其中是在时间0，内所得到的最优性能值。离线性能表示算法在执行中得到的最优性能值的平均值。简单遗传算法与综合改进遗传算法的性能比较如图4-2、4-3所示。对于简单遗传算法我们也采用改进的编码结构，简单遗传算法的杂交率为0.6，变异率为0.02。我们也给出了传统编码方案的简单遗传算法（杂交率为0.6，变异率为0.01）离线性能和优化结果，而在线性能由于单隐层多于双隐层，且有无隐层的现象，虽然呈下降趋势，但总体性能比较差，我们没有画出。由图4-2、4-3可看出：改进遗传算法的离线性能明显好于简单遗传算法。由于对于网络结构性能的评价非常费时，对于上述算法

35、我们都运行了大约同样的时间，而没有迭代到规定的代数。采用新编码的简单算法和改进遗传算法迭代了18次，而传统编码的简单遗传算法才迭代了7次，这是由于简单遗传算法中，初始群体缺乏多样性，初始参数值都比较低，网络训练速度慢。从实验结果可以看出如果变异率较小，简单遗传算法也存在局部最优解问题，也就是早熟收敛问题。简单遗传算法更加趋于自然进化规律，而改进遗传算法就好比由于科学的进步，人们由掌握规律到充分地利用规律，利用现代科技手段使自然向更好的方向进化和发展。我们对网络性能的评价，只考虑了收敛精度，而对于网络的收敛速度却未进行评价。由上一章我们知道单隐层网络收敛速度快于双隐层结构的网络。因此，通过遗传算

36、法的优化实验我们可以得出如下结论：在设计神经网络结构时，尽量采用单隐层的结构，尽管单隐层结构的隐层单元数多于两个隐层，但收敛速度仍快于双隐层结构；如果需要两个隐层时，把神经元尽量放在第一隐层。0246810121416185101520253035404550 新编码简单GA 改进GA 图4-2 简单GA 与综合改进GA在线性能比较0246810121416180.450.50.550.60.650.70.750.8 简单GA 新编码简单GA 改进GA 图4-3 简单GA 与综合改进算法离线性能比较对于简单遗传算法与改进遗传算法优化结果分别如表4-2、4-3、4-4所示。尽管我们对传统的网络结构编码进行了改进，但对于单隐层的网络，由于隐层的神经元数对网络的性能影响很大，如果不合适就会被淘汰，而只能靠变异来恢复，即