遗传算法与智能算法综述

1、- PAGE 18 -智能算法综述摘要：随着计算机技术的飞速发展，智能计算方法的应用领域也越来越广泛，本文介绍了当前存在的一些智能计算方法，阐述了其工作原理和特点，同时对智能计算方法的发展进行了展望。 关键词：人工神神经网络 遗遗传算法 模模拟退火算法法 群集智能能 蚁群算法法 粒子群算算 1 什么是智智能算法 智能计算也有人人称之为“软计算”，是们受自自然（生物界界）规律的启启迪，根据其其原理，模仿仿求解问题的的算法。从自自然界得到启启迪，模仿其其结构进行发发明创造，这这就是仿生学学。这是我们们向自然界学学习的一个方方面。另一方方面，我们还还可以利用仿仿生原理进行行设计(包括括设计算法)，这

2、就是智智能计算的思思想。这方面面的内容很多多，如人工神神经网络技术术、遗传算法法、模拟退火火算法、模拟拟退火技术和和群集智能技技术等。 2 人工神经网网络算法 “人工神经网络络”(ARTIIFICIAAL NEUURAL NNETWORRK，简称AANN)是在在对人脑组织织结构和运行行机制的认识识理解基础之之上模拟其结结构和智能行行为的一种工工程系统。早早在本世纪440年代初期期，心理学家家McCullloch、数数学家Pittts就提出出了人工神经经网络的第一一个数学模型型，从此开创创了神经科学学理论的研究究时代。其后后，F Roosenbllatt、WWidroww和J. JJ .Hopp

3、fieldd等学者又先先后提出了感感知模型，使使得人工神经经网络技术得得以蓬勃发展展。 神经系统的基本本构造是神经经元(神经细细胞)，它是是处理人体内内各部分之间间相互信息传传递的基本单单元。据神经经生物学家研研究的结果表表明，人的一一个大脑一般般有1010010111个神经元。每每个神经元都都由一个细胞胞体，一个连连接其他神经经元的轴突和和一些向外伸伸出的其它较较短分支树突组成。轴轴突的功能是是将本神经元元的输出信号号(兴奋)传传递给别的神神经元。其末末端的许多神神经末梢使得得兴奋可以同同时传送给多多个神经元。树树突的功能是是接受来自其其它神经元的的兴奋。神经经元细胞体将将接受到的所所有信号

4、进行行简单处理(如：加权求求和，即对所所有的输入信信号都加以考考虑且对每个个信号的重视视程度体现在权权值上有所不同同)后由轴突突输出。神经经元的树突与与另外的神经经元的神经末末梢相连的部部分称为突触触。 2.1 人工神神经网络的特特点 人工神经网络是是由大量的神神经元广泛互互连而成的系系统，它的这这一结构特点点决定着人工工神经网络具具有高速信息息处理的能力力。人脑的每每个神经元大大约有1033104个个树突及相应应的突触，一一个人的大脑脑总计约形成成10141015个个突触。用神神经网络的术术语来说，即即是人脑具有有10141015个个互相连接的的存储潜力。虽虽然每个神经经元的运算功功能十分简

5、单单，且信号传传输速率也较较低(大约1100次/秒秒)，但由于于各神经元之之间的极度并并行互连功能能，最终使得得一个普通人人的大脑在约约1秒内就能能完成现行计计算机至少需需要数10亿亿次处理步骤骤才能完成的的任务。 人工神经网络的的知识存储容容量很大。在在神经网络中中，知识与信信息的存储表表现为神经元元之间分布式式的物理联系系。它分散地地表示和存储储于整个网络络内的各神经经元及其连线线上。每个神神经元及其连连线只表示一一部分信息，而而不是一个完完整具体概念念。只有通过过各神经元的的分布式综合合效果才能表表达出特定的的概念和知识识。 由于人工神经网网络中神经元元个数众多以以及整个网络络存储信息容

6、容量的巨大，使使得它具有很很强的不确定定性信息处理理能力。即使使输入信息不不完全、不准准确或模糊不不清，神经网网络仍然能够够联想思维存存在于记忆中中的事物的完完整图象。只只要输入的模模式接近于训训练样本，系系统就能给出出正确的推理理结论。 正是因为人工神神经网络的结结构特点和其其信息存储的的分布式特点点，使得它相相对于其它的的判断识别系系统，如：专专家系统等，具具有另一个显显著的优点：健壮性。生生物神经网络络不会因为个个别神经元的的损失而失去去对原有模式式的记忆。最最有力的证明明是，当一个个人的大脑因因意外事故受受轻微损伤之之后，并不会会失去原有事事物的全部记记忆。人工神神经网络也有有类似的情

7、况况。因某些原原因，无论是是网络的硬件件实现还是软软件实现中的的某个或某些些神经元失效效，整个网络络仍然能继续续工作。 人工神经网络是是一种非线性性的处理单元元。只有当神神经元对所有有的输入信号号的综合处理理结果超过某某一门限值后后才输出一个个信号。因此此神经网络是是一种具有高高度非线性的的超大规模连连续时间动力力学系统。它它突破了传统统的以线性处处理为基础的的数字电子计计算机的局限限，标志着人人们智能信息息处理能力和和模拟人脑智智能行为能力力的一大飞跃跃。 2.2 几种典典型神经网络络简介 2.2.1 多多层感知网络络(误差逆传传播神经网络络) 在1986年以以Rumellhart和和McC

8、ellland为为首的科学家家出版的PParalllel Diistribbuted Proceessingg一书中，完完整地提出了了误差逆传播播学习算法，并并被广泛接受受。多层感知知网络是一种种具有三层或或三层以上的的阶层型神经经网络。典型型的多层感知知网络是三层层、前馈的阶阶层网络，即即：输入层II、隐含层(也称中间层层)J和输出出层K。相邻邻层之间的各各神经元实现现全连接，即即下一层的每每一个神经元元与上一层的的每个神经元元都实现全连连接，而且每每层各神经元元之间无连接接。 但BP网并不是是十分的完善善，它存在以以下一些主要要缺陷：学习习收敛速度太太慢、网络的的学习记忆具具有不稳定性性，

9、即：当给给一个训练好好的网提供新新的学习记忆忆模式时，将将使已有的连连接权值被打打乱，导致已已记忆的学习习模式的信息息的消失。 2.2.2 竞竞争型(KOOHONENN)神经网络络 它是基于人的视视网膜及大脑脑皮层对剌激激的反应而引引出的。神经经生物学的研研究结果表明明：生物视网网膜中，有许许多特定的细细胞，对特定定的图形(输输入模式)比比较敏感，并并使得大脑皮皮层中的特定定细胞产生大大的兴奋，而而其相邻的神神经细胞的兴兴奋程度被抑抑制。对于某某一个输入模模式，通过竞竞争在输出层层中只激活一一个相应的输输出神经元。许许多输入模式式，在输出层层中将激活许许多个神经元元，从而形成成一个反映输输入数

10、据的“特征图形”。竞争型神神经网络是一一种以无教师师方式进行网网络训练的网网络。它通过过自身训练，自自动对输入模模式进行分类类。竞争型神神经网络及其其学习规则与与其它类型的的神经网络和和学习规则相相比，有其自自己的鲜明特特点。在网络络结构上，它它既不象阶层层型神经网络络那样各层神神经元之间只只有单向连接接，也不象全全连接型网络络那样在网络络结构上没有有明显的层次次界限。它一一般是由输入入层(模拟视视网膜神经元元)和竞争层层(模拟大脑脑皮层神经元元，也叫输出出层)构成的的两层网络。两两层之间的各各神经元实现现双向全连接接，而且网络络中没有隐含含层。有时竞竞争层各神经经元之间还存存在横向连接接。竞

11、争型神神经网络的基基本思想是网网络竞争层各各神经元竞争争对输入模式式的响应机会会，最后仅有有一个神经元元成为竞争的的胜者，并且且只将与获胜胜神经元有关关的各连接权权值进行修正正，使之朝着着更有利于它它竞争的方向向调整。神经经网络工作时时，对于某一一输入模式，网网络中与该模模式最相近的的学习输入模模式相对应的的竞争层神经经元将有最大大的输出值，即即以竞争层获获胜神经元来来表示分类结结果。这是通通过竞争得以以实现的，实实际上也就是是网络回忆联联想的过程。 除了竞争的方法法外，还有通通过抑制手段段获取胜利的的方法，即网网络竞争层各各神经元抑制制所有其它神神经元对输入入模式的响应应机会，从而而使自己“

12、脱颖而出”，成为获胜胜神经元。除除此之外还有有一种称为侧侧抑制的方法法，即每个神神经元只抑制制与自己邻近近的神经元，而而对远离自己己的神经元不不抑制。这种种方法常常用用于图象边缘缘处理，解决决图象边缘的的缺陷问题。 竞争型神经网络络的缺点和不不足：因为它它仅以输出层层中的单个神神经元代表某某一类模式。所所以一旦输出出层中的某个个输出神经元元损坏，则导导致该神经元元所代表的该该模式信息全全部丢失。 2.2.3 HHopfieeld神经网网络 1986年美国国物理学家JJ.J.Hoopfielld陆续发表表几篇论文，提提出了Hoppfieldd神经网络。他他利用非线性性动力学系统统理论中的能能量函

13、数方法法研究反馈人人工神经网络络的稳定性，并并利用此方法法建立求解优优化计算问题题的系统方程程式。基本的的Hopfiield神经经网络是一个个由非线性元元件构成的全全连接型单层层反馈系统。 网络中的每一个个神经元都将将自己的输出出通过连接权权传送给所有有其它神经元元，同时又都都接收所有其其它神经元传传递过来的信信息。即：网网络中的神经经元t时刻的的输出状态实实际上间接地地与自己的tt-1时刻的的输出状态有有关。所以HHopfieeld神经网网络是一个反反馈型的网络络。其状态变变化可以用差差分方程来表表征。反馈型型网络的一个个重要特点就就是它具有稳稳定状态。当当网络达到稳稳定状态的时时候，也就是

14、是它的能量函函数达到最小小的时候。这这里的能量函函数不是物理理意义上的能能量函数，而而是在表达形形式上与物理理意义上的能能量概念一致致，表征网络络状态的变化化趋势，并可可以依据Hoopfielld工作运行行规则不断进进行状态变化化，最终能够够达到的某个个极小值的目目标函数。网网络收敛就是是指能量函数数达到极小值值。如果把一一个最优化问问题的目标函函数转换成网网络的能量函函数，把问题题的变量对应应于网络的状状态，那么HHopfieeld神经网网络就能够用用于解决优化化组合问题。 对于同样结构的的网络，当网网络参数(指指连接权值和和阀值)有所所变化时，网网络能量函数数的极小点(称为网络的的稳定平衡

15、点点)的个数和和极小值的大大小也将变化化。因此，可可以把所需记记忆的模式设设计成某个确确定网络状态态的一个稳定定平衡点。若若网络有M个个平衡点，则则可以记忆MM个记忆模式式。 当网络从与记忆忆模式较靠近近的某个初始始状态(相当当于发生了某某些变形或含含有某些噪声声的记忆模式式，也即：只只提供了某个个模式的部分分信息)出发发后，网络按按Hopfiield工作作运行规则进进行状态更新新，最后网络络的状态将稳稳定在能量函函数的极小点点。这样就完完成了由部分分信息的联想想过程。 Hopfielld神经网络络的能量函数数是朝着梯度度减小的方向向变化，但它它仍然存在一一个问题，那那就是一旦能能量函数陷入入

16、到局部极小小值，它将不不能自动跳出出局部极小点点，到达全局局最小点，因因而无法求得得网络最优解解。 3 遗传算法 遗传算法（Geeneticc Algoorithmms）是基于于生物进化理理论的原理发发展起来的一一种广为应用用的、高效的的随机搜索与与优化的方法法。其主要特特点是群体搜搜索策略和群群体中个体之之间的信息交交换，搜索不不依赖于梯度度信息。它是是在70年代代初期由美国国密执根（MMichiggan）大学学的霍兰（HHollannd）教授发发展起来的。11975年霍霍兰教授发表表了第一本比比较系统论述述遗传算法的的专著自然然系统与人工工系统中的适适应性（AAdaptaation in

17、Naaturall and Artifficiall Systtems）。遗遗传算法最初初被研究的出出发点不是为为专门解决最最优化问题而而设计的，它它与进化策略略、进化规划划共同构成了了进化算法的的主要框架，都都是为当时人人工智能的发发展服务的。迄迄今为止，遗遗传算法是进进化算法中最最广为人知的的算法。 近几年来，遗传传算法主要在在复杂优化问问题求解和工工业工程领域域应用方面，取取得了一些令令人信服的结结果，所以引引起了很多人人的关注。在在发展过程中中，进化策略略、进化规划划和遗传算法法之间差异越越来越小。遗遗传算法成功功的应用包括括：作业调度度与排序、可可靠性设计、车车辆路径选择择与调度、成

18、成组技术、设设备布置与分分配、交通问问题等等。 3.1 特点 遗传算法是解决决搜索问题的的一种通用算算法，对于各各种通用问题题都可以使用用。搜索算法法的共同特征征为： 首先组成成一组候选解解； 依据某些些适应性条件件测算这些候候选解的适应应度； 根据适应应度保留某些些候选解，放放弃其他候选选解； 对保留的的候选解进行行某些操作，生生成新的候选选解。在遗传传算法中，上上述几个特征征以一种特殊殊的方式组合合在一起：基基于染色体群群的并行搜索索，带有猜测测性质的选择择操作、交换换操作和突变变操作。这种种特殊的组合合方式将遗传传算法与其它它搜索算法区区别开来。 遗传算法还具有有以下几方面面的特点： (

19、1)遗传算法法从问题解的的串集开始嫂嫂索，而不是是从单个解开开始。这是遗遗传算法与传传统优化算法法的极大区别别。传统优化化算法是从单单个初始值迭迭代求最优解解的；容易误误入局部最优优解。遗传算算法从串集开开始搜索，覆覆盖面大，利利于全局择优优。(2)许许多传统搜索索算法都是单单点搜索算法法，容易陷入入局部的最优优解。遗传算算法同时处理理群体中的多多个个体，即即对搜索空间间中的多个解解进行评估，减减少了陷入局局部最优解的的风险，同时时算法本身易易于实现并行行化。 (3)遗传算法法基本上不用用搜索空间的的知识或其它它辅助信息，而而仅用适应度度函数值来评评估个体，在在此基础上进进行遗传操作作。适应度

20、函函数不仅不受受连续可微的的约束，而且且其定义域可可以任意设定定。这一特点点使得遗传算算法的应用范范围大大扩展展。 (4)遗传算法法不是采用确确定性规则，而而是采用概率率的变迁规则则来指导他的的搜索方向。 (5)具有自组组织、自适应应和自学习性性。遗传算法法利用进化过过程获得的信信息自行组织织搜索时，硬硬度大的个体体具有较高的的生存概率，并并获得更适应应环境的基因因结构。 3.2 运用用领域 前面描述是简单单的遗传算法法模型，可以以在这一基本本型上加以改改进，使其在在科学和工程程领域得到广广泛应用。下下面列举了一一些遗传算法法的应用领域域： 优化：遗遗传算法可用用于各种优化化问题。既包包括数量

21、优化化问题，也包包括组合优化化问题。 程序设计计：遗传算法法可以用于某某些特殊任务务的计算机程程序设计。 机器学习习：遗传算法法可用于许多多机器学习的的应用，包括括分类问题和和预测问题等等。 经济学：应用遗传算算法对经济创创新的过程建建立模型，可可以研究投标标的策略，还还可以建立市市场竞争的模模型。 免疫系统统：应用遗传传算法可以对对自然界中免免疫系统的多多个方面建立立模型，研究究个体的生命命过程中的突突变现象以及及发掘进化过过程中的基因因资源。 进化现象象和学习现象象：遗传算法法可以用来研研究个体是如如何学习生存存技巧的，一一个物种的进进化对其他物物种会产生何何种影响等等等。 社会经济济问题

22、：遗传传算法可以用用来研究社会会系统中的各各种演化现象象，例如在一一个多主体系系统中，协作作与交流是如如何演化出来来的。 4 模拟退火算算法 模拟退火算法来来源于固体退退火原理，将将固体加温至至充分高，再再让其徐徐冷冷却，加温时时，固体内部部粒子随温升升变为无序状状，内能增大大，而徐徐冷冷却时粒子渐渐趋有序，在在每个温度都都达到平衡态态，最后在常常温时达到基基态，内能减减为最小。根根据Metrropoliis准则，粒粒子在温度TT时趋于平衡衡的概率为ee-E/(kTT)，其中EE为温度T时时的内能，E为其改变变量，k为BBoltzmmann常数数。用固体退退火模拟组合合优化问题，将将内能E模拟

23、拟为目标函数数值f ，温温度T演化成成控制参数tt，即得到解解组合优化问问题的模拟退退火算法：由由初始解i和和控制参数初初值t开始，对对当前解重复复“产生新解计算目标函函数差接受或舍弃弃”的迭代，并并逐步衰减tt值，算法终终止时的当前前解即为所得得近似最优解解，这是基于于蒙特卡罗迭迭代求解法的的一种启发式式随机搜索过过程。退火过过程由冷却进进度表(Cooolingg Scheedule)控制，包括括控制参数的的初值t及其其衰减因子t、每个tt值时的迭代代次数L和停停止条件S。 5 群体（群集集）智能（SSwarm Intellligennce） 受社会性昆虫行行为的启发，计计算机工作者者通过对

24、社会会性昆虫的模模拟产生了一一系列对于传传统问题的新新的解决方法法，这些研究究就是群集智智能的研究。群群集智能(SSwarm Intellligennce)中的的群体(Swwarm)指指的是“一组相互之之间可以进行行直接通信或或者间接通信信(通过改变变局部环境)的主体，这这组主体能够够合作进行分分布问题求解解”。而所谓群群集智能指的的是“无智能的主主体通过合作作表现出智能能行为的特性性”。群集智能能在没有集中中控制并且不不提供全局模模型的前提下下，为寻找复复杂的分布式式问题的解决决方案提供了了基础。 群集智能的特点点和优点：群群体中相互合合作的个体是是分布式的(Distrributeed)，这

25、样样更能够适应应当前网络环环境下的工作作状态; 没没有中心的控控制与数据，这这样的系统更更具有鲁棒性性(Robuust)，不不会由于某一一个或者某几几个个体的故故障而影响整整个问题的求求解。可以不不通过个体之之间直接通信信而是通过非非直接通信(Stimeergy)进进行合作，这这样的系统具具有更好的可可扩充性(SScalabbilityy)。由于系系统中个体的的增加而增加加的系统的通通信开销在这这里十分小。系系统中每个个个体的能力十十分简单，这这样每个个体体的执行时间间比较短，并并且实现也比比较简单，具具有简单性(Simpllicityy)。因为具具有这些优点点，虽说群集集智能的研究究还处于初

26、级级阶段，并且且存在许多困困难，但是可可以预言群集集智能的研究究代表了以后后计算机研究究发展的一个个重要方向。 在计算智能(CComputtationnal Inntelliigencee)领域有两两种基于群智智能的算法，蚁蚁群算法(AAnt Coolony Optimmizatiion)和粒粒子群算法(Partiicle SSwarm Optimmizatiion)，前前者是对蚂蚁蚁群落食物采采集过程的模模拟，已经成成功运用在很很多离散优化化问题上。 5.1 蚁群优优化算法 受蚂蚁觅食时的的通信机制的的启发，900年代Dorrigo提出出了蚁群优化化算法(Annt Collony OOpti

27、miizatioon，ACOO)来解决计计算机算法学学中经典的“货郎担问题题”。如果有nn个城市，需需要对所有nn个城市进行行访问且只访访问一次的最最短距离。 在解决货郎担问问题时，蚁群群优化算法设设计虚拟的“蚂蚁”将摸索不同同路线，并留留下会随时间间逐渐消失的的虚拟“信息素”。虚拟的“信息素”也会挥发，每每只蚂蚁每次次随机选择要要走的路径，它它们倾向于选选择路径比较较短的、信息息素比较浓的的路径。根据据“信息素较浓浓的路线更近近的原则，即即可选择出最最佳路线。由由于这个算法法利用了正反反馈机制，使使得较短的路路径能够有较较大的机会得得到选择，并并且由于采用用了概率算法法，所以它能能够不局限于

28、于局部最优解解。 蚁群优化算法对对于解决货郎郎担问题并不不是目前最好好的方法，但但首先，它提提出了一种解解决货郎担问问题的新思路路；其次由于于这种算法特特有的解决方方法，它已经经被成功用于于解决其他组组合优化问题题，例如图的的着色(Grraph CColoriing)以及及最短超串(Shorttest CCommonn Supeersequuence)等问题。 5.2 粒子群群优化算法 粒子群优化算法法(PSO)是一种进化化计算技术(Evoluutionaary Coomputaation)，有Ebeerhartt博士和Keennedyy博士发明。源源于对鸟群捕捕食的行为研研究。 PSO同遗传

29、算算法类似，是是一种基于叠叠代的优化工工具。系统初初始化为一组组随机解，通通过叠代搜寻寻最优值。但但是并没有遗遗传算法用的的交叉(crrossovver)以及及变异(muutatioon)。而是是粒子在解空空间追随最优优的粒子进行行搜索。 同遗传算法比较较，PSO的的优势在于简简单容易实现现并且没有许许多参数需要要调整。目前前已广泛应用用于函数优化化，神经网络络训练，模糊糊系统控制以以及其他遗传传算法的应用用领域。 粒子群优化算法法(PSO) 也是起源源对简单社会会系统的模拟拟，最初设想想是模拟鸟群群觅食的过程程，但后来发发现PSO是是一种很好的的优化工具。 5.2.1 算算法介绍 PSO模拟

30、鸟群群的捕食行为为。一群鸟在在随机搜索食食物，在这个个区域里只有有一块食物。所所有的鸟都不不知道食物在在那里。但是是他们知道当当前的位置离离食物还有多多远。那么找找到食物的最最优策略是什什么呢。最简简单有效的就就是搜寻目前前离食物最近近的鸟的周围围区域。 PSO从这种模模型中得到启启示并用于解解决优化问题题。PSO中中，每个优化化问题的解都都是搜索空间间中的一只鸟鸟。我们称之之为“粒子”。所有的粒粒子都有一个个由被优化的的函数决定的的适应值(ffitnesss vallue)，每每个粒子还有有一个速度决决定他们飞翔翔的方向和距距离。然后粒粒子们就追随随当前的最优优粒子在解空空间中搜索。 PSO

31、初始化为为一群随机粒粒子(随机解解)，然后通通过叠代找到到最优解，在在每一次叠代代中，粒子通通过跟踪两个个“极值”来更新自己己。第一个就就是粒子本身身所找到的最最优解，这个个解叫做个体体极值pBeest，另一一个极值是整整个种群目前前找到的最优优解，这个极极值是全局极极值gBesst。另外也也可以不用整整个种群而只只是用其中一一部分最优粒粒子的邻居，那那么在所有邻邻居中的极值值就是局部极极值。 5.2.2 PPSO算法过过程 种群随机初初始化。 对种群内的的每一个个体体计算适应值值(fitnness vvalue)。适应值与与最优解的距距离直接有关关。 种群根据适适应值进行复复制 。 如果终止条条件满足的话话，就停止，否否则转步骤 。 从以上步骤，我我们可以看到到PSO和遗遗传算法有很很多共同之处处。两者都随随机初始化种种群，而且都都使用适应值值来评价系统统，而且都根根据适应值来来进行一定的的随机搜索。两两个系统都不不是保证