粒子群算法基本原理复习课程

1、粒子群算法基本原理4.1 粒子群算法基本原理粒子群优化算法45最原始的工作可以追溯到1987年Reynolds对鸟群社会系统Boids(Reynolds对其仿真鸟群系统的命名)的仿真研究。通常，群体的行为可以由几条简单的规则进行建模，虽然每个个体具有简单的行为规则，但是却群体的行为却是非常的复杂，所以他们在鸟类仿真中，即Boids系统中采取了下面的三条简单的规则：(1)飞离最近的个体(鸟)，避免与其发生碰撞冲突；(2)尽量使自己与周围的鸟保持速度一致；(3)尽量试图向自己认为的群体中心靠近。虽然只有三条规则，但Boids系统已经表现出非常逼真的群体聚集行为。但Reynolds仅仅实现了该仿真，

2、并无实用价值。1995年Kennedy"6-48和Eberhart在Reynolds等人的研究基础上创造性地提出了粒子群优化算法，应用于连续空间的优化计算中。Kennedy和Eberhart在boids中加入了一个特定点，定义为食物，每只鸟根据周围鸟的觅食行为来搜寻食物。Kennedy和Eberhart的初衷是希望模拟研究鸟群觅食行为，但试验结果却显示这个仿真模型蕴含着很强的优化能力，尤其是在多维空间中的寻优。最初仿真的时候，每只鸟在计算机屏幕上显示为一个点，而“点”在数学领域具有多种意义，于是作者用“粒子(particle)”来称呼每个个体，这样就产生了基本的粒子群优化算法490假

3、设在一个D维搜索空间中，有m个粒子组成一粒子群，其中第i个粒子的空间位置为Xi(x1,Xi2,Xi3,.,XiD)i1,2,.,m,它是优化问题的一个潜在解，将它带入优化目标函数可以计算出其相应的适应值，根据适应值可衡量Xi的优劣；第i个粒子所经历的最好位置称为其个体历史最好位置，记为R(Pii,Pi2,Pi3,，PiD)i1,2,.,m,相应的适应值为个体最好适应值Fi;同时，每个粒子还具有各自的飞行速度V(Vii,Vi2,Vi3,.,ViD)i1,2,.,m。所有粒子经历过的位置中的最好位置称为全局历史最好位置，记为Pg(Pgi,Pg2,Pg3,.,PgD),相应的适应值为全局历史最优适应

4、值。在基本PSO算法中，对第n代粒子，其第d维(1&dWD)元素速度、位置更新迭代如式(4-1)、(4-2):Vid1VidG1(PidXn)G2(pgd$)(4-1)n1nnXidxdVid(4-2)其中：为惯性权值；c1和c2都为正常数，称为加速系数；r1和r2是两个在0,1范围内变化的随机数。第d维粒子元素的位置变化范围和速度变化范围分别限制为Xd,min,Xd,max和Vd,min,Vd,max。迭代过程中，若某一维粒子元素的Xid或Md超出边界值则令其等于边界值。粒子群速度更新公式(4-1)中的第1部分由粒子先前速度的惯性引起，为“惯性”部分；第2部分为“认知”部分，表示粒子

5、本身的思考，即粒子根据自身历史经验信息对自己下一步行为的影响；第3部分为“社会”部分，表示粒子之间的信息共享和相互合作，即群体信息对粒子下一步行为的影响。基本PSO算法步骤如下：(1)粒子群初始化；(2)根据目标函数计算各粒子适应度值，并初始化个体、全局最优值；(3)判断是否满足终止条件，是则搜索停止，输出搜索结果；否则继续下步；(4)根据速度、位置更新公式更新各粒子的速度和位置；(5)根据目标函数计算各粒子适应度值；(6)更新各粒子历史最优值以及全局最优值；(7)跳转至步骤3。对于终止条件，通常可以设置为适应值误差达到预设要求，或迭代次数超过最大允许迭代次数。基本的连续PSO算法中，其主要参

6、数，即惯性权值、加速系数、种群规模和迭代次数对算法的性能均有不同程度的影响。惯性权值的取值对PSO算法的收敛性能至关重要。在最初的基本粒子群算法中没有惯性权值这一参数。最初的PSO算法容易陷入局部最小，于是在其后的研究中引入了惯性权值来改善PSO算法的局部搜索能力，形成了目前常用的基本PSO算法形式。取较大的值使得粒子能更好地保留速度，从而能更快地搜索解空间，提高算法的收敛速度；但同时由于速度大可能导致算法无法更好地进行局部搜索，容易错过最优解，特别是过大的会使得PSO算法速度过大而无法搜索到全局最优。取较小的值则有利于局部搜索，能够更好地搜索到最优值，但因为粒子速度受其影响相应变小从而无法更

7、快地进行全局搜索，进而影响算法收敛速度；同时过小值更是容易导致算法陷入局部极值。因此，一个合适的值能有效兼顾搜索精度和搜索速度、全局搜索和局部搜索，保证算法性能。加速系数cl和c2代表每个粒子向其个体历史最好位置和群体全局历史最好位置的移动加速项的权值。较低的加速系数值可以使得粒子收敛到其最优解的过程较慢，从而能够更好搜索当前位置与最优解之间的解空间；但过低的加速系数值则可能导致粒子始终徘徊在最优邻域外而无法有效搜索目标区域，从而导致算法性能下降。较高的加速系数值则可以使得粒子快速集中于目标区域进行搜索，提高算法效率；但过高的加速系数值则有可能导致粒子搜索间隔过大，容易越过目标区域无法有效地找

8、到全局最优解。因此加速系数对PSO能否收敛也起重要作用，合适的加速系数有利于算法较快地收敛，同时具有一定的跳出局部最优的能力。对于速度更新公式（4-1）中，若cl=c2=0,粒子将一直以当前的速度进行惯性飞行，直到到达边界。此时粒子仅仅依靠惯性移动，不能从自己的搜索经验和其他粒子的搜索经验中吸取有用的信息，因此无法利用群体智能，PSO算法没有启发性，粒子只能搜索有限的区域，很难找到全局最优解，算法优化性能很差。若c=0,则粒子没有认知能力，不能从自己的飞行经验吸取有效信息，只有社会部分，所以c又称为社会参数；此时收敛速度比基本PSO快，但由于不能有效利用自身的经验知识，所有的粒子都向当前全局最

9、优集中，因此无法很好地对整个解空间进行搜索，在求解存在多个局部最优的复杂优化问题时比基本PSO容易陷入局部极值，优化性能也变差。若c2=0,则微粒之间没有社会信息共享，不能从同伴的飞行经验中吸取有效信息，只有认知部分，所以c又称为认知参数；此时个体间没有信息互享，一个规模为m的粒子群等价于m个1单个粒子的运行，搜索到全局最优解的机率很小。PSO算法中，群体规模对算法的优化性能也影响很大。一般来说，群体规模越大，搜索到全局最优解的可能性也越大，优化性能相对也越好；但同时算法消耗的计算量也越大，计算性能相对下降。群体规模越小，搜索到全局最优解的可能性就越小，但算法消耗的计算量也越小。群体规模对算法

10、性能的影响并不是简单的线性关系，当群体规模到达一定程度后，再增加群体规模对算法性能的提升有限，反而增加运算量；但群体规模不能过小，过小的群体规模将无法体现出群智能优化算法的智能性，导致算法性能严重受损。对于最大允许迭代次数，较大的迭代次数使得算法能够更好地搜索解空问，因此找到全局最优解的可能性也大些；相应地，较小的最大允许迭代次数会减小算法找到全局最优解的可能性。对于基本连续PSO来说，由于缺乏有效的跳出局部最优操作，因此粒子一旦陷入局部极值后就难以跳出，位置更新处于停滞状态，此时迭代次数再增多也无法提高优化效果，只会浪费计算资源。但过小的迭代次数则会导致算法在没有对目标区域实现有效搜索之前就

11、停止更新，将严重影响算法性能。止匕外，随机数可以保证粒子群群体的多样性和搜索的随机性。最大、最小速度可以决定当前位置与最好位置之间区域的分辨率（耳精度）。如果最大速度（或最小速度）的绝对值过大，粒子可能会因为累积的惯性速度太大而越过目标区域，从而无法有效搜索到全局最优解；但如果最大速度（或最小速度）的绝对值过小，则粒子不能迅速向当前全局最优解集中，对其邻域进行有效地搜索，同时还容易陷入局部极值无法跳出。因此，最大、最小速度的限制主要是防止算法计算溢出、改善搜索效率和提高搜索精度。基本PSO算法中只涉及基本的加、减、乘运算操作，编程简单，易于实现，关键参数较少，设定相对简单，所以引起了广泛的关注

12、，目前已有多篇文献对PSO算法进行综述。为了进一步提高基本PSO算法的寻优性能，大量研究工作致力于对基本PSO算法的改进，主要集中于：(1)对PSO算法更新公式参数、结构的改进主要是对基本PSO算法的速度、位置更新公式中的参数、结构进行调节和增加，以进一步提高算法的优化性能，如引入了惯性权值的PSO算法、自适应惯性权值PSO法、模糊自适应惯性权值PSO算法、带收缩因子的PSO算法、Kalman粒子群算法、带邻域算子的PSO算法、具有社会模式的簇分析PSO算法、被动集合PSO算法等等。(2)多群、多项PSO算法多群PSO算法即引入多个群体进行优化搜索；而多相PSO算法中多群体的各个群体对不同的搜

13、索目标以不同的方式进行搜索。(3)混合PSO算法混合PSO算法的基本思想就是将PSO算法与其它不同算法相结合，实现优势互补，从而进一步提高PSO算法的寻优性能，如模拟退火PSO算法、GA-PSO混合算法等等。在工程应用中，目前PSO算法在函数优化、神经网络训练、调度问题、故障诊断、建模分析、电力系统优化设计、模式识别、图象处理、数据挖掘等众多领域中均有相关的研究应用报道，取得了良好的实际应用效果。4.2 离散二进制PSO算法离散二进制优化算法具有很多优势，首先对于纯组合优化问题的表达形式要求优化算法是离散的，其次二进制算法可以表达浮点数，因此也同样适用于连续空间的问题求解。4.2.1 KBPS

14、O算法PSO算法最初是用来对连续空间问题进行优化的，为了解决离散优化问题Kennedy和Eberhart于1997年在基本PSO的基础上提出了一种离散二进制PSO(KBPSQ算法。在KBPSO算法中，粒子定义为一组由0,1组成的二进制向量。KBPSO保留了原始的连续PSO的速度公式(4-1),但速度丧失了原始的物理意义。在KBPSO中，速度值vid通过预先设计的S形限幅转换函数Sig(vid)转换为粒子元素4取1”的概率。速度值加越大，则粒子元素位置。取1的可能性越大，反之则越小。vnd1VidC1r1(Pidxn)c2r2(pgd$)(4-1)Sig(Vid)11exp(%)1xid0ifr

15、and()Sig(Vd)otherwise(4-3)(4-4)其中Sig(Vid)为Sigmoid函数，通常为防止速度过大，令皿皿min,4max,以使概率值不会过于接近0或1,保证算法能以一定的概率从一种状态跃迁到另一种状态，防止算法早熟。虽然Kenndedy和Eberhart将KBPSO应用于函数优化问题，并验证了KBPSO的有效性，但基于KBPSO的应用研究有限。4.2.2 SBPSOB法基于连续基本PSO算法的信息机制，Shen等人提出一种改进的离散二进制粒子群算法(SBPSO用于QSAR(QuantitativeStructureactivityrelationship)建模的特征选

16、择中。SBPSO算法中舍弃了基本PSO算法中速度、位置更新公式，重新定义速度V为一个在0到1之间的随机数，粒子元素的位置Xid则根据下列规则由随机产生的Vid确定：XidXidif(0Vid)(4-5)1一xidPdif(vid2(1)(4-6)XiPgdif(2(1)Vid1)(4-7)其中aC(0,1)称为静态概率(staticprobability),是SBPSO算法中唯一可调参数，它可以是一个常数、一个变量或是一个随机数。虽然SBPSO的更新公式在形式上与KBPSO以及基本的PSO算法都有很大的改变但其基本的思想不变，即：每个粒子都只与自身历史最优值和全局最优值进行信息交流BPSO位置

17、更新公式(4-5)类似于基本连续PSO速度更新公式(4-1)中的第一项，都是一种“惯性”的表现，只不过SBPSO是停留在原来的位置，而PSO中是根据速度惯性继续搜索。同样，SBPSO位置更新公式(4-6)、仅供学习与交流，如有侵权请联系网站删除谢谢9(4-7)则分别对应了基本PSO速度更新中的第二、三项，分别代表了粒子的“认知”部分和“社会”部分，表示粒子自身和社会群体对粒子下一步行为的影响。式(4-5)增强了SBPSO算法的全局搜索能力，使得粒子能够有效地对目标区域进行搜索，找出全局最优解。没有式(4-5),粒子将完全跟随自己的两个最优解“飞行”，从而容易陷入局部最优值。式(4-6)、(4-

18、7)则根据先前的搜索经验对粒子搜索进行指导，没有这两项，SBPSO算法则变成了完全的随机搜索。因此，在SBPSO算法中，静态概率a替代了基本PSO算法中的，cl,c2等参数，对算法的性能至关重要。较大的a值能使得算法更好地搜索解空间，从而能够更好地跳出局部最优搜索到全局最优；但过大的a值则会导致算法无法充分利用已有的寻优信息，致使算法收敛速度过慢。较小的a值可以使得粒子快速集中于最优邻域，提高收敛速度，但容易导致算法陷入局部最优。4.3 离散二进制PSO算法参数性能分析为了全面地比较、衡量离散二进制PSO算法中关键参数对算法优化性能的影响程度，本文中以标准优化测试函数为对象进行算法优化性能的仿

19、真实验，并按照以下统计指标进行评价。(1)最优率群智能优化算法是一种全局随机性启发式算法，由于算法的随机性，在对复杂优化问题求解时，并不能保证算法以1的概率收敛到全局最优解。但对于优化算法来说，在一定的运算规模内找到全局最优解最为重要。因此，采用最优率一一即优化算法搜索到全局最优解的概率，作为算法性能评价的第一指标。在本文中，每个算法对标准函数均优化求解100次，其中成功搜索到全局最优解的比例即为最优率。(2)最优适应值、平均最优适应值最优适应值是优化算法寻优时所找到的最好解，平均最优适应值(简称平均最优值是对优化问题多次求解后搜索到的最优解适应度值的平均值。最优适应值可以衡量算法的优化性能，

20、看其能否找到全局最优解，而平均最优适应值则衡量算法性能对随机初值和操作的依赖程度。平均最优适应值越接近全局最优解适应度值，说明该优化算法对随机初值和操作的依赖程度越低、算法的鲁棒性越高。(3)收敛时间收敛时间是优化算法寻优时所要考虑的另一项重要指标。收敛时间越短，则算法的收敛速度越快，消耗的计算资源就越少；反之，收敛时间越长，则算法的收敛速度越慢，所需的计算资源就越多。在本文中分别以最快收敛步数一一即算法搜索到全局最优解的最少迭代次数，和平均收敛时间一一即算法多次寻优找到全局最优解迭代步数的平均值，作为考察指标。最优收敛步数能够表明算法搜索能力，但考虑到群智能算法的随机性，因此平均收敛步数能更

21、好地表征算法的搜索能力。4.4 改进的离散二进制PSO算法离散二进制PSO算法具有基本PSO算法的简单、易实现等优点，特别是SBPSO算法，其算法中调节参数只有静态概率；但同时也继承了基本PSO算法易陷入局部最优的缺陷。针对这一问题，对于连续空间PSO算法目前已经有大量文献报道对PSO算法的改进研究皿52;但对于离散二进制PSO算法的改进工作目前相关的研究报道还很少。本章在基本离散二进制PSO算法的基础上，引入变异操作用以改进离散二进制PSO算法，提高其性能。在遗传算法(GeneticAlgorithm,GA)中，如果种群收敛到早熟集(prematureset)GA算法将基本失去对解空间的搜索

22、能力。对于如何避免过早收敛，GA算法中在遗传算子、种群规模、遗传漂浮(geneticdrift)方面均有相关的研究。其中，在遗传算子方面，献中指出GA的三种基本遗传算子中交叉与选择算子只具有局部搜索能力，它们的搜索范围只由当前种群决定，而变异算子是唯一具有全局搜索能力的遗传算子。根据模式定理，变异算子在遗传算法中的作用主要是使种群保持一定的多样性，避免群体陷入局部最优无法跳出。变异算子虽然具有全局搜索能力，但在实际应用中变异率不能取值过大，否则将破坏算法固有的搜索机制，无法有效利用已有信息，使得算法退化为随机搜索算法。但变异率也并不是越小越好，在GA中变异算子对于遗传算法不仅是必需的，而且在变

23、异算子的作用不至于使算法退化为随机搜索的前提下应尽量加大变异率，否则算法易陷入局部最优。由于变异算法能有效地保持群体的多样性，一定程，度地提高了算法跳出局部最优的概率，且操作简单，因此得到了广泛的研究与应用，并被成功引入至粒子群算法基本的离散二进制PSO算法，特别是SBPSO算法，易于陷入局部最优。虽然KBPSO算法中最大速度的设定使得粒子每个比特至少具有一定概率变异，但当算法迭代一定次数后，由于速度较大，变异的概率过小，此时难以有效引入新的模式帮助群体跳出局部最优；而SBPSO算法则完全缺乏跳出局部最优的手段。因此为了提高二进制PSO算法的搜索能力，在基本的离散二进制PSO算法中引入变异操作，但为了能有效利用群智能保证算法搜索性能，变异概率不能设置过大，以防止破坏PSO算法的迭代机制影响算法优化性能。与二进制编码的GA一样，在DBPSO算法中变异操作的实施也可采用多种措施，如单点变异、多点变异，其变异概率也可以采用确定值或复杂的自适应参数等等。由于在DBPSO算法中，新的粒子主要是通过DBPSO的位置更新公式实现，变异操作的引入只是为了保持群体的多样性，防止早熟，因此本文采用简单的变异策略，即设定变异概率pm,新一代粒子群中每一位比特都以概率pm实施变异操作。通过上面的介绍我们来分析一下对循环流化床床温的PSO算法改进的一般过程为如下所示：(1