PSO不确定优化剖析课件

PSO_uncertain12022/11/14基于PSO算法的不确定优化不确定函数的混合PSO算法用PSO优化神经网络基于PSO的PID参数优化PSO_uncertain12022/11/9基于PSO算法1PSO_uncertain22022/11/14假设检验考虑如下不确定优化问题其中，X表示决策变量，即需要搜索的解，d为变量维数，ξ表示噪声，采样目标函数L(X,ξ)是X和ξ的函数，期望目标函数J(X)则是L(X,ξ)的数学期望。PSO_uncertain22022/11/9假设检验考虑如2PSO_uncertain32022/11/14评价对于不确定优化问题，首先通过多次独立评价可估计解的性能，通常每一次评价对应于一次仿真过程，进而在考虑方差的情况下对解的性能进行优劣比较。若对解Xi进行二次独立随机仿真，则其均值和方差的无偏估计J和Si2分别为(3-4-1)(3-4-2)PSO_uncertain32022/11/9评价对于不确3PSO_uncertain42022/11/14考虑两个不同的解X1和X2，可将其性能估计J(X1)和J(X2)看作两独立随机变量。由大数定理及中央极限定理知，n是－>∞时，期望性能的估计J(X)~N(J,si2/ni)。因此，可认为其中ui和si2的无偏估计分别由式(3-4-1)和式(3-4-2)给出。PSO_uncertain42022/11/9考虑两个不同的4PSO_uncertain52022/11/14假设检验思想假设检验是统计推断的一个重要方法，它利用搜集到的数据对某个事先做出的统计假设按一种设定的方法进行检验，进而判断假设的正误。在不确定优化问题中，由于性能评价的不确定性，在进行解性能比较时应充分利用均值以及方差信息。因此，利用假设检验思想可先对解的优劣关系进行假设，然后通过统计信息对假设进行检验。PSO_uncertain52022/11/9假设检验思想5PSO_uncertain62022/11/14PSO_uncertain62022/11/96PSO_uncertain72022/11/14PSO_uncertain72022/11/97PSO_uncertain82022/11/14序优化思想对于不确定优化问题，对解X进行ni次独立评价时。显然，随着评价次数ni的增大，样本均值Jbar将趋于期望值J,，或者说估计的致信区间将逐步缩小，但是收敛速度不超过1/√ni为了得到比较精确的性能估计，优化算法的大部分时间将用于对搜索解进行性能评价，而如此费时的评价过程必然影响整个算法的优化效率，甚至因用于搜索的时间不够而导致搜索的不充分，从而难以获得全局意义上性能较好的解。PSO_uncertain82022/11/9序优化思想对于8PSO_uncertain92022/11/14序优化技术针对离散事件动态系统中仿真优化问题的不确定性、解空间庞大等难点而提出的一类优化技术其主要思想包括：(1)序比较(ordercomparison)，即序比值更容易确定，不同解的性能偏序关系按指数速度收敛。(2)软化目标(goalsoftening)，即只要求以较高概率得到满意解，而不是一定要求获得全局最优解。这样，对于解空间庞大的问题，可大大减少求解问题所需的计算资源。PSO_uncertain92022/11/9序优化技术针对9PSO_uncertain102022/11/14PSO_uncertain102022/11/910PSO_uncertain112022/11/14显然，联合选择概率与S集的产生方式有关。根据NoFreeLunch定理，在没有问题的任何信息时，任何方法的效果都与盲目搜索方一法相同。当S中元素通过盲目搜索得到时，联合选择概率可按下式计算PSO_uncertain112022/11/9显然，联合选11PSO_uncertain122022/11/14譬如，M=200,g=12和k=1时，按上式可得P(IG∩sl>=k)=0.5而如果g=32，则P(IG∩sl>=k)≈1在序优化思想指导下，即使用较少次数的盲目搜索也能保证以较大概率得到满意解。这在一定程度上也说明了群体搜索算法比单点搜索算法更容易获得满意解。考虑评价过程的不确定性因素，盲目搜索可认为是评价噪声无穷大情况下的寻优。如果在一定问题结构信息的指导下采用效率更高的策略进行搜索，同时对解的性能进行一定精度的评价时，将有助于获得质量更高的解或者有助于以更高概率获得满意解，此时上式实际上就成为联合选择概率的一个下界。PSO_uncertain122022/11/9譬如，M=212PSO_uncertain132022/11/14PSO_uncertain132022/11/913PSO_uncertain142022/11/14最优计算量分配技术最优计算量分配技术(optimalcomputingbudgetallocation,OCBA)是Chen等在序优化思想下提出的一种改进技术，是对序优化思想的一种扩充。在传统序优化技术中，每个解均采用相同的仿真(评价)次数进行性能估计。显然，如果能够在优化过程中将有限的计算量更多地分配给那些优质解或关键解，则将提高获得满意解的概率，提高对有限计算资源的使用效率。对于优化过程中的关键解赋予较多的计算量以对其进行更准确的性能估计，对于其他解则只占用较少的计算量资源，从而提高优化结果的置信度。PSO_uncertain142022/11/9最优计算量分14PSO_uncertain152022/11/14最优解的“正确选择概率”PSO_uncertain152022/11/9最优解的“正15PSO_uncertain162022/11/14PSO_uncertain162022/11/916PSO_uncertain172022/11/14PSO_uncertain172022/11/917PSO_uncertain182022/11/14定理1在给定总仿真次数T，并将其分配给K个可行解，其性能估计分别为PSO_uncertain182022/11/9定理1在给定18PSO_uncertain192022/11/14OCBA技术的实现流程PSO_uncertain192022/11/9OCBA技术19PSO_uncertain202022/11/14讨论算法初始化时，对每个解的均值和方差的估计需要达到一定的精度，以避免算法的过早收敛，因此n0通常不能太小。另外，若每次循环增加的仿真量Δ过大，则会造成评价的可靠性降低，为不必要的高致信度水平而浪费计算量。但是，Δ也不能过小，否则会导致整个算法的迭代次数增加，进而加重计算的负担。据文献[9]的经验,n0通常取5~20,Δ则取K/5~K/10。PSO_uncertain202022/11/9讨论算法初始20PSO_uncertain212022/11/14混合微粒群优化算法PSO_uncertain212022/11/9混合微粒群优21PSO_uncertain222022/11/14.基于HT的PSO算法PSO_uncertain222022/11/9.22PSO_uncertain232022/11/142.基于OCBA的PSO算法PSO_uncertain232022/11/92.基于OC23PSO_uncertain242022/11/143.基于HT和OCBA的PSO算法PSO_uncertain242022/11/93.基于HT24PSO_uncertain252022/11/14PSO_uncertain252022/11/925PSO_uncertain262022/11/14仿真实验与比较PSO_uncertain262022/11/9仿真实验与比26PSO_uncertain272022/11/14参数设置PSO_uncertain272022/11/9参数设置27PSO_uncertain282022/11/14

Goldstein-Price's函数,函数有一个全局最小值3，在(0,-1)点,另外函数有3个局部极小值。六个测试函数PSO_uncertain282022/11/9Golds28PSO_uncertain292022/11/14Branins'srcos函数(2)：Branins‘srcos函数,函数有3个全局最小值点，取值为0.397887，分别在(-pi,12.275)、(pi,2.275),(9.42478，2.475)三处。f=(y-(5.1/(4*pi^2))*x.^2+5/pi*x-6).^2+10*(1-1/(8*pi))*cos(x)+10,-5<=x<=10,0<=y<=15PSO_uncertain292022/11/9Branin29PSO_uncertain302022/11/14PSO_uncertain302022/11/930PSO_uncertain312022/11/14PSO_uncertain312022/11/931PSO_uncertain322022/11/14Rastrigin函数全局最优点为－2，最优点为（0，0），可行域中50余个局部极值点PSO_uncertain322022/11/9Rastri32PSO_uncertain332022/11/14SH－Shuber(n=2)函数PSO_uncertain332022/11/9SH－Shu33PSO_uncertain342022/11/14结果PSO_uncertain342022/11/9结果34PSO_uncertain352022/11/14噪声强度因子影响以带噪声的GP函数为例，探讨噪声强度因子η对各算法性能的影响。同时，为了反映所得解的位置信息，统计了各算法50次随机运行中的成功次数N,，即若所得解距离理论最优点的欧式距离小于0.1，则认为是一次成功搜索。表5.2给出了各算法50次独立运行的统计结果。PSO_uncertain352022/11/9噪声强度因子35PSO_uncertain362022/11/14PSO_uncertain362022/11/936PSO_uncertain372022/11/14最优点的分布PSO_uncertain372022/11/9最优点的分布37PSO_uncertain382022/11/14PSO_uncertain382022/11/938PSO_uncertain392022/11/14PSO_uncertain392022/11/939PSO_uncertain402022/11/14PSO_uncertain402022/11/940PSO_uncertain412022/11/14噪声环境下基于PSO算法的参数估计噪声环境下的智能参数估计方法的研究还很少。本节针对噪声环境下的非线性模型参数估计问题，采用上节的PSOHT算法来解决。PSO_uncertain412022/11/9噪声环境下基41PSO_uncertain422022/11/14PSO_uncertain422022/11/942PSO_uncertain432022/11/14噪声环境下的模型参数估计噪声环境下的模型参数估计也是在一定的系统输人下，通过特定算法调整估计参数，使得与输出误差相关的某个指标最小。但是，由于输出误差中包含了噪声信息，实现参数估计的算法应具备一定的抗噪声能力，即鲁棒性。以输出误差的平均平方误差为优化目标，PSO_uncertain432022/11/9噪声环境下的43PSO_uncertain442022/11/145.2.2数值仿真利用如下二阶惯性带延迟的传递函数作为真实系统，用于探讨PSOHT算法的估一计性能，并与单一PSO算法进行比较。PSO_uncertain442022/11/95.2.2数44PSO_uncertain452022/11/14实验条件数值仿真时采用服从N(0,1)分布的白噪声作为输人，离散化采样时间为0.1s，估计长度为100,假设噪声v是幅值为ημ的高斯噪声，其中η表示噪信比。算法方面，令PSOHT和PSO算法的种群规模均为10，最大进化代数为300，每个微粒采用20次评价进行性能估计，与假设检验相关的显著性水平设置为0.05。各算法均随机运行50次，表5.3给出了无噪声情况下PSO算法的运行统计结果。PSO_uncertain452022/11/9实验条件数45PSO_uncertain462022/11/14PSO_uncertain462022/11/946PSO_uncertain472022/11/14PSO_uncertain472022/11/947PSO_uncertain482022/11/14PSO_uncertain482022/11/948PSO_uncertain492022/11/14PSO_uncertain492022/11/949PSO_uncertain502022/11/14PSO_uncertain502022/11/950PSO_uncertain512022/11/14小结1）PSOHT有效2）PSO在许多情况具有优良品质PSO_uncertain512022/11/9小结1）PS51PSO_uncertain522022/11/14用PSO优化神经网络1）训练神经网络的PSO算法的设计采用PSO训练神经网络时，首先应将特定结构中所有神经元间的连接权值编码成实数码串表示的个体。假设网络中包含M个优化权值（包括阈值在内），则每个个体将由M个权值参数组成的一个M维向量来表示。PSO_uncertain522022/11/9用PSO优化52PSO_uncertain532022/11/14则微粒群中的个体可用一个6维向量来表示，即Indv={x1,x2,x3,x4,x5,x6}。此时，个体结构中的每一个元素，即代表神经网络中的一个权值。PSO用于NN学习PSO_uncertain532022/11/9则微粒群中的53PSO_uncertain542022/11/14初始化微粒群根据微粒群规模，按照上述个体结构随机产生一定数目的个体（微粒）组成种群，其中不同的个体代表神经网络的一组不同权值。同时初始化gbest和pbest。PSO_uncertain542022/11/9初始化微粒群54PSO_uncertain552022/11/143、神经网络的训练及微粒的评价计算每一个网络在训练集上产生的均方误差，并以此作为目标函数，并构造如下的适应度函数，用来计算个体的适应度。PSO_uncertain552022/11/93、神经网络55PSO_uncertain562022/11/14用PSO训练神经网络算法的具体流程PSO_uncertain562022/11/9用PSO训练56PSO_uncertain572022/11/14VandenBergh与Engelrecht基于多种分类问题及函数逼近问题，利用PSO算法分别对加和网络和倍乘网络进行优化。在以下所有的试验中，加和网络和倍乘网络都给予一指定的简单结构[Y.Lecun,J.S.DenkerandS.A.Solla.1990]算法的优化结果）PSO_uncertain572022/11/9Vande57PSO_uncertain582022/11/14PSO_uncertain582022/11/958PSO_uncertain592022/11/14实验一：利用加和与倍乘两种前馈网络对下面的立方函数进行逼近:f(z)=z3-0.04z其中权值的训练利用CPSO-S算法。实验中两种网络均采用1-2-1的简单结构，CPSO算法的各参数取值如下：W=0.72,c1=c2=1.49，微粒群规模为10，分裂因子K分别为2（SUN）与3(PUN)PSO_uncertain592022/11/9实验一：利用59PSO_uncertain602022/11/14PSO_uncertain602022/11/960PSO_uncertain612022/11/14PSO_uncertain612022/11/961PSO_uncertain622022/11/14实验二：用ＣＰＳＯ算法训练神经网络求解爱尔兰综合症分类问题：给定样本１５０个，根据４种特征输入来区分三种典型的爱尔兰综合症。实验中，两种网络均采用４-４-３的结构。其中，加和网络具有３５个权值参数，最佳的分裂因子为７；倍乘网络具有３１个连接权，最佳的分裂为６。ＣＰＳＯ其它参数与实验一相同。PSO_uncertain622022/11/9实验二：用Ｃ62PSO_uncertain632022/11/14PSO_uncertain632022/11/963PSO_uncertain642022/11/14PSO_uncertain642022/11/964PSO_uncertain652022/11/14结论在训练求解分类与函数逼近问题的神经网络时，采用PSO算法所训练的网络所达到的精度及泛化能力要优于基于梯度的学习方法及遗传算法。PSO_uncertain652022/11/9结论在训练求65PSO_uncertain662022/11/14基于PSO的PID参数优化鉴于PID控制器的设计实际上是多维函数优化问题,粒子群算法采用实数编码,对于PID参数寻优中的粒子可直接编码为(Kp,Ki,Kd).控制参数优化旨在使控制偏差趋于零,有较快的响应速度和较小的超调量.PSO_uncertain662022/11/9基于PSO的66PSO_uncertain672022/11/14基于PSO的PID参数优化(2)对非最小相位系统中的PI控制器和PD控制器分别进行整定,参数编码分别为(KPI,KI)和(KPD,KD).PI控制器主要是减小系统负调,所以选择如下性能指标作为适应度函数PSO_uncertain672022/11/9基于PSO的67PSO_uncertain682022/11/14参数搜索空间粒子群算法的搜索空间是以Ziegler-Nichols法(ZN)获得的参数结果为中心,向左右两边进行拓展形成的.这样,既可充分利用ZN法的合理内核,又缩小了实际参数的搜索空间.如果参数的优化解十分靠近搜索空间的边界,则应在该解的基础上进一步拓展搜索空间,进行新一轮搜索.PSO_uncertain682022/11/9参数搜索空间68PSO_uncertain692022/11/14仿真研究仿真参数选择如下:粒子数为20;惯性权重WLDW方法从1.2开始随着迭代代数逐步递减到0.1;Vmax设定为参数的范围宽度;学习因子c1＝c2＝2;迭代次数为100;A=0.9.PSO_uncertain692022/11/9仿真研究仿真69PSO_uncertain702022/11/14对象1响应PSO_uncertain702022/11/9对象1响应70PSO_uncertain712022/11/14液位系统设置PSO参数为：惯性因子W（初始值）=1.2，随迭代次数递减；粒子本身最佳位置吸引子和全局最佳位置吸引子c1=c2=2；种群粒子个数M=40，迭代次数N=100。原始液位高度为14mm，设定目标液位高度为64mm。优化所得的Kp=7.6493，Ki=0.0211，Kd=5.5792。PSO_uncertain712022/11/9液位71PSO_uncertain722022/11/14响应曲线1PSO_uncertain722022/11/9响应曲线172PSO_uncertain732022/11/14总结PSO不确定优化PSO动态优化PSO_uncertain732022/11/9总结PSO不73PSO_uncertain742022/11/14基于PSO算法的不确定优化不确定函数的混合PSO算法用PSO优化神经网络基于PSO的PID参数优化PSO_uncertain12022/11/9基于PSO算法74PSO_uncertain752022/11/14假设检验考虑如下不确定优化问题其中，X表示决策变量，即需要搜索的解，d为变量维数，ξ表示噪声，采样目标函数L(X,ξ)是X和ξ的函数，期望目标函数J(X)则是L(X,ξ)的数学期望。PSO_uncertain22022/11/9假设检验考虑如75PSO_uncertain762022/11/14评价对于不确定优化问题，首先通过多次独立评价可估计解的性能，通常每一次评价对应于一次仿真过程，进而在考虑方差的情况下对解的性能进行优劣比较。若对解Xi进行二次独立随机仿真，则其均值和方差的无偏估计J和Si2分别为(3-4-1)(3-4-2)PSO_uncertain32022/11/9评价对于不确76PSO_uncertain772022/11/14考虑两个不同的解X1和X2，可将其性能估计J(X1)和J(X2)看作两独立随机变量。由大数定理及中央极限定理知，n是－>∞时，期望性能的估计J(X)~N(J,si2/ni)。因此，可认为其中ui和si2的无偏估计分别由式(3-4-1)和式(3-4-2)给出。PSO_uncertain42022/11/9考虑两个不同的77PSO_uncertain782022/11/14假设检验思想假设检验是统计推断的一个重要方法，它利用搜集到的数据对某个事先做出的统计假设按一种设定的方法进行检验，进而判断假设的正误。在不确定优化问题中，由于性能评价的不确定性，在进行解性能比较时应充分利用均值以及方差信息。因此，利用假设检验思想可先对解的优劣关系进行假设，然后通过统计信息对假设进行检验。PSO_uncertain52022/11/9假设检验思想78PSO_uncertain792022/11/14PSO_uncertain62022/11/979PSO_uncertain802022/11/14PSO_uncertain72022/11/980PSO_uncertain812022/11/14序优化思想对于不确定优化问题，对解X进行ni次独立评价时。显然，随着评价次数ni的增大，样本均值Jbar将趋于期望值J,，或者说估计的致信区间将逐步缩小，但是收敛速度不超过1/√ni为了得到比较精确的性能估计，优化算法的大部分时间将用于对搜索解进行性能评价，而如此费时的评价过程必然影响整个算法的优化效率，甚至因用于搜索的时间不够而导致搜索的不充分，从而难以获得全局意义上性能较好的解。PSO_uncertain82022/11/9序优化思想对于81PSO_uncertain822022/11/14序优化技术针对离散事件动态系统中仿真优化问题的不确定性、解空间庞大等难点而提出的一类优化技术其主要思想包括：(1)序比较(ordercomparison)，即序比值更容易确定，不同解的性能偏序关系按指数速度收敛。(2)软化目标(goalsoftening)，即只要求以较高概率得到满意解，而不是一定要求获得全局最优解。这样，对于解空间庞大的问题，可大大减少求解问题所需的计算资源。PSO_uncertain92022/11/9序优化技术针对82PSO_uncertain832022/11/14PSO_uncertain102022/11/983PSO_uncertain842022/11/14显然，联合选择概率与S集的产生方式有关。根据NoFreeLunch定理，在没有问题的任何信息时，任何方法的效果都与盲目搜索方一法相同。当S中元素通过盲目搜索得到时，联合选择概率可按下式计算PSO_uncertain112022/11/9显然，联合选84PSO_uncertain852022/11/14譬如，M=200,g=12和k=1时，按上式可得P(IG∩sl>=k)=0.5而如果g=32，则P(IG∩sl>=k)≈1在序优化思想指导下，即使用较少次数的盲目搜索也能保证以较大概率得到满意解。这在一定程度上也说明了群体搜索算法比单点搜索算法更容易获得满意解。考虑评价过程的不确定性因素，盲目搜索可认为是评价噪声无穷大情况下的寻优。如果在一定问题结构信息的指导下采用效率更高的策略进行搜索，同时对解的性能进行一定精度的评价时，将有助于获得质量更高的解或者有助于以更高概率获得满意解，此时上式实际上就成为联合选择概率的一个下界。PSO_uncertain122022/11/9譬如，M=285PSO_uncertain862022/11/14PSO_uncertain132022/11/986PSO_uncertain872022/11/14最优计算量分配技术最优计算量分配技术(optimalcomputingbudgetallocation,OCBA)是Chen等在序优化思想下提出的一种改进技术，是对序优化思想的一种扩充。在传统序优化技术中，每个解均采用相同的仿真(评价)次数进行性能估计。显然，如果能够在优化过程中将有限的计算量更多地分配给那些优质解或关键解，则将提高获得满意解的概率，提高对有限计算资源的使用效率。对于优化过程中的关键解赋予较多的计算量以对其进行更准确的性能估计，对于其他解则只占用较少的计算量资源，从而提高优化结果的置信度。PSO_uncertain142022/11/9最优计算量分87PSO_uncertain882022/11/14最优解的“正确选择概率”PSO_uncertain152022/11/9最优解的“正88PSO_uncertain892022/11/14PSO_uncertain162022/11/989PSO_uncertain902022/11/14PSO_uncertain172022/11/990PSO_uncertain912022/11/14定理1在给定总仿真次数T，并将其分配给K个可行解，其性能估计分别为PSO_uncertain182022/11/9定理1在给定91PSO_uncertain922022/11/14OCBA技术的实现流程PSO_uncertain192022/11/9OCBA技术92PSO_uncertain932022/11/14讨论算法初始化时，对每个解的均值和方差的估计需要达到一定的精度，以避免算法的过早收敛，因此n0通常不能太小。另外，若每次循环增加的仿真量Δ过大，则会造成评价的可靠性降低，为不必要的高致信度水平而浪费计算量。但是，Δ也不能过小，否则会导致整个算法的迭代次数增加，进而加重计算的负担。据文献[9]的经验,n0通常取5~20,Δ则取K/5~K/10。PSO_uncertain202022/11/9讨论算法初始93PSO_uncertain942022/11/14混合微粒群优化算法PSO_uncertain212022/11/9混合微粒群优94PSO_uncertain952022/11/14.基于HT的PSO算法PSO_uncertain222022/11/9.95PSO_uncertain962022/11/142.基于OCBA的PSO算法PSO_uncertain232022/11/92.基于OC96PSO_uncertain972022/11/143.基于HT和OCBA的PSO算法PSO_uncertain242022/11/93.基于HT97PSO_uncertain982022/11/14PSO_uncertain252022/11/998PSO_uncertain992022/11/14仿真实验与比较PSO_uncertain262022/11/9仿真实验与比99PSO_uncertain1002022/11/14参数设置PSO_uncertain272022/11/9参数设置100PSO_uncertain1012022/11/14

Goldstein-Price's函数,函数有一个全局最小值3，在(0,-1)点,另外函数有3个局部极小值。六个测试函数PSO_uncertain282022/11/9Golds101PSO_uncertain1022022/11/14Branins'srcos函数(2)：Branins‘srcos函数,函数有3个全局最小值点，取值为0.397887，分别在(-pi,12.275)、(pi,2.275),(9.42478，2.475)三处。f=(y-(5.1/(4*pi^2))*x.^2+5/pi*x-6).^2+10*(1-1/(8*pi))*cos(x)+10,-5<=x<=10,0<=y<=15PSO_uncertain292022/11/9Branin102PSO_uncertain1032022/11/14PSO_uncertain302022/11/9103PSO_uncertain1042022/11/14PSO_uncertain312022/11/9104PSO_uncertain1052022/11/14Rastrigin函数全局最优点为－2，最优点为（0，0），可行域中50余个局部极值点PSO_uncertain322022/11/9Rastri105PSO_uncertain1062022/11/14SH－Shuber(n=2)函数PSO_uncertain332022/11/9SH－Shu106PSO_uncertain1072022/11/14结果PSO_uncertain342022/11/9结果107PSO_uncertain1082022/11/14噪声强度因子影响以带噪声的GP函数为例，探讨噪声强度因子η对各算法性能的影响。同时，为了反映所得解的位置信息，统计了各算法50次随机运行中的成功次数N,，即若所得解距离理论最优点的欧式距离小于0.1，则认为是一次成功搜索。表5.2给出了各算法50次独立运行的统计结果。PSO_uncertain352022/11/9噪声强度因子108PSO_uncertain1092022/11/14PSO_uncertain362022/11/9109PSO_uncertain1102022/11/14最优点的分布PSO_uncertain372022/11/9最优点的分布110PSO_uncertain1112022/11/14PSO_uncertain382022/11/9111PSO_uncertain1122022/11/14PSO_uncertain392022/11/9112PSO_uncertain1132022/11/14PSO_uncertain402022/11/9113PSO_uncertain1142022/11/14噪声环境下基于PSO算法的参数估计噪声环境下的智能参数估计方法的研究还很少。本节针对噪声环境下的非线性模型参数估计问题，采用上节的PSOHT算法来解决。PSO_uncertain412022/11/9噪声环境下基114PSO_uncertain1152022/11/14PSO_uncertain422022/11/9115PSO_uncertain1162022/11/14噪声环境下的模型参数估计噪声环境下的模型参数估计也是在一定的系统输人下，通过特定算法调整估计参数，使得与输出误差相关的某个指标最小。但是，由于输出误差中包含了噪声信息，实现参数估计的算法应具备一定的抗噪声能力，即鲁棒性。以输出误差的平均平方误差为优化目标，PSO_uncertain432022/11/9噪声环境下的116PSO_uncertain1172022/11/145.2.2数值仿真利用如下二阶惯性带延迟的传递函数作为真实系统，用于探讨PSOHT算法的估一计性能，并与单一PSO算法进行比较。PSO_uncertain442022/11/95.2.2数117PSO_uncertain1182022/11/14实验条件数值仿真时采用服从N(0,1)分布的白噪声作为输人，离散化采样时间为0.1s，估计长度为100,假设噪声v是幅值为ημ的高斯噪声，其中η表示噪信比。算法方面，令PSOHT和PSO算法的种群规模均为10，最大进化代数为300，每个微粒采用20次评价进行性能估计，与假设检验相关的显著性水平设置为0.05。各算法均随机运行50次，表5.3给出了无噪声情况下PSO算法的运行统计结果。PSO_uncertain452022/11/9实验条件数118PSO_uncertain1192022/11/14PSO_uncertain462022/11/9119PSO_uncertain1202022/11/14PSO_uncertain472022/11/9120PSO_uncertain1212022/11/14PSO_uncertain482022/11/9121PSO_uncertain1222022/11/14PSO_uncertain492022/11/9122PSO_uncertain1232022/11/14PSO_uncertain502022/11/9123PSO_uncertain1242022/11/14小结1）PSOHT有效2）PSO在许多情况具有优良品质PSO_uncertain512022/11/9小结1）PS124PSO_uncertain1252022/11/14用PSO优化神经网络1）训练神经网络的PSO算法的设计采用PSO训练神经网络时，首先应将特定结构中所有神经元间的连接权值编码成实数码串表示的个体。假设网络中包含M个优化权值（包括阈值在内），则每个个体将由M个权值参数组成的一个M维向量来表示。PSO_uncertain522022/11/9用PSO优化125PSO_uncertain1262022/11/14则微粒群中的个体可用一个6维向量来表示，即Indv={x1,x2,x3,x4,x5,x6}。此时，个体结构中的每一个元素，即代表神经网络中的一个权值。PSO用于NN学习PSO_uncertain532022/11/9则微粒群中的126PSO_uncertain1272022/11/14初始化微粒群根据微粒群规模，按照上述个体结构随机产生一定数目的个体（微粒）组成种群，其中不同的个体代表神经网络的一组不同权值。同时初始化gbest和pbest。PSO_uncertain542022/11/9初始化微粒群127PSO_uncertain1282022/11/143、神经网络的训练及微粒的评价计算每一个网络在训练集上产生的均方误差，并以此作为目标函数，并构造如下的适应度函数，用来计算个体的适应度。PSO_uncertain552022/11/93、神经网络128PSO_uncertain1292022/11/14用PSO训练神经网络算法的具体流程PSO_uncertain562022/11/9用PSO训练129PSO_uncertain1302022/11/14VandenBergh与Engelrecht基于多种分类问题及函数逼近问题，利用PSO算法分别对加和网络和倍乘网络进行优化。在以下所有的试验中，加和网络和倍乘网络都给予一指定的简单结构[Y.Lecun,J.S.DenkerandS.A.Solla.1990]算法的优化结果）PSO_uncertain572022/11/9Vande130PSO_uncertain1312022/11/14PSO_uncertain582022/11/9131PSO_uncertain1322022/11/14实验一：利用加和与倍乘两种前馈网络对下面的立方函数进行逼近:f(z)=z3-0.04z其中权值的训练利用CPSO-S算法。实验中两种网络均采用1-2-1的简单结构，CPSO算法的各参数取值如下：W=0.72,c1=c2=1.49，微粒群规模为10，分裂因子K分别为2（SUN）与3(PUN)PSO_uncertain592022/11/9实验一：利用132PSO_uncer