第四章 遗传算法3.ppt

1、第四章 遗传算法（续）,智能优化计算,数学与统计学院 2013年,教学重点 理解改进的遗传算法 掌握遗传算法解决简单优化问题 掌握遗传算解决简单的STP问题 教学难点 遗传算解决简单的STP问题,4.1 遗传算法简介 4.1.1 遗传算法的产生与发展 4.1.2 生物进化理论和遗传学的基本知识 4.1.3 遗传算法的思路与特点 4.1.4 遗传算法的基本操作 4.1.5 遗传算法的应用 4.2 基本遗传算法 4.2.1 简单函数优化的实例 4.2.2 遗传基因型 4.2.3 适应度函数及其尺度变换 4.2.4 遗传操作选择 4.2.5 遗传操作交叉/基因重组 4.2.6 遗传操作变异 4.2.

2、7 算法的设计与实现 4.2.8 模式定理,智能优化计算,数学与统计学院 2013年,4.3 遗传算法的改进 4.3.1 CHC算法 4.3.2 自适应遗传算法 4.3.3 基于小生境技术的遗传算法 4.4 遗传算法的应用 4.4.1 解决带约束的函数优化问题 4.4.2 解决多目标优化问题 4.4.3 解决组合优化问题 4.4.4 遗传算法在过程建模中的应用 4.4.5 遗传算法在模式识别中的应用,智能优化计算,数学与统计学院 2013年,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,改进的途径 改变遗传算法的组成成分； 采用混合遗传算法； 采用动态自适应技术； 采用非标

3、准的遗传操作算子； 采用并行遗传算法等。,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,改进思路 1991年Eshelman提出的一种改进遗传算法； C：跨世代精英选择（Cross generational elitist selection）策略； H：异物种重组（Heterogeneous recombination）； C：大变异（Cataclysmic mutation）。,4.3.1 CHC算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,选择 上一代种群与通过新的交叉方法产生的个体群混合起来，从中按一定概率选择较优的个体； 即使交叉操作产生

4、较劣个体偏多，由于原种群大多数个体残留，不会引起个体的评价值降低； 可以更好地保持遗传多样性； 排序方法，克服比例适应度计算的尺度问题。,4.3.1 CHC算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,交叉 均匀交叉的改进：当两个父个体位值相异的位数为m时，从中随机选取m/2个位置，实行父个体位值的交换； 确定一阈值，当个体间距离低于该阈值时，不进行交叉操作。进化收敛的同时，逐渐地减小该阈值。,4.3.1 CHC算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,变异 在进化前期不采取变异操作，当种群进化到一定收敛时期，从最优个体中选择一部分个体进

5、行初始化； 初始化：选择一定比例（扩散率，一般0.35）的基因座，随机地决定它们的位值。,4.3.1 CHC算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,参数分析 交叉概率Pc和变异概率Pm的选择是影响遗传算法行为和性能的关键，直接影响算法的收敛性； Pc越大，新个体产生的速度就越快，但过大会使优秀个体的结构很快被破坏； Pc过小，搜索过程缓慢，以至停止不前； Pm过小，不易产生新个体结构， Pm过大，变成纯粹的随机搜索；,4.3.2 自适应遗传算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,自适应策略 Srinvivas等提出一种自适应遗传算

6、法，Pc和Pm能够随适应度自动改变： 当种群各个体适应度趋于一致或趋于局部最优时，使Pc和Pm增加；而当群体适应度比较分散时，使Pc和Pm减少； 对于适应度较高的个体，对应于较低的Pc和Pm ；而较低适应度的个体，对应于较高的Pc和Pm 。,4.3.2 自适应遗传算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,自适应方法 fmax群体中最大的适应度值； favg每代群体的平均适应度值； f要交叉的两个个体中较大的适应度值； f要交叉或变异的个体适应度值；,4.3.2 自适应遗传算法,k1、k2、k3、k4 取(0,1)的值,4.3 遗传算法的改进,智能优化计算,数学与统

7、计学院 2013年,自适应方法进一步改进 适用于进化后期，不适于进化前期，因为前期的优秀个体有可能是局部最优点； 使最大适应度个体的交叉概率和变异概率由0提高到Pc2和Pm2 ； 采用精英选择策略；,4.3.2 自适应遗传算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,自适应方法进一步改进,4.3.2 自适应遗传算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,小生境概念 小生境（niche）：生物学中，特定环境中的一种组织功能； 在SGA中，容易“近亲繁殖”； NGA（Niche Generic Algorithm），将每一代个体划分为若干类，每

8、类选出优秀个体组成一个种群； 优势：保持解的多样性，提高全局搜索能力，适合复杂多峰函数的优化。,4.3.3 基于小生境技术的遗传算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,选择策略 预选择机制、排挤机制、分享机制； 预选择（preselection,1970）机制 当子个体的适应度超过其父个体适应度时，子个体才可以替代父个体，否则父个体仍保留； 有效维持种群多样性，造就小生境进化环境。,4.3.3 基于小生境技术的遗传算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,排挤（crowding,1975）机制 设置排挤因子CF（CF=2或3），随机

9、选取1/CF个个体组成排挤成员，排挤与其相似（用距离来度量）的个体； 个体之间的相似性可用个体编码串之间的海明距离来度量。,4.3.3 基于小生境技术的遗传算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,共享（sharing,1987）机制 通过个体之间的相似性程度的共享函数来调整各个体的适应度； 共享函数的目的：将搜索空间的多个峰值在地理上区分开来，每一个峰值处接受一定比例数目的个体，比例数目与峰值高度有关；,4.3.3 基于小生境技术的遗传算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,共享（sharing,1987）机制 共享函数的值越大，

10、表明个体之间越相似，记为Sh(dij)，dij为两个个体i和j之间的距离； share是niche的半径，由使用者给定。,4.3.3 基于小生境技术的遗传算法,4.3 遗传算法的改进,智能优化计算,数学与统计学院 2013年,共享（sharing,1987）机制 共享法将个体的适应度降低，即适应度值fi除以一个niche计数mi： 在距离为share的范围内的个体彼此削减适应度，这些个体将收敛在一个niche内，避免了整个种群的收敛。,4.3.3 基于小生境技术的遗传算法,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,约束最优化问题（Constrained Optimiza

11、tion Problems）的表述,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,解决途径 将有约束问题转化为无约束问题（罚函数法，penalty function method），历史较长； 改进无约束问题的方法，使之能用于有约束的情况（梯度投影算法），发展较晚。 遗传算法解决有约束问题的关键是对约束条件的处理（直接按无约束问题处理是行不通的：随机生成的初始点中可能有大量不可行解；遗传算子作用于可行解后可能产生不可行解）。,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,一般方法

12、 罚函数法 将罚函数包含到适应度评价中： 关键是如何设计罚函数，需要谨慎地在过轻或过重惩罚之间找到平衡，针对不同问题设计罚函数。,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,一般方法 协同进化遗传算法（Coevolutionary Genetic Algorithm,1997） 以食物链关系、共生关系等为基础的生物进化现象称为协同进化； 一个种群由问题的解组成，另一个种群由约束组成，两个种群协同进化，较好的解应满足更好的约束，较优的约束则被更多的解所违背。,4.4.1 解决带约束的函数优化问题,罚函数法 评价函数的构造： 加法 乘法,

13、4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,4.4.1 解决带约束的函数优化问题,罚函数法 罚函数分类： 定量惩罚简单约束问题 变量惩罚复杂约束问题，包含两个部分：可变惩罚率和违反约束的惩罚量。,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,4.4.1 解决带约束的函数优化问题,违反约束程度随违反约束程度变得严重而增加惩罚压力，静态惩罚； 进化迭代次数随着进化过程的进展而增加惩罚压力，动态惩罚。,罚函数法 交叉运算：设父个体为x=x1,x2,xn和y=y1,y2,yn 简单交叉 单点算术交叉 整体算术交叉 基于方向的交叉：x=r(x-y)+x，r为(0

14、,1)之间的随机数，并假设f(x)f(y)。,4.4 遗传算法的应用,智能优化计算,华东理工大学自动化系 2007年,4.4.1 解决带约束的函数优化问题,罚函数法 变异运算：设父个体为x=x1,x2,xn 均匀变异 非均匀变异（动态变异） 边界变异： x=x1,x2,xk,xn，xk等概率地取用变异量的上界或下界，当最优解在可行域边界上或附近时，边界变异算子较为有效； 基于方向的变异：x=x+rd，d为目标函数的近似梯度。,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,

15、求解线性约束优化问题的遗传算法 线性约束优化问题一般形式为：,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,求解线性约束优化问题的遗传算法 线性约束优化问题： 目标函数可以是线性函数或非线性函数； 思路消除可能的变量，消除等式约束 设计罚函数 设计特别的遗传操作,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,求解线性约束优化问题的遗传算法 例：77运输规划问题 将物品由7个起运站运到7个目的地； 已知由 i 站运到 j 地的单位运费是Cij， ai表示 i 站的供应量， bj表示

16、 j 地的需求量， xij表示从 i 站到 j 地的运量。 （i, j =1,2,7）,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,求解线性约束优化问题的遗传算法 例：77运输规划问题,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,求解线性约束优化问题的遗传算法 例：77运输规划问题 对于非线性目标函数的构造，可以选用以下几种测试函数： （1）函数A,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,求解线性约束优化问题的遗

17、传算法 例：77运输规划问题 （2）函数B,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,求解线性约束优化问题的遗传算法 例：77运输规划问题 （3）函数C,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,求解线性约束优化问题的遗传算法 例：77运输规划问题 （4）函数D,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,求解线性约束优化问题的遗传算法 例：77运输规划问题 （5）函数E,4.4.1 解决带约束的函数优化问题,4

18、.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,求解线性约束优化问题的遗传算法 例：77运输规划问题 （6）函数F,4.4.1 解决带约束的函数优化问题,求解线性约束优化问题的遗传算法 例：77运输规划问题 目标函数为 罚函数为 其中，k=1，P=1/14，f为第t代群体的平均适应度，T为最大运行代数，dij为约束的违反度。,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,4.4.1 解决带约束的函数优化问题,求解线性约束优化问题的遗传算法 例：77运输规划问题 对于约束 ，个体染色体表示 为（v11,v77），其约束违反度定义为：,4.4 遗传算法的应用,智

19、能优化计算,数学与统计学院 2013年,4.4.1 解决带约束的函数优化问题,求解线性约束优化问题的遗传算法 例：77运输规划问题 费用参数表 对于函数A，取S2，对于函数B、E和F，取S5。,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,4.4.1 解决带约束的函数优化问题,求解线性约束优化问题的遗传算法 例：77运输规划问题 消除多余变量： 可以消除13个变量，x11, x12, x17, x21, x31, x41, x51, x61, x71，其余36个变量设定为y1,y2,y36,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,4.4.1 解决带

20、约束的函数优化问题,求解线性约束优化问题的遗传算法 例：77运输规划问题 将原规划问题转化为：,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,4.4.1 解决带约束的函数优化问题,求解线性约束优化问题的遗传算法 例：77运输规划问题 采用的参数：种群大小40，均匀变异概率0.08，边界变异概率0.03，非均匀变异概率0.07，简单交叉概率0.10，单一算术概率0.10，整体算术概率0.10，运行代数8000。,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,4.4.1 解决带约束的函数优化问题,求解线性约束优化问题的遗传算法 例：77运输规划问题 结果比较

21、：GENOCOP（约束优化的遗传算法）GAMS（拟牛顿法非线性最优化算法）,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,4.4.1 解决带约束的函数优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,多目标优化问题 解的存在性 怎样求解,4.4.2 解决多目标优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,Pareto最优性理论 在一个有k个目标函数最小化的问题中，称决策向量x*F是Pareto最优的，当不存在另外一个决策向量xF同时满足,4.4.2 解决多目标优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学

22、院 2013年,Pareto最优性理论 多目标优化问题的解通常是多个满意解的集合，称为Pareto最优集，解集中的决策向量称为非劣的。,4.4.2 解决多目标优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,传统方法 多目标加权法 层次优化法 目标规划法等 特点：将多目标函数转化为单目标函数处理，只能得到特定条件下的某一Pareto解。,4.4.2 解决多目标优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,多目标优化的遗传算法 优势： 并行地处理一组可能的解； 不局限于Pareto前沿的形状和连续性，易于处理不连续的、凹形的Pareto前沿

23、。 目前基于Pareto的遗传算法占据主要地位。,4.4.2 解决多目标优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,多目标优化的遗传算法 聚合函数法： 把多个目标函数表示成一个目标函数作为遗传算法的适应函数（聚合）； 无需改动遗传算法，但权值难以确定； 改进：自适应权值。,4.4.2 解决多目标优化问题,数学与统计学院 2013年,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,多目标优化的遗传算法 向量评价遗传算法（非Pareto法）： 子种群的产生根据每一个目标函数分别进行选择。,4.4.2 解决多目标优化问题,4.4 遗传算法的应用,智能

24、优化计算,数学与统计学院 2013年,多目标优化的遗传算法 基于排序的多目标遗传算法： 根据“Pareto最优个体”的概念对所有个体进行排 序，依据这个排列次序来进行进化过程中的选择运 算，从而使得排在前面的Pareto最优个体将有更多 的机会遗传到下一代群体。,4.4.2 解决多目标优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,多目标优化的遗传算法 小生境Pareto遗传算法： 为了保证寻优过程不收敛于可行域的某一局部， 使种群向均匀分布于Pareto前沿面的方向进化， 通过共享函数定义一小生境加以实现。,4.4.2 解决多目标优化问题,4.4 遗传算法的应用,

25、智能优化计算,数学与统计学院 2013年,TSP Benchmark 问题 41 94;37 84;54 67;25 62; 7 64;2 99;68 58;71 44;54 62;83 69;64 60;18 54;22 60;83 46;91 38;25 38;24 42;58 69;71 71;74 78;87 76;18 40;13 40;82 7;62 32; 58 35;45 21;41 26;44 35;4 50,4.4.3 解决组合优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,TSP Benchmark 问题 编码：直接采用解的表示形式，30位（3

26、0个城市）长，每位代表所经过的城市序号（无重复）； 适应度函数：个体所代表的路径距离的倒数； 选择：轮盘赌方法,4.4.3 解决组合优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,TSP Benchmark 问题 交叉：有序交叉法 1）随机选取两个交叉点； 2）两个父个体交换中间部分； 3）替换交换后重复的城市序号。,4.4.3 解决组合优化问题,X1: 9 8 | 4 5 6 7 1 | 3 2 0 X2: 8 7 | 1 4 0 3 2 | 9 6 5,X1: 9 8 | 1 4 0 3 2 | 3 2 0 X2: 8 7 | 4 5 6 7 1 | 9 6 5

27、,X1: 9 8 | 1 4 0 3 2 | 7 5 6 X2: 8 3 | 4 5 6 7 1 | 9 0 2,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,TSP Benchmark 问题 变异：随机选择同一个个体的两个点进行交换； 初始参数： 种群规模 100 交叉概率 0.8 变异概率 0.8 终止代数 2000,4.4.3 解决组合优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,TSP Benchmark 问题 运行结果：,4.4.3 解决组合优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,TSP Bench

28、mark 问题 运行结果：,4.4.3 解决组合优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,TSP Benchmark 问题 运行结果：,4.4.3 解决组合优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,TSP Benchmark 问题 运行结果：,4.4.3 解决组合优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,TSP Benchmark 问题 运行结果：,4.4.3 解决组合优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,TSP Benchmark 问题 运行结果：,4.

29、4.3 解决组合优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,TSP Benchmark 问题 运行结果：,4.4.3 解决组合优化问题,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,优化神经网络的权值 神经网络建模：,4.4.4 遗传算法在过程建模中的应用,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,优化神经网络的权值 例：聚丙烯生产过程熔融指数的软测量模型 输入变量：加氢量、釜压、升温时间、反应时间、搅拌电流； 输出变量：熔融指数； 样本数据：240组现场数据；,4.4.4 遗传算法在过程建模中的应用,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,优化神经网络的权值 个体的表示：w11 w12 w1n wnm w1 wm b1 bm b 适应度的设计：样本数据与神经网络预测数据的误差和的倒数；,4.4.4 遗传算法在过程建模中的应用,4.4 遗传算法的应用,智能优化计算,数学与统计学院 2013年,优化神经网络的权值 适应度函数的计算： load datat.txt; 对样本数据归一化； S1=6; for i=1:S1 for j=1:5 w1(i,j)=sol(i-1)*5+j); end w2(i)=sol(5*S1+i); b1(i)=sol(