第二章模拟退火算法

第二章模拟退火算法

现代优化计算方法2.1模拟退火算法及模型

2.1.1物理退火过程

2.1.2组合优化与物理退火的相似性

2.1.3模拟退火算法的基本思想和步骤

2.2模拟退火算法的马氏链描述

2.2.1马尔可夫链

2.2.2模拟退火算法与马尔可夫链

2.3模拟退火算法的关键参数和操作的设计

2.3.1状态产生函数

2.3.2状态接受函数

2.3.3初温

2.3.4温度更新函数

2.3.5内循环终止准则

2.3.6外循环终止准则

现代优化计算方法2.4模拟退火算法的改进

2.4.1模拟退火算法的优缺点

2.4.2改进内容

2.4.3一种改进的模拟退火算法2.5模拟退火算法实现与应用

现代优化计算方法2.1模拟退火算法及模型

现代优化计算方法算法的提出

模拟退火算法最早的思想由Metropolis等（1953）提出，1983年Kirkpatrick等将其应用于组合优化。算法的目的解决NP复杂性问题；克服优化过程陷入局部极小；克服初值依赖性。

2.1.1物理退火过程2.1模拟退火算法及模型

现代优化计算方法物理退火过程

什么是退火：退火是指将固体加热到足够高的温度，使分子呈随机排列状态，然后逐步降温使之冷却，最后分子以低能状态排列，固体达到某种稳定状态。

2.1.1物理退火过程2.1模拟退火算法及模型

现代优化计算方法物理退火过程

加温过程——增强粒子的热运动，消除系统原先可能存在的非均匀态；等温过程——对于与环境换热而温度不变的封闭系统，系统状态的自发变化总是朝自由能减少的方向进行，当自由能达到最小时，系统达到平衡态；冷却过程——使粒子热运动减弱并渐趋有序，系统能量逐渐下降，从而得到低能的晶体结构。

2.1.1物理退火过程2.1模拟退火算法及模型

现代优化计算方法数学表述

在温度T，分子停留在状态r满足Boltzmann概率分布

2.1.1物理退火过程2.1模拟退火算法及模型

现代优化计算方法数学表述在同一个温度T，选定两个能量E1<E2，有在同一个温度，分子停留在能量小的状态的概率比停留在能量大的状态的概率要大。

2.1.1物理退火过程<1>02.1模拟退火算法及模型

现代优化计算方法数学表述

若|D|为状态空间D中状态的个数，D0是具有最低能量的状态集合：当温度很高时，每个状态概率基本相同，接近平均值1/|D|；状态空间存在超过两个不同能量时，具有最低能量状态的概率超出平均值1/|D|；当温度趋于0时，分子停留在最低能量状态的概率趋于1。

2.1.1物理退火过程能量最低状态非能量最低状态2.1模拟退火算法及模型

现代优化计算方法Metropolis准则（1953）——以概率接受新状态固体在恒定温度下达到热平衡的过程可以用MonteCarlo方法（计算机随机模拟方法）加以模拟，虽然该方法简单，但必须大量采样才能得到比较精确的结果，计算量很大。

2.1.1物理退火过程2.1模拟退火算法及模型

现代优化计算方法Metropolis准则（1953）——以概率接受新状态若在温度T，当前状态i→新状态j若Ej<Ei，则接受j为当前状态；否则，若概率p=exp[-(Ej-Ei)/kBT]大于[0,1)区间的随机数，则仍接受状态j为当前状态；若不成立则保留状态i为当前状态。

2.1.1物理退火过程2.1模拟退火算法及模型

现代优化计算方法Metropolis准则（1953）——以概率接受新状态

p=exp[-(Ej-Ei)/kBT]

在高温下，可接受与当前状态能量差较大的新状态；在低温下，只接受与当前状态能量差较小的新状态。

2.1.1物理退火过程2.1模拟退火算法及模型

现代优化计算方法相似性比较

2.1.2组合优化与物理退火的相似性组合优化问题金属物体解粒子状态最优解能量最低的状态设定初温熔解过程Metropolis抽样过程等温过程控制参数的下降冷却目标函数能量2.1模拟退火算法及模型

现代优化计算方法基本步骤

给定初温t=t0，随机产生初始状态s=s0，令k=0；RepeatRepeat产生新状态sj=Genete(s)；ifmin{1,exp[-(C(sj)-C(s))/tk]}>=randrom[0,1]s=sj;Until抽样稳定准则满足；退温tk+1=update(tk)并令k=k+1；Until算法终止准则满足；输出算法搜索结果。

2.1.3模拟退火算法的基本思想和步骤2.1模拟退火算法及模型

现代优化计算方法影响优化结果的主要因素

给定初温t=t0，随机产生初始状态s=s0，令k=0；RepeatRepeat产生新状态sj=Genete(s)；ifmin{1,exp[-(C(sj)-C(s))/tk]}>=randrom[0,1]s=sj;Until抽样稳定准则满足；退温tk+1=update(tk)并令k=k+1；Until算法终止准则满足；输出算法搜索结果。

2.1.3模拟退火算法的基本思想和步骤三函数两准则初始温度2.2模拟退火算法的马氏链描述

现代优化计算方法定义

2.2.1马尔科夫链2.2模拟退火算法的马氏链描述

现代优化计算方法定义

一步转移概率：

n步转移概率：若解空间有限，称马尔可夫链为有限状态；若，称马尔可夫链为时齐的。

2.2.1马尔科夫链2.2模拟退火算法的马氏链描述

现代优化计算方法模拟退火算法对应了一个马尔可夫链

模拟退火算法：新状态接受概率仅依赖于新状态和当前状态，并由温度加以控制。若固定每一温度，算法均计算马氏链的变化直至平稳分布，然后下降温度，则称为时齐算法；若无需各温度下算法均达到平稳分布，但温度需按一定速率下降，则称为非时齐算法。分析收敛性

2.2.2模拟退火算法与马尔科夫链2.3模拟退火算法关键参数和操作的设计现代优化计算方法原则

产生的候选解应遍布全部解空间方法

在当前状态的邻域结构内以一定概率方式（均匀分布、正态分布、指数分布等）产生

2.3.1状态产生函数2.3模拟退火算法关键参数和操作的设计现代优化计算方法原则

(1)在固定温度下，接受使目标函数下降的候选解的概率要大于使目标函数上升的候选解概率；(2)随温度的下降，接受使目标函数上升的解的概率要逐渐减小；(3)当温度趋于零时，只能接受目标函数下降的解。方法

具体形式对算法影响不大一般采用min[1,exp(-∆C/t)]

2.3.2状态接受函数2.3模拟退火算法关键参数和操作的设计现代优化计算方法收敛性分析

通过理论分析可以得到初温的解析式，但解决实际问题时难以得到精确的参数；初温应充分大；实验表明