蒙特卡罗最优化ppt课件

1、Monte Carlo Optimization1;.主要内容主要内容一、数值优化方法（Numerical optimization methods） 二、应用于求解随机优化问题的蒙特卡罗方法（1）模拟退火算法（Simulated Annealing) （2）EM算法（The EM algorithm)2;.1.Numerical optimization methods in R1.1 Root-finding in one dimension 假设f:RR为一连续函数，则方程f(x)=c的根x,满足g(x)=f(x)-c=0.为此我们只考虑f(x)=0形式的方程求根问题。使用数值方法求此方

2、程的根，可以选择是使用f的一阶导数还是不使用导数的方法。Newton方法或者Newton-Raphson方法是使用一阶导数的方法，而Brent的最小化算法是不使用导数的一种求根方法。3;.1.1.1 Bisection method(二分法）二分法） 如果f(x)在区间a,b上连续，以及f(a)和f(b)有相反的符号，则由中值定理知道存在ac2为一整数。显然，方程的解为8;.程序：程序：a - 0.5a - 0.5n - 20n - 20cat(true roots,-a/(n-1)-sqrt(n-2-a2+(a/(n-1)2),cat(true roots,-a/(n-1)-sqrt(n-2

3、-a2+(a/(n-1)2),+ -a/(n-1)+sqrt(n-2-a2+(a/(n-1)2),n)+ -a/(n-1)+sqrt(n-2-a2+(a/(n-1)2),n)bisec-function(b0,b1)bisec-function(b0,b1)f - function(y, a, n) f - function(y, a, n) a2 + y2 + 2a2 + y2 + 2* *a a* *y/(n-1) - (n-2)y/(n-1) - (n-2) it - 0it - 0eps - .Machine$double.eps0.25eps - .Machine$double.ep

4、s0.25r - seq(b0, b1, length=3)r - seq(b0, b1, length=3)y - c(f(r1, a, n), f(r2, a, n), f(r3, a, n)y 0) y3 0)stop(f does not have opposite sign at endpoints)stop(f does not have opposite sign at endpoints)9;.while(it eps) it - it + 1if (y1*y2 0) r3 - r2y3 - y2 else r1 - r2y1 - y2r2 - (r1 + r3) / 2y2

5、- f(r2, a=a, n=n)print(c(r1, y1, y3-y2) bisec(0,5*n)10;.运行结果：true roots -4.239473 4.18684111;.1.1.2 Brents method 二分法是一种特殊的括入根算法。Brent通过逆二次插值方法将括入根方法和二分法结合起来。其使用y的二次函数来拟合x。如果三个点为(a,f(a),(b,f(b),(c,f(c)）,其中b为当前最好的估计，则通过Lagrange多项式插值方法（y=0)对方程的根进行估计，在R中，函数uniroot就是应用Brent方法求解一元方程的数值根。12;.例2 应用uniroot求

6、例1中的方程的根。程序：程序：a - 0.5n - 20out - uniroot(function(y) a2 + y2 + 2*a*y/(n-1) - (n-2) ,lower = 0, upper = n*5)unlist(out) root f.root iter estim.prec4.186870e+00 2.381408e-04 1.400000e+01 6.103516e-05uniroot(function(y) a2 + y2 + 2*a*y/(n-1) - (n-2), interval = c(-n*5, 0)$root1 -4.23950113;. 1.1.3 New

7、tons method14;.15;.16;.例3 使用Newton方法求例1方程的根。程序：nt-function(b0)a - 0.5n - 20f - function(y, a, n) a2 + y2 + 2*a*y/(n-1) - (n-2)fd-function(y,a,n)2*y+2*a/(n-1)17;.b1-b0b0-b0-1eps - .Machine$double.eps0.25it-0while(iteps)it-it+1b0-b1b1-b0-f(b0,a,n)/fd(b0,a,n)cat(it,c(b0,b1,abs(b1-b0),n) 18;.输入：输入：nt(5)

8、输出结果：输出结果： 1 5 4.252618 0.7473822 2 4.252618 4.187347 0.06527095 3 4.187347 4.186841 0.0005055338 4 4.186841 4.186841 3.032932e-08 Newton方法依赖于f的形状和初值。该方法从初值开始就发散。19;.20;.21;.22;.23;.24;.25;.26;.27;.28;.29;.运行结果：运行结果：30;.31;.32;.33;.运行结果：运行结果：34;. 35;.36;.37;.2.应用于求解随机优化问题的蒙特卡罗方法2.1模拟退火算法38;. 模拟退火算法来

9、源于固体退火原理，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。根据Metropolis准则，粒子在温度T时趋于平衡的概率为e-E/(kT)，其中E为温度T时的内能，E为其改变量，k为Boltzmann常数。用固体退火模拟组合优化问题，将内能E模拟为目标函数值f，温度T演化成控制参数t， 即得到 39;. 解组合优化问题的模拟退火算法：由初始解i和控制参数初值t开始，对当前解重复“产生新解计算目标函数差接受或舍弃”的迭代，并逐步衰减t值，算法终止时的当前解即为所得近似最优

10、解，这是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程。退火过程由冷却进度表(Cooling Schedule)控制，包括控制参数的初值t及其衰减因子t、每个t值时的迭代次数L和停止条件S40;.41;.42;.43;.44;.45;.46;.47;.48;.49;.50;.给定一些观察数据x，假设x符合如下高斯分布：求混合高斯分布的三组参数kk21( )(,)Kkkkkp xN x 2k2.2EM算法算法问题来源EM算法是个聚类算法，即根据给定观察数据自动对数据进行分类。51;. 该混合高斯分布一共有K个分布，并且对于每个观察 到的x，如果我们同时还知道它属于K中的哪一个分布， 则我们可以根据最大似然估计求出每个参数。结论：结论：1kkkxkxN2k1()()kTkkkkkxxxNkkNN简单问题简单问题特别注意 是个向量，而 是个数值。k2kkx表示属于第k个高斯分布的观察数据x。52;.实际问题实际问题观察数据x属于哪个高斯分布是未知的所以要用EM算法来解决这种实际问题。53;.EM算法过程：算法过程：1、用随机函数初始化K个高斯分布的参数，同时保证11KkkExpectation 2、依次取观察数据x，比较x在K个高斯函数 中概率的大小，把x归类到这K个高斯中 概率最大的一个。 2k()()212Tkk