无约束优化算法总结

1、2021/6/161 基本概念及理论 无约束优化算法的一般框架（迭代下降算法） 几种经典的算法（1）最速下降法（2）牛顿算法（3）拟牛顿算法（4）共轭梯度 4. 算法的几个度量指标（1）收敛（全局/局部）（2）收敛速度（3）运算量2021/6/162无约束问题的数值方法一般格式无约束问题的数值方法一般格式(i)确定局部下降方向d(k),使f(x(k)Td(k)0,使f(x(k)+tkd(k)f(x(k);(iii)令x(k+1)=x(k)+tkd(k);(iv)判断是否终止，终止则输出，否则k:=k+1,返(i)给定x(0),置k=12021/6/163最速下降法最速下降法(最简单的梯度算法)

2、。转令搜索，求步长作一维否则，令下降方向停止运算；如果计算取初始点给定控制误差STEP21,k:k,dxx STEP4)df(x min)df(x ,-gd ,xx,g STEP3)f(xg STEP20k,x STEP1(k)k(k)1)(k(k)(k)0(k)k(k)kk)(k)*k(k)k(0)k2021/6/164牛顿算法牛顿算法kkkkkkgGddxx1)()()()1(2021/6/165y(k)= gk+1 gk s(k)=x(k+1)-x(k) Hk+1=Hk+ d(k+1)=Hk+1 gk+1)()()()()()()()(1kkTkkTkkkkTkTkkkkyHyHyyHy

3、sssHH )()()()()()()()()()()()()()()()()()()()(1kkTkkkkTkkkkTkkTkkkkTkkTkkkkTkTkkkkyHyyHyssyHywwwyHyHyyHysssHH 其其中中 拟牛顿算法拟牛顿算法2021/6/166)(11公公式式）（PoiyakRibierePolakgggggkTkkkTk 公公式式）（MyersDixongdggkTkkTk )(11)Re(11公公式式evesFletcherggggkTkkTk ,d)()()(1k)(1)1(kTkkTkkkkkQddQgdgd其中共轭梯度算法共轭梯度算法2021/6/167习题

4、习题1 11 1给定函数f(x)=(6+x1+x2)2+(2-3x1-3x2-x1x2)2 点x=(-4,6)T（1）给出X处的最速下降方向；（2）给出X处的牛顿方向，并判断此方向是否为下降方向；（3）设H0 I（单位阵），利用拟牛顿法，从X开始迭代，给出下一个迭代点处的搜索方向；（4）利用共轭梯度法，从X开始迭代，给出下一个迭代点处的搜索方向。2021/6/168MATLABMATLAB求解求解 无约束最优化问题无约束最优化问题2021/6/1692021/6/1610具体常用的命令格式具体常用的命令格式（1）x= fminunc（fun,X0 ）；或x=fminsearch（fun,X0

5、）（2）x= fminunc（fun,X0 ，options）； 或x=fminsearch（fun,X0 ，options）（3）x，fval= fminunc（.）； 或x，fval= fminsearch（.）（4）x，fval，exitflag= fminunc（.）； 或x，fval，exitflag= fminsearch（5）x，fval，exitflag，output= fminunc（.）； 或x，fval，exitflag，output= fminsearch（.）2021/6/1611控制参数控制参数optopt的设置的设置 (3) MaxIterMaxIter: 允许进

6、行迭代的最大次数,取值为正整数.OptionsOptions中常用的几个参数的名称、含义、取值如下中常用的几个参数的名称、含义、取值如下: : (1)DisplayDisplay: 显示水平.取值为off时,不显示输出; 取值为iter时,显示每次迭代的信息;取值为final时,显示最终结果.默认值为final.(2)MaxFunEvalsMaxFunEvals: 允许进行函数评价的最大次数,取值为正整数.2021/6/1612例：opts=optimset(Display,iter,TolFun,1e-8) 该语句创建一个称为opts的优化选项结构,其中显示参数设为iter, TolFun参

7、数设为1e-8. 控制参数控制参数optionsoptions可以通过函数可以通过函数optimsetoptimset创建或修改。命创建或修改。命令的格式如下：令的格式如下：(1) options=optimset(options=optimset(optimfunoptimfun) ) 创建一个含有所有参数名,并与优化函数optimfun相关的默认值的选项结构options.（2）options=optimset(options=optimset(param1param1,value1,value1,param2param2,value2,.),value2,.) 创建一个名称为option

8、s的优化选项参数,其中指定的参数具有指定值,所有未指定的参数取默认值.(3)options=optimset(oldops,options=optimset(oldops,param1param1,value1,value1,param2param2, , value2,.) value2,.) 创建名称为oldops的参数的拷贝,用指定的参数值修改oldops中相应的参数.返回2021/6/16133 fminunc为中型优化算法的步长一维搜索提供了两种算法， 由options中参数LineSearchType控制：LineSearchType=quadcubic(缺省值)，混合的二次和三

9、次多项式插值；LineSearchType=cubicpoly，三次多项式插使用使用fminuncfminunc和和 fminsearchfminsearch可能会得到局部最优解可能会得到局部最优解. .说明说明: :fminsearchfminsearch是用单纯形法寻优是用单纯形法寻优. fminunc. fminunc的算法见以下几点说明：的算法见以下几点说明：1 fminunc为无约束优化提供了大型优化和中型优化算法。由options中的参数LargeScale控制：LargeScale=on(默认值),使用大型算法LargeScale=off(默认值),使用中型算法2 fminunc

10、为中型优化算法的搜索方向提供了4种算法，由 options中的参数HessUpdate控制：HessUpdate=bfgs（默认值），拟牛顿法的BFGS公式；HessUpdate=dfp，拟牛顿法的DFP公式；HessUpdate=steepdesc，最速下降法2021/6/1614【例】2021/6/1615例例 min f(x)=(4x12+2x22+4x1x2+2x2+1)*exp(x1) 1 1、编写、编写M-M-文件文件 fun1.m:fun1.m: function f = fun1 (x) f = exp(x(1)*(4*x(1)2+2*x(2)2+4*x(1)*x(2)+2*x

11、(2)+1); 2 2、输入、输入M M文件文件.m.m如下如下: : x0 = -1, 1; x=fminunc(fun1,x0); y=fun1(x) 3 3、运行结果、运行结果: : x= 0.5000 -1.0000 y = 1.3029e-102021/6/16162021/6/1617多局部极小298.0f0f298.0f 唯一极小(全局极小)2122212121322)(xxxxxxxxf2021/6/1618matlab与最优化2021/6/1619matlab与最优化2021/6/1620搜索过程搜索过程21221221)1 ()(100)(minxxxxxf最优点 (1 1)初始点 (-1 1)1x2xf-114.00-0.790.58 3.39-0.530.232.60-0.180.001.500.09 -0.030.980.37 0.110.470.59 0.33 0.200.80 0.63 0.050.95 0.9