最优化Armijo算法确定步长的最速下降法_第1页
最优化Armijo算法确定步长的最速下降法_第2页
最优化Armijo算法确定步长的最速下降法_第3页
最优化Armijo算法确定步长的最速下降法_第4页
最优化Armijo算法确定步长的最速下降法_第5页
已阅读5页,还剩3页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、数学与计算科学学院实 验 报 告实验项目名称 使用非精确线搜索Armijo算法确定步长的 最速下降法 所属课程名称 最优化方法 实 验 类 型 算法编程 实 验 日 期 班 级 学 号 姓 名 成 绩 一、实验概述:【实验目的】1. 通过实验掌握最速下降法的Matlab算法的基本步骤;2. 通过实验掌握Armijo算法确定步长;3. 掌握最速下降法的思想及迭代步骤。【实验原理】1.最速下降法: 最古老的优化方法,十九世纪中叶由Cauchy提出 思想 :每次沿负梯度方向进行搜索等值线(面)负梯度方向也称为最速下降方向:举例:算法步骤:优点:最速下降法的收敛性:全局收敛性:收敛速度估计:结论:最速

2、下降法的收敛速度比较慢,通常将其用在某些算法的初始阶段求较好的初始点或作为某些算法的间插步.【实验环境】Win 7;Matlab7.0二、实验内容:【实验方案】1、求梯度;2、向梯度相反的方向移动x,其中 为步长。如果步长足够小,则可以保证每一次迭代都在减小,但可能导致收敛太慢,如果步长太大,则不能保证每一次迭代都减少,也不能保证收敛。3、循环迭代步骤2,直到x的值变化到使得在两次迭代之间的差值足够小,比如0.00000001,也就是说,直到两次迭代计算出来的基本没有变化,则说明此时已经达到局部最小值了。4、此时,输出x,这个x就是使得函数最小时的x的取值 。【实验过程】 梯度下降法

3、的计算过程就是沿梯度下降的方向求解极小值(也可以沿梯度上升方向求解极大值)。 其迭代公式为 ,其中 代表梯度负方向, 表示梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到,步长的确定比较麻烦,太大了的话可能会发散,太小收敛速度又太慢。一般确定步长的方法是由线性搜索算法来确定,即把下一个点的坐标ak+1看做是的函数,然后求满足f(ak+1)的最小值的 即可。 因为一般情况下,梯度向量为0的话说明是到了一个极值点,此时梯度的幅值也为0.而采用梯度下降算法进行最优化求解时,算法迭代的终止条件是梯度向量的幅值接近0即可,可以设置个非常小的常数阈值。【实验结论】(结

4、果)梯度下降法处理一些复杂的非线性函数会出现问题,例如Rosenbrock函数:其最小值在 处,函数值为 。但是此函数具有狭窄弯曲的山谷,最小点 就在这些山谷之中,并且谷底很平。优化过程是之字形的向极小值点靠近,速度非常缓慢。靠近极小值时收敛速度减慢。直线搜索时可能会产生一些问题。可能会“之字形”地下降。【实验小结】(收获体会) 这次的实验报告,使得我们对这些算法的思想更加了解,在选择线性搜索的方法时,我们深刻体会到各类参数设置对程序效率的重要性,不同的问题要选用合适的参数来求解,这样使得问题求解及程序运行的效率最高。通过不断地翻阅课本,剖析程序,我们最后实现了对程序的修改

5、和完善,对提供的问题作出了较好的解答。总的来说,对无约束最优化的求解,每种方法在解决不同的问题中效果不能都达到最优,所以我们在实际应用中,要根据实际情况选择合适的方法,争取最大可能的尽快的接近最优。  本次实验不仅使我们基本了解了最优化的实用算法的结构及性能,而且也使得我们对matlab的一些编程技巧更加熟悉,收获很大。三、指导教师评语及成绩:评 语评语等级优良中及格不及格1.实验报告按时完成,字迹清楚,文字叙述流畅,逻辑性强2.实验方案设计合理3.实验过程(实验步骤详细,记录完整,数据合理,分析透彻)4实验结论正确. 成 绩: 指导教师签名: 批阅日期:附录1:源 程 序Armij

6、o算法实现:plain view plaincopyfunction mk = armijo( fun, xk, rho, sigma, gk ) assert( rho > 0 && rho < 1 ); assert( sigma > 0 && sigma < 0.5 ); mk = 0; max_mk = 100; while mk <= max_mk x = xk - rhomk * gk; if feval( fun, x ) <= feval( fun, xk ) - sigma * rhomk * norm( g

7、k )2 break; end mk = mk + 1; end return; 最速下降法实现:plain view plaincopyfunction opt_x, opt_f, k = grad_descent( fun_obj, fun_grad, x0 ) max_iter = 5000; % max number of iterations EPS = 1e-5; % threshold of gradient norm % Armijo parameters rho = 0.5; sigma = 0.2; % initialization k = 0; xk = x0; whil

8、e k < max_iter k = k + 1; gk = feval( fun_grad, xk ); % gradient vector dk = -1 * gk; % search direction if norm( dk ) < EPS break; end yk = feval( fun_obj, xk ); fprintf( '#iter = %5d, xk = %.5f, F = %.5fn', k, xk, yk ); mk = armijo( fun_obj, xk, rho, sigma, gk ); xk = xk + rhomk * dk

9、; end fprintf( '-n' ); if k = max_iter fprintf( 'Problem Not solved!n' ); else fprintf( 'Problem solved!n' ); end % record results opt_x = xk; opt_f = feval( fun_obj, xk ); return;附录2:实验报告填写说明 1实验项目名称:要求与实验教学大纲一致。2实验目的:目的要明确,要抓住重点,符合实验教学大纲要求。3实验原理:简要说明本实验项目所涉及的理论知识。4实验环境:实验用的软、硬件环境。5实验方案(思路、步骤和方法等):这是实验报告极其重要的内容。概括整个实验过程。对于验证性实验,要写明依据何种原理、操作方法进行实验,要写明需要经过哪几个步骤来实现其操作。对于设计性和综合性实验,在上述内容基础上还应该画出流程图、设计思路和设计方法,再配以相应的文字说明。对于创新性实验,还应注明其创新点

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论