最新最速下降法

1、最速下降法1.算法原理最速下降法的搜索法向是目标函数的负梯度方向，最速下降法从目标函数的负梯度方向 一直前进，直到到达目标函数的最低点。已知目标函数在X点的梯度为：当求目标函数的最小点时，由于函数沿负梯度方向下降最快，故在X"）点的探索方向应取该点的负梯度方向，即严巧理）冋（xq显然，S"）为单位向量。这样第 + 1次迭代汁算所得的新点为负梯度仅给出了最优化方向，而没有给岀步长的大小，所以可能有各种各样的最速下降的过程，它们依赖于的大小。步长Q有两种取法：一种方法是任意给左一个初始步长，使满足条件：/（X+aS）v/（X"）另外一种方法是沿负梯度方向做一维探索，以

2、求解一维最优化问题的最优步长a,即 对目标函数极小，以得到最优步长：minf（X +aS ）=/（Xa）+0W）以此最优步长作为由X点出发沿该点的负梯度方向探索的步长这种方法的迭代讣算的收敛性，可用以下三式中的任一式或二式作为准则来进行判断:2.算法步用最速下降法求无约束多维极值问题min f（xxeRn的算法步骤如下：（1）取初始点精度*>°,令（2）计算搜索方向严=可（屮），貝中W（x）表示函数/（x）在点x处的梯 度；（3）若|門|",则停止计算;否则，从少 出发，沿严进行一维搜索，即求人，使得几严+入严厂咽“/匕+加）。此处的一维搜索可以用黃金分割 >1

3、0法等算法，当然也可以用MATLAB的f minbnd函数：（4）令 +如）=+° + 人）,£ = £ + 1,转步骤（2）。3.算法的MATLAB实现在MATLAB中编程实现的最速下降法函数为：minFD 功能：用最速下降法求解多维函数的极值。调用格式：x. niin/ = min FD（JxO. var, eps）其中，/:为目标函数：xO：初始点：var :自变量向量：eps :精度：A：目标函数取最小值时的自变量值；min/：目标函数的最小值。最速下降法的MATLAB程序代码如下：function x/minf=minFD（f,xO/var;eps）%为

4、目标函数:f;%初始点：x0;%自变量向虽:var;%精度:eps;%目标函数取最小值时的自变量值:X；%目标函数的最小值:minf;format long;if nargin=3eps=1.0e-6;endsyms I;tol=l;while tol>epsgrad 仁-jacobianftvar);% 负梯度方向v=Fun val(gradf,var;xO);tol=norm(v);y=xO+l*v;yf=F un val(£var;y);a/b=minJT(yf,0/0.1);xm=minHJ(yf,a,b); %用黄金分割法进行一维搜索 xl=xO+xm*v;xO=xl

5、;endx=xl;minf=Fu nval(tvar;x);format short;例：用最速下降法求函数y(f,s) = (r_4)2+($ + 2)2+1极小值，取初始点取*> = (1,-3)解：在MATLAB命令窗口中输入：syms t s;f=(t-4)A2+(s+2)A2+l;x/mf=minFD(f/l -3,t s)所得结果为：X =4.0000-2.0000 mf =1例:试用最速下降法求目标函数n+4玮的极小值，设初始点X,0)=2 2f :收解:原函数的梯度vy(x) =茅(X)8x27 ,在X点的梯度为Vf(X(0) = 4 16f.梯度的模为河= J &quo

6、t;(X)+ 型也=2 =742+162 =16.492梯度的负方向曲而訝4 16f =-0.243 0.970fXn)= X(0, + aS<0) ='20.2431"2-0.243a"-a=_2_0.970J_2 一 0.970af (X ® + aS® ) = (2-0.243a)2 +4(2 - 0.970c?)2妙(汕+於®)=2(2 一 0243a)(0243) + 8(2 一 0.970)(-0.970) da= 7.645(7-16.492=0,求出a =2.157,算得人妙(X(°'+aS)/d

7、aX =1.476 -009237，V/(XW) = 2952 -0.7387梯度的模为 |v/' (X)| = J(2.952+(-0.738)，= 3.043根据收敛准则，何(x)| = 3043可=10一2,故未达到要求，应继续探索。下一步探索放向为2.952 一0738 = T0.970 0.2433.043= X(" + aS 1.476-0.09230.970 1T1.476-0.97067-0.243J = -0.0923 +0.243a/(X +aS ) = (l476-0970a)2+4(-00923 + 0243Q)2妙(X+aS)da=2.354a _3

8、.043 = 0,得到 a* = 1.293“二0.222 0222f号(X) = 0444 1.776f忖（X）| = 1.831 >=10"2未达到收敛要求，所以还应继续探索，下一步探索方向为S（2>=-0.444 1.7767 =40.242 O.97O71.831= x<2>"0.222 0.242a'屮_0222 + 0970冬乂 1+ aS(2 =f ( X + aS-2) = (0.222 - 0.242a)2 + 4(0.222+0.970a)2= 7.644a 1.830 = 0得到：a* = 0.239X3=064 -O.

9、OO987,Vf (X<3>) = 0.328 -O.O7847 |V/-(X,3)| = O.337> =10'2继续探索，当探索到点X<7) =0.0016 0.000096F时,村（X）卜OOO32y =10巳 达到预定的收敛要求，因而可认为X“ =X为最优点,而/（xj = （0.0016）2+4（-0.000096）2 =2.596x10" 20为极小值。20092010 学年度九年级（下）第二次质量测试数学试卷考试时间：120分钟 试卷满分：150分题号一二三四五七八总 分得分一.选择题（下列各题的备选答案中，只有一个是正确的，请将正确答案的选项填在下表中 相应题号下的空格内，每小题3分，共24分）题号12345678答案/1、-丄的值是4A 一B> C、4D> 一 4442、数据3800000用科学记数法表示为38X10w,则n的值是A、5B. 6C. 7D、83、如果两个相似三角形的相似比是1： 2,那么它们的而积之比是A、1： 2B. 2： 1C. 1： >/2D、1： 44、衡量样本和总体的波动大小的特