32优化理论基础

02九月202313-1优化设计问题的几何意义一、目标函数的等值面(线)n维变量的目标函数，其函数图象只能在n+1维空间中描述出来第3章优化设计理论基础02九月20232二维无约束最优化设计02九月20233给定一个设计方案，即给定一组

x1,x2,…,xn的值时目标函数f(X)=f(x1,x2,…,xn)必相应有一确定的函数值02九月20234给定一个f(X)有无限多组值x1,x2,…,xn与之对应当f(X)=a时X=[x1,x2,…,xn]T在设计空间中对应有一个点集目标函数的等值面（线）该点集是一个曲面(二维是曲线，大于三维称超曲面)02九月20235f(X(1))=a2f(X)=a1f(X)=a2f(X)=a3f(X)=a4f(X(2))=a2X(2)=[x1(2),x2(2)]X(1)=[x1(1),x2(1)]Of(X)x2x1X*02九月20236给定一系列的a值即a=a1,a2,…,an时一组超曲面族f(X)=a1,a2,…,an

等值面族该组超曲面族02九月20237等值面特性即在一个特定的等值面上，尽管设计方案很多，但每一个设计方案的目标函数值都是相等的。二维无约束最优化设计问题几何意义以x1,x2和f(X)为坐标f(X)=f(x1,x2)为沿轴方向的高度等值线是等值面在二维设计空间中的特定形态f(X(1))=a2f(X)=a1f(X)=a2f(X)=a3f(X)=a4f(X(2))=a2X(2)=[x1(2),x2(2)]X(1)=[x1(1),x2(1)]Of(X)x2x1X*02九月2023802九月20239等值线族当给定一系列不同的a值时，可以得到一组平面曲线：f(X)=f(x1,x2)=a1f(X)=f(x1,x2)=a2…这组曲线构成目标函数的等值线族02九月202310等值线的分布反映目标函数值的变化等值线越向里，目标函数值越小有中心的曲线族目标函数的无约束极小点就是等值线族的一个共同中心X*02九月202311几何意义---求目标函数无约束极小点也就是求其等值线族的共同中心。由二维设计空间等值线的讨论，可推广到分析多维问题。02九月202312注意，对于三维问题在设计空间中是等值面高于三维的问题在设计空间中则是等值超曲面02九月202313例二维约束优化问题x1x2f(x)f(x)g(x)g1(x)g2(x)O02九月202314二维目标函数等值线族

以点(2，0)为圆心，以为半径的一族同心圆02九月202315x2x1X*1g4(X)g3(X)g1(X)g1(X)X*20.25f(X)=12.253.846.25f(X)=912123O02九月202316等值面（线）的形状及其分布规律对于目标函数极小化问题，愈靠近极值点的等值面（线）所代表的目标函数值愈小；在极值点附近的等值线呈现椭圆形状，其中心就是极值点；在等值线较稠密的部位，目标函数值变化愈迅速；目标函数的非线性程度愈严重，其等值线的形状愈复杂，且可能存在多个极值点。二维目标函数等值线形态分析02九月202317X1*x1x201123X2*X3*x1x2012323456X1*02九月202318无约束最优化最优点就是目标函数的极值点实际上就是目标函数等值线的中心约束最优化最优点往往是目标函数等值超曲面与约束超曲面的一个切点而且可能在两个以上约束超曲面的交集上区别无论在数学模型还是几何意义上，两者均是不同的概念。3-2约束最优解和无约束最优解

二维优化问题进行几何描述例

对二维优化问题进行几何描述。02九月202319约束线、可行域、目标函数等值线、约束极值点213x221-1-2-3-1-2-4-5x1f(X)X*g1(X)g2(X)0几何意义上来说明约束最优解和无约束最优解设已知目标函数f(X)=x12+x22-4x1+4，受约束于g1(X)=x1-x2+2

0g2(X)=x1

0g3(X)=x2

0

g4(X)=-x12+x2-1

0

求其最优解X*和f(X*)。02九月20232002九月202321x1x2x2x1f(X)f(X)g1(X)g4(X)Og2(X)g4(X)g1(X)g3(X)f(X)等值线6.2543.810.251234O-212X*(1)X*(2)(b)(a)D02九月202322二维问题关于约束最优解和无约束最优解几何意义的讨论．同样可推广到高维问题n个设计变量x1,x2,…,xn，组成设计空间。在这个空间中的每一个点代表一个设计方案，此时n个变量具有确定的值。3-3局部最优解和全域最优解

02九月202323目标函数不是单峰函数有多个极值点X1*,X2*,…,02九月202324X2*X1*f(X)x2x102九月202325局部最优解X1*和f(X1*)、X2*和f(X2*)全域最优解目标函数值是全区域中所有局部最优解中的最小者对应的解02九月202326如图，目标函数f(X)的等值线绘于图上，有两个不等式约束g1(X)0,g2(X)0构成两个可行域D1和D2。02九月202327局部最优解X1*、f(X1*)X2*、f(X2*)X3*、f(X3*)均称局部最优解。全域最优解由于f(X1*(1))

f(X2*(2))

f(X3*(3))可知X3*(3)为全域极小点，亦即X3*(3)和f(X3*(3))为全域最优解。02九月202328期望求出全域最优解实际只能求出局部最优解措施局部最优解之间比较，取最小的一个3-4无约束目标函数的极值点存在条件

一、函数的极值与极值点以一元函数为例说明函数的极值与极值点。如图所示为定义在区间[a，b]上的一元函数f(X)02九月20232902九月202330f(x)xf(a)f(x(1))f(x(2))x(1)f(x(3))f(b)x(3)x(2)ab

图上有两个特殊点x(1)与x(2)

在x(1)附近，函数f(x)的值以f(x(1))为最大；在x(2)附近，函数值以f(x(2))为最小。02九月202331因此x(1)与x(2)即为函数的极大点与极小点，统称为函数f(x)的极值点。f(x(1))与f(x(2))相应地为函数的极大值与极小值，统称为函数f(x)的极值。02九月202332需要注意，这里所谓极值是相对于—点的附近邻域各点而言的，仅具有局部的性质，所以这种极值又称为局部极值。02九月202333函数的最大值与最小值是指整个区间而言的。如图中函数的最大值为f(b)，函数的最小值为f(a)。函数的极值并不一定是最大值或最小值。02九月202334二、极值点存在的条件

(一)一元函数(即单变量函数)的情况

(1)极值点存在的必要条件02九月202335在高等数学中已经学过：如果函数f(x)的一阶导数f’(x)存在，则欲使x*为极值点的必要条件为：f’(x*)＝002九月202336仍以图中所示一元函数为例，由图可见，在x(1)与x(2)处的f’(x(1))与f’(x(2))均等于零，即函数在该两点处的切线与x轴平行。但使f’(x)＝0的点并不一定都是极值点。02九月20233702九月202338f(x)xf(a)f(x(1))f(x(2))x(1)f(x(3))f(b)x(3)x(2)ab使函数f(x)的一阶导数f’(x)＝0的点称为函数的驻点。极值点(对存在导数的函数)必为驻点驻点不一定是极值点驻点是否为极值点可以通过二阶导数f’’(x)来判断。02九月202339(2)极值点存在的充分条件若在驻点附近f’’(x)0则该点为极大点；若在驻点附近f’’(x)0则该点为极小点。02九月202340在图中的x(3)附近，其右侧f’’(x)0，但其左侧f’’(x)0，因此它不是极值点。可见，函数二阶导数的符号成为判断极值点的充分条件。02九月202341函数的偏导数偏导数是指在某坐标轴方向函数值的变化率连续可微的n

维函数f(X)=f(x1,x2,…,xn)，在点X(K)=[x1(K),

x2(K),…,xn(K)]T的一阶偏导数表示为，…，三、多元函数的方向导数、梯度和赫赛矩阵函数的梯度

n维函数的梯度是函数各维一阶偏导数组成的向量02九月202343梯度的模是函数各维一阶偏导数平方和的开方梯度与它的模的比值称为梯度的单位向量02九月202344函数梯度的性质1、函数的梯度

f(X(K))是函数在点X(K)的最速上升方向，而负梯度-

f(X(K))是函数在点X(K)的最快下降方向。

函数的梯度随着点X(K)在设计空间的位置不同而异，这只是反映了函数在点X(K)

邻域内函数的局部性质。02九月2023452、函数梯度的模是在点X(K)函数变化率的最大值。

3、函数的梯度

f(X(K))与在点X(K)的函数等值面正交。与点X(K)的函数等值面相切方向的函数变化率为零。02九月20234602九月202347X(K)x1x2O上升方向变化率为零的方向（切线方向）下降方向最速下降方向最速上升方向（法线方向）▽f(X(K))－▽f(X(K))02九月202348注意，函数f(X)在某点X(K)的梯度向量

f(X(K))仅反映f(X)在点X(K)附近极小邻域的性质．因而是一种局部性质。函数在定义域内的各点都各自对应着一个确定的梯度。函数的赫森矩阵

函数的二阶偏导数矩阵它是一个n×n阶的对称矩阵02九月202349赫森矩阵正定和负定的判定如果赫森矩阵行列式各阶主子式全部大于零，即02九月202350则它是正定的。如果各阶主子式是相间的一负一正，则它是负定的。02九月202351…设f(x)为定义在XDRn中的n元函数。向量X的分量x1,x2,…,xn，就是函数的自变量。设x(k)为定义域内的—个点，且在该点有连续的n＋1阶偏导数，则在该点附近可用泰勒级数展开，如取到二次项02九月202352多元函数的极值条件02九月202353如用向量矩阵形式表示，则上式可写为

02九月202354可简写为02九月202355式中

02九月202356

f(X(k))是函数f(X)在点X(k)的一阶偏导数矩阵，称为函数在该点的梯度。

2f(X(k))是函数f(X)在点X(k)的二阶偏导数组成的，n

n阶对称矩阵，或称为f(X(k))的赫森(Hessian)矩阵，记作H(X(k))。02九月202357公式中只取到泰勒级数二次项，称为函数的二次近似表达式。极值点存在的必要条件。n元函数在定义域内极值点X*存在的必要条件

02九月202358即对每一个变量的一阶偏导数值必须为零，或者说梯度为零(n维零向量)。与一元函数对应，满足梯度为零只是多元函数极值点存在的必要条件，而并非充分条件；02九月202359满足

f(X*)的点X*称为驻点驻点是否为极值点，尚须通过二阶偏导数矩阵来判断。02九月202360极值点存在充分条件

如何判断多元函数的一个驻点是否为极值点呢?

将多元函数f(X)在驻点X*附近用泰勒公式的二次式近似地表示，则由式得02九月202361由X*为驻点，

f(X*)=0，于是有02九月202362在X*点附近的邻域内，若对一切的X恒有亦即02九月202363

则X*为极小点

否则，当恒有则X*为极大点

根据矩阵理论知，由式得极小点的充分条件为：02九月202364亦即驻点赫森矩阵H(X*)必须为正定

同理知极大点的充分条件为：02九月202365亦即驻点赫森矩阵H(X*)必须为负定。而当02九月202366亦即驻点赫森矩阵H(X*)既非正定，又非负定，而是不定，f(X)在X*处无极值。

至于对称矩阵正定、负定的检验，由线性代数可知：对称矩阵02九月202367正定的条件是它的行列式|A|的顺序主子式全部大于零，即02九月202368……

…负定的条件是它的行列式|A|中一串主子式为相间的一负一正的，即02九月202369

至此，完全不难自行归纳得出无约束目标函数极值点存在的充分必要条件和用数学分析作为工具对n维无约束优化问题寻求最优解。02九月202370无约束目标函数的极值条件

必要条件：在点X*=[x1*,x2*,…,xn*]T的一阶偏导数为零（即梯度向量为零向量）

02九月202371充分条件：如果它的二阶偏导数矩阵（即赫森矩阵）是负定的，则为极大点；如果它的二阶偏导数矩阵是正定的，则为极小点。02九月202372求三维函数的极值点。

解：根据三维函数存在极值的必要条件，令梯度为零

02九月202373联解得到02九月202374计算点的赫森矩阵

赫森矩阵行列式各阶主子式

02九月20237502九月202376赫森矩阵是正定的，是极小点。对应的目标函数值02九月20237702九月202378最优值指全域而言极值局部的性质一般来说，在函数定义的区域内部，最优点必是极值点，反之却不一定。3-5函数的凸性

02九月202379x1x2x1x2OODX(2)X(1)X(2)X(1)D(a)(b)一、凸集与非凸集

设D为n维欧氏空间中设计点X的一个集合，若其中任意两点x(1)和x(2)的连线都在集合中，则称这种集合是n维欧氏空间的一个凸集。二维函数的情况如图所示，其中图(a)为凸集，图(b)为非凸集02九月202380凸集的概念02九月202381凸集的定义定义：设集合S

Rn，若x(1),x(2)

S,

[0,1]，必有

x(1)＋(1-

)x(2)

S，则称S为凸集。规定：单点集{x}为凸集，空集

为凸集。注:

x(1)＋(1-

)x(2)=x(2)＋

(x(1)-x(2))

是连接x(1)与x(2)的线段。02九月202382凸集非凸集凸集02九月202383二、凸函数最优值最优值与极值之间的关系目标函数的凸性性质02九月202384凸函数的概念xx(2)x*x(1)Of(x)f(x(1))f(x*)f(x(2))xf(x)x(2)x*x(1)Of(x(1))f(x(2))f(x*)(a)(b)用一元函数来说明函数的凸性。如图所示，图(a)在x(1)、x(2)区间曲线为下凸的，图(b)的曲线是上凸的，它们的极值点(极小点或极大点)在区间内都是唯一的。这样的函数称为具有凸性的函数，或称为单峰函数。02九月20238502九月202386凸函数的定义定义：设f(X)为定义在n维欧氏空间中一个凸集D上的函数，若对任何实数

(01)及D域中任意两点X(1)与X(2)存在如下关系：则称函数f(X)是定义在凸集D上的一个凸函数。

02九月202387Of(x)xx(1)x(k)x(2)f(x(1))f(x(2))f[ξx(1)+(1-ξ)x(2)]ξf(x(1))+(1-ξ)f(x(2))现用上图所示定义于区间[a,b]的单变量函数来说明这一概念。若连接函数曲线上任意两点的直线段，某一点x(k)的函数值恒低于此直线段上相应的纵坐标值时，这种函数就是凸函数，也就是单峰函数。02九月202388

若将式中的符号“≤”改为“

”则称函数f(X)为严格凸函数。02九月20238902九月202390凸函数区间[a,b]单峰函数符号“≤”函数f(X)为凸函数符号“

”函数f(X)为严格凸函数

若将式中的符号“≤”改为“≥”，函数曲线上凸(有极大点)通常称为凹函数。显然，若为凸函数，则-f(X)凹函数。02九月202391

三、凸函数的基本性质1）若函数f1(X)和f2(X)为凸集上的两个凸函数，对任意正数a和bf(X)＝af1(X)+bf2(X)

仍为D集上的凸函数；02九月2023922)若X(1)与X(2)为凸函数f(X)中的两个最小点，则其连线上的一切点也都是f(X)的最小点。02九月202393四、凸函数的判定判别法1：若函数f(X)在D上具有连续一阶导数，而D为D1内部的一个凸集，则f(X)为D上的凸函数的充分必要条件为：对任意的X(1)与X(2)

，恒有02九月202394判别法2：若函数f(X)在凸集D上存在二阶导数并且连续时，对f(X)在D上为凸函数的充分必要条件为：对于任意的XD，

f(X)的赫森矩阵H(X)处处是正半定矩阵。02九月202395若赫森矩阵H(X)对一切XD都是正定的，则f(X)是D上的严格凸函数，反之不一定成立。02九月202396五、函数的凸性与局部极值及全域最优值之间的关系

设f(X)为定义在凸集D上的一个函数，一般来说，f(X)的极值点不一定是它的最优点。但是，若f(X)为凸集D上的一个凸函数，则f(X)的任何极值点，同时也是它的最优点。若f(X)还是严格凸函数，则它有唯一的最优点。02九月202397六约束极值点存在条件1有约束的极值问题02九月202398gi(X)≥0不等式约束，hj(X)=0等式约束02九月202399

在约束条件下求得的函数极值点，称为约束极值点。

2不等式约束问题的一阶最优性条件

02九月2023100起作用约束不起作用约束

02九月2023101x1x2x2x1f(X)f(X)g1(X)g4(X)Og2(X)g4(X)g1(X)g3(X)f(X)等值线6.2543.810.251234O-212X*(1)X*(2)(b)(a)D起作用约束下标集合用I表示02九月2023102或

在优化实用计算中常需判断和检查某个可行点是否约束极值点，这通常借助于库恩-塔克(Kuhn—Tucker)条件(简称K-T条件)来进行。02九月2023103K-T条件可阐述为：如果X(k)是一个局部极小点，则该点的目标函数梯度

f(X(k))可表示成该点诸约束面梯度

gi(X(k))的如下线性组合：

gi(iI)在X(k)处可微；gi(iI)在X(k)处连续；

gi(X(k))(iI)线性无关02九月202310402九月2023105gi(iI)在X(k)处也可微，可写成等价形式iI时，gi0，wi＝0iI时，gi=0，对wi无限制wig(X(k))=0，i=1，2，…，m称为互补松弛条件；wi

0，i=1，2，…，m，亦称拉格朗日乘子。02九月2023106

等式约束性问题的最优性条件几何意义是明显的：考虑一个约束的情况：最优性条件即：02九月2023107-▽f(x2*)x2*

▽h(x2*)h(x)-▽f(x1*)▽h(x1*)这里x1*---l.opt.▽f(x1*)与▽h(x1*)

共线，而x2*非l.opt.▽f(x2*)

与▽h(x2*)不共线。3一般约束问题的一阶最优性条件

02九月2023108

如果x*是l.opt.,对每一个约束函数来说，只有当它是起作用约束时，才产生影响，如：02九月2023109g2(x)=0x*g1(x)=0g1(x*)=0,g1为起作用约束K-T条件可阐述为：如果X(k)是一个局部极小点，则该点的目标函数梯度

f(X(k))可表示成该点诸约束面梯度

gi(X(k))的如下线性组合：

f、gi(iI)在X(k)处可微gi(iI)在X(k)处连续hj(X(k))(j=1，2，…，l)在X(k)处连续可微02九月202311002九月2023111gi(iI)在X(k)处也可微，可写成等价形式02九月2023112wig(X（k）)=0，i=1，2，…，m仍称为互补松弛条件

可以对K-T条件用图形来说明。如果X(k)是一个局部极小点，则该点的目标函数梯度

f(X(k))应落在该点诸约束面梯度

gi(X(k))、

hj(X(k))在设计空间所组成的锥角范围内。02九月202311302九月2023114如图所示，图(a)中设计点X(k)不是约束极值点，图(b)的设计点X(k)是约束极值点。

X(k)▽h(X(k))▽g2(X(k))▽f(X(k))▽g1(X(k))▽g3(X(k))(a)X(k)▽g2(X(k))▽g3(X(k))▽g1(X(k))▽h(X(k))▽f(X(k))(b)02九月2023115123412g1=0g2=0g4=0x1g3=0x2x*▽g2(x*)▽g1(x*)-▽f(x*)(3,2)T02九月2023116用K-T条件求解：02九月202311702九月2023118可能的K-T点出现在下列情况：①两约束曲线的交点：g1与g2，g1与g3，g1与g4，g2与g3，g2与g4，g3与g4。②目标函数与一条曲线相交的情况：g1，g2，g3，g4

对每一个情况求得满足K-T条件的点(x1，x2)T及乘子w1，w2，w3，w4，且wi≥0时，即为一个K-T点。02九月2023119下面举几个情况：

g1与g2交点：x=(2,1)T∈S，I={1,2}则w3=w4=0

解02九月202312002九月202312102九月202312202九月2023123七最优化设计的数值计算迭代方法无约束优化问题和约束优化问题当其数学模型确定以后求其最优解，实质上都属于目标函数的极值问题。两者的优化求解方法联系紧密，其中无约束优化方法又是优化方法中最基本的方法。02九月2023124迭代算法的概念迭代法是一种重要的逐次逼近的方法。这种方法用某个固定格式反复计算和校正所求问题的近似解（如方程的根、函数的极值点等），使之逐次精确化，最后得到满足精度要求的结果。求一维方程在附近的一个根。

解：可将方程改写为下列形式用所给的初始值近似代入上式的右端得到第一个近似解由于和有较大偏差，再将作为初始值，并且重复上面的计算步骤，如此继续下去。这种逐步逼近的过程称作迭代过程。02九月2023126该例求解该一维方程迭代格式是随着迭代次数逐渐增大，直至相邻两次迭代点的偏差小于预先给定的精度值为止。02九月2023127无约束最优化算法，每次迭代都按——选定方向S和一合适的步长

向前搜索，可以写出迭代过程逐次搜索新点的向量方程式02九月2023128迭代过程的每一步向量方程式，都可写成如下的迭代格式02九月2023129

式中：X(k)－第k步迭代的出发点；

X(k+1)－第k步迭代产生出的新点；

S(k)－是向量，代表第k步迭代的前进方向(或称搜索方向)；

(k)—是标量，代表第k步沿S(k)方向的迭代步长(或称步长因子)。

在一系列的迭代计算k=1,2,…过程中，产生一系列的迭代点(点列)X(0)，X(1)，…，X(k)，X(k+1)

。为实现极小化，目标函数的值应一次比一次减小，即02九月2023130f(X(0))

f(X(1))

…

f(X(k))

f(X(k＋1))

直至迭代计算满足一定的精度时，则认为目标函数值近似收敛于其理论极小值。

02九月202313102九月2023132优化迭代算法的分类

搜索算法是一种迭代算法，搜索方向和步长因子构成了每一次迭代的修正量，表明它们是决定算法好坏的重要因素。在搜索方向上，使目标函数取得极小值的步长因子，称为该方向上最优步长因子。在优化设计中，求解最优步长因子主要采用数值解法，即利用计算机通过反复的迭代计算，求解出最优步长因子的近似值。目前已有很多优化方法，各种方法的区别就在于确定方向和步长因子的方法不同。02九月2023133

1、直接搜索法

这种方法只需要进行函数值的计算与比较来确定优化的方向和步长。例如一维搜索中的黄金分割法、二次插值法等，在多维问题中的随机方向法、共轭方向法和复合形法等。02九月20231342、间接搜索法

这种方法需要利用函数的一阶或二阶偏导数矩阵来确定优化方向和步长，例如梯度法以负梯度矢量方向为搜索方向，就需要计算函数的一阶偏导数矩阵。牛顿法则同时需要求出目标函数的一阶偏导数矩阵和二阶偏导数矩阵的逆阵才能确定迭代方向和步长。02九月2023135

数值计算迭代方法：直接从目标函数f(X)出发，构造一种使目标函数值逐次下降逼近，利用计算机进行迭代格式一步步搜索、调优并最后逼近到函数极值点或达到最优点02九月2023136根据确定搜索方向和步长的方法不同，数值计算寻优可有许多方法，但其共同点是：1)要具有简单的逻辑结构并能进行同一迭代格式的反复的运算：02九月20231372)这种计算方法所取得的结果不是理论精确解，而是近似解.

其精度是可以根据需要加以控制的。02九月2023138

一、迭代法的基本思想及其格式迭代法是适应于计算机工作特点的一种数值计算方法。其基本思想是：在设计空间从一个初始设计点X(0)开始，应用某一规定的算法，沿某一方向S(0)和步长

(0)产生改进设计的新点X(1)

，使得f(X(1))

f(X(0))

，02九月2023139然后再从点X(1)开始，仍应用同一算法，沿某一方向S(1)和步长

(1)

，产生又有改进的设计新点X(2)

，使得f(X(2))

f(X(1))

，这样一步一步地搜索下去。02九月2023140使目标函数值步步下降，直至得到满足所规定精度要求的、逼近理论极小点的X*点为止。这种寻找最优点的反复过程称为数值迭代过程。下图为二维无约束最优化迭代过程示意图02九月202314102九月2023142x1x2OX*X(4)X(3)X(2)X(1)X(0)二、迭代计算的终止准则希望迭代过程进行到最终迭代点到达理论极小点或者使最终迭代点与理论极小点之间的距离足够小到允许的精度才终止迭代。02九月2023143实际上对于一个待求的优化问题，其理论极小点并不知道。只能从迭代过程获得的迭代点序列X(0)，X(1)，…

，X(k)，X(k+1)

，…所提供的信息02九月2023144根据一定的准则判断出已取得足够精确的近似极小点时，迭代即可终止。最后所得的点即认为是接近理论极小点的近似极小点。对无约束最优化问题常用的迭代过程终止准则一般有以下几种。02九月2023145

1)点距准则

当相邻两迭代点X(k)，X(k+1)之间的距离已达到充分小时，即小于或等于规定的某一很小正数

时，迭代终止。02九月2023146一般用两个迭代点向量差的模来表示，即

也可用迭代点在各个坐标轴上的分量来表示02九月20231472)函数下降量准则

当相邻两迭代点X(k