非线性规划-多维约束优化-0507

1、第六章 非线性规划 多维约束非线性优化 求解方法解有约束非线性规划的方法分类 将约束合并到目标函数中，问接地加以处理，把有约束的非线性规划问题转化为一个无约束的非线性规划问题，然后再用无约束问题的方法求解，例如惩罚函数法、碰壁函数法、广义乘子法等均属于此类解法。利用适当调整搜索方向和步长把无约束方法推广到有约束问题去，即以直接方式处理约束。但在迭代过程中时时考虑到迭代点的位置不要超出约束约束函数的允许范围（即不要越出可行域），例如可行方向法、梯度投影法、既约梯度法等均属于此类解法。利用线性函数逼近方法，把非线性规划问题归结为解一系列线性规划问题。把非线性问题转化为线性问题是常用方法之一。拉格朗

2、日乘子法 等式约束下的拉格朗日乘子法 拉格朗日乘子法拉格朗日乘子法例1 求解非线性规划问题拉格朗日乘子法不等式约束下的拉格朗日乘子法 拉格朗日乘子法拉格朗日乘子法例2 用拉格朗日乘子法求解非线性规划问题 拉格朗日乘子法序列无约束极小化法 概述外点罚函数法 惩罚项定义外点罚函数法 惩罚函数惩罚因子的取法 关于惩罚因子的取法，根据计算经验可以选取： 外点罚函数法 计算步骤 外点罚函数法 收敛性分析外点罚函数法 例1外点罚函数法外点罚函数法内点障碍函数法 障碍项定义内点障碍函数法 内点障碍函数法 内点障碍函数法 迭代步骤 内点障碍函数法 例1混合惩罚函数法 外点罚函数法和内点障碍函数法的比较 由表可

3、以看出，外点法和内点法各有优缺点并有不同的适用范围。因此，可以将两者结合起来使用，对于具有等式和不等式两种约束的非线性规划问题，在给出之后，对等式约束和不能满足的不等式约束使用惩罚函数，对可以满足的不等式约束使用障碍函数。 混合惩罚函数法 混合法的目标函数混合惩罚函数法 混合惩罚函数法 迭代步骤 近似规划法 近似规划法 例1近似规划法 多维约束优化的MATLAB求解 多维约束优化的MATLAB求解 调用格式x = fmincon(fun,x0,A,b)x = fmincon(fun,x0,A,b,Aeq,beq)x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub)x =

4、fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon)x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options)x = fmincon(problem)x,fval = fmincon(.)x,fval,exitflag = fmincon(.)x,fval,exitflag,output = fmincon(.)x,fval,exitflag,output,lambda = fmincon(.)x,fval,exitflag,output,lambda,grad = fmincon(.)x,fval,exitflag

5、,output,lambda,grad,hessian = fmincon(.)多维约束优化的MATLAB求解 输入参数和输出参数 多维约束优化的MATLAB求解 求解算法选择有效集算法并不使用用户提供的有关Hessian矩阵的信息，而是利用拟牛顿法取Hessian矩阵的近似值。基于映射牛顿法的置信域算法使用用户提供目标函数的Hessian矩阵的解析形式，该解析形式由目标函数的第三个输出参数给出。由于该算法的约束形式仅限于边界约束和线性约束，故其在拉格朗日乘子处的Hessian矩阵和目标函数的Hessian矩阵形式相同。通过下述命令使得fmincon在求解过程中使用Hessian矩阵的解析形式

6、options = optimset(Hessian,user-supplied);如果不设置该参数，则算法采用有限差分近似。内点算法使用用户提供的Hessian矩阵的信息，但是方式和置信域算法不同，它不是由目标函数的第三个输出参数得到，而是需要建立单独的描述Hessian矩阵的文件，文件的形式为：hessian = hessianfcn(x, lambda)如果最优化问题的设计变量是n维列向量，则hessian是一个n维方阵，稀疏形式或者稠密形式均可。lambda是非线性约束的拉格朗日乘子结构变量，它是与最优化问题的非线性约束相关的向量，其中包含：lambda.ineqnonlin和lamb

7、da.eqnonlinoptions = optimset(Hessian,user-supplied,.HessFcn,hessianfcn);多维约束优化的MATLAB求解 约束函数nonlcon 多维约束优化的MATLAB求解 输出参数exitflag的物理意义输出参数lambda给出了在解x处的拉格朗日乘子信息，该结构变量中所包含的属性及其相应的含义输出参数output结构变量中所包含的信息 多维约束优化的MATLAB求解 控制参数设置 多维约束优化的MATLAB求解 命令详解 多维约束优化的MATLAB求解 多维约束优化的MATLAB求解 多维约束优化的MATLAB求解几点说明需要注

8、意的是，函数fmincon基于梯度信息求解非线性规划问题。一般而言，需要目标函数和约束函数均为连续函数且连续一阶可微。对于fmincon中使用的基于牛顿映射的置信域算法，它不允许设计变量的上下界相等，如果对于某个设计变量有lb(i)=ub(i)，则fmincon会返回错误信息： Equal upper and lower bounds not permitted in this large-scale method. Use equality constraints and the medium-scale method instead.在fmincon中有两种传递Hessian的方法，对于不

9、同的算法将采用不同的传递方式，对于置信域算法，由于无非线性约束，故其拉格朗日乘子函数的Hessian矩阵与目标函数的Hessian矩阵的形式相同，故只需通过目标函数的第三个输出函数进行传递。但对于内点算法，拉格朗日乘子函数包含了非线性约束函数的拉格朗日乘子形式，故需要需要建立独立的函数文件对x处的拉格朗日乘子函数以及拉格朗日乘子结构变量lambda进行描述。多维约束优化的MATLAB求解例1多维约束优化的MATLAB求解多维约束优化的MATLAB求解例2多维约束优化的MATLAB求解多维约束优化的MATLAB求解例3多维约束优化的MATLAB求解多维约束优化的MATLAB求解例4 自定义梯度和

10、Hessian矩阵的计算公式求解最优化问题 多维约束优化的MATLAB求解多维约束优化的MATLAB求解多维约束优化的MATLAB求解例5多维约束优化的MATLAB求解例6多维约束优化的MATLAB求解多维约束优化的MATLAB求解多维约束优化的MATLAB求解多维约束优化的MATLAB求解多维约束优化的MATLAB求解多维约束优化的MATLAB求解综合实例例1综合实例综合实例综合实例综合实例综合实例综合实例例2综合实例综合实例综合实例本章重点回顾(1) 非线性规划问题的建模方法，包括一维的问题和多维的问题；(2) 非线性规划问题的极值条件，重点是K-T条件；(3) 一维搜索的试探法和插值法的原理和实施方法；(4) 多维无约束