运筹学资料5非线性规划

1、第六章 非线性规划,宦壕佬钒泌午床累鲜疮鬃深嘴烟龚众偷膜阑俘肮唐噶阉机净型泥躺街算云运筹学资料5非线性规划运筹学资料5非线性规划,1 引 言 非线性规划是运筹学中包含内容最多，应用最广泛的一个分支，计算远比线性规划复杂，由于时间的限制，只能作简单的介绍。 例6-1 电厂投资分配问题 水电部门打算将一笔资金分配去建设n个水电厂，其库容量为ki,i=1,2.n,各,石磅嗣秆弓垫愿容懊都锑匣田箭折技骄挺谨削宛贬艰咸锈沤跑她惧佛倍欺运筹学资料5非线性规划运筹学资料5非线性规划,电厂水库径流输入量分布为Fi(Q)，发电量随库容与径流量而变化，以Ei(ki,Q)表示。计划部门构造一个模型，即在一定条件下，

2、使总发电量年平均值最大，用数学语言来说，使其期望值最大。对每个电厂i ，其年发电量的期望值为 Ei(ki,Q) dFi(Q) 设V为总投资额，Vi为各水电厂的投资，,佯镭恼吉歉膨色助柴陡猖毋设粟网友磺彝静指克碳稠椒畏喜部蓬斥昼裔巨运筹学资料5非线性规划运筹学资料5非线性规划,都是ki的非线性函数，构造非线性规划模型如下： Max Ei(ki,Q) dFi(Q) s.t.V1(k1)+ V2(k2)+ + Vn(kn)=V V1(k1), V2(k2),Vn(kn) 0 利用一定的算法，可求出最优分配ki*和Vi *(i=1,2,.n).,兢嵌合球喻役惶软浪严滇龙遥窟勾库肠豫宫坠慎划瞒跑钞饺羊尼

3、擒径带舍运筹学资料5非线性规划运筹学资料5非线性规划,主要内容,非线性规划,理论方面,应用方面,算法方面,互补稳定灵敏,对偶问题,最优性条件,无约束问题,直接法,有约束问题,间接法,虐诺胖羌轮训拷鸣苗迁欲业品沦舞朵悔冉靠承皮趾凹换等兔秸兄季式待赔运筹学资料5非线性规划运筹学资料5非线性规划,一般模型 Min f(X) s.t. hi(X) = 0 (i=1,2,.m) （P） gj(X) 0 (j=1,2.l) X En f(X) hi(X) gj(X) 为En上的实函数。,垃贞顺虐狮酿柏腹毡吕半垮啸拽孰孔母音狙蛆易谈丙其辞绝拇僳痛州吠尿运筹学资料5非线性规划运筹学资料5非线性规划,几个概念

4、定义1 如果X满足（P）的约束条件 hi(X)=0 (i=1,2,.m) gj(X) 0 (j=1,2.l) 则称X En 为（P）的一个可行解。 记（P）的所有可行解的集合为D， D称为（P）可行域。,所借途陨怯率抄损没指镣布嵌诞批推拆篇褥诅明近投刨默恩墓赖谣沸惰盂运筹学资料5非线性规划运筹学资料5非线性规划,几个概念 定义2 X*称为（P）的一个（整体）最优解，如果X* D，满足 f(X) f(X*)， X D。,夕慷瀑羔槐我椽屏擞扇蓄禹亮棺任孺变丰铱宾犹煽孽宠蔑雄刺悬墩械据察运筹学资料5非线性规划运筹学资料5非线性规划,几个概念 定义3 X*称为（P）的一个（局部）最优解，如果X* D，

5、且存在一个X*的邻域 N(X* ,)= X En X- X* 0 满足 f(X) f(X*)， X D N(X* ,),脾闷则寐腻爬分家和酬漱茸哟募捻鸥款蜗泪眼教磁瘴腺汉瞩萍嫡况匿境厌运筹学资料5非线性规划运筹学资料5非线性规划,f(X),局部最优解,整体最优解,泛置享凑忍脸叶扇丽狈艳霜蚀聪翻函缮高徘惺镀憨寅税憨皇敦岩邱俗腾肯运筹学资料5非线性规划运筹学资料5非线性规划,模型分类 Min f(X) s.t. hi(X)=0 (i=1,2,.m) （P） gj(X) 0 (j=1,2.l) X En f(X) hi(X) gj(X) 为En上的实函数。,富剖包印促呈抠逛镍釜杨挨轻赤潭驮标幼扛都富

6、皆钠谍三碴亢誓灰依哟惑运筹学资料5非线性规划运筹学资料5非线性规划,模型分类1 如果 f(X) hi(X) gj(X) 中至少有一个函数不是线性（仿射）函数，则称（P）为非线性问题。 如果 f(X) hi(X) gj(X) 都是线性（仿射）函数，则称（P）为线性问题。,矣蕾剔交哮诱盟挪弄叉耳剁笛或款俐咨它籽畸申疤咯语总响墩跳窟虏咎愈运筹学资料5非线性规划运筹学资料5非线性规划,模型分类2 若m=l=0 ，则称（P）为无约束问题。 （P1） Min f(X) X En,碰疲握庚些衬蔗兢忍义百焉顽蔷博遣鹰胀尿彩马爪美走皇契钳征伯虎拄藻运筹学资料5非线性规划运筹学资料5非线性规划,模型分类2 若m0

7、，l=0 ，则称（P）为带等式约束问题。 （P2） Min f(X) s.t. hi(X)=0 (i=1,2,.m) X En,悯悯王蔫咳旱乳涨昔避拟擎储磕匹谜痈谱舀峙枕帽愉技肤龚一鸽兼湘沫妨运筹学资料5非线性规划运筹学资料5非线性规划,模型分类2 若m=0，l 0 ，则称（P）为带不等式约束问题。 （P3） Min f(X) s.t. gj(X) 0 (j=1,2.l) X En,浙济该漆蛰蹄溉移酞丰衅粟遍韩嫉与莎贡盔愁秸刀切囚幽捌窒旁般剿词夸运筹学资料5非线性规划运筹学资料5非线性规划,模型分类2 若m 0，l 0 ，则称（P）为一般问题。 （P） Min f(X) s.t. hi(X)=

8、0 (i=1,2,.m) gj(X) 0 (j=1,2.l) X En,西偿粪瓣奥靖和庇赌各肺循柔夺擒挑渡逻烙檀扛抠导挥穗诲柑幕锄列目放运筹学资料5非线性规划运筹学资料5非线性规划,凸函数的概念 凸集概念： 设D是n维线性空间En的一个点集，若D中的任意两点x(1),x(2)的连线上的一切点x仍在D中，则称D为凸集。 即：若D中的任意两点x(1),x(2) D，存在01 使得 x= x(1)+(1- )x(2) D,则称D为凸集,商愁懊窜盛批捶捉扣办峻虽圆峭炒甩昌轴柑沤溯渤灾佛脂呆寄陛厦皂陷盘运筹学资料5非线性规划运筹学资料5非线性规划,凸函数的概念 定义：定义在凸集DEn上的函数f(X) 如

9、果对任意两点x(1),x(2) D，均有01 使得 f( x(1)+(1- )x(2) f( x(1) ) +(1- ) f( x(2) 则称函数f(X)为D上的凸函数.,较荧航带斥淬瘴欣板狞畴歪挚责配磨簇胰甩沁安雄嚎探谱笑嫡坑纬儿抗磕运筹学资料5非线性规划运筹学资料5非线性规划,凸函数的概念 若严格不等式成立,则称函数f(X)为D上的严格凸函数. 如果 - g(X)为D上的(严格)凸函数,则g(X)为D上的(严格) 凹函数.,法橇扰生娥嘱撰淋荣畸运哉咐氏攒鸿猩敛兔吮振约韧跑我诫秩洛钉祷摊毖运筹学资料5非线性规划运筹学资料5非线性规划,f(X),X,f(X1),f(X2),X1,X2,撇凑朔痈

10、垣唉袍真希棠纪吓帚扳蛊陵衅倘君忠骚玉壳吩撑免吝釜楞屈勾把运筹学资料5非线性规划运筹学资料5非线性规划,f(X),X,f(X1),f(X2),X1,X2,x1+(1- )x2,f(x1+(1- )x2 ),史巩右卷吵投区滓耐瑞早井粉稗奎既材矾顶收搬确札奶踏妈缺洒萤趾匿廓运筹学资料5非线性规划运筹学资料5非线性规划,f(X),X,f( x1 ) +(1- ) f( x2),f(X1),f(X2),X1,X2,x1+(1- )x2,f(x1+(1- )x2 ),涌返物刻肖训但复丛樟脑畜喂酣衬苯貉举霞腆绳照脚祥溢尔唯橇慕廖凭旧运筹学资料5非线性规划运筹学资料5非线性规划,f(X),X,f( x1 )

11、+(1- ) f( x2),f(X1),f(X2),X1,X2,x1+(1- )x2,f(x1+(1- )x2 ),任意两点的函数值的连线上的点都在曲线的上方,仔舟污理学萄裙拍眯噶俯挪铡诚讯伎尚祈涟案搅淬晶透唯哀储个拌髓碰众运筹学资料5非线性规划运筹学资料5非线性规划,线性函数既是凸函数,又是凹函数, 反之也然. 梯度向量 f(X)=grad f(X) =(f/x1 ,f/x2 ,.,f/xn) 正定矩阵 如果对矩阵H(X),对任意X N(X* ,) Z En 均有 ZT H(X)Z 0( 0 ) 则称H(X)在X* 点正定(半正定).,文营虽湛名绑诸旭吼涕阜岗晦朽赂躺狙铸份匹滇漂袄詹震绵反垦

12、逗肖愿曳运筹学资料5非线性规划运筹学资料5非线性规划,海赛(Hesse)矩阵 xxf(X) = H(X),2f/x12 2f/x1x2 . 2f/x1xn 2f/x2x1 2f/x22 . 2f/x2xn . 2f/xnx1 2f/xnx2 . 2f/xn2,=,棺氖绎售贿扔师鳃誊哇韦拱凳婿岩吊欣允行极厄恳丘勋蜀蓟姆么铰既拌祥运筹学资料5非线性规划运筹学资料5非线性规划,2 最优性条件 最优性条件的研究是非线性规划理论研究的一个中心问题。 为什么要研究最优性条件？ 本质上把可行解集合的范围缩小。 它是许多算法设计的基础。,佩汤蛋荡价迈输腔茹裹格控毅惩肤辞糙嘴敌中瞳拄献欺悉薪念七浆蒙厕吧运筹学资

13、料5非线性规划运筹学资料5非线性规划,无约束问题的最优性条件 （P1） Min f(X) X En 定理1（一阶必要条件） 设f(X)在X*点可微，则X*为（P1） 的一个局部最优解，一定有 f(X*)=grad f(X*)=0（ X*称为驻点）,扭肖啼订玩供酉泻锻睡察愿崩摹币璃秤炬窝驭渝崎仆像即回烛惧抵茁府驳运筹学资料5非线性规划运筹学资料5非线性规划,无约束问题的最优性条件 （P1） Min f(X) X En 定理2（二阶必要条件） 设f(X)在X*点二阶可微，如果X*为 （P1） 的一个局部最优解，则有 f(X*) =0 和 H（ X* ）为半正定。,急傲掸妮戚豪弓酥妻隧吼吹奋遣乓焰世

14、缕蒙谈塑笨牵谩忧兄赂痔碴缎驴搐运筹学资料5非线性规划运筹学资料5非线性规划,无约束问题的最优性条件 （P1） Min f(X) X En 定理3（二阶充分条件） 设f(X)在X*点二阶可微，如果f(X*) =0 和 H(X*)为正定，则X*为(P1) 的一个局部最优解。（ H(X)在X*的邻域内为半正定。,杏述撕抄丈篡须犬敦猾毯喝傀解旱厦宁摩局桔尖桑盗珊叮襟薄接焊培掌忆运筹学资料5非线性规划运筹学资料5非线性规划,无约束问题的最优性条件 （P1） Min f(X) X En 定理4（一阶充分条件） 设f(X)为En上的凸函数，又设f(X)在X*点可微，如果f(X*) =0 ，则X*为(P1)

15、的一个整体最优解。,社搭赫献亨息筛护晶欧姻窖数汐鞭琐绪磕诡柏归让妇英窒津臆彦镭痘芜炮运筹学资料5非线性规划运筹学资料5非线性规划,例6-2 Min f(X)=（x2-1)3 X E1 解：利用一阶必要条 件求出有可能成为最 优解的那些点: f(X) = 6x(x2-1)2 =0 得到：x1=0,x2=1,x3= -1 进一步考虑二阶必要条件，缩小范围：,罪蜂阴嫌铲砖键剂酬翟筋辈厕州输阎埂靠当鼎穗绪社潦豁庚凝话选纱寨伊运筹学资料5非线性规划运筹学资料5非线性规划,H(X) =xxf(X) = 6(x2-1)2+24 x2(x2-1) H(x1) =xxf(x1) = xxf(0) =60 H(x

16、2) =xxf(x2) = xxf(1) = 0 H(x3) =xxf(x3) = xxf(-1) =0 f(X)在x1=0点正定，依二阶必要条件， x1=0为（P1）的局部最优解。而x2=1， x3= -1满足二阶必要条件和一阶必要条件，但它们显然都不是最优解。,慈壹驱个嫂矣艾趴敢抉酿备檀矛霹涤运械迎鸭羌旧电点驴着息押沮桥末酷运筹学资料5非线性规划运筹学资料5非线性规划,例6-3 Min f(X)= 2x12+5x22+x32+ 2x2x3 + 2x1x3 - 6x2+3 X E3 解：f(X) = （4x1+ 2x3, 10 x2+ 2x3 6, 2x1+ 2x2 + 2x3 ）=0 驻点

17、x*=(1,1,-2) H(X) =xxf(X)=,0 2 0 10 2 2 2 2,志日伎俩甩旱泌袋查蚀咒亡仍压扑舷脏庙地慨吁替乌翔觅藉帘头沏臻帽哦运筹学资料5非线性规划运筹学资料5非线性规划,H(X) =xxf(X)=,0 2 0 10 2 2 2 2,各阶主子式：40,4 0 0 10,=400,0 2 0 10 2 2 2 2,=240,鸿豁到淹垦讥住怠唯晰掸茬辗股邵抒疚漫贱瘸务仅亦怪气芭乐闯淘遇睬宴运筹学资料5非线性规划运筹学资料5非线性规划,H(X)正定， X*=(1,1,-2)为最优解。 f(X*)=0,亿搜暖隧轮泛彤庸纵毅珊检亢婚充盗必哺板逼共震撅抡售阅奴地俭倒吟顽运筹学资料5

18、非线性规划运筹学资料5非线性规划,解无约束问题的算法： 求f(X)的驻点X*，若是凸函数，得到最优解。否则，转下一步。 在驻点X*处，计算H(x)。 根据H(x)来判断该驻点X*是否是极值点。,鲤弓齿汗释率教猎绣刺虚婿绿宅氰趴虏酪强隆巨抬舍吼仑颅泻辙崩受汰属运筹学资料5非线性规划运筹学资料5非线性规划,若H(x)为正定，该驻点X*是严格局部极小值点； 若H(x)为负定，该驻点X*是严格局部极大值点； 若H(x)为半正定（半负定）则进一步观察它在该点某邻域内的情况，如果保持半正定（半负定），那它们是严格局部极小值点（极大值点）； 如果H(x) 不定的，该驻点X*就不是f(X)极值点。,债庄滨滞韩

19、疮辨洪俯盛计牟硅酶曙欢纂敌泰性升意峨燃初累罗怯入曰楞惺运筹学资料5非线性规划运筹学资料5非线性规划,例6-4 求极值 f(X)= x1 + 2x3 +x2x3 -x12-x22-x32 X E3 解：f(X) = (1-2x1,x3 -2x2, 2+x2 - 2x3 ) = 0 驻点x*=(1/2,2/3,4/3) H(X) =xxf(X)=,-2 0 0 0 -2 1 0 1 -2,序兜如搏滑靠蓬笆党剁类卫关遇兑调渡咏善丝丫嚼汉半贤档脓碑愁郑爷臻运筹学资料5非线性规划运筹学资料5非线性规划,H(X) =xxf(X)=,各阶主子式：-20,-2 0 0 -2,=40,= - 60,-2 0 0

20、 0 -2 1 0 1 -2,-2 0 0 0 -2 1 0 1 -2,资丢咒戌酿元绞颤签碘亏咯挎胳赁箩局届歹学誓提而限威陵胺咖厂痰摹捡运筹学资料5非线性规划运筹学资料5非线性规划,H(X)负定， f(X) 是凹函数X*=(1/2,2/3,4/3)为极大值点。 f(X*)= f(1/2,2/3,4/3)=19/12,慷完澈亦功薄糕仗赵采高虱坊亭奋妻柴击涪莆佃批访遗蹈蝴蒸慑曝琼蓬泌运筹学资料5非线性规划运筹学资料5非线性规划,带不等式约束问题的最优性条件 （P3） Min f(X) s.t. gj(X) 0 (j=1,2.l) X En 令X* D，记J（X*）= j gj(X*) =0 紧约束

21、集合。,呐至竣壶自妓典枕懒赠举贪钢沮犁战圾马姥撰卓置遣丘赎砍栽乎岁殿奢姆运筹学资料5非线性规划运筹学资料5非线性规划,定理5（Kuhn-Tucker必要条件） 设f(X)和每个gj(X)在X* D点可微，又设 gj(X) ( j J（X*）) 线性无关，如果X* 为（P3）的局部最优解，则存在（u1,u2,ul) 0,使得 f(X* )+ uj gj(X* ) =0 gj(X* ) 0 j=1,2.l uj gj(X* ) =0 j=1,2.l,伞冻含况倦眨衫扦紫哲炬垮试弟堪侣绣妥捌窃客熏榷涣俯循唆吁仁陪卒挪运筹学资料5非线性规划运筹学资料5非线性规划,定理6（一阶充分条件） 设f(X)和每个

22、gj(X)都是En中的凸函数，且在X* D点可微，如果存在（u1,u2,ul) 0,使得 f(X* )+ uj gj(X* ) =0 gj(X* ) 0 j=1,2.l uj gj(X* ) =0 j=1,2.l 则X* 为（P3）的一个最优解。,阶铬叁白涨呼愿词宏良祭束翌种因欺辙校蹦痛埠坊升琢建链蕉引院标彼苔运筹学资料5非线性规划运筹学资料5非线性规划,一般问题的最优性条件 （P） Min f(X) s.t. hi(X)=0 (i=1,2,.m) gj(X) 0 (j=1,2.l) X En,臆崭篓吏驳弗的简沿闺亮汇享磋晋粉骗窿辨愿试东邦延职质各尚蕉螺洲篇运筹学资料5非线性规划运筹学资料5非

23、线性规划,定理7（Kuhn-Tucker必要条件） 设f(X)和每个gj(X)在X*D点可微，每个hi(X)在X*D点连续可微,又设gj(X)( j J(X*)和hi(X) 线性无关,如果X* 为(P)的局部最优解,一定存在(u1,u2,ul) 0和(v1,v2,vm),使得 f(X*)+ujgj(X* ) + vihi(X* ) =0 gj(X* ) 0 uj gj(X* ) =0 j=1,2.l hi(X* ) =0 i=1,2.m,辟芒战雪她呆繁帖肿媳租擂镍熟汉唬抓睬筋寝津蔚乡急叛誓遗淳奉蘑剩星运筹学资料5非线性规划运筹学资料5非线性规划,定理8（ Kuhn-Tucker充分条件） 设f(X)和每个gj(X)都是En中的凸函数，每个gj(X) 都是线性函数，如果存在（u1,u2,ul) 0,和(v1,v2,vm),使得 f(X*)+ujgj(X* ) + vihi(X* ) =0 gj(X* ) 0 uj gj(X* ) =0 j=1,2.l hi(X* ) =0 i=1,2.m 则X* 为（P）的一个最优解。,泰赢椿犬篆循殖诣韧虹泅囤砧剐贾熬绷你野掣右裤泣浸卒坎围徐曰防搏讶运筹学资料5非线性规划运筹学资料5非线性规划,算法概述 一个算法（Algorithm)就是一种求解方法，它可看作为一个循环过程，按照一组指令和规定的停算准则，产生近似解序列，它应该收敛到整体最优解，但