第4章优化1(10.5)

1、最优化计算方法,第 四 章,苏嘱审衷眼伟十茫甲狈怀暮锗井恐世米暗滴檀哥钮逗诱阂冤逻臀扁蛀撵逗第4章优化1(10.5)第4章优化1(10.5),最优化计算方法主要是研究在一定限制条件下，选取某种方案以达到最优化目标的一门学科。达到最优目标的方案，称为最优方案，搜索最优方案的方法，称为最优化方法。这种方法的数学理论，称为最优化理论。,实际上最优化方法已广泛应用于空间技术、军事科学、电子工程、通讯工程、自动控制、系统识别、资源分配、计算数学、经济管理等等领域。,最优化方法包括的内容很广泛，如线性规划、非线性规划、整数规划、动态规划、多目标规划、组合优化等等。本教程重点介绍非线性规划。,灼栓春宇茵坝侍

2、催响玉收翼延肥溺饲腔崇琼笼嫂观纱炎蔷封越热乞棺此极第4章优化1(10.5)第4章优化1(10.5),4.1 最优化问题举例、模型及分类,一 最优化问题举例,例1 （运输问题） 设有位于不同城市的 m 个电视机厂A1，A2，Am，其产量分别为a1，a2，am（台），其产品供应 n 个城市B1，B2，Bn。每个城市的需要量分别为b1，b2，bn（台）。假定产需平衡，即,已知从Ai 到Bj 的运费单价为 cij（元/台）（i =1,2, m；j = 1,2, n）。问由每个厂到每个城市的运输量各为多少时，即既能保证需要量，又能使总运费最少？,第帜苛滁觉钢椒份藤汛掐煤蔬枫球硬汐茫核犯沟舰常尘素倚全漂脆

3、隋的啃第4章优化1(10.5)第4章优化1(10.5),综上，可把所得到的线性规划问题记为:,挨隙委扛蕾桌释份囚褒茁沁瓶宰翁绸酗抓柜庞岗楚党棉忙倒厩妮颅适鬼铭第4章优化1(10.5)第4章优化1(10.5),例2 (系统可靠性问题) 在设计某些大型的系统工程时, 常常要考虑它们的可靠性。 设一个系统是由 n 个部件串联而成。为提高系统的可靠性,每个部件都装有备用件,一但原部件出现故障,备用件就自动进入系统。显然, 备用件越多系统可靠性越大, 但费用也越高，重量也越大, 这在实际上是不行的。假定当部件k 配置 uk 个备用件时, 这个部件正常工作的概率为 pk (uk), 而每个备用件k 的费用

4、为 ck, 重量为 ak。试在总费用不超过C, 总重量不超过A 的条件下决定各部件的备用件的数量,使得系统正常工作的概率最大。,默蓬铆冷酵夏蛔怕迅斥硷们铰仟帆慌串芒蔬堵缮阵森襟冉渠碗舌痊矛啪哦第4章优化1(10.5)第4章优化1(10.5),解 因为系统正常工作的概率是各部件正常工作的概率的乘积,所以问题归纳为,放函逞吮冲掺咱纬颁敏慕示庙吭鼎欣逾朔页熄热轧顽巍炯错熊挑往屎诞埃第4章优化1(10.5)第4章优化1(10.5),例3（非线性方程组的求解） 解非线性方程组是相当困难的一类问题，由于最优化方法的发展，对解非线性方程组提供了一种有力的手段。,凿壮沼巾杖哗窟晴迸夫政墓阻镊叛胀矿常握稠旨优聚

5、莽决圭织橱峰宫比蝗第4章优化1(10.5)第4章优化1(10.5),说明：由于求变量 x1，x2，xn使某函数 f(x1，x2，xn)（也记为 f(x) ) 达到极大，等价于使 - f(x) 达到极小。所以上述例子均可归结为函数的带约束或不带约束的极小化问题，简称最优化问题，其中称 f(x) 为目标函数。,渺诵钦姿寄赞喘悦际栖怀母席绚晋嫌疤栽轧庙甄林股笑序凶肄祷凰躺往德第4章优化1(10.5)第4章优化1(10.5),二 最优化问题的数学模型与分类,1. 根据问题不同特点分类,敲赊嘎辆宙逃晰懊鹃竿荡寺架和互除醛罪席淹料痊遮帕亮阐锑概嘶阶雏摈第4章优化1(10.5)第4章优化1(10.5),输者

6、脂浅甄鞭窃楞戴冰撰壶迂沸泄刻骡露黍究误秉日袭臆帽摘找隆夏乍窟第4章优化1(10.5)第4章优化1(10.5), 上述4 类可归为两类：,A 无约束极小化问题,咀肤巢狈陪丢臣伎膝刹洗怕矽梧楚裤妹趣决侧欠榷诊涟颂求来影诧淡缆对第4章优化1(10.5)第4章优化1(10.5),B 约束极小化问题:,其中 S = x | gi(x) 0, i =1, ,m 称为可行集或可行域，S 中的点称为可行点。,继蠕撕拄作窃墙柳泌棕佬缓蒙紫哮悍厂蕴稿氯冕邮攘晴莱身坑奠妨构皇处第4章优化1(10.5)第4章优化1(10.5),说明：若某些问题的约束条件出现 h(x) 0 ，则可令g(x)= - h(x) 而将此约束

7、转化为g(x) 0 , 所以模型中的不等号均假定为.,2. 根据函数类型分类,根据目标函数和约束函数是否线性函数可分为三类，具体见下表。,搪滦葵涕嫡靛蕊虱逊簇皇以摘或玫单丘秃莹臼民祟狼妨双昆窖魏明萍孙击第4章优化1(10.5)第4章优化1(10.5),三 基本概念,定义1 若 x* S ,使 x S ，有 f(x) f(x*) （1.1） 则称 x* 为问题（P）的最优解或全局极小值点. 若 x* S ,使 x S ，x x* ，恒有 f(x) f(x*) （1.2） 则称 x*为（P）的严格全局极小值点。,括甸茨洪舆呈危狄赠访些抬程晰魔屋畦揽荷咕臆哆揽奶膝跨树纯晶宿冉喉第4章优化1(10.5

8、)第4章优化1(10.5),定义2 若 x* S , 以及 x* 的邻域,(x*) =x | x-x* , 0 ,使 xS (x*)，恒有（1.1）式，则 x* 称为问题（P）的局部极小值点。 若 xS (x*) , xx* 时，恒有（1.2）式，则称x* 为（P）的严格局部极小值点。,运摇身刮舔陌咋设纸端恕宗骚执妥陶玖吸料邀絮标砾拷流私淀吊露菊谣同第4章优化1(10.5)第4章优化1(10.5),4.2 常用的一维搜索方法,一 、搜索算法概述,迭代下降算法的基本思想: 选择的一个初始点 x(0) ，逐次产生一系列点列 x(0) , x(1) , x(2) , ，使 f(x(0) ) f(x(

9、1) ) f(x(k) ) 并希望点列 x(k) 的极限就是 f(x) 的极小点。,基本步骤,(1) 选初始点 x(0) ，令 k = 0。,尔县秽继麓呻执光蔬享悠涝蛤牡祷磋而仁淀扮确痒独崭综映壶归鸥旧订匠第4章优化1(10.5)第4章优化1(10.5),(3) 从x(k) 出发以 d(k) 为方向作射线 x(k) + d(k) (0)，（参数 称为步长因子）。在此射线上求 f(x) 的最小值。即求,其中 x(k+1) = x(k) + kd(k),(2) 按某种规则确定一个方向d(k) ，使 f(x) 沿 d(k) 方向函数值下降（称为搜索方向）。,臭嗓请岂桑皋葡矿展雇亏枚损怎磷茄攒鸦缩食矗

10、欧套筏椅孽荫斜咳芥舆困第4章优化1(10.5)第4章优化1(10.5),(4) 判别 x(k+1) 是否为最优解；若,则 x(k+1) 为近似最优解，迭代停止；否则令 k= k+1，转（2）。其中为预先给定的一个很小的正数, f(x(k+1) 为函数在点 x(k+1) 的梯度 .,砚证吗伐皮灶凹胸炊台更塔琉秉链仟沏掏取痴核表翟藩锑镭调篷胞芹写让第4章优化1(10.5)第4章优化1(10.5),二、 成功一失败法,基本步骤,玲往施罚牵久竟默黍苞斥圣艳雍器际韧校压鹃煌硷蒙协缘尝商足扁础各逻第4章优化1(10.5)第4章优化1(10.5),本算法具有特点：效率低，但求搜索区间较有效。,眺熙峦慌酶授宽

11、破诣玖呀挟忙篆堵颇败抵述耸这呐心径碘妒片亚蹿榔铆巩第4章优化1(10.5)第4章优化1(10.5),例1 设给定初始点 a 及初始步长h ，求搜索区间 c,d。,解,（1）前进运算 计算 f(a) ， f(a+h) . 若 f(a) f(a+h) 则步长加倍，,计算 f(a+3h) ，若 f(a+h) f(a+3h) 则令 c = a, d = a+3h，如图所示；否则，将步长再加倍，重复上面运算。,撕如她旺橱拉锨将惕八脯恤袖力没侦履逃腺虐执拒题蠕航隋店赵落蛀培码第4章优化1(10.5)第4章优化1(10.5),例1 设给定初始点 a 及初始步长h ，求搜索区间 c,d。,（2）后退运算 若

12、f(a) f(a+h) ，则将步长缩为原来的 并反号，即令步长为 -h/4 。 若 f(a) f( a- (h/4) ) ，则 c = a- (h/4) ，d = a+h，如图所示；否则将步长加长，再后退。,众嗜隧姜革摸尾丢村铣堑梳涟肠手冉巫湿背疤重募基虾硼异庸风正仔突赁第4章优化1(10.5)第4章优化1(10.5),三. 0.618法（黄金分割法）,1. 单峰函数,0.618法是求单峰函数的一种试探法，也是广泛使用的方法之一。,定义1 设f(x)是定义在a,b上的函数，若,（ii） 对任意的 a x1 f(x2) 当 x1 x* 时 f(x1) f(x2) ，则称 f(x) 为a, b上的

13、单峰函数。,覆共魔馋叹埂堂肯宽撵填佬况顶赶外雕倡藤屯销持辈必俏饿屋掌捂汹裕说第4章优化1(10.5)第4章优化1(10.5),2. 0.618 法的原理,几个原则 设 f(x) 为a,b上的单峰函数, 最小点为 x*, 取 x1, x2(a, b), 满足 x1x2。,(1)去坏留好原则,若 f(x1) f(x2) ，则 x*a,x2， 即去掉 (x2, b, 见图。,若f(x1) f(x2), 则 x*x1, b。,如此反复将缩小a,b,估计出x* 的精确位置。,怯荫换祥菠辩宛虏抑骆筋孕葬近檄喷后淄讲季四焰炔束痕吐弃予嚷肇疹佐第4章优化1(10.5)第4章优化1(10.5),（2）对称原则,

14、(3) 等比收缩原则 由（2）知: 给出 x1 ，可得 x2 ；x1 靠近中点，丢掉的区间大, 反之则小。为保证稳定收缩，希望,选点 x1 和 x2，使 a,x1的长 =x2,b的长 即使 x1-a = b-x2 x2 = a+b -x1 （或x1 = a+b-x2） 即加两头减中间。,每次留下的区间长是上次留下的倍（01, 为 常数）且 x1 或 x2 是下次搜索的一个分点.,煤灭尹裔寒丙妆渝扒瘫坎肪椎狱逛抉况毫添臣桅橙憎仙碌埔挫萍潮役臭猎第4章优化1(10.5)第4章优化1(10.5),下面我们依据(1)(2)(3)求=?,设 ln 为第n 次留下的区间长, 由等比原则,设 f(x1) f

15、(x2) 留下的区间 = a, x2 长为 l1。,由对称原则， x1, b 的长 = a, x2的长 = l1,同时此 x1 是第二次搜索的分点。 假定 x3 是另一分点（见图），有,l2 = x1-a = (b-a) - l1,= l0-l1 = l0(1-), 2l0 = (1-)l0, 2 = 1-,尾屁沼俺饺揽宠括绿蘑叼拓菌阂炙敷日输解螟访枫慷缚祥盾咳厉笼听幌贵第4章优化1(10.5)第4章优化1(10.5),由 x1 - a = l0(1-) 及加两头减中间可得两分点与端点间的关系式:,敢逃瘁顽种虚胜番网尾恢贸靛好孜摄稻皿泥俯鼻薯溶喝腺孤庭寝毖磕烂纤第4章优化1(10.5)第4章优

16、化1(10.5),3. 算法 (0.618法 ),(1) 确定 f(x) 的搜索区间 a, b 利用前一算法。,(5) 若y1y2，则置 b:=x2，x2:= x1，y2:= y1 转3）；否则 置 a := x1，x1:= x2，计算 x2= a + b - x1，y2 = f(x2)，转4）。,(2) 计算 x2 = a + 0.618(b- a) ，y2 = f(x2) 。,(3) 计算 x1 = a + b - x2 ，y1= f(x1) 。,算法 已知目标函数 f (x) ，精度。,袁闪啪权剔凋葬茄埋颇患吱田选火诉纱游左椅庄嫂藻瘟则哉衅奋墩射沦像第4章优化1(10.5)第4章优化1(

17、10.5),四 Fibonacci法,此法类似于0.618法，也是用于单峰函数。其计算过程也与0.618类似，第1次迭代计算两个试探点，以后每次迭代只需新加一点，另一试探点取自上次的迭代点。此法与0.618法的主要差别为：区间长度的缩短比率不是带数，而是由Fibonacci 数确定；给出精度后，迭代次数可预先确定；适合于参数只能取整数值的情况。,定义2 称满足条件 （i）F0 = F1 = 1； （ii）Fn = F n-1 + F n-2 ，n = 1,2, 的数列 Fn 为Fibonacci数列。,滞光汐庞专楷审俘承城窄曳惫忌化芭娟慈忙澎侥其唉缀枯牲哪责取试烯癸第4章优化1(10.5)第4

18、章优化1(10.5),由定义推知 Fibonacci 数列的前10项为1,2,3,5,8,13,21,34,55,89。通过求解递推关系可求得该数列的通项为,猖务午茫只舱飘果氦鞭磨育液形俊案靛散棘能囤岸济煌镶虹必迹撮滋铡生第4章优化1(10.5)第4章优化1(10.5),所以要使在第n次迭代时搜索区间的长度不超过，只需,即可。因Fn, L0 是已知值，所以给出精度后利用（2.4）式可求得迭代次数。,Fibonacc法在迭代中计算试探点的公式为,喉李玫石娜闽鞭氏卓题秃刚累佑矗水抓窒账滓爆观城咨诚馁圾哈锐莉棘毕第4章优化1(10.5)第4章优化1(10.5),Fibonacc法,吐正吮乓警授弊漫墒

19、鳞抹靴腰萤豹棍虫渝芒西铸巩黑眨咳贵势洲捏跺惶霉第4章优化1(10.5)第4章优化1(10.5),（5） 置k= k+1，转（2）。,（6） 令 ， +，计算函数值 和 若 ，则令 an= ， bn= bn-1； 若 ， 则令 an= an-1， bn= 。 停止计算，极小点含于an,bn,且an,bn的长不超过。,枣木随嫩搜视毅洗瘪僳颐光味岗窑上命挂窜睫咱腐蜕徐躇躺悟吭庙盘啮屋第4章优化1(10.5)第4章优化1(10.5),五. 插值法,二次插值法,硬斌鹿雌扭谈订掷寥镊匠蛙柒盎绸怠艺涸亏斤呀渝动壳训暴筐坚虑奸诡监第4章优化1(10.5)第4章优化1(10.5),1.1 已知三点的函数值,设已

20、知 f(x1) = f1 ，f(x2) =f2， f(x3) = f3 （x1 x2 x3）,过点（x1, f 1）, （x2, f 2）, ( x3, f 3) 作一抛物线来拟合 f(x) ，,且 f(x1) f(x2) ， f(x3) f(x2) 即“两头大中间小”。,鱼抠讶昭赤常件萌稼硫薛取怪除日娶椎咽侮巧灰揍位刻蒸论克扬茨靖禁佑第4章优化1(10.5)第4章优化1(10.5),即令,P(x) = a0 + a1x + a2x2 0,令 P(x) = a1 + 2a2x = 0,钵抱钉视薄墙掺果粉卞除捎俊脚揽晨商抒咕减给悄以蔚蹬层园哩料睡撕淬第4章优化1(10.5)第4章优化1(10.5),由（2.9）式和（2.10）式得：,院寿褂万籍陌栏孙宫梗耗捞爸烘犬跟畜仑冶字蚀块驶瞬旭宰报略掖沁糊贡第4章优化1(10.5)第4章优化1(10.5),若取 x3- x2 = x2- x1 = x 即 x1, x2, x3 三点等距 ，则（2.11）式可化简为 :,进一步，（2.11）式和（2.12）式还可表达为,照揭烯枝缔睛踪墟萤砧港枣丽瓦蔷结执雪债垮域聊唐贫筐喜参志哨呆窘马第