北邮最优化课件0最优化理论与算法引言

最优化理论与算法帅天平北京邮电大学数学系最优化理论1最优化理论与算法帅天平最优化理论1提纲1.

线性规划

对偶定理2.

非线性规划

K-K-T定理3.组合最优化

算法设计技巧使用教材：最优化理论与算法陈宝林参考书：数学规划黄红选，韩继业

清华大学出版社最优化理论2提纲1.线性规划对偶定理使用教材：最优化理论2其他参考书目NonlinearProgramming-TheoryandAlgorithmsMokhtarS.Bazaraa,C.M.ShettyJohnWiley&Sons,Inc.1979(2ndEdit,1993，3ndEdit，2019)LinearandNonlinearProgramming

DavidG.LuenbergerAddison-WesleyPublishingCompany,2ndEdition,1984/2019..ConvexAnalysis

R.T.RockafellarPrincetonLandmarksinMathematicsandPhysics,2019.OptimizationandNonsmoothAnalysis

FrankH.ClarkeSIAM,1990.最优化理论3其他参考书目NonlinearProgramming-LinearProgrammingandNetworkFlowsM.S.Bazaraa,J.J.Jarvis,JohnWiley&Sons,Inc.,1977.运筹学基础手册徐光辉、刘彦佩、程侃科学出版社，2019组合最优化算法和复杂性CombinatorialOptimization

蔡茂诚、刘振宏

AlgorithmsandComplexity清华大学出版社，1988

Printice-HallInc.,1982/2019

其他参考书目最优化理论4LinearProgrammingandNetwork1,绪论----学科概述最优化是从所有可能的方案中选择最合理的一种方案,以达到最佳目标的科学.达到最佳目标的方案是最优方案,寻找最优方案的方法----最优化方法(算法)这种方法的数学理论即为最优化理论.是运筹学的方法论之一.是其重要组成部分.运筹学的“三个代表”模型理论算法最优化首先是一种理念,其次才是一种方法.最优化理论51,绪论----学科概述最优化是从所有可能的方案中选择最合理绪论---运筹学（OperationsResearch-OR）运筹学方法随机过程方法统计学方法最优化/数学规划方法连续优化：线性规划、非线性规划、非光滑优化、全局优化、变分法、二次规划、分式规划等离散优化：组合优化、网络优化、整数规划等几何规划动态规划不确定规划：随机规划、模糊规划等多目标规划对策论等统计决策理论马氏过程排队论更新理论仿真方法可靠性理论等回归分析群分析模式识别实验设计因子分析等最优化理论6绪论---运筹学（OperationsResearch-优化树最优化理论7优化树最优化理论7最优化的发展历程费马:1638;牛顿,1670欧拉,1755Minf(x1x2···xn)

f(x)=0最优化理论8最优化的发展历程费马:1638;牛顿,1670欧拉,1755欧拉，拉格朗日：无穷维问题，变分学柯西：最早应用最速下降法拉格朗日，1797Minf(x1x2···xn)s.t.gk(x1x2···xn)=0,k=1,2,…,m最优化理论9欧拉，拉格朗日：无穷维问题，变分学拉格朗日，1797Min1930年代，康托诺维奇：线性规划1940年代，Dantzig：单纯形方法，冯诺依曼：对策论1950年代，Bellman：动态规划，最优性原理；

KKT条件；1960年代：Zoutendijk,Rosen,Carroll,etc.非线性规划算法，Duffin，Zener等几何规划，Gomory，整数规划,Dantzig等随机规划

6-70年代：Cook等复杂性理论，组合优化迅速发展

电子计算机----------最优化最优化理论101930年代，康托诺维奇：线性规划电子计算机--------最优化应用举例具有广泛的实用性运输问题，车辆调度，员工安排，空运控制等工程设计，结构设计等资源分配，生产计划等通信：光网络、无线网络，adhoc等.制造业：钢铁生产，车间调度等医药生产，化工处理等电子工程，集成电路VLSIetc.排版（TEX,Latex,etc.）最优化理论11最优化应用举例具有广泛的实用性最优化理论111.

食谱问题我每天要求一定量的两种维生素，Vc和Vb。假设这些维生素可以分别从牛奶和鸡蛋中得到。维生素奶中含量蛋中含量每日需求Vc(mg)2440Vb(mg)3250单价(US$)32.5需要确定每天喝奶和吃蛋的量，目标以便以最低可能的花费购买这些食物，而满足最低限度的维生素需求量。最优化理论121.食谱问题我每天要求一定量的两种维生素，Vc和Vb。维生1.

食谱问题（续）令x表示要买的奶的量，y为要买的蛋的量。食谱问题可以写成如下的数学形式：运筹学工作者参与建立关于何时出现最小费用（或者最大利润）的排序，或者计划，早期被标示为programs。求最优安排或计划的问题，称作programming问题。Min3x+2.5ys.t.2x+4y403x+2y

50

x,y

0.极小化目标函数可行区域（单纯形）可行解最优化理论131.食谱问题（续）令x表示要买的奶的量，y为要买的蛋的量。2

运输问题设某种物资有m个产地A1,A2,…Am,各产地的产量是a1,a2,…,am;有n个销地B1,B2,…,Bn.各销地的销量是b1,b2,…,bn.假定从产地Ai(i=1,2,…,m)到销地Bj(j=1,2,…,n)运输单位物品的运价是cij问怎样调运这些物品才能使总运费最小？如果运输问题的总产量等于总销量，即有则称该运输问题为产销平衡问题；反之，称产销不平衡问题。最优化理论142运输问题设某种物资有m个产地A1,A2,…Am,各产地的令xij表示由产地Ai运往销地Bj的物品数量，则产销平衡问题的数学模型为：2

运输问题（续）最优化理论15令xij表示由产地Ai运往销地Bj的物品数量，则产销平衡问题以价格qi

购买了si份股票i,i=1,2,…,n股票i的现价是pi你预期一年后股票的价格为ri

在出售股票时需要支付的税金=资本收益×30%扣除税金后，你的现金仍然比购买股票前增多支付1%的交易费用例如：将原先以每股30元的价格买入1000股股票，以每股50元的价格出售，则净现金为：50×1000-0.3(50-30)1000-0.1×50×1000=390003

税下投资问题最优化理论16以价格qi购买了si份股票i,i=1,2,…,n3税下投我们的目标是要使预期收益最大。Xi：当前抛出股票i的数量。3

税下投资问题（续）最优化理论17我们的目标是要使预期收益最大。3税下投资问题（续）最优化理4

选址问题（1）实例:一组潜在位置（地址）,一组顾客集合及相应的利润和费用数据；解:

设施开放(使用)的数目，他们的位置，以及顾客

被哪个设施服务的具体安排方案；目标：总的利润最大化。数据与约束J={1,2,…,n}:放置设施的可能的潜在位置集合I={1,2,…,m}:顾客集合,其要求的服务需要某设施所提供.最优化理论184选址问题（1）实例:一组潜在位置（地址）,一组顾客集合4

选址问题（2）最优化理论194选址问题（2）最优化理论194选址问题（3）最优化理论204选址问题（3）最优化理论205负载平衡(1)实例:网络G(V,E)

及一组m

个数的集合{s,d>0}，表示

连接源点

s与汇点d

之间的流量解:{s,d>0}的一组路由,即G(V,E)

中m

条s

与

d间的路,

表示连接s与d

的负载流量的路径。目标:极小化网络负载最优化理论215负载平衡(1)实例:网络G(V,E)及一组m个数的集5

负载平衡(2)最优化理论225负载平衡(2)最优化理论226.结构设计问题两杆桁架的最优设计问题。由两根空心圆杆组成对称的两杆桁架，其顶点承受负载为2p，两支座之间的水平距离为2L，圆杆的壁厚为B，杆的比重为ρ，弹性模量为E，屈吸强度为δ。求在桁架不被破坏的情况下使桁架重量最轻的桁架高度h及圆杆平均直径d。最优化理论236.结构设计问题两杆桁架的最优设计问题。最优化理论23

受力分析图圆杆截面图桁杆示意图6.结构设计问题最优化理论24受力分析图圆杆截面图桁杆示6.结构设计问题此应力要求小于材料的屈吸极限，即解：桁杆的截面积为：桁杆的总重量为：负载2p在每个杆上的分力为：于是杆截面的应力为：最优化理论256.结构设计问题此应力要求小于材料的屈吸极限，即解：桁杆的截

圆杆中应力小于等于压杆稳定的临界应力。由材料力学知：压杆稳定的临界应力为

由此得稳定约束：6.结构设计问题圆杆中应力小于等于压杆稳定的临界应力。由此得稳定约束26

另外还要考虑到设计变量d和h有界。从而得到两杆桁架最优设计问题的数学模型：6.结构设计问题另外还要考虑到设计变量d和h有界。6.结构设计问题27基本概念在上述例子中,有的目标函数和约束函数都是线性的,称之为线性规划问题,而有的模型中含有非线性函数,称之为非线性规划.在线性与非线性规划中,满足约束条件的点称为可行点,全体可行点组成的集合称为可行集或可行域.如果一个问题的可行域是整个空间,则称此问题为无约束问题.最优化理论28基本概念在上述例子中,有的目标函数和约束函数最优化理论28基本概念最优化问题可写成如下形式:最优化理论29基本概念最优化问题可写成如下形式:最优化理论29基本概念Df1.1

设f(x)为目标函数，S为可行域，x0S,若对每一个xS,成立f(x)f(x0),则称x0为极小化问题min

f(x),xS的最优解（整体最优解）则称x0为极小化问题min

f(x),xS的局部最优解Df1.2设f(x)为目标函数，S为可行域，最优化理论30基本概念Df1.1设f(x)为目标函数，S为可行域，xThankyouverymuchforyourattendance!优化软件

/

/neos/solvers/index.html最优化理论31Thankyouverymuchforyouraxiexie!谢谢！xiexie!谢谢！32最优化理论与算法帅天平北京邮电大学数学系最优化理论33最优化理论与算法帅天平最优化理论1提纲1.

线性规划

对偶定理2.

非线性规划

K-K-T定理3.组合最优化

算法设计技巧使用教材：最优化理论与算法陈宝林参考书：数学规划黄红选，韩继业

清华大学出版社最优化理论34提纲1.线性规划对偶定理使用教材：最优化理论2其他参考书目NonlinearProgramming-TheoryandAlgorithmsMokhtarS.Bazaraa,C.M.ShettyJohnWiley&Sons,Inc.1979(2ndEdit,1993，3ndEdit，2019)LinearandNonlinearProgramming

DavidG.LuenbergerAddison-WesleyPublishingCompany,2ndEdition,1984/2019..ConvexAnalysis

R.T.RockafellarPrincetonLandmarksinMathematicsandPhysics,2019.OptimizationandNonsmoothAnalysis

FrankH.ClarkeSIAM,1990.最优化理论35其他参考书目NonlinearProgramming-LinearProgrammingandNetworkFlowsM.S.Bazaraa,J.J.Jarvis,JohnWiley&Sons,Inc.,1977.运筹学基础手册徐光辉、刘彦佩、程侃科学出版社，2019组合最优化算法和复杂性CombinatorialOptimization

蔡茂诚、刘振宏

AlgorithmsandComplexity清华大学出版社，1988

Printice-HallInc.,1982/2019

其他参考书目最优化理论36LinearProgrammingandNetwork1,绪论----学科概述最优化是从所有可能的方案中选择最合理的一种方案,以达到最佳目标的科学.达到最佳目标的方案是最优方案,寻找最优方案的方法----最优化方法(算法)这种方法的数学理论即为最优化理论.是运筹学的方法论之一.是其重要组成部分.运筹学的“三个代表”模型理论算法最优化首先是一种理念,其次才是一种方法.最优化理论371,绪论----学科概述最优化是从所有可能的方案中选择最合理绪论---运筹学（OperationsResearch-OR）运筹学方法随机过程方法统计学方法最优化/数学规划方法连续优化：线性规划、非线性规划、非光滑优化、全局优化、变分法、二次规划、分式规划等离散优化：组合优化、网络优化、整数规划等几何规划动态规划不确定规划：随机规划、模糊规划等多目标规划对策论等统计决策理论马氏过程排队论更新理论仿真方法可靠性理论等回归分析群分析模式识别实验设计因子分析等最优化理论38绪论---运筹学（OperationsResearch-优化树最优化理论39优化树最优化理论7最优化的发展历程费马:1638;牛顿,1670欧拉,1755Minf(x1x2···xn)

f(x)=0最优化理论40最优化的发展历程费马:1638;牛顿,1670欧拉,1755欧拉，拉格朗日：无穷维问题，变分学柯西：最早应用最速下降法拉格朗日，1797Minf(x1x2···xn)s.t.gk(x1x2···xn)=0,k=1,2,…,m最优化理论41欧拉，拉格朗日：无穷维问题，变分学拉格朗日，1797Min1930年代，康托诺维奇：线性规划1940年代，Dantzig：单纯形方法，冯诺依曼：对策论1950年代，Bellman：动态规划，最优性原理；

KKT条件；1960年代：Zoutendijk,Rosen,Carroll,etc.非线性规划算法，Duffin，Zener等几何规划，Gomory，整数规划,Dantzig等随机规划

6-70年代：Cook等复杂性理论，组合优化迅速发展

电子计算机----------最优化最优化理论421930年代，康托诺维奇：线性规划电子计算机--------最优化应用举例具有广泛的实用性运输问题，车辆调度，员工安排，空运控制等工程设计，结构设计等资源分配，生产计划等通信：光网络、无线网络，adhoc等.制造业：钢铁生产，车间调度等医药生产，化工处理等电子工程，集成电路VLSIetc.排版（TEX,Latex,etc.）最优化理论43最优化应用举例具有广泛的实用性最优化理论111.

食谱问题我每天要求一定量的两种维生素，Vc和Vb。假设这些维生素可以分别从牛奶和鸡蛋中得到。维生素奶中含量蛋中含量每日需求Vc(mg)2440Vb(mg)3250单价(US$)32.5需要确定每天喝奶和吃蛋的量，目标以便以最低可能的花费购买这些食物，而满足最低限度的维生素需求量。最优化理论441.食谱问题我每天要求一定量的两种维生素，Vc和Vb。维生1.

食谱问题（续）令x表示要买的奶的量，y为要买的蛋的量。食谱问题可以写成如下的数学形式：运筹学工作者参与建立关于何时出现最小费用（或者最大利润）的排序，或者计划，早期被标示为programs。求最优安排或计划的问题，称作programming问题。Min3x+2.5ys.t.2x+4y403x+2y

50

x,y

0.极小化目标函数可行区域（单纯形）可行解最优化理论451.食谱问题（续）令x表示要买的奶的量，y为要买的蛋的量。2

运输问题设某种物资有m个产地A1,A2,…Am,各产地的产量是a1,a2,…,am;有n个销地B1,B2,…,Bn.各销地的销量是b1,b2,…,bn.假定从产地Ai(i=1,2,…,m)到销地Bj(j=1,2,…,n)运输单位物品的运价是cij问怎样调运这些物品才能使总运费最小？如果运输问题的总产量等于总销量，即有则称该运输问题为产销平衡问题；反之，称产销不平衡问题。最优化理论462运输问题设某种物资有m个产地A1,A2,…Am,各产地的令xij表示由产地Ai运往销地Bj的物品数量，则产销平衡问题的数学模型为：2

运输问题（续）最优化理论47令xij表示由产地Ai运往销地Bj的物品数量，则产销平衡问题以价格qi

购买了si份股票i,i=1,2,…,n股票i的现价是pi你预期一年后股票的价格为ri

在出售股票时需要支付的税金=资本收益×30%扣除税金后，你的现金仍然比购买股票前增多支付1%的交易费用例如：将原先以每股30元的价格买入1000股股票，以每股50元的价格出售，则净现金为：50×1000-0.3(50-30)1000-0.1×50×1000=390003

税下投资问题最优化理论48以价格qi购买了si份股票i,i=1,2,…,n3税下投我们的目标是要使预期收益最大。Xi：当前抛出股票i的数量。3

税下投资问题（续）最优化理论49我们的目标是要使预期收益最大。3税下投资问题（续）最优化理4

选址问题（1）实例:一组潜在位置（地址）,一组顾客集合及相应的利润和费用数据；解:

设施开放(使用)的数目，他们的位置，以及顾客

被哪个设施服务的具体安排方案；目标：总的利润最大化。数据与约束J={1,2,…,n}:放置设施的可能的潜在位置集合I={1,2,…,m}:顾客集合,其要求的服务需要某设施所提供.最优化理论504选址问题（1）实例:一组潜在位置（地址）,一组顾客集合4

选址问题（2）最优化理论514选址问题（2）最优化理论194选址问题（3）最优化理论524选址问题（3）最优化理论205负载平衡(1)实例:网络G(V,E)

及一组m

个数的集合{s,d>0}，表示

连接源点

s与汇点d

之间的流量解:{s,d>0}的一组路由,即G(V,E)

中m

条s

与

d间的路,

表示连接s与d

的负载流量的路径。目标:极小化网络负载最优化理论535负载平衡(1)实例:网络G(V,E)及一组m个数的集5

负载平衡(2)最优化理论545负载平衡(2)最优化理论226.结构设计问题两杆桁架的最优设计问题。由两根空心圆杆组成对称的两杆桁架，其顶点承受负载为2p，两支座之间的水平距离为2L，圆杆的壁厚为B，杆的比重为ρ，弹性模量为E，屈吸强度为δ。求在桁架不被破坏的情况下使桁架重量最轻的桁架高度h及圆杆平均直径d。最优化理论556.结构设计问题两杆