版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、A2微积分与最优化2022/8/91A2.1微积分2022/8/92设D是一个非退化的实值区间在此区间上,f是二次可微的.如下的1至3阐述是等价的:1.f是凹的.2.f(x)0,xD.3.对于一切x0D,f(x)f(x0)+ f(x0)(x-x0)4.如果f(x)0 (P.1)xixftkxtkfxtxitxfxixitxtxftxfxiii=)()()()()(P.3)2022/8/922由于(P.1)是恒等式,(P.2)必定会等于(P.3),因此有:用t除两边得到:对于i=1,n,并且t0,证明完毕.2022/8/923定理A2.7 欧拉定理欧拉定理证明:定义t的函数是十分有用的,g(t)
2、f(tx),固定x ,对t微分,有xxxixfxkfkxfnii对所有次齐次性的:是,当且仅当如下式子成立,)()()(1=(p.2)在t=1时:(p.3)2022/8/924证明必要性设f(x)是k次齐次,使得对一切t0与任何x,f(tx)=tkf(x),由于(P.1),我们有g(t)= tkf(x),求微分,g(t)=ktk-1f(x),并且在t=1处取值.我们得到g(1)=kf(x).利用(P.3),得到(P.4)证明充分性为证明充分性,设(P.4)成立,在tx处取值得到:(P.5)给(P.2)式两边同乘t,同(P.5)相比较,发现tg(t)=kg(t)(P.6)2022/8/925考虑
3、函数t-kg(t).如果对此求关于t的微分,得到:从(p.6)来看,它的导数必为零,因此,我们可以得出这样结论,即对于一些常数c,t-kg(t)=c.为找到c,在t=1处求值并注意到g(1)=c.利用定义( P.1),得到c=f(x).我们知道,g(t)=tkf(x).再次把( P.1)代入,我们得到,对于所有x,则有f(tx)=tkf(x).2022/8/926A2.2 最优化2022/8/927设f(x)是一个二次可微的单变量函数,那么f(x)将会获得一个局部内点最优值.1.在 x*处有最大值f(x)=0(FONC) f(x)0(SONC)2.在 x*处有最小值f(x)=0(FONC) f
4、(x)0(SONC)定理A2.8 单变量情形中局部内点最优化的必要条件2022/8/928定理2.9 实值函数局部内点最优化的一阶必要条件如果可微函数f(x)在点x*处达到了一个局部内点极大值或极小值,那么,x*为如下联立方程组的解:2022/8/929证明:证明思路:我们设f(x)在x*处获得了一个局部内部极值,并设法证明f(x*)=0.证明:选择任意向量zRn,那么,对于任意标量t,我们有: g(t)=f(x*+tz) (P.1)从(P.1)我们知道,g(t)不过是f(x)的另一种表现形式.t0时, x*+tz正好是不同于x*的向量,故g(t)正好同f的一些值相同.t=0,x*+tz等于x
5、*,因此,g(0)正好是f在x* 处的值.已经假设 f在x*处取得极值,那么g(t)必定在t=0处获得一个局部极值.那么,g(0)=02022/8/9302022/8/931A2.2.2 二阶条件实值函数局部内点最优化的二阶必要条件设f(x)是二次连续可微的.1.如果在点x*处f(x)达到了一个局部内点极大值,那么,H(X*)是负半定的.2.如果f(x)在点x处达到了一个局部内点极小值,那么,H(X)是负正定的.定理A2.102022/8/932或者H(X*)0,由于z是任意取的,这以为着H(X*)是负半定的.同理,如果在点x=x处f被最小化,那么, g(0)0,使得,H(X)是半正定的.定理
6、A2.10证明设有(p.1)设f(x)在x=x*处取得最大值,根据定理A2.8 必定有g(0)0.在点x*处或者在t=0处给(p.1)取值,2022/8/933定理A2.11 海赛矩阵负定与正定的充分条件设f(x)是二次连续可微的,并设Di(x)是海赛矩阵H(x)的第i阶的主子式.1.如果(-1)iDi(x)0,i=1,n,那么,H(x)是负定的.2.如果Di(x)0,i=1,n,那么,H(x)是正定的.如果在定义域内,对所有x,条件1成立,那么f是严格凹的.如果在定义域内,对所有x,条件2成立,那么f是严格凸的.2022/8/934定理A2.11海赛矩阵负定与正定的充分条件证明证明思路:借助
7、定理A2.4的第四条(如果对于D中所有x,H(x)是负定的,那么,f是严格凹的.)将定理A2.12转化为矩阵的主子式改变符号是负定的,全为正为正定的.(P.2)2022/8/9352022/8/936定理A2.12 实值函数局部内点最优化的充分条件设f(x)是二次连续可微的,则:1.如果fi(x*)=0,(-1)iDi(x)0,i=1,n,那么, f(x)在x*处将会获得一个局部极大值2.如果fi(x)=0 并且Di(x)0,i=1,n,那么, f(x)在x处将会获得一个局部极小值2022/8/9372022/8/938定理A2.13 (无约束的)局部与全局最优化设f(x)是D上一个二次连续可
8、微的实值凹函数.这里,点x*是D的一个内部点,那么如下三个命题等价:1.f(x*)=02.在x*处f获得一个局部极大值.3.在x*处f获得一个全局极大值.证明:显然,32,并依A2.9,21,因此,只需证明13由1.假设,f(x*)=0,由于f是凹的,定理A2.4蕴涵对于定义域的所有x, f(x)f(x*)+ f(x*)(x-x*)结合假设: f(x)f(x*)所以,f在x*处达到全局最大值.2022/8/939定理A2.14 严格凹性/凸性与全局最优化的唯一性1.如果x*最大化了严格凹函数f,那么,x*是唯一全局最大化值点.例如,设f(x*)f(x),xD,xx*.2.如果x最小化了严格凹函
9、数f,那么,x是唯一全局最小化值点.例如,设f(x)tf(x)+(1-t)f(x*),t(0,1) 由于, f(x)=f(x*), f(xt)tf(x)+(1-t)f(x),即f(xt)f(x),这与假设x是f的一个全局最大值的假设矛盾,因此,严格凹函数的任何全局最大值必是唯一的.2022/8/940定理A2.15 唯一全局最优化的充分条件设f(x)是D上一个二次连续可微的.1.如果f(x)是严格凹的,并且fi(x*)=0,i=1,n;那么,x*是f(x)的唯一全局最大化值点.2.如果f(x)是严格凸的,并且fi(x)=0,i=1,n;那么,x是f(x)的唯一全局最小化值点.2022/8/94
10、1A2.3 约束最优化Maxf(x1,x2),受约束于 g(x1,x2)=0 x1,x2目标函数选择变量约束集或者可行集求解方法:代入法1.x2=g(x1)2.Maxf(x1,g(x1)2022/8/942A2.4 拉格朗日方法x1,x2Maxf(x1,x2),受约束于 g(x1,x2)=0L(x1,x2,)f(x1,x2)+ g(x1,x2)定理A2.16 拉格朗日定理2022/8/943A2.3.6 库恩塔克条件x1,x2Maxf(x1,x2),受约束于 g(x1,x2)0L(x1,x2,)f(x1,x2)+ g(x1,x2)非线性规划问题库恩塔克条件:f1+ g1=0f2+ g2=0g(
11、x1,x2)=0g0,g(x1,x2)02022/8/944A2.20 受不等式条件约束的实值函数最优化的(库恩塔克)必要条件2022/8/945A2.4 值函数xMaxf(x1,x2),受约束于 g(x,a)=0,且x0M(a)=maxf(x,a), 受约束于g(x,a)=0, x0 x2(a)x1(a)x2x1L(y*):y*=f(x(a)a)图A2.10:在约束条件g(x,a)=0限定下的f(x,a)的最大值2022/8/946A2.21 包络定理2022/8/947集合论的基本概念和基本结论定义域:凸集连续函数 f关系二元关系完备性传递性D是开集, f-1(B)是开集偏好关系拓扑空间度
12、量空间欧氏空间值域:逆象f-1(S)开集闭集紧集紧集的象是紧集Brouwer fixed point TheoremsS是紧切且凸,f 连续,则 f(x*)=x*A是一个凸集 拟凹函数 f是凹函数 2022/8/948微积分与最优化单变量函数凹性与一、二阶导数等价命题:f是凹的f(x) 0f(x) f(x0)+f(x0 )(x-x0)若f是严格凹的严格不等式成立多变量函数偏导数函数梯度f(x)=(f1(x),fn(x) f11(x),f1n(x) f21(x),f2n(x) . fn1(x),fnn(x)H(x)=海赛矩阵对称性Young Theorem2f(x)/ xi xj = 2f(x)
13、 / xj xi海赛矩阵齐次函数凸集、斜率与凹性的等价命题D是凸的H(x)是半负定的f(x) f(x0)+f(x0 )(x-x0)欧拉定理Kf(x)= f(x)*xi / xi2022/8/949X*=f(x*1,x *2,x *n)是一个稳定点一阶条件X*是一个相对极大值X*是一个绝对极大值d2 x在x*为负定二阶充分条件d2 x在x*为负定二阶必要条件X*是唯一的绝对极大值f是凹的f是严格凹的d2 x在x*为半负定d2 x处处为负定2022/8/950最优化无约束最优化有约束最优化单变量X*处最大值 f(x)=0 (FONC) f (x) 0(SONC)多变量一阶条件X*处最大值 f(x*
14、)=0(FONC)二阶条件必要条件:X*处局部最大值 H(x)是半负定的。充分条件:f(X)是二次可微,1、若fi(X * )=0,且(-1)nD(X *)0,那么,f(x)在 X * 处局部极大。若f(X)是严格凹的,则fi(X * )f(x),对于任意 Xx *.2022/8/951有约束最优化等式约束Maxf(x1,x2)S.t g(x1,x2)=0Maxf(x1, g(x1) )x2 =g(x1)转化成非约束问题Lagrange方法不等式约束Maxf(x) , x 0必要条件:F连续可微,若x 0,x最大化f,那么, x*满足1) f(x*)/ xi 02) xi *f(x*)=03) xi * 0。库恩-塔克条件2022/8/952微积分与最优化单变量函数凹性与一、二阶导数等价命题:f是凹的f(x) 0f(x) f(x0)+f(x0 )(x-x0)若f是严格
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 中考物理复习主题单元11第29课时动态电路分析课件
- 第一章集合与常用逻辑用语考点三充分条件与必要条件教案
- 初数论等教案(同余的概念及其基本性质)
- 《蚂蚁》教学反思
- 电子组装线胶工招聘协议书
- 五年级语文下册教案
- 苗木种植承包合同
- 古玩市场土地租赁合同
- 外卖厨房炊事员聘用协议
- 道路桥梁设计与施工咨询合同
- 新生儿头颅血肿课件
- 《6.2.1 排列与排列数》教案、导学案与同步练习
- DB21-T 2819-2017岩土工程勘察报告编制规范
- TQLCY 001-2023 学校食堂大宗食品原料采购食品安全管理规范
- 筑梦青春志在四方规划启航职引未来
- 2024墙面原位加固修复技术规程
- 2024奥数竞赛6年级培训题-答案版
- 血站血液制备培训课件
- 设备安装与维修培训课件
- 社会主义核心价值观秀版
- 区块链技术在教育行业的应用场景
评论
0/150
提交评论