OPT 2 优化的设计理论基础

1、2-1 2-1 矩阵矩阵2-2 2-2 多元函数的一些问题多元函数的一些问题2-3 2-3 多元函数极值多元函数极值 设一线性方程组 如果把上面式子中的系数按原来的顺序排列起来，记作下面的形式： 它就被称为矩阵 简记为:111221121 1222221 1221 nnnnmmmnnma xa xa xba xa xa xba xaxaxb1112121 22212 nnmmmnaaaaaaAaaa,1,2,;1,2,ijAaim jn2-1 矩阵矩阵由方阵 的全部元素构成的行列式，称为矩阵 的行列式，记为 :AAA1112121 22212 nnnnnnaaaaaaAaaa 当方阵 的行列式

2、 ,称 为奇异方阵； , 称 为非奇异方阵。 A0A A0A A例：应用MATLAB求解A=1,2,3;4,5,6;7,8,9 ; %生成矩阵Adet(A) %求A的行列式单位方阵单位方阵 :在在 阶方阵中，当主对角均为阶方阵中，当主对角均为1，其余各元素都为，其余各元素都为零，则称作单位矩阵，并用特定符号零，则称作单位矩阵，并用特定符号 表示，即表示，即1 0 10 0 10 0 0 1E对称在矩阵代数中，单位矩阵相当于一般代数中纯1的概念。nE 若将原矩阵 的行与列对换成列与行来写，就得到 的转置矩阵，用表示 ，即AATA同样，行矩阵的转置为列矩阵，列矩阵的转置为行矩阵，如1112121

3、22212 nnmmmnaaaaaaAmnaaa（阵）1121112 22212 mmTnnmnaaaaaaAn maaa（阵）1212 Tnnaaaaaa例：应用MATLAB求解A=1,2,3;4,5,6;7,8,9 ; %生成矩阵AA %求A转置当方阵具有 ，也即各元素 的性质时，称 为对称方阵。其全部元素沿主对角线呈对称发布，例如TAAijjiaaA 1 8 1 3 8 4 5 21 5 7 3 3 2 3 6A1.矩阵相等两个同阶数的矩阵 与 ，它们的阶数相同，并且各对应元素完全相等，即 ,则改两矩阵称为相等，记作 。ijijabABAB2.矩阵的加减两个同阶数的矩阵 与 可以进行加减

4、运算，其和或差 亦同阶矩阵。矩阵 中各元素为矩阵 、中各对应元素之和或差。即：ABCCA BCAB则必有相对于元素的对应关系矩阵加法满足交换律和结合律，设有同阶矩阵 、，则有A BCijijijcabABBAABCABC3.矩阵的乘法（1若以数 乘矩阵 ,得同阶矩阵,记 ,规定 中各元素就是 中各元素乘以 ，即 。 ACACAijijca112111121112 22212 2221212 mmmmnnmnnnmnaaaaaaaaaaaaCAaaaaaaCAijB（2若以两个矩阵 与 相乘，则必须 的列数等于 的行数时才可以进行这种运算，它的乘积仍是一个矩阵 ， 的行数同 ， 的列数同 ， 的

5、第 行 列的元素 等于 中第 行各元素 与 中第 列各元素 逐对相乘之积的总和，即ABBCCABCijijc12,iiipaaa12,jjpjbbbC1 1221pijikkjijijippjkca ba ba ba bA111111111212212212111 pnnpnnppnmmnmmpaabbccaabbccCABbbccaaA关于矩阵乘积的某些性质：（1当两矩阵之积为0时，并不意味着其中之一必为零矩阵。（2当存在 的关系时， 的关系不一定成立。（3当矩阵 与单位方阵相乘时，其积仍为 ，即 或（4乘积的转置 ABACBCAEAAAEATTTABB A4.逆矩阵对于一个n阶方阵 （非奇

6、异方阵），如果另有一个n阶方阵 ，能满足两者之积等于单位方阵，即 时，那么 叫做 的逆矩阵，记作 。一个矩阵如果有逆矩阵，就叫它为可逆矩阵。逆矩阵是唯一的，由此推知A由此看， 也是的 逆矩阵。 AB11AAA AEAABEB1BA11AA1A例：应用MATLAB求解A=1,2,3;4,5,6;7,8,9 ; %生成矩阵Ainv(A) %求A的逆把数学方程组写成矩阵的形式A11A AXA BAXB若矩阵 是非奇异的即 ），则以 左乘上式等号两端，所以0A 1A因有 ，那么 1AAE1EXA B1XA B这里，只要求出系数矩阵的逆阵 ，再求出乘积 ，即可求出未知量 。1A1A BX1 1、方向导数

7、、方向导数2 2、关于梯度、关于梯度3 3、函数的泰勒级数、函数的泰勒级数1 1、方向导数、方向导数一个二元函数 在 点 处的偏导数定义是:12(,)f x x01020(,)xxx10101201020011(,)(,)limxFF xx xF xxxx x20102021020022(,)(,)limxFF xxxF xxxxx而 和 分别是 在 点处沿x1 和 x2方向的变化率。01xFx02xFx010120210200(,)(,)limSFF xx xxF xxss x称它为该函数沿此方向的方向导数。那么 在 点 处沿某一方向S的变化率如图所示，其定义为：01020(,)xxx12(

8、,)f x x方向导数是偏导数概念的推广方向导数与偏导数之间的数量关系是：0001212coscosFFFsxxxxxn元函数在点x0处沿s方向的方向导数:0000012121coscos.cos cosxxxxnnnxiiiFFFFsxxxFx0001212coscosFFFsxxxxx二元到多元二元到多元2 2、关于梯度、关于梯度（1 1）、二元函数的梯度）、二元函数的梯度 已知2元函数在点x0处沿s方向的方向导数:000012121212coscoscos cosxxxxFFFsxxFFxx010122 () TxFxFFF xFxxx为函数F(x1，x2)在x0点处的梯度。记令12co

9、scoss001212cos cos cos(, ) xxTFFFFsxxFsFss 梯度的模：2212FFFxx其中 为梯度向量与S方向夹角的余弦。梯度方向和S方向重合时，方向导数值最大。cos(, )F s设： 为单位向量。12coscoss则有： 000()() cos(, )TxFF xsF xF ss 梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值 。（2 2）、多元函数的梯度）、多元函数的梯度0012012 (). TnxnxFxFFFFxF xxxxFx00001cos()() cos(, )nTxxiiiFFF xsF xF ssx 梯度 的模：0()Fx01

10、2201()()nxiiFF xx梯度方向与等值线的关系图梯度两个重要性质：梯度两个重要性质： 性质一性质一 函数在某点的梯度不为零，则必函数在某点的梯度不为零，则必与过该点的等值面垂直；与过该点的等值面垂直； 性质二性质二 梯度方向是函数具有最大变化率梯度方向是函数具有最大变化率的方向。的方向。由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因而，梯度是函数的一种局部性质。 求函数 在点3,2T 的 梯度。22121( )44fxxxx112224( )2fxxfxfxx(1)1(1)2242()24xxfx x在点x(1)=3,2T处的梯度为：l解： syms x1 x2 %将

11、x1，x2设置为符号变量f=x12+x22-4*x1+4; % 写出函数表达式fx1=diff(f,x1) ; %对x1求偏导数 ;fx2=diff(f,x2) ; %对x2求偏导数 ;x1=3; x2=2 ; %对x1 ,x2求偏导数 赋值; g=fx1 fx2 ; %梯度 ; g=subs(g) %把符号变量转为数值12121264,42fXfXxxxxxx 121211200121021644422xxxxfXxxxPfXxxfXx 例例2-2：试求目标函数：试求目标函数 在点在点 处的最速下降方向，并求沿这个方处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。向移动一

12、个单位长度后新点的目标函数值。22121122,34fx xxx xx00,1TX则函数在 处的最速下降方向是00,1TX解： 由于10225505511151555XXe00224252514255fXefX 012211222634|255XfXxx xx新点是新点是这个方向上的单位向量是：clc;clear %清屏，清除内存中变量 syms x1 x2 %将x1， x2定义为符号变量f=3*x12-4*x1*x2+x22; %函数fq = jacobian(f,x1 x2) %求梯度转置的表达式x1 = 0; x2 = 1; %对x1， x2赋值F = -subs(q) %把符号变量转为

13、数值F为梯度值）e = F./sqrt(F(1)2+ F(2)2) %求单位向量enewpoint = x1,x2+e %求新点坐标x1 = newpoint(1); x2 = newpoint(2); %讲新点坐标赋给x1， x2res = subs(f) % 函数在新点取值3 3、函数的泰勒级数、函数的泰勒级数 多元函数的泰勒Taylor展开在优化方法中十分重要，许多方法及其收敛性证明都是从它出发的一元函数一元函数 在在 点点 处的泰勒展开式为：处的泰勒展开式为：( )f x0 xx0002()()1( )2ff xfxxxxxf其中0 xxx 220 xxx二元函数二元函数 在在 点点

14、处处的泰勒展开式为：的泰勒展开式为：12( ,)f x x01020(,)x xx000001212122222211222211020122( ,)1 2.2(,)xxxxxfff x xxxxxfffxxxf xxx xxxx 其中1110 xxx2220 xxx矩阵形式00102122221121122222212000( )() 1 .2 1()()(). .2 TTxxxfff xf xxxxffxx xxxxxff xf xxxfxxxxG x 其中0222112102222212 (), xffxx xxG xxxffx xx 称作函数 在 点 处的海赛Hessian矩阵。它是由

15、函数 在 点 处的二阶偏导数所组成的方阵。0()G x12( ,)f x x0 x12( ,)f x x0 x由于函数的二次连续性，有222112ffx xx x 所以 矩阵为对称方阵。0()G x例2-2 求二元函数22121212,425f x xxxxx在 点 处的二阶泰勒展开式。1002021xxx 解 二阶泰勒展开式为120001020001, ()()()2(,)()()TTf x xxxxf xxf xG xxxx将 的具体数值代入，有0 x1020(,)0f xx0011022240()2200 xxfxxf xfxx （上式 “0代表零向量）02221120222212 2

16、0()0 2 xffxx xG xffx xx 所以：110121102200220112222121, ()222 01 2 10 212 21xxf x xxxxxG xxxxxxxxx此函数的图像是以 x0点为顶点的旋转抛物面%利用MATLAB绘制该曲面：x1=-5:5;x2=-5:5; %取值范围设定x1,x2=meshgrid(x1,x2); %三维曲面的分格线坐标f1=x1.2+x2.2-4.*x1-2.*x2+5;f2=(x1-2).2+(x2-1).2;surfc(x1,x2,f2) %绘制曲面(带等高线)将二元函数的泰勒展开式推广到多元函数12,nf x xx在点处泰勒展开式

17、的矩阵形式为：0 x000()()1 ().2().TTf xxf xf xGxxx 其中0012() Tnxffff xxxx022221121222202122222211 () nnnnnxfffxx xx xfffG xx xxx xfffxxxxx 1110 xxx2220 xxx若将函数的泰勒展开式只取到线性项，即取，000( )()() ()Tz xf xf xxx 那么 是过 点 和函数 所代表的超曲面相切的切平面。( )z x0 x ( )f x 当将函数的泰勒展开式取到二次项时,则得到二次函数形式。在线性代数中将二次齐次函数称作二次型. ( )Tf xx Gx矩阵形式G对称

18、矩阵当对任何非零向量x使 ( )0Tf xx Gx则二次型函数正定，则二次型函数正定，G为正定矩阵。为正定矩阵。Hesse Hesse 矩阵的特性：是实对称矩阵。矩阵的特性：是实对称矩阵。 矩阵正定的充要条件：矩阵矩阵正定的充要条件：矩阵G的各阶主子式都是正的的各阶主子式都是正的主子式主子式 det(ait) det(ait)0 0Hesse Hesse 矩阵的正定性：矩阵的正定性：G(xG(x* *) )正定，正定， 是是 x x* * 为全局极小值点的充分条件；为全局极小值点的充分条件；G(xG(x* *) )负定，负定， 是是 x x* * 为全局极大值点的充分条件；为全局极大值点的充分

19、条件；Hesse Hesse 矩阵与正定矩阵与正定奇数阶主子式奇数阶主子式 det(ait) 0 det(ait) 0偶数阶主子式偶数阶主子式 det(ait) det(ait)0 0矩阵负定的充要条件：矩阵矩阵负定的充要条件：矩阵G的的631320104例：判定矩阵G= 是否正定解：对称矩阵Q的三个主子式依次为：660633032631320100104因此知矩阵G是正定的。% %利用利用MATLABMATLAB求解求解G=6 -3 1;-3 2 0;1 0 4G=6 -3 1;-3 2 0;1 0 4a=det(G(1,1) %a=det(G(1,1) %求求G(1,1)G(1,1)行列行

20、列式式b=det(G(1:2,1:2) %b=det(G(1:2,1:2) %求求G(1:2,1:2)G(1:2,1:2)行行列式列式c=det(G) %c=det(G) %求求G G行列式行列式一、二元函数极值一、二元函数极值定义：设函数定义：设函数 在点在点 的某个邻域上总的某个邻域上总有有 ，则称函数在，则称函数在 处有极小值，如图处有极小值，如图211a；( , )f x y000(,)Mxy00( , )(,)f x yf xy相反：在点相反：在点 的邻域总有的邻域总有 ，则称函数，则称函数在点在点 处有极大值，如图处有极大值，如图211b。0M00( , )(,)f x yf xy

21、定理定理1 极值存在的必要条件极值存在的必要条件设可微函数 在点 有极值，则必有：( , )f x y000(,)Mxy0000(,)0(,)0 xyfxyfxy 凡满足上式的点称为函数的驻点。0()0F M即：即：如图所示的二元函数，在 点虽有 和 ，是一个驻点，但它不是极值点。0M0 xf0yf定理定理2 ：极值存在的充分条件：极值存在的充分条件00( , )(,)0f x yf xy 若函数 在点 的某个邻域取得极小值，要求在 点附近的一切点x,y均满足：( , )Zf x y00(,)xy00(,)xy222200000022000002200000001(,)2(,)( , )(,)(,)(,)1(,)2(,)(,)2,0)2xyxyxyxyxyf x yf xyfxyxfxyyfxyxfxyx yfxfxyxfxyx yfxyyyy 若函数存在连续的一阶及二阶偏导数：当满足 ， 时，则泰勒展开式的函数增量近似式(略去三阶以上的高阶微量)为:00(,)0 xfxy00(,)0yfxy令200(,)xAfxy00(,)xyBfxy200(,)yCfxy 可见，函数增量的性态与A、B、C的值有关。可以证明，当满足0A且且 0 A BB C时00(,)f xy为极小值证明从略