向量和矩阵的微分

1、附录一矩阵微分法dA在现代控制理论中，常遇到矩阵微分法.就表达式变量、向量、矩阵variable变量函数variable function来说，由于H和B都能分别是数量.闻量或矩阵，而可代表九种不同的导数除数量函数对数量变量的导数外.还剩下八PDF"pdfFactory". cnPDF"pdfFactory". cn种.这八种导数的定义并不统，这里采用的是多数的讲法.下面先分别介绍八种导数的定文和运算公试，然后再统一 起来.我们采用符号2代表列向量,代表矩阵*上标T代表转置.如不特别指明.所用的向量都定是韓维的.PDF"pdfFactory&q

2、uot;. cnPDF"pdfFactory". cn第一节相对于数量变量的微分法对于算维向量函数向量函数 vector functionPDF"pdfFactory". cn定义它对t的导数为" f IL itdt(11)PDF"pdfFactory". cnPDF"pdfFactory". cn对于琢x牌的矩阵圈数匚 矩阵函数 matrix functiOnI <!(0 5 /定义它对十的导数为PDF"pdfFactory". cn不难看岀密上述两个定义是一致的.当矩阵蜕化为

3、向瑶（D时，建义2就变成定义I.就是说矩阵（包括向PDF"pdfFactory". cnPDF"pdfFactory". cn量函数对数量变量的导数等于它的各个元素的导数，结果是 个同阶的矩阵.根据上述定义，可以推出下列的运算公式运算公式I 在下列公式中，公.3都是变量了的矩阵函 数.但它们也可以代表向量函数（当其列数为时）,或数量 函数（行数“列数都为一时）其中2是变量的数量函数.<1）加法运算公式%（5*甥(13)<2 ）数乘运算公式i 5畔八灵弓/(1 4)PDF"pdfFactory". cnPDF"pd

4、fFactory". cn<3 ）乘法运算公式dF这些公式都容易证明.现在来证明后一个公式婕 证明分两步证明.先证心均为向量的情况，即证dt妇一占b十唱（1 一 6其中Q和以分别为行向量和列向量） 533 一v沪=丢几，b - b2J将戶 和0代入方程（16片 直接求导并加以整理，可得-（今如+咬务）A=ldaT j 、 Tdb=；b 丰亦二一didi因此,为向量吋,公式（1 一 5 ）成立*PDF"pdfFactory". cn现设分别为雅5 和mKl矩阵，可以写成PDF"pdfFactory". cnPDF"pdfFacto

5、ry". cn其中石代表"的第i行行向量.巧代表E的第j列列向量, 依此有PDF"pdfFactory". cnPDF"pdfFactory". cn从而得（如）-PDF"pdfFactory". cn例1求XFRX对左的导数.其中X是£的拜维向量函 数，虫是对称常数矩阵.解利用公式（1 5）,有软 XX、，务 AX 哙yX)= 2XTAX在写后一等式时夕我们利用了 (TAX和XT/1文都是数量函数,且"为对称阵，它们等于自己的转覽:(,XrAXy = XrA因而两者相等的事实.当/为单位阵时，

6、此结果变为HiiXfdi2XtX 2XtXPDF"pdfFactory". cnPDF"pdfFactory". cn上式的数量形式是PDF"pdfFactory". cnPDF"pdfFactory". cn第二节 相对于向量的微分法h数虽函数的导数设函数f (X)二fg* ，2是以向量耳为自变量的数量函数，即以恋个变畐的为自变量的 数量函数*定义3 我们将列向量9x,ifX丿叫做数量函数f对列向量X的导数，记作525 一PDF"pdfFactory". cn上述导数习惯上叫做函数/的梯度,

7、概念的推广，记作grad/或/例2 求函数/<X) :-；TX匸就+迅+疋 对X的导数.=C.2t 2*广2x* J，二 2X上式的数量形式是<21)它是三维空间中梯度下列的运算公式是明显的卡运算公式2 在下列公式中，/和 数.<1)加法运算公式7x(f±gy =都是X的数堆函(2 2)解根据定义一 526 PDF"pdfFactory"<2 乘法运算公武d dX<2 3)我们把函数/对行向量的导数定义为如&的行向量夕记作df , f df 3f 2苕dx 527 PDF"pdfFactory"2.向量函数

8、的导数 设函数R（X） J :,1是X的楙维列向量函数定义4阶矩阵函数i 91臼0.ijdxtex,：,(24)I :丄严一 j匹西也 I無 !3片3.称为觴维行向量函数"（X对即维列向量X的导数.犠I 阶矩阵函数X 称为席维列向勺函数旅X）对显维行向量XT的导数.分别记"(X)却托(X X 和 dX # PDF"pdfFactory"根据定义显然可见，导数矩阵的行数等于不加转置的向量的行数1列数等于加以转置的向量的列数*据此有PDF"pdfFactory". cnPDF"pdfFactory". cn在此情况下，

9、存在下列的运算公式：运算公式3 在以下的公式中，詆X和銚X是桝维的 列向量函数，200是数竝函数.(1加法运算公或dX ± 7T<2)数乘运算公式dz T x 日2丁丄)d"7VI衣(3)乘法运算公式PDF"pdfFactory". cnPDF"pdfFactory". cn头两令公式，两端都是丁5 矩阵，证明不难后一个公 式，两端都是1向量.证明如下.证明 根抵定义并利用公式<1-6),有r p 3&丁 J' fl - »»:dxt-gx. ". daT.dbTU嬴£

10、; 亠力4-.dXdX:3aT r刑！+ -1却1关于对行向量求导的运算公宣，与此相仿,就不重复 了.留给读者自行写出，当作练习.需要指出，根据定义我们可以直接验证两个有用的等式：(2 9)其中是单位矩阵.但要注意，从以上两个等式可以看 出下列运算是错误的，拿头个導式说，不能把左端的分母移乘 到右端得出dXdXT如果要(或dXT )移乘作除或移除作乘的话，必须加 以转置.例如，将等式dXJX右端的dX移到左端作除时，应加以转置.得dX _ T例3(1)求行向量对X的导数第(2)求列向量BX对*X的导数，其中是常 数矩阵，但不一定是方阵.解(1设X为邯维列向量，£为心琳矩阵，可以写成

11、A =珈|忑贰“农静l529 -其中砒是«X1列向童因此可将行向量表为XTA = CXTai X1色XO J根据定文则得7X(XS 二其中的每个列向量，由公式（2 8）可得 d 八?八dXTdaj v7Y（X訂二贡叫+ 7x x=%因此有昙（乂 5 =叫吟“U（2设B为尬八矩阵，将它写成.疋丿苴中好是IX幷行向量.因此可将列向量BX表示为WX 1 bX 丿根据定义则得務亍CX2|聞SX）纟亍（比X ）PDF"pdfFactory". cn其中的每项可算出为拟心XT食冲炭=b：因此有晶(BX)=B从以上结果可以看岀，在此情况下的常数矩阵可以当成常 数，提出导数号外，

12、再进行求导.例4 求二次型XTAX对X的导数解 利用公式将列向量月X看成0 ,得到d .yr AY.AVv7x（x AX） = 7xax + 7Xx=AX-h ATX=（yl 十 AT） X它是个列向量.当虫为2X2矩阵时，上式的数量形式是1叭土十4?2兀1兀2十3 * Chi十3诈+务1）兀声±壬衍声刃=2叭产| + （叭=+ n貴比 dXj(.12 +T 2 戏蔦并£当/为对称阵时，上式变为务（XrAX） 2AX同理可得-4t（xmx）二 xy 力 A当为对称阵时，上式变为务 WAX) -2Xj-4531 它是个行向量*以上结果可视为数量函数广如导数公式的推广.例5求数

13、量函数弘乂对X的导数，其中，是1%冬行 向凰，A是"矩阵，都是常量.*是MX1列向量.因为pTX是数量函数，它尊于自己的转置#即考虑是常数向量，可以提出导数符号外，便得去(fAX)=ATp例6 求方程其中/!是s常数矩阵#其秩为AXb为牌x 1解常数列向量.这实际上就是求数量函数/<X)=XTX在条件AX=b的最小范数解下的条件极小值，采用拉格期日乘子法，作函数F(X) - XTXfCAX-k)其中晞维行向量严 代表乘子.求上式对X的导数，并令它等 于零，得到dF7x由此解出XPDF"pdfFactory". cnPDF"pdfFactory&qu

14、ot;. cn将它代入约束方程，可得PDF"pdfFactory". cn其中是祺5常数矩阵，根据给定条件可知它的秩为 其逆存在”因而有p 工 一 2(4虫丁L%将它代入X的表达式，便潜X 二月丁(虫b再由d抒r 5X"，2J°可知所得到的解是最小范数解.这也就是第三章第一节中定理 2给出的结果.需要描出，根据定义我们可以直接验证下列等式i 0T'!帖T I 3.矩阵函数的导数设函数I召(X)知(X'*x)二！；:Si (X)t(X)；533 pPDF"pdfFactory". cn是X的矩阵函数，即其中的每个元素都是

15、x的函数. 定义5的矩阵函数f dA(X) “Sxl” dA(X)jg：B "一 3心 丿称为Z矩阵函数(X)对列向的导数.mx h的矩阵 函数r 3A(X)dA(X)dA(X) * 9X(dxzd*. J称为讥1矩阵函数a(x)对行向» xt的导数.其中的每个 分块矩阵是矩阵函数ACX)对变量 冷 的导数矩阵，仍是一个 i«xZ® 阵*(9lt(X) daX)3x/9>f/*da.X)a,/(x)0x；丿我们将以上两种导数分别记作士 和 _dAdX W M-般地说樺上述两种导数不存在互为转置的关系夕即(但有倍制不难看出.当dx蜕化为向量时，上述定

16、义就与定义4 相同了.534 PDF"pdfFactory"可以证明存在下列的运算公式.运算公式4 在以下的公式中，加和(：都是p“ 矩阵，B是mx/矩阵，；是X的数量函数*(1) 加法运算公式d (X4C) = +-( 2 10)dX s-s dX ' dX' a(2) 数乘运算公式ix(S = vrA + 人7/(2ii)其中右端第一项的含义是，把W看成一个数量那样与向量务相乘，即PDF'pdfFactory"PDF'pdfFactory"其中的每个分块都是矩阵，所以它本身是个矩 阵.(3乘法运算公式r jb TdXS

17、PDF'pdfFactory"PDF'pdfFactory"其中上式右端第二项的含义是PDF'pdfFactory"ax. J其中每个分块都是pd 矩阵.所以它本身是个 W 矩阵. 现在我们给出这个公式的证明.证明将矩阵虫和丑分别写成# -PDF"pdfFactory"其中石 是加的第f行行向量.务是B的第0列列向量.依 此有AB"；Zi斑物；# -PDF"pdfFactory"# -PDF"pdfFactory"因而化3即訂具仏3vjtF,:rr=竺切7拋I 3xtJ

18、ptB+yl933心这实际就是公式（1 5）,山此得-ox, (AB)OX A谢B"迺dx.3X淬B十4翌f. ： oJC»(2 12)这里有个问题要解释一下.上式右端第一项中的裂是个矩阵，是个m x /矩阵所以537 -PDF"pdfFactory"# -PDF"pdfFactory"而第二项中的H是个pm矩阵，裂是个nmxl矩阵.两者不能相乘，自然不能等于矩阵ab d.r,4«IB# -PDF"pdfFactory"# -PDF"pdfFactory"Qg丿# -PDF"

19、pdfFactory"所以我们把它写成公式中的形式.不难看出，当£和母蜕化为向量时，上述运算公式就与运 算公式牛一致了.例了 求行向量对X的导数.解利用公式（2 12）,有dX s c dXI /XidX当山是常数陈时，得JX比例3的算法简单，第三节 相对于軽的微分法1. 数量函数的导数设函数是以px刖矩阵力的个元知为自变量的数量函数,-一'538 一PDF"pdfFactory"-一'# 一PDF"pdfFactory"简称以矩阵用为自变量的数量函数*例如函数心：+ 2 n M町十5叭/琵就是以为自变量的函数，定义6

20、 P"矩阵-一'# 一PDF"pdfFactory"称为数量函数/对矩阵*的导数，记作 ±f.dA例8求f X'AX对矩阵川的导数, 的，山是对称的.解 我们先研究用为二阶矩阵的情况.其中向量X是定常这时数量函数& 1 L2；/匸XZ.i!I应；1 (i hV > jpifa i根拥定义有1”- 如上i1 A/.1,a/ i".a. ciI>iL- dA= 卅心i r共启詔建+ XPV；2十卞込冷'二；CxX-2)- XXTxt .对于一般的情况，函数八n'"旳j-I y=：根堀定义

21、克接可以算出一 540 _PDF"pdfFactory"2. 向量函数的导数设函数z（A）= 03）矶3）孔f N）r 是以矩阵*为自变量的护维列閒童函数.定义7 npm矩阵> qz az 4- Haz dZ :t I%”" F * B- : i. a 1函数Zc/1)称为列向对pxm矩阵/I的导数，其中毎个分541 PDF"pdfFactory"块矩阵是个nl矩阵:# PDF"pdfFactory"同样我们可以定义行向量函数"（H）对月的导数，它是个 px刿龙矩阵，分别记为一和彳刁3. 矩阵函数的导数设函数

22、F-九3九（F3）=；:； f、几3）几S丿是以pxm矩阵加为自变量的nxl矩阵函数占定义8 itp"l矩阵# PDF"pdfFactory"aF 3F 1is la ir a *4/:Ic 3 4 )ar 95 " 也也吗 m=刁占户E ,称为矩阵函数F (A)对矩阵/的导数，其中每个分块矩阵是 个X /矩阵* u_ &_仏。心丿°确打丿PDF"pdfFactory". cnPDF"pdfFactory". cn此一导数的记号是 越相对于矩阵求导的运算公式比较复杂，宜于具体情况具体 处理现把几个

23、常用的公式汇列如下，以供査阅。在下列公式中-X是券维列向量，Y是郴维列向量，月是 只乂皿矩阵.(严丁弓丫 = XyT(36)3/1证明根据矩阵乘法，冇J 1 ; = 1由此可得dX7AY二匕力PDF"pdfFactory". cnPDF"pdfFactory". cn利用定义便得XTAYPDF"pdfFactory". cn由于XrAY是个数量函数，与它的转置相等，即YrA7XXTAY利用此一给果，我们又得到所论公式的第二形式3YTrX dAdYTArAY dA2AYYr542PDF"pdfFactory"#PDF

24、"pdfFactory"证明在上式左端含有矩阵的乘积力丁根据数量函数乘 积的求导公式.可以想到上式的求导也应包括两项，一项只 对求导* 一项只对力求导卓就是说，不难验证下式的正确性(X = AY)d¥TArAY _ ayvj4ry dXTAY"! I u |j - 1 .Si " 令3/10"3A在以上求导过程中英X和产都被看作常数向量.依此，利用公 式3-6)就得到dYr!rAYr 1 0/1-=XYrXYr2AYYT_ .9(AY-Xyr(AY-X)= 2(A-X)Yt(3 8 )#PDF"pdfFactory"

25、;#PDF"pdfFactory"证明我们有(AY-X)TQY - X)- YrATAY - XTAY 亠 YrArX + XrX求上式对/的导数，利用公式(3 6)和 3 7 ).则得d(AY-X)1 -X)-2z4rrr- 2XYt二 2 3F-X) rT由于(AY - X)T (AY - X)二 Tr(/1F X(XY-X)T#PDF"pdfFactory"利用公式（3 8）,只可得3Tr(/1Y-X) (AY-X)TdA2(AY-X)Yt9)PDF"pdfFactory". cn在下列公式中，*是"郴变元矩阵，B是

26、z琵 常数矩 阵，C是繼5常数矩阵.z 、 aTrZB _ 9TrB/4 9Tr/lTBT 9TrBrZr _ Rt7 bAZAdAdA<3 10)证明根据矩阵乘法，有Try?J3PDF"pdfFactory". cnPDF"pdfFactory". cn丙此3TrAB3知根据定义6 *便得3TMBA(311)由于TrXB 二 TjB/4 = XrATBT 二 TfBT丁利用公式（3 11）就可推出公式（310）的其余等式.（6）£I£<|1L = A（c + Cr）（312）证明 容易验证在此情况下的画数乘积的求导法则照

27、样是 适用的，就是说成立aTr>4CX _ ETM® 丄 3TtE/y3£3AdA而其中的b严C£T, B2 = /?C都可看作常数矩阵y因此一 543 - 氏 - A -C）Szl同理可证(设C为处X草矩阵3Tr/lTCX A（C + cr aPDF"pdfFactory". cnPDF"pdfFactory". cn例9 求函数f= (X-M U2)珥X对矩阵乃的导数阶气X- BZ）0解利用公式(3-8 ) ?得（BZ+mXWZ 十丹一X）= X0=一 2 （X 塚一乃Z） Zr分析上述八个定义可以看出，定义8是最

28、广义的.它全部 概括了以前的七个定义，将它们作为自己的特款就是说.不论函数F和自变量H是数量.向最、矩阵,F对用的导數总是PDF"pdfFactory". cnPDF"pdfFactory". cn按照下述的两个步骤构成的.即Cl将自变量占的元换成函数F对各元的导数.得到分块矩阵(3 4)；C2)对矩阵3 -4)的每个分块亍例如£，把其中oa-;的函数F的各元换成该元的对如曲导数p得到矩阵 (3 5将以上两步结合起来.就得到F对的导数.席厂 a r* -例如尸=匚几3)厶3)对M“_ i的导数就心1 h丿可以这样得到(1)将£的各元换

29、成F对该元的导数，得OF3FPDF"pdfFactory". cnPDF"pdfFactory". cn(2)将其中的尸的各元撅成该元的相应导数，便得到*人萌丁 0几_-“4'-»» -PDF"pdfFactory". cnPDF"pdfFactory". cn由此可知，导数豈的行数等于F和/的行数的乘积j列 数等于F和/!的列数的乘积.按此定义，忌维列向量対澤维列 向量的导数将是一个沪维的列向量.从以上的讨论可知，相对于向垦的微分医把相対于数量的 微分法作为自己的特殊情况，此-说法自然

30、也适用于运算公 式.由于相对于矩阵的微分法应用少些，只要根据上述说明 掌握相对于向量的导数含义及运算公式4 ,就能满足实用需要 T.顺便指出和以上的定义可以说是以分母为主的定义，这是 目前常用的.当然也可以采用以分子为主的定义，就是说在定 义F对的导数时原则上可以把上述两步颠倒一下次序，例如 把的导数可刁疋义为PDF"pdfFactory". cnPDF"pdfFactory". cn545 PDF"pdfFactory". cn玺丛虹卫厶而不是现在这样定义为PDF"pdfFactory". cnPDF"

31、pdfFactory". cn但当F和力一为列向量另一为行向量时，两种定义是相同的.第四节复合函数微分法下面将介绍亠些最常用的基本公式.我们用f代表数量函 数，Z代表/维列向量函数，丫代表落维列向量或函数，X代 表竈维列向量或函数，f代表数量变量.1数量函数的公式公式 1 设r-r(o,则df _ df dY _dY'i df - ” , = rdi dYT dt dt dY公式2 设 /=/(/), r = r(x>,则7XdXdfdY(4 2 )dfJXr-dfi" . =.4 dYrdY(4 3 )公式1是容易直接验证的.公式2有两个形式，它幻是互 为转

32、豊的关系，现在给岀其证明如下.证明由给定条件.我们有好二书就丫及心喪严其中dY和dX分别代表如下的牌维和斥维列向量546 上面的两个微分公式都不难利用多元函数微分法直接验证.把它们结合起来就得到PDF"pdfFactory". cnPDF"pdfFactory". cn瘠右端的/X加以转置后移乘作除，见公式,便得公式2的第二种形式*町.df dY dXT dYr m将它转置，并利用根据定义3和定义4推出的关系式 歸）=务（嘉）二务（嘉）=%就得到公式2的第一种形式*也=竺JL贡_衣ir由公式2很容易得到下面的公式* 公式3 设y = r（x）,则&quo

33、t;_ M丄/厂3/ -T-J - -«!三dx ax dx ay 疔一 M * 3/ dY dXT dXTdXT例10求f二XTX对的导数.解令Y二力X,山于dYT 一 XdX dX再利用公式3就得到（4 亠 4 ）<4 5 ）57 小+能心例门求方程AXb的最小二乘解吏其中力为从并常数矩阵，其秩为对解这实际就是求数量函数f= (AX-r(AX的极小值*令Y "X利用公式2及例2.可得砒 _dYr df7x - JX1Y=zTTF= 2AT(AX -i)令上式等于零，解出X= G4S 七 O这就是第三章第一节定理4给出的结果.其中有些问题需要说 明一下*由于矩阵&q

34、uot;的秩为"I 矩阵力丁川)的秩也是祚? 所以其逆3W存在.文从Ar(AXh = Q不能推出QA X -= 018为两个非零矩阵的积可能是零”不能由此消去川丁 f这是与 数量乘积不同的.例2求函数/= (X矗一 BZ)r(Xa - BZ)- §48 PDF"pdfFactory". cn再利用公式2便得% I 1 MM9t7 da 旗=2(X B2)2.向屋函数的公式公式4 设 = z(n, Y-ya则4m *dZ _ d2 dY7T dYTdF公式5 设z = z（f人y = y（X）则dlT dY d7：-dX ' dXdY那肝静/"7