矩阵的定义、运算和性质

1、附录C矩阵的定义、运算和性质本附录概述书屮所用到的矩阵方面的定义、运算和性质。关F更多矩阵方面的处理，以 及本附录中给出的性质的证明，请参见1-4.C.1矩阵和向量NXM矩阵(matrix)A是一个N行M列数字构成的方阵，记为：(C-1)A的第可个元素(即位于第i行第j列的元素)记为A”.在式(Cl)中,A严"矩阵的 元索也称为标量(scalar)以农明它是单个数字。对NXM矩阵，N=M称为方阵，N>M称 为瘦阵，称为胖阵。方阵的对角尤素指位矩阵左上角到右卜角的对角线上的尤素，即A昇i = j°NXN 方阵的迹(血“)为对角尤索的和：TrA = A(i o若一个方阵的

2、所冇非对角元素都是 零,即若A” =O,iH j ,则称其为对角阵(.diagonalmatrix')»我们用diagq,°订表示对 角兀素为兔，心的对角阵。NXN单位阵是对角元素全为1的对角阵，即 Iv=diagl, -,lo在不至混淆的情况卜°, I”的卜标N可以省略。上三角(upper triangular)阵是这样一个方阵，其对角线之下的元素都为零,即 Aij = QJ> j.下三角(lower EMgMar阵则是対角线Z上的尤素都为零的方阵，即 Atj=0J<jo对角阵既是上三角阵，又是I、三角阵。只耍维数没问题，矩阵的元素也可以是矩

3、阵。例如，若B是NxM】矩阵，C是NxM： 矩阵，则A = B.C形成了一个Nx(M】 + M J矩阵，也可以写成A = B|C,其第i行为 A“A，w+m“ = B订C叫。若另有Kx厶矩阵D和Kx厶矩阵E,且 M】+ =厶+厶,则可以组成一个(N + K)x(A/】+ MJ矩阵：矩阵B. C、D和E称为A的子阵Csubmanix).只耍人小合适，一个矩阵可以由任意多个 子阵组成。也町以通过删除A的某些行或列得到子阵A'。只有一个列的矩阵(即M = 1 )称为列向量(column vector)或向-t(vector)o向量的行数 称为K维数。例如卜式的、就是一个N维向斎：(G3)向帚

4、x的第i个元素记为兀称所冇元素均为1的2维向吊为全幺向航，记为只冇 个元素为1其余元素为零的向駅称为单位向兀第i个单位向帚於有e；=l, U=OJh几 只有一个行的矩阵(即N = l)称为行向量(mw vector K行向量的列数是其维数。M维 行矢昴为x = x1-.xM,第i个尤素 '二兀。N维行向彊或者列向届的欧氏范数(Euclideannorm).也称范数(nonn)t定义为:(C4)3/8#/8C.2矩阵和向量的运算N x M矩阵A的转(transpose) Ar是M x N矩阵，圧义为Aj = A/f.:(G5)#/8#/8A7也就是调换了 A的行和列，A的第i行是A

5、9;的第i列。行向最£ =馬心的转置是 相同尤素组成的列向駅：(U6)#/8因此我们经常把列欠杲写成x=k的形式。类似地，n维（列）向最,的转置是行向帚兀兀无论X是行向帚还是列向杲，总（x7 ）r=x矩阵A的复共（complex conjugate） A'是将A的每个尤素取复共純： -aiM拿/拿aU aNlA = aNM)拿 a 1应aw 7矩阵A的厄密共（Hermitian） A”是苴共轨转置：A“=（a。两次厄密运算的结果是 原矩阵：（A"）“二A ,故A也是A”的厄密共辘。称方阵A为厄密矩阵，若其满足A = A" 程方阵A为正规矩阵（normal

6、matrix）. Zf其满足Az/A = AA"。厄密矩阵同时也是正规矩 阵，因为Ah=A,所以A“A = AA"。也可以对向駁做复共純和厄密运算。列向晟或者 行向駅x的复共轨£是対x的每个尤素取复共轨。向駅x的厄密向吊ix"是梵共轨转置： x"=宦）两个NxM矩阵可以相加，结果是一个新的NxM矩阵，加法是逐元素相加。也就是 说，两个NxM矩阵A和B的和C = A + B是NxM矩阵，其第（/个尤素是Cy.=A/7 + B7. 因为是逐尤索相加，所以加法的交换律和结合律仍然成立，即A + B = B + A, （A + B）+C = A +（B

7、 + C）。矩阵和的转邊等矩阵的转置的和：（A + B）=A/ +B'。 矩阵的减法与此类似，对两个NxM矩阵A和B, C = A-B是NxM矩阵，英第（/个 兀索是C厂Ay-B“。行向吊或列向；it是矩阵的特例，也可以按矩阵加法的足义进行相加, 例如N维向鼠、y相加得z = x + y,其第，个元索为zx+y.o行向磺类似。但一个维 数N>1的行向量不能同一个N维列向量相加,因为它们是大小不同的矩阵（行向量是 lxN,列向最是Nxl）。N维向磺x、y的线性组合z = cx + dy是一个新的N维向最， 其第i个元素是 = ex, + dyj, c和d是任意的标量。可以对矩阵乘以

8、任息标彊，其结果是矩阵的每一个尤索都乘以这个标彊。如矩阵A乘 以标最R的结果Ra为：#.811IMnIMaNM(C8)kA = k5 811IMnIM行向起X乘以标杲k的结果是& =號&訂，列向駅X乘以标鼠R的结果是 & =阻厂低订。维数相容的两个矩阵可以相乘，具体耍求是第一个矩阵的列数应等第二个矩阵的彳r 数。若A是NxM矩阵，B是MxL矩阵，则C = AB是NxL矩阵，其第可个尤素是 MC厂工九B卄 矩阵乘法一般不满足交换率（即-般AB#BA）o实际上，对丁/xM *=1矩阵A和MxL用阵B积BA仅当厶="时存在，此时BA是MxM矩阵，它与NxL 的购阵A

9、B可能人小都不一样。即便M = L=NAB和BA这两个矩阵虽然人小相同， 但内容不一定相等。方阵A可以自己乘自己，定义A2 =AA, A* = A-A为R个A的连 乘，11J此可得A A=A加。任意矩阵与维数相容的单位阵相乘的结果还是原矩阵，即若A 为NxM矩阵，则I/VA = AIW =A0两矩阵积的转置等毎个矩阵转置后以相反的顺序相 乘：（AB ）r = BA7。N x M矩阵A与它的MxN厄密阵A"的积为方阵，AA”为NxN 方阵，A"A 为 MxM 方阵。矩阵 A 的 Frobenius范数定义为 II州厂应5=辰可=迂忑瓦F O只耍矩阵的维数相容，矩阵乘法满 足结

10、介律：（AB）C = A（BC）,故通常省略括号。矩阵相乘也满足分配律： A（B + C）= AB + AC,（A + B）C = AC + BC 9M维向鼠可以与M列的矩阵相乘。若A是一个NxM矩阵而x是一个M维向最（即 Mxl矩阵），则它们的积是N维向®y = Ax,第i个元素为比=工：2从孔。注意必须 是矩阵左乘向量,因为XA存在维数不相容的问题。但若x是N维行向量,则对T'NxM矩 阵A, XA维数相容，结果是一个M维行向駅，第i个尤素是心。N维行向 量和N维列向最相乘的结果是一个标量Z = xy =工:xy。注意到N维向眾的转直是N维 行向駅 因此定义两个N维向帚的

11、内积为（x.y） = xry = ix（y.。对F矩阵A的-些行组成的子集,若其中任一行都不是其他行的线性组介,则这个子# 8集是线性无关的(linearly independent)类似地，矩阵A的一些列组成了一个线性无关子集, 若英中的任一列都不是其他列的线性组介。矩阵A的秩(皿加)心等矩阵A的线性无关 行构成的绘人子集的彳J：数，町证明它也等-矩阵A的线性无关列构成的最人子集的列数。 这表明NxM矩阵的秩不能超过若心二则称NxM矩阵A 是満秩的。2x2 矩阵 A 的行列式(determinant)定义为 detA = AnA22 A2iA12。对 f N x N (N2)矩阵A, det

12、A以迭代方式定义为：Ndet A=工(C-9)其屮丿是5j5NZ间的任意整数，C”是矩阵元素A”的余子式(咖畑),定义为：5=(l)»detA'(C-10)其屮A'是从A中删除第i行第丿列后得到的子阵。对F N x N方阵A,若存在另外一个NxN方阵B使得BA = IV,则称A是可逆的 invertible),或者非奇异的(.nonsingular'),称 B 为 A 的逆(inverse),记为 A"1是 A_1A = I v 对J这样定义的,也U AA-1 = lN o只令方旳是叩逆的，并H.逆矩阵和原矩阵人小相同。 称可逆方阵U为药(unita

13、ry)阵，若武满足UU" = I,这表明U" = LT】，川ifu= I并非所有的方阵都是可逆的,若其不可逆,则称贰为奇异的(.singular)或者不可逆的 (nomnvertibleK逆矩阵的逆是原矩阵：矩阵积的逆为矩阵的逆以相反顺序 的积：(=B- A1。逆的k次尿为A-1' =(A-1)*。对角阵D =小陀同,d j当所有d,工0 ( i = 1,N时，苴逆存在且为 D-diagfl/J- a/Jjo对一般的2x2矩阵儿 肖detAH0时逆存在，为：(G11)#/8#/8对J人P2x2的町逆炉阵仃更复杂的求逆公式，般町用数学软件包來求解。7/8矩阵的逆通常用

14、求解线性方程组。考股一个矩阵形式表示的线性方程组:y = Ax(C-12)如果矩阵A可逆，则给泄丫时，这个方程组仃唯一解x = A”y。C.3矩阵分解给定方阵A,若对于标量2存在一个非零向量x使得Ax = 2x,则称此标量为矩阵A 的特征值 Wgm"伽)。这个向?： X称为矩阵A对应J ： 2的特征向量(eigenvector)«矩阵 A 的所仃特征是K特征方程(characteristic equation) detA一 21 = 0 的解 一 detA 一 久1是 关J 2的多项式，称为矩阵A的特征多项式(characferisfic polynomial), I対此A

15、的所有特 征值都是其特征多项式的根。NxN矩阵的特征多项式，若其形式为 detA-I = (-l)A'p-/;) -(A-rv),则有N个各不相同的根斤,q(/；工匚)。当特 征多项式包含(久一斤，£>1时，称/；为L朿根。例如：若detA 21=(久一人)(几一口)'， 则/；是2車根，E为3車根。NxN矩阵有N个特征值人，人v，其中有些町能【大I为亜根 而相同。可以证明，矩阵的行列式等J其所何特征值的枳(求积时RiE的特征值/;按/计 算)。厄密矩阵的特征向吊可能是复数的，但特征值总是实数。此外，NxN的正规矩阵A 可以写成卜両的形式：A = UAU&quo

16、t;(C-13)其中U是酉阵，其列是A的特征向量。A二diagg,人,0,0是NxN对角阵,前K 个对角尤素是A的非零特征值。对厄密矩阵，式(C-13)中的A只白实元索。称矩阵A为 正定的(positive definite), ?(:对任意的非零矢匮x有x"Ax>0。厄密矩阵是正定的,当且 仅当真所有特征值都是止的。类似地，称矩阵A为半正定的(positive semid呦论)或者非 负定的(nonnegative definite),若对任意的II：零欠;it x冇xz/Ax > 0。厄密矩阵为II负定的， 当且仅当其所有特征值都是非负的。若NxM矩阵A的秩为尺入，则存在一个NxM矩阵£, 一个N xN西阵U,和一个MxM酉阵V,使得:(C-14)A = UEV"称V的列为A的右奇异向量(right singular vector), U的列为A的左奇异向量(稣singularvector).矩阵£的非対角元索均为冬.当N2M时形为：(G15)当N <M时形为:00o'0 %00Arx.W(G16)9/8#/8这里6=込，&是AA"的第i个特征值。6称为A的奇异值(singular value),其中有