矩阵的定义、运算和性质

1、附录C 矩阵的定义、运算和性质本附录概述书中所用到的矩阵方面的定义、运算和性质。关于更多矩阵方面的处理，以及本附录中给出的性质的证明，请参见14.C.1 矩阵和向量N×M矩阵(matrix)A是一个N行M列数字构成的方阵，记为：a11a1M (C-1) A= aN1 aNMA的第ij个元素（即位于第i行第j列的元素）记为Aij。在式(C-1)中，Aij=aij。矩阵的元素也称为标量(scalar)以表明它是单个数字。对于N×M矩阵，NM称为方阵，N>M称为瘦阵，N<M称为胖阵。方阵的对角元素指位于矩阵左上角到右下角的对角线上的元素，即Aij，i=j。N×

2、;N方阵的迹（trace）为对角元素的和：TrA=Ni=1Aii。若一个方阵的所有非对角元素都是零，即若Aij=0,ij，则称其为对角阵（diagonal matrix）。我们用diaga1, ,aN表示对角元素为a1, ,aN的对角阵。N×N单位阵IN是对角元素全为1的对角阵，即IN=diag1, ,1。在不至混淆的情况下，IN的下标N可以省略。上三角（upper triangular）阵是这样一个方阵，其对角线之下的元素都为零，即Aij=0,i>j。下三角（lower triangular）阵则是对角线之上的元素都为零的方阵，即Aij=0,i<j。对角阵既是上三角阵，

3、又是下三角阵。只要维数没问题，矩阵的元素也可以是矩阵。例如，若B是N×M1矩阵，C是N×M2矩阵，则A=B,C形成了一个N×(M1+M1)矩阵，也可以写成A=B|C，其第i行为Ai1 Ai(M1+M2)=Bi1 BiM1Ci1 CiM2。若另有K×L1矩阵D和K×L2矩阵E，且M1+M2=L1+L2，则可以组成一个(N+K)×(M1+M2)矩阵：1/8BCA= (C-2) DE矩阵B、C、D和E称为A的子阵（submatrix）。只要大小合适，一个矩阵可以由任意多个子阵组成。也可以通过删除A的某些行或列得到子阵A。只有一个列的矩阵（即

4、M=1）称为列向量(column vector)或向量(vector)。向量的行数称为其维数。例如下式的x就是一个N维向量：x1 (C-3) x= xN向量x的第i个元素记为xi。称所有元素均为1的N维向量为全幺向量，记为1N。只有一个元素为1，其余元素为零的向量称为单位向量。第i个单位向量e有eii=1，eij=0,ji。只有一个行的矩阵（即N=1）称为行向量（row vector）。行向量的列数是其维数。M维行矢量为x=x1 xM，第i个元素xi=xi。N维行向量或者列向量的欧氏范数(Euclidean norm)，也称范数（norm），定义为：i(C-4) C.2 矩阵和向量的运算N&#

5、215;M矩阵A的转置(transpose)AT是M×N矩阵，定义为ATij=Aji：a11a1MAT=aN1 aNMa11= a1MTaN1 (C-5) aNMAT也就是调换了A的行和列，A的第i行是AT的第i列。行向量x=x1 xN的转置是相同元素组成的列向量：x1 (C-6) xT=x1.xNT= xN2/8因此我们经常把列矢量写成x=x1 xNT的形式。类似地，N维（列）向量x的转置是行向量x1 xN。无论x是行向量还是列向量，总有x()TT=x。 矩阵A的复共轭(complex conjugate)A是将A的每个元素取复共轭：a11=a1Ma11a1MA= aN1 aNMa

6、N1 (C-7) aNMH矩阵A的厄密共轭（Hermitian）A是其共轭转置：AH=(A)。两次厄密运算的结果是T(A)原矩阵：HHHH=A，故A也是A的厄密共轭。称方阵A为厄密矩阵，若其满足A=A。HH程方阵A为正规矩阵（normal matrix），若其满足AA=AA。厄密矩阵同时也是正规矩阵，因为AH=A，所以AHA=AAH。也可以对向量做复共轭和厄密运算。列向量或者H行向量x的复共轭x是对x的每个元素取复共轭。向量x的厄密向量x是其共轭转置：xH=(x)。 T两个N×M矩阵可以相加，结果是一个新的N×M矩阵，加法是逐元素相加。也就是其第ij个元素是Cij=Aij+

7、Bij。说，两个N×M矩阵A和B的和C=A+B是N×M矩阵，因为是逐元素相加，所以加法的交换律和结合律仍然成立，即A+B=B+A，(A+B)+C=A+(B+C)。矩阵和的转置等于矩阵的转置的和：(A+B)T=AT+BT。矩阵的减法与此类似，对于两个N×M矩阵A和B，C=AB是N×M矩阵，其第ij个元素是Cij=AijBij。行向量或列向量是矩阵的特例，也可以按矩阵加法的定义进行相加，例如N维向量x、y相加得z=x+y，其第i个元素为zi=xi+yi。行向量类似。但一个维数N>1的行向量不能同一个N维列向量相加，因为它们是大小不同的矩阵（行向量是1&

8、#215;N，列向量是N×1）。N维向量x、y的线性组合z=cx+dy是一个新的N维向量，其第i个元素是zi=cxi+dyi，c和d是任意的标量。可以对矩阵乘以任意标量，其结果是矩阵的每一个元素都乘以这个标量。如矩阵A乘以标量k的结果kA为：3/8a11a1MkA=kaN1 aNMka11ka1M=kaN1 kaNM (C-8) 行向量x乘以标量k的结果是kx=kx1 kxN，列向量x乘以标量k的结果是kx=kx1 kxN。维数相容的两个矩阵可以相乘，具体要求是第一个矩阵的列数应等于第二个矩阵的行数。若A是N×M矩阵，B是M×L矩阵，则C=AB是N×L矩

9、阵，其第ij个元素是。实际上，对于N×MCij=AikBkj。矩阵乘法一般不满足交换率（即一般ABBA）k=1MT矩阵A和M×L矩阵B，积BA仅当L=N时存在，此时BA是M×M矩阵，它与N×L的矩阵AB可能大小都不一样。即便M=L=N，AB和BA这两个矩阵虽然大小相同，但内容不一定相等。方阵A可以自己乘自己，定义A=AA，A=A A为k个A的连乘，由此可得AA=Aklk+l2k。任意矩阵与维数相容的单位阵相乘的结果还是原矩阵，即若A为N×M矩阵，则INA=AIM=A。两矩阵积的转置等于每个矩阵转置后以相反的顺序相乘：(AB)=BA。N×

10、;M矩阵A与它的M×N厄密阵A的积为方阵，AA为N×NTTHHT方阵，AA为M×M方阵。矩阵HA的Frobenius范数定义为AF=。只要矩阵的维数相容，矩阵乘法满足结合律：(AB)C=A(BC)，故通常省略括号。矩阵相乘也满足分配律：A(B+C)=AB+AC，(A+B)C=AC+BC。M维向量可以与M列的矩阵相乘。若A是一个N×M矩阵而x是一个M维向量（即M×1矩阵），则它们的积是N维向量y=Ax，第i个元素为yi=k=1Aikxk。注意必须是矩阵左乘向量，因为xA存在维数不相容的问题。但若x是N维行向量，则对于N×M矩阵A，xA维

11、数相容，结果是一个M维行向量，第i个元素是yi=量和N维列向量相乘的结果是一个标量z=xy=MMk=1xkAki。N维行向Ni=1Txiyi。注意到N维向量的转置是N维行向量，因此定义两个N维向量的内积为x,y=xy=Ni=1xiyi。对于矩阵A的一些行组成的子集，若其中任一行都不是其他行的线性组合，则这个子4/8集是线性无关的(linearly independent)。类似地，矩阵A的一些列组成了一个线性无关子集，若其中的任一列都不是其他列的线性组合。矩阵A的秩（rank）RA等于矩阵A的线性无关行构成的最大子集的行数，可证明它也等于矩阵A的线性无关列构成的最大子集的列数。这表明N

12、5;M矩阵的秩不能超过minN,M。若RA=minN,M，则称N×M矩阵A是满秩的。2×2矩阵A的行列式（determinant）定义为detA=A11A22A21A12。对于N×N（N>2）矩阵A，detA以迭代方式定义为：NdetA=Aijcij (C-9)i=1，定义为： 其中j是1jN之间的任意整数，cij是矩阵元素Aij的余子式（cofactor）cij=(1)i+jdetA (C-10)其中A是从A中删除第i行第j列后得到的子阵。对于N×N方阵A，若存在另外一个N×N方阵B使得BA=IN，则称A是可逆的(invertible)

13、，或者非奇异的（nonsingular），称B为A的逆(inverse)，记为A。于是AA=IN。只有方阵是可逆的，并且逆矩阵和原矩阵大小相同。对于这样定义的A，也有AA1=IN。称可逆方阵U为酉（unitary）阵，若其满足UUH111=I，这表明UH=U1，因而UHU=I。并非所有的方阵都是可逆的，若其不可逆，则称其为奇异的（singular）或者不可逆的（noninvertible）。逆矩阵的逆是原矩阵：A的积：(AB)1(11)=A。矩阵积的逆为矩阵的逆以相反顺序k=B1A1。逆的k次幂为Ak=(A1)。对角阵D=diagd1, ,dN当所有di0（i=1, ,N）时，其逆存在且为D1

14、=diagd1, dN。对于一般的2×2矩阵A，当detA0时逆存在，为：aA1=11a21a121a22=a22detAa211a12 (C-11) a11对于大于2×2的可逆矩阵有更复杂的求逆公式，一般可用数学软件包来求解。5/8矩阵的逆通常用于求解线性方程组。考虑一个矩阵形式表示的线性方程组：y=Ax (C-12)如果矩阵A可逆，则给定y时，这个方程组有唯一解x=Ay。 1C.3 矩阵分解给定方阵A，若对于标量存在一个非零向量x使得Ax=x，则称此标量为矩阵A的特征值（eigenvector）。这个向量x称为矩阵A对应于的特征向量（eigenvector）。矩阵A的所

15、有特征是其特征方程（characteristic equation）detAI=0的解。detAI是关于的多项式，称为矩阵A的特征多项式（characteristic polynomial），因此A的所有特征值都是其特征多项式的根。N×N矩阵的特征多项式，若其形式为detAI=(1)N。当特(r1) (rN)，则有N个各不相同的根r1, ,rN（rirj）征多项式包含(ri)k, k>1时，称ri为k重根。例如：若detAI=(r1)2(r2)3，则r1是2重根，r2为3重根。N×N矩阵有N个特征值1, ,N，其中有些可能因为重根而相同。可以证明，矩阵的行列式等于其所

16、有特征值的积（求积时k重的特征值ri按rik计算）。厄密矩阵的特征向量可能是复数的，但特征值总是实数。此外，N×N的正规矩阵A可以写成下面的形式：A=UUH (C-13)其中U是酉阵，其列是A的特征向量。=diag1, ,K,0, ,0是N×N对角阵，前K个对角元素是A的非零特征值。对于厄密矩阵，式(C-13)中的只有实元素。称矩阵A为正定的（positive definite），若对任意的非零矢量x有xAx>0。厄密矩阵是正定的，当且仅当其所有特征值都是正的。类似地，称矩阵A为半正定的（positive semidefinite）或者非负定的（nonnegative

17、 definite），若对任意的非零矢量x有xAx0。厄密矩阵为非负定的，当且仅当其所有特征值都是非负的。若N×M矩阵A的秩为RA，则存在一个N×M矩阵，一个N×N酉阵U，和一个HHM×M酉阵V，使得：6/8A=UVH (C-14)称V的列为A的右奇异向量（right singular vector），U的列为A的左奇异向量（left singular vector）。矩阵的非对角元素均为零，当NM时形为：N×M1 0=0 0 0 M (C-15) 0 0当N<M时形为：N×M10=0 M00 (C-16)0 0这里i=其中有RA，i是AAH的第i个特征值。i称为A的奇异值(singular value)，个非零值，RA是A的秩。式(C-14)的分解称为矩阵A的奇异值分解（singular