第1 章矩阵与线性方程组

第1章矩阵与线性方程组矩阵是描述和求解线性方程组最基本和最有用的工具。本章涉及向量和矩阵的基本概念，归纳了向量和矩阵的基本运算。1.1主要理论与方法1.1.1矩阵的基本运算一、矩阵与向量a11x1+a12x2+¢¢¢+a1nxn=b1a21x1+a22x2+¢¢¢+a2nxn=b2...am1x1+am2x2+¢¢¢+amnxn=bm9>>>>=>>>>;(1.1)它使用m个方程描述n个未知量之间的线性关系。这一线性方程组很容易用矩阵||向量形式简记为Ax=b(1.2)式中A=26664a11a12¢¢¢a1a21a22¢¢¢a2.........am1am2¢¢¢amn37775(1.3)称为m£n矩阵，是一个按照长方阵列排列的复数或实数集合；而x=26664x1x2...xn37775;b=26664b1b2...bm37775(1.4)分别为n£1向量和m£1向量，是按照列方式排列的复数或实数集合，统称列向量。类似地，按照行方式排列的复数或实数集合称为行向量，例如a=[a1;a2;¢¢¢;an](1.5)是1£n向量。二、矩阵的基本运算1.共轭转置：若A=[aij]是一个m£n矩阵，则A的转置记作AT，是一个n£m矩阵，定义为[AT]ij=aji；矩阵A的复数共轭A¤定义为[A¤]ij=a¤ji；复共轭转置记作AH，定义为AH=26664a¤11a¤21¢¢¢a¤ma¤12a¤22¢¢¢a¤m.........a¤1na¤2n¢¢¢a¤mn37775(1.6)共轭转置又叫Hermitian伴随、Hermitian转置或Hermitian共轭。满足AH=A的正方复矩阵称为Hermitian矩阵或共轭对称矩阵。2.矩阵求和：两个m£n矩阵A=[aij]和B=[bij]之和记作A+B，定义为[A+B]ij=aij+bij。3.标量与矩阵相乘：令A=[aij]是一个m£n矩阵，且®是一个标量。乘积®A是一个m£n矩阵，定义为[®A]ij=®aij。4.矩阵与向量相乘：m£n矩阵A=[aij]与r£1向量x=[x1;x2;¢¢¢;xr]T的乘积Ax只有当n=r时才存在，它是一个m£1向量，定义为[Ax]i=nXj=1aijxj;i=1;2;¢¢¢;m5.矩阵与矩阵相乘：m£n矩阵A=[aij]与r£s矩阵B=[bij]的乘积AB只有当n=r时才存在，它是一个m£s矩阵，定义为[AB]ij=nXk=1aikbkj;i=1;2;¢¢¢;m;j=1;2;¢¢¢;s根据定义，容易验证矩阵的加法服从下面的运算规则。²加法交换律(commutativelawofaddition)：A+B=B+A²加法结合律(associativelawofaddition)：(A+B)+C=A+(B+C)定理1.1矩阵的乘积服从下面的运算法则。(1)乘法结合律(associativelawofmultiplication):若A2Cm£n;B2Cn£p;Cp£q，则A(BC)=(AB)C。(2)乘法左分配律(leftdistributivelawofmultiplication)：若A和B是两个m£n矩阵，且C是一个n£p矩阵，则(A+B)C=AC+BC。(3)乘法右分配律(rightdistributivelawofmultiplication)：若A是一个m£n矩阵，并且B和C是两个n£p矩阵，则A(B+C)=AB+AC。(4)若®是一个标量，并且A和B是两个m£n矩阵，则®(A+B)=®A+®B。6.逆矩阵：令A是一个n£n矩阵，若可以找到一个n£n矩阵A¡1满足AA¡1=A¡1AI，称矩阵A可逆，并称A¡1是矩阵A的逆矩阵。下面是共轭、转置、共轭转置和逆矩阵的性质。(1)矩阵的共轭、转置和共轭转置满足分配律：(A+B)¤=A¤+B¤(A+B)T=AT+BT(A+B)H=AH+BH(2)矩阵乘积的转置、共轭转置和逆矩阵满足关系式(AB)T=BTAT(AB)H=BHAH(AB)¡1=B¡1A¡1(A;B为可逆的正方矩阵(3)共轭、转置和共轭转置等符号均可与求逆符号交换，即有(A¤)¡1=(A¡1)¤;(AT)¡1=(A¡1)T;(AH)¡1=(A¡1)H因此，常常分别采用紧凑的数学符号A¡¤;A¡T和A¡H。(4)对于任意矩阵A，矩阵B=AHA都是Hermitian矩阵。若A可逆，则对于Hermitian矩阵B=AHA，有A¡HBA¡1=A¡HAHAA¡1=I。7.幂等矩阵：矩阵An£n称为幂等矩阵(idempotentmatrix)，若A2=AA=A。8.对合矩阵：矩阵An£n称为对合矩阵(involutorymatrix)，若A2=AA=I。三、向量的线性无关性与非奇异矩阵1.向量组线性相关/无关：一组m维向量fu1;u2;¢¢¢;ung称为线性无关，若方程c1u1+c2u2+¢¢¢+cnun=0只有零解c1=c2=¢¢¢=cn=0。若能够找到一组不全部为零的系数c1;c2;¢¢¢;cn使得上述方程成立，则称m维向量组fu1;u2;¢¢¢;ung线性相关。2.奇异/非奇异矩阵：一个n£n矩阵A是非奇异的，当且仅当矩阵方程Ax=0只有零解x=0。若A不是非奇异的，则称A奇异。四、初等行变换与阶梯型矩阵1.矩阵的初等行变换：令矩阵A2Cm£n的m个行向量分别为r1;r2;¢¢¢;r算称为矩阵A的初等行运算(elementaryrowoperation)或初等行变换：(1)互换矩阵的任意两行，如rp$rq，称为Ⅰ型初等行变换。(2)一行元素同乘一个非零常数®，如®rp!rp，称为Ⅱ型初等行变换。(3)将第p行元素同乘一个非零常数¯后，加给第q行，即¯rp+rq!rq，称为Ⅲ型初等行变换。2.阶梯型矩阵：一个m£n矩阵称为阶梯型(echelonform)矩阵，若(1)全部由零组成的所有行都位于矩阵的底部。(2)每一个非零行的首项元素总是出现在上一个非零行的首项元素的右边。(3)首项元素下面的同列元素全部为零。1.1.2向量空间、内积空间与线性映射一、向量空间以向量为元素的集合V称为向量空间，若加法运算定义为两个向量之间的加法，乘法运算定义为向量与标量域S中的标量之间的乘法，并且对于向量集合V中的向量x;y;w和标量域S中的标量a1;a2，以下两个闭合性和关于加法及乘法的八个公理(axiom)[也称公设(postulate)或定律(law)]满足：闭合性(closureproperties)(c1)若x2V和y2V，则x+y2V，即V在加法下是闭合的，简称加法的闭合性(closureforaddition)；(c2)若a1是一个标量，y2V，则a1y2V，即V在标量乘法下是闭合的，简称标量乘法的闭合性(closureforscalarmultiplication)。加法的公理(a1)x+y=y+x;8x;y2V，称为加法的交换律(commutativelawforaddition)；(a2)x+(y+w)=(x+y)+w;8x;y;w2V，称为加法的结合律(associativelawforaddition)；(a3)在V中存在一个零向量0，使得对于任意向量y2V，恒有y+0=y(零向量的存在性)；(a4)给定一个向量y2V，存在另一个向量¡y2V使得y+(¡y)=(¡y)+y=0(负向量的存在性)。标量乘法的公理(s1)a(by)=(ab)y对所有向量y和所有标量a;b成立，称为标量乘法的结合律(associativelawforscalarmultiplication)；(s2)a(x+y)=ax+ay对所有向量x;y2V和标量a成立，称为标量乘法的分配律(distributivelawforscalarmultiplication)；(s3)(a+b)y=ay+by对所有向量y和所有标量a;b成立(标量乘法的分配律)；(s4)1y=y对所有y2V成立，称为标量乘法的单位律(unitylawforscalarmultipli-cation)。二、实内积空间实内积空间(realinnerproductspace)是满足下列条件的实向量空间E：对E中每一对向量x;y，存在向量x和y的内积hx;yi服从以下公理：(1)hx;xi>0;8x6=0，称为内积的严格正性(strictpositivity)或称内积是正定的(positivede¯nite)，并且hx;xi=0,x=0；(2)hx;yi=hy;xi，称为内积的对称性(symmetry)；(3)hx;y+zi=hx;yi+hx;zi;8x;y;z；(4)h®x;yi=®hx;yi对所有实向量x;y及所有实标量®成立。三、复内积空间复内积空间(complexinnerproductspace)是满足下列条件的复向量空间C：对C中每一对向量x;y，存在复向量x和y之间的内积hx;yi服从以下公理：(1)x6=0)hx;xi>0，称为内积的严格正性或称内积是正定的；(2)hx;yi¤=hy;xi，称为内积的共轭对称性(conjugatesymmetry)或Hermitian性；(3)hx;y+zi=hx;yi+hx;zi，对所有向量x;y;z成立；(4)hcx;yi=c¤hx;yi对所有复向量x;y及所有复标量c成立。四、线性映射令V和W分别是Rm和Rn的子空间，并且T:V7!W是一映射。称T为线性映射或线性变换，若对于v2V;w2W和所有标量c，映射T满足线性关系式T(v+w)=T(v)+T(w)(1.7)和T(cv)=cT(v)(1.8)1.1.3随机向量一、随机向量的统计描述1.均值向量：考查m£1随机向量x(»)=[x1(»);x2(»);¢¢¢;xm(»)]T。令随机变量xi(»)的均值Efxi(»)g=¹i，则随机向量的数学期望称为均值向量，记作¹x，定义为¹x=Efx(»)g=26664Efx1(»)gEfx2(»)g...Efxm(»)g37775=26664¹1¹2...¹m37775(1.9)式(1.9)表明，均值向量的元素是随机向量各个元素的均值。2.自相关矩阵：随机向量的自相关矩阵定义为Rxdef=Efx(»)xH(»)g=26664r11r12¢¢¢r1r21r22¢¢¢r2.........rm1rm2¢¢¢rmm37775(1.10)式中，rii;i=1;2;¢¢¢;m表示随机变量xi(»)的自相关函数，定义为riidef=Efjxi(»)j2g;i=1;2;¢¢¢;m而rij表示随机变量xi(»)和xj(»)之间的互相关函数，定义为rijdef=Efxi(»)x¤j(»)g;i;j=1;2;¢¢¢;m;i6=j(1.12)显然，自相关矩阵是共轭对称的，即为Hermitian矩阵。3.自协方差矩阵：随机向量x(»)的自协方差矩阵定义为Cxdef=Ef[x(»)¡¹x][x(»)¡¹x]Hg=26664c11c12¢¢¢cc21c22¢¢¢c.........cm1cm2¢¢¢37775(1.13)式中，主对角线的元素ciidef=Efjxi(»)¡¹ij2g;i=1;2;¢¢¢;m表示随机变量xi(»)的方差¾2i，即cii=¾2i，而非主对角线元素cijdef=Ef[xi(»)¡¹i][xj(»)¡¹j]¤g=Efxi(»)x¤j(»)g¡¹i¹¤j=c¤ji(1.15)表示随机变量xi(»)和xj(»)之间的协方差。自协方差矩阵也是Hermitian矩阵。随机向量间的互相关矩阵与互协方差矩阵很容易由自相关矩阵与自协方差矩阵推广得到。4.统计不相关：两个随机向量x(»)与y(»)统计不相关，若它们的互协方差矩阵等于零矩阵，即Cxy=O。5.正交：两个随机向量x(»)和y(»)称为正交，若它们的互相关矩阵为零矩阵，即Rxy=Efx(»)yH(»)g=O(1.16)二、正态随机向量若随机向量x(»)=[x1(»);x2(»);¢¢¢;xm(»)]T的各分量为联合正态分布的随机变量，则称x(»)为正态随机向量。1.1.4内积与范数一、向量的内积与范数1.常数向量的内积与范数(1)内积：两个m£1维常数向量x=[x1;x2;¢¢¢;xm]T和y=[y1;y2;¢¢¢;ym]T的内积(或叫点积)定义为hx;yi=xHy=mXi=1x¤iyi(1.17)(2)范数：(a)l1范数kxk1def=mXi=1jxij=jx1j+jx2j+¢¢¢+jxmj(1.18)上述范数有时也叫和范数或1范数。(b)l2范数kxk2=(jx1j2+jx2j2+¢¢¢+jxmj2)1=2(1.19)这一范数常称Euclidean范数，有时也称Frobenius范数。(c)l1范数kxk1=max(jx1j;jx2j;¢¢¢;jxmj)(1.20)也称无穷范数或极大范数。(d)lp范数kxkp=ÃmXi=1jxijp!1=p;p>1(1.21)lp范数也叫HÄolder范数[20]。2.随机向量的内积与范数(1)内积：若x(»)和y(»)分别是样本变量»的随机向量，则它们的内积定义为hx(»);y(»)idef=EfxH(»)y(»)g(1.22)其中，样本变量»可以是时间t、圆频率f、角频率!和空间变量s等。(2)范数：随机向量x(»)的范数定义为kx(»)k2def=EfxH(»)x(»)g(1.23)二、矩阵的范数1.Frobenius范数kAkFdef=0@mXi=1nXj=1jaijj21=2(1.24)这一定义可以视为向量的Euclidean范数对按照矩阵各行排列\长向量"x=[a11;¢¢¢;a1n;a21;¢¢¢;a2n;¢¢¢;am1;¢¢¢;amn]T的推广。矩阵的Frobenius范数也被称为Euclidean范数、Schur范数、Hilbert-Schmidt范数或者l2范数。2.lp范数kAkpdef=maxx6=0kAxkpkxkp(1.25)式中，kxkp是向量x的lp范数，由式(1.21)定义。lp范数也称为Minkowskip范数，或者简称p范数。3.行和范数(row-sumnorm)kAkrow=max16i6mnXj=1jaijj9=;(1.26)4.列和范数(column-sumnorm)kAkcol=max16j6n(mXi=1jaijj)(1.27)5.谱范数(spectrumnorm)kAkspec=¾max=p¸max(1.28)1.1.5基与Gram-Schmidt正交化一、向量子空间的基生成子空间W的线性无关的向量fu1;u2;¢¢¢;udg称为子空间W的基向量(basisvec-tors)或简称为基。生成子空间W的基向量的个数称为子空间W的维数，即有d=dim(Spanfu1;u2;¢¢¢;udg)(1.29)二、Gram-Schmidt正交化令fx1;x2;¢¢¢;xng是p维向量子空间W的任意一组基(即线性无关的向量)。于是，子空间W的标准正交基fu1;u2;¢¢¢;ung可以通过Gram-Schmidt正交化构造如下：p1=x1;u1=p1kp1k=x1kx1kpk=xk¡k¡1Xi=1(uHixk)ui;uk=pkpkk(1.30)式中，26k6n。1.1.6矩阵的标量函数一、矩阵的二次型任意一个正方矩阵A的二次型xHAx是一实标量。以实矩阵为例，考查二次型xTAx=[x1;x2;x3]24142¡175¡1633524x1x2x335=x21¡x2x1¡x3x1+4x1x2+7x22+6x3x2+2x1x3+5x2x3+3x23=x21+7x22+3x23+3x1x2+x1x3+11x2x3这是变元x的二次型函数，故称xTAx为矩阵A的二次型。一个复共轭对称矩阵A称为正定矩阵，若二次型xHAx>0;8x6=0；半正定矩阵，若二次型xHAx>0;8x6=0(也称非负定的)；负定矩阵，若二次型xHAx<0;8x6=0；半负定矩阵，若二次型xHAx60;8x6=0(也称非正定的)；不定矩阵，若二次型xHAx既可能取正值，也可能取负值。二、矩阵的迹1.定义：n£n矩阵A的对角元素之和称为A的迹(trace)，记作tr(A)，即tr(A)=a11+a22+¢¢¢+ann=nXi=1aii(1.31)2.性质：(1)关于迹的等式[27](a)若A和B均为n£n矩阵，则tr(A§B)=tr(A)§tr(B)。(b)若c是一个复或者实的常数，则tr(cA)=ctr(A)。(c)若A和B均为n£n矩阵，并且c1和c2为常数，则tr(c1A§c2B)=c1tr(A)§c2tr(B)(d)矩阵A的转置、复数共轭和复共轭转置的迹分别为tr(AT)=tr(A)tr(A¤)=[tr(A)]¤tr(AH)=[tr(A)]¤(e)迹是相似不变量：若A为m£n矩阵，且B为n£m矩阵，则tr(AB)=tr(BA)(f)若矩阵A和B均为m£m矩阵，并且B非奇异，则tr(BAB¡1)=tr(B¡1AB)=tr(A)(g)若A是一个m£n矩阵，则tr(AHA)=0,A=Om£n(零矩阵)。(h)xHAx=tr(AxxH)和yHx=tr(xyH)。(i)分块矩阵的迹满足tr·ABCD¸=tr(A)+tr(D)式中，A2