线性代数几个基本基础概念PPT精选文档

1、.1线性代数的几个基本概念线性代数的几个基本概念(一).2 引引 言言 .3 数学的表述方式和抽象性产生了全面的升华数学的表述方式和抽象性产生了全面的升华 !F几何的抽象化几何的抽象化实用实用直观直观抽象抽象(a, b，c).4 按照现行的国际标准，线性代数是通按照现行的国际标准，线性代数是通过公理化、系统性表述的，具有很强的逻过公理化、系统性表述的，具有很强的逻辑性、抽象性，是第二代数学模型辑性、抽象性，是第二代数学模型. .5通常的教学模式通常的教学模式概念概念相应定理公式相应定理公式例题求解例题求解直觉性丧失直觉性丧失！.6 向量表面上只是一列数，但是其实由于它的有序性， 所以除了这些数

2、本身携带的信息之外，还可以在每个数的对应位置上携带信息. 线性空间中的任何一个对象，通过选取基和坐标的办法，都可以表达为向量的形式. 向量是什么？向量是什么？ 向量是具有向量是具有n n个相互独立的性质（维度）个相互独立的性质（维度）的对象的表示的对象的表示问问 题题.7矩阵是什么？矩阵的乘法规则怎样定义？矩阵的相似是什么意思？特征值的本质是什么？Axx1P APB A.8 纯粹的数学理论描述、证纯粹的数学理论描述、证明不能令人满意和信服明不能令人满意和信服 ！.9一、线性空间和矩一、线性空间和矩阵的几个核心概念阵的几个核心概念 .10基本定义基本定义: 存在一个集合，在这个集合上定义某某概存

3、在一个集合，在这个集合上定义某某概念，然后满足某些性质念，然后满足某些性质”，就可以被称为空间，就可以被称为空间.空空 间间 为什么要用“空间”来称呼一些这样的集合呢？奇怪!.11 三维的空间三维的空间由很多（实际上是无穷多个）位置点组成；由很多（实际上是无穷多个）位置点组成；这些点之间存在相对的关系；这些点之间存在相对的关系；可以在空间中定义长度、角度；可以在空间中定义长度、角度；1.这个空间可以这个空间可以容纳运动容纳运动.这里我们所说的运动是从一个点到另一个点的这里我们所说的运动是从一个点到另一个点的跳跃（变换）跳跃（变换）,而不是微积分意义上的而不是微积分意义上的“连续连续”性的运动性

4、的运动. .12 容纳运动是空间的本质特征容纳运动是空间的本质特征 “ “空间空间”是容纳运动的一个对象是容纳运动的一个对象 集合，而空间的运动由变换所规定集合，而空间的运动由变换所规定. .13 矩阵矩阵 矩阵是什么？矩阵是什么？ 1. 矩阵只是一堆数，如果不对这堆数建立一些运算规则. 2. 矩阵是一列列向量，如果每一列向量列举了对同一个客观事物的多个方面的观察值. .14 3. 矩阵是一个图像，它的每一个元素代表相对位置的像素值. 4. 矩阵是一个线性变换，它可以将一些向量变换为另一些向量. 要回答要回答“矩阵是什么矩阵是什么”，取决于你从什，取决于你从什么角度去看它么角度去看它. .15

5、 矩阵与矩阵与线性变换线性变换 在线性空间中，当选定一组基之后，不在线性空间中，当选定一组基之后，不仅可以用一个向量来描述空间中的任何一个仅可以用一个向量来描述空间中的任何一个对象，而且可以用矩阵来描述该空间中的任对象，而且可以用矩阵来描述该空间中的任何一个运动（变换）何一个运动（变换）.也即对于任何一个线性也即对于任何一个线性变换，都能够用一个确定的矩阵来加以描述变换，都能够用一个确定的矩阵来加以描述. .16. 在线性空间中选定基之后，向量刻画对在线性空间中选定基之后，向量刻画对象，矩阵刻画对象的运动象，矩阵刻画对象的运动. 而使某个对象发生对应运动的方法，就是而使某个对象发生对应运动的方

6、法，就是用代表那个运动的矩阵，乘以代表那个对象的用代表那个运动的矩阵，乘以代表那个对象的向量向量.用矩阵与向量的乘法施加运动用矩阵与向量的乘法施加运动. 矩阵是线性空间中的线性变换的一个描述矩阵是线性空间中的线性变换的一个描述.17线性变换不同于线性变换的一个描述线性变换不同于线性变换的一个描述 对于同一个线性变换，选定一组基，就可以找到一个矩阵来描述这个线性变换；换一组基，就得到一个不同的矩阵. 所有这些矩阵都是这同一个线性变换的描述，但又不是线性变换本身.18同一个线性变换的矩阵具有性质：同一个线性变换的矩阵具有性质： 若A和B是同一个线性变换的两个不同矩阵，则一定存在非奇异矩阵P，使得

7、即同一个线性变换在不同的坐标系下表现为不同的矩阵，但其本质相同，所以特征值相同.1APBP.19 相似矩阵，就是同一个线性变换的不同的相似矩阵，就是同一个线性变换的不同的描述矩阵描述矩阵. 或者说相似矩阵都是同一个线性变或者说相似矩阵都是同一个线性变换的描述换的描述 .20 线性变换可以用矩阵的形式呈现，也就是说，矩阵是形式，而变换 也就是各种映射才是本质， 而代数的重要任务之一就是研究各种数学结构之间的关系也就是映射.21 维线性空间里的方阵 的 个 维向量如果线性无关，那么它们就可以成为度量 维线性空间的一组基，事实上就是一个坐标系体系.矩阵与坐标系nnnnA.221001A矩阵描述了一个

8、坐标系矩阵描述了一个坐标系.231001bbIbb?MbMIbMb?bb.24()MbM IbMbaaaIab变换变换坐标坐标Mb()MbMI bMb.25()()RMRM ITI 从变换的观点来看，对坐标系M施加R变换，就是对组成坐标系M的每一个向量施加R变换. 从坐标系的观点来看，对坐标系M的每一个基向量，把它在I坐标系中的坐标找出来,然后通过R组成一个新的（坐标系）矩阵. MIT.26 矩阵既是坐标系，又是变换. 数学定义：数学定义：矩阵就是由矩阵就是由 行行 列数列数放在一起组成的数学对象放在一起组成的数学对象mn.27 数学书上的语言是经过千锤百炼的。这种抽象的语言，精准的描述了人类

9、对数学某些局部理解的精微. 这些描述的语言可能可以有更完善的改进，就像编写的程序有些地方的语句可以改得更巧妙更坚固一样. .28 数学容许我们每个人按自己的理解方式来理解, 这就看你怎样对它加工，使它明确、使它华丽、使它完美. 使它更易于理解和使用. 这个过程也就是一个人学懂数学的过程.29 数无形时少直观数无形时少直观, , 形无数时难入微形无数时难入微, , 数形结合百般好数形结合百般好, , 隔离分家万事休隔离分家万事休. . -华罗庚.30将抽象思维形象化将抽象思维形象化将理论知识实用化将理论知识实用化.31二、矩阵的四个基本子空间二、矩阵的四个基本子空间.32记：1212m nnmA

10、基本定义基本定义.33Column space():nC AAx xRmR12 ,(,)nspan135070001213519m nAn=5.34 Row space():TTmC AA xxRnR12(,)TTTmspan135070001213519m nAm=3.35dim( )dim()TrankAC AC A135070001213519m nAr=2.36设A的行阶梯形为135070001200000m nRNotice ()()C AC R()RrrefABAR1ABR则存在可逆矩阵B使得.37m=3n=5r=2135070001200000m nRPivot rows 1 a

11、nd 2Pivot columns 1 and 4dim( )dim()2TrankRC RC R例例1.38Null space():0,nNAxAxxR123451350700012,00000m nR 有三个自由变量： 方程235,.xxx0Rx 有解：223355xkkk( ) :0,nN Rx RxxR.39355700,1002012- 31其 中=000dim ( )5 23N Rn r dim( )N Rnr.40 方程方程组组 中，若中，若 不等不等于于 0 0 且有解，且有解，则则其解不其解不会构会构成子空成子空间间，因，因为没为没 有有0 0元素元素. .Rxbb.41L

12、eft nullspace() :0,TTmN Ry R yyRLeft nullspace?00TTTRyyR.42dim()TN Rmr1231,3,5,0,70,0,0,1,20,0,0,0,0yyy0,0,0,0,03(0,0,)()TyyN R.433 3103012115A12 = 1 0 3 =0 1 2（ ，）（ ，）3 3103012000R13 3231030120115xAXxx 设设由由例例2 2行基.4413 3231030120000 xRxx 12 X=1 0 3 X=0 X=0 1 2 （ ，）（ ，） X = 012 X ,X12 (,)LX TC(A )(

13、)N A.45(3,2,-1)(0,1,2)(1,0,3)T12 C(A )(,)L N(A).46例3123123246A1()()CAs p a n0TAy 21y()()TNAsp a ny()()TCANA则由解得则显然.47Row spaceall ATyColumn spaceall AxNullspaceAx=0Left nullspaceATy=0C(AT)dim rRnN(A)dim n-rRmC(A)dim rN(AT)dim m-r互为正交补互为正交补AX=b有解 b N(AT)Rn.48Row spacerxrxbArnxxxb0nx Anullspace Left n

14、ullspaceAction of on ArnxxxColumn spacexAnx.49例4若1236A分解43x 得2241rnxx 122110()3643TrAxC A 1220( )3610nAxN A .50三、矩阵的奇异值分解三、矩阵的奇异值分解.51 应用领域应用领域 1.1.最优化问题；最优化问题； 特征值问题；特征值问题； 最小二乘问题；最小二乘问题； 广义逆矩阵问题等广义逆矩阵问题等. . 2.2.统计分析；统计分析； 信号与图像处理；信号与图像处理； 系统理论和控制等系统理论和控制等. .52矩阵的正交对角分解 若若A是是n阶实对称矩阵，则存在正交矩阵阶实对称矩阵，则

15、存在正交矩阵Q，使得，使得 (1)其中其中 为矩阵为矩阵A的特征值，而的特征值，而Q的的n个列向个列向量组成量组成A的一个完备的标准正交特征向量系的一个完备的标准正交特征向量系. 对于实的非对称矩阵A，不再有像式（1）的分解，但却存在两个正交矩阵P和Q，使 为对角矩阵，即有下面的正交对角分解定理.12(,.)TnQ AQdiag (1, 2,. )iinTP AQ.53 定理定理 设设 非奇异，则存在正交矩阵非奇异，则存在正交矩阵P和和Q， 使得使得 (2)(2) 其中其中证 因为A非奇异，所以 为实对称正定矩阵，于是存 在正交矩阵Q使得，其中 为 特征值令 ,12()(,.)TTnQA A

16、Qdiag 0(1,2,. )iin12(,.)TnP AQdiag n nARTA A0(1,2,. )iinTA A(1,2,. )iiin12(,.)ndiag .541()TAQAQ 2()TTQA A Q 1PAQ则有 或者再令 ,于是有即P为正交矩阵，且使改写式(2)为 (3)称式（3）为正交矩阵正交矩阵A的正交对角分解的正交对角分解11() ()TTP PAQAQI12(,.)TnP AQdiag 12( ,.)TnAP diagQ .55引理： 1.设 则 是对称矩阵， 且其特征值是非负实数. 2. 3. 设 则 的充要条件是 (0),m nrrAC()Trank A Aran

17、kATA A(0),m nrrAC0A0TAA.56ArTA A定义 设 是秩为 的 实矩阵，mn的特征值为的特征值为1210rrn 则称则称 为为A的奇异值的奇异值. .(1,2, )iiir(0)r r .57奇异值分解定理奇异值分解定理 设设A是秩为是秩为(0)r r 的的mn则存在则存在 阶正交矩阵阶正交矩阵实矩阵实矩阵, ,mU与与 阶正交矩阵阶正交矩阵,V使得使得TSOU AVOO 其中其中12diag(,)r (1,2, )ir10r为矩阵为矩阵A的全部奇异值的全部奇异值. .n.58证明证明 设实对称矩阵 的特征值为A1210rrn 则存在n阶正交矩阵 ，使得 V12TT()n

18、OVA AVOO 将 分块为V12()VVV其中 ， 分别是 的前 r 列与后 列.1V2VVnr.59并改写式为2TOA AVVOO 则有T2T112A AVVA AVO， 由的第一式可得TT2T1111() ()rV A AVAVAVE， 或者 由的第二式可得T222() () A VA VOA VO或 者令 ，则 ，即 的r个列是两两正交的单位向量.记111UAV T11rU UE1U.60112(,)rUuuu因此可将 扩充成 的标准正交基，记增添的向量为 ，并构造矩阵则是m阶正交矩阵,且有于是可得12,ruuumC1,rmuu21(,)rmUuu12121( ,) ( , , ,)r

19、rmUU Uu uu uuTT1121 rU UEU UO，TTT1121T2()()OUU AVUAVAVUOOOU， .61TTTT11 1222rrrOAUVuvu vu vOO 称上式为矩阵A的奇异值分解.62 在矩阵理论中，奇异值分解实际上是“对称矩阵正交相似于对角矩阵”的推广.奇异值分解中 是 的特征向量，而 的列向量是 的特征向量，并且 与 的非零特征值完全相同. 但矩阵 的奇异值分解不惟一.121,rrmu uu uuTAAVTA ATAATA A注意A.63数值秩数值秩 在没有误差时，奇异值分解可以确定矩阵的秩. 但是误差的存在使得确定变得非常困难. 例如，考虑矩阵1/ 31

20、/ 32 / 32 / 32 / 34 / 31/ 32 / 312 / 51/ 53 / 53 / 71/ 74 / 7A.64 因为第三列是前两列的和，所以 A 的秩是2. 如果不考虑到这个关系，运用IEEE标准的双精度浮点计算模式，用MATLAB命令SVD计算A 的奇异值：1/31/32/32/32/34/31/32/312/51/53/53/ 71/ 74/ 7Aformat long eA=1/3,1/3,2/3;2/3,2/3,4/3;1/3,2/3,1;2/5,1/5,3/5;3/7,1/7,4/7；D= svd(A).65 计算结果为：D = 2.421457493421318

21、e+000 3.406534035359026e-001 1.875146052457622e-016 因为有因为有“三三”个非零奇异值，所以个非零奇异值，所以A的秩的秩为为“3 3”. 然而，注意到在然而，注意到在IEEE双精度的标准下双精度的标准下, ,其中一个奇异值是微小的其中一个奇异值是微小的. . 也许应该将它看作也许应该将它看作零零. .因为这个原因，引人数值秩的概念因为这个原因，引人数值秩的概念. .66 如果矩阵如果矩阵 有有 个个“大大”的奇异值，而其的奇异值，而其它都很它都很“微小微小”，则称，则称 的数值秩为的数值秩为 . 为了确定哪个奇异值是为了确定哪个奇异值是“微小微

22、小”的，需要引的，需要引人阈值或容忍度人阈值或容忍度 .就就MATLAB而言，可以把而言，可以把 设为阈值，大于这个阈值的奇异值的数目就是设为阈值，大于这个阈值的奇异值的数目就是 A的数值秩，把小于这个阈值的奇异值看作零的数值秩，把小于这个阈值的奇异值看作零. 利用利用MATLAB的命令的命令rank计算计算 的秩，它的结的秩，它的结果是果是2 2，就是这个道理，就是这个道理.-161toleps ( eps=2.24 10)nAAAkk.67求矩阵求矩阵01.60.601.20.8000000A的奇异值分解的奇异值分解解解: :MATLAB程序为：程序为：A=0,-1.6,0.6;0 ,1.

23、2,0.8;0,0,0;0,0,0U,S,V=svd(A).68计算结果计算结果A = 0 -1.6000 0.6000 0 1.2000 0.8000 0 0 0 0 0 0U = 0.8000 0.6000 0 0 -0.6000 0.8000 0 0 0 0 1.0000 0 0 0 0 1.0000.69S = 2.0000 0 0 0 1.0000 0 0 0 0 0 0 0V = 0 0 1.0000 -1.0000 0.0000 0 0.0000 1.0000 0.70奇异值分解的几何意义奇异值分解的几何意义 研究将一个空间映射到不同空间，特别是研究将一个空间映射到不同空间，特别

24、是不同维数的空间时，例如超定或欠定方程组所不同维数的空间时，例如超定或欠定方程组所表示的情况，就需要用矩阵的奇异值来描述算表示的情况，就需要用矩阵的奇异值来描述算子对空间的作用了子对空间的作用了. . .71 考察二维平面上的单位圆考察二维平面上的单位圆2:1xRx在映射在映射A下的变换过程下的变换过程, ,其中其中33133211A MATLAB程序为：程序为：A=sqrt(3)sqrt(2),sqrt(3)sqrt(2);-3sqrt(2),3sqrt(2); 1sqrt(2),1sqrt(2)U,S,V=svd(A).72.73V是正交矩阵，表示二维空间的一个旋转是正交矩阵，表示二维空间

25、的一个旋转TV1110111012TV1 1(,)2 21 1(,)2 2(1,0)(0,1).74S11220010100001010000S S 将平面上的圆变换到三将平面上的圆变换到三维空间坐标平面上的椭维空间坐标平面上的椭 圆圆12.75V是正交矩阵，表示二维空间的一个旋转是正交矩阵，表示二维空间的一个旋转 S 维维将将 空空平平 间间面面 坐坐上上 标标的的 平平圆圆 面面变变 上上换换 的的到到 椭椭三三 圆圆U是正交矩阵，表示三维空间的一个旋转是正交矩阵，表示三维空间的一个旋转TAUSVTVSU1v2v11u22u.76 当A是方阵时，其奇异值的几何意义是: 若x是 维单位球面上

26、的一点，则 是一个 维椭球面上的点，其中椭球的 个半轴长正好是A的 个奇异值. 简单地说，在2维情况下，A将单位圆变成了椭圆，A的两个奇异值是椭圆的长半轴和短半轴.nAxnnn.77 设 A 是秩为 的 实矩阵， A的奇异值分解为： 即 ,且 (0)r r m nTAUSVAVUS奇异值分解的性质奇异值分解的性质11(,)rrmUuu uu.781rm nOSOO11(,)rrnVvvvv则.79（1） A的非零奇异值的个数等于它的秩r，即 （2） 是 的标准正交基.（3） 是 的标准正交基.（4） 是 的标准正交基.（5） 是 的标准正交基.rank( )rA1,rnvv1,ruu( )C

27、A1,rmuuT()N A1,rvvT()C A()NA.80从上面的结论可以得到T()( )CNAAT()()CNAAdim()dim()CNnAAT()()C与CAA同构.81奇异值分解的特征奇异值分解的特征1.1.奇异值分解可以降维奇异值分解可以降维 A表示 个 维向量，可以通过奇异值分解表示成 个 维向量.若A的秩 远远小于 和 , 则通过奇异值分解可以降低A的维数.可以计算出，当 时，可以达到降维的目的，同时可以降低计算机对存贮器的要求.1mnrmnnmmnrmnr.822. 奇异值对矩阵的扰动不敏感奇异值对矩阵的扰动不敏感 特征值对矩阵的扰动敏感. 在数学上可以证明，奇异值的变化不会超过相应矩阵的变化，即对任何的相同阶数的实矩阵A、B