《线性代数之美：矩阵分析》课件

线性代数之美：矩阵分析课程概述课程目标掌握矩阵分析核心理论学习路径从基础到高级应用的系统学习应用领域第一部分：线性代数基础1向量空间空间结构和属性2线性变换空间映射的数学描述3矩阵运算向量空间定义满足加法与数乘封闭性的集合性质满足八条公理的代数结构子空间线性相关性与线性无关性线性相关性向量组中至少一个向量可表示为其他向量的线性组合线性无关性仅当所有系数为零时线性组合为零向量判断方法基与维数基的定义线性无关且张成整个空间的向量组维数的概念空间基向量的个数坐标系统线性变换1几何意义保持向量加法和数乘运算的映射2矩阵表示通过矩阵完全描述线性变换3核与像描述变换的本质特征矩阵的基本概念矩阵定义按行列排列的数表方阵行数等于列数的矩阵对角矩阵只有主对角线上有非零元素单位矩阵主对角线元素为1，其余为0矩阵运算（一）矩阵加法对应元素相加矩阵减法对应元素相减标量乘法所有元素乘以同一数矩阵运算（二）矩阵乘法行与列的内积运算矩阵转置行列互换矩阵幂矩阵自乘行列式行列式的计算1定义法根据排列的定义直接计算2余子式展开按行或列展开3三角化方法初等变换化为上三角矩阵矩阵的秩r秩的定义线性无关行（列）向量的最大个数n-r零空间维数核空间的维数r(AB)秩不等式矩阵乘积的秩关系线性方程组矩阵表示Ax=b形式唯一解满秩方程组无穷解欠定方程组第二部分：高级矩阵理论矩阵的逆可逆条件与计算特征值理论矩阵的内在特性矩阵对角化简化矩阵结构二次型矩阵的几何表示矩阵的逆可逆条件行列式非零伴随矩阵法A^(-1)=adj(A)/|A|初等变换法[A|I]→[I|A^(-1)]逆的性质(AB)^(-1)=B^(-1)A^(-1)正交矩阵定义A^TA=I的矩阵性质保持向量长度和角度应用旋转变换、坐标变换相似矩阵定义A=P^(-1)BP形式的矩阵关系性质有相同的特征值应用矩阵对角化的理论基础特征值与特征向量定义Ax=λx中的λ和x特征向量方向不变的向量特征值伸缩比例几何意义揭示线性变换的本质特征值计算特征多项式det(A-λI)=0求解多项式找出所有根代数与几何重数特征值的重复性质矩阵对角化1对角化条件n个线性无关特征向量2寻找特征向量解(A-λI)x=03构造P矩阵特征向量作为列向量4对角化结果D=P^(-1)APJordan标准型二次型定义形如x^TAx的二次函数矩阵表示对称矩阵A确定二次型几何意义表示二维曲线、三维曲面正定矩阵定义对所有非零向量x，x^TAx>0判定条件特征值全为正顺序主子式全部大于零应用最优化问题、稳定性分析第三部分：矩阵分解LU分解三角矩阵分解QR分解正交矩阵与三角矩阵奇异值分解最一般的矩阵分解谱分解对称矩阵的特征分解LU分解定义A=LU，L为下三角，U为上三角计算方法高斯消元过程的代数表示应用解线性方程组、计算行列式QR分解1定义A=QR，Q为正交矩阵，R为上三角2Gram-Schmidt正交化构造正交基的过程3计算步骤逐列进行正交化并归一化4应用最小二乘问题、特征值计算奇异值分解（SVD）1几何解释旋转-拉伸-旋转变换2数学表示A=UΣV^T3奇异值Σ对角线上的元素谱分解定义A=PDP^(-1)，D为对角矩阵适用条件可对角化矩阵应用求矩阵幂、矩阵函数第四部分：矩阵计算矩阵范数度量矩阵"大小"的方法矩阵条件数描述矩阵稳定性迭代算法大型矩阵数值解法最小二乘法寻找最佳拟合解矩阵范数向量范数p-范数：||x||_p=(∑|x_i|^p)^(1/p)矩阵范数算子范数：||A||_p=max_{||x||_p=1}||Ax||_p常用范数Frobenius范数：||A||_F=√(∑|a_ij|^2)矩阵条件数κ(A)定义cond(A)=||A||·||A^(-1)||σ_max/σ_min计算公式最大奇异值与最小奇异值之比10^6病态矩阵大条件数导致数值不稳定迭代法求解线性方程组Jacobi方法利用前一步所有变量值Gauss-Seidel方法利用当前已更新的变量值收敛条件迭代矩阵谱半径小于1最小二乘法xy第五部分：高级主题广义逆矩阵非方阵或奇异矩阵的"逆"矩阵微积分矩阵函数的导数矩阵函数将标量函数扩展到矩阵广义逆矩阵Moore-Penrose逆满足四个条件的唯一广义逆计算方法A^+=(A^TA)^(-1)A^T（全列秩）应用解最小二乘问题，求欠定方程组解矩阵微积分标量对矩阵求导∂f/∂A形式矩阵链式法则复合函数求导最优化应用求解矩阵优化问题矩阵指数函数定义e^A=I+A+A^2/2!+A^3/3!+...性质e^(A+B)≠e^Ae^B（一般情况）计算方法特征值分解法、幂级数法矩阵多项式定义p(A)=a_0I+a_1A+a_2A^2+...+a_nA^nCayley-Hamilton定理矩阵满足其特征多项式计算方法特征值分解、幂级数展开矩阵函数1定义f(A)=Pf(D)P^(-1)2常见函数矩阵指数、三角函数、对数3计算方法幂级数展开、特征值分解第六部分：应用实例1数据分析PCA、线性回归2计算机科学图像压缩、网页排名3随机过程马尔可夫链主成分分析（PCA）协方差矩阵计算数据各维度相关性特征值分解获取主成分方向数据投影降维保留主要特征线性回归xy拟合线图像压缩原始图像全部像素信息SVD低秩近似保留主要奇异值压缩结果大幅减少存储空间马尔可夫链状态空间系统可能的状态集合转移矩阵状态转移概率稳态分布转移矩阵的特征向量3应用随机过程、预测模型网页排名算法PageRank原理基于网页链接结构的排序随机游走模型用户在网络中随机点击特征向量方法网页排名是转移矩阵的主特征向量第七部分：数值计算1高性能算法快速高效解决问题2数值稳定性控制误差累积3适用性针对不同问题特点矩阵的特征值算法幂法迭代求解最大特征值反幂法求解最小特征值QR算法求解所有特征值线性方程组的直接解法Gaussian消元逐步消元成上三角形式LU分解分解后高效求解多右端项3Cholesky分解对称正定矩阵专用方法线性方程组的迭代解法共轭梯度法对称正定矩阵快速解法GMRES方法通用非对称矩阵迭代法预处理技术提高收敛速度大规模稀疏矩阵计算压缩存储格式CSR、CSC、COO格式专用算法避免零元素运算并行计算分布式解决大规模问题第八部分：高级应用量子计算中的矩阵量子态表示希尔伯特空间中的向量量子门幺正矩阵表示量子操作量子算法矩阵运算实现量子加速机器学习中的矩阵神经网络层间连接的权重矩阵反向传播通过矩阵梯度更新权重2支持向量机核矩阵定义变换空间3计算加速GPU矩阵并行计算信号处理中的矩阵N×N傅里叶变换矩阵实现信号频域转换2^j小波变换多分辨率信号分析M滤波器设计卷积矩阵实现信号处理控制理论中的矩阵状态空间表示系统动态的矩阵描述稳定性分析通过特征值判断系统稳定性最优控制利用Riccati方程求解控制器计算机图形学中的矩阵旋转矩阵3D物体的方向变换缩放矩阵改变物体大小平移