机器学习数学基础-矩阵论

1、1.矩阵和线性变换：线性变换的定义：线性映射（ linear mapping）是从一个向量空间V到另一个向量空间W的映射且保持加法运算和数量乘法运算，而线性变换（linear transformation）是线性空间V到其自身的线性映射。一个矩阵对应了一个线性变换这个说法，就可以知道这个说法并不严谨。（基）矩阵是对线性变换的表示；确定了定义域空间与目标空间的两组基，就可以很自然地得到该线性变换的矩阵表示。 两个矩阵相乘，表示了三个线性空间的变换。要想从第一个空间转换到第三个空间，则第一个变换的定义域空间U到目标空间V1，第二个变换的定义域空间V2到目标空间W，必须满足V1和V2是一个空间。矩阵

2、把vi换成vi的换基矩阵与把vi换成vi的换基矩阵这两个矩阵是互逆的.2恒等变换与伸缩变换3矩阵对角化条件：n个线性无关的特征向量；每个特征值的线性无关的特征向量的个数恰好等于该特征值的代数重数；充分条件n个特征值互不相等（充分条件）；代数重数：特征多项式的次数；几何重数：与某一个特征值相关联的线性无关的特征向量的最大个数。所以对角化其实就是要用特征向量组成的基来代替标准基，描述线性变换，使得多个耦合的变量尽可能的解耦。 如果A为实对称阵，则其必可以正交相似对角化。其中U内的每个向量互相正交。即：u1.T=u1.I.线性变换：可以发现里面并不涉及矩阵维度的变化。其中中间的对角矩阵相当于对矩阵的

3、每一列（t特征向量）进行拉伸。两边的同维方阵使用的是同一组基，即上述的线性变换始终在一组基里面，所以相当于在同一空间内做旋转。在一个n维空间里，标准正交基是唯一存在的，该n维空间里面所有的向量都可由该组正交基线性变换得到。所以矩阵的对角化涉及到的运动包括：旋转和缩放。A矩阵将一个向量从x这组基的空间旋转到x这组基的空间，并在每个方向进行了缩放。4.SVD证明：AA.T的特征向量组就是P矩阵：得证对A进行矩阵分解得到的P矩阵就是AA.T的特征向量组成的P矩阵。SVD的一些应用1.降维左奇 用于行数的压缩。右奇异矩阵可以用于列数即特征维度的压缩，也就是我们的PCA降维。2.PCA使用SVD求解PC

4、A求解过程中的协方差矩阵为特征之间（列之间）的关系矩阵（m*m）。而SVD的右奇异矩阵也是关于特征之间（矩阵列之间）的关系，所以PCA里面的协方差矩阵可以通过SVD得到。SVD有个好处，有一些SVD的实现算法可以不求先求出协方差矩阵，也能求出我们的右奇异矩阵。3.奇异（乱入的）若n阶方阵A的行列式不为零，即 |A|0，则称A为非奇异矩阵或满秩矩阵4.几何意义：奇异值分解把线性变换清晰地分解为旋转、缩放、投影这三种基本线性变换。其中，P为m*m矩阵，Q为n*n矩阵。其中涉及的变换： 。A矩阵的作用是将一个向量从Q 这组正交基向量的空间旋转到P这组正交基向量空间，并对每个方向进行了一定的缩放，缩放

5、因子就是各个奇异值。如果Q维度比P大，则表示还进行了投影。8.一些概念矩阵行秩等于列秩估计量的数学期望等于被估计参数的真实值，则称此此估计量为被估计参数的无偏估计。矩阵与标量相乘与相加，每个元素与该标量相乘或相加互逆矩阵特征值互为倒数，特征向量一样9.条件数矩阵A的条件数等于A的范数与A的逆的范数的乘积，即cond(A)=AA(-1)，对应矩阵的3种范数，相应地可以定义3种条件数。 函数 cond(A,1)、cond(A)或cond(A inf)。原因：条件数事实上表示了矩阵计算对于误差的敏感性，条件数越大，矩阵越大越病态，矩阵是指解集X对系数矩阵A和偏差bias高度敏感。主要是某些向量之间可

6、以互相近似线性表达（如401 -201与-800 401）,从而另一项近似残差项，这样微小的扰动带来大的扰动。矩阵的条件数总是大于1.正交矩阵的条件数等于1，奇异矩阵的条件数为无穷大，而病态矩阵的条件数则为比较大的数据。10. 鞍点，极值点，驻点检验二元函数F（x，y）的驻点是不是鞍点的一个简单的方法，是计算函数在这个点的Hessian矩阵：如果黑塞矩阵的行列式小于0，则该点就是鞍点。在一维空间里，鞍点是驻点也是反曲点点。/目标函数在此点上的梯度（一阶导数）值为 0， 但从该点出发的一个方向是函数的极大值点，而在另一个方向是函数的极小值点。11 矩阵对角化计算过程对称矩阵肯定可以对角化。矩阵可

7、以对角化的充分必要条件是：矩阵有n各不同的特征值。n个相互无关的特征向量正交化过程：其中/。上下是点乘的过程。12 矩阵正定半正定判断条件：(1) A为半正定阵：a. 定义判定。XTAX表示的意义是：矩阵A对应的二次型XAX，对于任意不为0的实列向量X，都大于等于0。b. 所有的主子式非负。主子式是指将行号与列号相等的项拿出来组成一个矩阵的行列式。（2）A为正定阵：a.定义判断b.各阶顺序主子式都为正c.特征值都为正d.合同为单位阵e.g 上述四个条件都为充分必要条件。主子式是 ，可以跳，顺序主子式是惟一的。意义：正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于等于90

8、度。13 核方法核函数的取（Mercer定理）任何半正定的函数都可以作为核函数。所谓半正定的函数f(xi,xj)，是指拥有训练数据集合（x1,x2,.xn)，我们定义一个矩阵的元素aij = f(xi,xj)，这个矩阵是n*n的，如果这个矩阵是半正定的，那么f(xi,xj)就称为半正定的函数。这个mercer定理不是核函数必要条件，只是一个充分条件，即还有不满足mercer定理的函数也可以是核函数。常见的核函数有高斯核，多项式核等等，在这些常见核的基础上，通过核函数的性质（如对称性等）可以进一步构造出新的核函数。SVM是目前核方法应用的经典模型。一般实施步骤核函数方法是一种模块化(Modula

9、rity)方法，它可分为核函数设计和算法设计两个部分，具体为： 1）收集和整理样本,并进行标准化； 2）选择或构造核函数； 3）用核函数将样本变换成为核函数矩阵,这一步相当于将输入数据通过非线性函数映射到高维特征空间； 4）在特征空间对核函数矩阵实施各种线性算法；5）得到输入空间中的非线性模型。14 共轭共轭复数，两个实部相等，虚部互为相反数的复数互为共轭复数(conjugate complex number)。当虚部不为零时，共轭复数就是实部相等，虚部相反,如果虚部为零，其共轭复数就是自身。（当虚部不等于0时也叫共轭虚数）复数z的共轭复数记作z。同时, 复数z称为复数z的复共轭(comple

10、x conjugate).共轭矩阵是指，共轭矩阵又称Hermite阵。Hermite阵中每一个第i 行第j 列的元素都与第j 行第i 列的元素的共轭相等。共轭相等概念出现于共轭矩阵中，体现在：主对角线上的元素为实数（即其共轭复数为其本身），而第i行第j列的元素与第j行第i列的元素为共轭复数（这个不用解释了吧）。埃尔米特矩阵（又称“自共轭矩阵”）是共轭对称的方阵。埃尔米特矩阵中每一个第i 行第j 列的元素都与第j 行第i 列的元素的共轭相等。15 概率和似然概率用于在已知事物一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测结果时，对有关事物的性质的参数进行估计。举例

11、：我们从一个袋子（只有红球和蓝球）里面又放回的抓球，抓了10次，其中红球为3次，蓝球为7次，则我们估计取得蓝球的概率为0.7，红球的概率为0.3.此过程采用的是极大似然的思想，然后我们估计下一次取得蓝球的概率为0.7，此过程称之为概率思想。16 奇异矩阵奇异矩阵是线性代数的概念，就是该矩阵的秩不是满秩。首先，看这个矩阵是不是方阵（即行数和列数相等的矩阵。若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。然后，再看此矩阵的行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；若不等于0，称矩阵A为非奇异矩阵。 同时，由|A|0可知矩阵A可逆，这样可以得出另外一个重要结论:可逆矩阵就是非奇异矩

12、阵，非奇异矩阵也是可逆矩阵。 如果A为奇异矩阵，则AX=0有无穷解，AX=b有无穷解或者无解。如果A为非奇异矩阵，则AX=0有且只有唯一零解，AX=b有唯一解。17 海森矩阵的意义在求解凸优化问题的时候，前提条件是嗨森矩阵是正定的。如果不是正定，不能保证所产生的方向是目标函数在xk处的下降方向。Hessian矩阵的特征值就是形容其在该点附近特征向量方向的凹凸性（可以看成是抛物线口的大小，而梯度只是抛物线某点的斜率。），特征值越大，凸性越强。而凸性和优化方法的收敛速度有关，比如梯度下降。如果正定Hessian矩阵的特征值都差不多，那么梯度下降的收敛速度越快，反之如果其特征值相差很大，那么收敛速度越慢。18.均值和期望期望是针对于随机变量而言的一个量。E(XY)= i*j*(Pij)，其中i为X的取值，j为Y的取值，Pij为对应于X=i,Y=j的联合分布列中的相应概率，求和是对所有的i,j求和19.矩阵分解推荐存在稀疏的用户物品矩阵R，希望得到矩阵Q（用户特征矩阵）和P（特征物品矩阵）逐步优化使得R2=QPT