漫谈高数(精心整理.A3纸面).doc

漫谈高数(一) 泰勒级数的物理意义1高等数学干吗要研究级数问题?1(二) 方程和矩阵的物理含义4一. 矩阵和空间的思想4二. 矩阵运算的物理含义，举例4费波纳契数列的求解5三. 具体的性质和计算6(三) 线性相关和秩的物理意义6特征向量物理意义81. 特征的数学意义82. 物理意义83. 应用的场景94. 关于谱95. 能用于分类吗9(五) 曲线积分的物理意义10(六) 芝诺悖论并未解决12奇异点的故事113(七) 正交和相关的物理意义14(八) 二次型和解析几何16-二次型到底干了什么-16(九) 线性代数的本质17(十) 国际象棋的车和象-从数论到代数18(一) 泰勒级数的物理意义高等数学干吗要研究级数问题? 是为了把简单的问题弄复杂来表明自己的高深? No，是为了把各种简单的问题/复杂的问题，他们的求解过程用一种通用的方法来表示。 提一个问题，99*99等于多少? 相信我们不会傻到列式子去算，口算也太难了而是会做一个迂回的方法，99*(100-1)，这样更好算。那么995*998呢? 问题更复杂了，(1000-5)*(1000-2)，式子比直接计算要复杂，但是口算却成为了可能。归纳一下，x*y这样的乘法运算或者幂次运算，如果直接计算很麻烦的话，我们可以用因式分解的方法(中学生都能理解)来求解。但是因式分解仍然不够通用，因为我们总是需要通过观察特定的待求解式子，找到一种规律，然后才能因式分解，这是我们从小学到中学数学方法的全部: 特定问题特定的解答方法。那么，到了高等数学，怎么办? 研究一种方之四海皆准的，通用的方法。 泰勒级数的物理意义是什么? 就是把方程g(x)=0的解，写成曲线方程的形式看看和x轴有什么交点。例如f(x)=x2=5等价于g(x)=x2-5=0和x轴的交点。而这个曲线交点可以用直线切线的逼近方法(牛顿迭代法)来实现，这就是泰勒级数的物理意义: 点+一次切线+2次切线+.+N次切线。每次切线公式的常数，就是泰勒级数第N项的常数。OK，从泰勒级数的式子可以看到，为了保证两边相等，且取N次导数以后仍然相等，常数系数需要除以n!，因为xn取导数会产生n!的系数。泰勒级数，就是切线逼近法的非迭代的展开式。泰勒公式怎么来的，其实根据牛顿逼近法就可以得到从1阶一直可以推导到N阶。假设f1(x)=f(x)-f(a)，由牛顿逼近法有f1(x)=f(a)(x-a)+o(x-a)2，所以f(x)=f(a)+f(a)(x-a)+o(x-a)2同理，假设f2(x)=f(x)-f(a)-f(x)(x-a)，两边求导,f2(x)=f(x)-f(x)-f(x)(x-a)=-f(a)(x-a)再求不定积分f2(x)=-(1/2)f(a)(x-a)2+C，C就是那个高阶无穷小(需要证明)所以f(x)=f(a)+f(a)(x-a)+f(a)(x-a)2+o(x-a)3依次类推，最后就有了泰勒公式。另一种证明过程干脆就是先写出来g(x)=a0+a1(x-a)+a2(x-a)2+.+an(x-a)n，然后从等式序列，g(a)=f(a),g(a)=f(a),.g(a)=f(a). .就得到所有的a0-an的泰勒展示系数了。- 泰勒级数展开函数，能做什么？对于特定的x取值，可以求它附近的函数。y=x100展开以后可以求x=1附近的0.9999的100次方等于多少，计算过程和结果不但更直观，而且可以通过舍弃一些高阶项的方法来避免不必要的精度计算，简化了计算，节省了计算时间(如果是计算机计算复杂数字的话)。在图像处理的计算机软件中，经常要用到开方和幂次计算，而Quake III的源代码中就对于此类的计算做了优化，采用泰勒技术展开和保留基本项的办法，比纯粹的此类运算快了4倍以上。 还可以做什么呢? 对于曲线交点的问题，用方程求解的办法有时候找不到答案，方程太复杂解不出来，那么用泰勒级数的办法求这个交点，那么交点的精度要提高，相当于泰勒级数的保留项要增加，而这个过程对应于牛顿-莱布尼茨的迭代过程，曲线交点的解在精度要求确定的情况下，有了被求出的可能。 看到了吧，泰勒技术用来求解高方程问题，是一种通用的方法，而不是像中学时代那样一种问题一种解决办法，高等数学之所以成为高等，就是它足够抽象，抽象到外延无穷大。 那么，更感兴趣的一个问题是，对于高阶的微分方程表达的问题，怎么求解呢? 泰勒级数不行了，就要到傅立叶级数-傅立叶变换-拉普拉斯变化。这几个工具广泛用于各个领域的数学分析，从信号与系统到数理方程的求解。 中学数学和高等数学最大的区别是什么? 中学数学研究的是定解问题，例如根号4等于2。高等数学研究什么呢-它包含了不定解问题的求解，例如用一个有限小数位的实数来表示根号5的值。我们用泰勒级数展开求出的根号5的近似值，无论保留多少位小数，它都严格不等于根号5，但是实际应用已经足够了。不可解的问题，用高等数学的通解办法，可以求出一个有理数的近似解，它可以无限接近于上帝给出的那个无理数的定解。通解可行性的前提是，我们要证明这种接近的收敛性，所以我们会看到高等数学上册的课本里面，不厌其烦的，一章接一章，一遍又一遍的讲，一个函数，在某个开区间上，满足某个条件，就能被证明收敛于某种求和式子。初等数学求的是定解，那么如果没有定解呢? 高等数学可以求近似解。牛顿莱布尼茨就是切线逼近法的始祖。例如求解一般的3次方程的根，求解公式可以是定解形式:(/view/1382952.htm)。但是问题是根号内的无理数仍然无法表示出来。那么逼近法求一个数的N次方根就派上用场了。 fm=m(k+1)=m(K)+A/m2.(k)-m(k)1/n.n是方次，A被开方数。例如，A=5，5介于1的3次方至2的3次方之间。我们可以随意代入一个数m，例如2，那么：第一步，2+5/（22）-21/3=1.7;第二步，1.7+5/(1.71.7)-1.71/3=1.71;第三步，1.71+5/(1.711.71)-1.711/3=1.709;每次多取一位数。公式会自动反馈到正确的数值。 具体的求解过程：先说说泰勒级数：一个方程，f(x)=0，求解x，它唯一对应x-f(x)二维图像上的一条曲线。那么x的求解过程可以用牛顿-莱布尼茨逼近法求得(迭代)。例如x2=5可以看成f(x)=x2-5=0的求曲线和X轴的交点。牛顿迭代法可以用来求解线性方程的近似解。那么如何求解非线性方程呢? f(x)用泰勒级数展开，取前N项(通常N=2)，得到一个线性的方程，这个方程相当于是原来的曲线在求解点附近做了一条切线，其求解过程和牛顿迭代法等价。迭代次数越多，越接近非线性。用泰勒级数来分解sin(t)，把一个光滑的函数变成一些列有楞有角的波形的叠加。用傅立叶级数来分解方波，把有楞有角的波形变成一些光滑曲线的集合。但是傅立叶级数舍弃项的时候，会产生高频的吉布斯毛刺(上升下降的边沿，迪利赫里条件不符合)。局部的收敛性不如泰勒级数展开-因为泰勒级数展开有逐项衰减的常数因子。 举个例子，用泰勒级数求解欧拉公式。没有欧拉公式，就没有傅立叶变换，就没有拉普拉斯变化，就不能把高阶导数映射到e的倒数上面，也就无法把微分方程等价为一个限行方程。欧拉公式有什么用? 它把实数的三角运算变成了复数的旋转运算，把指数运算变成了乘积运算，把纯微分方程的求解过程变成了指数方程的求解过程，大大简化了运算。- 推广一下。怎么分析一个函数?怎么分析一个几何的相交问题?怎么解决一个多维的问题? 初等的方法是根据函数或者图形的几何性质，去凑答案-当然大部分情况是凑不到答案的，因为能凑到答案是因为问题/题目给出了一些特殊的数学关系以使得我们恰好能凑到答案! 例如一个圆球在正方体里面，求通过某个顶点的切面方程或者距离什么的，我们可以通过做辅助面求得。但是这个求解太特殊了，对于普通的点，例如切面方程 13x+615y+72z-2=0这样的，初等方法就无能为力了。说白了初等方法就是牛顿在提到的几何方法，牛顿并没有把微积分上升到解析的思想。普通数学分析则提出了解析的代数运算思想，把具体的问题用通用的方式来求得，而问题的题设只是一种把函数的实际参数带入形式参数的过程，使得问题可以形式化了-如果数学问题不能形式化就不能通过状态机来求解，试想，计算机怎么会画辅助线呢? 几何图形是有意义的，但是形式求解本身没有意义，它必须把实际的意义问题变成代数运算，例如求最大值最小值变成导数=0。电路分析当中的模型是什么? 就是数学建模。因为电压和电流是可以测量的量，那么我们就要看什么量是不变量/变量，什么量是自变量/因变量。如果电压是不变量，我们认为是理想电压源；如果电流是不变量就是理想电流源，如果电压电流的比例不变就是恒定电阻；如果电压电流乘积不变就是理想功率源。把控制电路作为一个整体，那么电压/电流控制电压/电流，作为一个黑盒，对外的特性就是电压转移系数，电流转移系数，转移电阻和转移电抗。在物理学的电场分析当中电压/电势是一个矢量，但是到了集总电路分析的领域就退化成了一个标量。对于复杂问题的分析，好比物理学当中的动量/能量守恒，电路分析是以电流守恒为基础的，于是就有了节电电流法和环路电压法的概念。这些概念的建立都是为了分析的目的而存在的，是分析工具。我们首先得到一个工具，当直接分析很困难的时候，我们采用逼近的方法来解决-因为极限就是我们所求的。正是因为解析的思想是一种通用的求解方式，爱因斯坦在晚年才会追求4大场的统一理论，当然他忽略了这个解析的形式系统本身在量子的尺度上失效了，忽略了不确定性和概率的影响，令人惋惜。说的太远了，高数里面为什么有那么多种正交展开? 泰勒级数，傅立叶级数，罗朗级数-其实就是因为初等的方法无法精确分析出定解，那么就去寻找一种不断逼近的方法来求解。复变函数研究的就是如何用幂级数不断的逼近原函数这个基本命题。- 泰勒是怎么想出来的? 为什么泰勒级数，傅立叶级数，这些展开式都可以写成某个通项公式的和呢? 是不是真理都是简单的美的，就像毕达哥拉斯所设想的一样? 这个观点也许搞反了因果的方向。我们看一下泰勒级数是怎么得到的。泰勒假设f(x)=f(a)+f(x)(x-a)+o(x-a)2，这个是牛顿莱布尼茨公式可以推出来的，那么有了一次项以后，如何继续逼近? 方法类似，一次的求解是g1(x)=f(x)-f(a)=f(x)(x-a)，那么可以写出g2(x)=f(x)-f(a)-f(x)(x-a)两边对x求导再求不定积分，就得到了2阶的泰勒级数。依次类推，可以得到N阶的泰勒级数。由于每一阶的推导过程是相似的，所以泰勒项数的子项肯定也就具有了某种形式意义上的相似性。说白了，不是因为客观存在某种规律使得函数可以展开成具有通项公式的幂级数，而是为了把函数展开成具有通项公式的幂级数再去看每个子项应该等于什么，然后为了保证严格再给出收敛以及一致收敛的条件。 不是客观存在某种简单而且美的真理，而是主体把某种简单而且美的形式强加给客观，再看客观在强加语境下的特性如何。傅立叶级数的思想，频率分析的思想，和这个相似，是把我们心中的某个概念赋予外界的实在，按主管意识的想法来拆借外界-只有这样，思想才能被理解。当然，实数范围的泰勒级数和傅立叶级数展开的条件仍然比较严格，复变函数引入了对应的洛朗级数和傅立叶/拉普拉斯变换，通用性强多了。说白了，复变函数就是函数逼近论。为了解决初等思想没法解决的不可能想明白的问题而引入的高等方法。逼近思想的一个应用就是理解曲率的公式 A=|y|/sqrt(1+y2)。画出逼近图形就可以理解了，用两个相似三角形就可以证明这个公式。 复变函数说白了就是2维正交元素组成的数域。(1+i)i=exp(iLn(1+i)=exp(iLn|1+i|+i(arg(1+i)+2kPi)=exp(-Pi) (1/4+2k)*(cosln2/2+isinln2/2)，是一个正交的表达式，它保留了两个方向上的分量，使得2维分析变得可能。这样一来，高等数学当中的曲线积分，积分的变量不再是x和y而是只剩下了z，形式上简单多了。 假设曲线积分S1=S(Pdx+Qdy)其中Q=x2-2xy-y2,P=x2-y2+2xy，显然满足格林公式。然后负数积分 S(z2)dz=S(x2+2xyi-y2)d(x+yi)=S( (x2-2xy)dx+(y2-2xy)dy )。而S(x2+2xyi-y2)d(x+yi)实部=S(x2-y2)dx-2xy2dy，虚部=S(2xydx+(x2- y2)dy)，实部和虚部相加就是S1，也就是说，S是S1(曲线积分和路径无关)的复数形式。我们可以验证S(z2)dz沿不同积分路线从起点到终点的积分结果。z2=(x2-y2)+i2xy，显然满足柯西-黎曼条件。于是它和实数积分的格林公式统一了。 实际的模型总是难以精确的解释的,所以我们创造一些理想模型去逼近现实。当然，两者不会相等，但是只要误差在容许的范围之内，我们认为数学的分析就成功了。这就是一切数学建模的思想。工科电子类的专业课，第一门数学建模的课程就是电路分析。这里传输线的问题被一个等效电路替代了。实际电源被一个理想的电压源加上一个电阻替代了，三级管放大电路的理论模型就是电流控制的电流源。一切都是为了分析的方便。只要结果足够近似，我们就认为自己的理论是有效的。出了这个边界，理论就需要修正。理论反映的不是客观实在，而是我们如何去认识的水平，理论是一种主观的存在，当实际情况可以影射到同一种理论的时候，我们说理论上有了一种主观的普遍联系，就像电路分析和网络流量的拓扑分析有很多共同点。这种普遍联系不是客体的属性，只和主体的观点有关。 说点题外话，对于工科电子类/计算机类的学生来说，我们学习了太多了经过精简压缩贯通的课程，以至于不知道了这些理论原有的面貌。有一种趋势就是把重要的思想性的原理性的东西去掉只留下工程实用性的内容下来。于是工科学生学到的都是阉割过的科学与技术-缺少灵魂的学问是无法用来做研究的。下面是课程的对应关系:1. 高等数学(工科)2个学期 数学分析+解析几何+微分几何(5个学期)_数学系专业课2. 线性代数(工科)1个学期 高等代数(2个学期)+矩阵论(1个学期)_数学系专业课3. 数理方法(工科)1个学期 常微分方程+偏微分方程+算子理论(3个学期)_数学系专业课4.离散数学(工科)1-2学期 形式逻辑+数理逻辑+集合论+近世代数+组合数学+运筹学+拓扑学(N个学期)_数学系专业课5. 信号与系统(工科)1个学期 复变分析+实变分析+泛函分析+控制理论+. ._数学系专业课 没有强大的数学基础，所谓的科研，只能是某种一边发明数学一边凑答案的抓狂，只能是空谈。还是老老实实的做项目，搞软硬件研发，开发市场，做技术支持，写报告，等等。(二) 方程和矩阵的物理含义一. 矩阵和空间的思想 我在这里，把线性代数归于高等数学的范畴，因为它的理论适用于很多高等数学求解的领域，例如多项微分方程组的求解，离不开它。 方程组，有什么物理/几何的意义吗? 有，就是一种映射关系。下图中，左图代表了2维到2维的一一映射，注意，Ax=0只有0解代表对于满秩矩阵A，0只能被映射为0。右图代表A不满秩，就是2维映射到1维的情况，一个线段映射到一个点，也就是存在一个解系。 换个角度，由于线性映射常常就是线性变换，也就是映射回本身的集合映射，所以AX=B也可以看成是某种交点的性质。根据向量之间相交的情况区分，定解(直线或面交于一点，1和2中的交点)，无穷解(直线平行或面多面共线，这个线就构成解系。1种的红黄色重合线和3中的共线)，或者无解(平行或面没有公共交点，1中的平行线和4中的平行交线)。如下图所示。 符号系统还有什么作用？在线性代数和微分方程里面的算子理论就是符号系统的一种形式。如果ax=b有解，那么x=(a-1)*b，其中|a|=0，我们可以推出对于矩阵方程组Ax=B有确定解，,那么这个解集是x=(A-1)*b。这里-1表示逆矩阵，*表示矩阵相乘，其中|A|!=0。这样的表示是正确的科学的，要做的事情就是看看A-1如何表示和得到。|A|不是绝对值而是行列式。A此时称为可逆矩阵-这个相当于实数运算里面要保证分母!=0。是不是很相似？ 可逆有什么性质：如果对一个矩阵做线性变换，使用一个满秩的矩阵，那么做变换的结果，秩不变。要注意，把矩阵当成算子的时候，乘法的交换律不一定成立。秩的加法律和乘法律r(AB)=r(A)+r(B),r(A+B)z的映射。举个例子，有3个国家，A国有三个城市，B国有三个城市，C国有两个城市。他们之间的道路状况如下用矩阵表示-B1,B2,B3A1 1, 1, 0A2 1, 0, 1A3 1, 1, 0-C1,C2B1 1, 0B2 1, 1B3 0, 1 那么从A国的每个城市出发经过B到达C的每个城市，各自有多少条线路? 答案就是A*B=(2,1),(1,1),(2,1)3. 我们深入的讨论一下映射的概念。举实数为例，y=ax是一个乘法映射，每一个x对应一个y。那么如果知道y求x呢? x=a(-1)*y。这里影射函数f(x)=ax和反函数g(x)=a(-1)x互逆。那么我们推广到N维坐标系空间里面就看到，矩阵就是一个N*N 的坐标系映射。AX=B，把B看成Y，那么X=A(-1)*Y。前提是A的范数!=0。我们构造的得到的A的1范数就是它的行列式。那么到底什么是映射? 莱布尼茨说映射就是一组2元关系。在1维的时候表现为函数的形式f(z)=z，在多维的时候表现为矩阵的形式。1维的多次映射表现为函数的嵌套(g o f)，多维的情形可以写成矩阵的乘法。当然，限制条件是，矩阵能表示的是一个离散值的集合。当然，方阵才有逆-方阵是维数不变的N-N的一一映射，所以可能有且只有一个反映射，或者没有反映射。N-M的不同维数映射无法得到反映射。4. 形式化的定义。我们如果把矩阵看成一个算子的话，矩阵的乘法就能看成一个状态机的推演，推算的过程就是一次算子入栈，反推的过程就是算子出栈。那么显然就能够理解(AB)T=B(T)*A(T)以及(AB)-1=B(-1)*A(-1)，(AB)* = (B*)*(A*)。我们从伴随矩阵的性质AA*=|A|E得到A(-1)=A*/|A|。矩阵左乘是行变换，右乘是列变换。把矩阵看成算子，同时可以把子矩阵看成算子，分块矩阵的相成和行列式求解也就很简单了。可以把小的矩阵当成一个数来看待。三角阵通过初等变换可以变成分块阵。5. 初等矩阵有3种，对应3种最基本的矩阵变换，也就是行列互换，行列数乘，一行/列数乘以后加到另一个行/列上面。初等矩阵都可逆。线性变换的结果是相抵的。一个矩阵总是能等于一个初等变换矩阵，并且逆矩阵的属性不变。对于可逆矩阵A，总有P1P2P3.PnAQ1Q2.Qn=E。或者说存在可逆矩阵P/Q使得PAQ=E。例如，如果A,B和A+B都可逆，那么A(-1)+B(-1)=B(-1)(B+A)A(-1)也是可逆的。6. 于是有了线性空间的概念：线性空间V就是一个集合，它同时满足V上的元素加法和对于数域K上面的乘法满足8条线性运算的规则。7. 为什么要讨论相似? 这里面包含了一种不变性，是研究变换的数学工具。实数变换可以拆分成复数变换，例如酉矩阵，在晶体学里，酉变换叫做幺正变换，也就是将空间（可以是任意维的）中一组基矢做一个旋转操作，不改变矢量的大小和内积。而在量子力学里面，这个用处就更大了，本质上就是量子力学所说的表象变换。是连接两个表象的桥梁。 矩阵代表了一种二元关系。函数映射是一种1维的二元关系，那么矩阵就是一种N维的二元关系。矩阵的方法就是一种映射的运算，之所以成为线形运算，是因为每一个投影都是具有拉伸和整体旋转的几何意义，相当于向量通过平面镜映射到一个投影平面上面的结果。这里只有平面镜和投影平面，没有哈哈镜和投影曲面。如果我们把2元的对应关系写成复数形式z=x+yi，那么f(z)就是一种投影的关系，只不过f(z)是直线方程的时候对应于一个等效的矩阵，f(z)如果不是直线方程，那么就是一种非线性变换。线形变换有许多很好的性质，能够保持信息的数量和结构保持某种程度的不变性，同时使得结果方便理解和处理。 映射还有一个性质，就是保角性。假设我们要研究x/y平面上面的x2-y2=c和xy=d这两个双曲线之间的夹角，怎么办? 我们可以用微元的办法(微分几何)来求出。但是这样当然很麻烦，而且是一题一解(牛顿喜欢这样做，但是莱布尼茨反对这种解决方案)，不太符合公理系统和形式化推理的思想。考虑z1=x+yi,z2=y-xi,f(z)=z2费波纳契数列的求解遇到过这样的问题: 一个数列a(-1)=1,a(0)=1,a(n+2)=a(n+1)+a(n)求an的通项公式。用中学时代的眼光我们可以观察到，如果an当n-& gt;无穷的时候，是个等比数列，显然符合递推公式。那么我们就可以假设an=入a(n-1)，那么由递推公式我们就可以得到:入2*a(n-1)= 入*a(n-1)+a(n-1)，求得入=(1+根号5)/2(应为这个比值要1)，那么an=入n*a0。当然这个只是一个近似公式，结果不准确而且推导的过程不严格。那么我们用大学的线形代数来求解。我们考虑修正方案构造一个等比数列，an+Aa(n-1)=B(a(n-1)+A(a(n- 2)，化简得到an=(B-A)a(n-1)+Aa(n-2)，于是B-A=1,AB=1，解得A/B=(根号5+-1)/2，剩下的可以参看一组 Wiki(/wiki/%E6%96%90%E6%B3%A2%E9%82%A3%E5%A5%91%E6%95%B0%E5%88%97)。 线形代数有什么好处? 就是求解的过程本身可以一直保持变量的形式，可以最后一步才代入实际参数。我们写出一个矩阵形式的递推公式：a(n+1)=1,1a(_n_)=1,11,1a(n-1)=.=1,1na(0)a(_n_)=1,0a(n-1)=1,01,0a(n-2)=.=1,0乘a(-1)- 也就是我们假设A=1,1,1,0那么就有a(n+1),a(n)=An*a0,a(-1)。于是我们可以通过求解An来得到通项公式。求出A的特征值|A-入E|=0-|1-入,1|1,0-入|=入2-入-1=0，两个特征值分别是:入1=(1+根号5)/2，入2=(1-根号5)/2。入1对应的特征向量: |A-入E|x=0-|1-入1,1|1,0-入1|=|入2,_1|0,-入1|所以对应的特征向量是(1,-入2)。而入2对应的特征向量同样的求法得到(1,-入1)。所以可逆矩阵P=_1,_1-入2,-入1，|P|=(-入1+入2)|=-根号5。它的逆矩阵P(-1)=入1,1-入2,-1，除以根号5。所以A=P(-1)*B*P,B是A的特征值构成的对角矩阵。所以a(n+1),a(n)=An*a0,a(-1)=P(-1)*Bn*P*a0,a1-当a0=a-1=1时an=(入1(n+1)-入2(n+1)/根号5三. 具体的性质和计算1. 对于克莱姆法则求解的过程，我们看到Ax=0的情况，对应于每个解分量的克莱姆除法式，Xn=Dn/DA，Dn矩阵中有一个全为0的列向量，那么求行列式的过程(全乘)结果肯定为0，所以方程组至少有个解向量就是0,0,0,.。这验证了我们前面说的，空间直线/面相交于原点的情况。2. 对于行列式除法，如果有分母等于0的情况，Ax=b就“可能“对应于无穷个解。当然，解之间符合一定的数学约束关系(例如3维空间中的某个直线方程)。举个例子，x=1,y=1,x-y=0这3个平面交汇于直线(x=1,y=1)，那么分母行列式些出来就是|1,0,0 |0,1,0 |1,-1,0|第三个行向量是冗余的，它的行列式0。为什么说可能无穷个解(去穷个z)，因为b不同，可能还会导致无解。那么，我怎么知道有解还是无解呢? 那就要求出所有克莱姆除法式的分子，如果有分子分母同为0的情况，就是无解，例如x=1,y=1,x-y=1这3个平面两两相交，但是就是没有公共的部分，克莱姆解法求z分量的过程，克莱姆分子就是下面这个矩阵的行列式|1,0,0 |0,1,0 |1,-1,1|显然行列式=0。 克莱姆法则提供一个同用的解方程的方法：我们不再需要通过观察数字拼凑的方式来消元了。当然，直接用克莱姆法则还是太复杂了。首先，随着维数的升高，计算复杂度指数增加O(N!)，然后只有求出了所有的克莱姆分子行列式才能判断是否有解，冗余度很高。所以我们需要进一步广义地研究矩阵的特性，矩阵的秩，特征矩阵/向量/值，等等。我们需要从Ax=0推理到Ax=b。(三) 线性相关和秩的物理意义什么是线性相关? 这两个矢量(计算机里面用数组表示)v1和v2，如果v2可以从v1的某种乘除运算(幅度拉伸，方向转换)，得到v2+K*v1=0，那么我们认为v2和v1线性相关。例如，两个直线方程，x+2y=0和2x+4y=0，他们的系数向量是(1,2)和(2,4)，显然，他们是同一条直线。也就是说(1,2)和(2,4)是线性相关的。同理，对于3维的情况，x=0,y=0,x=y这3个平面相交于Z轴，我们称这3个平面关于Z轴线性相关，3个平面方程的系数向量之间可以从其中的任意两个得到另外一个(1,0,0)+(0,1,0)=(1,1,0)。 说的抽象一点，线性相关就是，对于N个m维向量v1-vN，存在不全为0的一个系数向量K使得 v1*k1+v2*k2+v3*k3+.+vN*kN=0。换句话说，其中的某些向量，可以通过其他向量，对于其系数的四则运算和组合得到。如果3个向量v1,v2,v3是线性无关的(显然，v1,v2,v3都不是全0向量)，那么v1+v2,v2+v3,v1+v3这三个向量之间是什么关系? 其中的任何一个不能通过其他的两个进行4则运算得到，所以仍然是一组线性无关的向量。 用图形来表示线性相关的概念，上图的3维空间中，中a,b,c是3个不共线的向量，n是垂直于a/b所在平面的向量:(1)线性无关组构成线性空间，x/y/z构成空间，a/b/c如果不共面的话也能构成空间。空间是有不重叠的向量张成的。(2)a/b/c虽然不两两垂直，但是保证不共面的情况下，仍然可以对其他向量做唯一的线性分解(投影)(3)如果a/b/c不保证不共面，例如向量c在a/b张成的平面上，那么这个向量组的秩R=2，也就是这3个向量能表出某个2维空间的所有点集，但是3位空间中就有了很多点无法用a/b/c来线性表出，反映在方程组上就是无解。(4)axb得到向量n，n和a/b所在面垂直-这个可以理解为n是a/b的正交补空间(高等代数)的一个代表(近世代数)。于是如果a/b/c要能张成3维的线性空间，就必须有c在n上面的投影不为0。此时c所在的子空间就是a/b构成的子空间的补。(5)上面所谓的线性运算，也就是对+,*封闭，并且0元素的映射唯一。(6)所谓矩阵A和B相抵，也就是A/B之间能用初等变换来互相转化，相当于把一个点集用平面镜经过若干次的反射映射到另外一个位置。这个点集的拓扑性质保持完全不变。线性映射是保形映射，保角映射，同坯映射，具有很好的运算不变特性。 Ax=b的解总是不多于Ax=0的解。这个很好理解: 例如，Ax=0如果是对应3维方程组的话，就是3个平面在3维空间的交点。如果不是交与一条线，也不重合，那么就交与原点(0,0,0)。好了，对于Ax=b的情况怎么理解呢? 也就是这3个平面都做了一定的平移。那么如果平移的当，交点和原来一样，只是平移到了(a,b,c)，但是也有可能这3个面平移的不正好相交，变成无解了。这个分析的过程对应于矩阵的增广矩阵分析。如果矩阵的秩不等于增广矩阵的秩，那么相当于高斯消元法的过程出现了0=x(x非0)这样的谬，也就是方程组无解(没有交点)。如果两个秩相等，就相当于解的数量和原来一样。 那么，怎么理解秩，通解和特解呢? 还是拿3维平面举例子(3维方程组)，如果系数矩阵的行列式为0，说明可以通过消元法去掉至少一个方程，就像上面说的x=0,y=0,x-y=0三个平面的情况一样，x=y可以通过前面两个方程相减得到。系数矩阵的非相关向量个数=2，我们称秩(rank)=2。好了，这个方程组的解有无数个(整个Z轴)，写成通解形式就是(x,y,z)=k(0,0,1)，k是任意实数。如果方程组是Ax=b呢，那么交点相当于平移到了(a,b,c)，通解形式就是k(0,0,1)+(a,b,c)，这里(a,b,c)是特解，表示平移的基点。怎么求这个特解? 随便代入一个x的值x0，求出y和z的对应值，但是结果(x0,y0,z0)不等于(a,b,c)，不要紧，k(0,0,1)填补了(x0,y0,z0)和(a,b,c)之间的差。 继续推广，前面说的Ax=b都是齐次线性方程组，如果A是非齐次的(m*n)呢，例如，有4个变量? 那么如果r(A)=2，说明只有两个线性无关的矩阵向量，通解基的个数=max(m,n)-r(A)。这里，通解基个数=4-2=2。所以得到两个方程的时候，代入(x1,x2)=(1,0),(0,1)两个向量，求出通解k1(x0,y0,1,0)+k2(x1,y1,0,1)。当然，代如(x3,x4)=某个向量组合，效果一样，因为线性相关性是对称的。最后，求特解，代入一个任意的(x1,x2)组合求出特解(x,y,z,L)。再次推广，Ax=B，B也是一个矩阵，有解吗? 只要保证r(系数矩阵)=r(增广矩阵)就可以了，也就是保证高斯消元的过程，方程两边不出现0=非0的悖论。 好了，为了说明线性相关，秩，通解之间的关系，我举个例子。这个例子是线性代数的常见证明题： 题目：已知A是m*n的矩阵，秩r(A)=m，存在矩阵使得AB=0有解，通解矢量个数为n-m。求证，对于任何矢量a使得Aa=0，那么必然有一个矢量b使得a=Bb。 怎么证明呢? 要求证的东西其实就是，a可以表示为B的列向量的某种线性组合-也就是求证a总是可以由B的列向量线性表示。那么既然a是Ax=0的一个解，那么就要求B的列向量必然是Ax=0的通解向量组成的矩阵，那么必然有AB=0的解的个数=n-r(A)=n-m，符合题设。倒过来写就是证明的过程。求线性方程组通解的缺点: 求秩的过程依然用到了高斯消元法，没有对应的计算机方法，全靠人为观察。而且很多实际应用的情况下，方程组是没有精确解的，根本求不出秩，为了求得近似解，要引入奇异值分解的方法，而这个方法又引出了：特征矩阵，特征值，特征向量。特征向量物理意义1. 特征的数学意义 我们先考察一种线性变化，例如x,y坐标系的椭圆方程可以写为x2/a2+y2/b2=1，那么坐标系关于原点做旋转以后，椭圆方程就要发生变换。我们可以把原坐标系的(x,y)乘以一个矩阵，得到一个新的(x,y)的表示形式，写为算子的形式就是(x,y)*M=(x,y)。这里的矩阵M代表一种线性变换：拉伸，平移，旋转。那么，有没有什么样的线性变换b(b是一个向量)，使得变换后的结果，看起来和让(x,y)*b像是一个数b乘以了一个数字m*b? 换句话说，有没有这样的矢量b，使得矩阵A*b这样的线性变换相当于A在矢量b上面的投影m*b? 如果有，那么b就是A的一个特征向量，m就是对应的一个特征值。一个矩阵的特征向量可以有很多个。特征值可以用特征方程求出，特征向量可以有特征值对应的方程组通解求出，反过来也一样。例如，设A为3阶实对称矩阵，a1=(a,-a,1)T是Ax=0的解，a2=(a,1,-a)T是(A+E)x=0的解，a2,则常数a=? 因为a1=(a,-a,1)T是Ax=0的解,说明a1=(a,-a,1)T是A的属于0的特征向量，a2=(a,1,-a)T是(A+E)x=0的解，说明a2=(a,1,-a)T是A的属于-1的特征向量。实对称矩阵属于不同特征值的特征向量式正交的，所以a2-a-a=0,a2,所以a=0。 还是太抽象了，具体的说，求特征向量的关系，就是把矩阵A所代表的空间，进行正交分解，使得A的向量集合可以表示为每个向量a在各个特征向量上面的投影长度。例如A是m*n的矩阵,nm，那么特征向量就是m个(因为秩最大是m)，n个行向量在每个特征向量E上面有投影，其特征值v就是权重。那么每个行向量现在就可以写为Vn=(E1*v1n,E2*v2n.Em*vmn)，矩阵变成了方阵。如果矩阵的秩更小，矩阵的存储还可以压缩。再: 由于这些投影的大小代表了A在特征空间各个分量的投影，那么我们可以使用最小2乘法，求出投影能量最大的那些分量，而把剩下的分量去掉，这样最大限度地保存了矩阵代表的信息，同时可以大大降低矩阵需要存储的维度，简称PCA方法。 举个例子，对于x,y平面上的一个点(x,y)，我对它作线性变换，(x,y)*1,0;0,-1，分号代表矩阵的换行，那么得到的结果就是(x,-y)，这个线性变换相当于关于横轴x做镜像。我们可以求出矩阵1,0;0,-1的特征向量有两个，1,0和0,1，也就是x轴和y轴。什么意思呢? 在x轴上的投影，经过这个线性变换，没有改变。在y轴上的投影，乘以了幅度系数-1，并没有发生旋转。两个特征向量说明了这个线性变换矩阵对于x轴和y轴这两个正交基是线性不变的。对于其他的线性变换矩阵，我们也可以找到类似的，N个对称轴，变换后的结果，关于这N个对称轴线性不变。这N个对称轴就是线性变换A的N个特征向量。这就是特征向量的物理含义所在。所以，矩阵A等价于线性变换A。 对于实际应用的矩阵算法中，经常需要求矩阵的逆：当矩阵不是方阵的时候，无解，这是需要用到奇异值分解的办法，也就是A=PSQ，P和Q是互逆的矩阵，而S是一个方阵，然后就可以求出伪逆的值。同时，A=PSQ可以用来降低A的存储维度，只要P是一个是瘦长形矩阵，Q是宽扁型矩阵。对于A非常大的情况可以降低存储量好几个数量级。2. 物理意义 特征向量有什么具体的物理意义? 例如一个驻波通过一条绳子，绳子上面的每个点组成一个无穷维的向量，这个向量的特征向量就是特征函数sin(t)，因为是时变的，就成了特征函数。每个点特征值就是每个点在特定时刻的sin(x+t)取值。再如，从太空中某个角度看地球自转，虽然每个景物的坐标在不断的变换，但是这种变换关于地球的自传轴有对称性，也就是关于此轴的平移和拉伸的坐标变换不敏感。所以地球自转轴，是地球自转这种空间变换的一个特征向量。Google的PageRank，就是对www链接关系的修正邻接矩阵的，主要特征向量的投影分量，给出了页面平分。有什么特性呢? AB和BA有相同的特征向量-设AB的特征向量为x，对应的特征值为b，则有(AB)x = bx，将上式两边左乘矩阵B，得B(AB)x = (BA)(Bx) = b(Bx)，故b为BA的特征值，对应的特征向量为Bx。反之亦然。 什么是特征矩阵和特征值？我们用整体论来考虑，假设P(A)=(1,2,3)是A的3个特征向量。那么P(A2)就是(12,22,32)，P可以看作是一种算子。当然，算子的特性是需要用部分/细节详细证明的。一旦证明，就可以作为整体的特征。特征值有什么特性？说明矩阵可以分解成N维特征向量的投影上面，这N个特征值就是各个投影方向上的长度。由于n*n矩阵A可以投影在一个正交向量空间里面，那么任何N维特征向量组成的矩阵都可以是线性投影变换矩阵，那么I就是一个同用的线性变换投影矩阵。所以对于特征值m，一定有是够成了一个没有线性无关向量的矩阵Aa=ma两边同乘以I得到 Aa=maI，所以(A-mI)a=0有非0解，那么|A-mI|=0(可以用反正法，如果这个行列式不是0，那么N个向量线性无关，在N维空间中只能相交于原点，不可能有非0解)。所以可以推出一些很有用的性质，例如A=1/2,1,1;0,1/3,1;0,0,1/5，那么只要满足|A- mI|=0的值就是特征值，显然特征值数组立即可以得到(1/2,1/3,1/5)。一个n*n的矩阵A，秩=1，那么最大线性无关组=1组，特征向量=1个，任意n维非零向量都是A的特征向量。特征向量本身不是定死的，这就好比坐标系可以旋转一样。一旦特征向量的各个方向确定了，那么特征值向量也就确定了。求特征值的过程就是用特征方程：|A-mE|=0,P(1/A)=1/P(A)，可以证明。有什么物理含义呢？一个N维线性无关的向量，去掉其中的一维，那么就有至少两个向量是线性相关的了，所以行列式=0。特征矩阵有什么作用？把矩阵变化为正定矩阵，也就是A=P-1BP，这样的变换，A是对角阵。 线性代数的研究，是把向量和矩阵作为一个整体，从部分的性质出发，推到出整体的性质，再由整体的性质得到各种应用和物理上的概念。当矩阵A是一个符号的时候，它的性质会和实数a有很多相似的地方。科学的定理看起来总是递归着的。再举一个例子，高数的基本概念有微分，积分，倒数，那么我立刻可以想到中值定理就应该有3个，形式上分别是微分，积分和倒数。3. 应用的场景 线性变换的缺点：线性变换PCA可以用来处理图像。如2维的人像识别：1. 我们把图像A看成矩阵，进一步看成线性变换矩阵，把这个训练图像的特征矩阵求出来(假设取了n个能量最大的特征向量)。用A乘以这个n个特征向量，得到一个n维矢量a，也就是A在特征空间的投影。2. 今后在识别的时候同一类的图像(例如，来自同一个人的面部照片)，认为是A的线性相关图像，它乘以这个特征向量，得到n个数字组成的一个矢量b，也就是B在特征空间的投影。那么a和b之间的距离就是我们判断B是不是A的准则。 不过，PCA有天生的缺点，就是线性矢量的相关性考察有平移无关性优点的同时，也完全忽略了，2维图形中，矢量分量之间的顺序是有意义的，顺序不同可以代表完全不同的信息。还有，就是图像B必须是A的某种伸缩(由特征向量空间决定的)，才能被很好的投影到A的特征向量空间里面，如果B包含了A中的某种旋转因素，那么PCA可以彻底失效。所以实际应用中PCA的方法做图像识别，识别率并不高，它要求图像有某种严格的方向对齐和归一化。所以PCA一般不用来做直接的特征提取而是用来做特征矩阵的降维。当然，降维的结果用于分类并不理想，我们可以进一步做最小二承法拉开类间距离的Fisher变换。但是Fisher变换会引入新的弱点，那就是对于训练类别的数据变得更敏感了，分类效果上升的代价是通用性下降，当类型数量急剧膨胀的时候，分类效果的函数仍然是直线下降的-但是还是比直接PCA的分类效果好得多。PCA主观的认为，一个类型的第N+1个矩阵可以由之前已知的1,N个矩阵通过拉成向量来线性表出。显然这只是一个美好的主观愿望，因为即使新的输入矩阵是原有矩阵作了一些行列的初等变换如交换等，这种拉直以后的线性表出也可能根本就不存在(2维的PCA同样无法克服这个客观不存在的设定)，于是，当应用到实际的时候，只能试图做优化没，用最小二乘距离来判定，认为那个矩阵就是属于某个分类。由于PCA训练的特征矩阵是一个类别一个矩阵，这些矩阵构成的子空间之间又无法保证正交，于是投影的结果也不具有根本意义上的分类特性。这个算法是个实用的算法，但是理论上根本就是无解。 K-L变换是PCA的一个应用形式。假设图像类型C有N个图像，那么把每个图像拉直成一个向量，N个图像的向量组成一个矩阵，求矩阵的特征向量(列向量)。那么用原来的N个图像乘以这些列向量求出平均值，就是我们