特征值和特征向量的物理意义

1、特征向量体现样本之间的相关程度，特征值则反映了散射强度。特征向量的几何意义.矩阵(既然讨论特征向量的问题.当然是方阵.这里不讨论广义特征向量的概念)乘以一个向量的结果仍是同维数的一个向量.因此.矩阵乘法 对应了一个变换.把一个向量变成同维数的另一个向量.那么变换的效果是什么呢?这当然与方阵的构造有密切关系.比如可以取适当的二维方阵.使得这个变换的 效果就是将平面上的二维向量逆时针旋转30度.这时我们可以问一个问题.有没有向量在这个变换下不改变方向呢?可以想一下.除了零向量.没有其他向量可以在平面上旋转30度而不改变方向的.所以这个变换对应的矩阵(或者说这个变换自身)没有特征向量(注意:特征向量

2、不能 是零向量).所以一个变换的特征向量是这样一种向量.它经过这种特定的变换后保持方向不变.只是进行长度上的伸缩而已(再想想特征向量的原始定义Ax= cx.你就恍然大悟了.看到了吗?cx是方阵A对向量x进行变换后的结果.但显然cx和x的方向相同).而且x是特征向量的话.ax也是特征向量(a是标 量且不为零).所以所谓的特征向量不是一个向量而是一个向量族. 另外.特征值只不过反映了特征向量在变换时的伸缩倍数而已.对一个变换而言.特征向量指明的方向才是很重要的.特征值不是那么重要.虽然我们求这两个量时 先求出特征值.但特征向量才是更本质的东西!比如平面上的一个变换.把一个向量关于横轴做镜像对称变换

3、.即保持一个向量的横坐标不变.但纵坐标取相反数.把这个变换表示为矩阵就是1 0,0 -1.其中分号表示换行.显然1 0,0 -1a b=a -b.其中上标表示取转置.这正是我们想要的效果.那么现在可以猜一下了.这个矩阵的特征向量是什么?想想什么向量在这个变换下保持方向不变.显 然.横轴上的向量在这个变换下保持方向不变(记住这个变换是镜像对称变换.那镜子表面上(横轴上)的向量当然不会变化).所以可以直接猜测其特征向量是 a 0(a不为0).还有其他的吗?有.那就是纵轴上的向量.这时经过变换后.其方向反向.但仍在同一条轴上.所以也被认为是方向没有变化。综上，特征值只不过反映了特征向量在变换时的伸缩

4、倍数而已，对一个变换而言，特征向量指明的方向才是很重要的，特征值似乎不是那么重要；但是，当我们引用了Spectral theorem（谱定律）的时候，情况就不一样了。Spectral theorem的核心内容如下：一个线性变换（用矩阵乘法表示）可表示为它的所有的特征向量的一个线性组合，其中的线性系数就是每一个向量对应的特征值，写成公式就是：T(V)=1(V1.V)V1+2(V2.V)V2+3(V3.V)V3+.从这里我们可以看出，一个变换（矩阵）可由它的所有特征向量完全表示，而每一个向量所对应的特征值，就代表了矩阵在这一向量上的贡献率说的通俗一点就是能量（power），至此，特征值翻身做主人，

5、彻底掌握了对特征向量的主动：你所能够代表这个矩阵的能量高低掌握在我手中，你还吊什么吊？我们知道，一个变换可由一个矩阵乘法表示，那么一个空间坐标系也可视作一个矩阵，而这个坐标系就可由这个矩阵的所有特征向量表示，用图来表示的话，可以想象就是一个空间张开的各个坐标角度，这一组向量可以完全表示一个矩阵表示的空间的“特征”，而他们的特征值就表示了各个角度上的能量（可以想象成从各个角 度上伸出的长短，越长的轴就越可以代表这个空间，它的“特征”就越强，或者说显性，而短轴自然就成了隐性特征），因此，通过特征向量/值可以完全描述某一 几何空间这一特点，使得特征向量与特征值在几何（特别是空间几何）及其应用中得以发

6、挥。关于特征向量（特别是特征值）的应用实在是太多太多，近的比如俺曾经提到过的PCA方法，选取特征值最高的k个特征向量来表示一个矩阵，从而达到降维分 析+特征显示的方法；近的比如Google公司的成名作PageRank，也是通过计算一个用矩阵表示的图（这个图代表了整个Web各个网页“节点”之间的关联）的特征向量来对每一个节点打“特征值”分；再比如很多人脸识别，数据流模式挖掘分析等方面，都有应用，有兴趣的兄弟可以参考IBM的Spiros 在VLDB 05，SIGMOD 06上的几篇文章。特征向量不仅在数学上，在物理，材料，力学等方面（应力、应变张量）都能一展拳脚，有老美曾在一本线代书里这样说过“有

7、振动的地方就有特征值和特征向量”，确实令人肃然起敬+毛骨悚然.特征值就是那个矩阵所对应的一元多次方程组的根特征值表示一个矩阵的向量被拉伸或压缩的程度,例如特征值为1111111111,则表示经过变换以后,向量没有被拉伸,在物理上表示做刚体运动,相当与整体框架做了变动,但内部结构没有变化.量子力学中,矩阵代表力学量,矩阵的特征向量代表定态波函数,矩阵的特征植代表力学量的某个可能的观测值。一个向量（或函数）被矩阵相乘，表示对这个向量做了一个线性变换。如果变换后还是这个向量本身乘以一个常数，这个常数就叫特征值。这是特征值的数学涵义；至于特征值的物理涵义，根据具体情况有不同的解释。比如动力学中的频率，

8、稳定分析中的极限荷载，甚至应力分析中的主应力矩阵的特征值要想说清楚还要从线性变换入手，把一个矩阵当作一个线性变换在某一组基下的矩阵，最简单的线性变换就是数乘变换，求特征值的目的就是看看一个线性变换对一些非零向量的作用是否能够相当于一个数乘变换，特征值就是这个数乘变换的变换比，这样的一些非零向量就是特征向量，其实我们更关心的是特征向量，希望能把原先的线性空间分解成一些和特征向量相关的子空间的直和，这样我们的研究就可以分别限定在这些子空间上来进行，这和物理中在研究运动的时候将运动分解成水平方向和垂直方向的做法是一个道理！用matlab求矩阵最大特征值的特征向量用函数V,D=eig(A)矩阵D的对角

9、元存储的是A的所有特征值，而且是从小到大排列的矩阵V的每一列存储的是相应的特征向量所以应该是V的最后一个列就是最大特征值的特征向量 特征向量-定义 数学上，线性变换的特征向量（本征向量）是一个非退化的向量，其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值（本征值）。图1给出了一幅图像的例子。一个变换通常可以由其特征值和特征向量完全描述。特征空间是相同特征值的特征向量的集合。这些概念在纯数学和应用数学的很多领域发挥着巨大的作用在线性代数，泛函分析，甚至在一些非线性的情况中也有着显著的重要性。“特征”一词来自德语的eigen。1904年希尔伯特首先在这个意义下使用了

10、这个词，更早亥尔姆霍尔兹也在相关意义下使用过该词。eigen一词可翻译为“自身的”，“特定于.的”，“有特征的”或者“个体的”这强调了特征值对于定义特定的变换有多重要。空间上的变换如平移(移动原点)，旋转，反射，拉伸，压缩，或者这些变换的组合；以及其它变换可以通过它们在向量上的作用来显示。向量可以用从一点指向另一点的箭头来表示。矩阵特征向量-性质（1） 变换的特征向量是指在变换下不变或者简单地乘以一个缩放因子的非零向量。特征向量的特征值是它所乘的那个缩放因子。特征空间就是由所有有着相同特征值的特征向量组成的空间，还包括零向量，但要注意零向量本身不是特征向量。变换的主特征向量是对应特征

11、值最大的特征向量。特征值的几何重次是相应特征空间的维数。有限维向量空间上一个变换的谱是其所有特征值的集合。例如，三维空间旋转的特征向量是沿着旋转轴的一个向量，相应的特征值是1，相应的特征空间包含所有和该轴平行的向量。该特征空间是一个一维空间，因而特征值1的几何重次是1。特征值1是旋转的谱当中唯一的实特征值。特征向量-参看：特征平面 例子随着地球的自转，每个从地心往外指的箭头都在旋转，除了在转轴上的那些箭头。考虑地球在一小时自转后的变换：地心指向地理南极的箭头是这个变换的一个特征向量，但是从地心指向赤道任何一处的箭头不会是一个特征向量。因为指向极点的箭头没有被地球的自转拉伸，它的特征值

12、是1。另一个例子是，薄金属板关于一个固定点均匀伸展，使得板上每一个点到该固定点的距离翻倍。这个伸展是一个有特征值2的变换。从该固定点到板上任何一点的向量是一个特征向量，而相应的特征空间是所有这些向量的集合。但是，三维几何空间不是唯一的向量空间。例如，考虑两端固定的拉紧的绳子，就像弦乐器的振动弦那样（图2.）。振动弦的原子到它们在弦静止时的位置之间的带符号那些距离视为一个空间中的一个向量的分量，那个空间的维数就是弦上原子的个数。如果考虑绳子随着时间流逝发生的变换，它的特征向量，或者说特征函数（如果将绳子假设为一个连续媒介），就是它的驻波也就是那些通过空气的传播让人们听到弓弦和吉他的拨动声的振动。

13、驻波对应于弦的特定振动，它们使得弦的形状随着时间变化而伸缩一个因子（特征值）。和弦相关的该向量的每个分量乘上了一个依赖于时间的因子。驻波的振幅（特征值）在考虑到阻尼的情况下逐渐减弱。因此可以将每个特征向量对应于一个寿命，并将特征向量的概念和共振的概念联系起来。特征向量-特征值方程 从数学上看，如果向量v与变换满足则称向量v是变换的一个特征向量，是相应的特征值。其中是将变换作用于v得到的向量。这一等式被称作“特征值方程”。假设是一个线性变换，那么v可以由其所在向量空间的一组基表示为：其中vi是向量在基向量上的投影（即坐标），这里假设向量空间为n 维。由此，可以直接以坐标向量表示。利用基

14、向量，线性变换也可以用一个简单的矩阵乘法表示。上述的特征值方程可以表示为：但是，有时候用矩阵形式写下特征值方程是不自然甚或不可能的。例如在向量空间是无穷维的时候，上述的弦的情况就是一例。取决于变换和它所作用的空间的性质，有时将特征值方程表示为一组微分方程更好。若是一个微分算子，其特征向量通常称为该微分算子的特征函数。例如，微分本身是一个线性变换因为（若M和N是可微函数，而a和b是常数）考虑对于时间t的微分。其特征函数满足如下特征值方程：,其中是该函数所对应的特征值。这样一个时间的函数，如果 = 0，它就不变，如果为正，它就按比例增长，如果是负的，它就按比例衰减。例如，理想化的兔子的总数在兔子更

15、多的地方繁殖更快，从而满足一个正的特征值方程。该特征值方程的一个解是N = exp(t)，也即指数函数；这样，该函数是微分算子d/dt的特征值为的特征函数。若是负数，我们称N的演变为指数衰减；若它是正数，则称指数增长。的值可以是一个任意复数。因此d/dt的谱是整个复平面。在这个例子中，算子d/dt作用的空间是单变量可微函数的空间。该空间有无穷维（因为不是每一个可微函数都可以用有限的基函数的线性组合来表达的）。但是，每个特征值所对应的特征空间是一维的。它就是所有形为N = N0exp(t)的函数的集合。N0是任意常数，也就在t=0的初始数量。特征向量-谱定理 关于此话题更进一步的细节，

16、见谱定理。谱定理在有限维的情况，将所有可对角化的矩阵作了分类：它显示一个矩阵是可对角化的，当且仅当它是一个正规矩阵。注意这包括自共轭（厄尔米特）的情况。这很有用，因为对角化矩阵T的函数f(T)（譬如波莱尔函数f）的概念是清楚的。在采用更一般的矩阵的函数的时候谱定理的作用就更明显了。例如，若f是解析的，则它的形式幂级数，若用T取代x，可以看作在矩阵的巴拿赫空间中绝对收敛。谱定理也允许方便地定义正算子的唯一的平方根。谱定理可以推广到希尔伯特空间上的有界正规算子，或者无界自共轭算子的情况。特征向量-矩阵的特征值和特征向量   如上所述，谱定理表明正方形矩阵可以对角化当且

17、仅当它是正规的。对于更一般的未必正规的矩阵，我们有类似的结果。当然在一般的情况，有些要求必须放松，例如酉等价性或者最终的矩阵的对角性。所有这些结果在一定程度上利用了特征值和特征向量。下面列出了一些这样的结果：舒尔三角形式表明任何酉矩阵等价于一个上三角矩阵；奇异值分解定理， A = UV * 其中为对角阵，而U,V为酉矩阵。A = UV * 的对角线上的元素非负，而正的项称为A的奇异值。这对非正方形矩阵也成立；若当标准型，其中A = UU ? 1 其中不是对角阵，但是分块对角阵，而U是酉矩阵。若当块的大小和个数由特征值的几何和代数重次决定。若当分解是一个基本的结果。从它可以立即得到一个正方形矩阵

18、可以完全用它的特征值包括重次来表述，最多只会相差一个酉等价。这表示数学上特征值在矩阵的研究中有着极端重要的作用。作为若当分解的直接结果，一个矩阵A可以“唯一”地写作A = S + N其中S可以对角化，N是幂零的（也即，对于某个q，Nq=0），而S和N可交换(SN=NS)。任何可逆矩阵A可以唯一地写作A = SJ，其中S可对角化而J是么幂矩阵 (也即，使得特征多项式是(-1)的幂，而S和J可交换)。特征向量-特征值的一些另外的属性 谱在相似变换下不变: 矩阵A和P-1AP有相同的特征值，这对任何矩阵A和任何可逆矩阵 P都成立。谱在转置之下也不变：矩阵A和AT有相同的特征值。因为有限维空

19、间上的线性变换是双射当且仅当它是单射，一个矩阵可逆当且仅当所有特征值都不是0。若当分解的一些更多的结果如下：一个矩阵是对角阵当且仅当代数和几何重次对于所有特征值都相等。特别的有，一个n×n矩阵如果有n不同特征值，则总是可以对角化的。矩阵作用的向量空间可以视为其广义特征向量所撑成的不变子空间的直和。对角线上的每个块对应于该直和的一个子空间。若一个块是对角化的，其不变子空间是一个特征空间。否则它是一个广义特征空间，如上面所定义；因为迹，也就是矩阵主对角线元素之和，在酉等价下不变，若当标准型说明它等于所有特征值之和；类似的有，因为三角矩阵的特征值就是主对角线上的项，其行列式等于等于特征值的

20、乘积（按代数重次计算出现次数）。正规矩阵的一些子类的谱的位置是：一个厄尔米特矩阵(A = A*)的所有特征值是实数。进一步的有，所有正定矩阵(v*Av > 0 for all vectors v)的所有特征值是正数；所有斜厄尔米特矩阵(A = ?A*)的特征值是纯虚数；所有酉矩阵(A-1 = A*)的特征值绝对值为1;假设A是一个m×n矩阵，其中m n，而B是一个n×m矩阵。则BA有和AB相同的特征值加上n ? m个等于0的特征值。每个矩阵可以被赋予一个算子范数。算子范数是其特征值的模的上确界，因而也是它的谱半径。该范数直接和计算最大模的特征值的幂法直接相关。当一个矩

21、阵是正规的，其算子范数是其特征值的最大模，并且独立于其定义域的范数。特征向量-共轭特征向量 一个共轭特征向量或者说共特征向量是一个在变换下成为其共轭乘以一个标量的向量，其中那个标量称为该线性变换的共轭特征值或者说共特征值。共轭特征变量和共轭特征值代表了和常规特征向量和特征值相同的信息和含义，但是在交替坐标系统被使用的时候出现。对应的方程是：例如，在相干电磁散射理论中，线性变换A代表散射物体施行的作用，而特征向量表示电磁波的极化状态。在光学中，坐标系统按照波的观点定义，称为前向散射对齐 (FSA)，从而导致了常规的特征值方程，而在雷达中，坐标系统按照雷达的观点定义，称为后向散射对齐 (

22、BSA)，从而给出了共轭特征值方程。特征向量-广义特征值问题 一个广义特征值问题(第二种意义)有如下形式其中A和B为矩阵。其广义特征值(第二种意义) 可以通过求解如下方程得到形如A ? B的矩阵的集合，其中是一个复数，称为一个“铅笔”。 若B可逆，则最初的问题可以写作如下形式也即标准的特征值问题。但是，在很多情况下施行逆操作是不可取的，而广义特征值问题应该如同其原始表述来求解。如果A和B是实系数的对称矩阵，则特征值为实数。这在上面的第二种等价表述中并不明显，因为矩阵B ? 1A未必是对称的。这里的一个例子是分子轨道应用如下。特征向量-系数为环中元素 在方矩阵A，其系数属于一

23、个环的情况，称为一个右特征值如果存在一个列向量x使得Ax=x，或者称为一个左特征值如果存在非零行向量y使得yA=y。若环是可交换的，左特征值和右特征值相等，并简称为特征值。否则，例如当环是四元数集合的时候，它们可能是不同的。若向量空间是无穷维的，特征值的概念可以推广到谱的概念。谱是标量的集合，对于这些标量，没有定义，也就是说它们使得没有有界逆。很明显，如果是T的特征值，位于T的谱内。一般来讲，反过来并不成立。在希尔伯特空间或者巴拿赫空间上有一些算子完全没有特征向量。这可以从下面的例子中看到。在希尔伯特空间(所有标量级数的空间，每个级数使得收敛)上的双向平移没有特征向量却有谱值。在无穷维空间，有

24、界算子的谱系总是非空的，这对无界自共轭算子也成立。通过检验谱测度，任何有界或无界的自共轭算子的谱可以分解为绝对连续，离散，和孤立部分。指数增长或者衰减是连续谱的例子，而振动弦驻波是离散谱例子。氢原子是两种谱都有出现的例子。氢原子的束缚态对应于谱的离散部分，而离子化状态用连续谱表示。图3用氯原子的例子作了解释。特征向量-应用 薛定谔方程一个变换用微分算子代表的特征值方程的例子是量子力学中的时不变薛定谔方程HE = EE其中H是哈密尔顿算子，一个二阶微分算子而E是波函数，对应于特征值E的特征函数，该值可以解释为它的能量。图4. 一个氢原子中的一个电子的束缚态所对应的波函数可以视为氢原子哈

25、密尔顿算子的一个特征向量，也是角动量算子的一个特征向量。它们对应于可以解释为它们的能量(递增：n=1,2,3,.)和角动量(递增：s, p, d,.)的特征值。这里画出了波函数绝对值的平方。更亮区域对应于位置测度的更高概率密度。每幅图的中心都是原子核，一个质子但是，在这个情况我们只寻找薛定鄂方程的束缚态解，就像在量子化学中常做的那样，我们在平方可积的函数中寻找E。因为这个空间是一个希尔伯特空间，有一个定义良好的标量积，我们可以引入一个基集合，在其中E和H可以表示为一个一维数组和一个矩阵。这使得我们能够用矩阵形式表达薛定鄂方程。(图4代表氢原子哈密尔顿算子的最低能级特征函数。）狄拉克记法经常在这

26、个上下文中使用，以强调状态的向量和它的表示，函数E之间的区别。在这个情况下，薛定鄂方程写作并称是H的一个本征态(H有时候在入门级课本中写作)，H被看作是一个变换（参看观测值）而不是一个它用微分算子术语进行的特定表示。在上述方程中，理解为通过应用H到得到的一个向量。特征向量-分子轨道  在量子力学中，特别是在原子物理和分子物理中，在Hartree-Fock理论下，原子轨道和分子轨道可以定义为Fock算子的特征向量。相应的特征值通过Koopmans定理可以解释为电离势能。在这个情况下，特征向量一词可以用于更广泛的意义，因为Fock算子显式地依赖于轨道和它们地特征值。如果需要强调这个特点，可以称它为隐特征值方程。这样地方程通常采用迭代程序求解，在这个情况下称为自洽场方法。在量子化学中，经常会把Hartree-Fock方程通过非正交基集合来表达。这个特定地表达是一个广义特征值问题称为Roothaan方程。特征向量-因子分析 在因素分析中，一个协变矩阵的特征向量对应于因素，而特征值是因素负载。因素分析是一种统计学技术，用于社