第六章范数与极限

1、第第6 6章章 范数与极限范数与极限（ norm and limit）理解向量范数、矩阵范数的概念理解向量范数、矩阵范数的概念;掌握几种常用的范数；掌握几种常用的范数；理解范数等价的定义，了解矩阵的谱半径及其性质。了理解范数等价的定义，了解矩阵的谱半径及其性质。了解矩阵序列与极限的概念。解矩阵序列与极限的概念。了解矩阵的幂级数并掌握敛散性的基本判别方法。了解矩阵的幂级数并掌握敛散性的基本判别方法。 对于对于n 维线性空间，定义了内积以后，向量就有了长度维线性空间，定义了内积以后，向量就有了长度（大小）、角度、距离等度量概念，这显然是（大小）、角度、距离等度量概念，这显然是3维现实空间维现实空间

2、中相应概念的推广。利用公理化的方法，可以进一步把向量中相应概念的推广。利用公理化的方法，可以进一步把向量长度的概念推广到范数。长度的概念推广到范数。1 向量范数向量范数 定义定义1：设设V 是数域是数域P上的线性空间，上的线性空间， V， 表表示以示以 为自变量的的非负实值函数为自变量的的非负实值函数，如果它具有下列如果它具有下列性质性质： kk（3）三角不等式三角不等式：即对任意两个向量即对任意两个向量 ， V，恒有恒有 (1) 非负性非负性：当：当 0, 0，当，当 =0时，时， =0(2) 齐次性齐次性：即对任何实数即对任何实数k P， V，则称则称 为为向量向量 的范数的范数，并称定义

3、了范数的空间为，并称定义了范数的空间为赋范线性空间赋范线性空间Cn中中几个常用范数：几个常用范数： niinxxxxx1211|（1）1-范数范数2112222212)|( niinTxxxxxxx（2）2-范数范数inixx 1max（3） -范数范数 设设x = (x1, x2, xn)T Cn, ,则在则在Cn上定义范数上定义范数关于关于p-范数范数11111|(| ) (| )nnnpqpqiiiiiiix yxy 定理定理1 Holder不等式不等式lim|ppxx 定理定理3 对任意向量对任意向量x，由（，由（*）式定义的）式定义的|x|p是向量范是向量范数，且有数，且有1-范数,

4、2-范数,-范数都是p-范数的特殊情形；定理定理2 Minkowski不等式不等式111111(| )(| )(| )nnnppppppiiiiiiixyxy 1,)|(11 pxxpnipip（*）几何意义几何意义: :对任意对任意 , ,对应于四种范数对应于四种范数1,2,1,2, , ,p的闭的闭单位圆单位圆 |x|=1 的图形分别为的图形分别为212(,)Txx xC注：注：内积空间定义的向量长度等于这里的内积空间定义的向量长度等于这里的2-2-范数，称为由内积范数，称为由内积导出的范数，但范数不一定都是由内积导出的。导出的范数，但范数不一定都是由内积导出的。由已知的范数构造新范数：由

5、已知的范数构造新范数：定理定理4 设设| 是是Cm上的向量范数，上的向量范数， A Cm n且且rank(A)=n,则则由由 |x| = |Ax| ， x Cn所定义的非负函数所定义的非负函数| 是是Cn上的向量范数。上的向量范数。构造新范数构造新范数定理定理5：有限维线性空间有限维线性空间V上的任意两个向量范数等价。上的任意两个向量范数等价。 xMxxm 称范数称范数|x| ，|x| 等价等价。定义定义2：在在n维线性空间维线性空间V上定义两个向量范数上定义两个向量范数|x| ，|x| ，若存在两个正常数若存在两个正常数 M 与与 m ( Mm ) 使得对一切使得对一切x V，注注 这个结论

6、对这个结论对无限维无限维未必成立。另外，根据等价性，处理未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。范数来建立理论，而使用另一种范数来进行计算。等价范数等价范数111XXXn 1XXn X 2XXn X 对常用范数，容易验证下列不等式：对常用范数，容易验证下列不等式： 例例1 计算计算C4的向量的向量x=(3i,0,-4i,-12)T 的的1,2, 范数。范数。解解：|x|1=|3i|+|-4i|+|-12|=19 |x|2=(xHx)1/2=(3i)(-3i

7、)+(-4i)(4i)+(-12)21/2=13 |x| =max(|3i|,|0|,|-4i|,|-12|)=12 注：注：在同一线性空间中在同一线性空间中,不同定义的范数大小可能不同不同定义的范数大小可能不同对任意对任意 ， V，定义，定义 与与 之间的距离为之间的距离为 d( ， )=| - |称为由称为由范数范数|决定的距离决定的距离。常用距离测度包括常用距离测度包括:欧氏距离欧氏距离Manhattan(曼哈顿曼哈顿)距离距离 Chebyshev(切比雪夫切比雪夫)距离距离 njjjyxyxyxD11|),(|max),(jjjyxyxyxD 12221( , )() )njjjD x

8、 yxyxy 距离距离例（模式识别中的模式分类问题） 模式分类问题指的是根据已知类型属性的观测样本的模式向量s1 ,sm，判断未知类型属性的模式向量x归属于哪一类模式。其基本思想是根据x与模式样本向量si的相似度大小作出判断。 最简单的方法是用两向量之间的距离来表示相似度，距离越小，相似度越大。最典型的是Euclidean距离:2( , )() ()TD x yxyxyxy定义4 设设x(k)是是Cn中的向量序列，其中中的向量序列，其中 x(k)=(x1(k)，x2(k)，,xn(k)T,如果当如果当k时时，x(k)的每一个分量的每一个分量xi(k)都有极限都有极限xi(i=1,2,n),则称

9、向量序列则称向量序列x(k)是是收敛的收敛的，并，并且向量且向量x=(x1，x2，,xn)T称为称为x(k)的的极限极限，记为，记为xxkk)(lim注注 不同的向量范数可能具有不同的大小，但在各种范数下，不同的向量范数可能具有不同的大小，但在各种范数下，向量序列的收敛问题却表现出简洁性和一致性。向量序列的收敛问题却表现出简洁性和一致性。向量序列的极限向量序列的极限定理定理3：向量序列向量序列xk依坐标收敛于依坐标收敛于x*的充要条件是的充要条件是0 *limxxkk向量序列依范数收敛与依坐标收敛是等价的。向量序列依范数收敛与依坐标收敛是等价的。注：注：若赋范线性空间中任一收敛的向量序列的极限

10、仍属于若赋范线性空间中任一收敛的向量序列的极限仍属于此赋范线性空间，称此空间为此赋范线性空间，称此空间为完备的赋范线性空间或完备的赋范线性空间或Banach空间。空间。我们常根据不同的要求选择一种方便的范数来研究向量我们常根据不同的要求选择一种方便的范数来研究向量序列的收敛性问题。序列的收敛性问题。1. （广义）矩阵范数（广义）矩阵范数定义定义1（广义）矩阵范数（广义）矩阵范数 设设ACmn，定义一个实值函数，定义一个实值函数|A|，若满足：，若满足： (1) 非负性非负性：|A|0，且且|A|=0当且仅当当且仅当A=0；(2) 齐次性：齐次性：| A|=| | |A|， C；(3) 三角不等

11、式：三角不等式：|A+B|A|+|B|，A,B Cmn;则称则称|A|为为A的的广义矩阵范数。广义矩阵范数。2 矩阵范数矩阵范数 例例1 对于对于A=(aij) Cm n,2121112,111)()|(|max|AAtraAaAaAHminjijFijjimminjijm都是广义矩阵范数，都是广义矩阵范数， 称为称为Frobenius范数范数，简称为，简称为F-范数范数。FA AdAAd21 定理定理1（等价性定理）：（等价性定理）：| 与与| 是是Cm n,上的矩阵上的矩阵范数范数，则存在仅与则存在仅与| ，| 有关的正数有关的正数d1 ，d2 ， 使得使得 A Cm n ，即即| 与与|

12、 等价。等价。 2.相容矩阵范数相容矩阵范数 考虑到矩阵乘法运算的重要性，加入相容性条件。考虑到矩阵乘法运算的重要性，加入相容性条件。定义定义2 对任意两个对任意两个n阶矩阵阶矩阵A、B，有，有BAAB则称矩阵范数则称矩阵范数|是是相容范数相容范数。定义定义2包含了矩阵范数与向量范数的相容性定义：包含了矩阵范数与向量范数的相容性定义：例如矩阵的例如矩阵的F- -范数与向量的范数与向量的Euclid范数相容：范数相容： 即即 |Ax|2 |A|F |x|2例例1中的中的m1-范数范数，F-范数都是相容范数；范数都是相容范数；注意，注意，m 不具备不具备相容条件；相容条件；定理定理4：设设| 是是

13、Cm n上的相容矩阵上的相容矩阵范数，则在范数，则在Cn存在与之相存在与之相容的向量范数容的向量范数。 矩阵不仅仅是向量，它还可以看成变换或算子。矩阵不仅仅是向量，它还可以看成变换或算子。 实实际中，从算子或变换的角度来定义范数更加有用。际中，从算子或变换的角度来定义范数更加有用。下面对给定的向量范数，定义与之相容的矩阵范数下面对给定的向量范数，定义与之相容的矩阵范数3.3.算子范数算子范数,1maxxAAX 定义定义3：设设| 与与| 分别是分别是Cm与与Cn上的两个向量上的两个向量范数，范数，对对A Cm n ，令，令则则| , 是是Cm n上的矩阵范数，且和上的矩阵范数，且和| 与与|

14、相容，相容，即即|AX| |A| , |x| 称该矩阵范数为称该矩阵范数为Cm n上的上的算子范数算子范数或由向量范数或由向量范数| 与与| 诱导出的矩阵范数。诱导出的矩阵范数。定理定理5 Cn n的算子范数是相容矩阵范数；的算子范数是相容矩阵范数；定理定理6：设设n 阶方阵阶方阵A = (aij)n n，则，则（）与与 相容的矩阵范数相容的矩阵范数列和列和- -范数范数1x niijjaA11max（）与）与 相容的矩阵范数相容的矩阵范数谱范数谱范数2x)(maxAAAH 2（）与）与 相容的矩阵范数相容的矩阵范数行和范数行和范数x njijiaA1max即矩阵的1-范数，谱范数，-范数都是

15、由相应的向量范数导出的矩阵范数。注：矩阵的m1-范数，m-范数，F-范数不是算子范数(可由单位矩阵验证),但F-范数的优点是当A左乘或右乘酉矩阵后F-范数的值不变（酉不变性），所以F-范数也是常用的范数之一.注注2：谱谱范数虽然不便于计算，但它有很多好性质：范数虽然不便于计算，但它有很多好性质：)4()3()2() 1 (max1222222221222AAAAAAAAAAxyAHTHHyx对于m阶酉矩阵U和n阶酉矩阵V，有 |UAV|2=|A|2 （5）例例 S=x P2 | |x|p=1 在矩阵在矩阵作用下的效果分别为作用下的效果分别为1202A 注：注：矩阵范数和特征值有个很重要的关系矩

16、阵范数和特征值有个很重要的关系定理定理7 对任意的矩阵对任意的矩阵A Cn n，总有，总有 (A) |A|其中，其中， (A)是是A的谱半径。的谱半径。即即A的谱半径不会超过的谱半径不会超过A的任何一种范数。的任何一种范数。210023120A计算计算 ， ， 和和 。解解 1A2AAFA15A5A23FA例1500096069HA A215A因为因为所以所以补充：补充：Hilbert空间空间定义定义 完备的内积空间完备的内积空间V称为称为Hilbert空间，记作空间，记作H即内积空间即内积空间V按距离按距离( , )(,)x yxyxy xy 是完备的，亦是是完备的，亦是Banach空间。空

17、间。完备空间：一个度量空间中的任何完备空间：一个度量空间中的任何Cauchy列都收敛在该空间列都收敛在该空间内，称该空间是完备的；内，称该空间是完备的；直观上讲，一个空间完备就是指“没有孔”且“不缺皮”，两者都是某种“不缺点”。没有孔是指内部不缺点，不缺皮是指边界上不缺点。 设设xn是度量空间中的向量序列，如果对是度量空间中的向量序列，如果对于任意的于任意的0，存在自然数，存在自然数N，当，当m,nN时时，d(xm,xn)，称，称xn是一个是一个Cauchy列列。补充：补充：Hilbert空间空间Hilbert空间是有限维欧几里得空间向无穷维的推广；完备性空间是有限维欧几里得空间向无穷维的推广

18、；完备性使得使得微积分中的大部分概念都可以无障碍地推广到希尔伯特空微积分中的大部分概念都可以无障碍地推广到希尔伯特空间中。希尔伯特空间为基于任意间中。希尔伯特空间为基于任意正交系上正交系上的多项式表示的傅立的多项式表示的傅立叶级数和傅立叶变换提供了一种有效的表述方式。叶级数和傅立叶变换提供了一种有效的表述方式。 举例举例1( , )niiix yx y21( , )niixx xx例例1 在在n维（实或复数）向量空间维（实或复数）向量空间Rn中，中， 范数范数 按范数是完备的内积空间，即按范数是完备的内积空间，即Hilbert空间。空间。定义内积定义内积 2 , L a b2( ), ( )

19、, x ty tL a b( , )( )( )bax yx ty t dt122( )( )bax tx t dt2 , L a b在在中，中，定义内积定义内积 （满足三条公理）（满足三条公理），则，则按范数是完备的内积空间按范数是完备的内积空间Hilbert空间空间例例2范数范数L2a,b指的是平方可积函数的集合，按照函数的加法和数指的是平方可积函数的集合，按照函数的加法和数乘构成线性空间：其一组基最常用的是三角函数系乘构成线性空间：其一组基最常用的是三角函数系22121( ,),iiilx xx xxx为为复复数数21212( ,),(,)xx xyy yl 1( , )iiix yx

20、y1221()iixx例例3 在在定义内积定义内积 （满足三条公理）（满足三条公理） l 2是是Hilbert空间空间。称为平方可和空间称为平方可和空间范数范数 12 ,ne ee121span ,nniiiiMe eex xa eaK01( , )niiixx e e22201( , )niixx ex是内积空间是内积空间U中的标准正交基中的标准正交基 则对于则对于 x U ，x在在M上的投影上的投影并且并且 标准正交基的性质标准正交基的性质1.1.设设x通常称通常称 x0的长度的长度221|( , )|niix ex为为Bessel不等式不等式。 即即x在在M上的投影上的投影12 ,ne

21、ee，221( , )iix ex2.推广到无穷维：推广到无穷维：是是U中的标准正交基，则对中的标准正交基，则对 x U有有设设3.最佳逼近定理最佳逼近定理 设设 是是U中的中的标准正交基标准正交基， x U， 则对于任意则对于任意 一组数，一组数， 恒有恒有 （*）12 ,ne ee12( ,)na aa11( , )nniii iiixx e exae12 ,ne ee01( , )niiixx e e该定理说明：该定理说明：U中的任意元中的任意元x，当用，当用作有限维线性组合去逼近时，以作有限维线性组合去逼近时，以为最好逼近元，其中线性组合系数为最好逼近元，其中线性组合系数(x,ei )

22、可见在有限维线性子空间可见在有限维线性子空间M中求中求U中中x的最佳逼近元等同的最佳逼近元等同于求投影。于求投影。称为称为Fourier系数。系数。标准正交基的完全性及完备性标准正交基的完全性及完备性12 ,nLe ee，0 x ( , )0ix e (1,2,)i 是内积空间是内积空间U中的标准正交基中的标准正交基, , 当且仅当当且仅当时，时，则称则称L=ei是是完全的。完全的。1.定义定义 设设（1 1）若）若对于对于 x U221( , )iixx e此式称为巴塞弗（此式称为巴塞弗（Parseval）等式，也称为广义）等式，也称为广义“商高定理商高定理”（2 2）若对于若对于 x U，

23、都有，都有则称则称L=ei是是完备的。完备的。（2）性质）性质 定理定理 1 设设12 ,ne ee，是是 H 空间中的空间中的标准正交基标准正交基 ，则下列四个命题等价，则下列四个命题等价 12 ,ne ee，是完全是完全标准正交基标准正交基 设设12span ,nMe eeMH则则 对对xH, Parseval 公式公式221( , )iixx e成立（即在成立（即在 H 中中规范正交性的完全性与完备性等价，但在规范正交性的完全性与完备性等价，但在 U 中不成立）中不成立） 对于对于xH ，有，有1( , )iiixx e e 12 ,e e 12 ,e e nnee与定理定理2 H空间中

24、任意两个完全标准正交基空间中任意两个完全标准正交基和和具有相同的基具有相同的基之间存在一一对应的关系）。之间存在一一对应的关系）。（即（即定理定理3 无穷维无穷维H空间可分的空间可分的H中存在完全标准正交基。中存在完全标准正交基。注：注：H可分：在可分：在H中存在可数子集中存在可数子集D，使得，使得H中的每个元素都中的每个元素都是是D中元素序列的极限。中元素序列的极限。()( )( ),( ( ), ( )( , )xyxyxyx y 定理定理4 无穷维可分的无穷维可分的H空间必与空间必与l 2空间线性及内积同构。空间线性及内积同构。 即：存在即：存在H到到l 2的一一映射的一一映射 ，使其保

25、持线性运算及，使其保持线性运算及内积相等，即内积相等，即212:( ( , ),( ,),( ,),)nxHx ex ex el例如：可取例如：可取则则 是由是由H到到l 2的一一映射，并且的一一映射，并且H与与l 2线性及内积同构。线性及内积同构。12 ,ne ee12:( ( ,),( ,),( ,) )nnxHx ex ex eR特别的，特别的，当当H中的完全标准正交基为中的完全标准正交基为有限集有限集时，则时，则H与与R n同构，可取映射同构，可取映射 由此可知，欧氏空间由此可知，欧氏空间R n可看作有限维可看作有限维H空间的模型，平方可空间的模型，平方可和空间和空间l 2可以看作无限

26、维可以看作无限维H空间的模型。从而把对可分的空间的模型。从而把对可分的H空空间的研究转化为对间的研究转化为对Rn或或l 2的研究。的研究。例如：例如： 是可分的是可分的H空间，要研究空间，要研究 中的函数，只要中的函数，只要研究该函数的傅立叶系数就够了。研究该函数的傅立叶系数就够了。2, L 2, L 根据模式识别理论，低维空间线性不可分的模式通过根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线

27、性映射函数的形式和参数、特征空间维数存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在等问题，而最大的障碍则是在高维特征空间运算时存在的的“维数灾难维数灾难”。采用核函数技术可以有效地解决这样。采用核函数技术可以有效地解决这样问题。问题。SVM设设x,zX,X属于属于R（n）空间）空间,非线性函数非线性函数实现输入空间实现输入空间X到特征空间到特征空间F的映射的映射,其中其中F属于属于R（m）,nm。根据核函。根据核函数技术有：数技术有： K(x,z) = (1)其中：其中：为内积为内积,K(x,z)为核函数。从式为核函数。从式(1)可以看出，核可

28、以看出，核函数将函数将m维高维空间的内积运算转化为维高维空间的内积运算转化为n维低维输入空间维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计的核函数计算，从而巧妙地解决了在高维特征空间中计算的算的“维数灾难维数灾难”等问题，从而为在高维特征空间解决等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。复杂的分类或回归问题奠定了理论基础。如何定义如何定义K(x,z)？mercer定理：充要条件定理：充要条件K(x,z)是对称半正定矩阵是对称半正定矩阵由于由于n阶矩阵可以看成阶矩阵可以看成n n向量，所以矩阵序列的收敛问题可向量，所以矩阵序列的收敛问题可以和向量序列的收

29、敛问题一样考虑。以和向量序列的收敛问题一样考虑。3 矩阵序列与矩阵级数矩阵序列与矩阵级数 定义1 设矩阵序列A (k) ，其中 如果如果mn个数列个数列 都收敛，则称矩都收敛，则称矩阵序列阵序列 A (k) 收敛收敛。 进一步，如果进一步，如果那么我们称矩阵那么我们称矩阵 为为矩阵序列矩阵序列 的极限的极限。记为记为 1 21 2( ), ,;, ,kijaim jn ( )limkijijkaa ( )limkijkAAaA( )kA( )( )kkm nijAaC 例1mmemm1111lim010102)11 (sinlimkkkkkkk000e定理定理1 矩阵序列矩阵序列 收敛于收敛于

30、A的充分必要条件是的充分必要条件是其中其中 为任意一种矩阵范数。为任意一种矩阵范数。 ( )kA( )lim0kkAA( )kAA（1）一个收敛的矩阵序列的极限是唯一的。）一个收敛的矩阵序列的极限是唯一的。（2）设）设( )( )lim,limkkkkAABB矩阵序列的极限运算性质矩阵序列的极限运算性质（5）设）设 ，且，且 ，A均可逆，则均可逆，则 也收敛，且也收敛，且则则（3）设）设 其中其中则则（4）设）设 ，其中，其中则则 ( )( )lim,kkkaAbBaAbBa bC( )( ),km lkl nACBC( )( )limkkkABAB( )( )lim,limkkkkAABB(

31、 )limkkAA( ),km nm mn nACPCQC( )limkkPA QPAQ( )limkkAA( )kA( )1() kA( )11lim()kkAA定义 设,nnCA如果有0limkkA ，则称A为收敛矩阵。则 的充分必要条件为0limkkA定理6.3.2 设,nnCA 1A推论 设,nnCA如果存在 上的相容矩阵范数使nnC, 1A0limknA则有方阵的幂构成的序列例2 判断矩阵是否为收敛矩阵2 . 03 . 01 . 04 . 04 . 05 . 02 . 01 . 02 . 0A解：由 知A为收敛矩阵。18 . 01A注意： 是矩阵A为收敛矩阵的充分条件，不是必要条件。1A即：矩阵A的范数都大于1，该矩阵也有可能是