第六章范数与极限

第6章范数与极限（normandlimit）理解向量范数、矩阵范数的概念;掌握几种常用的范数；理解范数等价的定义，了解矩阵的谱半径及其性质。了解矩阵序列与极限的概念。了解矩阵的幂级数并掌握敛散性的基本判别方法。

对于n维线性空间，定义了内积以后，向量就有了长度（大小）、角度、距离等度量概念，这显然是3维现实空间中相应概念的推广。利用公理化的方法，可以进一步把向量长度的概念推广到范数。§1向量范数

定义1：设V是数域P上的线性空间，

V，

表示以

为自变量的的非负实值函数，如果它具有下列性质：（3）三角不等式：即对任意两个向量

，

V，恒有

(1)

非负性：当

0,

>0，当

=0时，

=0(2)

齐次性：即对任何实数k

P，

V，则称

为向量

的范数，并称定义了范数的空间为赋范线性空间Cn中几个常用范数：（1）1-范数（2）2-范数（3）

-范数

设x=(x1,x2,…,xn)T

Cn,则在Cn上定义范数

关于p-范数定理1

Holder不等式定理3对任意向量x，由（*）式定义的||x||p是向量范数，且有1-范数,2-范数,

-范数都是p-范数的特殊情形；定理2Minkowski不等式（*）几何意义:对任意,对应于四种范数1,2,,p的闭单位圆

||x||=1的图形分别为注：内积空间定义的向量长度等于这里的2-范数，称为由内积导出的范数，但范数不一定都是由内积导出的。由已知的范数构造新范数：定理4

设||·||

是Cm上的向量范数，A

Cm

n且rank(A)=n,则由

||x||

=||Ax||，x

Cn所定义的非负函数||·||

是Cn上的向量范数。构造新范数定理5：有限维线性空间V上的任意两个向量范数等价。称范数||x||

，||x||

等价。定义2：在n维线性空间V上定义两个向量范数||x||

，||x||

，若存在两个正常数M

与m(M>m)使得对一切x

V，注

这个结论对无限维未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。等价范数对常用范数，容易验证下列不等式：

例1

计算C4的向量x=(3i,0,-4i,-12)T的1,2,

范数。解：||x||1=|3i|+|-4i|+|-12|=19||x||2=(xHx)1/2=[(3i)(-3i)+(-4i)(4i)+(-12)2]1/2=13||x||

=max(|3i|,|0|,|-4i|,|-12|)=12注：在同一线性空间中,不同定义的范数大小可能不同对任意

，

V，定义

与

之间的距离为

d(

，

)=||-

||称为由范数||·||决定的距离。常用距离测度包括:欧氏距离Manhattan(曼哈顿)距离

Chebyshev(切比雪夫)距离距离例（模式识别中的模式分类问题）

模式分类问题指的是根据已知类型属性的观测样本的模式向量s1,…sm，判断未知类型属性的模式向量x归属于哪一类模式。其基本思想是根据x与模式样本向量si的相似度大小作出判断。最简单的方法是用两向量之间的距离来表示相似度，距离越小，相似度越大。最典型的是Euclidean距离:定义4

设{x(k)}是Cn中的向量序列，其中

x(k)=(x1(k)，x2(k)，…,xn(k))T,如果当k

时，x(k)的每一个分量xi(k)都有极限xi(i=1,2,…,n),则称向量序列{x(k)}是收敛的，并且向量x=(x1，x2，…,xn)T称为{x(k)}的极限，记为注

不同的向量范数可能具有不同的大小，但在各种范数下，向量序列的收敛问题却表现出简洁性和一致性。向量序列的极限定理3：向量序列{xk}依坐标收敛于x*的充要条件是向量序列依范数收敛与依坐标收敛是等价的。注：若赋范线性空间中任一收敛的向量序列的极限仍属于此赋范线性空间，称此空间为完备的赋范线性空间或Banach空间。我们常根据不同的要求选择一种方便的范数来研究向量序列的收敛性问题。1.（广义）矩阵范数定义1（广义）矩阵范数设A∈Cm×n，定义一个实值函数||A||，若满足：

(1)非负性：||A||≥0，且||A||=0当且仅当A=0；(2)齐次性：||aA||=|a|||A||，a∈C；(3)三角不等式：||A+B||≤||A||+||B||，A,B∈Cm×n;则称||A||为A的广义矩阵范数。§2矩阵范数

例1

对于A=(aij)

Cm

n,都是广义矩阵范数，称为Frobenius范数，简称为F-范数。定理1（等价性定理）：||·||

与||·||

是Cm

n,上的矩阵范数，则存在仅与||·||

，||·||

有关的正数d1

，d2

，使得

A

Cm

n

，即||·||

与||·||

等价。

2.相容矩阵范数考虑到矩阵乘法运算的重要性，加入相容性条件。定义2

对任意两个n阶矩阵A、B，有则称矩阵范数||·||是相容范数。定义2包含了矩阵范数与向量范数的相容性定义：例如矩阵的F-范数与向量的Euclid范数相容：即||Ax||2

||A||F

||x||2例1中的m1-范数，F-范数都是相容范数；注意，m

不具备相容条件；定理4：设||·||

是Cm

n上的相容矩阵范数，则在Cn存在与之相容的向量范数。矩阵不仅仅是向量，它还可以看成变换或算子。实际中，从算子或变换的角度来定义范数更加有用。下面对给定的向量范数，定义与之相容的矩阵范数3.算子范数定义3：设||·||

与||·||

分别是Cm与Cn上的两个向量范数，对A

Cm

n

，令则||·||

,是Cm

n上的矩阵范数，且和||·||

与||·||

相容，即||AX||

||A||

,

||x||

称该矩阵范数为Cm

n上的算子范数或由向量范数||·||

与||·||

诱导出的矩阵范数。定理5

Cn

n的算子范数是相容矩阵范数；定理6：设n阶方阵A=(aij)n

n，则（Ⅰ）与相容的矩阵范数列和-范数（Ⅱ）与相容的矩阵范数谱范数（Ⅲ）与相容的矩阵范数行和范数即矩阵的1-范数，谱范数，

-范数都是由相应的向量范数导出的矩阵范数。注：矩阵的m1-范数，m

-范数，F-范数不是算子范数(可由单位矩阵验证),但F-范数的优点是当A左乘或右乘酉矩阵后F-范数的值不变（酉不变性），所以F-范数也是常用的范数之一.注2：谱范数虽然不便于计算，但它有很多好性质：对于m阶酉矩阵U和n阶酉矩阵V，有

||UAV||2=||A||2

（5）例

S={x

P2|||x||p=1}在矩阵作用下的效果分别为注：矩阵范数和特征值有个很重要的关系定理7

对任意的矩阵A

Cn

n，总有

(A)||A||其中，

(A)是A的谱半径。即A的谱半径不会超过A的任何一种范数。计算，，和。解

例1因为所以补充：Hilbert空间定义

完备的内积空间V称为Hilbert空间，记作H即内积空间V按距离是完备的，亦是Banach空间。完备空间：一个度量空间中的任何Cauchy列都收敛在该空间内，称该空间是完备的；直观上讲，一个空间完备就是指“没有孔”且“不缺皮”，两者都是某种“不缺点”。没有孔是指内部不缺点，不缺皮是指边界上不缺点。

设{xn}是度量空间中的向量序列，如果对于任意的ε>0，存在自然数N，当m,n>N时，d(xm,xn)<ε，称{xn}是一个Cauchy列。补充：Hilbert空间Hilbert空间是有限维欧几里得空间向无穷维的推广；完备性使得微积分中的大部分概念都可以无障碍地推广到希尔伯特空间中。希尔伯特空间为基于任意正交系上的多项式表示的傅立叶级数和傅立叶变换提供了一种有效的表述方式。举例例1

在n维（实或复数）向量空间Rn中，

范数

按范数是完备的内积空间，即Hilbert空间。定义内积在中，定义内积

（满足三条公理），则按范数是完备的内积空间——Hilbert空间例2范数L2[a,b]指的是平方可积函数的集合，按照函数的加法和数乘构成线性空间：其一组基最常用的是三角函数系例3在定义内积

（满足三条公理）l2是Hilbert空间。称为平方可和空间范数

是内积空间U中的标准正交基

则对于

x

U，x在M上的投影并且

标准正交基的性质1.设通常称

x0的长度为Bessel不等式。即x在M上的投影2.推广到无穷维：是U中的标准正交基，则对

x

U有设3.最佳逼近定理设是U中的标准正交基，x

U，则对于任意一组数，恒有

（***）该定理说明：U中