周国标师生交流讲席009

1、周国标师生交流讲席009各伐同学：本次讲席讨论向量和矩阵的范数问題这是一个比较重要但又不太容易接受和理解的概 念.由于课堂上的时间很有限，所以这里化一点时间来较详细地召开分析和研究.希望那些 想深究的同学能从中得到比课堂上更多的东西"如果你读下而的内容感到有困难，也不要着 急，因为就计算方法课程而言，最重要的是能够用已经给定的向董和矩阵范数，来分析 解线性代数方程组的直接方法得出的近似解的课差和间接方法（即第3章中研究的几个迭 代法）的收敛性，达到这样的要求，我想对大多数同学来说，应该没有多少难度。需要指出，向量和矩阵的范数的概念，不仅对计算方法课程是必须的，对其他数学 课程和分支也

2、很重要，比如最优化课程，多元函数的Taylor展开式，就可用向量范数的表 示形式。从研究生的数学课程安排上说，矩阵理论是介绍向量和矩阵的范数概念最合适 的课程，它也有相应的一章，不过出现得比较晚，赶不上其他课程的需要，而且教科书上的 介绍恐怕显得有些简明，一些同学仅看教科书常常不得要领.所以我想化点时间来作这个 讲席，对其它课程来说，会有一定的茨考价值.最后，我还是想再次建议，基础较好或要求较高的同学，不要仅象看小说那样读它一遍， 最好在读每个问题前，自己先试着动动手，做做看，实在有困难，再读下去.学数学这件事， 如果自己不动手只看别人的，那不会对你有多少益处，那是别人的东西，而不属于你.养成

3、 了如此坏习惯，你的知识必定是薄薄的一层，你恐怕只是一个“知道分子”而已，做真正的 研究生不能这样学数学.是不是这样？周国标2007. 10. 22向量和矩阵的范数的若干难点导引（一）一. 为什么要引进向量和矩阵的范数范数不单单是计算方法这一门课程的需耍,范数是近代数学的一个重耍而又基本的 概念。我们这里仅就计算方法涉及到的两个主耍方而，來看引入范数的必耍性。先來看如果分析和判断一个向起序列*的羸或矩阵序列人羸的收敛问题。我们 在微积分中学习过判断一个实数序列无二。收敛数疋的问题，学了几种判别法。从儿何 上看，是由母到Xs*的“距离”大小的变化趋势来判断的，即看是否成立lim|xx.-.v*|

4、=0这里用数（丑-x1*）的绝对值的人小极限來描述“距离”人小的变化趙势。现在考世向磺 序列的收敛性，苴观上也町以用向彊x到向最厂的“距离”人小的变化趋势來判断，但 这里的距离、然不能简单地套用数的绝对值，因为对向彊，乃至矩阵，没仃绝对值的槪念, 也无法计算它们的绝对值。那么，怎么样來衡吊向駅和矩阵的“人小呢？这就提出了一种需耍。再看用了i拔方求解线性代数方程组Ar = b的i灵星分析。我们知道.数值计算屮的fL 接法是指通过白限次的四则运算和逻辑运算，授后能够得到问题耕确解的数值方法。就求解 Ax = b问题而言，直接法的源头方法是Gauss消元法,它的实质是将系数矩阵三角化,即 A =厶，

5、然后由卜三角方程Ly = b,再通过上三角方程x=y得到原问题的解x。这个 计算过程的基本运算次数是问题规模的曲数0（，），次数是有限的。理论上,如果系数矩阵A和右端向量b都是准确无误的,而且如果整个计算过程中都 没冇误差，那么在冇限次运算后得到的解确实是原问题的精确解。但是，实际上上述两个''如 果”都不存在。从一个实际问题归纳提炼为一个数学问题，直至个数值计算问题厉，系数 矩阵A和右端向杲6的所冇分帚是通过计算、测杲或昔估计等方式等得到的，不可避免地 帯仃不川预知的误差。所以真正参加运算的系数矩阵和右端项是A + 54,与b + 叫,其中 5人与5切分别为系数矩阵和右端项的

6、误差，这样的误普属测最误差，虽然不是数值计算 所能控制，但必须耍考虑这些谋差的客观存在。另一方面，将系数矩阵三角化的过程屮，需 要在计算机上做大fit的四则运算，这个过程同样在不断地“制造”这 灿犹屈J角入W它们更是难以控制我们倔 WII经作J'阐述'舍入角方用S = b和 上三角方程Ux=y的计算过程中都在产生。在数值代数研究的早期，试图从系数矩阵人和 右端向凤b的谋差來计算（估算）厶和的误差，再分别计算（估算）y乃至x的i吴差， 比如设©出冇多少误差，推导出x的以分届会冇多大的影响。这种谋差分析称为向前分析. 表而看似乎挺仃道理，但实际上由J：过程太长、交叉影响太

7、复杂而难以实施，而且，最人的 问题在J：不能看出系数矩阵力整体结构对J：最后解的影响。所以，从50年代后期开始，对 求解Av = b的谋差分析不走这条路线，而采用J. Wilkinson提出的向后分析的思路，fl接 从人和b的相对误差8A/A和3b/b来估计解x的相対误差Sx/x.比如,当系数矩阵A精确，而b有误差励时,设由此产生的解的误差为&,那么有 4（x+5x） = b+5x,也就是ASx = 6b.即6x = Alb o因为并不知道（求4一】比 求方程组的解更闲难），所以这样的结果并不能从整体上给岀解x的相对误差6x/x的信息。 在系数矩阵A有误差，b直课差时，也灯类似的情况与

8、耍求。如果能够从整体上给出系数矩阵A和右端向杲b的相对误差的“大小”，就有可能从 这些关系屮估计出解x的相对谋差必/x的信息。解决这一问题的工其就是向磺和矩阵的范 数，也就是定出一个向鼠和矩阵的“大小”來。这就引出了从向IR长度概念推广出的范数（norm）概念。范数是比长度更广泛更一般的 概念。定义1设V是数域K（R/C）上的线性空间，对J-V +的任一尤素（向龟）xgV,如 果右一个唯一的实凶数N（x）与Z对应，记为|x|,它满足卜列3个条件：（1）非负性：|x|no；（"）正定性：当且仅当x=o时，yv（x）=|X|=0；（2）齐次性：|a.x|冃a|x|, ae K.xeV :

9、（3）三角不等式：|x+y|$|x| + |y|, Vx,yeV则称实函数N（x）=|x|为线性空间V上的范数。若上述条件屮，（1R正定性不满足，而其他条件都满足，则称|x|为V上的半范数。 在线性空间V上规定了范数|，则称V为赋范线性空间，记为X。山定义知，向屉范数不是唯一的，在线性空f»JV ±可得到不同的賦范线性空间，只要 规定不同的范数。能满足上述3个条件的换数都是一个向眾范数。比如在内积空间匕可仃内 积导出一种向量范数，即1II 11= （x,x） = J（x,x）可以证明，这样定义的范数满足匕述3条件，此范数称为欧儿里得范数，也就是卜面要讲的 人-范数。向駁X

10、=(£,兀，,X”)7"的3二. 几个常用向量范数向量范数是向量长度概念的推广。根据定义1,在C”中,Ik 111= El1 ；1-11I齐卄: i=l )|x|x = inax|r|al<t<n个常用范数定义为厶一范数(1-范数)：/厂范数(2-范数)：范数(8-范数):例11计算向昴x = (l,-2,3广的上述3种范数。解：容易计算出：11x116. |x|x=3, |x|产価三3.74166°可见不同范数意义下 的值是不同的。我们还可以定义更般的仃-范数：|列产(辛兀P>1注意，上述记号屮|兀|指复分駁兀的模，当然在实数情况卜就是绝对值了

11、。对这些 定义的向磺范数，首先耍疔定它们满足向届范数的3个条件，否则定义出來的范数就不介法。 实际上，非负性和齐次性都容易验证，关键是范数定义的第3条三角不等式。我们卜面来一 一验证z,从而肓定它们确是向量范数。记 X =,X”)丁 y = (X,儿,，儿 r。A -范数的三角不等式验证不难：ll+y IL= El + xlE(lx/l+bd)=Ekil+Elx-ldllli +blL i=lr=li=lt=l范数的三角不等式验证也较简单，请同学们自己动手。/厂范数的三角不等式验证盂要用到内积的性质和Cauchy不等式作为证明的工具:111"刃1产(I召十刃F+十此十儿I于由c”中向

12、量内积的性质II x + y |； =(X + y, x + y) = (x, x) + (x,y)+(y, x)+(y, y)(x, x)+(,v, y) + (x, y)+ (y, y) =|x|; +2 Re(x,刃 + |y |；这里Re(x,y)表示复数(x,刃的实部(一个复数是由贰实部和虚部构成的)，显然有Re(x, y) <| (x, y) |S J(x,x)(y,刃=| x|J| y |2,所以，我们可从上式得到|x+y|；弘 11：+2|咖|川+|川=(|巩+1呦$则由范数的非负性，即得llx+ylimm + llylL这就是我们想要证明的三角不等式。这样我们就町以确定

13、，前面圧义的确是向磺范数。实际上，我们还町运用比Cauchy不等式更 般的Holder 等式，來验证/厂范数的三 角不等式。关J Holder不等式，可见垠优化理论基础练习题007»中的介绍(也在本网站上,有兴趣的同学可仔细研读）:1 1川nVf f,V11£|哦卜Elr ， -+-=l,p>l,q>li»i v /«i/ i«i / p q由/p-范数定义，对于X=(X,X2,，X”)7*,，= ()小，,儿)丁，有II x+y llp= XI 兀 + x r= XI 兀 + x II 兀+x- K-11=1 1=1S工（|兀|

14、+ $|）|兀+川曰=工|兀|兀+必厂1+刃：|兀+汀1-1 1-1 |«1到这里要用HOldei不等式了，注意丄=1-丄=£二1,彳=_£_，那么上式接卜去便是 q p p p_i勺兀+山1士»=1±y.pb+J=1 1 1=仞列卜仗"卄仗iwiT:"7就仃 /! ) /! / /! )到这里，证明就变得明朗化了，两边同除以£|兀+必|） /=!7 1=1 / 1=16#这便是/广范数的三角不等式。仃-范数是前3个范数的一般表示，取 =1,2,就是1-范数 和2-范数，如果取pis,就是/x-范数，这盂要证明，即

15、1U11P-HC（辛I兀叮j啊兀1=11 X也#爭实上闵勺兀卄=t i«l丿I«1其屮I心I是在诸分G的模中取最人者。因为M<±x<n±M1=1 1=1iJyKLl冷九$丿但用微积分屮的L hospital法则，可知 11111 7/ =1,在匕式的两边取"T8的极限 PT8则由著名的“两面夹定理”，得lim Y-这样,立即有I兀兀。171=lulli I兀。(nT WI <!/=1lim这正是我们要得到的结果。xip T 兀巴x| 兀 HIIL这样看來，向届范数可以用仃-范数全部包括了。其实不然，在一些场介（比如最优化 理论

16、），我们还石耍另种与仃范数形式不同的范数，它称为加权范数或椭圓范数，设Ag RnK,t为对称正定矩阵,XWR”,则1是一种向屋范数，记为xA<l关r椭惻范数的三角不等式的证明，我们在课堂上讲解了，这里略去。值得注意的是, 在证明过程屮，用了L-范数作桥梁，这种技巧请仔细捉摸。还耍指出，上面介绍的是冇限维空间的范数，但实际上，无限维的线性空间，也同样可 用类似的思想來尢义范数。比如在区间“，刃上定义的所仃实连续函数的集合，它关J：通常 的函数加法及实数与两数的乘法而言是时闭的（即这样运算后得到的函数仍在这个集合中）, 所以规定了这两种运算后的函数集介（我们称赋此集合一个代数结构），构成了一

17、个线性 空间，这个空间记为Ca,b。我们再用向晟范数的3个条件（非负性，齐次性与三角不等式）赋J：这个空间，对J： Ca.b屮的任一个元索（或者称为空间屮的任一个向最一要注意，这里的向磺与Cn中的 向量已不同了！）/（x）,定义1-范数为II f（x） |产 fl f（x） I dx丄p范数为n/wiip=（fj/wr d“"，8-范数为| /（x） |K= max | /（x） |a<x<h这样，我们就为线性空间CG,b赋J：了范数结构，这样的空间称为赋范空间，它是无 穷维的。（前面所讨论的C"中定义了范数后当然也称为赋范空间，它们是有限维的也可 以验证上而定

18、义的范数都满足范数的3个条件，这个丁作，留给同学们。在木课程的第6, 7章研究隨数逼近问题时，这些范数将起到关键性的作用。还可以定义其他范数。可以通过习题來体会和认识。三. 向量范数的等价性我们看到，即便対同i个向危，用不同的向届范数会冇不同的数值。那么在我们应用范 数解决实际问题时，比如讨论向量序列的收敛性时,倒底采川哪一个范数呢？或者说，如果 用了一种范数卜也得到了向屉序列收敛的结论，在另一种范数卜粘卜还能不能保证收 敛？这当然是i个极人的原则问题。如果在两个不同的范数卜，得出的结论相互矛盾，那 么.范数作为匸只的价值就失去了意义。这就提出了向杲范数等价性的概念。它是范数堆咆 耍的性质。什

19、么叫等价性？数学上，等价性是表征两个数学対象之间关系的币:耍性质，称人与B等 价.需耍满足卜列3个条件：（这里暂用记号表示等价）（1）反身性：自己与自己必等价，即A： A；（2）对称性：我与你等价，必定你与我等价，即如则必有BLJ A：（3）传递性：我与你等价，你与他等价，则必有我与他也等价，即，（OlADB, BUC, 则必AQ Co在数学里，H旳等价关系的対彖还不少。比如两矩阵的相抵，合同，相似，正交等，都 满足等价关系，请人家证明这些结论。由此可见，弄淸等价关系的意义真不小。现在我们转到向磺范数等价性问题上。先给出向/范数等价性的定义。定义3.1设在线性空间V上定义了两种不同的向员范数卜

20、也和卜II"廿存在两个与 向»ixeV无关的常数q,C2>0,使得cx|詞|皿企|町（3.1）则称向砒范数|卜|L和|b足在线性空间V上等价的范数。根据这个定义，不难验证向最范数满足等价性的3个条件。反身性是显然的，对称性则 可由（3.1）直接推出丄血如Id丄|心5q而得到验证。传递性也不难验证，留给人家做练习吧。为了耍证明向届范数的等价性，首先需耍证明向彊范数满足连续性。这是不难的。因为 可以推出,对fx.yeV ,有关系hll-l|ylMlx-y|注意，上式左边外层的两个“I”号表示绝对值。这样，当x->y时，必定|x|Hlylb 这就证实了函数|x|的连续性。如果再仔细一点，可以证明定理3. 1设|i|为有限维线性空间V上的任一向量范数，XGV ,则|x|是 x =（兀，兀y的各分量的连续函数。这个定理我们在课堂上己证明了，它与前述的函数整体连续性的不同在J：指出J'函数 II x|依赖个分就。在此基础上，我们來研究向量范数的等价性。定埋3. 2 ©欧氏空间/T上的任