第二章内积空间

1、第二章第二章 内积空间内积空间 当向量元素在复数域内取值时，欧氏空间当向量元素在复数域内取值时，欧氏空间就被推广到了就被推广到了。许多欧氏空间中的定义。许多欧氏空间中的定义和性质几乎可以和性质几乎可以“平滑地平滑地”推广到酉空间。欧推广到酉空间。欧氏空间和酉空间统称为氏空间和酉空间统称为。 线性空间中向量的运算仅是线性空间中向量的运算仅是线性运算线性运算。一。一般而言，我们知道，现实世界是般而言，我们知道，现实世界是3维欧氏空间。维欧氏空间。对于对于 维线性空间，定义了维线性空间，定义了以后，向量不以后，向量不仅有了仅有了长度长度（模），还有了两向量之间的（模），还有了两向量之间的夹角夹角等等

2、。特别是有了。特别是有了概念后，我们可概念后，我们可以得到以得到标准正交基标准正交基、勾股定理勾股定理、正交投影正交投影等许等许多优美的结果。多优美的结果。n1、欧氏空间的基本概念、欧氏空间的基本概念向量空间中向量的长度与夹角是用内积向量空间中向量的长度与夹角是用内积定义的，因此要在线性空间中引入相关定义的，因此要在线性空间中引入相关概念，自然要概念，自然要对内积的概念进行推广对内积的概念进行推广。由于向量的内积与向量的线性运算无关，由于向量的内积与向量的线性运算无关，所以欧氏空间实际上是所以欧氏空间实际上是特殊的线性空间特殊的线性空间，即定义了内积的线性空间。即定义了内积的线性空间。一、内积

3、空间一、内积空间(Inner Product Space)在在线性代数线性代数中，我们将中，我们将 中的内积推广到中的内积推广到 ：nRnR11( , ),TTnnnx yx yx yx yy xx yR3R并在此基础上定义了并在此基础上定义了 中的向量长度、夹角等概念。中的向量长度、夹角等概念。当然可以将这种定义推广到任意线性空间，但由于这当然可以将这种定义推广到任意线性空间，但由于这种定义与向量空间的基有关，我们目前不打算这样做。种定义与向量空间的基有关，我们目前不打算这样做。取而代之的是，注意到取而代之的是，注意到内积是从两个向量得到的一个内积是从两个向量得到的一个数数，我们自然希望确定

4、这种运算的性质，进而给出线，我们自然希望确定这种运算的性质，进而给出线性空间中内积的性空间中内积的公理化定义公理化定义。(1)( , )( , );x yy x 对对称称性性：(2)(, )( , )( , );(+ )( , )( , );xy zx zy zxy zx yx z性性性性：，双双线线(, )( , ) ,;( ,)( , ) ,;kx yk x ykRx kyk x ykR(3)( , )0;x x 正正性性：(4)( , )=0.x xx 定定性性：注意到注意到 中的内积显然具有如下性质：中的内积显然具有如下性质：nR(2)(, )( , )( , );(+ )( , )(

5、 , );xy zx zy zxy zx yx z性性性性：，双双线线(, )( , ) ,;( ,)( , ) ,;kx yk x ykRx kyk x ykR(1) ( ,)( ,); (2) (,)( ,);()R (3)(, )( , )( , ); (4) ，当且仅当，当且仅当 时，等号成立。时，等号成立。 ( ,)0 V、 、 是实数域是实数域 上的线性空间。如果对上的线性空间。如果对 中任意中任意两个向量两个向量 都存在所谓都存在所谓 与与 的的 ，满足下面，满足下面四个条件四个条件。称定义了内积的线。称定义了内积的线性空间性空间 为为，简称，简称。VVRVV 、 ()R , ,

6、据此，我们可以给出线性空间中内积的据此，我们可以给出线性空间中内积的公理化定义公理化定义。( ,)TT 例例2 2 定义了定义了的的 是欧氏空间。这里，是欧氏空间。这里，对任意两个向量对任意两个向量 及及 ， 标准内积为标准内积为nR12(,)Tnna aaR 12(,)Tnnb bbR 1 122.nna ba ba b( ,)TT 2121|(,) ,TniiHa aaa 1 122nna ba ba b例例3 3 定义了定义了的集合的集合 称为称为，这里，这里 是所有是所有平方和收敛平方和收敛的的实数列实数列的集合，即的集合，即HH将向量推广到无限维，可得到：将向量推广到无限维，可得到：

7、 , (, ),Tn nx yAx yy AxAR 例例 4 4 在向量空间在向量空间 中，对任意中，对任意 和和实对称矩阵实对称矩阵 ，定义，定义nRAnxyR 、则则 是是 的一个内积。的一个内积。 , x ynR特别地，特别地， 时时 就是二就是二次型次型 ；当；当 时就是前面的标准内积。时就是前面的标准内积。 , Tx xx Ax xy AI 注意到标准内积是特殊的二次型注意到标准内积是特殊的二次型 ，因此有如下推广：，因此有如下推广：由于由于函数也可以看成向量函数也可以看成向量，所以内积也可以推广到函，所以内积也可以推广到函数。先考虑折线函数：数。先考虑折线函数：12|(,) TnF

8、fffff显然其内积可定义为显然其内积可定义为1122(, )nniif gf gf gf gf g 如果将一般函数看成具有无穷段折线段的向量如果将一般函数看成具有无穷段折线段的向量，此时，此时上面的内积定义又会变成什么形式呢？上面的内积定义又会变成什么形式呢？无限求和即积分！无限求和即积分！, , ( , )( ) ( )baf gf x g x dxfgC a b、 证明：证明：例例 5 5 线性空间线性空间 按下列内积构成欧氏空间：按下列内积构成欧氏空间： , C a b则由函数的连续性，存在邻域则由函数的连续性，存在邻域( )0,( , ).f cca b当当 时，若有时，若有 2(

9、,)( )0baf ffx dx ，使其内任意点的函数值满足，使其内任意点的函数值满足 ， 从而从而2( )0fx ( , )N c 22( ,)( )( )0bcacf ffx dxfx dx 矛盾。其他性质显然可证。矛盾。其他性质显然可证。11( ,)mni ji jija bA B 则则 是定义了内积是定义了内积 的内积空间。的内积空间。( ,)A BmnR 例例6 6 在矩阵空间在矩阵空间 中，对任意中，对任意定义定义mnR m nABR 、类似地，类似地，将矩阵看成由行向量依次连接而成将矩阵看成由行向量依次连接而成的一个超级向量的一个超级向量，即可得如下，即可得如下内积定义内积定义：

10、()()TTtr B Atr A B (7) ( , )( ,). 根据前面的分析，欧氏空间中内积还具有下列性质。根据前面的分析，欧氏空间中内积还具有下列性质。(5) (+ )( , )( , );xy zx yx z，(6) ( ,)( , ) ,;x kyk x ykR222123123( , ),(,)Txxxxx xxxxx注意到注意到3维空间中，维空间中， 欧氏空间欧氏空间 中的向量中的向量 的的为为V ,.() 特别地，称特别地，称 的向量的向量 称为称为。 1 任意非零向量任意非零向量 ，经过，经过或或后可得到单位后可得到单位向量向量. 二、欧氏空间的度量二、欧氏空间的度量我们知

11、道，平面几何中成立余弦定理，那么我们知道，平面几何中成立余弦定理，那么n维空维空间中余弦定理是否仍然成立呢？间中余弦定理是否仍然成立呢？注意到注意到 (,)( ,)( ,) (,)( , )( , ) 2 ( , )( , ) ( , )( , )( , ) 2( ,)( ,) ( ,). 证明证明：对任意对任意 ，显然，显然R 0(,) 2( ,)2( ,)( ,) 当当 时，取时，取 即即两向量线性相关两向量线性相关时等式时等式 成立。成立。0 （柯西柯西-施瓦茨不等式施瓦茨不等式）如果如果 是是数域数域 上上的的，则对，则对 中的任意向量中的任意向量 ，有，有VRV 、V24 ( ,)4

12、( ,) ()0, 这个一元二次不等式对任意这个一元二次不等式对任意 恒成立，因此恒成立，因此 类似于高等数学，根据柯西类似于高等数学，根据柯西-施瓦茨不等式，我们称施瓦茨不等式，我们称( ,0, )acos0c,r 、为欧氏空间为欧氏空间 中向量中向量 与与 的的。 V特别地，当特别地，当 时，称时，称 与与 或或垂垂直直，记为，记为 。( ,)0 因此因此2(,) ( , )( ,)2( ,) 222cos( ,) 余弦定理成立！余弦定理成立！如果如果 是是数域数域 上的上的，则对，则对 中中的任意向量的任意向量 ，具有下列三条性质（，具有下列三条性质（非负性、非负性、正齐性和三角不等式正

13、齐性和三角不等式）：）：VRV 、V另外，欧氏空间中的另外，欧氏空间中的范数显然具有下列性质范数显然具有下列性质。|(2) |;()R 3| | |（ ）。(1) ，当且仅当，当且仅当 时，等号成立。时，等号成立。 |0 如果如果 是是数域数域 上的上的，则对，则对 中中的任意向量的任意向量 ，有：，有：VRV 、V范数还具有下列范数还具有下列平行四边形法则平行四边形法则、极化恒等式极化恒等式和和勾股勾股定理定理。| | | | | | | | | | | | | | | | | | | | | | | | | | |2222(1)2() ;+ + +- -= =+ +221(2)( ,)(

14、| );4 | | | | | | | | | | | | | | | | |222.+=+=+（3）特别地，当）特别地，当 与与 正交时，有正交时，有最后我们给出欧氏空间最后我们给出欧氏空间 的内积的坐标表示形式。的内积的坐标表示形式。V1212(,) ,(,) .TTnnxxxxyyyy设设 为为 的任意一组基，向量的任意一组基，向量 在在此基下的坐标分别为此基下的坐标分别为则内积则内积12,n , 11(,)nnijiijjx y 由由内内积积的的双双线线性性性性V最后我们给出欧氏空间最后我们给出欧氏空间 的的内积的坐标表示形式内积的坐标表示形式。VTyxG 11( ,)(,)nniij

15、jijxy 欧氏空间欧氏空间 的一个向量组的一个向量组 的的或或指的是矩阵指的是矩阵12,s V11121212221212(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)sssssssG 可以证明可以证明Gram矩阵矩阵 是对称正定矩阵。是对称正定矩阵。G113(, )( ),(f gf t g t dtfgP t 、例例 12 12 欧氏空间欧氏空间 的内积为：的内积为：3 P t（2）用矩阵方法计算用矩阵方法计算下列函数的内积：下列函数的内积：22( )1,( )145 .f tttg ttt 21, , t t（1）求）求自然基自然基 的度量矩阵的度量矩阵 。G111111

16、(1)(,)(11 1,1)2,gdt 解解：112121(,)(1, )0,1gtdtt 1213131223(,)(1,)1,tgtdt 12222123(,)( , ),gt tdtt t 12232321(,)( ,)0,gt tdt tt 122333312225(,)(,).gttdttt 232322532000.0G 度量矩阵度量矩阵 是对称矩阵，所以所求为是对称矩阵，所以所求为G(1, 1,1) ,(1, 4, 5) .TTxy（2） 和和 在自然基下的坐标分别是在自然基下的坐标分别是( )f t( )g t( , )0.Tf gx Gy所以所求内积为所以所求内积为U U拓扑

17、空间拓扑空间线性空间线性空间U UHausdorff空间空间U U赋范空间赋范空间 距离空间距离空间(度量空间度量空间)U U拓扑线性空间拓扑线性空间U U完备距离完备距离线性空间线性空间距离线性空间距离线性空间 内积空间内积空间U UHilbert空间空间 Banach空间空间 U UU U欧氏空间欧氏空间 和和nRnCU U2、标准正交基、标准正交基正交性的重要性无论怎么强调都不过分正交性的重要性无论怎么强调都不过分，尤其在尤其在数值线性代数数值线性代数和和微分方程数值解微分方程数值解中，许多重要的算法都与正交性有密切中，许多重要的算法都与正交性有密切联系。而这两门学科是在工程科学中有联系

18、。而这两门学科是在工程科学中有着最广泛应用的数学分支之一。着最广泛应用的数学分支之一。在欧氏空间内引入标准正交基后，在欧氏空间内引入标准正交基后，欧氏欧氏空间空间内向量的内积运算就内向量的内积运算就转化转化成了我们成了我们熟悉的熟悉的向量空间向量空间内向量的内积运算。内向量的内积运算。( , )( , )( , )1 0 0( , ) ( , ) ( , )0 1 0( , ) ( , ) ( , )0 0 1i ii ji kGj ij jj kIk ik jk k轾轾轾轾犏犏犏犏=犏犏犏犏犏犏犏犏臌臌臌臌说明此时内积是标准内积，因此用坐标计算内积的公说明此时内积是标准内积，因此用坐标计算内

19、积的公式有最简单的形式。式有最简单的形式。我们当然希望在欧氏空间中通过适当选取基，使得我们当然希望在欧氏空间中通过适当选取基，使得欧氏空间的度量矩阵也是单位矩阵（或者尽可能简欧氏空间的度量矩阵也是单位矩阵（或者尽可能简单些）。单些）。一、标准正交基一、标准正交基(Orthonormal Basis)在在 中，选取自然基中，选取自然基 ，则度量矩阵，则度量矩阵3R, ,i j k 欧氏空间欧氏空间 的一组基称为的一组基称为 的一个的一个，如果它们两两正交。如果此正交基的每个基向量又都如果它们两两正交。如果此正交基的每个基向量又都是单位向量，则称此基为是单位向量，则称此基为 的一个的一个VVV11

20、111,cos ,sin ,cos,sin ,2xxnxx 例例 2 2 欧氏空间欧氏空间 的一个标准正交基是的一个标准正交基是0,2 C 从规范正交基的定义看，有三个要件从规范正交基的定义看，有三个要件：（1）是向量个数与维数相等的线性无关的向量组；）是向量个数与维数相等的线性无关的向量组；（2）是两两正交的向量组，即）是两两正交的向量组，即；（3）是每个向量都是单位向量的）是每个向量都是单位向量的单位向量组单位向量组。如何求欧氏空间的标准正交基呢？如何求欧氏空间的标准正交基呢？ 欧氏空间欧氏空间 的向量组的向量组 线性无线性无关的关的充要条件充要条件是矩阵是矩阵 非奇异非奇异(可逆可逆)V

21、12(,)sG 12,s 证明证明：1111( ,)(,)(,)ssssiiiiijijiiijxxx x 1122,ssxxx。如果。如果 线性无关，则它线性无关，则它们也是们也是 的一组基。的一组基。12,s 12(,)sWspan 假设假设 奇异，则奇异，则 有非零解有非零解 ，则，则GGx sxR 故故( ,)0. 但是但是0.HHx G xx 出现矛盾。出现矛盾。首先，如何确定向量组是否线性无关性呢？首先，如何确定向量组是否线性无关性呢？证明证明：。如果。如果 线性相关，线性相关，不妨不妨 ，则，则12,s 112211sssttt111112121121111111(,)(,)(,

22、)(,)(,)(,)|(,)(,)(,)siiisiissssrsisiiitttG 111111111121212111(,)(,)(,)(,)(,)(,)(,)(,)(,)siiissssiiisrisiisttt ()由由内内积积的的双双线线性性性性这与这与 非奇异矛盾，所以非奇异矛盾，所以 线性无关。线性无关。G12,s 11111212121111(,)(,)(,)(,)(,)(,)0,(,)(,)(,)isiiiisssssst 那么，向量组的正交性与线性无关性有什么联系呢？那么，向量组的正交性与线性无关性有什么联系呢？ 向量组向量组 是欧氏空间是欧氏空间 的非零的非零的正交向量组

23、，则的正交向量组，则 必线性无关。必线性无关。V12,s 12,s 证明证明：设有设有11220ss 等式两边与等式两边与 作内积，作内积，(1,2, )jjs= =L L11221(,)(,)0sssjiiji 注意到注意到 以及以及(,)0 ()ij ij=(,)0jj 从而从而 ，得证。，得证。0 (1,2, )jjs=L L根据定理根据定理4，规范正交基剩下，规范正交基剩下两个要件两个要件：（1）是向量个数与维数相等的）是向量个数与维数相等的；（2）是每个向量都是单位向量的单位向量组。）是每个向量都是单位向量的单位向量组。注意到注意到定理定理4的逆命题不成立的逆命题不成立，所以我们自然

24、会问：，所以我们自然会问：一个线性无关组，在一个线性无关组，在“跋涉千山万水跋涉千山万水”，成为基之，成为基之后，如何后，如何“更上一层楼更上一层楼”，成为规范正交基？，成为规范正交基？在规范正交基的两个要件中，正交性显然很不容易在规范正交基的两个要件中，正交性显然很不容易达到。下面我们把注意力集中在达到。下面我们把注意力集中在如何首先从已知基如何首先从已知基获得正交基？获得正交基？设设 是定义了内积的线性空间（即欧氏是定义了内积的线性空间（即欧氏空间）空间） 的一个基，的一个基， 是我们希望得到是我们希望得到的的 的一个正交基？的一个正交基？12,n 12,n VV显然，我们可令显然，我们可

25、令11. 如何得到如何得到 呢？呢？2 11() 2 2 1r2111(,)(,)k 联想到联想到正交分解正交分解，我们想，我们想到到 在在 即即 上作投上作投影后的影后的，设成，设成立立 ，则，则利用利用正交性正交性 ，可得，可得2 1 1 1r121k11r 经验算，它满足经验算，它满足21(,)0. 令令 。注意到正交性，即要求。注意到正交性，即要求31321122(,)(,),.(,)(,)pq 2122( ,)( ,)0rr211211111222111(,(,)(,).(),)rk 故故2122111(,).(,) 这说明，可取这说明，可取2312rpq继续考察继续考察 在在 上作

26、投影后的上作投影后的12, 3 2r解得解得故可令故可令32r 12123112323.(,)(,)(,)(,) 至此，我们就得到了矩阵计算中具有基础性作用的至此，我们就得到了矩阵计算中具有基础性作用的Gram-Schmidt。一般地令一般地令(2,3, )jn 11(,(,)jkjjjkkjk 11, ()I经验算，它满足经验算，它满足3132(,)0,(,)0. 是定义了内积的线性空间是定义了内积的线性空间（即欧氏空间）（即欧氏空间） 的一个基，则按式的一个基，则按式 构造出的构造出的就是就是 的正交基。的正交基。12,n 12,n VV( )I显然，将正交化后得到的正交基再显然，将正交化

27、后得到的正交基再单位化单位化，就得到，就得到的了的了121212,.nnn 对于对于向量空间向量空间，使用矩阵语言，上述，使用矩阵语言，上述就是就是1212,nnBAUU 这里这里 是单位上三角阵。是单位上三角阵。U1AUD 11112| ,| ,| nUAdiag 12,nQ 单位化单位化后后1111212,| ,| ,| nndiag 1.QQDUAR 因此因此其中其中 是上三角阵。是上三角阵。1RDU .AQR （QR分解分解） 设矩阵设矩阵 列满秩列满秩，则存在单位正交列矩阵，则存在单位正交列矩阵 （各列都是单位列向量，且两两正交各列都是单位列向量，且两两正交）和上和上三角可逆矩阵三角

28、可逆矩阵 ，使，使m nAC m nQC n nRC 12,n, , 线性无关。因此按施密特正交化过程，存在单位正线性无关。因此按施密特正交化过程，存在单位正交列向量组交列向量组 ，使得，使得12,nu uu1111,ub 因为矩阵因为矩阵 列满秩，所以列满秩，所以 的列的列AA2121222,ubb1122,nnnnnnubbb用矩阵表示，即为用矩阵表示，即为12(,)nQu uu 1112122212(,)nnnnnbbbbbb 1.AR .AQR 二、标准正交基的几个性质二、标准正交基的几个性质为什么总是取标准正交基呢？原因很简单！为什么总是取标准正交基呢？原因很简单！ 是定义了内积的线

29、性空间是定义了内积的线性空间（即欧氏空间）（即欧氏空间） 的一组标准正交基，则对任意向的一组标准正交基，则对任意向量量 ，有，有(,),1, 2,iixin 12,n V1122nnxxxV向量的坐标分量是该向量与相应基向量的内积！V 是定义了内积的线性空间是定义了内积的线性空间（即欧氏空间）（即欧氏空间） 的一组标准正交基，则对任意两的一组标准正交基，则对任意两个向量个向量 仍然有仍然有1122(,)nna ba ba b 12,n 11221122,nnnnaaaVbbbV向量的内积就是（标准正交基下）坐标的内积nR我们知道，我们知道，在在向量空间向量空间中，以标准正交基为列向量的中，以标

30、准正交基为列向量的矩阵是正交矩阵。在矩阵是正交矩阵。在线性空间线性空间中，虽然基不一定能构中，虽然基不一定能构成矩阵，但是两组基间的过渡矩阵是可逆矩阵。对于成矩阵，但是两组基间的过渡矩阵是可逆矩阵。对于欧氏空间欧氏空间，虽然标准正交基同样不一定能构成矩阵，虽然标准正交基同样不一定能构成矩阵，但标准正交基间的过渡矩阵肯定比可逆矩阵特殊。但标准正交基间的过渡矩阵肯定比可逆矩阵特殊。 和和 是欧氏空是欧氏空间间 的两组标准正交基，则两组基间的过渡矩阵是的两组标准正交基，则两组基间的过渡矩阵是正交矩阵正交矩阵。V12,n 12,n 1121112222121212(,)(,)mmnnnnmnppppp

31、pppp 显然矩阵显然矩阵 的各列就是的各列就是 在标准正交基在标准正交基 下的坐标，所以下的坐标，所以12,n 设两组标准正交基间的过渡矩阵为设两组标准正交基间的过渡矩阵为 ，即，即P12,n P定理定理9 9的证明。的证明。 显然矩阵显然矩阵 的各列就是的各列就是 在标准正交基在标准正交基 下的坐标，所以由定理下的坐标，所以由定理7，可知，可知12,n 12,n P11(,)ijijnin jp pp p 1,(,)0,iji jijij 因此因此11ijnin ji jp pp p 由于由于 也是标准正交基，所以也是标准正交基，所以12,n 这说明矩阵这说明矩阵 是正交矩阵。是正交矩阵。

32、P因此因此由于由于 也是标准正交基，所以也是标准正交基，所以12,n 由定理由定理9可以想到，标准正交基可以想到，标准正交基 通过正交通过正交矩阵矩阵 过渡而来的向量组过渡而来的向量组 一定也是标一定也是标准正交基。因为准正交基。因为12,n 12,n P1 12 21 12 2( ,) (,)ijiiin njjjn npppppp 1( ,)nikjkkkkp p 11,.0,nkTikjkijijp pP Pij 正交矩阵正交矩阵 是欧氏空间是欧氏空间 的标准正交基的标准正交基 到向量组到向量组 的过渡矩阵，则向的过渡矩阵，则向量组量组 也是也是 的标准正交基。的标准正交基。VP12,

33、,n 12,n 12,n V12 2221,( ,)().i j i jiji jjiAaBbAa bRB 、例例 11 11 欧氏空间欧氏空间 的内积为：的内积为：2 2R 2122(),0 i jVXxxxV的一组标准正交基，使得的一组标准正交基，使得 中的线性变换中的线性变换12(),21T XX 求求 的子空间的子空间2 2R 在该基下的矩阵表示为对角矩阵。在该基下的矩阵表示为对角矩阵。解解：111221100100,000011Xxxx首先注意到自然基首先注意到自然基 不符号要不符号要求求（理由？（理由？），其次），其次11122122,EEEE所以要求的正交基应该是所以要求的正交基

34、应该是123100100,.000011XXX再标准化为再标准化为11110101,0000(,)YXX333000011.1111(,)2YXX遗憾地是，遗憾地是， 不是所求的标准正交基，因为它不是所求的标准正交基，因为它在线性变换在线性变换 的作用下的矩阵表示不是对角阵！的作用下的矩阵表示不是对角阵！123,Y Y YT22201011,0000(,)YXX1121012122,002100TYYY33001200113.11213322TYY不过，我们可以从不过，我们可以从 出发，通过正交矩阵，出发，通过正交矩阵，过渡到欲求的标准正交基。线性代数知识告诉我们，过渡到欲求的标准正交基。线性

35、代数知识告诉我们，实对称矩阵可实对称矩阵可正交对角化正交对角化，所以我们要结合线性变，所以我们要结合线性变换，寻找相应的实对称矩阵。换，寻找相应的实对称矩阵。123,Y Y Y1120112212,002100TYYY所以所以123123123120( ,)( ,) 210( ,) ,003T Y Y YY Y YY Y Y A 将实对称矩阵正交对角化，可得正交矩阵将实对称矩阵正交对角化，可得正交矩阵 1(3,3, 1).Q AQdiag A这里这里 是实对称矩阵！是实对称矩阵！它使得它使得 2222222200,100Q 这样按照定理这样按照定理10，令，令123123(,)( ,) ,Z

36、Z ZY Y Y Q 即得欲求的标准正交基为即得欲求的标准正交基为 1123112330001( ,)( ,) 0,1121ZY Y Y qY Y YY 22212321222111( ,),002ZY Y Y qYY 223123312221 11( ,).002ZY Y Y qYY 12141(, )( ) ( )1, f gf t g tfgPdttt 、求求 的一组正交基。的一组正交基。4 P t例例 12 12 欧氏空间欧氏空间 的的带权带权 内积内积为：为：4 P t211t 显然应该从显然应该从自然基自然基 出发，应用正交化出发，应用正交化过程得到正交基。过程得到正交基。231,

37、 ,t tt解解：2312341111212211112121,1,(,)111111(,1,)1tttdtttdtttt 313233121122111222221212111211111111(,)(,)(,)(,)111121tttdtdtttdtdtttt t ttt 434142441231122331111311111121332222222332211111111111()21111()11 1(,()221)(,)(,)(,)(,)(,)134dtdtttdtdtdttdtttttttttttt tttttt 将所有多项式的系数整数化，即得将所有多项式的系数整数化，即得切比雪夫

38、多项式切比雪夫多项式：012233( )1,( ),( )21,( )43 .T tT ttT ttT ttt 3、正交投影及其应用、正交投影及其应用正交性的应用主要是通过正交投影来实正交性的应用主要是通过正交投影来实现的。现的。无论是无论是微分方程数值解微分方程数值解中的有限中的有限元方法等谱方法及其大量应用，还是元方法等谱方法及其大量应用，还是最最优化理论（主要是极值问题）优化理论（主要是极值问题）及其在控及其在控制、通信、雷达、时间序列分析、信号制、通信、雷达、时间序列分析、信号处理等诸多学科中的应用，都与正交投处理等诸多学科中的应用，都与正交投影有密切联系。横看成岭侧成峰，一言影有密切

39、联系。横看成岭侧成峰，一言以蔽之，这是以蔽之，这是认识现实世界的一种思维认识现实世界的一种思维方式方式。一、正交补一、正交补(Orthogonal complement)与投影定理与投影定理11|VVV 设设 是数域是数域 上欧氏空间上欧氏空间 的两个的两个子空间。向量子空间。向量 。如果对任意。如果对任意 ，都，都有有 ，则称，则称 ，记，记为为 。如果对任意。如果对任意 ，都有，都有 ，则称则称，记为，记为 。 中中所有与子空间所有与子空间 正交的向量的集合也构成正交的向量的集合也构成 的的子空间，称为子空间，称为 的的，记为，记为 ，即，即V12,V VR2V 1V ( ,)0 1V V

40、 1V 1V2V1V12VV VV1V1V1V 欧氏空间的正交补是否存在呢？欧氏空间的正交补是否存在呢？11.VVV 设设 是数域是数域 上欧氏空间上欧氏空间 的子空间，的子空间，则则存在存在 的的唯一唯一正交补正交补 ，使得，使得 可以可以为为V1VR1V 1VV：正交分解是特殊的直和分解。正交分解是特殊的直和分解。证明证明：。设。设 是是 的一组标的一组标准正交基，对任意准正交基，对任意 ，令，令12,m 1VV 1112221( ,)( ,)( ,),mm 则则 ，且，且11V 211(,)( ,)(,)( ,)( ,) ,)miiiijjij ( ,)( ,)( ,)0,1,2,iii

41、iim 故故 与与 中的每个向量都正交，所以中的每个向量都正交，所以 。2 1V21V 因为因为 ，故，故 。又。又 因此因此 ，从而，从而1211VVV 11VV 11VV 11.VVV 证明证明：11122( ,)( ,)( ,)mm 。设。设 都是都是 的正交补，则的正交补，则对任意对任意 ，有，有23,V V1V22V 211131110(,)(,)(,)(,) 2131133,VV因为因为 ，所以，所以2131, 从而从而 ，故故 。同理。同理 。 因此因此23VV 23.VV 12333,V 32VV 设设 是数域是数域 上欧氏空间上欧氏空间 的子空间。的子空间。向量向量 。如果有

42、。如果有 使得使得则称则称 V1VR121 V 1V1121,VV 设设 是数域是数域 上欧氏空间上欧氏空间 的的子空间，则对任意子空间，则对任意 ， 在在 上上存在唯一存在唯一的正交投影。的正交投影。V1VR1VV 二、正交投影的应用二、正交投影的应用1|,V 设设 是数域是数域 上欧氏空间上欧氏空间 的子空间。的子空间。对给定的向量对给定的向量 在子空间上在子空间上 的的指指的是满足下列条件的的是满足下列条件的 ：RV1V1V V 1V设设 是数域是数域 上欧氏空上欧氏空间间 的子空间，则对给定的的子空间，则对给定的 ， 是是 在在 上的最佳逼近的上的最佳逼近的充要条件充要条件是是 ，即即

43、 是是 在在 上的正交投影。上的正交投影。V1VR1VV 11V 211V 1V 1 证明证明： 至少有一个向量至少有一个向量 ，使得，使得1,| 1V2(, )0t 222222|(,)| |ttt 。设。设 是是 在在 上的最佳逼上的最佳逼近，但近，但 不正交于不正交于 ，则，则11V 1V1V 21 令令 ，则，则 ，并且，并且1t 1V 因为因为 ，所以，所以 。因。因此此 不是不是 在在 上的最佳逼近。出现矛盾。上的最佳逼近。出现矛盾。 1| 2| |0t 1 1V证明证明：2211|()()| 。设。设 且且 ， 则对任意的则对任意的 ，根据勾股定理，有，根据勾股定理，有11V 1

44、V 211V 因此因此 是是 在在 上的最佳逼近。上的最佳逼近。 1 1V222111| 例例 7 7 （不相容线性方程组的最小二乘解）（不相容线性方程组的最小二乘解）对于对于不相容不相容的线性方程组的线性方程组 ，由于该方程，由于该方程组无精确解，因此我们只好设法找出方程组在组无精确解，因此我们只好设法找出方程组在某种某种意义下意义下的的最优近似解最优近似解。Axb 如果存在近似解如果存在近似解 ，使得，使得就称就称 为方程组的为方程组的，这种方法就称为，这种方法就称为。12(,)Tnxxxx 22|AxbAxb 211221()miiinniia xa xa xb x 令令 ，显然，显然

45、，因此求不相容方，因此求不相容方程组的最小二乘解的问题即为在程组的最小二乘解的问题即为在 中找出向中找出向量量 ，使得向量，使得向量 到到 的距离比到子空间的距离比到子空间 中其它向量的中其它向量的距离距离都短，即都短，即 是向量是向量 在在 上的上的最佳逼近最佳逼近。Ax ()yR A yAx ()R Ab()R AAx Ax b()R A根据最佳逼近定理根据最佳逼近定理 ，这样的最小二乘解满足，这样的最小二乘解满足TTA AxA b ().AxbR A 令令 ，则，则1(,)nA (1, )jjn 即即 ，因此得，因此得0 (1, )Tjjn 从从高等数学高等数学的分析学眼光看，的分析学眼

46、光看，多元函数多元函数122(,)|,|nfxxAxxb 的最小值满足条件的最小值满足条件211221()miiinniia xa xa xb 0(1,2, )kfknx 即即1122102()mikiiinniiaa xa xa xb 写成矩阵形式，则为写成矩阵形式，则为()TAAxb 也就是也就是11 112 211112111222221 122 222121 12 2000n nmmn nnnmnmmmn nma xa xa xbaaaaaaa xa xa xbaaaa xa xa xb 试用试用代数多项式代数多项式下列数据：下列数据：13 4 5 6 7 8 9 1010 5 4 2

47、 1 1 2 34iixy绘图发现这组数据的变化趋势接近于抛物线，故设绘图发现这组数据的变化趋势接近于抛物线，故设所求所求代数多项式代数多项式为为2012( )y xcc xc x 将这组数据代入线性方程组将这组数据代入线性方程组Acb 10 3(),1,10;0,1,2jiAxij 012( ,)Tcc c c (10,5,4,2,1,1,2,3,4)Tb 2( )13.45973.60530.2676y xxx 法方程组为法方程组为TTA AcA b 95338132533813017 ,143381 3017 253171025TTA AA b (13.4597, 3.6053,0.26

48、76)Tc 解得解得%ex201.m x=1 3 4 5 6 7 8 9 10; y=10 5 4 2 1 1 2 3 4; p=polyfit(x,y,2); % polyfit计算与x，y拟合的多项式，并按次数从高到低将多项式的系数保存在向量p中，参数值2表示多项式的次数 plot(x,y,+b,x,polyval(p,x),-r )% polyal根据x值返回拟合多项式p的y值例例 8 8 （泰勒逼近不敌正交多项式逼近）（泰勒逼近不敌正交多项式逼近）对欧氏空间对欧氏空间 中的函数中的函数 ，在，在子空间子空间 找一个多项式找一个多项式 ，使得，使得 尽可能小尽可能小 ？( )sinf x

49、x 255525| ( )( )|( ( )( ), ( )( )| ( )( )|f xu xf xu x f xu xf xu xdx , C 5( )u x6 UP x 首先想到的是首先想到的是泰勒展开式泰勒展开式5353!5!( ),xxu xx 取取 ，时，绝对误差为，时，绝对误差为3x 0.3839. 另一种思路是从自然基另一种思路是从自然基 出发，应出发，应用正交化过程得到标准正交基用正交化过程得到标准正交基 ，然后可得到然后可得到正交多项式逼近正交多项式逼近23451, ,x xxxx123456, 350.9878620.1552710.00564312,xxx 取取 ，时，

50、绝对误差为，时，绝对误差为3x 0.0014. 51166 ( )( ,)( ,)u xff 例例 9 9（傅立叶级数的应用（傅立叶级数的应用非线性信号的线性逼近）非线性信号的线性逼近）( )npxW 22|( )( )|( )( )|nnf xP xf xP x 220 ( )( )nf xP xdx 对欧氏空间对欧氏空间 ，子空间，子空间对对 中的非线性函数中的非线性函数 的的指的指的是求某个代数多项式是求某个代数多项式 ，使得，使得0,2 C 0,2 C ( )npxW 1,cos ,sin ,cos,sinWspanxxnxnx ( )f x对欧氏空间对欧氏空间 ，子空间，子空间对对

51、中的非线性函数中的非线性函数 的的指的指的是求某个代数多项式是求某个代数多项式 ，使得，使得截断误差截断误差例例 10 10 （矩阵的值域与零空间之间的关系）（矩阵的值域与零空间之间的关系）12(, )0,(, )0,(, )0.mxxx齐次线性方程组齐次线性方程组 显然等价于显然等价于Ax 这里这里12(,).TmA 因此求方程组因此求方程组 的解向量，就是求所有与向的解向量，就是求所有与向量组量组 正交的向量。换言之，求齐次正交的向量。换言之，求齐次方程组方程组 的解空间的解空间 就是求就是求 的的正交补空间正交补空间。12,m ()N AAx Ax 12(,()mTR Aspan ()(

52、),()()TTmR AN AR AN AR 对任意对任意 ，有，有12(,)mnnAR 一般地，对于矩阵的值域与零空间，存在下列一般地，对于矩阵的值域与零空间，存在下列关系：关系：()(),()()TTnR AN AR AN AR 证明证明：所以所以( )( )( )().mTRR AR AR AN A排排 1122|(),()nnjkkkkRR A |,1,2,jjn |0 ,1,2,Tjjn |,1,2,(,)TTN AAjn同理可证同理可证()().nTRR AN A 4、正交变换、正交变换鉴于正交的重要性，所以相应的鉴于正交的重要性，所以相应的显得尤为重要。显得尤为重要。Househ

53、older变换变换（即（即反反射变换射变换）和）和Givens变换变换（即（即旋转变换旋转变换）是）是两种最重要的正交变换，它们的作用主要两种最重要的正交变换，它们的作用主要是是在数值算法中构造正交基在数值算法中构造正交基。 在第一章指出，二维平面中的图形经过在第一章指出，二维平面中的图形经过旋转变换旋转变换或或反射变换反射变换后只是位置改变了，形状和大小都没有改变，后只是位置改变了，形状和大小都没有改变，所有的长度、角度都保持不变。前面又指出，向量的长所有的长度、角度都保持不变。前面又指出，向量的长度和角度都可以由内积来计算。因此，变换前后的内积度和角度都可以由内积来计算。因此，变换前后的内

54、积保持不变，即保持不变，即两向量的像的内积与原像的内积相等两向量的像的内积与原像的内积相等。 由于二维平面是特殊的欧氏空间，因此这个想法自由于二维平面是特殊的欧氏空间，因此这个想法自然也可以推广到一般的欧氏空间。然也可以推广到一般的欧氏空间。()() .TT ,欧氏空间欧氏空间 上的线性变换上的线性变换 称为称为 上的上的一个一个，如果，如果 保持保持 中的内积不变中的内积不变，即，即对任意的对任意的 ，都有，都有VV 、VVTT根据定义，显然正交变换也保持欧氏空间中向根据定义，显然正交变换也保持欧氏空间中向量的量的长度长度、距离距离及向量间的及向量间的夹角夹角等几何属性不等几何属性不变。变。

55、xy2e21e 如图，显然有正交分解如图，显然有正交分解 1122( ,)( ,)xx e ex e e,222222( ,)2( ,)yxxx e exex e 例例 2 2 再探再探HouseHolder变换变换2222(2)2TTIxxexeee因此向量因此向量 关于关于“与与 轴正交的直线轴正交的直线”（这里就（这里就是是 轴）轴）对称对称的镜像向量的表达式为的镜像向量的表达式为2ex1e类似地，可定义将向量类似地，可定义将向量 变换为关于变换为关于“与单位与单位向量向量 正交的正交的 维子空间维子空间”对称的向量对称的向量 的镜像变换。的镜像变换。nuR nxR nyR 1n 设设

56、为单位向量，称矩阵为单位向量，称矩阵为为（初等反射矩阵初等反射矩阵），），对应的变换对应的变换 称为称为（初等反射变换初等反射变换）nR 2HHI :(2)HHHI 对任意对任意 ，存在，存在Householder 矩矩阵阵 ，使得，使得 其中其中 为标准单位向量。即为标准单位向量。即可以通过可以通过HouseholderHouseholder变换将向量反射到某个坐标轴上变换将向量反射到某个坐标轴上。1neR 21|He nRHHouseholder变换在矩阵计算中占有重要地位，这是变换在矩阵计算中占有重要地位，这是因为存在因为存在Householder变换能变换能将非零向量的后将非零向量的后

57、 个分量变为零个分量变为零。1n 212( ,)|He 若若 ，则取与，则取与 正交的单位正交的单位列向量列向量 ，从而，从而 21| e1e21212122|2(,)|eeHe 若若 ，令，令21| e2121|ee 注意到注意到222121|2(|,)|ee 从而从而21|()e 21| e 设设 是欧氏空间是欧氏空间 上的一个线性变换，则上的一个线性变换，则下列命题是等价的：下列命题是等价的：（1 1） 是正交变换；是正交变换；（2 2） 保持向量的范数不变保持向量的范数不变，即，即 ； （3 3） 若若 是是 的一组标准正交基，则的一组标准正交基，则 也是也是 的标准正交基；的标准正交

58、基；（4 4） 在在 的任意一组标准正交基下的矩阵表示的任意一组标准正交基下的矩阵表示 为为正交矩阵正交矩阵。TVTV12,n, ,|( )|T= =T12(, (nTTT),),)TVV证明：证明：22|( )|( ( ), ( )|( ,)TTT 若线性变换保持长度不变，即若线性变换保持长度不变，即(2)(1).展开上式并化简，即得展开上式并化简，即得同样有同样有22|( )|( ( ), ( )|( ,)TTT ( (), ()(,)TT (,)( ,)TT 根据正交变换的定义显然成立。根据正交变换的定义显然成立。(1).(2)证明：证明：因此因此则则1111,nnnnxxyy11(,)

59、( ,)nnTTx yx y 1111( )()(),( )()(),nnnnTx Tx TTyTy T 对任意对任意 ，令，令(3)(1).,V 显然成立。显然成立。(1).(3)证明：证明：11( (), ()(,) ,nnTTA 设设 在在 下的矩阵为下的矩阵为 ，即，即A(3)(4).T1,n由于由于 也是标准正交基，所以也是标准正交基，所以 是两组标准正交基间的过渡矩阵，因此是两组标准正交基间的过渡矩阵，因此 是正交是正交矩阵。矩阵。1(), ()nTTAA证明：证明：1111( ( ), ()(,)ijininjn jnTTaaaa 设设 是正交矩阵，则是正交矩阵，则(4)(3).

60、A11ijnin ja aa a 1,0,ijij 所以所以 也是标准正交基。也是标准正交基。1(), ()nTT例例 6 6 （Givens 变换变换)将线性空间将线性空间 中的所有向量中的所有向量均绕原点均绕原点顺时针顺时针旋转角旋转角 的的就是一个正交变换。因为此变换的矩阵表示就是一个正交变换。因为此变换的矩阵表示 是正是正交矩阵。交矩阵。2R G11112222cossin:sincosGG 2122221212sin, cos.取取2211220 2122221212sin, cos.20 则则 （几何上表示什么意思？几何上表示什么意思？），并且），并且11111cossin0sin