矩阵理论第四章内积空间

1、G G E ME M4.1 实内积空间实内积空间定义定义. .设设V 是一个实线性空间，是一个实线性空间，R为实数域，为实数域，1若若 a a, , b b V, 存在唯一的存在唯一的 r R与之对应，与之对应，记作记作(a a, , b b ) = r, 并且满足并且满足(1) (a a, , b b ) = (b b, , a a ) (2) (a a + +b b, , g g ) = (a a, , g g ) + (b b, , g g )(3) (ka a, , b b ) = k(a a, , b b )(4) (a a, , a a )0 0, (a a, , a a ) =

2、0 0 a a = 0 0则称则称 (a a, , b b ) 为为a a 与与b b 的内积，的内积，V 为为实实内积空间。内积空间。实实内积空间也称欧几里得内积空间也称欧几里得( (Euclid) )空间。空间。对称性对称性线性性线性性非负性非负性G G E ME M2定义内积定义内积( (内积的离散形式内积的离散形式) )b ba ab ba aT2211),( + + + + nnyxyxyx,),(T21nxxx a aT21),(nyyy b b,|),(TRxxxxxxRnnn 2121例例. 线性线性空间空间称为称为内积内积空间空间 的标准内积的标准内积。nRG G E ME

3、M3定义内积（定义内积（ 内积一般形式）内积一般形式）b ba ab ba aAT),( ,),(T21nxxx a aT21),(nxxx b bA为为 n 阶阶实正定矩阵实正定矩阵，,|),(TRxxxxxxRnnn 2121例例. 线性线性空间空间nRG G E ME M4定义内积（内积的连续形式）定义内积（内积的连续形式） aadxxgxfgf)()(),(例例. 线性线性空间空间Ca, b，f , gCa, bG G E ME M5由定义知（关于第二个元素的线性性质）由定义知（关于第二个元素的线性性质）(5) (a a , , b b + +g g ) = (a a, , b b )

4、 + (a a, , g g )(6) (a a, , kb b ) = k(a a, , b b )G G E ME M向量长度向量长度, Cauchy-Schwarz不等式不等式),(a aa a定义定义. 设设V 为为实实内积空间，称内积空间，称 为向量为向量a a 的长度，的长度，记作记作 | |a a | |。定理定理. 设设V 是是实实内积空间，内积空间，a a , , b b V , k R ，则，则；当且仅当当且仅当且且00|, 0|)1( a aa aa a；| |)2(a aa akk |,| ),( |)3(b ba ab ba a 等号成立当且仅当等号成立当且仅当a a

5、 , , b b 线性相关；线性相关；。|)4(b ba ab ba a+ + + +Cauchy-Schwarz不等式不等式三角不等式三角不等式正定性正定性齐次性齐次性G G E ME M2222(2) |(,)( , )| |kkkkkkkaaaa aaaaG G E ME M22(3) |( ,)|=0=0,0+,+,+( ,)2 ( ,)( , )0 =(2( ,)4( ,)( , )0 ( ,rrrrrra babbaa bbab ab abb ba ba aa bb b a aa b+证明：当（或），不等式显然成立， 事实上此时成立等号，线性相关。 当时，令其中 是一个实数 ()=

6、() =即2)( ,)( , )|( ,)| +,rb b a aa bababa b，也就是。等号成立当且仅当，即线性相关。G G E ME M2222(4) |(,)( , )2( ,)( ,) |2|(|)| |abab aba aa bb baabbababab+, 。G G E ME M10 niiniiniiiyxyx12121)1(例：利用例：利用Cauchy-Schwaz不等式证明不等式证明 bababadxxgdxxfdxxgxf)()()()()2(22G G E ME M向量的夹角向量的夹角由由Cauchy-Schwaz不等式可知不等式可知,1|),(1baba可用可用，

7、中的结论中的结论对比对比nR|),(,cosbababa.,b ba ab ba a在内积空间中的夹角在内积空间中的夹角与与定义定义G G E ME M向量的正交向量的正交定义定义. 设设V 是是实实内积空间，内积空间，a a , , b b V , 若若 ( (a a , , b b ) 0 0 , 则称则称 a a 与与b b 正交，记作正交，记作 a a b b 。),(|2b ba ab ba ab ba a+ + + + +由由知知22|),(2|b bb ba aa a+ + + a a 与与b b 正交正交222|b ba ab ba a+ + + +这就是实这就是实内积空间中的

8、勾股定理。内积空间中的勾股定理。G G E ME M12121. |ssaaaaaa+12222212122. ,|sssa aaaaaaaa+正交 G G E ME M14向量向量a a 与与b b 在该基下的坐标为在该基下的坐标为的一个基，的一个基，维实内积空间维实内积空间是是，设设Vnna aa aa a,21,),(T21nxxxx T21),(nxxxy ,2211nnxxxa aa aa aa a+ + + + nnyyya aa aa ab b+ + + + 2211G G E ME M15),(),(22112211nnnnyyyxxxa aa aa aa aa aa ab b

9、a a+ + + + + + + ninjjiiiyx11),(a aa a nnnnnnnnyyyxxx2121222121211121),(),(),(),(),(),(),(),(),(),(a aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa aAyxT G G E ME M度量矩阵度量矩阵矩阵矩阵 A 称为基的度量矩阵。称为基的度量矩阵。AAT ),(),(1221a aa aa aa a ),(),(),(),(),(),(),(),(),(212221212111nnnnnnAa aa aa aa aa aa aa aa aa

10、aa aa aa aa aa aa aa aa aa a即即 A 为实对称矩阵。为实对称矩阵。0),( a aa aAxxT即即 A 为为实正定矩阵实正定矩阵。G G E ME M,;,2121nnb bb bb ba aa aa a定理：设内积空间定理：设内积空间V 的两个基是：的两个基是：BAPPT 它们的度量矩阵它们的度量矩阵分别分别为为A与与B，则，则A与与B是合同的，是合同的，即存在可逆矩阵即存在可逆矩阵P ，使得，使得其中可逆矩阵其中可逆矩阵P 是由前组基到后组基的过渡矩阵。是由前组基到后组基的过渡矩阵。G G E ME M4.2 标准正交基标准正交基12,sVa aa定义：设，

11、，是实内积空间 的一组非零向量，若它们两两正交，则称其为一个正交向量组。若它们两两正交，则称其为一个正交向量组。定理：正交向量组必是线性无关的。定理：正交向量组必是线性无关的。的一个正交向量组，的一个正交向量组，维内积空间维内积空间是是，若若Vnna aa aa a,21的一个正交基。的一个正交基。则称其为则称其为VG G E ME M1912,nVa aa定义：设， ，是实内积空间 的一正交基，的一个标准正交基。的一个标准正交基。则称其为则称其为V且其中每个向量的长度都是且其中每个向量的长度都是 1，注意：注意：(1) 标准正交基的度量矩阵是单位矩阵，即标准正交基的度量矩阵是单位矩阵，即(2

12、) 向量在标准正交基下的坐标是该向量在对应的向量在标准正交基下的坐标是该向量在对应的基向量上的正投影，即基向量上的正投影，即),(),(2211inniixxxxa aa aa aa aa aa a+ + + + yxT ),(b ba aG G E ME MGram-Schmidt 正交化过程正交化过程Gram-Schmidt 正交化过程：正交化过程：设设是内积空间是内积空间V 中线性无关中线性无关的向量组的向量组，na aa aa a,21，使得，使得则则V 中存在正交向量组中存在正交向量组nb bb bb b,21 nnb bb bb ba aa aa a,2121G G E ME MG

13、ram-Schmidt 正交化过程正交化过程 图解图解2222|a aaaaaa a 1212121(,)|b abb aba ababbab 12111(,)(,)b ab ab bbbbb 11a ab b 222a aa ab b 1b b 2b b 2a a2a a 1112122),(),(b bb bb ba ab ba ab b 222a aa aa a + + 2a a 1a a上的投影向量上的投影向量在在12a aa aG G E ME M22令令111222111121121112211;(,);(,)(,)(,)(,)(,)(,)(,)rrrrrrrrrbabab ab

14、ababbabbbbbb ab abab ab abababbbbabbbbbbbbbbbbbbb nnb bb bb ba aa aa a,212112,rbbbbbb是是正交向量组，并且正交向量组，并且则则G G E ME M112121211221,1rrrrrrrkkkkabababbabbabbbbabbbb + + (,)(,)ijijiiikb ab ab bb bb b 记记G G E ME M或或 100101),(),(21122121rrrrkkkb bb bb ba aa aa a注意到注意到K是可逆矩阵，因此是可逆矩阵，因此 nnb bb bb ba aa aa a,

15、2121KG G E ME M12,rbbbbbb是正交向量组是正交向量组下面用归纳法说明下面用归纳法说明),),(),(),(11jikiiikikjkb bb bb bb ba ab ba ab bb b ),(),(),(),(11jikiiikijkb bb bb bb ba ab bb ba a )1(kj ),1(0),(kjiji b bb b由归纳法假设可知由归纳法假设可知0),(),(),( kjjkjka ab bb ba ab bb b12,rbbbbbb是正交向量组。是正交向量组。即即G G E ME M矩阵矩阵A的的QR分解分解推论推论1：n 维实内积空间维实内积空间

16、V 必存在标准正交基。必存在标准正交基。推论推论2：n 维实内积空间维实内积空间V 中任一中任一正交向量组都可扩充成正交向量组都可扩充成V 的一个正交基。的一个正交基。推论推论3: 设设A为可逆阵，则存在为可逆阵，则存在正交阵正交阵Q和可逆上三角阵和可逆上三角阵R使得使得 A = QR ，称为矩阵，称为矩阵A的的QR分解。分解。G G E ME M27设设A为为 n 阶可逆阵，则利用阶可逆阵，则利用Gram-Schmidt正交化过程，正交化过程，),(21nAa aa aa a 100101),(211221nnnkkkb bb bb bKnnn |)|,|,|(212211b bb bb b

17、b bb bb bb bb bb bG G E ME M28niiii 1,|b bb b 记记 |00|0|),(22211112121nnnnkkkAb bb bb bb bb bb b 则则QRA QRG G E ME M29例例: : 求求矩阵矩阵A的的QR分解，分解， 101011111AG G E ME M()1233123123211122121131323312321122111110 =,101,11,= 1=-=1,-101/ 2,1=-= 1/ 2,21ARa a aa a aa a aabbababab bababbabbabb bbb+令，下面利用施密特正交化方法将化

18、为标准正交基。先将正交化（），（）（） （）（） （），G G E ME M()123123123111100110 =,011/ 2101001AKa a abbbbbb=(,) =(,) ，G G E ME M12311122233331=1/ 3 1-11=1/ 2101/ 2= 2/3 1/ 21bbbbgbbgbbgb再将 ，单位化，G G E ME M1231/ 31/ 21/ 6100,1/ 31/ 21/ 6 ,011/ 2 ,0011/ 302/33001/ 30002001/ 2-1/ 2 ,003/2003/2KRKAQRg ggQ=()=G G E ME M4.3 正交

19、子空间正交子空间定义定义: : 设设W, U是实内积空间是实内积空间V 的子空间，的子空间，(1) a a V , 若若 b b W, 都有都有(a, b a, b ) = 0, 则称则称a a 与与W 正交，记作正交，记作a a W ;(2) 若若 a a W, b b U, 都有都有(a, b a, b ) = 0, 则称则称W 与与U 正交，记作正交，记作W U ;(3) 若若W U，并且，并且W + U = V, 则称则称U 为为W 的正交补。的正交补。注意：若注意：若W U，则则 W与与U 的和必是直和。的和必是直和。G G E ME M正交补的存在唯一性正交补的存在唯一性定理定理:

20、 : 设设W 是实内积空间是实内积空间V 的子空间，则的子空间，则W 的正交补的正交补存在且唯一，记该存在且唯一，记该正交补为正交补为 ，并且，并且 W,|VWW a aa aa a;,0)1(. WVW证证再扩充再扩充的一个正交基的一个正交基取取,0)2(21reeeWW 记记的一个正交基的一个正交基为为,11nrreeeeV+ + + +nreeU,1,|VWUWU a aa aa a且且的正交补，的正交补，是是往证，往证，G G E ME M向量的正投影向量的正投影定义定义: : 设设W 是实内积空间是实内积空间V 的子空间，的子空间，, WWV于是于是，其中其中有有 + + WWVg

21、gb bg gb ba aa a,则称向量则称向量b b 为向量为向量a a 在在W上的正投影，上的正投影，称向量长度称向量长度| |g g | |为向量为向量a a 到到W 的距离。的距离。W b bOa ag gG G E ME M垂线最短定理垂线最短定理定理定理: : 设设W 是实内积空间是实内积空间V 的子空间，的子空间，a a V , b b 为为a a 在在W| a ab ba a 上的正投影，则上的正投影，则 W, 有有并且等号成立当且仅当并且等号成立当且仅当 b b = 。，WW b bb ba a,， b bb ba a ， a a b bb ba a + + （勾勾股股定定

22、理理），222| a a b bb ba a + + | a ab ba a 即即W b ba aG G E ME M问题提出问题提出: :实系数线性方程组实系数线性方程组( () )12,n sijnAXb AaRbb bb （1） 即任意即任意 都可能使都可能使 12,nx xx( () )211221niiinniia xa xa xb + （2） 不等于零不等于零可能无解，可能无解，G G E ME M 设法找实数组设法找实数组 使使（2）最小最小, , 20001,nxxx这样的这样的 为方程组为方程组（1）的的最小二乘解最小二乘解， 20001,nxxx此问题叫此问题叫最小二乘法问

23、题最小二乘法问题.最小二乘法的表示最小二乘法的表示: :设设 12111,.nnnjjjjnjjjjjYa xa xa xAX （3） G G E ME M用距离的概念，（用距离的概念，（2）就是就是 2.YB 1122,ssYxxxaaaaaa+由由（3）, , 设设 则则12,sAa aaa aa 要找要找 使（使（2）最小，等价于找子空间）最小，等价于找子空间 X12(,)sLa aaa aa中向量中向量 使使 到它的距离到它的距离 比到比到 YB()YB 12(,)sLa aaa aa中其它向量的距离都短中其它向量的距离都短. G G E ME M设设,CBYBAX这等价于这等价于 1

24、2( ,)( ,)( ,)0,sCCCaaaaaa（4） 即即 120,0,0,sCCCaaaaaa这样（这样（4）等价于）等价于（5） 12(,)sCLa aaa aa 为此必为此必( () )0A BAX A AXA B 或或这就是最小二乘解所满足的代数方程这就是最小二乘解所满足的代数方程. G G E ME M 已知某种材料在生产过程中的废品率已知某种材料在生产过程中的废品率 与某种与某种y 化学成份化学成份 有关下列表中记载了某工厂生产有关下列表中记载了某工厂生产x 中中 与相应的与相应的 的几次数值：的几次数值：yx找出找出 对对 的一个近似公式的一个近似公式.yx(%)y(%)x1

25、.000.90.9 0.81 0.60 0.56 0.35 3. 6 3. 7 3. 8 3. 9 4. 0 4. 1 3. 6 3. 7 3. 8 3. 9 4. 0 4. 1 4. 24. 2例题例题G G E ME M把表中数值画出图来看，发现它的变化趋势把表中数值画出图来看，发现它的变化趋势近于一条直线近于一条直线 因此我们决定选取因此我们决定选取 的一次式的一次式 xaxb+ +来表达当然最好能选到适当的来表达当然最好能选到适当的, ,a b使得下面的等式使得下面的等式3.61.000,ab+3.70.90ab+3.80.90,ab+3.90.810,ab+4.00.600,ab+4

26、.10.560,ab+4.20.350ab+解：解：都成立都成立.G G E ME M实际上是不可能的任何实际上是不可能的任何 代入上面各式都发生代入上面各式都发生 ,a b些误差些误差. 于是想找到于是想找到 使得上面各式的误差的平方使得上面各式的误差的平方,a b和最小，和最小， 即找即找 使使 ,a b222(3.61.00)(3.70.9)(3.80.9)ababab+222(3.90.81)(4.00.60)(4.10.56)ababab+2(4.20.35)ab+最小最小.易知易知 G G E ME M3.6 11.003.7 10.903.8 10.90,3.9 10.814.0

27、 10.604.1 10.564.2 10.35AB 最小二乘解最小二乘解 所满足的方程就是所满足的方程就是 ,a b( ( ) )0,aA AA BbG G E ME M解得解得（取三位有效数字）（取三位有效数字）.1.05,4.81ab 即为即为 106.7527.319.6750ab+27.375.120ab+ G G E ME M4.4 正交变换正交变换定义定义: : 设设T 是实内积空间是实内积空间V 的线性变换，若的线性变换，若 a a V 有有),()(),(a aa aa aa a TT则称则称T 为为V 的正交变换。的正交变换。),(|a aa aa a 保保持持向向量量的的

28、长长度度不不变变；可可看看做做等等式式TTT),()(),(a aa aa aa a G G E ME M正交变换的特征刻画正交变换的特征刻画定理定理: : 设设T 是实内积空间是实内积空间V 的线性变换，的线性变换，a a, , b b V ，保持向量的长度不变；保持向量的长度不变；即即TTT),()(),()1(a aa aa aa a 保持向量的内积不变；保持向量的内积不变；即即TTT),()(),()2(b ba ab ba a 则下列命题等价，则下列命题等价，的标准正交基，的标准正交基，是是Veeen,21的标准正交基；的标准正交基；是是VeTeTeTn)(,),(),()3(21,

29、)4(21AeeeTn下的矩阵是下的矩阵是在标准正交基在标准正交基若若EAAAT 即即是正交阵是正交阵则则,G G E ME M49推论推论：(1) 两个正交变换的积仍是正交变换；两个正交变换的积仍是正交变换；(2) 正交变换的逆变换仍是正交变换。正交变换的逆变换仍是正交变换。11,2 |A|A|EAAAT，则则，即即是正交阵是正交阵设设,21AeeeTn下下的的矩矩阵阵是是在在标标准准正正交交基基设设正正交交变变换换或或称称为为旋旋转转变变换换；为为第第一一类类的的正正交交变变换换，称称时时，则则当当T|A|1 为为第第二二类类的的正正交交变变换换。称称时时，当当T|A|1 ), 3 , 2

30、()(,)(:11njTTjj a aa aa aa a定义定义例如，例如，.,也称为镜面反射也称为镜面反射此时此时变换变换就是一个第二类的正交就是一个第二类的正交则则TTG G E ME MHouseholder 变换变换TnEHR 21|, ，用正交阵，用正交阵且且例：设例：设构造构造 的正交变换的正交变换nRnRHH a aa aa a,)(讨论正交变换讨论正交变换H 的几何意义。的几何意义。G G E ME M故故H(a a)是是a a关于子空间的反射，关于子空间的反射，,WWRWn + + g gb bg gb ba aa a 其中其中设设)(2(g gb ba a+ + TEH g

31、 gb b g gb b g gg g g gb b |0TT，注意到，注意到， W a ag gb b Ogg矩阵矩阵H 称为称为Householder矩阵，矩阵，变换变换H 称为称为Householder变换，变换，变换变换H 也称初等反射也称初等反射变换。变换。G G E ME M52，且且例例：设设|,b ba ab ba ab ba a nR求一个求一个初等反射初等反射变换变换H，使，使H(a a)=b b。只需求一个只需求一个 使得使得b b 是是a a 关于子空间关于子空间 的反射，的反射， |b ba ab ba a 于是于是 与与a b a b 平行，故可取平行，故可取G G

32、 E ME M4.5 复内积空间复内积空间定义定义. .设设V 是一个是一个复复线性空间，线性空间，C 为复数域，为复数域，53若若 a a, , b b V, 存在唯一的存在唯一的 c C与之对应，与之对应，记作记作(a a, , b b ) = = c, 并且满足并且满足(2) (a a + +b b, , g g ) = = (a a, , g g ) + (b b, , g g )(3) (ka a, , b b ) = = k(a a, , b b )(4) (a a, , a a )0 0, (a a, , a a ) = = 0 0 a a = = 0 0则称则称 (a a, ,

33、 b b ) 为为a a 与与b b 的内积，的内积，V 为为复复内积空间。内积空间。复复内积空间也称酉空间。内积空间也称酉空间。对称性对称性线性性线性性非负性非负性(1) (a a, , b b ) = = (b b, , a a ) G G E ME M54定义内积定义内积b ba ab ba aT2211),( + + + + nnyxyxyx,),(T21nxxx a aT21),(nyyy b b,|),(21T21CxxxxxxCnnn 例例. 线性线性空间空间称为复内积称为复内积空间空间 的标准内积。的标准内积。nCG G E ME M55在复内积空间中还有在复内积空间中还有(5

34、) (a a , , b b + +g g ) = (a a, , b b ) + (a a, , g g )(6) (a a, , kb b ) = k(a a, , b b )|),()7(a aa aa aa a记作记作的长度，的长度，称为称为(8) Cauchy-Schwaz不等式不等式),(),(),( ),(b bb ba aa ab ba ab ba a ,| ),( |arccos,)9(b ba ab ba ab ba ab ba a 的夹角的夹角与与且且 ( (a a , , b b ) 0 0 a a 与与b b 正交正交(10) Schmidt正交化过程把线性无关的向量

35、组变成正交组正交化过程把线性无关的向量组变成正交组G G E ME M56向量向量a a 与与b b 在该基下的坐标为在该基下的坐标为的一个基，的一个基，维复内积空间维复内积空间是是，设设Vnna aa aa a,21,),(T21nxxxx T21),(nxxxy ,2211nnxxxa aa aa aa a+ + + + nnyyya aa aa ab b+ + + + 2211G G E ME M57),(),(22112211nnnnyyyxxxa aa aa aa aa aa ab ba a+ + + + + + + ninjjiiiyx11),(a aa a nnnnnnnnyyyxxx2121222121211121),