第10讲 协方差与相关系数

1、第第1010讲讲 协方差与相关系数协方差与相关系数矩、协方差矩阵矩、协方差矩阵 我们在前一章研究过二维随机变量各自的概率分布我们在前一章研究过二维随机变量各自的概率分布特性以及与整体概率分布特性之间的关系特性以及与整体概率分布特性之间的关系. 我们知道联合我们知道联合分布可以唯一确定边缘分布，反之不成立。前两讲我们分布可以唯一确定边缘分布，反之不成立。前两讲我们又介绍了随机变量的数学期望与方差，它们分别反映了又介绍了随机变量的数学期望与方差，它们分别反映了随机变量取值的平均水平和随机变量取值相对于均值的随机变量取值的平均水平和随机变量取值相对于均值的分散程度，但有时需要考虑随机向量的数字特征与

2、各自分散程度，但有时需要考虑随机向量的数字特征与各自数字特征之间关系，为此我们引入协方差、相关系数、数字特征之间关系，为此我们引入协方差、相关系数、协方差与矩的概念。协方差与矩的概念。第第1010讲讲 协方差与相关系数协方差与相关系数矩、协方差矩阵矩、协方差矩阵 1. 协方差协方差定义定义 设设(X,Y)为二维随机变量，如果为二维随机变量，如果EX E(X)Y E(Y)存在存在. 则称此为随机变量则称此为随机变量X与与Y的协方差的协方差. .记为记为Cov(X,Y).即即 Cov(X, Y)=EX E(X)Y E(Y). ijijiipYEyXExYX)()(),(Cov 离散型离散型 dxd

3、yyxfYEyXExYX),()()(),(Cov 连续型连续型 例例1 1 在一盒中装有大小相同的在一盒中装有大小相同的2 2只黑球，只黑球，4 4只白球，只白球，现从盒中连续取球两次，每次任取一只现从盒中连续取球两次，每次任取一只. .设随机变量设随机变量0,1,X 表表示示第第一一次次取取黑黑球球, ,表表示示第第一一次次取取白白球球. .0,1,Y 表表示示第第二二次次取取黑黑球球, ,表表示示第第二二次次取取白白球球. .讨论随机变量讨论随机变量(X, Y)的协方差的协方差.解解 （1 1）无放回的情况）无放回的情况122()01333E X 122( )01333E Y 22122

4、4Cov(,)(0) (0)(0) (1)33153315X Y 224222(1) (0)(1) (1)3315335245 解解 （1 1）无放回的情况）无放回的情况122()01333E X 122( )01333E Y 例例2 2 设随机变量设随机变量(X,Y)在区域在区域D=(x,y) x2+y21上上服服从均匀分布，求从均匀分布，求Cov(X,Y). xy解解 由已知条件由已知条件221,1,( , )0,xyf x y 其其它它. .于是于是()( , )E Xxf x y dxdy 22110 xyxdxdy 2211( )( , )0 xyE Yyf x y dxdyydxd

5、y Cov(,)()( ) ( , )X YxE XyE Yf x y dxdy 22110 xyxy 第第1010讲讲 协方差与相关系数协方差与相关系数矩、协方差矩阵矩、协方差矩阵 1. 协方差协方差定义定义()( )EXE XYE Y()( )() ( )EXYYE XXE YE X E Y()( ) ()() ( )() ( )E XYE Y E XE X E YE X E Y()() ( )E XYE X E Y()() ( )E XYE X E YCov(,)X Y 例例1 1 在一盒中装有大小相同的在一盒中装有大小相同的2 2只黑球，只黑球，4 4只白球，只白球，现从盒中连续取球两

6、次，每次任取一只现从盒中连续取球两次，每次任取一只. .设随机变量设随机变量0,1,X 表表示示第第一一次次取取黑黑球球, ,表表示示第第一一次次取取白白球球. .0,1,Y 表表示示第第二二次次取取黑黑球球, ,表表示示第第二二次次取取白白球球. .讨论随机变量讨论随机变量(X, Y)的协方差的协方差.解解 （2 2）有放回的情况）有放回的情况122()01333E X 122( )01333E Y 544()01999E XY Cov(,)()() ( )0X YE XYE X E Y第第1010讲讲 协方差与相关系数协方差与相关系数矩、协方差矩阵矩、协方差矩阵 1. 协方差协方差定义定义

7、 2. 协方差协方差的计算公式的计算公式 3. 协方差协方差的性质的性质Cov(,)()() ( )Cov( ,)X YE XYE X E YY X22Cov(,)()()()X XE XE XD X (1) Cov(X, Y)=Cov(Y, X); (2) Cov(X,X)=D(X); Cov(X,C)=0 ()()( )2 ()( )D XYD XD YEXE XYE Y第第1010讲讲 协方差与相关系数协方差与相关系数矩、协方差矩阵矩、协方差矩阵 1. 协方差协方差定义定义 2. 协方差协方差的计算公式的计算公式 3. 协方差协方差的性质的性质Cov(,)()()() ()aX bYE

8、aXbYE aX E bY()() ( )ab E XYE X E Y (1) Cov(X, Y)=Cov(Y, X); (2) Cov(X,X)=D(X); Cov(X,C)=0 (3) Cov(aX, bY)=abCov(X, Y), 其中其中a, b为为 常数；常数； (4) D(X +Y)=D(X)+D(Y) + 2Cov(X, Y)；第第1010讲讲 协方差与相关系数协方差与相关系数矩、协方差矩阵矩、协方差矩阵 1. 协方差协方差定义定义 2. 协方差协方差的计算公式的计算公式 3. 协方差协方差的性质的性质 (1) Cov(X, Y)=Cov(Y, X); (2) Cov(X,X)

9、=D(X); Cov(X,C)=0 (3) Cov(aX, bY)=abCov(X, Y), 其中其中a, b为为 常数；常数； (5) Cov(X+Y,Z)=Cov(X, Z)+Cov(Y, Z); (4) D(X +Y)=D(X)+D(Y) + 2Cov(X, Y);Cov(,)XY Z ()()( ) ()E XZYZE XE YE Z()()() ()( ) ()E XZE YZE X E ZE Y E Z()() ()()( ) ()E XZE X E ZE YZE Y E ZCov(,)Cov( ,)X ZY Z() () ()EXY ZE XY E Z第第1010讲讲 协方差与相

10、关系数协方差与相关系数矩、协方差矩阵矩、协方差矩阵 1. 协方差协方差定义定义 2. 协方差协方差的计算公式的计算公式 3. 协方差协方差的性质的性质 (1) Cov(X, Y)=Cov(Y, X); (2) Cov(X,X)=D(X); Cov(X,C)=0 (3) Cov(aX, bY)=abCov(X, Y), 其中其中a, b为为 常数；常数； (5) Cov(X+Y,Z)=Cov(X, Z)+Cov(Y, Z); (4) D(X +Y)=D(X)+D(Y) + 2Cov(X, Y); (6)|Cov(,)|()( )X YD XD Y 2()( )2 Cov(,)()D YtXD Y

11、tX Yt D X()0D YtX2( )2 Cov(,)()0D YtX Yt D X24Cov(,)4 () ( )0X YD X D Y|Cov(,)|()( )X YD XD Y ()0D YtX|Cov(,)|()( )X YD XD Y ()1P YtXC 对任意的实数对任意的实数t，有，有又又所以所以因此因此即即特别特别()1P YtXC 设设(X,Y)为二维随机变量，如果为二维随机变量，如果EX E(X)Y E(Y)存在存在，D(X)0，D(Y)0，则称则称为为X与与Y的相关系数的相关系数. .记作记作 XY .Cov(,)()( )X YD XD Y第第1010讲讲 协方差与

12、相关系数协方差与相关系数矩、协方差矩阵矩、协方差矩阵 1. 相关系数相关系数定义定义XY 2. 相关系数相关系数性质性质| 1XY | 1()1XYP YabX 可以证明可以证明22,min() (1) ( )XYa beE YabXD Y 上式表明：均方误差是上式表明：均方误差是| XY|的严格单调递减函数，即当的严格单调递减函数，即当| XY|较大时较大时，e较小较小，说明说明X,Y线性联系紧密，特别线性联系紧密，特别| XY|=1时时，X,Y之间以概率之间以概率1 1存在线性关系存在线性关系. .从而从而 XY表征表征了了X, ,Y之间线性关系的紧密程度之间线性关系的紧密程度. .当当|

13、 XY|较大时较大时,X,Y线线性关系程度较好性关系程度较好；当当| XY|较小时较小时，X,Y线性关系线性关系程度较差程度较差. . 3. 随机变量的相关性随机变量的相关性 设随机变量设随机变量X和和Y的相关系数的相关系数 XY的存在的存在,如果如果 XY=0，则称，则称X与与Y不相关不相关,否则否则,称称X与与Y相关；如果相关；如果 XY 0，则则称称X,Y正相关；正相关；如果如果 XY 0，则称则称X,Y负相关负相关. 例例3 3 在一盒中装有大小相同的在一盒中装有大小相同的2 2只黑球，只黑球，4 4只白球，只白球，现从盒中连续取球两次，每次任取一只现从盒中连续取球两次，每次任取一只.

14、 .设随机变量设随机变量0,1,X 表表示示第第一一次次取取黑黑球球, ,表表示示第第一一次次取取白白球球. .0,1,Y 表表示示第第二二次次取取黑黑球球, ,表表示示第第二二次次取取白白球球. .讨论随机变量讨论随机变量X与与Y的相关系数的相关系数.解解 （1 1）无放回的情况）无放回的情况122()01333E X 122( )01333E Y 2Cov(,)45X Y 解解 （1 1）无放回的情况）无放回的情况122()01333E X 122( )01333E Y 2Cov(,)45X Y 222122()01333E X222()()()9D XE XE X222( )()( )9

15、D YE YE YCov(,)()( )XYX YD XD Y 15 例例3 3 在一盒中装有大小相同的在一盒中装有大小相同的2 2只黑球，只黑球，4 4只白球，只白球，现从盒中连续取球两次，每次任取一只现从盒中连续取球两次，每次任取一只. .设随机变量设随机变量0,1,X 表表示示第第一一次次取取黑黑球球, ,表表示示第第一一次次取取白白球球. .0,1,Y 表表示示第第二二次次取取黑黑球球, ,表表示示第第二二次次取取白白球球. .讨论随机变量讨论随机变量X与与Y的相关系数的相关系数.解解 （2 2）有放回的情况）有放回的情况122()01333E X 122( )01333E Y 544

16、()01999E XY Cov(,)()() ( )0X YE XYE X E Y0XY 例例4 4 设设( (X,Y) )服从二维正态分布服从二维正态分布 , ,试试求求X与与Y的相关系数的相关系数221122(,;,; )N 解解 由已知条件我们有由已知条件我们有 ， 即即E( (X)=)= 1 1，E( (Y)=)= 2 2. . 211(,)XN 222(,)YN 21222112()11( , )exp2(1)21xf x y 21222122()()()2xyy 2211222221122()()()()122(1)xxyy 2212122121()122(1)xyx Cov(,)

17、()( )X YEXE XYE Y12()() ( , )xyf x y dxdy 解解 由已知条件我们有由已知条件我们有 ， 即即E( (X)=)= 1 1，E( (Y)=)= 2 2. . 211(,)XN 222(,)YN 2212122211()122(1)12212()()21xyxxyedxdy 1212,xyuv12,dxdu dydv222122(1)12221uvuuvedudv 例例4 4 设设( (X,Y) )服从二维正态分布服从二维正态分布 , ,试试求求X与与Y的相关系数的相关系数221122(,;,; )N 222122(1)12221uvuuvedudv Cov(

18、,)()( )X YEXE XYE Y密度函数密度函数2(,1)Nu 数学期望数学期望2(,1)Nu 222()2(1)212211221vuuueduvedv 12 解解 由已知条件我们有由已知条件我们有 ， 即即E( (X)=)= 1 1，E( (Y)=)= 2 2. . 211(,)XN 222(,)YN 标准正态分布标准正态分布的密度函数的密度函数标准正态分布标准正态分布的方差的方差 例例4 4 设设( (X,Y) )服从二维正态分布服从二维正态分布 , ,试试求求X与与Y的相关系数的相关系数221122(,;,; )N 2221212uuedu Cov(,)()( )X YEXE X

19、YE Y 解解 由已知条件我们有由已知条件我们有 ， 即即E( (X)=)= 1 1，E( (Y)=)= 2 2. . 211(,)XN 222(,)YN 例例4 4 设设( (X,Y) )服从二维正态分布服从二维正态分布 , ,试试求求X与与Y的相关系数的相关系数221122(,;,; )N 2221212uuedu 12 Cov(,)()( )XYX YD XD Y说明：如果说明：如果( (X, ,Y) )服服从从二维正态分布二维正态分布, ,则则X与与Y独立的充要条独立的充要条件是件是 0XY 第第1010讲讲 协方差与相关系数协方差与相关系数矩、协方差矩阵矩、协方差矩阵 定义定义1 设

20、设X和和Y是随机变量，若是随机变量，若 存在存在, 则则称它为称它为X的的k阶原点矩阶原点矩. 简称简称k阶矩；阶矩； ()kE X 若若 存在存在, 则称它为则称它为X的的k阶中心矩；阶中心矩；() kEXE X 若若 存在，则称它为存在，则称它为X和和Y的的k+l阶混合原阶混合原点矩；点矩；klE X Y 若若 存在，则称它为存在，则称它为X和和Y的的k+l阶混合中心矩阶混合中心矩.() ( ) klEXE XYE Y 定义定义2 设设n维随机变量维随机变量 的二阶混合的二阶混合中心矩中心矩都存在都存在, 则矩阵则矩阵 为为n维随机变量维随机变量 的协方差矩阵的协方差矩阵. 12(,)nX

21、XXCov(,)()()ijijiijjcXXEXE XXE X111212122212nnnnnnccccccCccc 12(,)nXXXijjiccC是是对对称称矩矩阵阵1C 进进一一步步可可以以证证明明存存在在 例例5 5 设设( (X1,X2) )服从二维正态分布服从二维正态分布 , ,试求试求X与与Y的协方差矩阵的协方差矩阵. .221122(,;,; )N 解解 由已知条件我们有由已知条件我们有 ， 即即 . . 2111(,)XN 2222(,)XN 2211221212(),(),Cov(,)D XD XXX 11122122ccCcc 21122122 21112222112

22、()11(,)exp2(1)21xf xx 2112222122()()()2xyx 22212det(1)C 2211222221122()()()()122(1)xxyy 2112111122222212211(,)2(1)1xxxx 1122,xXx 22212det(1)C 1122()xXx 2112121122222222121211(,)2(1)xxxx 221221211()()2detTXXC 2212212111()()2detTXXC 11()()2TXCX 2211222221122()()()()122(1)xxyy 2211221222122121CC 例例5 5

23、设设( (X1,X2) )服从二维正态分布服从二维正态分布 , ,试求试求X与与Y的协方差矩阵的协方差矩阵. .221122(,;,; )N 解解 由已知条件我们有由已知条件我们有 ， 即即 . . 2111(,)XN 2222(,)XN 2211221212(),(),Cov(,)D XD XXX 11122122ccCcc 21122122 21112222112()11(,)exp2(1)21xf xx 2112222122()()()2xyx 1122,xXx 12/21/211exp()()(2 )(det)2TXCXC 自然将二维正态分布的定义推广到自然将二维正态分布的定义推广到n

24、维正态随机变量维正态随机变量 的情形的情形.12(,)nXXX111212122212nnnnnnccccccCccc n维正态随机变量维正态随机变量 定义为定义为12(,)nXXX12,nxxXx 11222()(),()nE XE XE X 1122/21/211(,)exp()()(2 )(det)2Tf x xXCXC 12(,)nf x xx1/21/211exp()()(2 )(det)2TnXCXC n维正态随机变量的重要性质维正态随机变量的重要性质 (1) (1) n维正态随机变量维正态随机变量 的每一个分量的每一个分量Xi (i=1, ,2, , ,n)都是正态随机变量都是正

25、态随机变量; ;反之反之, ,若若X1，X2，Xn都是正态随机变量都是正态随机变量, ,且相互独立且相互独立, ,则则 是是n维正态随机变量维正态随机变量12(,)nXXX12(,)nXXX (2) (2) n随机变量随机变量 服从服从n维正态分布的充维正态分布的充要条件是要条件是 都任意线性组合都任意线性组合服从一维正态分布服从一维正态分布( ( 不全为零）不全为零）. .1122nnl Xl Xl X12(,)nXXX12,nXXX12, ,nl ll (3) (3) 若若 服从服从n维正态分布维正态分布,设设 是是 线性函数，则线性函数，则 也服从多也服从多维正态分布维正态分布. .12

26、(,)nXXX12,kY YY(1,2, )jXjn 12(,)nY YY n维正态随机变量的重要性质维正态随机变量的重要性质 (4) (4) 若若 服从服从n维正态分布维正态分布, 则则“ 相互独立相互独立” 与与“ 两两不相关两两不相关”是等是等价的价的.12(,)nXXX12,XX,nX12,nXXX 例例4 4 设设( (X, ,Y) )服从二维正态分布服从二维正态分布N(1, 32; 0, 42; - -0.5),),其中其中Z=X/3+Y/2. 1) 1)求求Z的概率密度的概率密度. . 2) 2)求求X与与Z的相关系数的相关系数. . 3) 3)问问X与与Z是否相互独立？为什么？是否相互独立？为什么？ 分析分析 由于由于( (X, ,Y) )服从二维正态分布服从二维正态分布，由性质由性质(2)可知可知Z=X/3+Y/2服从一维正态分布服从一维正态分布. 因此，只需计算因此，只需计算Z的期望的期望和方差和方差. 解解 根据已知条件根据已知条件 , ,那么那么22(,) (1,3 ;0,4 ; 0.5)X YN 2(1,3 )XN()1,()9E XD X2(0,4 )YN(