协方差及相关系数及其性质

1、协方差及相关系数及其性质 一、基本概念一、基本概念 二、二、n 维正态变量的性质维正态变量的性质 4.3协方差与相关系数 协方差及相关系数及其性质 对于二维随机变量对于二维随机变量(X ,Y ): 已知联合分布已知联合分布 边缘分布边缘分布 对二维随机变量对二维随机变量,除每个随机变量各自的除每个随机变量各自的 概率特性外概率特性外, 相互之间还有某种联系相互之间还有某种联系,问题是用问题是用 一个怎样的数去反映这种联系一个怎样的数去反映这种联系. 问题的提出问题的提出 协方差及相关系数及其性质 那么那么相互独立相互独立和和若随机变量若随机变量,YX ).()()(YDXDYXD 不相互独立不

2、相互独立和和若随机变量若随机变量YX ?)( YXD 22 )()()(YXEYXEYXD ).()(2)()(YEYXEXEYDXD 协方差协方差 反映了随机变量反映了随机变量 X , YX , Y 之间的某种关系之间的某种关系 协方差及相关系数及其性质 . )()( ),ov(C , ),Cov(. )( )( YEYXEXEYX YXY XYEYXEXE 即即记为记为的协方差的协方差与与 称为随机变量称为随机变量量量 1. 定义定义 . )()( ),Cov( 的相关系数与为随机变量YX YDXD YX XY 一一 .协方差和相关系数的定义协方差和相关系数的定义 若若D (X ) 0,

3、D (Y ) 0 ,称称 若若 , 0 XY 称称 X ,YX ,Y 不相关不相关. 无量纲 的量 协方差及相关系数及其性质 )()(),Cov(YEYXEXEYX )()(YEYEXEXE . 0 相互独立和若随机变量YX 2. 说明说明 3. 协方差的计算公式协方差的计算公式 法法1.1.若若 ( X ,Y ) ( X ,Y ) 为离散型，已知为离散型，已知p pij ij 11 cov(, )()( ) ijij ij X YxE XyE Y p 若若 ( X ,Y ) ( X ,Y ) 为连续型，已知为连续型，已知f(x,y)f(x,y) cov( , )( )( ) ( , )X Y

4、xE XyE Yf x y dxdy 协方差及相关系数及其性质 );()()(),Cov()1(YEXEXYEYX ).,Cov(2)()()()2(YXYDXDYXD 法2. 4. 性质性质 );,Cov(),Cov()1(XYYX ;, , ),Cov(),Cov()2(为为常常数数baYXabbYaX ).,Cov(),Cov(),Cov()3( 2121 YXYXYXX 协方差及相关系数及其性质 求求cov (X ,Y ) XY 1 0 p q X P 1 0 p q Y P 例例1 1 已知已知 X ,YX ,Y 的联合分布为的联合分布为 X Y pij 1 0 1 0 p 0 0

5、q 0 p 1 p + q = 1 解解 1 0 p q X Y P ,)(,)( ,)(,)( pqYDpqXD pYEpXE ,)(pXYE 1 ,),cov( XY pqYX 协方差及相关系数及其性质 解解 dxdyyxfyxYX),()(),cov( 21 dsdtest tts 22 2 2 1 )( )1 (2 1 dudteutt t u 2 2 2 2 1 )1 (2 )( 2 21 12 uts 令 2 21 12 s x 1 1 t y 2 2 dtetdue t u 2 2 2 2 1 2)1 (2 2 21 12 21 例例2 2 设设 ( X ,Y ) ，求，求 XY

6、 ),( 2 2 2 121 N 协方差及相关系数及其性质 . )()( ),Cov( YDXD YX XY 于是于是 结论结论 ; ,)1( 的相关系数的相关系数与与 代表了代表了参数参数中中二维正态分布密度函数二维正态分布密度函数 Y X . )2( 相互独立相互独立与与价于价于 相关系数为零等相关系数为零等与与二维正态随机变量二维正态随机变量 YX YX 即即X ,YX ,Y 相互独立相互独立 X ,YX ,Y 不相关不相关 协方差及相关系数及其性质 .23,21 , )4 , 0(, )3 , 1(, 22 YXZ NNYX XY 设设 分分别别服服从从已已知知随随机机变变量量 .)2

7、.()1 (的相关系数与求的数学期望和方差求ZXZ 解解.16)(, 0)(, 9)(, 1)()1( YDYEXDXE由由 23 )( YX EZE得得)( 2 1 )( 3 1 YEXE . 3 1 例例3 2 , 3 Cov2 23 )( YXY D X DZD ),Cov( 3 1 )( 4 1 )( 9 1 YXYDXD )()( 3 1 )( 4 1 )( 9 1 YDXDYDXD XY . 3241 协方差及相关系数及其性质 1. 问题的提出问题的提出 ? ?, 衡量接近的程度又应如何来 最接近可使应如何选择问YbXaba )( 2 bXaYEe 设设 .的的好好坏坏程程度度近近

8、似似表表达达可可用用来来衡衡量量则则YbXae .,的的近近似似程程度度越越好好与与表表示示的的值值越越小小当当YbXae .,达达到到最最小小使使的的值值确确定定eba 二、相关系数的意义二、相关系数的意义 协方差及相关系数及其性质 ).(2 )(2)(2)()( 2222 YaE XabEXYbEaXEbYE 得得并令它们等于零并令它们等于零求偏导数求偏导数分别关于分别关于将将,bae . 0)(2)(2)(2 , 0)(2)(22 2 XaEXYEXbE b e YEXbEa a e 解得解得, )( ),Cov( 0 XD YX b . )( ),Cov( )()( 0 XD YX X

9、EYEa )( 2 bXaYEe 协方差及相关系数及其性质 得得中中代代入入将将,)(, 2 00 bXaYEeba )(minmin 2 , bXaYEe baba ).()1( 2 YDXY 2. 相关系数的意义相关系数的意义 . , 系系较较紧紧密密 的的线线性性关关系系联联表表明明较较小小较较大大时时当当YXeXY .,线性相关的程度较差线性相关的程度较差较小时较小时当当YXXY .,0不相关不相关YXXY和和称称时时当当 )( 2 00 XbaYE 协方差及相关系数及其性质 例例4 ?, )cos( ,cos,2, 0 的的相相关关系系数数和和求求是是常常数数这这里里 的的均均匀匀分

10、分布布服服从从设设 aa 解解, 0dcos 2 1 )( 2 0 xxE , 2 1 dcos 2 1 )( 2 0 22 xxE , 0d)(cos 2 1 )( 2 0 xaxE , 2 1 d)(cos 2 1 )( 2 0 22 xaxE ,cos 2 1 d)cos(cos 2 1 )( 2 0 axaxxE 数数为为由由以以上上数数据据可可得得相相关关系系 .cosa 协方差及相关系数及其性质 (1) (1) 不相关与相互独立的关系不相关与相互独立的关系 3. 注意注意 相互独立相互独立 不相关不相关 (2) (2) 不相关的充要条件不相关的充要条件 ; 0,1o XY YX不不

11、相相关关 ; 0),Cov(,2o YXYX不不相相关关 ).()()(,3oYEXEXYEYX 不不相相关关 协方差及相关系数及其性质 4. 相关系数的性质相关系数的性质 . 1) 1 ( XY . 1 ,:1)2( baXYP baXY使存在常数的充要条件是 (1)(1)证：证： 由柯西一许瓦兹不等式知由柯西一许瓦兹不等式知 )()()( 222 YEXEXYE )()(|)()(| 22 YEYEXEXEYEYXEXE所以 )()(| ),(|YDXDYXCov 即即 所以所以|XY XY|1。 协方差及相关系数及其性质 意义意义 |XY|=1当且仅当当且仅当Y Y跟跟X X几乎有线性关

12、系。这说几乎有线性关系。这说 明了相关系数的概率意义。明了相关系数的概率意义。 XY是刻画是刻画X X，Y Y之间线性相关程度之间线性相关程度。 . 1 ,1)2( baXYP baXY使的充要条件是存在常数 . 1)()(XEXaYEYPa 使存在常数 . 1)()(YEXaEaXYP即，取)()(YEXaEb . 1 ,1 baXYP baXY使的充要条件是存在常数 (2)(2)证：证： 由柯西一许瓦兹不等式中等号成立（由柯西一许瓦兹不等式中等号成立（ ） 充要条件知充要条件知 1 XY 协方差及相关系数及其性质 练习练习 设设 ( X ,Y ) N ( 1,1; 4,4; 0.5 ),

13、Z = X + Y , 求求 XZ 解解, 4)()(, 1)()(YDXDYEXE 1/2, cov(, )2 XY X Y 6),cov(),cov(),cov(YXXXZX 12),cov(2)()()()(YXYDXDYXDZD 3/ 123/2. XZ 协方差及相关系数及其性质 )()(, )( 221112 2 1111 XEXXEXECXEXEC )(,)()( 2 2222112221 XEXECXEXXEXEC 写为矩阵的形式： , 2221 1211 CC CC 称为随机变量(X1,X2)的协方差矩阵。 (1)二维随机向量的协方差矩阵 二维随机变量(X1,X2)有四个二阶中

14、心矩(设他们存在)， 分别记为 三三.协方差矩阵协方差矩阵 协方差及相关系数及其性质 (2)推广 定义定义 设X=(X1,X2,Xn) 为n维随机向量,并记 i=E(Xi)， njiXXCovC jiij , 2 , 1,),( 则称=(1,2,n)为向量X的数学期望 或均值，称矩阵 nnnn n n CCC CCC CCC C 21 22221 11211 为向量X的协方差矩阵。 协方差及相关系数及其性质 例例6 6: 设(X,Y)N(1, 2,12,22,),求向量(X，Y)的 均值与协方差矩阵。 解: E(X)=1，E(Y)=2， 21 2 2 2 1 ),(,)(,)(YXCovYDX

15、D 所以(X，Y)的均值为=(1,2) 2 221 21 2 1 (X，Y)协方差矩阵为 协方差及相关系数及其性质 3. 协方差矩阵的性质 (1)协方差矩阵对角线上的元素Cii为Xi的方差即Cii=D(Xi) i=1， 2，n； (2)协方差矩阵C为对称矩阵,即Cij=Cji ,i，j=1，2，n； (3)C为非负定矩阵,即对于任意实向量t=(t1，t2，tn), 有tCt0； 证：性质(1)，(2)显然，只证(3) n j n i jjjiii n j n i jiij tXEXXEXEtttCCtt 1111 )()( n j n i jjjiii XEXtXEXtE 11 )()( n

16、j n i jjjiii XEXtXEXtE 11 )()( 2 1 )( n i iii XEXtE 协方差及相关系数及其性质 4多维正态分布及其性质 二维正态随机向量X=(X1，X2) 的概率密度为 )()( 2 )( )1(2 1 exp 12 1 ),( 2 2 2 22 21 2211 2 1 2 11 2 2 21 21 xxx x xxf 引入下面记号 2 221 21 2 1 2 1 2 1 , C x x x 协方差及相关系数及其性质 22 11 2 121 21 2 2 2211 1 ),( | 1 x x xx C xCx )()( 2 )( 1 1 2 2 2 22 2

17、1 2211 2 1 2 11 2 xxxx 经运算可得 22 2 2 1 1| C 2 121 21 2 21 | 1 C C 于是X=(X1，X2) 的概率密度可写成 )( 2 1 exp |2 1 ),( 1 2/1 2/2 21 xCx C xxf 2 221 21 2 1 2 1 2 1 , C x x x 协方差及相关系数及其性质 上式推广至n维正态分布的情况，于是有以下定义： (1)定义 若n维随机向量X=(X1，Xn)的概率密度为 )( 2 1 exp |2 1 ),( 1 2/1 2/ 21 xCx C xxxf n n 其中X=(X1，Xn),=(1，2，n) 为n维实向量

18、，C为n阶正定对称矩阵，则称向量 X=(X1，Xn)服从n维正态分布，记为XN(,C) . 对于n维正态分布XN(,C) ，X的期望为，X的协方差矩阵 为C。 协方差及相关系数及其性质 (2) (2) 性质性质 （P179P179页）页） n维正态分布具有下述性质： 1)n维随机向量(X1，Xn)服从n维正态分布充要条件是 X1，Xn的任意线性组合l1X1+l2X2+lnXn(l1,l2,ln是 不全为0的数)服从一维正态分布。 2)若X=(X1,Xn)N(,C)，设Y=(Y1,Y2,Ym)=AX,即Yi i 为Xj (j=1，2，n)的线性函数,i i=1，2，m，则Y N(A，ACA)，其中A为m行n列且秩为m的矩阵。 3)设(X1，Xn)服