概率论-第4章 随机变量的数字特征3-4.

1、概率论与数理分析第四章 随机变量的数字特征1 数学期望数学期望2 方差方差3 协方差及相关系数协方差及相关系数4 矩、协方差矩阵矩、协方差矩阵1. 问题的提出 ,相互独立相互独立和和若随机变量若随机变量YX )(YXD不相互独立不相互独立和和若随机变量若随机变量YX?)( YXD )(YXD).()(2)()(YEYXEXEYDXD 一、协方差与相关系数的概念及性质一、协方差与相关系数的概念及性质 协方差那么那么).()(YDXD 22)()(YXEYXE 3 协方差及相关系数协方差及相关系数2.定义称为随机变量称为随机变量量量)()(YEYXEXE ),ov(CYX),Cov(YX记为记为.

2、的协方差的协方差与与YX).()(YEYXEXE XY即而 )()(),Cov(YDXDYX .的相关系数的相关系数与与称为随机变量称为随机变量YX3 协方差及相关系数协方差及相关系数 ),Cov(YX)()(YEYEXEXE . 0 相互独立相互独立和和若随机变量若随机变量YX)3( )(YXD).()(YDXD 相互独立相互独立和和若随机变量若随机变量YX)2(),(Cov2)()(YXYDXD 3.说明 ,)1(协方差协方差的相关系数又称为标准的相关系数又称为标准和和YX)()(2 YEYXEXE )()(YDXD )()(YEYXEXE .个个无无量量纲纲的的量量它是一它是一3 协方差

3、及相关系数协方差及相关系数4. 协方差的计算公式 ),Cov()1(YX )()2(YXD证明 ),Cov()1(YX)()()()(YEXEYXEXYEXYE ).()()(YEXEXYE )()()()(2)(YEXEYEXEXYE );()()(YEXEXYE ).,Cov(2)()(YXYDXD )()(YEYXEXE 3 协方差及相关系数协方差及相关系数 )()2(YXD)()(2YEYXEXE )()(2YEYXEXE )()(22YEYEXEXE ).,Cov(2)()(YXYDXD )()(2YXEYXE 3 协方差及相关系数协方差及相关系数5. 性质 ),Cov(YX ),C

4、ov( bYaX ),Cov(21YXX;, 为常数为常数ba , ),Cov(YXab).,Cov(),Cov(21YXYX 341);,Cov(XY3 协方差及相关系数协方差及相关系数),Cov(XX2);(XD例例1，记，是二个随机变量，已知，设1cov41YXDYDXYXYX2VY2XU，试求：UV解：YXDDU2YXDYDX,cov441444113YX2DDVYXDYDX,cov441441443 协方差及相关系数协方差及相关系数VU,cov)2 ,2(covYXYXXX,cov2XY,cov4YX,covYY,cov2DYYXDX2,cov524215125所以，DVDUVUUV

5、,cov4135261353 协方差及相关系数协方差及相关系数的联合密度函数为，设二维随机变量YX及，试求：，YXYXcov其它，02020sin21yxyxyxf解：dxdyyxfxEX，2020sin21dxdyyxx4同理，4EY3 协方差及相关系数协方差及相关系数例例2228222822EY同理，dxdyyxfxEX，2220220sin21dxdyyxx22EXEXDX所以，2216222162DY同理，3 协方差及相关系数协方差及相关系数12因此，dxdyyxfxyXYE， 2020sin21dxdyyxxy EYEXXYEYX,cov161222216161222DYDXYXYX

6、,cov,245. 03 协方差及相关系数协方差及相关系数例例3 设（设（X，Y）的分布率为）的分布率为, 0)( XE易知易知,25)( YE, 0)( XYE, 0 XY ., 不相关不相关YX., 不存在线性关系不存在线性关系即即YX1, 2 YXP由于由于12 YPXP 0 .,不相互独立不相互独立所以所以YX事实上，事实上，,2XY .的值所确定的值所确定的值完全可由的值完全可由 XYXY41 iXP iYP 212112 1 12041410414100414141413 协方差及相关系数协方差及相关系数 Y X-101 ip-18181818308108182181818183j

7、p838283及边缘分布律为的联合分布律，设二维离散型随机变量YX例43 协方差及相关系数协方差及相关系数0831820831EX则0831820831EY1XYP10XYP01XYP1XYE1Y1XP1Y1XP10Y1XP0Y1XP1Y0XP1Y0XP01Y1XP1Y1XP1，03 协方差及相关系数协方差及相关系数 EYEXXYEYXcov，所以，0不相关；与这表明，随机变量YX但另一方面，由00Y0XP ， 16182820YP0XP不独立与知：YX3 协方差及相关系数协方差及相关系数例例5量量是是二二随随机机事事件件；随随机机变变设设BA, .1, 11, 1不出现不出现，若，若出现，出

8、现，若若不出现，不出现，若，若出现，出现，若若BBYAAX.相相互互独独立立与与是是不不相相关关的的充充分分必必要要条条件件和和试试证证明明随随机机变变量量BAYX证明：证明：EXEYEXYYX ),cov( EX. 1)(2 BPEY)()(APAP , 1)(2 AP3 协方差及相关系数协方差及相关系数 EXEY1)(21)(2 BPAP1)B(P2)A(P2)B(P)A(P4EXY)()()()(BAPBAPBAPABP)(ABP)()()()()(ABPBPABPAPABP0),cov(EXEYEXYYX)()()(BPAPABP1, 111YXP1, 1) 1(1YXP1, 11)

9、1(YXP1, 1) 1() 1(YXP)()(ABPAP)()(BAPAP)()()(1 ABPBPAP3 协方差及相关系数协方差及相关系数)AB(P)B(P1)B(P2)A(P2)AB(P4例6,),(服从二维正态分布设YX它的概率密度为 ),(yxf 22222121)()(2yyx 21212221)()1(21exp121x.的相关系数的相关系数与与求求YX3 协方差及相关系数协方差及相关系数 )(xfX )(yfY解的边缘概率密度为的边缘概率密度为),(YX,e2121212)(1x , x,e2122222)(2y . y,)(1XE 故知故知,)(2YE .)(22YD ,)(

10、21XD ),Cov(YX而yxyxfyxdd),()(21 3 协方差及相关系数协方差及相关系数 )(12121221yx,1111222 xyt,11xu .ddee2112222121)1(212)(xyxyx 则有令 utututudde )1(212222122122 ),Cov(YX3 协方差及相关系数协方差及相关系数 tuutudede22222122 ttuutudede212222122 ,22221 XY )()(),Cov(YDXDYX. 于是.),Cov(21YX 即有3 协方差及相关系数协方差及相关系数结论,)1(中中二维正态分布密度函数二维正态分布密度函数相关系数为

11、零相关系数为零与与二维正态随机变量二维正态随机变量 )2(YX;的相关系数的相关系数与与YX 代表了代表了参数参数.相互独立相互独立与与等价于等价于YX3 协方差及相关系数协方差及相关系数1. 问题的提出,应如何选择应如何选择问问ba)(2bXaYEe 设设.的好坏程度的好坏程度近似表达近似表达可用来衡量可用来衡量则则YbXae ,的值越小的值越小当当e, 的值的值确定确定ba二、相关系数的意义二、相关系数的意义?衡量衡量接近的程度又应如何来接近的程度又应如何来?YbaX最接近最接近可使可使 .的近似程度越好的近似程度越好与与表示表示YbXa .达到最小达到最小使使 e3 协方差及相关系数协方

12、差及相关系数)(2)(2)()(2222XabEXYbEaXEbYE , 求偏导数求偏导数分别关于分别关于将将bae 解得0b0ae)(2bXaYE ).(2YaE ,并令它们等于零并令它们等于零 得得ae )(2)(22YEXbEa , 0)(2)(2)(22XaEXYEXbE . 0be ,)(),Cov(XDYX .)(),Cov()()(XDYXXEYE 3 协方差及相关系数协方差及相关系数,)(,200中中代入代入将将bXaYEeba eba,min).()1(2YDXY )(200XbaYE 得得)(2bXaYE 3 协方差及相关系数协方差及相关系数2. 相关系数的意义,较小较小较

13、大时较大时当当eXY,较小时较小时当当XY,0时时当当 XY.系较紧密系较紧密的线性关系联的线性关系联表明表明YX,.,线性相关的程度较差线性相关的程度较差YX.不相关不相关YX 和和称称3 协方差及相关系数协方差及相关系数(1) 不相关与相互独立的关系3. 注意相互独立不相关(2) 不相关的充要条件; 0,1o XYYX不相关不相关; 0),Cov(,2o YXYX不相关不相关).()()(,3oYEXEXYEYX 不相关不相关3 协方差及相关系数协方差及相关系数. 1 XY. 1 bXaYP4. 相关系数的性质 1 2:1的充要条件是的充要条件是 XY使使存在常数存在常数ba,证. 1 X

14、Y亦即亦即 1 2)()(3.4)200YDXbaYE及及式与式与由由 ,的非负性的非负性, 012 XY得知得知式得式得由由若若)4 . 3(1 XY)(200XbaYE . 0 3 协方差及相关系数协方差及相关系数从而 0 )(200XbaYE ,)()(20000XbaYEXbaYD 故有)(00XbaYD )(00XbaYE . 0 , 0 00XbaYP 0)(00 XbaYP知知又由方差性质又由方差性质 4即 . 1, 1 ,反之反之使使若存在常数若存在常数 ba ,3 协方差及相关系数协方差及相关系数XbaYP , 1 )(2XbaYE 0)(2 XbaYP0)( XbaYP即

15、于是即得, 1 , 1 . 0 )(min2,bXaYEba )(200XbaYE )(2XbaYE 故有0 ).()1(2YDXY . 1 XY即得3 协方差及相关系数协方差及相关系数三、小结三、小结二、相关系数的意义和性质4.性质3.协方差的计算公式2.定义1.问题的提出一、协方差与相关系数的概念及性质1.意义2.性质3 协方差及相关系数协方差及相关系数一、矩、协方差矩阵基本概念一、矩、协方差矩阵基本概念1.矩的概念矩的概念),(kXE.阶中心矩阶中心矩的的称它为称它为kX,是随机变量是随机变量和和设设YX若若,存在存在,阶原点矩阶原点矩的的称它为称它为kX.阶矩阶矩简称简称 k, 2 ,

16、 1 k,)(kXEXE 若若,存在存在, 3 , 2 k4 矩、协方差矩阵矩、协方差矩阵),(lkYXE,存在存在.阶混合矩阶混合矩的的和和称它为称它为lkYX 若若, 2 , 1, lk ,)()(lkYEYXEXE ,存在存在若若.阶混合中心矩阶混合中心矩的的和和称它为称它为lkYX , 2 , 1, lk4 矩、协方差矩阵矩、协方差矩阵 说明 变变量量函函数数的的数数学学期期望望；以以上上数数字字特特征征都都是是随随机机 )1(的一阶原的一阶原是是的数学期望的数学期望随机变量随机变量XXEX)()2(;的二阶混合中心矩的二阶混合中心矩与与Y,点矩点矩,方差为二阶中心矩方差为二阶中心矩X

17、YX是是协方差协方差),Cov(,)3(在实际应用中在实际应用中.4阶的矩很少使用阶的矩很少使用高于高于4 矩、协方差矩阵矩、协方差矩阵主主要要用用来来衡衡量量随随三三阶阶中中心心矩矩)(3XEXE 主主要要用用来来衡衡量量随随四四阶阶中中心心矩矩 )( 4XEXE .机变量的分布是否有偏机变量的分布是否有偏.近近的的陡陡峭峭程程度度如如何何机机变变量量的的分分布布在在均均值值附附4 矩、协方差矩阵矩、协方差矩阵2. 协方差矩阵协方差矩阵的二阶混合中心矩维随机变量设),(21nXXXn ijc ,都存在都存在nji, 2 , 1, )()(jjiiXEXXEXE ),Cov(jiXX则称矩阵则

18、称矩阵 C.协方差矩阵协方差矩阵维随机变量的维随机变量的为为nnccc11211nccc22221nnnnccc214 矩、协方差矩阵矩、协方差矩阵例如例如 C的协方差矩阵为的协方差矩阵为二维随机变量二维随机变量),(21XX 22211211cccc其中其中11c,)(211XEXE 12c21c22c ),()(2211XEXXEXE ),()(1122XEXXEXE .)(222XEXE .阵阵为为对对称称的的非非负负定定矩矩阵阵,), 2 , 1,(njiccjiij 由由于于所以协方差矩所以协方差矩4 矩、协方差矩阵矩、协方差矩阵协方差矩阵的应用协方差矩阵的应用4 矩、协方差矩阵矩、

19、协方差矩阵 协方差协方差矩阵可用来表示多维随机变量的矩阵可用来表示多维随机变量的概率密度概率密度，从而可通过协方差矩阵达到对多，从而可通过协方差矩阵达到对多维随机变量的维随机变量的研究。研究。概率密度概率密度 212112221)()1(21exp121x 22222212211)()(2xxx ),(21xxf现在将上式中花括号内的式子写成矩阵形式,引入下面的列矩阵为此,21 xxX.21 .),(21为例为例以二维正态随机变量以二维正态随机变量XX4 矩、协方差矩阵矩、协方差矩阵的协方差矩阵为的协方差矩阵为),(21XX C,22212121 ),1(det22212 C它的行列式它的行列

20、式的逆矩阵为的逆矩阵为C 22211211cccc 1C的转置的转置是是这里矩阵这里矩阵经过计算可知经过计算可知)()(T xx)矩阵矩阵 21212122det1C4 矩、协方差矩阵矩、协方差矩阵)()(1TXCX 212211212112)(2)(11xxx 212121222211),(det1xxC 2211xx.)(22222 x4 矩、协方差矩阵矩、协方差矩阵的概率密度可写成的概率密度可写成于是于是),(21XX),(21xxf.)()(21exp)(det)2(11T2122 XCXC 引入列矩阵 x nx2x1x和 , n21)(nXE)(2XE)(1XE4 矩、协方差矩阵矩、

21、协方差矩阵的概率密度定义为的概率密度定义为维随机变量维随机变量),(21nXXXn),(21nxxxf.)()(21exp)(det)2(11T212 XCXCn.),(21的协方差矩阵的协方差矩阵是是其中其中nXXXC 4 矩、协方差矩阵矩、协方差矩阵二、二、n 维正态变量的性质维正态变量的性质的每一的每一维正态随机变量维正态随机变量),(21nXXXn 1,且相互独立且相互独立,iX个分量个分量,反之反之,21都是正态随机变量都是正态随机变量若若nXXX维正态随机变维正态随机变是是则则nXXXn),(21.量量;, 2, 1都是正态随机变量都是正态随机变量ni 2维正维正服从服从维随机变量

22、维随机变量nXXXnn),(21态分布的充要条件：态分布的充要条件：的任意的线的任意的线nXXX,21nnXlXlXl 2211性组合性组合.服从一维正态分布服从一维正态分布4 矩、协方差矩阵矩、协方差矩阵这一性质称为正态变量的这一性质称为正态变量的线性变换线性变换不变性不变性。 3,),(21维正态分布维正态分布服从服从若若nXXXn设设,), 2 , 1(,1的线性函数的线性函数是是njXYYjk .),(21也服从多维正态分布也服从多维正态分布则则kYYY 4,),(1维正态分布维正态分布服从服从设设nXXn, 1X“则则两两两两“与与相相互互独独立立” , , ,212nnXXXXX.