概率论与数理统计：4-4协方差、相关系数、矩、协方差矩阵

1、概率论与数理统计第四章第四章 随机变量的数字特征随机变量的数字特征 4 4协方差、相关系数、矩、协方差矩阵协方差、相关系数、矩、协方差矩阵概率论与数理统计概率论与数理统计4.4.1 协方差及相关系数协方差及相关系数 如果两个随机变量如果两个随机变量X和和Y是相互独立的，则是相互独立的，则E X-E(X) Y-E(Y) =0这意味着当这意味着当E X-E(X) Y-E(Y) 0时，时，X、Y不相不相互独立，而是存在着一定的关系。互独立，而是存在着一定的关系。 概率论与数理统计定义定义 对二维随机变量对二维随机变量(X,Y),量量 E X-E(X) Y-E(Y) 称为随机变量称为随机变量 X与与

2、Y 的的协方差协方差(covariance),记为记为 Cov( X ,Y ).即即 Cov( X ,Y )= E X-E(X) Y-E(Y) 为随机变量为随机变量X与与Y 的的相关系数相关系数(correlation coefficient) ,)(0 ,)(0 YDXD若若)()(),(YDXDYXCovXY 称称XY 是一个无量纲的量。是一个无量纲的量。概率论与数理统计 对二维离散型随机变量（对二维离散型随机变量（X ,Y）有有 ijjijipYEyXExYXCov)()(),(11 对二维连续型随机变量（对二维连续型随机变量（X, Y ）有有 ),()()(),(dxdyyxfYEyX

3、ExYXCov 概率论与数理统计由数学期望和方差的性质得到由数学期望和方差的性质得到 ),(2)()()(YXCovYDXDYXD )()()(),(YEXEXYEYXCov 协方差具有下述性质协方差具有下述性质 : ),(),( 1XYCovYXCov ),(),( 2YXabCovbYaXCov ),(),(),( 32121YXCovYXCovYXXCov 概率论与数理统计概率论与数理统计)1()(,)(ppYDpYE 同理同理于是于是),1()(,)(ppXDpXE )1()()()(),(2ppppYEXEXYEYXCov 1)1()1()1()()(),( ppppppYDXDYX

4、CovXY ,)(pXYE 而而概率论与数理统计解解 0sin21)()()(ddfgXE 0cos21)()()(ddfhYE ，其它，其它0,21)( f由题意有由题意有概率论与数理统计 0cossin21)(dXYE 21cos21)()()(212ddfhYE 21sin21)()()(222ddfgXE0)()()(),( YEXEXYEYXCov因因0)()(),( YDXDYXCovXY 得得概率论与数理统计相关系数相关系数 也是表征随机变量也是表征随机变量 X、Y 之间线性关之间线性关 XY 系紧密程度的量，具有下述性质系紧密程度的量，具有下述性质 （1）如果随机变量）如果随机

5、变量 X、Y 相互独立，相互独立， 则则 0 XY 概率论与数理统计)()()()( )()()()(2XDaXDbXaEbaXXEXEYDXDYEYXEXEXY （2）若若)0( abaXY，则则1 XY 。 事事实实上上，由由bXaEYEbaXY )()(,， )()(2XDaYD 得得 0 10 1, )()(2aaaaXDaXEXaE，当当, 1 XY 则称则称与与正相关正相关；当当1 XY 时时为为负相关负相关。 概率论与数理统计1 XY (3)0)()()()(2 YDYEYXDXEXE事实上，由事实上，由 有有2)()()()(YDYEYXDXEXE )()()()()()(2)

6、()(22YDYEYYDXDYEYXEXXDXEXE 22)()()()()()(2)()(YDYEYEYDXDYEYXEXEXDXEXE 022)()(2)()( XYXYYDYDXDXD 1 XY 即即概率论与数理统计以下四个结论彼此等价以下四个结论彼此等价 )(0 ,)(0YDXD若若 0 (1)XY 0)( )2( X,YCov )()()( )3(YEXEXYE D(Y)D(X)Y) D(X )4(概率论与数理统计概率论与数理统计例例 1 , 01 ,1),(2222yxyxyxf 221121,121),()(xxXxxdydyyxfxf 易知易知X,Y的边缘概率密度的边缘概率密度

7、设设二维二维随机变量随机变量（，）的的概率密度为概率密度为 221121,121),()(yyYyydxdxyxfyf 因为因为)()(),(yfxfyxfYX 故与不独立。故与不独立。 概率论与数理统计另一方面，易知另一方面，易知E(X)=E(Y)=0上述情况，上述情况，“ 不相关不相关”和和“相互独立相互独立”是不等价的，是不等价的，这是因为不相关只是就线性关系来说的这是因为不相关只是就线性关系来说的,而相互独立而相互独立是就一般关系而言的是就一般关系而言的 。不过从下面例子可以看到，。不过从下面例子可以看到，当当 （X,Y ) 服从二维正态分布时，服从二维正态分布时，X 与与 Y 不相关

8、不相关与相互独立是等价的。与相互独立是等价的。 12201)(),( yxxyXYEYXCov 而而0 XY , X 与与 Y 不相关。不相关。 从而从而概率论与数理统计exp121),(221 yxf )()(2)()1(212222212121212 yyxx求求X与与Y的的相相关关系系数数XY 。 概率论与数理统计 xedyyxfxfxX- ,21),()(2122)(1 yedxyxfyfyY- ,21),()(2222)(2 解解 由由前前述述知知道道),(YX的的边边缘缘概概率率密密度度为为 .)(,)(,)(,)( 222121 YDXDYEXE于是于是概率论与数理统计 2121

9、2)( 21221)(121 xeyxdxdyexy211222)1(21 1111222),(11 xuxyt令令dxdyyxfyxYXCov),()( )(),( 21 而而概率论与数理统计 dtdueutuYXCovtu2222122122)1(21),( )(21)(2222212222212222 dtteduuedtetdueututu 22221 21 )()(),( YDXDYXCovXY于是于是概率论与数理统计 可见二维正态随机变量（可见二维正态随机变量（X,Y）的概率密度的参数的概率密度的参数 就是就是 X 与与 Y 的的相关系数相关系数。 因而二维正态随机变量的分布完全可

10、由因而二维正态随机变量的分布完全可由 X、 Y 的各自的各自 的数学期望、方差以及它们的相关系数所确定。的数学期望、方差以及它们的相关系数所确定。由前面讨论可知，由前面讨论可知， 若若（X，Y）服从二维正态分布服从二维正态分布那么那么 X 和和 Y 相互独立的充要条件为相互独立的充要条件为 ，现在还知道，现在还知道 0 XY 故知对于二维正态随机变量（故知对于二维正态随机变量（X,Y）来说来说X 与与 Y 不相关不相关与与 X 和和 Y 相互独立相互独立是等价的是等价的。概率论与数理统计下面我们来说明相关系数的统计含义：下面我们来说明相关系数的统计含义：例如，考察二维随机变量（例如，考察二维随

11、机变量（X ，Y）,其含义分别为其含义分别为 ),(灯泡某原件的质量灯泡某原件的质量灯泡的寿命灯泡的寿命YXYX概率论与数理统计下面我们来考察下面我们来考察 X 与与 Y 之间的联系。之间的联系。为此作了为此作了 n 次试验，次试验， 得到得到 n 组实验数据：组实验数据： ),( , ),( ),(2211nnyxyxyx在在xoy平面上描出这些点，若是下述几种情况，平面上描出这些点，若是下述几种情况，我们用数据点的分布来说明这关系：我们用数据点的分布来说明这关系：概率论与数理统计oxy X 、Y 是相互不关联的，即是相互不关联的，即该原件的质量对产品的寿命该原件的质量对产品的寿命不发生影响

12、。不发生影响。 oxy 介于上述二者之间，即介于上述二者之间，即 X 与与 Y 有一定的线性关联性，但较第有一定的线性关联性，但较第 一种弱一种弱 。 oxy X 、Y 是线性关联的，即该原是线性关联的，即该原件件 的质量直接影响的产品的寿的质量直接影响的产品的寿命。命。概率论与数理统计我们可以用数量关系我们可以用数量关系 ： 来刻划来刻划 nkkkbaxyn12)(1minX 与与 Y 之间线性关系的程度，之间线性关系的程度， 式中极小值是对式中极小值是对 a 和和b 而取的；上式值越小，表明各点的而取的；上式值越小，表明各点的偏离直线偏离直线 y=ax+b 程度越小程度越小，进而，进而 X

13、 与与 Y 的的线性关系越强线性关系越强； 反之反之,则线则线 性关系较弱。性关系较弱。概率论与数理统计)(2)(2)(2)()( )(22222YbEXabEXYaEbXEaYEbaXYEe 来衡量来衡量 以以 aX+b 近似表达近似表达 Y 的好坏程度的好坏程度 , e的值越小的值越小表示表示 X 与与 Y 之间的线性关系越强，即之间的线性关系越强，即 aX+b与与Y 的近似程度越好。的近似程度越好。对于二维随机变量（对于二维随机变量（X,Y），），用用均方误差均方误差概率论与数理统计这样，我们就取这样，我们就取a、b 使使 e取到最小取到最小下面就来求最佳近似式下面就来求最佳近似式aX+

14、b中的中的a,b为此，为此， 将将 e=e (a, b) 对对 a, b 求偏导求偏导,并令其为零，得并令其为零，得 0)(2)(2)(22 XbEXYEXaEae0)(2)(22 YEXaEbbe概率论与数理统计解得解得 )(),(0XDYXCova )(),()()()()(00XDYXCovXEYEXEaYEb )()1( )(),(220000minYDbXaYEbaeeXY 于是得于是得 概率论与数理统计)()1(2minYDeXY 由式由式 可以看出，可以看出，均方误差均方误差 e 是是XY 的严格单调减函数，于是，相关系数的含义就明的严格单调减函数，于是，相关系数的含义就明 XY

15、 显了。显了。较大，则较大，则 e 较小，较小， 表明表明 X 、Y 线性相关的线性相关的 程度较好，特别，有程度较好，特别，有 1 XY 10 XY 1XY 0 XY X与与 Y 之间是之间是 Y=aX+b的线性关系的线性关系 X与与 Y 有一定程度的线性关系有一定程度的线性关系 X与与 Y 线性相关程度较差线性相关程度较差 X与与 Y 没有线性关系，即没有线性关系，即 X 与与 Y 不相关不相关 概率论与数理统计2)(baXYE 使使 取最小值的直线方程为取最小值的直线方程为)()(),()()(),(XEXDYXCovYExXDYXCovbaxy )()()()(XDXExYDYEyXY

16、 或或说明该直线通过（说明该直线通过（E(X),E(Y)），），通常称之为通常称之为Y关于关于X的的回归直线回归直线.概率论与数理统计4.4.2 矩矩 定义定义 设设 X 和和 Y 是随机变量是随机变量(以下假设各随机变量以下假设各随机变量 的期望均存在）的期望均存在） （1）称）称), 2 , 1( )( kXEk为为 X 的的 k 阶原点矩阶原点矩，简称，简称 k 阶矩阶矩 (kth moment)。（2）称）称), 2 , 1( )( kXEXEk为为 X 的的 k 阶阶中心矩中心矩(kth central moment)。概率论与数理统计（3）称）称), 2 , 1,( )( lkYX

17、Elk为为 X 、Y 的的 k +l 阶混合矩阶混合矩。), 2 , 1( )()( kYEYXEXElk（4）称）称为为 X 、Y 的的 k +l 阶混合中心矩阶混合中心矩。显然，显然， E(X) 是是 X 的一阶原点矩，的一阶原点矩，D(X) 是是 X 的二阶的二阶 中心矩，中心矩，Cov(X,Y)是是 X、Y 的二阶混合中心矩。的二阶混合中心矩。 概率论与数理统计4.4.3 协方差矩阵协方差矩阵 将它们写成矩阵的形式：将它们写成矩阵的形式： 22211211CCCCC 21111)( XEXEC 22222)( XEXEC )()( 221112XEXXEXEC )()( 112221X

18、EXXEXEC 二维随机变量二维随机变量 有四个二阶中心矩有四个二阶中心矩(设它们设它们 都存在都存在)，分记为，分记为 ),(21XX概率论与数理统计设设 n 维随机变量维随机变量 的二阶混合中心矩的二阶混合中心矩 ),(21nXXXX njiXEXXEXEXXCovCjjiijiij, 2 , 1, )()(),( 都存在都存在, 则称矩阵则称矩阵 C 为为 n 维随机变量维随机变量 的的协方差矩阵协方差矩阵。其中。其中 矩阵矩阵 C 为为 ),(21nXXXX 212222111211 nnnnnnCCCCCCCCCC), 2 , 1,(njijiccjiij 由于由于 因而上述矩阵是因

19、而上述矩阵是一个一个对称矩阵（对称矩阵（symmetric matrix）概率论与数理统计概率论与数理统计二维正态随机变量二维正态随机变量 的概率密度为的概率密度为),(21XXexp121),(22121 xxf )()(2)()1(2122222212211212112 xxxx 21xxX 21 概率论与数理统计 2221212122211211 CCCCC)1(22221 C它的行列是它的行列是 2121212211 CC它的逆矩阵为它的逆矩阵为),(21XX的的协方差协方差矩阵矩阵为为 概率论与数理统计)()(1 XCXT 2211212121222211),(1 xxxxC)()(

20、2)()1(122222212211212112 xxxx于是于是 的概率密度可写成的概率密度可写成),(21XX )()(21exp)2(1),(1212221 XCXCxxfT概率论与数理统计推广到推广到n维正态随机变量维正态随机变量 的情况的情况.),(21nXXX引入列矩阵引入列矩阵 nxxxX21 )()()(2121nnXEXEXE n维正态随机变量维正态随机变量 的概率密度定义为的概率密度定义为),(21nXXX )()(21exp)2(1),(121221 XCXCxxxfTnn其中，其中，C是是 的协方差矩阵的协方差矩阵),(21nXXX概率论与数理统计n 维随机变量维随机变

21、量 具有以下三条重要性质：具有以下三条重要性质： ),(21nXXXnnXlXlXl 2211(1) n维随机变量维随机变量 服从服从n维正态分布的维正态分布的),(21nXXXnXXX,21充要条件是充要条件是 的任意的线性组合的任意的线性组合服从服从一维正态分布一维正态分布(其中其中 不全为零不全为零)。nlll,21概率论与数理统计(3) 设设 服从服从维正态分布，则维正态分布，则),(21nXXX相互独立与两两不相关是等价的相互独立与两两不相关是等价的.nXXX,21nXXX,21(2) 若若 服从服从 n 维正态分布，设维正态分布，设 ),(21nXXXkYYY,21多维正态分布多维正态分布 。（此为正态变量的线性变换不变性（此为正态变量的线性变换不变性 ）是是 线性函数，则线性函数，则 也服从也服从),(21