第四章 协方差及相关系数 矩及协方差矩阵2016

1、高等院校非数学类本科数学课程 大 学 数 学(四) 概率论与数理统计 脚本编写：孟益民 教案制作：孟益民第四章 数字特征理解数学期望概念，掌握它的性质与计算。理解方差概念，掌握它的性质与计算。掌握（01）分布，二项分布，泊松分布，正态正态分布，指数分布的数学期望与方差。掌握协方差、相关系数的概念及计算。了解矩、协方差矩阵的概念。 前面我们介绍了随机变量的数学期望和方差，对于二前面我们介绍了随机变量的数学期望和方差，对于二维随机变量维随机变量（X, Y），），我们除了讨论我们除了讨论X与与Y的数学期望和方的数学期望和方差以外，还要讨论描述差以外，还要讨论描述X和和Y之间关系的数字特征，这就是之间

2、关系的数字特征，这就是本讲要讨论的本讲要讨论的协方差和相关系数协方差和相关系数第四节 协方差及相关系数一、协方差二、相关系数三、矩第五节 矩、协方差矩阵定性的思考定性的思考 通常人们在研究单个的随机变量的时候, 并不关心它们的分布, 而是关心它们的数学期望和方差, 这也是因为分布携带了太多的信息, 很难给人们一个快捷的印象.而人们在研究两个随机变量的关系的时候, 也不关心它们的联合分布, 这是因为携带了更多信息的内容. 人们关心的是, 这两个随机变量是联系非常紧密呢? 还是毫无关系?即相互独立? 人们希望用一个数字就能够在相当程度上描述两个随机变量的联系程度. 当然, 从数学上看, 这是不可能

3、的，因为联合分布的信息量为许多个数, 甚至无穷多个数, 因此一个数不可能反映出无穷多个数携带的信息. 但是我们仍然希望能够找到描述它们之间相互关系的一个数, 至少在大多数实际情况下能够描绘两个随机变量联系的紧密程度, 例如, 如果这个数字越接近于零, 说明这两个随机变量的联系越差, 越接近于相互独立, 反之则联系越紧密, 越接近于相互之间有关系.例如 这样一些问题都希望能够用一个数字就表示出来, 这就人们想到要用协方差和相关系数的原因.一个人的身高和体重是非常有关系的, 但是又并不完全是严格的函数关系, 那么关系程度究竟有多大呢?一个人的吸烟量和他的平均寿命是有关系的, 这个关系量又有多大呢?

4、一种化肥的施用量和农作物的产量是有关系的, 这个关系的大小又是如何呢?一、协方差一、协方差D(X+ Y)=EX + Y -E(X + Y)2 =EX -E X + Y -E Y2 =E(X -EX)2+(Y -E Y)2+2(X -EX)(Y -E Y) =E(X -EX)2+E(Y -E Y)2+2E(X -EX)(Y -E Y) =DX +DY+2E(X -EX)(Y -E Y) 对于两个随机变量X 和Y 当它们是完全相等的时候, 联系是最紧密的了.而当它们相互独立的时候, 联系是最差的了.我们先研究它们的和X +Y 的方差: 量EX-E(X)Y-E(Y)称为随机变量X与Y 的协方差协方差

5、.记为Cov(X,Y), 即 Cov(X,Y)=EX-E(X)Y-E(Y).定义定义1 1协方差的计算协方差的计算即相乘的均值减去均值的相乘. 其中EX和EY是通过边缘分布计算的, 因此关键是如何计算E(XY).在已知两个随机变量X 和Y 的联合分布的情况下怎样计算它们的协方差Cov(X,Y)呢, Cov(X,Y)=E(X-EX)(Y-EY) =EXY-XEY-YEX+EXEY =E(XY)-EXEY-EYEX+EXEY =E(XY)-EXEY 对于离散型随机变量, 假设X,Y 的概率函数为P(X=Xi,Y=yj)=pij, (i,j=1,2,.),则ijijjipyxE(XY) (x,y)d

6、ydxxyE(XY) 对于连续型随机变量, 假设X,Y 的联合概率密度为 , 则),(yx(1) Cov(aX, bY)=abCov(X,Y), a,b是常数.(2)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y).(3) CovX,Y=CovY,X, CovX,X=D(X). 对于任意两个随机变量X 和Y, 下列等式成立: D(X+Y)=D(X)+D(Y)+2Cov(X, Y). 由定义, 知协方差具有下述性质:Cov(X,Y)=E(XY)-E(X)E(Y)将Cov(X,Y)的定义式展开, 易得Cov(X,Y)=EX-E(X)Y-E(Y).随机变量随机变量和的方差与协方差的关

7、系和的方差与协方差的关系 D(X+Y)=DX+DY+2Cov(X, Y)当X 和Y 相互独立时相互独立时, 联系最不紧密, 这时候Cov(X,Y)=0, 因此 D(X+Y)=DX +DY 而当X=Y 时, 联系最紧密, 这时候 DX =DY =Cov(X,Y), 因此D(X +Y)=D(2X)=4DXCov(X,Y)=E(XY)-E(X)E(Y) 假设X,Y 的联合概率函数如下表所示X Y01/31-101/121/301/60025/12003613012031212502010031061003111121311001)()()(E(XY)例1而X与Y 的边缘分布及数学期望为:X-102P

8、5/121/65/12Y01/31P7/121/121/343222136131253613EXEYE(XY)Cov(X,Y)3613313611251210125 EY,EX则例2密度分别为相互独立，它们的概率，设随机变量YX ., 0, 0 ,其它xexfxX ., 0, 10 ,2其它yyyfY.3,YXXCov求由题设条件可得解解 01dxxeXEx 0211dxexXDx . 103 ,3,3,XDYXCovXXCovYXXCov. 0222kbkkbkNbkXYNX为常数，其中，则，若 xiN(0,1)(i=1,2,3), 并且x1,x2,x3相互独立,., 33113123213

9、1xCovE),Cov(,)(,iiii求),N(,D,DEii3103131031则例3解解32313212222)E()E(iii3131312113111EE)E(),Cov(iiCov(X,Y)=E(XY)-E(X)E(Y)因此. 0 3122,Cov()()(iiiii因此,而相互独立必互不相关也相互独立,与则也相互独立,与则相互独立,与因此而它们都是正态分布,互不相关,与即,E)E( )E() , (),N(,)(EEiiiiii03131cov32023232312而因二、相关系数与随机变量的相关性二、相关系数与随机变量的相关性 设随机变量X 与Y 的方差均存在，并且均不为零，定

10、义定义2 2D(Y)D(X)Cov(X,Y)XY 则称为随机变量X 与Y 的相关系数.D(Y)D(X)Cov(X,Y)XY Cov(X,Y)=E(XY)-E(X)E(Y)：相关系数具有以下性质. 0,. 1XYYX则相互独立与若随机变量. 1 . 2XY. 1 1. 3baXYPbaXY使，的必要条件是存在常数. 0, 1, 0, 1 ,0,. 4aaabaXYXYXY则即的线性函数是如果随机变量定义定义3 10.20;,1,1.XYXYXYXY设随机变量 与 的相关系数为若，则称 与 不相关若，则称 与 相关 特别地 若则称 与以概率 线性相关 YDXDYXDYEXEXYEYXCovYX54

11、0 30,21不线性相关与相关系数刻划了相关系数刻划了X和和Y间间“线性相关线性相关”的程度的程度. .若若 =0， Y 与与 X 无线性关系无线性关系; Y与与X有严格线性关系有严格线性关系;, 1 若若若若 0| |1, | | 的值越接近于的值越接近于1, Y 与与 X 的线性相关程度越高的线性相关程度越高; ; | | 的值越接近于的值越接近于0, Y与与X的线性相关程度越弱的线性相关程度越弱. 结结 论论.,. 1不相关与则相互独立与如果YXYXCov(X,Y)=E(XY)-E(X)E(Y). 2未必独立、不相关时，与YXYX“X与与Y独立独立”和和“X与与Y不相关不相关”有何关系？

12、有何关系？例：例：othersxxyyxf , 010 , , 1),(E(X)=2/3E(Y)=0E(XY)=0=E(X)E(Y)Cov(X,Y)=0othersxxxfX , 010 ,2)( 0,0 1 ,110 ,1)(othersyyyyyfY因而 =0， 即即X和和Y不相关不相关 .但X和Y不独立不独立 .设(X,Y )服从二维正态分布, 它的概率密度为 则可以证明X,Y 的相关系数 XY 正好就是 , 即 XY=, 而且服从二维正态分布的随机变量X,Y 相互独立的充分必要条件是此相关系数为0.,)(y)(y(x)(x)(f(x,y)22222121212122212121exp1

13、21对服从二维正态分布的随机向量（X，Y）而言，X与 Y 不线性相关与相互独立是等价的.但对下述情形，独立与不相关等价但对下述情形，独立与不相关等价: :前面，我们已经看到前面，我们已经看到： 若若 X 与与 Y 独立，则独立，则 X 与与Y不相关不相关，但由但由X与与Y不相关，不一定能推出不相关，不一定能推出X与与Y独立独立. .定义定义 设X 和Y 是随机变量, 若E(Xk), k=1,2,.存在, 称它为X 的k 阶原点矩, 简称k 阶矩.若EX-E(X)k, k=1,2,.存在, 称它为X 的k 阶中心矩.三、矩三、矩若 E(XkYl), （ k,l=1,2,）存在, 称它为X 和Y 的k+l 阶原点混合矩.若 EX-E(X)kY-E(Y)l, k,l=1,2,.存在, 称它为X 和Y 的k+l 阶中心混合矩.因此, E(X)是X 的一阶原点矩, D(X)是X 的二阶中心矩, Cov(X,Y)是X 和Y 的二阶中心混合矩.协方差矩阵协方差矩阵将二维随机变量（X1,X2）的四个二阶中心矩)(21111XEXEc)()(221112XEXXEXEc排成矩阵的形式排成矩阵的形式:)()(112221XEXXEXEc)(22222XEXEc称