概率论与数理统计课件-第四章

除了

X

与

Y

的描述

X

与

Y

之间对于二维随量（X,Y）,数学期望和方差以外，还需相互关系的数字特征。4.4.1

协方差及相关系数如果两个随量X和Y是相互独立的，则E{

[

X-E(X)]

[Y-E(Y)

]

}=0这意味着当E{[X-E(X)][Y-E(Y)]}0时，X、Y不相互独立，而是存在着一定的关系。定义

对二维随 量(X,Y),量

E{

[

X-E(X)]

[

Y-E(Y)

]

}称为随 量

X与

Y

的协方差(covariance),记为Cov(X

,Y

).即Cov(X,Y

)=

E{[X-E(X)][

Y-E(Y)

]}若

0

D(

X

)

,0

D(Y

)

,Cov(

X

,Y

)D(

X

)

D(Y

)XY

称为随 量X与Y

的相关系数(correlation

coefficient)XY

是一个无量纲的量。对二维离散型随 量（X

,Y）有

E(Y

)]

pij

Cov(

X

,Y

)

[

xi

E(

X

)][

y

ji

1

j1对二维连续型随 量（X,

Y）有f(d,x)Y

(

)]

,(([))][Cov

X

Y

由数学期望和方差的性质得到D(

X

Y

)

D(

X

)

D(Y

)

2Cov(

X

,Y

)Cov(

X

,Y

)

E(

XY

)

E(

X

)E(Y

)协方差具有下述性质:12Cov(

X

,Y

)

Cov(Y

,

X

)Cov(aX

,bY

)

abCov(

X

,Y

)Cov(

X1

X2

,Y

)

Cov(

X1

,Y

)

Cov(

X2

,Y

)3例

1

设（X,Y）的联合分布律为XY0101-p010p0<p<1,求Cov(X,Y)和XY

.E(

X

)

p,

D(

X

)

p(1

p),

同理

E(Y

)

p,

D(Y

)

p(1

p)于是Cov(

X

,Y

)

E(

XY

)

E(

X

)E(Y

)

p

p2

p(1

p)解：易知

X

的分布律为PX

1

p,

PX

0

1

pp(1

p)p(1

p)D(Y

)D(

X

)Cov(

X

,Y

)

p(1

p)XY

1E(

XY

)

p,而E(

X

)

g(

)

f

(

)d

21

sind

0E(Y

)

)d

21

cosd

0h(

)

f

(例2：设

服从[

,

]上的均匀分布，又X

sin

，Y

cos求Cov(X

,Y

),XY

。解

由题意有

1f

(

)

2

,

0，其它

2E(

XY

)

1

sin

cosd

0E(Y

2

)

221

cos2

d

11h

(

)

f

(

)d

g2

(

)

f

(

)d

E(

X

2

)

221

sin2

d

1Cov(

X

,Y

)

E(

XY

)

E(

X

)E(Y

)

0因

0Cov(

X

,Y

)D(

X

)

D(Y

)XY

得相关系数

XY

也是表征随 量

X、Y

之间线性关系紧密程度的量，具有下述性质（1）如果随量

X、Y

相互独立，

则

XY

0

E{[

X

E(

X

)][aX

b

aE(

X

)

b]}D(

X

)

a2

D(

X

)D(

X

)

D(Y

)

E{[

X

E(

X

)][Y

E(Y

)]}XY（2）若Y

aX

b(a

0)，则

XY

1。事实上，由Y

aX

b,

E(Y

)

aE(

X

)

b，D(Y

)

a2

D(X

)得a

D(

X

)

a

1，

a

0

aE{[

X

E(

X

)]2

}

a

1,a

0当XY

1,则称Ｘ与Ｙ正相关；当XY

1时为负相关。

XY(3)E[X

E(X

)

Y

E(Y

)]2

0

有D(

X

)

D(Y

)事实上，由E[

X

E(

X

)

Y

E(Y

)]2D(

X

)

D(Y

)E(

X

)][Y

E(Y

)]D(

X

)

D(Y

)2D(Y

)Y

E(Y

)

[ ]

}2D(

X

)X

E(

X

)

[

X

E{[

]

2E[Y

E(Y

)]2E[

X

E(

X

)]2D(Y

)E[

X

E(

X

)][Y

E(Y

)]D(

X

)

D(Y

)

2D(

X

)

D(

X

)

2D(

X

)即XYD(Y

)

D(Y

)

2

2

0XY

1

XY若0

D(X

)

,0

D(Y

)

以下四个结论彼此等价(1)

0XYCov(

X,Y

)

0E(

XY

)

E(

X

)E(Y

)D(X

Y)

D(X)

D(Y)通常将适合XY

0的随量X

与Y

称为互不相关（alienation）.由相关系数的性质（1）可知，如果X与Y互相独立，则它们亦互不相关.但是：上述命题之逆不真.例

0,

1

,f

(

x,

y)

y2

1

y2

1x2x2

12f易知X,Y的边缘概率密度设二维随量（Ｘ，Ｙ）的概率密度为,

y

12 1

y2f

(

x,

y)dx

11

y21

y2

dxYf

(

y)

因为

f

(

x,

y)

f

X

(

x)

fY

(

y)故Ｘ与Ｙ不独立。另一方面，易知E(X)=E(Y)=0上述情况，“不相关”和“相互独立”是不等价的，这是因为不相关只是就线性关系来说的,而相互独立是就一般关系而言的。不过从下面例子可以看到，当（X,Y)服从二维正态分布时，X

与Y

不相关与相互独立是等价的。x2

y2

1xy

1

0而

Cov(

X

,Y

)

E(

XY

)

XY从而

0

,

X

与

Y

不相关。exp1f

(

x,

y)

1

22

1

2221

221

[

1

2

1

2

2

]2(1

2

)

(

y

)2

(

x

)(

y

)

1 (

x

)2例３：设(X

,Y

)服从二维正态分布，它的概率密度为求X

与Y

的相关系数XY

。e

, -

x

f

(

x,

y)dy

(

x

)2Xf

(

x)

12112

21e

, -

y

f

(

x,

y)dx

(

y

)2Yf

(

y)

222

22解 由前述知道(

X

,Y

)的边缘概率密度为,

E(Y

)

22,

D(Y

)

.212

,

D(

X

)

1E(

X

)

于是

(

x

1

)212

2211

21

2

2

(

x

)(

y

)e1dxdy

2

1

1

[

y2

x1

]2

e2(1

2

)1

2

1

令t

1

(

y

2

x

1

x

11

2

),

u

而Cov(X

,Y

)21(

x

)(

y

)

f

(

x,

y)dxdy

u2

t

2Cov(

X

,Y

)

2dtdu21

22

21

2(

1

tu

u

)e21((

1

222222

t

2

u2

u2te

2

dt

)ue

du)(

1

2

1

2

2u

e

du)(

t

2t

e

2

dt

)

2

2

1

22

1

2

Cov(

X

,Y

)D(

X

)

D(Y

)XY于是可见二维正态随

量（X,Y）的概率密度的参数就是

X

与

Y

的相关系数。因而二维正态随量的分布完全可由

X、

Y

的各自的数学期望、方差以及它们的相关系数所确定。由前面

可知，

若（X，Y）服从二维正态分布那么

X

和

Y

相互独立的充要条件为

0，现在还知道

XY故知对于二维正态随

量（X,Y）来说X

与

Y

不相关与

X

和

Y

相互独立是等价的。下面 来说明相关系数的统计含义：例如， 二维随 量（X

，Y）,其含义分别为Y

灯泡某原件的质量X

灯泡的YX),(下面

来

X

与

Y之间的联系。为此作了n次试验，得到n

组实验数据：(

x1

,

y1

), (

x2

,

y2

),

, (

xn

,

yn

)在xoy平面上描出这些点，若是下述几种情况，用数据点的分布来说明这关系：oxyX、Y

是相互不关联的，即该原件的质量对产品的不发生影响。oxy介于上述二者之间，即X

与Y有一定的线性关联性，但较第一种弱。oxyX

、Y

是线性关联的，即该原件的质量直接影响的产品的寿命。nk

1(y

ax

b)2来刻划k

k可以用数量关系：min

1

nX与Y

之间线性关系的程度，式中极小值是对a

和b而取的；上式值越小，表明各点的偏离直线y=ax+b程度越小，进而X与Y

的线性关系越强；反之,则线性关系较弱。e

E[Y

(aX

b)]2

E(Y

2

)

a2

E(

X

2

)

b2

2aE(

XY

)

2abE(

X

)

2bE(Y

)来衡量

以

aX+b

近似表达

Y

的好坏程度,

e的值越小表示

X

与

Y之间的线性关系越强，即

aX+b与Y的近似程度越好。对于二维随

量（X,Y），用均方误差这样， 就取a、b

使

e取到最小下面就来求最佳近似式aX+b中的a,b为此，

将

e=e

(a,b)

对

a, b

求偏导,并令其为零，得

ae

2aE(

X

2

)

2E(

XY

)

2bE(

X

)

0

e

bb

aE

E(X2Y22)(0解得D(

X

)a

Cov(

X

,Y

)0D(

X

)0

0Cov(

X

,Y

)

b

E(Y

)

a

E(

X

)

E(Y

)

E(

X

)

(1

2XY20

0min0

0)D(Y

)e

e(a

,b

)

E{[Y

(a X

b

)]

}于是得)D(Y

)

(1

2XYmin由式e可以看出，均方误差

e

是

XY的严格单调减函数，于是，相关系数的含义就明显了。XY较大，则

e

较小，

表明

X

、Y线性相关的程度较好，特别，有XY

0

XYXYXY

0X与Y

之间是Y=aX+b的线性关系X与Y

有一定程度的线性关系X与Y

线性相关程度较差X与

Y

没有线性关系，即

X

与

Y不相关使E[Y

(aX

b)]2

取最小值的直线方程为y

ax

b

Cov(

X

,Y

)

x

E(Y

)

Cov(

X

,Y

)

E(

X

)D(

X

)

D(

X

)D(Y

)

D(

X

)x

E(

X

)y

E(Y

)

XY或说明该直线通过（E(X),E(Y)），通常称之为Y关于X的回归直线.4.4.2

矩量(以下假设各随

量定义

设

X

和

Y

是随的期望均存在）（1）称

E(

X

k

)(k

1,2,)为X

的k

阶原点矩，简称k阶矩(kth

moment)。（2）称1,(E{[

X

E(

X

)]k

}

k

为X

的k

阶中心矩(kthcentral

moment)。（3）称(k,

l

1,2,)E(

X

kY

l

)为

X

、Y的

k+l

阶混合矩。(k

1,2,)E{[

X

E(

X

)]k

[Y

E(Y

)]l

}（4）称为

X

、Y的

k+l

阶混合中心矩。显然，E(X)是X

的一阶原点矩，D(X)是X

的二阶中心矩，Cov(X,Y)是X、Y

的二阶混合中心矩。将它们写成矩阵的形式：1211C21

C22

C

CC

E(

X1

)]

2

C11

E[

X14.4.3

协方差矩阵二维随

量

(

X1

,

X

2

)有四个二阶中心矩(设它们都存在)，分记为222

2

2

E[

X

E(

X

)]

E(

X

)]

E(

X1

)][

X2C

E[

X12

1

221

2

2

1

1C

E[

X

E(

X

)][

X

E(

X

)]

C称此矩阵为随量(X1

,X2

)的协方差矩阵（covariance

matrix）设

n维随

量

2

,,

Xn

)

的二阶混合中心矩Cij

Cov(

Xi

,

X

j

)

E{[

Xi

E(

Xi

)][

X

j

E(

X

j

)]}i,

j

1,2,,

n都存在,

则称矩阵

C

为

n维随

量

2

,,

Xn

)的协方差矩阵。其中矩阵C

为21

22

n1

n

2

nn

2n

CCCC1n

C11

C12CC

C

C

ij

ji由于

,1(,,2j,,i)cin

因而上述矩阵是一个对称矩阵（symmetric

matrix）一般来说，n

维随

量的分布式不知道的，或者是复杂，以致在数学上不易处理的，因此在实际应用中方差矩阵就显得更重要了。。下面介绍

n

维正态随

量的概率密度

先将二维正态随

量的概率密度改写成另一种形式，以便将它推广到

n

维随

量的场合中去。二维正态随量(X1

,X

2

)的概率密度为exp1f

(

x1

,

x2

)

1

22

1

222

2

2

]21

1

2

)(2)

[

1

1

2

1

1

22

)(1

(

x

)(

1

x

)(2现在将上式中花括号内的式子写成矩阵形式，为此引入下面的列矩阵

2

x

X

x1

2

1

221

21

2212221

1211

C

CC

CC

C

1

(1

)2

2

22它的行列是C

1

21 2

11

21

C

22它的逆矩阵为(X1

,X2

)的协方差矩阵为(

X

)T

C

1

(

X

)

1

1

(22

111

2

x

C)(22

22

]2121[

11

2

2

)1(

1

x

)(2

(

)(2)于是(X1

,X

2

)的概率密度可写成)(

CXX

)(T

112122212

1(2)

Cfx(x,)

exp推广到n维正态随

量的情况.21

E(

X1

)引入列矩阵

n

x

x

X

2

x1

22

n

n

E(

X

)

E(

X

)

1

n维正态随

量(n

)的概率密度定义为

expT

CX1X21

()()

112n

2(2)

C21

2nf

其中，C是的协方差矩阵n维随

量有以下三条重要性质：21

21

21

,,

ln

Xn(1)

n维随

量充要条件是l1

X1

l2

X2服从n维正态分布的任意的线性组合服从一维正态分布(其中l1

,l2

,,ln不全为零)。(3)

设从ｎ维正态分布，则n

两两不相关是等价的.21

相互独立与n211

2

k(2)

若

服从

n维正态分布，设

Y

,Y

,,Y是X

j

(j

1,2,,n)线性函数，则(Y1

,Y2

,,Yk

)也服从正态分布。（此为正态变量的线性变换不变性）1、 设二维随 量（X，Y）服从二维正态分布，则

X

Y

,

X

Y

不相关的充分条件为E(

X

)

E(Y

)E(

X

2

)

[E(

X

)]2

E(Y

2

)

[E(Y

)]2E(

X

2

)

E(Y

2)D

()[(2

)]2

()[(2

EEEXE)X]2习题2、设(

X

,Y

)

~

N

(

,

,

2

,

2

,

)，则（X，Y）的协方1

2

1

2差矩阵为 ，X

与

Y

相互独立，当且仅当3、设随

量X

和Y

独立，且X

服从均值为1，标准差为2

的正态分布，且

Y

服从标准正态分布，则

Z

2X

Y

3的概率密度为4、设二维随

量（X,Y）的密度函数为21

2f

(

x,

y)

1[

(

x,

y)

(

x,

y)]其中1

(x,y),2

(x,y)都是二维正态密度函数，且它们对应的二维随

量的相关系数分别为

1

和

1

，它们的3

3边缘密度函数所对应的随

量的数学期望都是零，方差是

1.

则

fX

(

x)=

，

fY

(

y)=，

XY

=5、已知（X，Y）的联合分布律为YX-101-11/81/81/801/801/811/81/81/8验证X

与Y

是不相关的，但X

与Y

不是相互独立的6、设随量（X，Y）具有概率密度0,其他1,

y

x,0

x

1f

(

x,

y)

求E(X

),E(Y

),cov(X

,Y

)7、设有n

个人参加一个聚会，每人带一件礼品，后放在一处，再做n

个记号（1，2，…，n），由每人随机的抽取，然后对号领取礼品，记X

为领到自己礼品的人数，求X

的数学期望和方差。8、设随量（X，Y）的概率密度为01

(

x

y),0

x

2,0

y

2,f

(

x,

y)

8,

其他求E(

X

),

E(Y

),cov(

X

,Y

),

,

D(

X

Y

)XY9、已知随量X，Y，Z，E(X

)

E(Y

)

1,E(Z

)

121，2DXDYDZ()()()01,,YZXY

XZ

1

,

求E(X

Y

Z

),D(X

Y

Z

)10、设二维随量（

X，

Y

）的联合密度为

1

,

x2

y2

1f

(

x,

y)

0,

x2

y2

1分别求X

与Y

的数学期望和方差；求X

与Y

的协方差与相关系数；问X

与Y

是否相关，是否独立11、已知随量

X

与

Y

分别服从N

(1,32

),

N

(0,4)2

，且相关系数XY

1，设Z

X

Y2

3

2求：（1）E（Z），D（Z）

（2）XZ12、在长为

a

的线段上任取两点，求两点间距离的数学期望和方差。13、对于两个随

量V，W，若E(V

2),

E(W

2)存在证明[E(VW

)]2

E(V

2

)E(W

2

)。这一不等式称为

—

（Cauchy—Schwarz）不等式14、Suppose

that

X

and