方差与协方差

1、随机变量的数学期望(均值), 它体现了随机 变量取值的平均水平, 是随机变量的一个重要的 数字特征,但是在很多场合, 仅仅知道平均值是不够的,2 随机变量的方差,例如, 某零件的真实长度为a, 现在用甲、乙 两台仪器各测量10次, 并将测量结果 X 用坐标上的点表示如图,问: 哪台仪器的测量效果好一些,因为乙仪器的测量结果更集中在均值附近,为此需要引进另一个数字特征, 用它来度量 随机变量在其中心 (即均值) 附近取值的离散程度(或集中程度). 这个数字特征就是: 方差,再如: 考察某车床加工轴承的质量时, 若 最关键的指标为长度, 则不但要注意轴承的平均 长度, 同时还要考虑轴承长度与平均长

2、度的偏离 程度 (即加工的精度); 等等,我们该用怎样的量去度量这种偏离程度呢,X E(X) ,E X E(X) ,E | X E(X) | ,E X E(X) 2,一、方差( variance )的定义,随机变量 X 的平方偏差 X E(X) 2 的均值,或 Var ( X ),叫做 X 的方差,而,叫做 X 的标准差 或均方差,方差刻划了随机变量取值的离散程度,若 X 的取值比较集中, 则方差较小,若 X 的取值比较分散, 则方差较大,可以算出,两人命中环数的平均水平相同, 从中看不出两人射击技术的 高低,但,说明甲的命中环数比乙的更集中,即甲的射击技术比乙的稳定,二. 方差的简化计算公式

3、,即: 方差等于 平方的期望 减 期望的平方,证明,而,解,由归一性得,故,解得 b = 0, a = 2, E( X ) = 2/3,或b = 2, a = 2, E( X ) = 1/3,解,三. 常见分布的期望与方差,3,则,2,则,1,则,4,则,5,则,四. 方差的性质,1) 对任意常数 k 与 c 有: D( k X + c ) = k 2 D(X,2) 设 X 与 Y 相互独立, 则,进一步, 若 X1 , , Xn 相互独立, 则对任意常数 c1 , cn 有,D(X+Y) = D(X) + D(Y), D(XY) = D(X) + D(Y,D( c1 X1+ + cn Xn

4、) = c12 D( X1 ) + + cn2 D( Xn,3) D(X) = 0 的充要条件是 X 以概率 1 取常数 C , 即 PX = C = 1,解,X 表示 n 重伯努利试验中 “成功”的次数,p为每次试验成功的概率,则 X B(n, p,引入,1, 若第 i 次试验成功,0, 若第 i 次试验失败,i =1, 2, , n,则 X1 , X2 , Xn 相互独立, 且,而 Xi 的分布律为,故 E( Xi ) = p,E( Xi2 ) = p,D( Xi ) = E( Xi2 ) E( Xi )2 = p q,从而,解,五. 随机变量的标准化,设 X 具有,为 X 的标准化随机变

5、量,则叫,六. 切比雪夫(Chebyshev)不等式,对 X, 若 E( X ), D( X ) 都存在, 则对,或,1) 方差确实能衡量随机变量取值的离散程度,2) 该不等式能在 X 的分布未知的情况下对,的概率的下限作一估计,若记,则,等等,一、协方差,随机变量 X 和 Y 的协方差,前面我们介绍了随机变量的数学期望和方差, 对于多维随机变量，反映分量之间关系的数字特征 中, 最重要的就是协方差和相关系数,3 协方差(Covariance)和相关系数,1. 定义,1) Cov( X, Y )= Cov( Y, X,2) Cov( a X, b Y ) = a b Cov( X, Y ) ,

6、 a, b 是常数,3) Cov( X1 + X2 , Y )= Cov( X1 , Y ) + Cov( X2 , Y,2. 简单性质,3. 协方差的简化计算公式,Cov( X, Y ) = E( X Y ) E( X ) E( Y,可见，若 X 与 Y 独立, 则 Cov( X, Y ) = 0,4. 随机变量和的方差与协方差的关系,D ( X+Y )= D( X ) + D( Y ) + 2Cov( X, Y,二、相关系数,1. 定义,设 D( X ) 0, D( Y ) 0, 称,为随机变量 X 和Y 的相关系数,2. 相关系数的性质,存在常数a, b 使,即 X 和 Y 以概率 1

7、线性相关,可见相关系数刻划了 X 和 Y 间“线性相关”的程度,的值越接近于 1, Y 与 X 的线性相关程度越高,的值越接近于 0, Y 与 X 的线性相关程度越弱,注意,若 X 与 Y 独立, 则 Cov(X, Y) = E(XY )E(X )E(Y ) = 0,但由 X 与 Y 不相关, 不一定能推出 X 与 Y 独立,而对下述情形, 独立与不相关等价,若 (X, Y) 服从二维正态分布, 则,从而 X 与 Y 不相关,例: 设 X 在 (1/2, 1/2)内服从均匀分布, 而 Y = cos X , 试考察 X 与 Y 的相关性及独立性,解,而 Y 与 X 有严格的函数关系,因此,Co

8、v( X, Y ) = E( X Y ) E( X ) E( Y ) = 0,故 X 和 Y 不相关,即 X 和 Y 不独立,一、矩,为 X 的 k 阶原点矩,可见: X 的期望是 X 的 1 阶原点矩,在随机变量的数字特征中, 更一般的是矩,4 矩、协方差矩阵,为 X 的 k 阶中心矩,为 X 和 Y 的 k + l 阶混合原点矩,为 X 和 Y 的 k + l 阶混合中心矩,X 的方差是X 的 2 阶中心矩,X 和 Y 的协方差是 X 和 Y 的 2 阶混合中心矩,二、协方差矩阵,对 n 维随机变量 ( X1 , X2 , Xn,称矩阵,为( X1, X2, Xn ) 的 协方差矩阵,因对所有 i, j 成立 ci j = cj i,记,i, j = 1, 2, n,故 C T = C , C 为对称 矩阵,引入( X1, X2, Xn ) 的协方差矩阵, 可更好地 处理多维随机变量,比如, 我们可从二维正态随机变量的概率密度推广出 n 维 正态随机变量的概率密度,设 n 维随机变量 ( X1 ,