协方差矩阵和相关矩阵

1、一、协方差矩阵变量说明：设兀兀为一组随机变量，这些随机变量构成随机向量疋心兀冕rF,每个随机变量有 m个样本，则有样本矩阵岛鸠严鸟尸叫瓦禺尸瓦| X11 X12 X1m IX21 X2mM =.Xn1 Xn2 Xnm其中島°八2劇对应着每个随机向量x的样本向量，（212“力对应着第i个 随机单变量的所有样本值构成的向量。单随机变量间的协方差：Y y随机变量山之间的协方差可以表示为厂瓠西-母血）益-凤兀）根据已知的样本值可以得到协方差的估计值如下：1 W1 W1 »创=一乞（胚一送甌"朋-一兀胚拐 用iWa_L觀m可以进一步地简化为：1 W呢离- 一 E M此叫-

2、-?才呱才叫 丄於a曲 Z*-1协方差矩阵:_ 11MM1嵩进2 -J2Z虫山乞一冨 兔工Mg%C12C1Mm朋x懒用 aaC21 如 " 如1IM-I|1Wf码啓-扭迟硏钩-一另码I«a二mtn A】mm &讣cv2"cn*s11科花11M一疋遇-一一蛙电-£叽L僭用zHI權側山L1_Wd4el=1恳屈，忆耳爲恳F -二由十直十+耳再十爲+十屁1" mm1 w= -Zl-Afi-Ar(5)称u其中1 + "'f'-，从而得到了协方差矩阵表达式。如果所有样本的均值为一个零向量，则式（5）可以表达成:4訶补充说明

3、：1、 协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，而不是不同 样本之间的协方差，如元素 Cj就是反映的随机变量 Xi, Xj的协方差。2、协方差是反映的变量之间的 二阶统计特性，如果随机向量的 不同分量之间的相关性很小，则所得的协方差矩阵几乎是一个 对角矩阵。对于一些特殊的应用场合，为了使随机向量的长度较小，可以采用主成分分析的方法， 使变换之后的变量的协方差矩阵完全是一个对角矩阵， 之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差 ，也就是交流能量）。3、 必须注意的是，这里所得到的式（ 5）和式（6）给出的只是随机向量协方差矩阵 真实值 的一个估计（即

4、由所测的样本的值来表示的， 随着样本取值的不同会发生变化 ），故而所得 的协方差矩阵是依赖于采样样本的， 并且样本的数目越多， 样本在总体中的覆盖面越广， 贝U 所得的协方差矩阵越可靠。4、如同协方差和相关系数的关系一样，我们有时为了能够更直观地知道随机向量的不同分 量之间的相关性究竟有多大，还会引入相关系数矩阵。5、协方差作为描述 X和Y相关程度的量，在同一物理量纲之下有一定的作用，但同样的两 个量采用不同的量纲使它们的协方差在数值上表现出很大的差异。由此引入相关系数。xyCOV(x, y);D(x)、D(y)二、相关矩阵（相关系数矩阵） 相关系数：著名统计学家卡尔 皮尔逊设计了统计指标 一

5、一相关系数。相关系数是用以 反映变量之 间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数 。依据相关现象之间的不同特征，其统计指标的名称有所不同。如将反映两变量间线性 相关关系的统计指标称为相关系数（相关系数的平方称为判定系数）；将反映两变量间曲线相关关系的统计指标称为非线性相关系数、非线性判定系数；将反映多元线性相关关系的统计指标称为复相关系数、复判定系数等。相关系数用r表示，它的基本公式（formula ）为：伦刀北卩一工丿刀直血 2工2 （52护丿71匸护 （E射尸相关系数的值

6、介于 -与+1之间，即-K r w+1其性质如下：*当r>0时，表示两变量正相关，r<0时，两变量为负相关。*当|r|=1时，表示两变量为完全线性相关，即为函数关系。当r=0时，表示两变量间无线性相关关系。*当0<|r|<1时，表示两变量存在一定程度的线性相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0,表示两变量的线性相关越弱。 一般可按三级划分：|r|<0.4为低度线性相关；0.4 w|r|<0.7为显著性相关；0.7 < |r|<1 为高度线性相关。相关矩阵也叫相关系数矩阵，是由矩阵各列间的相关系数构成的。也就是说，相关矩 阵第i行第j列的元素是原矩阵第i列和第j列的相关系数。3、协方差矩阵和相关矩阵的关系