第3章相关分析v有注解

1、第三章第三章相关分析相关分析Correlation AnalysisCorrelation Analysis Key: sxzdxzdyy123Key: sxzdxzdyy123第一节、引言第一节、引言第二节、相关系数第二节、相关系数第三节、多要素间相关程度的测定第三节、多要素间相关程度的测定统计关系统计关系函数关系函数关系函数关系函数关系变量间的确定性关系，有精确的数学表达式。变量间的确定性关系，有精确的数学表达式。统计关系统计关系大量观测或试验以后建立起来的一种经验关系，大量观测或试验以后建立起来的一种经验关系，并不一定包含这因果关系。并不一定包含这因果关系。一、相关分析定义：一、相关分析

2、定义：在数据处理中，描述和分析两个或两个在数据处理中，描述和分析两个或两个以上变量之间相关性质及其相关程度的以上变量之间相关性质及其相关程度的过程。过程。二、相关关系的分类二、相关关系的分类按照相关程度；按照相关程度；按照相关的方向；按照相关的方向；按照相关的表现形式按照相关的表现形式1. 1. 按相关程度按相关程度完全相关：一个变量的取值完全取决于另完全相关：一个变量的取值完全取决于另一个变量，数据点落在一条直线（或曲线）一个变量，数据点落在一条直线（或曲线）上；上；相关：一个变量的取值部分取决于另一个相关：一个变量的取值部分取决于另一个变量，数据点分布在一条直线（或曲线）变量，数据点分布在

3、一条直线（或曲线）周围；周围；不相关：两个变量的数据点分布很分散，不相关：两个变量的数据点分布很分散，无任何规律无任何规律2. 2. 按相关方向按相关方向正相关：一个变量增加（减少），导致另正相关：一个变量增加（减少），导致另一个变量增加（减少）；一个变量增加（减少）；负相关：一个变量增加（减少），导致另负相关：一个变量增加（减少），导致另一个变量减少（增加）一个变量减少（增加） ；（高爱国等，（高爱国等，20032003）硫硫酸酸盐盐还还原原菌菌数数量量3. 3. 按相关的表现形式按相关的表现形式线性相关：两个变量之间的关系近似地表线性相关：两个变量之间的关系近似地表现为一条直线；现为一条直

4、线；非线性相关：两个变量之间的关系近似地非线性相关：两个变量之间的关系近似地表现为一条曲线表现为一条曲线交换性阳离子交换性阳离子/(cmol(+)kg-1/(cmol(+)kg-1）有机碳有机碳/(gkg-1/(gkg-1）新安江水库月降水量与月入库流量关系新安江水库月降水量与月入库流量关系（盛海燕等，（盛海燕等，20152015）阳离子交换量与土壤有机碳的关系阳离子交换量与土壤有机碳的关系（徐微微，乔木，（徐微微，乔木，20142014）相关分析主要解决以下问题：相关分析主要解决以下问题：确定变量之间是否存在相关关系，如果存在一确定变量之间是否存在相关关系，如果存在一定关系，找出他们依存关系

5、的适当数学模型；定关系，找出他们依存关系的适当数学模型；根据一个或几个变量值，预测或控制另一个变根据一个或几个变量值，预测或控制另一个变量的取值。并估计预测或控制达到的精确程度；量的取值。并估计预测或控制达到的精确程度；进行因素分析，若有多个变量（因素）影响一进行因素分析，若有多个变量（因素）影响一个变量（因素），找出影响因素的主次，分析个变量（因素），找出影响因素的主次，分析因素间的关系。因素间的关系。三、相关分析的方法三、相关分析的方法1 1、图形（散点图）、图形（散点图） 是常用的一种直观的分析方法，将样本数是常用的一种直观的分析方法，将样本数据点绘制在二维平面或三维空间上，根据这些据点

6、绘制在二维平面或三维空间上，根据这些数据点的分布特征，直观的研究变量间的统计数据点的分布特征，直观的研究变量间的统计关系以及他们的强弱程度和数据对的可能走向。关系以及他们的强弱程度和数据对的可能走向。2 2、数值（相关系数）、数值（相关系数） 变量间关系的密切程度用一个数量型指标变量间关系的密切程度用一个数量型指标描述，这个指标称为相关系数。描述，这个指标称为相关系数。相关系数（相关系数（Correlation CoefficientCorrelation Coefficient）散点图能够直观地反映变量之间的关系，但不精确。散点图能够直观地反映变量之间的关系，但不精确。相关系数以数值的方式精

7、确地反映了变量之间线性关系的强弱程度。相关系数以数值的方式精确地反映了变量之间线性关系的强弱程度。相关系数通过正、负表示相关的方向相关系数通过正、负表示相关的方向, ,相关系数相关系数r r的取值在的取值在-1-1+1+1之之间：间：下表中是通过相关系数来描述相关程度下表中是通过相关系数来描述相关程度 不同类型的变量采用不同的相关系数指标，但取值范围和含义都是不同类型的变量采用不同的相关系数指标，但取值范围和含义都是相同的。相同的。注意：注意：相关系数仅仅是一个值，进行相关分析的多个变量不等距（单位不相关系数仅仅是一个值，进行相关分析的多个变量不等距（单位不同），因此，相关系数不可做加、减、乘

8、、除运算。同），因此，相关系数不可做加、减、乘、除运算。相关系数只能描述两个变量之间的变化方向及密切程度，不能揭示相关系数只能描述两个变量之间的变化方向及密切程度，不能揭示两个变量的本质联系。两个变量的本质联系。相关系数取值范围r=0|r|0.8|r|=1相关程度无相关微弱相关低度相关显著相关高度相关完全相关一、一、 相关系数的分类相关系数的分类PearsonPearson简单相关系数简单相关系数( (皮尔逊皮尔逊) ) 用来度量正态分布的定距变量间的线性相关关系用来度量正态分布的定距变量间的线性相关关系 Pearson Pearson简单相关系数不能用于度量变量之间的非线性关系简单相关系数不

9、能用于度量变量之间的非线性关系SpearmanSpearman秩相关系数秩相关系数( (斯皮尔曼斯皮尔曼) ) 采用非参数检验方法来度量定序变量间的线性相关关系采用非参数检验方法来度量定序变量间的线性相关关系 由于数据为非定距变量，因此不能直接采用原始数据，而是利由于数据为非定距变量，因此不能直接采用原始数据，而是利用数据的秩用数据的秩Kendall Kendall 秩相关系数秩相关系数( (肯德尔肯德尔) ) 采用非参数检验方法来度量多个定序变量间的线性相关关系采用非参数检验方法来度量多个定序变量间的线性相关关系 定距变量：也称区间数据，定距变量：也称区间数据，是取值具有是取值具有“距离距离

10、”特征特征的变量，如温度的变量，如温度定序数据：也称区间数据，定序数据：也称区间数据，例如：年龄、岩性等例如：年龄、岩性等定类数据、定比数据定类数据、定比数据二、二、PearsonPearson相关系数的计算及检验相关系数的计算及检验 1 1、PearsonPearson相关系数相关系数 Pearson Pearson相关系数又称积差相关系数或积矩相关系数又称积差相关系数或积矩相关系数，是英国统计学家相关系数，是英国统计学家PearsonPearson在在2020世纪出提世纪出提出的一种计算相关性的方法。出的一种计算相关性的方法。适用条件：适用条件：两变量均应为测量得到的连续变量；两变量均应为

11、测量得到的连续变量；两变量所来自的总体都应是正态分布，或接近正态两变量所来自的总体都应是正态分布，或接近正态的单峰对称分布；的单峰对称分布；变量必须是成对的数据，且每对数据之间相互独立；变量必须是成对的数据，且每对数据之间相互独立；两变量间为线性关系。两变量间为线性关系。样本容量样本容量n 30n 30，计算出的积差相关系数才具有，计算出的积差相关系数才具有有效意义。有效意义。对于二维随机变量对于二维随机变量(X, Y)(X, Y)来说，来说，数学期望数学期望E (X)E (X)，E (Y) XE (Y) X与与Y Y各自的平均值各自的平均值方差方差D (X)D (X)，D (Y) XD (Y

12、) X与与Y Y各自离开均值的偏离程度各自离开均值的偏离程度定义：称定义：称Cov(X, Y)=E(X-E(X)(Y-E(Y)Cov(X, Y)=E(X-E(X)(Y-E(Y)为随机变量为随机变量X X与与Y Y的协方差。的协方差。Cov(X,Y) =E(XY)-E(X)E(Y)Cov(X,Y) =E(XY)-E(X)E(Y)若随机变量若随机变量X X、Y Y独立，则有：独立，则有：E(XY) = E(X)E(Y)E(XY) = E(X)E(Y)，则，则Cov(X, Y) = 0Cov(X, Y) = 0；若随机变量若随机变量X X、Y Y具有一定的相关性，则具有一定的相关性，则Cov(X,

13、Y)0 Cov(X, Y)0 协方差简单性质回顾：协方差简单性质回顾：（1 1）Cov(X, Y)=Cov(Y, X)Cov(X, Y)=Cov(Y, X)；（2 2）Cov(aX, bY)=abCov(X, Y)Cov(aX, bY)=abCov(X, Y)，a, ba, b是常数；是常数；（3 3）Cov(X1+X2, Y)=Cov(X1, Y) Cov(X1+X2, Y)=Cov(X1, Y) + Cov(X2, Y)+ Cov(X2, Y)。 XY+-+散点越集中于散点越集中于1、3象限，共变异数的和正值越大；象限，共变异数的和正值越大；散点越集中于散点越集中于2、4象限，共变异数的和

14、负值越大；象限，共变异数的和负值越大；散点越均匀分布于各象限，共变异数的和越趋近于散点越均匀分布于各象限，共变异数的和越趋近于0。)(yyxxii相关系数相关系数 定义：定义： , , 即两个变量的协方差即两个变量的协方差与 二 者 标 准 差 积 的 商 ， 称 为 变 量与 二 者 标 准 差 积 的 商 ， 称 为 变 量 X X 与与 Y Y 的 积 差 相 关 系 数 。的 积 差 相 关 系 数 。 上式定义了总体相关系数，一般用上式定义了总体相关系数，一般用 来表示。若用样本计算的协方来表示。若用样本计算的协方差和标准差，则为样本的相关系数，一般用差和标准差，则为样本的相关系数，

15、一般用R R（或（或r r）表示：）表示：相关系数的性质：相关系数的性质：(1) 0|R|1(1) 0|R|1，当，当R0R0时，表明两个变量正相关；当时，表明两个变量正相关；当R0R t(df)拒绝零假设拒绝零假设H0，认为总，认为总体相关体相关检验统计量的概率检验统计量的概率p值大于给定的显著性水平值大于给定的显著性水平值（值（0.05）或者）或者t t, |t| t, 拒绝拒绝H0H0，则，则两变量相关，两变量相关， |t| t, |t| t,接受接受H0H0，两变量，两变量无关。无关。查表得查表得t(8)0.05 =2.306t(8)0.05 =2.306，故，故|t| |t| t(8

16、)0.05, t(8)0.05, 则则P0.05P0.05P0.05，则，则接受假设，认为此接受假设，认为此r r值值很可能是从此总体中取很可能是从此总体中取得的。因此判断两变量得的。因此判断两变量间无显著关系；间无显著关系； 如果取得如果取得r r值的概率值的概率P0.05P0.05或或P0.01P0.01，我，我们 就 在们 就 在 = 0 . 0 5 = 0 . 0 5 或或=0.01=0.01水平上拒绝检水平上拒绝检验假设，认为该验假设，认为该r r值不值不是来自是来自=0=0的总体，而的总体，而是来自于是来自于 0 0的总体的总体，因此，判断两变量之，因此，判断两变量之间有显著关系。

17、间有显著关系。491. 5889. 01210889. 01222rnrt三、三、SpearmanSpearman（斯皮尔曼）秩相关系数（斯皮尔曼）秩相关系数秩相关系数是一种无参数（与总体分布无关）检验方秩相关系数是一种无参数（与总体分布无关）检验方法，也有多种类型，除法，也有多种类型，除SpearmanSpearman（斯皮尔曼）秩相（斯皮尔曼）秩相关系数，还有如关系数，还有如Kendall(Kendall(肯德尔肯德尔) )秩相关系数。秩相关系数。作用：度量变量之间联系的强弱，可称为作用：度量变量之间联系的强弱，可称为“级别相关级别相关”或或“等级相关等级相关”1. Spearman1.

18、Spearman秩相关系数秩相关系数定义：利用两变量的秩（次序）大小做线性相关分析，定义：利用两变量的秩（次序）大小做线性相关分析，对原始变量的分布不做要求，属于非参数统计方法。对原始变量的分布不做要求，属于非参数统计方法。所谓秩，是指数据按大小排序后的序号。所谓秩，是指数据按大小排序后的序号。适用条件：适用条件：两变量的资料为定序数据（岩性、品位、吨位、时代、两变量的资料为定序数据（岩性、品位、吨位、时代、酸碱度、氧逸度酸碱度、氧逸度），其具有线性关系；），其具有线性关系；连续变量的测量数据，按其大小排成等级；连续变量的测量数据，按其大小排成等级；不要求总体呈正态分布不要求总体呈正态分布非参

19、数（自由分布）；非参数（自由分布）；当数据为定性的变量，或者含有异常值时尤其适用。当数据为定性的变量，或者含有异常值时尤其适用。计算方法：计算方法：设设Y=y1, y2, , ynY=y1, y2, , yn和和X=x1, x2, , xnX=x1, x2, , xn，是两组数据。将两组数据中的值各自，是两组数据。将两组数据中的值各自排序，分别评出排序，分别评出xi xi和和yiyi在两个顺序样本在两个顺序样本中所在位置的名次（即：秩），记作中所在位置的名次（即：秩），记作Ri Ri 和和Si Si ，得到，得到n n对秩对秩(R1 , S1), (R2 , S2), (R1 , S1), (

20、R2 , S2), (Rn , Sn)(Rn , Sn)；两序号序列相减，得到一个；两序号序列相减，得到一个序差序列序差序列D =d1, d2, , dn=R1-S1, D =d1, d2, , dn=R1-S1, R2-S2, Rn-SnR2-S2, Rn-Sn，其中元素记为，其中元素记为didi。 于是，于是，SpearmanSpearman秩相关系数为：秩相关系数为：其 中其 中 ， 。斯皮尔曼相关系数被定义成等级变量之间的皮尔逊相关系数斯皮尔曼相关系数被定义成等级变量之间的皮尔逊相关系数秩相关系数的意义与相关系数类似，但较粗略，计算较简便，不仅可用于定量数据，也适用于能排序的半定量数据

21、。秩相关系数的意义与相关系数类似，但较粗略，计算较简便，不仅可用于定量数据，也适用于能排序的半定量数据。原始数据中有重复值，则在求秩次时一般以它们的平均值为准。原始数据中有重复值，则在求秩次时一般以它们的平均值为准。如果一个变量是另外一个变量的严格单调函数，则如果一个变量是另外一个变量的严格单调函数，则SpearmanSpearman秩相关系数就是秩相关系数就是+1+1或或-1-1，称变量完全，称变量完全SpearmanSpearman秩相关。秩相关。秩相关系数算例x x0.520.520.830.830.140.140.450.450.300.300.710.71y y1.321.324.0

22、54.051.201.202.102.102.012.013.123.12原始数据秩x x3 31 16 64 45 52 2y y5 51 16 63 34 42 2“序差”d d-2-20 00 01 11 10 083. 035/61) 114() 16(661) 1(612122niiXYdnn0.001.002.003.004.005.000.000.200.400.600.801.00例：秩相关分析进行找矿远景区预测宁芜盆地铁铜成矿带马鞍山玢岩铁矿中闪长玢岩岩体出露面积比与铁矿矿化强度的关系。单元矿点数闪长玢岩出露面积比（%）00-1010-2020-3030-40400460 (

23、92.3%)14 (6.15%)41 (1.53%) 2 0(0.0%)4 0 (0.0%) 20 (0.0%)3134 (19.10%)311 (52.4%)21 (4.75%) 1 2(9.5%)3 2 (9.5%) 11 (4.75%)2223(42.9%) 22 (28.6%)30 (0.0%) 3 1(14.3%)2 0 (0.0%) 31 (14.3%)1310 (0.0%)42 (66.8%)10 (0.0%) 4 1 (33.2%) 1 0 (0.0%) 40 (0.0%)4秩相关系数秩相关系数-0.80.8-0.61-0.80.4计算步骤：计算步骤：选择控制区，划分基本单元：

24、将研究区进行网格化处理选择控制区，划分基本单元：将研究区进行网格化处理。提取地质变量提取地质变量闪长玢岩出露面积比与铁矿矿化强度闪长玢岩出露面积比与铁矿矿化强度形成矿床值序列形成矿床值序列将单位面积内矿床数量分级并排序将单位面积内矿床数量分级并排序形成变量值序列形成变量值序列将单位面积内闪长岩出露面积比分将单位面积内闪长岩出露面积比分级并排序级并排序频率统计频率统计各变量值序列对应的矿床值级别的单元个各变量值序列对应的矿床值级别的单元个数及频率数及频率计算秩相关系数并筛选找矿有利标志计算秩相关系数并筛选找矿有利标志1）对控制单元的数目和类别要求较高。2）原始变量如何划分，没有固定规则。可考虑进

25、行多方案试验。3）是比较粗略的方法，自变量之间的相关性未考虑。单元号有利标志号有利标志数12345671423314452用有利标志数进行预测应用中应注意的问题秩相关分析法的优点：秩相关分析法的优点：可具体查明各种地质因素可具体查明各种地质因素与矿化的关系，正相关？与矿化的关系，正相关？负相关；负相关；非参数性统计分析，不要非参数性统计分析，不要求变量服从正态分布，地求变量服从正态分布，地质数据（不需预处理）适质数据（不需预处理）适用面广；用面广；简单易行，效果尚好。简单易行，效果尚好。秩相关分析法的缺点：秩相关分析法的缺点：单变量考察；单变量考察；综合时各种因素不分主次综合时各种因素不分主次

26、；依靠经验分级，产生结果依靠经验分级，产生结果主观性强，需要多次试验主观性强，需要多次试验。2. Spearman2. Spearman秩相关系数的显著性检验秩相关系数的显著性检验显著性检验步骤：显著性检验步骤：1. 1. 提出假设提出假设H0H0： rs =0 rs =0线性无关线性无关 H1H1： rs 0 rs 0线性相关线性相关2. 2. 确定显著性水平：确定显著性水平：=0.05=0.053. 3. 作出决策：计算作出决策：计算rs rs ，当，当rs rs 时，拒绝时，拒绝H0H0；当；当rs rs crs c，故拒绝零假设，说明测井孔隙度与产能之间有相关关系。，故拒绝零假设，说明

27、测井孔隙度与产能之间有相关关系。（罗晓玲等，20082008）偏相关系数的计算与检验偏相关系数的计算与检验复相关系数的计算与检验复相关系数的计算与检验一、偏相关系数（一、偏相关系数（Partial Correlation CoefficientPartial Correlation Coefficient）的计算与检验的计算与检验1. 1. 偏相关系数及其计算偏相关系数及其计算定义：在多要素所构成的系统中，先不考虑其他定义：在多要素所构成的系统中，先不考虑其他要素的影响，而单独研究两个要素之间的相互关要素的影响，而单独研究两个要素之间的相互关系的密切程度，称为偏相关。用以度量偏相关程系的密切程

28、度，称为偏相关。用以度量偏相关程度的统计量，称为偏相关系数。度的统计量，称为偏相关系数。多变量相关系统中，由于变量之间存在错综复杂多变量相关系统中，由于变量之间存在错综复杂的关系，因此偏相关系数与简单相关系数在数值的关系，因此偏相关系数与简单相关系数在数值上可能相差很大，有时甚至符号都有可能相反上可能相差很大，有时甚至符号都有可能相反简单相关系数受其他因素的影响，反映的往往是简单相关系数受其他因素的影响，反映的往往是表象，而偏相关系数则较能说明现象之间真实的表象，而偏相关系数则较能说明现象之间真实的联系。联系。植被指数植被指数NDVINDVI气温气温降水量降水量人工育林人工育林过度放牧过度放牧

29、正相关正相关？三要素偏相关系数计算（一阶偏相关系数）三要素偏相关系数计算（一阶偏相关系数）剔除变量剔除变量Z(3)Z(3)的影响后，两个变量的影响后，两个变量X(1)X(1)、Y(2)Y(2)之之 间的偏相关系数：间的偏相关系数：剔除变量剔除变量Y(2)Y(2)的影响后，两个变量的影响后，两个变量X(1) X(1) 、 Z(3) Z(3)之之间的偏相关系数：间的偏相关系数：剔除变量剔除变量X(1)X(1)的影响后，两个变量的影响后，两个变量Y(2) Y(2) 、 Z(3) Z(3)之之间的偏相关系数：间的偏相关系数：四要素偏相关系数计算（二阶偏相关系数）四要素偏相关系数计算（二阶偏相关系数）剔

30、除两个变量剔除两个变量Z1(3)Z1(3)、Z2(4)Z2(4)的影响后，两个变量的影响后，两个变量X(1)X(1)、Y(2)Y(2)的偏相关系数：的偏相关系数：剔除两个变量剔除两个变量Y(2) Y(2) 、Z2(4)Z2(4)的影响后，两个变量的影响后，两个变量X(1)X(1)、Z1(3)Z1(3)的偏相关系数：的偏相关系数：剔除两个变量剔除两个变量Y(2) Y(2) 、Z1(3)Z1(3)的影响后，两个变量的影响后，两个变量X(1)X(1)、Z2(4)Z2(4)的偏相关系数：的偏相关系数：剔除两个变量剔除两个变量X(1)X(1)、Z2(4) Z2(4) 的影响后，两个变量的影响后，两个变量

31、Y(2) Y(2) 、Z1(3)Z1(3)的偏相关系数：的偏相关系数：多要素偏相关系数计算（高阶偏相关系数）多要素偏相关系数计算（高阶偏相关系数）假设有假设有k (k 2)k (k 2)个变量个变量x1, x2, , xkx1, x2, , xk，则任意两个，则任意两个变量变量xi xi 和和xj xj 的的g g（g k-2g k-2）阶样本偏相关系数为）阶样本偏相关系数为：等式右边各项均为等式右边各项均为g -1g -1阶偏相关系数阶偏相关系数2. 2. 偏相关系数的性质偏相关系数的性质偏相关系数分布范围在偏相关系数分布范围在-1+1-1+1之间；之间；偏相关系数的绝对值越大，表示其偏相偏

32、相关系数的绝对值越大，表示其偏相关程度越大；关程度越大；偏相关系数的绝对值必小于或最多等于偏相关系数的绝对值必小于或最多等于由同一系列资料所求得的复相关系数，由同一系列资料所求得的复相关系数，即：即：R1.23|r12.3|R1.23|r12.3|例：试分析黄河河口表层沉积物中Cu、Zn的存在状况。所测定的物理量包括：Cu、Zn、Fe、Mn含量以及沉积物粒径极小的粘土矿物颗粒的外比表面积（m2/g）。其中，Fe、Mn主要的存在形式为水合氧化物，其在往海底沉降过程中可吸附Cu、Zn；此外，粒径极小的粘土矿因其比表面积特大，也吸附水体中的Cu、Zn。下表为Cu、Zn、Fe、Mn、粘土矿物颗粒外比表面积间的单相关系数表。（王少红等，1995）在在N =60N =60， =0.01 =0.01时，相关系数的临界值是时，相关系数的临界值是0.3250.