多元统计分析第五章 主成分与经验正交分解.doc

第5章主成分分析与经验正交分解5.1主成分分析数学模型当存在若干个随机变量时，寻求它们的少量线性组合（即主成分），用以解释这些随机变量，是很必要的。首先我们看一个例子。例5.1 为了调查学生的身材状况，可以测量他们的身高()、体重()、胸围()和坐高()。可是用这4个指标表达学生身材状况不方便。但若用=3.6356+3.3242+2.4770+2.1650表示学生身体魁梧程度;用=-3.9739+1.3582+3.7323-1.5729表示学生胖瘦程度。则这两个指标(,)很好概括了4个指标（-）。例5.1中，学生不同，身高()、体重()、胸围()和坐高()不同；（, , , ）是4维随机向量；,是他们的2个线性组合，,能很好表示, , , 的特性。类似的问题在许多地方出现：可观测的随机变量很多,需要选出所有所有随机变量的少数线性组合，使之尽可能刻划全部随机变量的特性，选出的线性组合就是诸多随机变量的主成分，又称为主分量。寻求随机向量主成分，并加以解释，称为主成分分析，又称为主分量分析。主成分分析在许多学科中都有应用，细节可参看张尧廷（1991）、Richard(2003),主成分分析在气象等科学中称为PCA方法，见吴洪宝（2005）。主成分分析的数学模型是：对于随机向量X，想选一些常数向量，用尽可能多反映随机向量X的主要信息。也即尽量大。但是的模可以无限增大，从而使无限变大，这是我们不希望的；于是限定模的大小，而改变各分量的比例，使最大；通常取的模为1最方便。 定义5.1 设随机向量二阶矩存在，若常数向量，在条件1下使最大，则称是X的第一主成分或第一主分量。由定义可见，尽可能多地反映原来p个随机变量变化的信息。但是一个主成分往往不能完全反映随机向量特色，必须建立其它主成分,它们也应当最能反映随机向量变化，而且他们应当与第一主成分不相关（不包含的信息）。定义5.2若常数向量c=在条件l，下，使最大，则称是 X的第二主成分；若常数向量c=在条件l，下，使最大，则称是 X的第三主成分；。当随机向量方差已知时，定理5.1给出主成分的计算公式。定理5.1 设随机向量方差存在为。特征值从大到小为，对应的彼此正交单位特征向量为。则X的第j个主成分为 与X的内积，即 (6.1)证明：任取p维单位向量c,必有。于是，而在条件下，当，即时，最大，所以X的第一主成分是与X的内积。由条件，可得，于是，从而；所以在条件1、下，当时，最大，所以X的第2个主成分为与X的内积。对第三，第四主成分同样可证。由证明过程可见：。它称为第i个主成分的方差贡献，表示第i个主成分变化大小，从而反映第i个主成分提供的信息的大小。例5.2 设，且则=3.87939，=0.293128，-0.84403，-0.449099=1.6527，=0.449099，-0.293128，0.84403=0.467911，=0.84403，0.449099，-0.293128所以第一主成分就是=0.293128-0.84403 -0.449099；第二主成分就是=0.449099-0.293128+0.84403；第三主成分就是=0.84403+0.449099-0.293128。它们的方差贡献分别是；。 定义5.3 称为主成分的方差贡献率；称为前k个主成分的累计方差贡献率；与X第k个分量的相关系数称为因子负荷量。例5.2中，方差贡献率分别是方差贡献与6的商，即0.6466，0.2755和0.0780。累计方差贡献率分别是0.6466、0.6466 +0.2755=0.9220和1。当某个主成分的方差贡献率很小时，认为它提供的信息很少，可以略去此主成分。通常取q,使前q个主成分的累计方差贡献率达到70%-80%,然后只考虑前q个主分量，用它们解释随机向量X的特性，其余主成分认为是观测误差等随机因素造成的。例5.2中只要前两个主成分就够了。在实际问题中，X的每一分量可取不同单位，单位取小时（例如长度单位取毫米，甚至微米）该分量的方差会变大，从而在主成分中变得突出；而单位选取不应影响主成分。为了避免量纲对主成分的影响。常常将随机变量都标准化，即令，它就是无量纲量，令再求X*的主成分，即标准化后的主成分。将代入，可求随机向量X的主成分。容易证明定理5.2 设随机向量X的相关阵为，特征值为,对应的彼此正交单位特征向量为，则标准化后X的第j个主成分是。因此，标准化后的主成分称为由相关阵决定的主成分。直接由随机向量的协方差阵算出的主成分称为由协差阵决定的主成分。同样一组随机变量，用它们的协差阵和相关阵求出的主成分是不一样的。这是因为优化的准则（目标函数）不同：前者要求=最大，而后者要求=最大，其中。例5.3 （协差阵和相关阵决定的主成分不同）设随机变量；其协方差阵是，特征值和特征向量是， 。因而由协方差阵决定的主成分是： ,。但随机变量标准化后得到；其中 。X*的协差阵即X的相关阵是，其特征值和特征向量是，从而由相关阵决定的主成分是：。由于主成分由方差决定，可以略去常数，因而由相关阵得到的主成分可写为：，可见由协方差阵与相关阵决定的主成分不同。5.2 样本主成分及其计算5.2.1样本主成分实际问题中随机向量的协差阵、相关阵都是未知的，只能得到样品。这时总用样本协差阵与样本相关阵代替协差阵、相关阵求主成分。定义5.4 用样本协差阵与样本相关阵的特征向量，计算主成分。所得的主成分称为样本主成分。这样求主成分是有道理的：若总体，的特征值和正交单位特征向量是和；是的极大似然估计，即。的特征值为，相应正交单位特征向量为，则可证定理5.3 若X服从正态分布，则是的极大似然估计；是的极大似然估计。因此，若X服从正态分布，应当用第j个样本主成分作为总体主成分的估计值。从样本协差阵或样本相关阵出发，做主成分分析，所得样本主成分通常简称为主成分。通常取为样本协差阵（的无偏估计），由或R算出的样本相关阵是相同的，所产生（相关差阵决定）的主成分当然相同。而R与有相同的特征向量，R的特征值是特征值的n/(n-1)倍。因而由R与所产生的（协方差阵决定的）主成分相同。若X不一定服从正态分布，这时仍可由样本协差阵R或相关阵出发，计算主成分。同上节指出的一样：样本相关阵和样本协差阵决定的主成分是不同的。5.2.2 SAS软件计算样本主成分 样本主成分的计算量很大，通常用软件计算，以下介绍用SAS软件计算的基本方法。SAS调用PRINCOMP过程(即主成分过程)作主成分分析。调用PRLNCOMP过程时常用两个语句：（1） PROC PRINCOMP语句。一般形式是 PROC PRINCOMP；其功能是调用PRINCOMP过程。加选项cov指示电脑用协差阵计算样本主成分，不加选项cov则电脑用相关阵计算主成分；加选项out=文件名，指示电脑将每个观测的主成分得分存入一个数据集，即“文件名”所表示的数据集，加选项n=k指示电脑只计算k个主成分，不加选项n=k则电脑计算全部p个主成分。例如proc princomp data=wang1 out=wang2 n=3;指示电脑对数据集wang1中数据做主成分分析，求3个主成分，并将各次观测的主成分得分存入数据集wang2。（2） VAR语句其功能是规定要分析的变量。例如var x1-x3 u1 v2;表示将变量x1,x2,x3,u1,v作为随机向量进行主成分分析。 计算主成分固然重要，解释主成分的意义更重要。下面我们介绍用SAS作主成分分析的实例，并对于算出的主成分加以解释，希望学者对练习题中的主成分也试作解释。例5.4北京19511976年冬季的气温资料如表5-1，第一列为年度，第二列为该年12月的月平均温度。第三、四列为次年1、2月的月平均温度。试做主成分分析。 表 5-1 北京19511976年冬季月平均气温yearx1x2x319511.0-2.7-4.31952-5.3-5.9-3.51953-2.0-3.4-0.81954-5.7-4.7-1.11955-0.9-3.8-3.11956-5.7-5.3-5.91957-2.1-5.0-1.619580.6-4.3-0.21959-1.7-5.72.01960-3.6-3.61.31961-3.0-3.1-0.819620.1-3.9-1.11963-2.6-3.0-5.21964-1.4-4.9-1.71965-3.9-5.7-2.51966-4.7-4.8-3.31967-6.0-5.6-4.91968-1.7-6.4-5.11969-3.4-5.6-2.01970-3.1-4.2-2.91971-3.8-4.9-3.91972-2.0-4.1-2.41973-1.7-4.2-2.01974-3.6-3.3-2.01975-2.7-3.70.11976-2.4-7.6-2.2 解 因为所有变量单位相同，可用协方差阵求主成分。以变量year Dec Jan Feb分别表示年度、12月、1月、2月的温度。采用下列程序data temperat;/*建立数据集temperat*/input year Dec Jan Feb;/*建立变量year、Dec、Jan和Feb*/cards;/*以下为数据体*/1951 1.0 -2.7 -4.31952 -5.3 -5.9 -3.51953 -2.0 -3.4 -0.8.1974 -3.6 -3.3 -2.01975 -2.7 -3.7 0.11976 -2.4 -7.6 -2.2;/*空语句，结束数据体*/proc princomp cov;/* 用协差阵做主成分分析*/var Dec Jan Feb;/* 对变量Dec Jan Feb 作主成分分析*/run; 执行上述程序，得到得许多表，主要的是：样本协差阵的特阵值表（表头是Eigenvalues）由他们可得方差贡献，方差贡献率及累计方差贡献率；样本协差阵的特征向量表（即主成分的系数表，表头为Eigenvectors）。这些表及分析如下 Eigenvalues Eigenvalue Difference Proportion Cumulative PRIN1 4.79742 2.06927 0.552919 0.55292 PRIN2 2.72815 1.57720 0.314429 0.86735 PRIN3 1.15095 . 0.132652 1.00000 上表是样本协差阵的特征,值表（表头为Eigenvalues），其中PRIN1、PRIN2、PRIN3表示3个主成分，上表第2列给出样本协差阵的特征值，第4列给出方差贡献，第5列给出方差贡献累计百分比。由于前两个特阵值方差贡献累计百分比等于0.867354，它大于0.7，所以只需取两个主成分。 Eigenvectors PRIN1 PRIN2 PRIN3 DEC 0.643587 0.709882 -.286116 JAN 0.213039 0.192899 0.957812 FEB 0.735126 -.677390 -.027085上表是特征向量表（表头为Eigenvectors）上表给出所考察变量样本协差阵的特征向量（0.643587，0.213039，0.735126）、(0.709882,0.192899,-0.677390)和（-0.286116，0.957812，-0.027085）。因此第一、二、三主成分分别是=0.643587Dec+0.213039Jan+0.735126Feb,=0.709882Dec+0.192899Jan-0.677390Feb,=-0.286116Dec+0.957812Jan-0.027085Feb由于第一主成分中Dec,Feb系数是较大正数，Jan系数是较小正数，说明第一主成分主要表示冬季气温偏高的程度，由于1月分的系数变化较小，冬季气温偏高主要由12月，2月温度的偏高形成。第二主成分Dec系数与Feb系数反号较大，反映第二主成分主要表示12月与2月温度距平的反差，即12月温度距平减去2月温度距平所得值的反差。 例5.5 美国各州犯罪率情况如表5-2。试以murder（谋杀）,rape（强奸）,robbery（抢劫）,assult（斗殴）,burglary（夜盗）,larceny（偷窃）,auto（汽车犯罪）为7元随机向量，做主成分分析。 表 5-2 美国各州犯罪率（十万人中犯罪人数）murderraperobberyassultburglarylarcenyautoAlbama14.225.296.8278.31135.51881.9280.7Alaska10.851.696.8284.01331.73369.8753.3Arirona9.534.2138.2312.32346.14467.4439.5Arkansas8.834.2138.2312.32346.14467.4439.5Califonia11.549.4287.0358.02139.43499.8663.5Colorado6.342.0170.7292.91935.23903.2477.1Conecticat4.216.8129.5131.81346.02620.7593.2Delaware6.024.9157.0194.21682.63678.4467.0Florida10.239.6187.9449.11859.93840.5351.4Geogia11.731.1140.5256.51351.12170.2297.9Hawaii7.225.5128.064.11911.53920.4489.4Idaho5.519.439.6172.51050.82599.6237.6Illinois9.921.8211.3209.01085.02828.5528.6Indiana7.426.5123.2153.51086.22498.7377.4Iowa2.310.641.289.8812.52685.1219.9Kansas6.622.0100.7180.51270.42739.3244.3Kentaky10.119.181.1123.3872.21662.1245.4Loisana15.530.9142.9335.51165.52469.9337.7Maine2.413.538.7170.01253.12350.7246.9Maryland8.034.8292.1358.91400.03177.7428.5Masschusetts3.120.8169.1231.61532.22311.31140.1Michigan9.338.9261.9274.61522.73159.0545.5Minnesota2.719.585.985.81134.72559.3343.1Mississippi14.319.665.7189.1915.61239.9144.4Missouri9.628.3189.0233.51318.32424.2378.4Montana5.416.739.2156.8804.92773.2309.3Nebraska3.918.164.7112.7760.02316.1249.1Nevada15.849.1323.1355.02453.14212.6559.2Mew Hampashare3.210.723.276.01041.72343.9293.4New Jersey 5.621.0180.4185.11435.82774.5511.5New Maxico8.839.1109.6343.41418.73008.6259.5New York10.729.4472.6319.11728.02782.0745.8North Carolina10.617.061.3318.31154.12037.8192.1North Dakoda100.99.013.343.8446.11843.0144.7Ohio7.827.3190.5181.11216.02696.8400.4Oklahoma8.629.273.8205.01288.22228.1326.8Oregan4.939.9124.1286.91636.43506.1388.9Pennsyvania5.6 19.0130.3128.0877.51624.1333.2Rhode Island3.610.586.5201.01849.52844.1791.4South Carolina 11.933.0105.9485.31613.62342.4245.1South Dakoda2.013.517.9155.7570.51704.4147.5Tennessee10.129.7145.8203.91259.71776.5314.0Texas13.333.8152.4208.21603.12988.7397.6Utah3.520.368.8147.31171.63004.6334.5Vermont1.415.930.8101.21348.22201.0265.2Virginia9.023.392.1165.7986.22521.2226.7Wasinton4.339.6106.2224.81605.63386.9360.3West Viginia6.013.242.290.9597.41341.7163.3Wiskonsin2.812.952.263.7846.92614.2220.7Wyoming5.421.939.7173.9811.62772.2282.0 解：评估美国各州犯罪率时，用7种犯罪率为7维随机向量，以50个州的统计数据为50次观测。考虑不同犯罪的犯罪率差异很大，用相关阵计算主成分。采用程序data crime; /*建立数据集crime*/input state $ 1-15 murder rape robbery assult burglary larceny auto;/*建立变量state murder rape robbery assult burglary larceny auto。state $ 1-15表示前15列存州名。murder rape robbery assult burglary larceny auto 表7种罪的犯罪率*/cards;/*以下为数据体*/Albama 14.2 25.2 96.8 278.3 1135.5 1881.9 280.7Alaska 10.8 51.6 96.8 284.0 1331.7 3369.8 753.3Arirona 9.5 34.2 138.2 312.3 2346.1 4467.4 439.5.West Viginia 6.0 13.2 42.2 90.9 597.4 1341.7 163.3Wiskonsin 2.8 12.9 52.2 63.7 846.9 2614.2 220.7Wyoming 5.4 21.9 39.7 173.9 811.6 2772.2 282.0;proc princomp out=crimprin; /*调用PRINCOMP过程，用相关阵做主成分分析*/ var murder rape robbery assult burglary larceny auto; /*对这7个变量做分析*/run;执行以上程序，电脑按相关阵做主成分分析；输出主要数表有：样本相关阵的特征值（表头为Eigenvalues ）表，由他们可得方差贡献及方差贡献率；样本相关阵的特征向量（表头为Eigenvectors）。表及解释如下 Eigenvalues Eigenvalue Difference Proportion Cumulative 1 4.09880 2.88618 0.5855 0.5855 2 1.21263 0.45104 0.1732 0.7588 3 0.76159 0.44819 0.1088 0.8676 4 0.31340 0.05201 0.0448 0.9123 5 0.26139 0.01824 0.0373 0.9497 6 0.24315 0.13411 0.0347 0.9844 7 0.10904 0.0156 1.0000以上是特征值表（表头为 Eigenvalues of the Correlation Matrix），由表第5列可见，前3个特征值所占比例之和为0.86757，只要取3个主成分就够了。 Eigenvectors Prin1 Prin2 Prin3 Prin4 Prin5 Prin6 Prin7 murder 0.303311 -.634076 0.154298 -.140310 0.629812 -.040772 0.253239 rape 0.432675 -.167388 -.210696 -.007242 -.139849 0.777963 -.339919 robbery 0.391443 0.019456 0.513231 -.607941 -.427219 -.172227 -.034897 assult 0.401331 -.335621 -.090970 0.586083 -.483781 -.308674 0.212600 burglary 0.434023 0.237752 -.222826 0.045108 0.315123 -.465481 -.622444 larceny 0.361074 0.391665 -.533152 -.276436 0.050926 0.005218 0.594083auto 0.296226 0.496972 0.571152 0.434423 0.255583 0.226870 0.183132以上是特征向量表（表头为Eigenvectors），从第2列起，每列是1个特征向量。第1个特征向量各个分量值大体相同，近似于=0.38；所以第1主成分y1=0.303311murder+0.432675rape+0.391443robbery+0.401331assult +0.4434023burglary+0.361074larceny+0.29296226auto;表示各州犯罪程度的严重性。第2个特征向量各分量对应murder,rape, assult,分量值为负的，对应burglary,larceny,auto分量是正的，murder,rape, assult暴力程度重， burglary,larceny,auto暴力程度轻，因此第二主成分 y2=-0.6634076murder-0.167388rape+0.019456robbery-0.335621assult +0.237752burglary+0.391665 arceny+0.496972 auto反映暴力程度的轻重,第二主成分的值越大，暴力成分越轻。第三主成分的特性不明显，不考虑。许多统计资料简化成样本协差阵，或样本相关阵；这时仍可用SAS的princomp过程计算，只是在data步输入数据时要用“_type_=”语句说明。例5.6 测量雄龟甲的长、宽、厚，并求其自然对数，得到变量；所得24只龟数据的协方差阵如下表，试作主成分分析。表5-3 龟甲数据的协方差阵由于观测资料已被处理为协方差阵，而协方差阵是对称的，只需要输入下三角阵即可，协差阵乘以常数不改变特征向量和累积方差贡献率，所以0.001不用输入。我们采用如下程序 data turtle(type=cov);/*建立数据集file*/_type_=cov; /*数据集为协方差阵类型*/input name $ x1-x3; /*建立变量name x1 x2 x3 */cards;/*以下是数据体*/x1 11.072 . .x2 8.019 6.417 .x3 8.160 6.005 6.773;/*空语句，结束数据体*/proc princomp COV;/*用协方差阵计算3个主成分*/var x1-x3;/*对变量x1 x2 x3求主成分*/run;执行后电脑按相关阵做主成分分析；输出主要数表有：协方差阵的特征值（表头为Eigenvalues），特征向量表（表头为Eigenvectors）。解释如下 Eigenvalues Eigenvalue Difference Proportion Cumulative PRIN1 23.3035 22.7048 0.960493 0.96049 PRIN2 0.5987 0.2389 0.024676 0.98517 PRIN3 0.3598 . 0.014831 1.00000 上表是特征值表，由表第2列可见，特征值分别是23.303496、0.5986906、0.3598188；由上表第5列可见，第1特征值占总变差的96%，所以只需1个主成分，就能解释全部变化。 Eigenvectors PRIN1 PRIN2 PRIN3 X1 0.683103 -.158344 -.712950 X2 0.510212 -.595012 0.621002 X3 0.522546 0.787964 0.325666以上是特征向量表，由表可见，第1主成分的系数0.683103、0.510212、0.522546相差不多，所以第1主成分表示龟甲的尺寸的自然对数和，即龟甲体积的自然对数。5.3 主成分得分实际问题中常需要知道主成分的值，例如例5.5中需要知道哪个州犯罪程度严重，哪个州犯罪程度较轻，这就需要计算每个州第一主成分的值；需要知道哪个州暴力犯罪严重，哪个州暴力犯罪较轻，这就需要计算每个州第二主成分的值。将各变量值代入主成分的表达式，就能计算主成分。例如例5.4中北京气温的第一主成分是prin1=0.643587Dec +0.213039Jan+0.735126Feb,而1951年Dec、Jan、Feb的值分别是1.0、-2.7、-4.3；所以1951年第一主分量的值就是prin1=0.643587*1.0+0.213039*（-2.7）+0.735126*（-4.3）。但是，由于经验正交分解的需要和计算等原因，我们往往计算主成分得分。定义5.4 当用样本协方差阵求主成分时，求各观测值距平（观测值减去其平均值），再代入主成分的公式，所得称为（协方差阵生成的）主成分得分。例如例5.4中第一主成分是0.643587*Dec+0.213039*Jan+0.735126*Feb; Dec,Jan,Feb的样本均值分别是-2.74，-4.59，-2.27；1951年Dec,Jan,Feb的值分别是1.0,-2.7,-4.3；所以1951年（协方差阵生成的）的第一主成分得分就是0.643587*（1.0+2.74）+0.213039*（-2.7+4.59）+0.735126*（-4.3+2.27）=1.32。定义5.5 当用样本相关阵阵求主成分时，将各观测标准化（观测值减去其平均值，除以样本标准差）再代入主成分的公式，所得称为（相关阵生成的）主成分得分。例如例5.4用相关阵计算时，第一主成分是0.6388*Dec+0.5734*Jan+0.5129*Feb。而1951年标准化的Dec,Jan,Feb的值分别是2.013，1.613，-1.034；于是1951年的（相关阵生成的）第一主成分得分就是6388*2.013+0.5734*1.613 +0.5129*（-1.034）=1.681由主成分得分的值很容易算出主成分的值，但由于主成分得分与主成分的值差一常数，因而在比较各次观测主成分的值时，只需比较主成分得分的值即可。SAS-PRINCOMP过程作主成分分析时，能计算主成分得分，在PROC PRINCOMP语句中加选项OUT=文件名，主成分得分的值即存在该文件中。 例5.7 对于例5.4北京19511976年冬季的气温资料，求（协方差阵生成的）各年主成分得分。 解 采用下列程序data temperat;input year Dec Jan Feb;cards;1951 1.0 -2.7 -4.31952 -5.3 -5.9 -3.51953 -2.0 -3.4 -0.8. .1974 -3.6 -3.3 -2.01975 -2.7 -3.7 0.11976 -2.4 -7.6 -2.2;proc princomp cov out=prin;/*各次观测的主成分值存入数据集prin。*/var Dec Jan Feb;/* 对变量Dec Jan Feb 作主成分分析*/proc print data=prin;/* 打印数据集prin所存各次观测的的主成分得分*/run; 执行上述程序，与例5.4相比，增加的SAS输出是下表，其中PRIN1、PRIN2、PRIN3分别表示第1、2、3主成分得分。 表5-4 北京冬季气温主成分得分表 OBS YEAR DEC JAN FEB PRIN1 PRIN2 PRIN3 1 1951 1.0 -2.7 -4.3 1.32159 4.39464 0.79664 2 1952 -5.3 -5.9 -3.5 -2.82663 -1.23681 -0.48750 3 1953 -2.0 -3.4 -0.8 1.81464 -0.24090 0.88972 4 1954 -5.7 -4.7 -1.1 -1.06412 -2.91502 0.71132 5 1955 -0.9 -3.8 -3.1 0.74659 2.02081 0.25417 6 1956 -5.7 -5.3 -5.9 -4.72054 0.22071 0.26664 7 1957 -2.1 -5.0 -1.6 0.82132 -0.07862 -0.59250 8 1958 0.6 -4.3 -0.2 3.73731 1.02475 -0.73246 9 1959 -1.7 -5.7 2.0 3.57608 -2.36830 -1.47492 10 1960 -3.6 -3.6 1.3 2.28606 -2.83781 1.09907 11 1961 -3.0 -3.1 -0.8 1.23497 -0.89291 1.46318 12 1962 0.1 -3.9 -1.1 2.83912 1.35662 -0.18190 13 1963 -2.6 -3.0 -5.2 -1.72085 2.39084 1.56369 14 1964 -1.4 -4.9 -1.7 1.21963 0.50533 -0.69429 15 1965 -3.9 -5.7 -2.5 -1.14787 -0.88178 -0.72358 16 1966 -4.7 -4.8 -3.3 -2.05911 -0.73417 0.38901 17 1967 -6.0 -5.6 -4.9 -4.24241 -0.72751 0.03805 18 1968 -1.7 -6.4 -5.1 -1.79244 2.30614 -1.95308 19 1969 -3.4 -5.6 -2.0 -0.43721 -0.84625 -0.78440 20 1970 -3.1 -4.2 -2.9 -0.60750 0.24643 0.49508 21 1971 -3.8 -4.9 -3.9 -1.94226 0.29187 0.05198 22 1972 -2.0 -4.1 -2.4 0.48932 0.70789 0.26259 23 1973 -1.7 -4.2 -2.0 0.95514 0.63061 0.07014 24 1974 -3.6 -3.3 -2.0 -0.07594 -0.54455 1.47579 25 1975 -2.7 -3.7 0.1 1.96183 -1.40534 0.77828 26 1976 -2.4 -7.6 -2.2 -0.36673 -