数据的初步分析 R软件

数据的初步分析一个数据可能有很多变量和观测值，这些变量和观测值可以通过一些简单的表格、图形以及少数的特征统计量来进行描述。这些方法在统计学中称为描述性统计分析方法，其目的在于帮助我们整理、展示数据，使得我们可以了解数据的特征，进而为进一步的统计推断做好准备。通过计算机软件做数据的描述性分析，可以使我们更加直观、便捷地了解数据特征，有利于对统计描述的理解。本章的实验重点是介绍如何运用R软件来对数据进行描述性分析，并掌握描述性统计的基本方法和概念。实验一数据的统计量描述实验目的初步了解数据的特点、分布形状；熟悉R软件的程序结构；学会使用R软件计算数据的描述统计量。实验内容掌握通过R软件读入或输入数据，并能够计算数据集的均值、中位数、分位数、方差、标准差、变异系数、偏度系数以及峰度系数。准备知识位置的度量所谓位置的度量就是那些用来描述数据集中趋势的统计量。常用的有均值、众数、中位数、百分位数等。平均数（Mean）：中位数（Median）：一组数据按从小到大（或从大到小）的顺序依次排列，处在中间位置的一个数，即me中位数描述的是数据的中心位置不受数据分布的影响，具有稳健性，是数据分析中相当重要的统计量。众数（Mode）：在一组数据中,出现次数最多的那个数据。百分位数：百分位数是中位数的推广。将数据按从小到大排序后，对于0≤p<1m其中[np]为np的整数部分。离散趋势度量表示数据分散或变异程度的特征统计量，常用的有方差、标准差、变异系数等样本方差（SampleVariance）：描述数据取值分散性的一个度量，即样本标准差（StandardDeviation）：样本方差的开方，即变异系数（CV）：变异系数是刻画数据相对分散性的一种度量CV=100×是一个无量纲的量，用百分数表示。分布形状的度量数据分布形状的度量包括偏度系数和峰度系数。偏度系数：计算公式为gs是标准差，峰度系数：计算公式gs是标准差，μ4实验背景某灯泡生产厂商测试某种新型灯泡的燃烧寿命，如下数据表格列出了200个灯泡样本的可使用小时数。107736897767994599857799863656662798668746479787977868976748592788877103886368888174708561658175629471936165629265646683707866669477636675687661717791967564767277817185995992946268728567878084936976897573815465718084886261618265986371621166588738068788972586982726473759062897171747085848363926881627983708177728467595873837376907871101784359677465828679746686968977608784757751456310259778368726792898296计算数据集的均值、中位数、分位数、方差、标准差、变异系数、偏度系数以及峰度系数。实验过程1.读入数据。首先通过R软件中的read.table()命令来读入实验数据（也可以通过函数scan()来读入数据）。以本实验为例，我们假定数据的存储路径为：I:\非参数实验教材\教材\第一章描述性统计分析，数据名称为”测试.txt”,则具体读入过程如下：>x<-read.table("I:\\非参数实验教材\\教材\\第一章描述性统计分析\\测试.txt")>x=t(x)2.均值。读入数据后，可以通过”mean()”这一函数求数据的均值，记为x.mean，过程如下：>x.mean=mean(x);x.mean[1]76.053.数据排序。在R软件中，对原始数据进行排序，可以通过”sort()”函数(具体用法可以参考help文件)对数据进行排序，例如，分别对数据进行降序和升序排列，过程如下：>sort(x,decreasing=T)[1]11610710310210199989898979696969494949493[19]939292929292919090898989898989888888[37]888887878686868685858585858484848484[55]838383838382828282818181818181808080[73]797979797979797878787878787777777777[91]777777777676767676767575757575757474[109]747474747373737373737272727272727171[127]717171717171707070706969686868686868[145]686867676767666666666666656565656565[163]656564646464636363636363626262626262[181]626261616161616059595959595858575451[199]4543>sort(x,decreasing=F)[1]434551545758585959595959606161616161[19]626262626262626263636363636364646464[37]656565656565656566666666666667676767[55]686868686868686869697070707071717171[73]717171717272727272727373737373737474[91]747474747575757575757676767676767777[109]777777777777777878787878787979797979[127]797980808081818181818182828282838383[145]838384848484848585858585868686868787[163]888888888889898989898990909192929292[181]929393949494949696969798989899101102103[199]1071164.中位数。在R软件中，求数据中位数的命令函数为median()，可以通过以下命令求中位数。>median(x)[1]75.55.分位数。求分位数的函数命令为quantile()，我们可以通过quantile()求某一个具体的分位点值，也可以同时求多个分位点值，例如>quantile(x)0%25%50%75%100%43.0066.7575.5084.00116.00>quantile(x,0.05)5%59>quantile(w,probs=seq(0,1,0.2))0%20%40%60%80%100%47.4056.9862.2064.0067.3275.006.方差和标准差。在R软件中求方差和标准差的命令函数为var()和sd()，通过这两个命令可以很容易的求出数据的方差、标准差。具体如下：>var(x)[1]145.4548>sd(x)[1]12.060467.变异系数、峰度和偏度。在R软件中没有专门的函数用来求数据的变异系数、峰度以及偏度，不过我们可以根据公式，自己编写命令或函数来求这些统计量的值。例如，变异系数可以通过以下命令求得：>cv=100*sd(x)/mean(x);cv[1]15.8586而样本数据的峰度和偏度可以通过以下命令求得：n<-length(x)m<-mean(x)s<-sd(x)g1<-n/((n-1)*(n-2))*sum((x-m)^3)/s^3g2<-((n*(n+1))/((n-1)*(n-2)*(n-3))*sum((x-m)^4)/s^4-(3*(n-1)^2)/((n-2)*(n-3)))我们也可以编写一个完整的函数来将以上所有特征统计量求出来，以下给出了一个简单的函数（具体见附录），用法如下：>data.outline(x)NMeanV1std_devMedianstd_meanCVCSSUSSR120076.05145.454812.0604675.50.852803515.858628945.5118566673R1SkewnessKurtosis117.250.27702750.03557146练习实验以下数据为非洲44个国家的人均收入（单位为美元）：1890.00640.00660.00320.00290.001870.007480.00290.00740.001490.00100.00430.00170.00200.00150.00380.00440.00260.00190.00140.00290.00320.002780.003430.00250.0090.00390.00430.00220.001350.00300.00450.003580.00590.004090.00320.00310.00100.00640.00310.00130.00210.00550.00240.00计算数据集的均值、中位数、分位数、方差、标准差、变异系数、偏度系数以及峰度系数。以下数据为福布斯杂志的全球最好的125个公司的利润数据（单位为美元）：10.934.081.460.910.730.840.860.560.420.308.752.771.021.360.670.540.390.410.390.415.892.781.610.881.080.470.490.320.220.2812.432.771.491.130.590.430.460.410.300.344.542.312.431.541.140.520.280.430.350.253.541.830.870.630.440.510.810.420.270.241.801.681.070.730.841.110.280.450.380.263.303.672.851.900.520.370.310.370.270.235.093.230.911.360.930.550.360.550.931.031.070.550.470.330.333.341.481.770.340.290.420.250.390.313.551.580.871.080.340.750.6031.530.910.911.261.000.420.430.16计算数据集的均值、中位数、分位数、方差、标准差、变异系数、偏度系数以及峰度系数。附录：data_outline<-function(x){n<-length(x)m<-mean(x)v<-var(x)s<-sd(x)me<-median(x)cv<-100*s/mg1<-n/((n-1)*(n-2))*sum((x-m)^3)/s^3g2<-((n*(n+1))/((n-1)*(n-2)*(n-3))*sum((x-m)^4)/s^4-(3*(n-1)^2)/((n-2)*(n-3)))data.frame(N=n,Mean=m,Var=v,std.dev=s,Median=me,CV=cv,Skewness=g1,Kurtosis=g2,s=1)}实验二数据分布一、实验目的掌握判断样本数据是否来自正太总体的方法；对于给定的样本数据，会通过R软件画出样本数据的直方图、经验分布图以及Q-Q图。二、实验内容通过R软件画出样本数据的直方图、经验分布图以及Q-Q图。三、准备知识想要了解样本数据的总体分布情况，仅有特征统计量是不够的，还需要研究数据的分布。而研究数据的总体分布的一个主要问题就是想知道数据是否来自于某一个正太总体，也就是所谓的分布的正态性检验问题。研究这一问题常用到的方法包括直方图、经验分布图Q-Q图以及下一个实验内容所包括的茎叶图、箱线图等直方图：直方图是一种\o"二维"二维\o"统计图表"统计图表，它的两个坐标分别是\o"统计样本（页面不存在）"统计样本和该样本对应的某个属性的度量。直方图是用面积而非高度来表示数量。直方图由一组块形组成，每一个块形的面积表示在相应的小组区间中事例的\o"百分数"百分数。采用\o"密度尺度（页面不存在）"密度尺度，每一个块形的高度等于相应小组区间中事例的百分数除以该\o"区间"区间的长度。其面积呈现为百分数，总面积为100%。直方图下两个数值之间的面积给出了落在那个区间内的事件的百分数。经验分布图：直方图的制作适合于总体为连续分布的场合。对于一般的总体分布，若要估计它的总体分布函数，可以采用经验分布函数。经验分布函数是指根据样本构造的概率分布函数.设x1,⋯,xn为一组样本,定义函数m(x)表示样本中小于或者等于x的样本个数,则称函数F为样本x1Q-Q图：Q-Q图是一种散点图,对应于正态分布的Q-Q图,就是由标准正态分布的分位数为横坐标,样本值为纵坐标的散点图.要利用QQ图鉴别样本数据是否近似于正态分布,只需看QQ图上的点是否近似地在一条直线附近,而且该直线的斜率为标准差,截距为均值.用QQ图还可获得样本偏度和峰度的粗略信息.Q-Q图可以用于检验数据的分布，所不同的是，Q-Q图是用变量数据分布的分位数与所指定分布的分位数之间的关系曲线来进行检验的。四、实验背景某灯泡生产厂商测试某种新型灯泡的燃烧寿命，如下数据表格列出了200个灯泡样本的可使用小时数。107736897767994599857799863656662798668746479787977868976748592788877103886368888174708561658175629471936165629265646683707866669477636675687661717791967564767277817185995992946268728567878084936976897573815465718084886261618265986371621166588738068788972586982726473759062897171747085848363926881627983708177728467595873837376907871101784359677465828679746686968977608784757751456310259778368726792898296根据给定的样本数据画出数据的直方图、经验分布图以及Q-Q图。五、实验过程数据的读入可以参见实验一，这里不再重复。1.直方图。软件中直方图的命令为hist()（具体可以参考R软件文档），如果不输入其它参数，则可以采取默认分组，具体为>hist(x)也可以指定分组、颜色等其它参数，例如>hist(x,breaks=15)在本实验中，为了观察数据的分布特征，以及判断数据是否来自正太总体，可以同时绘出直方图和密度估计曲线和正太分布的概率密度曲线进行比较。>hist(x,freq=FALSE)>lines(density(x),col="blue")>w<-min(x):max(x)>lines(w,dnorm(w,mean(x),sd(x)),col="red")2.经验分布图。在这一实验中，我们同样可以通过绘出200个灯泡使用时间的经验分布图和相应的正态分布图来进行比较，以判断数据是否来自于正太总体，例如>plot(ecdf(x),verticals=TRUE,do.p=FALSE)>w<-min(x):max(x)>lines(w,pnorm(w,mean(x),sd(x)))3.QQ图。QQ图同样可以用来判断数据的总体情况，画出数据的正态QQ图和正太QQ曲线，判断样本是否来自正态总体，过程如下：>qqnorm(x);qqline(x)七、练习实验以下数据为非洲44个国家的人均收入（单位为美元）：1890.00640.00660.00320.00290.001870.007480.00290.00740.001490.00100.00430.00170.00200.00150.00380.00440.00260.00190.00140.00290.00320.002780.003430.00250.0090.00390.00430.00220.001350.00300.00450.003580.00590.004090.00320.00310.00100.00640.00310.00130.00210.00550.00240.00计算数据集的均值、中位数、分位数、方差、标准差、变异系数、偏度系数以及峰度系数。以下数据为福布斯杂志的全球最好的125个公司的利润数据（单位为美元）：10.934.081.460.910.730.840.860.560.420.308.752.771.021.360.670.540.390.410.390.415.892.781.610.881.080.470.490.320.220.2812.432.771.491.130.590.430.460.410.300.344.542.312.431.541.140.520.280.430.350.253.541.830.870.630.440.510.810.420.270.241.801.681.070.730.841.110.280.450.380.263.303.672.851.900.520.370.310.370.270.235.093.230.911.360.930.550.360.550.931.031.070.550.470.330.333.341.481.770.340.290.420.250.390.313.551.580.871.080.340.750.6031.530.910.911.261.000.420.430.16计算数据集的均值、中位数、分位数、方差、标准差、变异系数、偏度系数以及峰度系数。实验三数据的茎叶图、盒子图以及五数总括一、实验目的掌握判断样本数据是否来自正太总体的方法；对于给定的样本数据，会通过R软件画出样本数据的茎叶图、盒子图以及能够计算五数总括。二、实验内容通过R软件画出样本数据的茎叶图、箱线图，并计算五数总括。三、准备知识1.茎叶图茎叶图有三列数：左边的一列数统计数，它是上（或下）向中心累积的值，中心的数（带括号）表示最多数组的个数；中间的一列表示茎，也就是变化不大的位数；右边的是数组中的变化位，它是按照一定的间隔将数组中的每个变化的数一一列出来，像一条枝上抽出的叶子一样，所以人们形象地叫它茎叶图。茎叶图是一个与直方图相类似的特殊工具，但又与直方图不同，茎叶图保留原始资料的资讯，直方图则失去原始资料的讯息。将茎叶图茎和叶逆时针方向旋转90度，实际上就是一个直方图，可以从中统计出次数，计算出各数据段的频率或百分比。从而可以看出分布是否与正态分布或单峰偏态分布逼近。2.箱线图箱线图（Boxplot）也称箱图、盒形图等，是利用数据中的五个\o"统计量"统计量：最小值、第一\o"四分位数"四分位数、\o"中位数"中位数、第三四分位数与最大值来描述数据的一种方法，它也可以粗略地看出数据是否具有有对称性，分布的分散程度等信息，特别可以用于对几个样本的比较。3.五数总括直方图、茎叶图虽然包含了大量的样本信息，但是没有做任何加工或简化。有时，我们需要用少数几个统计量来对大量的原始数据进行概括。而最有代表性的、能够反映数据重要特征的五个数为：中位数、下四分位数、上四分位数、最小值和最大值。这五个数称为样本数据的五数总括。四、实验背景某灯泡生产厂商测试某种新型灯泡的燃烧寿命，如下数据表格列出了200个灯泡样本的可使用小时数。107736897767994599857799863656662798668746479787977868976748592788877103886368888174708561658175629471936165629265646683707866669477636675687661717791967564767277817185995992946268728567878084936976897573815465718084886261618265986371621166588738068788972586982726473759062897171747085848363926881627983708177728467595873837376907871101784359677465828679746686968977608784757751456310259778368726792898296根据给定的样本数据画出数据的直方图、经验分布图以及Q-Q图。五、实验过程数据的读入可以参见实验一，这里不再重复。1.绘出数据的茎叶图。在R中茎叶图的绘制命令为stem()，过程为>stem(x)Thedecimalpointis1digit(s)totherightofthe|4|34|55|145|788999996|0111112222222233333344446|55555555666666777788888888997|0000111111112222223333334444447|55555566666677777777788888899999998|000111111222233333444448|55555666677888889999999|001222223344449|6667888910|12310|711|