统计学数据整理课件

2023/6/6一、数据的预处理二、数据的分组三、品质数据的整理与显示四、数值型数据的整理与显示五、统计表第二章：数据的整理本讲主要内容学习导航数据的整理是数据收集与数据分析之间的中间环节数据整理是对收集来的数据进行加工整理使之符合统计分析的需要。如对数据进行图表显示，以发现数据中的基本规律。数据整理的中心任务就是分组与编制频数分布表统计整理的概念和意义

统计整理——根据统计研究的任务，对统计调查所收集到的大量原始资料进行加工汇总，使其系统化、条理化、科学化，以得出反映事物总体综合特征的数据资料的工作过程。

统计整理是统计调查的继续，是统计分析的前提和基础，在整个统计工作中，发挥着承上启下的作用。数据的预处理数据的审核发现数据中的错误数据的筛选找出符合条件的数据数据排序发现数据的基本特征升序和降序数据的预处理数据的审核(对原始数据)------审核的内容完整性审核检查应调查的单位或个体是否有遗漏所有的调查项目或指标是否填写齐全准确性审核检查数据是否真实反映客观实际情况，内容是否符合实际检查数据是否有错误，计算是否正确等审核数据准确性的方法逻辑检查从定性角度，审核数据是否符合逻辑，内容是否合理，各项目或数字之间有无相互矛盾的现象主要用于对定类数据和定序数据的审核计算检查检查调查表中的各项数据在计算结果和计算方法上有无错误主要用于对定距和定比数据的审核数据的预处理数据的审核(对第二手数据)适用性审核弄清楚数据的来源、数据的口径以及有关的背景材料确定这些数据是否符合自己分析研究的需要时效性审核应尽可能使用最新的统计数据确认是否必要做进一步的加工整理数据的预处理数据的筛选对审核过程中发现的错误应尽可能予以纠正当发现数据中的错误不能予以纠正，或者有些数据不符合调查的要求而又无法弥补时，需要对数据进行筛选数据筛选的内容包括：将某些不符合要求的数据或有明显错误的数据予以剔除将符合某种特定条件的数据筛选出来，而不符合特定条件的数据予以剔出操作演示(调用Excel文件:数据的筛选)数据的预处理数据的排序(要点)按一定顺序将数据排列，以发现一些明显的特征或趋势，找到解决问题的线索排序有助于对数据检查纠错，以及为重新归类或分组等提供依据在某些场合，排序本身就是分析的目的之一排序可借助于计算机完成数据的排序(方法)分类数据的排序字母型数据，排序有升序降序之分，但习惯上用升序汉字型数据，可按汉字的首位拼音字母排列，也可按笔画排序，其中也有笔画多少的升序降序之分数值型数据的排序递增排序：设一组数据为X1，X2，…，XN，递增排序可表示为：X(1)<X(2)<…<X(N)递减排序可表示为：X(1)>X(2)>…>X(N)排序后的数据我们在统计学上称之为：“顺序统计量”一、数据的分组为什么要进行数据分组？通过分类发现数据内部的结构特点数据分组时的关键问题是什么？选择分组标志：区分为不同组的标准或根据分组的原则：体现组内同质、组间异质；穷尽原则；互斥原则数据分组的类型：按品质标志分组和按数量标志分组确定各组界限分组标志可以有多个么？数据分组体系平行分组体系按一个标志对总体进行分组称为简单分组，同一总体的几个简单分组按某一规定排列起来就构成一个平行分组体系。例如：人口总体分别按性别、年龄、民族等标志进行分组，排列起来就构成一个平行分组体系.复合分组体系一个问体同时按两个或多个标志层叠分组，就称为复合分组。复合分组形成的系列就叫~。例如：某校学生总体可先按学科分(文理)、再按(本、硕、博)、最后再按性别分组就构成了一个三级复合分组体系。统计分组的作用

（1）划分现象的类型——类型分组（2）揭示现象内部结构——结构分组（P48）（3）分析现象之间的依存关系——分析分组

（P48）揭露社会经济现象的类型，反映各类型的特点。

⑴类型分组类型2000年2001年2002年2003年农业13873.614462.814931.514870.1林业936.5938.81033.51239.9牧业

7393.17963.18454.69538.8渔业

2712.62815.02971.13137.6合计24915.826179.627390.829691.8例单位：亿元说明社会经济现象的内部结构。⑵结构分组

年份2000200120022003第一产业16.415.815.314.6第二产业50.250.150.452.5第三产业33.434.134.333.1合计100.0100.0100.0100.0例我国国内生产总值构成（%）研究经济现象之间的依存关系。⑶分析分组

耕作深度分组(cm)地块数平均收获率(斤/亩)10-12

740012-141046014-161654016-1818-20125620680例某乡某种农作物的耕作深度与收获率的关系二、数据的整理与显示一.分类数据的整理与显示(基本过程)1、列出各类别2、计算各类别的频数3、制作频数分布表4、用图形显示数据一.分类数据的整理与显示频数：落在各类别中的数据个数。频率：某一类别数据的频数占总体单位个数的比重。频数分布：把频数以表格形式全部列出就是~绘制频数分布表的演示操作(调用Excel文件:分类数据的整理)比例：各类数据与全部数据之比百分数：把比例基数100化比率：各类数据间的比值绘制饼图、柱形图与条形图的演示操作(调用Excel文件:分类数据的整理)二、顺序数据的整理与显示二.顺序数据的整理与显示亦可计算累计频数(累积百分比)：将各类别的频数逐级累加亦可计算累计频率：将各类别的频率(百分比)逐级累加累积有两种：向上累积(沿顺序方向累加)与向下累积(逆顺序方向累加)【实例】在一项城市住房问题的研究中，研究人员在甲乙两个城市各抽样调查300户，其中的一个问题是：“您对您家庭目前的住房状况是否满意？(关于乙城的另一张表见下页表)1．非常不满意；2．不满意；3．一般；4．满意；5．非常满意。

表

甲城市家庭对住房状况评价的频数分布回答类别甲城市户数(户)百分比(%)向上累积向下累积户数(户)百分比(%)户数(户)百分比(%)

非常不满

不满意

一般

满意

非常满意24108934530836311510241322252703008.044.075.090.0100.03002761687530100.092562510合计300100.0————演示累积分布图:如何在同一图表中演示向上与向下累积分布？以本页的下图数据为例当堂演示演示绘制环形图:饼图只能绘制同一总体的结构，那么如何绘制多总体结构？环形图！结合下图与上图数据堂堂绘制表

乙城市家庭对住房状况评价的频数分布回答类别乙城市户数(户)百分比(%)向上累积向下累积户数(户)百分比(%)户数(户)百分比(%)

非常不满

不满意

一般

满意

非常满意21997864387.033.026.021.312.7211201982623007.040.066.087.3100.030027918010238100.093.060.034.012.7合计300100.0————甲百分比(%)836311510乙百分比(%)7.033.026.021.312.7提取甲乙百分比及回答类别共3列三、数值型数据的整理与显示频数分布表的编制数值型数据的图示频数分布的类型频数分布表的编制频率f/∑f频数f分组x确定组距计算频数确定组数编制频数分布表的步骤编制表格频数分布表的编制

（实例）117122124129139107117130122125108131125117122133126122118108110118123126133134127123118112112134127123119113120123127135137114120128124115139128124121【例】某生产车间50名工人日加工零件数如下（单位：个)。试采用单变量值对数据进行分组。分组方法分组方法等距分组异距分组单变量值分组组距分组什么是单变量分组？(概念要点)1.将一个变量值作为一组2.适合于离散变量3.适合于变量值较少的情况什么是组距分组？(概念要点)将变量值的一个区间作为一组适合于连续变量适合于变量值较多的情况必须遵循“不重不漏”的原则可采用等距分组，也可采用不等距分组单变量值分组表

（实例）表

某车间50名工人日加工零件数分组表零件数(个)频数(人)零件数(个)频数(人)零件数(个)频数(人)107108110112113114115117118121211133119120121122123124125126127121443223128129130131133134135137139211122112组距分组

（步骤）确定组数：组数的确定应以能够显示数据的分布特征和规律为目的。在实际分组时，可以按Sturges

提出的经验公式来确定组数K确定各组的组距：组距(ClassWidth)是一个组的上限与下限之差，可根据全部数据的最大值和最小值及所分的组数来确定，即

组距＝(最大值-最小值）÷组数

根据分组整理成频数分布表

调用Excel文件组距分组

（几个概念）1.组限：下限（一个组的最小值）和上限（一个组的最大值）2.全距：最大值与最小值之差3.组距：上限与下限之差组数=全距/组距4.开口组：首未两组用“**以上”或“**以下”表示的叫~5.闭口组：首未两组上下限俱全的叫闭口组4.组中值：闭口组的组中值是下限与上限之间的中点值开口组的组中值计算：缺下限开口组的组中值（左侧）：=上限－邻组组距/2缺上限开口组的组中值(右侧)：=下限+邻组组距/2注意：开口组的计算方法不是一成不变的，可视实际需要特殊处理。（P53）下限值+上限值2组中值＝等距分组表

（上下组限重叠）表

某车间50名工人日加工零件数分组表按零件数分组频数（人）频率（%）105~110110~115115~120120~125125~130130~135135~140358141064610162820128合计50100上下组限重叠时：如何解决“不重”问题？

答方法之一是：上组限不在内原则！即左闭右开型[*，*）

答方法之二是：上下组间断法，如下页表等距分组表

（上下组限间断）表

某车间50名工人日加工零件数分组表按零件数分组频数（人）频率（%）105~109110~114115~119120~124125~129130~134135~139358141064610162820128合计50100上下组限重叠时：如何解决“不重”问题？

答方法之二是：上下组间断法.等距分组表

（使用开口组）表

某车间50名工人日加工零件数分组表按零件数分组频数（人）频率（%）110以下110~114115~119120~124125~129130~134135以上358141064610162820128合计50100分组时，要遵循“不重不漏”原则：如何解决“不漏”问题？

答方法是：采用开口组，使个别极端值不被漏掉！等距分组与异距分组

（在表现频数分布上的差异）等距分组（上面全是以等距分组为例）各组频数的分布不受组距大小的影响可直接根据绝对频数来观察频数分布的特征和规律，绘直方图时可直接以组距为宽(x轴)，以频数为高(y轴)来画！异距分组各组频数的分布受组距大小不同的影响各组绝对频数的多少不能反映频数分布的实际状况需要用频数密度（频数密度＝频数/组距）反映频数分布的实际状况，绘直方图时需要以组距为宽(x轴)，以频数密度为高(y轴)来画！组距频数频数密度109091520013.35250501534022.7202401250801.6数值型数据的图示（用Excel作图）直方图折线图曲线图分组数据—直方图

（直方图的制作）用矩形的宽度和高度来表示频数分布的图形，实际上是用矩形的面积来表示各组的频数分布在直角坐标中，用横轴表示数据分组，纵轴表示频数或频率，各组与相应的频数就形成了一个矩形，即直方图(Histogram)直方图下的总面积等于1分组数据—直方图

（直方图的绘制）频数(人)1512963105110115120125130135140日加工零件数(个)直方图下的面积之和等于1图

某车间工人日加工零件数的直方图分组数据—直方图

（直方图与条形图的区别）条形图是用条形的长度(横置时)表示各类别频数的多少，其宽度(表示类别)则是固定的直方图是用面积表示各组频数的多少，矩形的高度表示每一组的频数或百分比，宽度则表示各组的组距，其高度与宽度均有意义直方图的各矩形通常是连续排列，条形图则是分开排列分组数据—折线图

（折线图的制作）折线图也称频数多边形图(Frequencypolygon)是在直方图的基础上，把直方图顶部的中点(组中值)用直线连接起来，再把原来的直方图抹掉。折线图的两个终点要与横轴相交，具体的做法是第一个矩形的顶部中点通过竖边中点（即该组频数一半的位置）连接到横轴，最后一个矩形顶部中点与其竖边中点连接到横轴。折线图下所围成的面积与直方图的面积相等，二者所表示的频数分布是一致的。1512963105110115120125130135140日加工零件数(个)频数(人)折线图下的面积与直方图的面积相等！分组数据—折线图

（折线图的绘制）图

某车间工人日加工零件数的折线图未分组数据—茎叶图

（茎叶图的制作）用于显示未分组的原始数据的分布由“茎”和“叶”两部分构成，其图形是由数字组成的以该组数据的高位数值作树茎，低位数字作树叶对于n(20≤n≤300)个数据，茎叶图最大行数不超过

L=[10×log10n

]5.茎叶图类似于横置的直方图，但又有区别直方图可大体上看出一组数据的分布状况，但没有给出具体的数值茎叶图既能给出数据的分布状况，又能给出每一个原始数值，保留了原始数据的信息树茎树叶7880223477788890012222333344466777889013344579910111213数据个数3132410茎叶图类似横置的直方图未分组数据—茎叶图

（茎叶图的制作）图

某车间工人日加工零件数的茎叶图未分组数据—茎叶图

（扩展的茎叶图）树茎树叶10s10.11*11t11f11s11.12*12t12f12s12.13*12t13f13s13.78802234577788890012222333344455667778890133445799树茎树叶10*10.11*11.12*12.13*13.78802234577788890012222333344455667778890133445799图

上图扩展后的茎叶图两等份五等份未分组数据—箱线图

（箱线图的制作）用于显示未分组的原始数据或分组数据的分布箱线图由一组数据的5个特征值绘制而成，它由一个箱子和两条线段组成其绘制方法是：首先找出一组数据的5个特征值，即最大值、最小值、中位数Me和两个四分位数(下四分位数QL和上四分位数QU）连接两个四分（位）数画出箱子，再将两个极值点与箱子相连接未分组数据—单批数据箱线图

（箱线图的构成）中位数4681012QUQLX最大值X最小值图

简单箱线图表

某车间50名工人日加工零件数分组表零件数(个)频数(人)零件数(个)频数(人)零件数(个)频数(人)107108110112113114115117118121211133119120121122123124125126127121443223128129130131133134135137139211122112未分组数据—单批数据箱线图

（实例）最小值107最大值139中位数123下四分位数117.75上四分位数128105110115120125130135140图

上例中50名工人日加工零件数的箱线图分布的形状与箱线图

对称分布QL中位数

QU左偏分布QL中位数

QU右偏分布QL

中位数

QU图

不同分布的箱线图未分组数据—多批数据箱线图

（实例）【例】

从某大学经济管理专业二年级学生中随机抽取11人，对8门主要课程的考试成绩进行调查，所得结果如表3-8。试绘制各科考试成绩的批比较箱线图，并分析各科考试成绩的分布特征表11名学生各科的考试成绩数据课程名称学生编号1234567891011英语经济数学西方经济学市场营销学财务管理基础会计学统计学计算机应用基础76659374687055859095818775739178975176857092688171748869846573957078669073788470936379806087816786918377769070828382928481706972787578918866948085718674687962818155787075687177未分组数据—多批数据箱线图

(由STATIATICA绘制的多批数据箱线图)图8门课程考试成绩的箱线图图11名学生8门课程考试成绩的箱线图Min-Max25%-75%Medianvalue455565758595105学生1学生2学生3学生4学生5学生6学生7学生8学生9学生10学生11未分组数据—箱线图

(由STATIATICA绘制的多批数据箱线图)时间序列数据—折线图

（实例）【例】已知1991～1998年我国城乡居民家庭的人均收入数据如表。试绘制折线图￥

＄

表1991～1998年城乡居民家庭人均收入年份城镇居民农村居民199119921993199419951996199719981700.62026.62577.43496.24283.04838.95160.35425.1708.6784.0921.61221.01577.71926.12091.12162.0时间序列数据

（由Excel绘制的线图）020004000600019911992199319941995199619971998城镇居民农村居民收入

（元）

图

城乡居民家庭人均收入时间序列数据—折线图

（折线图的制作）绘制折线图时应注意以下几点时间一般绘在横轴，指标数据绘在纵轴图形的长宽比例要适当，其长宽比例大致为10：7一般情况下，纵轴数据下端应从“0”开始，以便于比较。雷达图（RadarChart）是显示多个变量的常用图示方法在显示或对比各变量的数值总和时十分有用假定各变量的取值具有相同的正负号，总的绝对值与图形所围成的区域成正比可用于研究多个样本之间的相似程度多变量数据—雷达图

（要点）设有n组样本S1，S2，…Sn，每个样本测得P个变量X1，X2，Xp，要绘制这P个变量的雷达图，其具体做法是多变量数据—雷达图

（雷达图的制作）

先做一个圆，然后将圆P等分，得到P个点，令这P个点分别对应P个变量，在将这P个点与圆心连线，得到P个幅射状的半径，这P个半径分别作为P个变量的坐标轴，每个变量值的大小由半径上的点到圆心的距离表示

再将同一样本的值在P个坐标上的点连线。这样，n个样本形成的n个多边形就是一个雷达图多变量数据—雷达图

（实例）【例】1997年我国城乡居民家庭平均每人各项生活消费支出数据如表。试绘制雷达图。表1997年城乡居民家庭平均每人生活消费支出项目城镇居民农村居民食品衣着家庭设备用品及服务医疗保健交通通讯娱乐教育文化服务居住杂项商品与服务1942.59520.91316.89179.68232.90448.38358.64185.65

890.28109.4185.4162.4553.92148.18233.2334.27合计4185.641617.150500100015002000

食品

衣着

家庭设备用

品及服务

医疗保健

交通通讯

娱乐教育

文化服务

居住

杂项商品

与服务城镇居民农村居民图1997年城镇居民家庭消费支出

（元）多变量数据—雷达图

（由Excel绘制的雷达图）多变量数据—雷达图

（实例）【例】为研究某条河流的污染程度，环保局分别在上游、中游和下游设立取样点，每个取样点化验水中的五项污染指标，所得数据如表。将各指标用雷达图表示出来，并分析该河流的主要污染源。表

不同样本点的化验指标指标1指标2指标3指标4指标5上游中游下游4.520.342.175.01.46.8483362081964111214635多变量数据—雷达图

（由Excel绘制的对数坐标雷达图）0.11101001000指标1指标2指标3指标4指标5上游中游下游图3-16河流污染指标雷达图

数据类型及图示

（小结）数据类型与显示数值型数据品质数据分组数据总计表茎叶图条形图圆形图环形图直方图箱线图折线图原始数据时序数据折线图雷达图多元数据频数分布的形状（常有U型、钟形与J形）类型对称分布右偏分布左偏分布正J型分布反J型分布U型分布图

几种常见的频数分布一.统计表的构成二.统计表的设计四、统计表统计表的结构表1997～1998年城镇居民家庭抽样调查资料项目计量单位1997年

1998年(甲)(乙)(1)

(2)一、调查户数二、平均每户家庭人口数三、平均每户就业人口数四、平均每人全部收入