第二三章数据搜集与整理1

Chapter2

统计调查与资料整理第一节数据的来源第二节统计调查第三节原始数据的预处理第四节统计分组第五节统计图表cemtongjixue@cemtongjixue统计调查统计整理统计分析有组织、有计划地搜集资料。要求：准确、完整、及时对调查资料去伪存真、去粗取精、科学分类、浓缩简化描述性分析推断分析、决策分析。要求：定性定量结合统计工作的三个中心阶段预处理第一节数据的来源间接来源：二手资料直接来源：一手资料Next二手数据的特点搜集容易，采集成本低作用广泛分析所要研究的问题提供研究问题的背景帮助研究者更好地定义问题检验和回答某些疑问和假设寻找研究问题的思路和途径在研究中应优先考虑搜集二手资料系统外部的数据1．统计部门和政府部门公布的有关资料，如各类统计年鉴2．各类经济信息中心、信息咨询机构、专业调查机构等提供的数据3．各类专业期刊、报纸、书籍所提供的资料4．各种会议，如博览会、展销会、交易会及专业性、学术性研讨会上交流的有关资料5．互联网或图书馆查阅到的相关资料

系统内部的数据业务资料，如与业务经营活动有关的各种单据，记录经营活动过程中的各种统计报表各种财务，会计核算和分析资料等二手数据的来源二手数据的评估数据是谁搜集的？可信度评估为什么目的而搜集的？数据是怎样搜集的？什么时候搜集的？数据的直接来源

(原始数据)调查数据通过调查方法获得的数据通常是对社会现象而言通常取自有限总体实验数据通过实验方法得到的数据通常是对自然现象而言也被广泛运用到社会科学中如心理学、教育学、社会学、经济学、管理学等

第二节统计调查一．统计调查的意义和要求二、统计调查的组织方式三．统计调查方案的设计四．数据的搜集方法统计调查的含义——根据统计研究的目的和任务，运用科学的调查方法，有组织有计划地向客观实际收集资料的过程。

统计调查的基本要求——

准确：客观、真实（涉及到技术问题、原则问题）；

及时：保证时效；

全面：满足调查研究的需要。一．统计调查的意义和要求

二、统计调查的组织方式1、统计调查的分类

2．几种重要的统计调查1、统计调查的分类

1)按调查对象包括的范围：☆全面调查(统计报表、普查)☆非全面调查(统计报表、抽样、典型、重点调查)

2)按调查登记时间的连续性：☆连续性调查(连续不断地、经常地进行登记)☆一次性调查(两次登记之间间隔的时间较长)

3)按搜集资料组织方式：☆统计报表☆专门调查(普查、抽样、重点、典型)◎普查—

普查是专门组织的一次性的全面调查。

特点：其他调查方式不能替代；涉及面广、准确度要求高、时效性强，必须统一领导、统一要求、统一行动。组织原则：规定标准时点；确定普查期限；规定调查项目；选择普查的时期；用途：对没有必要经常调查的项目；其他调查方法达不到既定精度的情况。2．几种重要的统计调查今后，我国的普查将规范化、制度化，即每逢末尾数字为“0”的年份进行人口普查，每逢“3”的年份进行第三产业普查，每逢“5”的年份进行工业普查，每逢“7”的年份进行农业普查，每逢“1”或“6”的年份进行统计基本单位普查。

◎抽样调查——

按照随机原则从总体中抽取一部分调查单位进行观察，用以推断总体。

特点：按照随机的原则抽取调查单位；由抽查结果从数量上推断总体；对总体推断的准确性和可靠性有概率保证。

用途：不可能进行全面调查的情况下；可以进行全面调查但经济上不合算的情况下；时间紧迫的情况下；检查修正普查和全面调查的结果；对生产过程进行质量控制。◎统计报表（制度）——

按照国家统一规定的表格形式，定期地、自上而下布置，自下而上填报统计资料的一种调查形式。特点：已经形成一种制度；可以组织全面、非全面调查。类型：国家统计报表、业务统计报表、地方统计报表；半月报、月报、季报、半年报、年报。用途：用于搜集全面的基本情况，也为重点调查等非全面调查所采用。

◎重点调查——

从调查对象中选取一部分对全局具有决定作用的重点单位进行调查。特点：调查单位少、经济，对重点单位之外的其他单位可进行抽样调查作为对总体调查的补充。

◎典型调查——

选取少数具有代表性的单位进行深入细致的调查，以把握总体的特征。特点：属于社会调查方法；可以取得第一手数据资料和文字资料、资料具体生动，便于总结经验教训关键：选好典型——典型调查的质量保证；

三．统计调查方案的设计

A、确定调查目的；

B、明确调查对象和单位；

C、确定调查项目、拟订调查表；

D、调查时间、时限和地点；

E、调查工作的组织实施；

F、编制填表说明。调查方案的内容调查目的调调查查对单象位和调调查查项表目调查时间调查期限组织实施计划数据的搜集方法询问调查访问调查观察实验电话调查邮寄调查观察电脑辅助座谈会个别深访实验四．数据的搜集方法

(1）调查者与被调查者通过面对面地交谈而获得资料

(2)有标准式访问和非标准式访问－标准式访问通常按事先设计好的问卷进行－非标准式访问事先一般不制作问卷1.访问调查（1）也称邮寄问卷调查（2）是一种标准化调查（3）调查者与被调查者没有直接的语言交流，信息的传递依赖于问卷（4）通过某种方式将调查表或问卷送至某调查者手中，由被调查者填写，然后将问卷寄回指定收集点（5）问卷或表格的发放方式有邮寄、宣传媒介传送、专门场所分发三种 2.邮寄调查（1）调查者利用电话与被调查者进行语言交流以获得信息（2）时效快、成本低（3）问题的数量不宜过多

3.电话调查（1）又称电脑辅助电话调查（2）电脑与电话相结合完成调查的全过程（3）一般需借助专门的软件进行（4）硬件设备要求较高 4.电脑辅助调查也称集体访谈将一组被调查者集中在调查现场，让他们对调查的主题发表意见以获得资料参加座谈会的人数不宜过多，一般为6～10人侧重于定性研究5.座谈会（1）一次只有一名受访者参加、针对特殊问题的调查（2）适合于较隐秘的问题，如个人隐私问题；或较敏感的问题，如政治方面的问题（3）侧重于定性研究6.个别深度访问就调查对象的行动和意识，调查人员边观察边记录以收集所需信息调查人员不是强行介入能够在被调查者不察觉的情况下获得资料7.观察法在设定的特殊实验场所、特殊状态下，对调查对象进行实验以获得所需资料有室内实验法和市场实验法8.实验法调查问卷的设计设计原则设计步骤问卷包括的内容：卷首语、正文、结尾第三节原始资料的预处理一、原始资料预处理的作用二、原始资料预处理的内容三、统计整理的方法统计调查统计整理统计分析有组织、有计划地搜集资料。要求：准确、完整、及时对调查资料去伪存真、去粗取精、科学分类、浓缩简化描述性分析推断分析、决策分析。要求：定性定量结合统计工作的三个中心阶段一、原始资料预处理的作用预处理

二、原始资料预处理的内容

－－审核、筛选与排序

1．原始数据的审核（1）完整性（2）准确性

2．二手数据的审核（1）完整性（2）准确性

（3）适用性和时效性

检查数据中的错误

3．数据的筛选找出符合条件的数据

4．数据的排序Ⅰ．数据审核—原始数据审核的内容1．完整性审核检查应调查的单位或个体是否有遗漏所有的调查项目或指标是否填写齐全2．准确性审核检查数据是否真实反映客观实际情况，内容是否符合实际检查数据是否有错误，计算是否正确等审核方法：逻辑检查、计算检查。Ⅱ．数据的审核—二手数据1．适用性审核弄清楚数据的来源、数据的口径以及有关的背景材料确定数据是否符合自己分析研究的需要2．时效性审核尽可能使用最新的数据3．确认是否必要做进一步的加工整理Ⅲ．数据筛选1．当数据中的错误不能予以纠正，或者有些数据不符合调查的要求而又无法弥补时，需要对数据进行筛选2．数据筛选的内容包括将某些不符合要求的数据或有明显错误的数据予以剔除将符合某种特定条件的数据筛选出来，而不符合特定条件的数据予以剔除P43

8名学生的考试成绩数据

用Excel进行数据筛选Ⅳ

数据排序按一定顺序将数据排列，以发现一些明显的特征或趋势，找到解决问题的线索排序有助于对数据检查纠错，以及为重新归类或分组等提供依据在某些场合，排序本身就是分析的目的之一排序可借助于计算机完成P46数据排序方法１．分类数据的排序字母型数据，排序有升序降序之分，但习惯上用升序汉字型数据，可按汉字的首位拼音字母排列，也可按笔画排序，其中也有笔画多少的升序降序之分2．数值型数据的排序递增排序：设一组数据为x1，x2，…，xn，递增排序后可表示为：x(1)<x(2)<…<x(n)递减排序：可表示为：x(1)>x(2)>…>x(n)第四节统计分组统计整理的意义——

指根据统计研究任务的要求，对调查所搜索的原始资料进行分组、汇总，使其条理化、系统化的工作过程。

实现了从总体单位的标志值向说明总体数量特征的指标值过渡，是人们对社会经济现象从感性认识上升到理性认识的过渡阶段，为统计分析提供基础。1．统计整理的基本1)对分类数据和顺序数据主要是做分类整理2)对数值型数据则主要是做分组整理3)适合于低层次数据的整理和显示方法也适合于高层次的数据；但适合于高层次数据的整理和显示方法并不适合于低层次的数据(分类数据和顺序数据的整理方法也都适合于数值型数据、但数值型数据还有一些特定的整理方法)第四节统计分组统计分组的概念：根据统计研究任务的要求和现象总体的内在特点，把统计总体按照某一标志划分为若干部分(组)。统计分组的作用

----将零散的资料分组整理后，发现其特点

----划分现象的类型

----研究现象的内部结构：

----揭示现象的依存关系：2.统计分组的作用城市居民家庭平均每人消费性支出构成(%)

1990

1995

2000食品

54.25

50.09

39.44衣着

13.36

13.55

10.01家庭设备用品及服务10.14

7.44

7.49

医疗保健

2.01

3.11

6.36

交通通信

1.20

5.18

8.54

教育文化娱乐服务11.12

9.36

13.40居住

6.98

8.02

11.31

杂项商品与服务

0.94

3.25

3.44独立核算企业的利税总额按经济类型分组利税总额（亿元）企业单位数（个）国有经济2876.2579731集体经济1032.40342908股份制经济425.874359外商投资经济344.4812713港澳台经济203.94163883．分类数据的整理【例】“您比较关心下列哪一类广告？”商品广告；服务广告；金融广告；房地产广告；招生招聘广告；其他广告。广告类型人数(人)

商品广告服务广告金融广告房地产广告招生招聘广告其他广告11251916102分类数据的整理列出各类别计算各类别的频数制作频数分布表用图形显示数据基本过程1.频数：落在各类别中的数据个数2.比重：某一类别数据占全部数据的比重3.百分比：将对比的基数作为100而计算的比值类型人数(人)比例频率(%)

商品广告服务广告金融广告房地产广告招生招聘广告其他广告112519161020.5600.2550.0450.0800.0500.01056.025.54.58.05.01.0合计2001100频数分布表(1)可计算指标累积频数：将各类别的频数逐级累加累积频率：将各类别的频率(百分比)逐级累加

4．顺序数据的整理与显示方向：向上累积：自类别顺序的开始一方向最后一方累加向下累积：自类别顺序的最后一方向开始一方累加【例】在一项城市住房问题的研究中，研究人员在甲乙两个城市各抽样调查300户，其中的一个问题是：“您对您家庭目前的住房状况是否满意？1．非常不满意；2．不满意；3．一般；4．满意；5．非常满意。甲城市家庭对住房状况评价的频数分布回答类别甲城市户数(户)百分比(%)向上累积向下累积户数(户)百分比(%)户数(户)百分比(%)

非常不满意不满意一般满意非常满意24108934530836311510241322252703008.044.075.090.0100.03002761687530100.092562510合计300100————(2)频数分布表乙城市家庭对住房状况评价的频数分布回答类别乙城市户数(户)百分比(%)向上累积向下累积户数(户)百分比(%)户数(户)百分比(%)

非常不满意不满意一般满意非常满意21997864387.033.026.021.312.7211201982623007.040.066.087.3100.030027918010238100.093.060.034.012.7合计300100.0————243001322252700100200300400

非常不满意

不满意

一般

满意

非常满意累积户数（户）(a)向上累积27616830300750100200300400

非常不满意

不满意

一般

满意

非常满意累积户数（户）(b)向下累积

累积频数分布图

甲城市家庭对住房状况评价的累积频数分布图5、数值型数据的整理(1)频数分布表的编制：数据分组(2)数值型数据的显示(3)频数分布的类型【例】某生产车间50名工人日加工零件数如下（单位：个）。试对数据进行分组。分组方法等距分组异距分组单项式分组组距分组分组方法概括(1)频数分布表的编制：数据分组单项式分组1.将一个变量值作为一组2.适合于离散变量3.适合于变量值较少的情况单项式分组方法

某生产车间50名工人日加工零件数（单位：个）

117108110112137122131118134114124125123127120129117126123128139122133119124107133134113115117126127120139130122123123128122118118127124125108112135121为便于分组，可先对上面的数据进行排序，结果如下：107117122125130108117122125131108118122126133110118123126133112118123127134112119123127134113120123127135114120124128137115121124128139117122124129139采用单项式分组形成的频数分布表如下表

某车间50名工人日加工零件数分组表表某车间50名工人日加工零件数分组表零件数(个)频数(人)零件数(个)频数(人)零件数(个)频数(人)107108110112113114115117118121211133119120121122123124125126127121443223128129130131133134135137139211122112组距式分组将变量值的一个区间作为一组适合于连续变量适合于变量值较多的情况需要遵循“不重不漏”的原则可采用等距分组，也可采用不等距分组~~~~~组距分组的几个概念1.下限(lowlimit)

：一个组的最小值2.上限(upperlimit)

：一个组的最大值3.组距(classwidth)

：上限与下限之差4.组中值(classmidpoint)

：下限与上限之间的中点值下限值+上限值2组中值=

B.确定组数：组数的确定应以能够显示数据的分布特征和规律为目的。在实际分组时，可按经验公式来确定组数K组距式分组步骤C.确定各组的组距：组距是一个组的上限与下限之差，可根据全部数据的最大值和最小值及所分的组数来确定，即组距＝(最大值-最小值）÷组数D.根据分组整理成频数分布表A.排序：组距式分组方法例

某生产车间50名工人日加工零件数（单位：个）

1171081101121371221311181341141241251231271201291171261231281391221331191241071331341131151171261271201391301221231231281221181181271241251081121351212．组数K＝1＋lg50÷lg2≈73．组距＝（139－107）÷7＝4.6组距：取5或10的倍数，而且第一组的下限应低于最小变量值，最后一组的上限应高于最大变量值，因此组距可取54．依据分组整理成频数分布表1．排序排序结果107117122125130108117122125131108118122126133110118123126133112118123127134112119123127134113120123127135114120124128137115121124128139117122124129139分组结果及频数分布表按零件数分组（个）频数（人）频率（％）105～110110～115115～120120～125125～130130～135135～140358141064610162820128合计50100按零件数分组（个）频数（人）频率（％）105～110110～115115～120120～125125～130130～135135～140358141064610162820128合计50100

某车间50名工人日加工零件数分组表A．上下组限重叠上组限不在内，或叫上限不包括界限值、下限包括界限值。例：110不应放在第1组、而应在第2组不漏表某车间50名工人日加工零件数分组表按零件数分组频数（人）频率（%）105~109110~114115~119120~124125~129130~134135~139358141064610162820128合计50100

b)上下组限间断组距式分组

适于离散型变量不重不漏表某车间50名工人日加工零件数分组表按零件数分组频数（人）频率（%）110以下110~114115~119120~124125~129130~134135以上358141064610162820128合计50100c)开口组为避免出现空白组（即没有变量值的组）或个别极端值被漏掉

缺下限开口组组中值=上限–邻组组距/2

缺上限开口组组中值=下限＋邻组组距/2

等距分组—各组频数的分布不受组距大小的影响—可直接根据绝对频数来观察频数分布的特征和规律不等距分组—各组频数的分布受组距大小不同的影响—各组绝对频数的多少不能反映频数分布的实际状况—需要用频数密度（频数密度＝频数/组距）反映频数分布的实际状况

等距分组与不等距分组的区别课堂练习【例】某电脑公司2002年前四个月各天的销售量数据(单位：台)。试对数据进行分组。

步骤1．确定组数：根据Sturges提出的经验公式得组数K为：确定各组的组距：

组距＝(237-141)÷10=9.610用Excel制作频数分布表

“输入区域”：B2:b51“接受区域”：C4:c8“输出区域”：D4第五节统计图表

统计图表的作用1．能使大量的统计资料系统化、条理化，因而能更清晰地表述统计资料的内容。2．利用统计表便于比较各项目（指标）之间的关系，而且也便于计算。3．采用统计表表述统计资料显得紧凑、简明、醒目，使人一目了然。4．利用统计表易于检查数字的完整性和正确性。表行标题项目单位1997年1998年

列标题

一、调查户数二、平均每户家庭人口数三、平均每户就业人口数

四、平均每人全部收入

五、平均每人实际支出

消费性支出

非消费性支出

六、平均每人居住面积户人人元元元元m2378903.191.835458.345322.954331.61987.1712.40390803.16.011.805458.345322.954331.61987.1712.40数字资料资料来源：《中国统计摘要1999》，79页，北京，中国统计出版社，1999。注：1．本表为城市和县城的城镇居民家庭抽样调查材料。

2．消费性支出项目包括：食品、衣着、家庭设备用品及服务、医疗保健、交通和通讯、娱乐教育文化服务、居住、杂项商品和服务。1997－1998年城镇居民家庭抽样调查资料附加表头1．统计表的构成要合理安排统计表的结构总标题内容应满足3W要求：WhenWhereWhat数据计量单位相同时，可放在表的右上角标明，不同时应放在每个指标后或单列出一列标明表中的上下两条横线一般用粗线，其他线用细线通常情况下，统计表的左右两边不封口表中的数据一般是右对齐，有小数点时应以小数点对齐，而且小数点的位数应统一对于没有数字的表格单元，一般用“—”表示必要时可在表的下方加上注释统计表的设计要求

农村劳动力结构

（％）年度农业工业建筑业运输通信业商业服务业其他198581.97.43.11.21.25.2198878.58.53.81.51.66.0198979.27.93.71.51.66.0199079.47.73.61.51.76.2199277.77.93.81.61.97.1199375.28.34.31.82.18.4199473.28.64.62.02.49.1199571.88.84.92.22.69.7199671.28.95.12.32.89.8199770.68.85.22.33.010.2199870.38.55.32.33.110.5199970.28.45.42.43.410.2

注）根据《中国统计年鉴》整理统计表的种类

（1）按主词加工方法不同分为

简单表

分组表

复合表

（2）按宾词指标设计的不同分类简单表国家位次旅游收入收入（亿美元）占世界比重（％）美国西班牙意大利法国英国德国中国奥地利加拿大墨西哥12345678910730.0315.0310.0307.0209.7165.0141.0112.0102.878.516.06.96.86.74.63.63.12.52.31.7国际旅游收入居世界前十名的国家分组表厂别合格品数量（辆）甲厂乙厂50007000合计12000某公司所属两企业自行车合格品数量表复合表人口数/万人比例/％按性别分男6418950.98女6172049.02按城乡分市镇3889230.89乡村8701769.111999年我国人口数及构成宾词不分组设计

地区饭店数/座营业收入/万元利润总额/万元客房出租率％北京3381447905.72175132.6859.37上海127699143.8668592.2862.58云南190102884.371044.0955.19某企业职工性别及文化程度情况宾词简单分组设计

职工总人数/人性别文化程度男女小学中学大学一线人员二线人员6383342901083482262541183081767640合计972398574372484116某企业职工性别及文化程度情况宾词复合分组设计

职工人数小学中学大学男女男女小计男女小计男女小计一线人数二线人数290108348226110281449025411813864170112308176421634247640合计3985741382343722022824845858116某企业职工性别及文化程度情况以形状为标准，可分为：线图、长条图、时间数列曲线图、面积图、洛伦兹曲线图，立体图、统计地图、象形图

2．统计图条形图/柱形图直方图折线图线图饼图几种常用的统计图1、标题：有简洁的文字写在图的上方或下方。

2.原文注释：写在标题下方，较小或不显著的位置

3.注脚：写在图的下方，以对段首目栏予以必要的说明。

4.资料来源：常写在注释下方，以表明所搜集的资料的名称、页数等

5.约略数字：当数字有约略时，应在注释段首、或目栏开头说明其效果

6.比值：必须说明比值的意义。例如是“总数的百分比”还是“增减的百分比”，而不要以“百分比”代之。

7.数：欲强调的数应写在上端或左方，否则可写在下端或右方。

8.单位：行或列的数字单位必须特别指明，如标上"￥"或"＄"。

除图形以外，完整的统计图还包括以下：用矩形的宽度和高度来表示频数分布的图形，实际上是用矩形的面积来表示各组的频数分布在直角坐标中，用横轴表示数据分组，纵轴表示频数或频率，各组与相应的频数就形成了一个矩形，即直方图分组数据：直方图频数(人)1512963105110115120125130135140频率直方图是以横坐标表述数据分组、纵坐标表示频率的频率分布图形。在组距相等的情况下、途中长方形的高度等于对应分组的频率。大多数人的日加工零件数在120～125之间!图某车间工人日加工零件数的直方图日加工零件数（个）直方图的绘制[数据分析]下的[直方图]绘制时、”接收”数据的输入是人工分组时每一组的上限值分类数据：条形图(柱形图)条形图是用宽度相同的条形的高度或长短来表示数据变动的图形条形图有单式、复式等形式在表示分类数据的分布时，是用条形图的高度来表示各类别数据的频数或频率绘制时，各类别可以放在纵轴，称为条形图，也可以放在横轴，称为柱形图

图某城市居民关注不同类型广告的人数分布

图某城市居民关注不同类型广告的人数分布直方图与条形图的区别1.条形图是用条形的长度(横置时)表示各类别频数的多少，其宽度(表示类别)则是固定的2.直方图是用面积表示各组频数的多少，矩形的高度表示每一组的频数或百分比，宽度则表示各组的组距，其高度与宽度均有意义3.直方图的各矩形通常是连续排列，条形图则是分开排列4.条形图主要用于展示分类数据，直方图则主要用于展示数值型数据是用圆形及园内扇形的面积来表示数值大小的图形主要用于表示总体中各组成部分所占的比例，对于研究结构性问题十分有用在绘制圆形图时，总体中各部分所占的百分比用圆内的各个扇形面积表示，这些扇形的中心角度，是按各部分百分比占3600的相应比例确定的

—例如，关注服务广告的人数占总人数的百分比为25.5%，那么其扇形的中心角度就应为3600×25.5%＝91.80，其余类推分类数据：饼图

图某城市居民关注不同类型广告的人数构成

其他广告1.0%

房地产广告8.0%商品广告56.0%

金融广告4.5%

服务广告25.5%

招生招聘广告5.8%环形图中间有一个“空洞”，总体中的每一部分数据用环中的一段表示环形图与圆形图类似，但又有区别—圆形图只能显示一个总体各部分所占的比例—环形图则可以同时绘制多个总体的数据系列，每一个总体的数据系列为一个环环形图可用于进行比较研究环形图可用于展示分类和顺序的数据顺序数据：环形图

8%36%31%15%7%33%26%21%13%10%

非常不满意

不满意

一般

满意

非常满意

图甲乙两城市家庭对住房状况的评价折线图也称频数多边形图是在直方图的基础上，把直方图顶部的中点(组中值)用直线连接起来，再把原来的直方图抹掉分组数据：折线图1512963105110115120125130135140日加工零件数(个)频数(人)折线图下的面积与直方图的面积相等！图某车间工人日加工零件数的折线图对称分布右偏分布左偏分布正J型分布反J型分布U型分布频数分布的类型时间一般绘在横轴，指标数据绘在纵轴图形的长宽比例要适当，其长宽比例大致为10：7一般情况下，纵轴数据下端应从“0”开始，以便于比较。数据与“0”之间的间距过大时，可以采取折断的符号将纵轴折断时间序列数据：线图【例】已知1991～1998年我国城乡居民家庭的人均收入数据如表。试绘制线图表1991～1998年城乡居民家庭人均收入