数据挖掘与统计应用12第二章数据

1、第二章 数据 数据是我们进行数据挖掘的起点 一个小商店，某一天的可乐销售量是单个数据； 某影院 ，疯狂原始人的每场上座率是一组数据 ； 京东商城某次促销活动期间 ，各商品的折扣、浏览量 、销量， 及各商品间的购买关联性等，己可以构成一个值得去动手分析的 数据集； 中国各省市，乃至世界各国家近十年的人口数、 出生率、死亡 率等则是更庞大丰富的数据集合； 在各个领域更有医学 、气象学、遗传学、物理学等涉及高深专 业知识的数据等； 数据是我们进行数据挖掘的起点 生活中无处不充斥着数据 ，但在对各色数据进行获取 、整理、 预处理及进一步的数据挖掘等任务前，我们应首先了解这些数据 都是以何种形式存在于数

2、据集中，又是以何种数据类型储存于各 变量中，以及如何从海量数据中进行抽样以构造出待分析的数据 集，又将如何划分该数据集来建立模型并同时检测模型的优良程 度。 R自带数据集例 women 数据集 uspop 数据集，Populations Recorded by the US Census Titanic 数据集，Survival of passengers on the Titanic women 数据集 heightweight 158115 259117 360120 461123 562126 663129 764132 865135 966139 1067142 1168146 126

3、9150 1370154 1471159 1572164 uspop 数据集 TIme Series: Start = 1790 End = 1970 Frequency = 0.1 13.935 .317.249.641.2.90 617.1023.203 1.4039.8050.20 11.62.9076.0092.00105.70122.80 1613 1.7015 1.30179.30203.20 Titanic 数据集 SexSex ClassClassMaleFemale 1st1st00 2nd2nd00 3rd3rd3517 CrewCrew00 , , Age = Child

4、, Survived = No SexSex ClassClassMaleFemale 1st1st1184 2nd2nd15413 3rd3rd38789 CrewCrew6703 , , Age = Adult, Survived = No SexSex ClassClassMaleFemale 1st1st51 2nd2nd1113 3rd3rd1314 CrewCrew00 , , Age = Child, Survived = Yes SexSex ClassClassMaleFemale 1st1st57140 2nd2nd1480 3rd3rd7576 CrewCrew19220

5、 , , Age = Adult, Survived = Yes 整理后的部分 Titanic 数据集 AgeSexClassSurvived 1AdultMale1 stNo 2AdultFemaJe3rdNo 3AdultMale2ndNo 4ChildMale2ndNo 5ChildFemale1 stYes 6AdultFemale3rdNo 7AdultMale3rdNo 8ChildMale2ndNo 9AdultMaleCrewNo 10AduJtMaleCrewNo 数据的属性 定量数据 (Quantitative Data) 定性数据 (Qualitative Data )

6、定量数据 (Quantitative Data) wornen 数据集中 height (身高) 和 weight (体重)变量， 以及uspop 数据集下存储的都是定量数据。 连续型数据 (Continuous Data ) 离散型数据 (Discrete Data ) 工资区间，网页点击次数 等 定性数据 (Qualitative Data ) 定类变量 有序的分类变量（定序变量） 在 Titanic 数据集中， 性别 ( Sex) 、是否存活 ( Survlved ) ，即为定类变量，而年龄 ( Age ) 和船舱等级 ( Class ) 则为定序变量。 R 中数据存储类型 numeri

7、c-数值型，一般定量变量的存储形式 integer-整数型，一般是离散型的定量变量的存储形式 logical-逻辑型，一般是二分类的定类变量 character/string- 字符型，一般是用字符表示的变量，还需要 进一步处理 factor- 因子型，一般是定类变量 数据的抽样 概率抽样 非概率抽样 概率抽样 简单随机抽样 有放回抽样 无放回抽样 分层抽样 系统抽样 整群抽样 多阶段抽样等 非概率抽样 方便抽样 判断抽样 自愿样本 滚雪球抽样 配额抽样等 抽样调查的作用 降低调查成本，节约调查费用 耗时较短，时效性强 可以完成全面调查无法完成的工作 提高调查数据的质量 某电视节目收视率 炮弹

8、的射程 种子的发芽率等 概率抽样 (probability sampling) 1. 根据一个已知的概率来抽取样本单位，也称随机抽样 2. 特点 按一定的概率以随机原则抽取样本 抽取样本时使每个单位都有一定的机会被抽中 每个单位被抽中的概率是已知的，或是可以计算出来的 当用样本对总体目标量进行估计时，要考虑到每个样本单位被 抽中的概率 3. 包括：简单随机抽样，分层抽样，系统抽样，整群抽样等 简单随机抽样(simple random sampling) 1. 从总体N个单位(元素)中随机地抽取n个单位作为样本，使得总总 体中每一个元素体中每一个元素都有相同的机会(概率)被抽中 2.抽取元素的具

9、体方法有放回抽样和不放回抽样 3. 特点 简单、直观，在抽样框完整时，可直接从中抽取样本 用样本统计量对目标量进行估计比较方便 4. 局限性 当N很大时，不易构造抽样框 抽出的单位很分散，给实施调查增加了困难 没有利用其他辅助信息以提高估计的效率 简单随机抽样(simple random sampling) 如果是从总体N个里面抽有n个容量的样本， 总的样本总的样本 可能数目可能数目 某个个体不在某个个体不在 样本中的概率样本中的概率 某个个体被抽中某个个体被抽中 的概率的概率 有放回 顺序不同，个体 相同认为是不同 的样本 顺序不同，个体 相同认为是相同 的样本 无放回 顺序不同则个体 也不

10、同 简单随机样本(simple random sample) 1. 由简单随机抽样形成的样本 2. 从总体N个单位中随机地抽取n个单位作为样本，使得每一个容每一个容 量为量为n n样本样本都有相同的机会(概率)被抽中 3. 参数估计和假设检验所依据的主要是简单随机样本 有放回地抽样与无放回地抽样有放回地抽样与无放回地抽样 有放回地抽 1 12 23 34 4 1 11,11,21,31,4 2 22,12,22,32,4 3 33,13,23,33,4 4 44,14,24,34,4 16种样本的计算均值： 1 12 23 34 4 1 111.522.5 2 21.522.53 3 322.

11、533.5 4 42.533.54 去掉重复个体的样本如下所示： 1 12 23 34 4 1 11,1 2 22,12,2 3 33,13,23,3 4 44,14,24,34,4 1 12 23 34 4 1 11 2 21.52 3 322.53 4 42.533.54 1 12 23 34 4 1 1 2 22,1 3 33,13,2 4 44,14,24,3 无放回地抽得到的样本为： 1 12 23 34 4 1 1 2 21.5 3 322.5 4 42.533.5 简单随机抽样 wind-read.table(D:2019 sem2本科生课程数据集一： Wind数据hs300if

12、0915.txt,header=TRUE) names(wind) library(sampling) N=dim(wind)1 n=500 srsp=srswor(n,N) srs=getdata(wind,srsp) 简单随机抽样 wind-read.table(D:2019 sem2本科生课程数据集一： Wind数据hs300if0915.txt,header=TRUE) names(wind) library(sampling) N=dim(wind)1 n=500 srsp=srswor(n,N) srs=getdata(wind,srsp) meanY=colMeans(wind,

13、c(6:14) meany=colMeans(srs,c(7:15) sd.wind-apply(wind,c(6:14),2,sd) sd.srs-apply(srs,c(7:15),2,sd) 分层抽样(stratified sampling) 1. 将总体单位按某种特征或某种规则划分为不同的层，然后从不 同的层中独立、随机地抽取样本 2. 优点 保证样本的结构与总体的结构比较相近，从而提高估计的精度 组织实施调查方便 既可以对总体参数进行估计，也可以对各层的目标量进行估计 wind$month=factor(wind$month,levels=as.character(1:6) wh=n

14、*table(wind$month)/N o=order(wind$month) srp=strata(data=windo,stratanames=month,size=wh,met hod=srswor) sr=getdata(wind,srp) 系统抽样(systematic sampling) 1. 将总体中的所有单位(抽样单位)按一定顺序排列，在规定的范 围内随机地抽取一个单位作为初始单位，然后按事先规定好的 规则确定其他样本单位 先从数字1到k之间随机抽取一个数字r作为初始单位，以后依次取 r+k，r+2k等单位 2. 优点：操作简便，可提高估计的精度 3. 缺点：对估计量方差的估

15、计比较困难 2008年8月 #系统抽样 i=rep(1,N) pik1=inclusionprobabilities(i,n) ssp=UPsystematic(pik1,eps=1e-6) #不等概率抽样，由pik1给出抽样概率 ss=getdata(wind,ssp) 整群抽样(cluster sampling) 1. 将总体中若干个单位合并为组(群)，抽样时直接抽取群，然后 对中选群中的所有单位全部实施调查 2. 特点 抽样时只需群的抽样框，可简化工作量 调查的地点相对集中，节省调查费用，方便调查的实施 缺点是估计的精度较差 注意：分层抽样和整群抽样的区别注意：分层抽样和整群抽样的区别

16、#整群抽样 scp=cluster(data=wind,clustername=trade_code,size=10,method=srsw or,description=FALSE) sc=getdata(wind,scp) 非概率抽样 (non-probability sampling) 1. 相对于概率抽样而言 2. 抽取样本时不是依据随机原则，而是根据研究目的对数据 的要求，采用某种方式从总体中抽出部分单位对其实施调 查 3. 有方便抽样、判断抽样、自愿样本、滚雪球抽样、配额抽 样等方式 方便抽样 1. 调查过程中由调查员依据方便的原则，自行确定入抽样本 的单位 调查员在街头、公园、商

17、店等公共场所进行拦截调查 厂家在出售产品柜台前对路过顾客进行的调查 2. 优点：容易实施，调查的成本低 3.缺点：样本单位的确定带有随意性，样本无法代表有明确 定义的总体，调查结果不宜推断总体 判断抽样 1. 研究人员根据经验、判断和对研究对象的了解，有目的选 择一些单位作为样本 有重点抽样，典型抽样，代表抽样等方式 2. 判断抽样是主观的，样本选择的好坏取决于调研者的判断、 经验、专业程度和创造性 3. 抽样成本比较低，容易操作 4. 样本是人为确定的，没有依据随机的原则，调查结果不能 用于对推断总体 自愿样本 1. 被调查者自愿参加，成为样本中的一分子，向调查人员提供有 关信息 例如，参与报刊上和互联网上刊登的调查问卷活动，向某类节目拨 打热线电话等，都属于自愿样本 2. 自愿样本与抽样的随机性无关 样本是有偏的 不能依据样本的信息推断总体 滚雪球抽样 1. 先选择一组调查单位，对其实施调查之后，再请他们提供 另外一些属于研究总体的调查对象，调查人员根据所提供 的线索，进行此后的调查。这个过程持续下去，就会形成 滚雪球效应 2. 适合于对稀少群体和特定群体研究 3. 优点：容易找到