数据挖掘概念与技术第二章

数据挖掘-数据的

统计分析基础张洪祥目前一页\总数五十二页\编于七点在统计学中,数据按变量值是否连续可分为连续数据与离散数据两种.连续数据又称连续变量：在一定区间内可以任意取值的数据叫连续数据，其数值是连续不断的，相邻两个数值可作无限分割,即可取无限个数值。所谓离散型数据，又称计数型：就是数据可以经过观测而知的，间断性的、可一个一个计算的目前二页\总数五十二页\编于七点统计学的分类

1、描述性统计学（descriptivestatistics):

用局部数据或者不完整数据中指标性数字来表示所有数据。2、推论统计学（inferentialstatistics):用（样本）数据来对（总体）事物做结论。目前三页\总数五十二页\编于七点数据的中心（集中）趋势度量：数据的度量散布：数据的基本统计描述目前四页\总数五十二页\编于七点中心趋势度量：均值（mean)目前五页\总数五十二页\编于七点目前六页\总数五十二页\编于七点中心趋势度量：中位数（median)目前七页\总数五十二页\编于七点中心趋势度量：众数（mode)、

中列数（midrange)目前八页\总数五十二页\编于七点目前九页\总数五十二页\编于七点数据的度量散布-极差、分位数设X1,X2,…,X是某数值属性X上的观测的集合。极差：是该集合中最大值Max()与最小值Min()之差。分位数：把数据划分成基本上大小相等连贯集合的每一间隔上的点。目前十页\总数五十二页\编于七点目前十一页\总数五十二页\编于七点离群点：挑选落在第3个四分位数之上或第1个四分位之下到少1.5*IQR处的值。五数概括（fiver-numbersummary)：Minimum、Q1、Median、Q3、Maximum.数据的度量散布-离群点、五数概括目前十二页\总数五十二页\编于七点目前十三页\总数五十二页\编于七点数据的标准得分某观测值xi的标准得分定义为目前十四页\总数五十二页\编于七点数据的标准得分在我们的例子中，张颖的标准得分为(90-78.53)/9.43＝1.22，而刘疏的标准得分为(82-70.19)/7＝1.69。显然如果两个班级平均水平差不多，刘疏的成绩应该优于张颖的成绩；这是在标准化之前的数据中不易看到的。目前十五页\总数五十二页\编于七点总体(population)是根据研究目的确定的具有相同性质的个体所构成的全体。样本（sample）是从总体中随机抽取的部分观察单位抽样(sampling)指从总体抽取部分个体的过程样本含量(samplesize):样本所包含观察单位的数目

样本与总体目前十六页\总数五十二页\编于七点样本的选取应注意什么问题？一是要留意样本在总体中是否具有代表性，二是样本容量必须足够大，三是注意样本避免遗漏某一群体一般地，如果从总体中按一定规则抽取n个个体进行观察（或试验），则称这n个个体为总体的一个样本（Sample），样本中所含个体的数目n称为样本容量（SampleSize），抽取一个样本的过程称为抽样（Sampling）．17目前十七页\总数五十二页\编于七点一般地，如果从总体中按一定规则抽取n个个体进行观察（或试验），则称这n个个体为总体的一个样本（Sample），样本中所含个体的数目n称为样本容量（SampleSize），抽取一个样本的过程称为抽样（Sampling）．目前十八页\总数五十二页\编于七点抽样的过程及方法概率抽样法（probabilitysampling）：调查者用客观、随机的方法抽取样本。19目前十九页\总数五十二页\编于七点概率抽样1、单纯随机：单纯随机抽样是指将所有的有限总体中的观察对象统一编号，再按照随机数字表或抽签等方法抽取一部分样本。（抽签法）抽签法随机数字表法20目前二十页\总数五十二页\编于七点概率抽样2、系统随机（先确定间隔大小再抽签决定第一个调查对象）

系统抽样（systematicsampling）：又称等距抽样或机械抽样，是指按照一定的顺序，机械地每隔若干个单位抽取一个单位的方法称为系统抽样确定抽样间隔(H)=N/n随机确定K21目前二十一页\总数五十二页\编于七点概率抽样3、分层抽样（stratifiedsampling）又称分类抽样：当研究的变量在总体中的不同层次有不同的分布时，需要采用分层抽样。（先分层再抽签）指先按照与研究目的明显有关的某种特征将总体分为若干层,再从每一层内随机抽取一定数量的观察单位，合起来组成样本。22目前二十二页\总数五十二页\编于七点概率抽样4、整群抽样（clustersampling）是指将总体中所有的个体按某种属性分成若干个群体，再从所有的群体中随机抽取部分群体构成样本（以群为单位抽签）适用范围：无法进行其他方法的概率抽样；总体中的个体不明确优点:易于实施，节省人力、物力缺点：群间差异大时，可加大抽样误差23目前二十三页\总数五十二页\编于七点非概率抽样1.方便抽样（accidentalsampling）：指用最容易找到的人或物作为研究对象；优点是简便易行，缺点是样本的代表性差2.配额抽样(quotasampling)：是根据总体内有层次性的特点，利用总体内各层的构成比抽取与总体相似的样本24目前二十四页\总数五十二页\编于七点非概率抽样3.主观抽样(purposivesampling)：指研究者依据自己的专业知识和经验以及对调查总体的了解,有意识选取研究对象4.网络抽样（networksampling）:利用社会网络的优势和朋友间具有共性的特点来进行抽样25目前二十五页\总数五十二页\编于七点样本量估计检验水准，α（犯假阳性错误的概率），如错误地把无效的治疗方案判为有效的危险性，一般错误定为0.05，也可定为0.01。α越小，所需样本含量越大检验效能（1-β），（β）二类错误出现概率，犯假阴性错误的概率，如错误地把有效的治疗方案判为无效的危险性一般情况β=0.2或0.1或0.05，即80%、90%或95%把握度，把握度高，样本数就大。26目前二十六页\总数五十二页\编于七点总体标准差（σ）:σ越大，观察值的变异程度大，所需的样本越大容许误差的δ：既预计样本统计量和相应总体参数的最大相应误差控制在什么范围，常取可信区间长度之半。在其他条件确定的情况下，容许的误差越小，样本含量大；容许的误差越大，样本含量越小。27目前二十七页\总数五十二页\编于七点总体均值(populationmean)

:样本均值（samplemean):目前二十八页\总数五十二页\编于七点总体方差(populationvariance)

:样本方差（samplevariance):目前二十九页\总数五十二页\编于七点两个均值一样，但右边的要“胖”些，方差为左边的一倍目前三十页\总数五十二页\编于七点标准差（Standarddeviation)目前三十一页\总数五十二页\编于七点如何用图来表示数据？目前三十二页\总数五十二页\编于七点目前三十三页\总数五十二页\编于七点直方图目前三十四页\总数五十二页\编于七点目前三十五页\总数五十二页\编于七点盒型图目前三十六页\总数五十二页\编于七点茎叶图其中茎叶图中茎的单位为10cm，而叶子单位为1cm。比如，由于第一行茎为150cm，因此叶子中的九个数字001223344代表九个数目150、150、151、152、152、153、153、154、154cm等。每行左边有一个频数（比如第一行有9个数目，第二行有17个等等）；可以看出最长的一行为从165cm到169cm的一段（有35个数）。目前三十七页\总数五十二页\编于七点散点图目前三十八页\总数五十二页\编于七点目前三十九页\总数五十二页\编于七点目前四十页\总数五十二页\编于七点饼图目前四十一页\总数五十二页\编于七点条形图目前四十二页\总数五十二页\编于七点数据的可视化：旨在通过图形表示清晰有效地表达数据数据的可视化-基于像素的可视化技术目前四十三页\总数五十二页\编于七点目前