《数据科学统计基础（第二版）》 课件 第一章 数据及其描述：统计量

数理统计中国人民大学统计学院选用教材吕晓玲、黄丹阳（2024），《数据科学统计基础》（第2版），中国人民大学出版社第1章数据及其描述：统计量1.1数据和变量1.2总体、样本和统计量1.3从样本认识总体的图表方法1.4抽样分布1.5次序统计量1.6充分统计量1.7常用的概率分布族1.8与本章相关的R语言操作

第1章数据及其描述：统计量

统计学是探讨随机现象统计规律性的一门学科，它以概率论为理论基础，研究如何以有效的方式收集、整理和分析受到随机因素影响的数据，从而对研究对象的某些特征做出判断。第1章数据及其描述：统计量数据和变量PART1.11.1数据和变量1.1.1数据的例子数据的记录手段具有明显的时代特征。数据可以分为结构化数据和非结构化数据。数据按照收集方法可以分为观测数据和试验数据。凡是可以电子化记录的其实都是数据。这里所说的记录不是靠自然人的大脑，而是通过必要的信息化技术和电子化手段。1.1数据和变量1.1.2变量的类型这些特征在不同研究个体的取值是不同的，因此称为随机变量(或简称变量，一维情况)或随机向量(二维及以上)。变量有很多类型，主要分为两种。往往我们要研究的并不是一个问题的所有方面，而是某些感兴趣的维度(或称为特征)，比如某地区居民的收入水平，某疾病的发病率与饮食习惯的关系等。一种是定量变量或数量变量，比如五年级男生身高，某款汽车的速度，某种疾病的患病人数；另外一种变量类型称为分类变量或定性变量、示性变量、属性变量、因子型变量，比如性别、职业、地区等。分类变量有些是有序的，比如信用等级、工资收入等级等，称为定序变量。1.1数据和变量1.1.2变量的类型连续型变量（区间变量、实数型变量）：取值范围是某区间中的任何值离散型变量：取整数值或可数数量集合值的变量。年龄一般来说，应该是连续型的；但往往取整数，成了离散型；而在问卷调查中，往往在年龄的若干选项(比如”幼年“、”青年“、

”中年“，”老年”)中选择一个，这就是分类变量或者定序变量了。变量类型并不是绝对的1.1数据和变量1.1.2变量的类型变量的种类实际上是由人们对变量的约束而定的比如颜色(红、黄、蓝、紫等)，最原始的变量是定性变量。定性变量包含最少的约束。定序变量是把定性变量加了大小的约束，

比如按照波长的大小排列顺序，

则有红>黄>蓝>紫。如果按照频率排列，这个顺序则相反。定量变量则不仅仅排序，而且有数目，每一个颜色都由特定的频率或波长定义，这就称为连续变量或者区间变量。1.1数据和变量1.1.2变量的类型表1.1.1颜色的频率和波长1.1数据和变量1.1.2变量的类型对数据的人为约束越多，

数据在模型中所起的作用越小。

或者说“自由度”越小。比如，把年龄排序成（或者用岁数这样的整数）：老>中>青>幼，看上去似乎更合理。实际上，这意味着老年和幼年是两个极端的现象。但在体力上和心理上，老年和幼年却呈现了一些类似，这种信息容易被排序(或数量化)所埋没但也可通过模型选择学习出这种非线性的影响。如果按照体力或智力排序，则会有不同的结果。第1章数据及其描述：统计量总体、样本和统计量PART1.21.2总体、样本和统计量1.2.1总体和分布在一个统计问题中，我们把研究对象的全体称为总体，其中每个成员称为个体。在实际问题中，总体是客观存在的人群或物类。这是对总体这个概念在研究问题的对象这个层面的理解。总体可以用一个概率分布来描述，其数量指标X就是服从这个分布的随机变量。因此，常常用随机变量的符号或分布的符号表示总体。因此，常常用随机变量的符号或分布的符号表示总体。以后我们说“从某总体中抽样”和“从某分布中抽样”是同一个意思。1.2总体、样本和统计量1.2.1总体和分布如果我们要研究的问题不只是一个维度，而是二维或更高维度。比如研究儿童血色素(X1)同其性别(X2)、年龄(X3)之间的关系。那么总体仍然是一堆数，只不过每个元素不是一个数字,而是一个向量。这个总体仍然可以用一个概率分布来描述，就是（X1，X2，X3）的联合分布。更进一步的，数据的维度可能会很高，几千、上万，甚至更高，我们可以假设这些变量之间有某种相互关系，从而假定一些条件分布的形式，使用统计模型或算法进行数据分析，这是后续专业课的具体内容，本书只有少量涉及。但本书所介绍的思想和原则是后续所有专业课的基础。1.2总体、样本和统计量例1.2.1为了解某地区居民在某网站购物情况，回答以下三个问题：网上购物居民占所有居民的比例：二项分布过去一年内网购居民的购物次数：离散分布过去一年内网购居民的购物金额：连续分布1231.2总体、样本和统计量例1.2.2彩色浓度是彩电质量好坏的一个重要指标。20世纪70年代在美国销售的SONY牌彩电有两个产地：美国和日本。其彩色浓度的标准值为𝑚，允许范围是[𝑚−5,𝑚+5]，否则为不合格品。在70年代后期，美国消费者购买日产SONY彩电的热情明显高于购买美产SONY彩电，这是为什么呢？等级ⅠⅡⅢⅣ美产33.333.333.30日产68.327.14.30.3表1.2.1各等级彩电的比例（%）1.2总体、样本和统计量例1.2.3

1.2总体、样本和统计量例1.2.4在文本数据分析中，我们要研究的个体是一篇篇文章。在转换成数量指标之后，每篇文章可以对应成一个P1维向量。表示该文章在P1个词语上的词频。我们认为这个P1维向量服从一定的概率分布。在图像分析中，个体是一张张图片，对应的数量指标是P2维向量，表示图片在P2个像素点的像素值，服从一个P2维的概率分布。1.2总体、样本和统计量1.2.2样本普查，又称全数检查，即对总体中每个个体都进行检查或观察。抽样，即从总体抽取若干个体进行检查或观察，用所获得的数据对总体进行统计推断，这一过程可用图1.2.4示意。图1.2.4总体及其样本1.2总体、样本和统计量1.2.2样本从总体中抽出的部分(多数场合是小部分，即使现在的大数据，也只是总体的一部分)个体组成的集合称为样本，样本中所含的个体称为样品，样本中样品个数称为样本量或样本容量。由于抽样前不知道哪个个体被抽中，也不知道被抽中的个体的测量或试验结果，所以容量为n的样本可看做n维随机向量，用大写字母X1,X2,…,Xn表示。用小写字母x1,x2,…,xn表示其观测值(实现值)，这就是我们常说的数据。如果进行多次重复抽样，样本的观测值会不同。一切可能观测值的全体称为n维样本空间。1.2总体、样本和统计量例1.2.3样本的例子某公园的一次性门票为200元，一年内可以无限次入场的年票价格为595元。为检验该票价制度的合理性，随机抽取1000位年票持有者，记录了他们某年入园游览的次数。见表1.2.2.这是一个容量为1000的样本。1.2.2样本游览次数012345+人数45219210213148165表1.2.21000位年票持有者某年入园游览的次数11.2总体、样本和统计量例1.2.3样本的例子某学院学生的体测数据,包含体重(斤)、腰围(码)、1分钟脉搏(次)、引体向上次数、5分钟仰卧起坐次数和1分钟跳绳次数,随机抽取20人,如表1.2.3所示。这是一个容量为20的多维样本。1.2.2样本表1.2.320名学生的体测数据21.2总体、样本和统计量1.2.2样本样本来自总体，样本包含总体信息。 为了使所抽取的样本能很好地反映总体，抽样方法的确定很重要。最理想的抽样方法是简单随机抽样，它满足如下两个要求：随机性：即要求总体中每个个体都有同等的机会被选到样本中。这说明样本中每个X𝑖的分布相同，均与总体X同分布。独立性：样本中每个个体的选取并不影响其他个体的选取。这意味着样本中每个个体X𝑖是相互独立的。1.2总体、样本和统计量1.2.2样本由简单随机抽样得到的样本称为简单随机样本，简称样本。此时(𝑋1,𝑋2,...,𝑋𝑛)可以看成是相互独立且服从同一分布(independentandidenticaldistribution,iid)的随机变量，简称独立同分布样本。如无特别说明，本书所指的样本均为简单随机样本。1.2总体、样本和统计量1.2.2样本例1.2.6样本的例子有一批灯泡600只,现要从中抽取6只做寿命试验，如何从600只灯泡中抽取这6只灯泡，使所得样本为简单随机样本?1.2总体、样本和统计量1.2.3统计量定义

1.2.1不含任何未知参数的样本函数称为统计量。

1.2总体、样本和统计量1.2.3统计量

11.2总体、样本和统计量1.2.3统计量

21.2总体、样本和统计量1.2.3统计量

31.2总体、样本和统计量1.2.3统计量

41.2总体、样本和统计量1.2.3统计量

51.2总体、样本和统计量1.2.3统计量

5改进：1.2总体、样本和统计量1.2.3统计量

61.3从样本认识总体的图表方法1.3.1频数频率表与直方图例1.3.11.频数分布表对于取值连续型的变量，当样本量n较大时，把样本整理为分组样本可得频数频率表，它可按观察值大小显示出样本中数据的分布状况。光通量是灯泡亮度的质量特征。现有一批220伏25瓦白炽灯泡要测其光通量的分布，为此从中随机抽取120只，测得其光通量如表1.3.1所示。1.3从样本认识总体的图表方法1.3.1频数频率表与直方图1.3从样本认识总体的图表方法1.3.1频数频率表与直方图为从这组数据中挖掘出有用信息，常对数据进行分组，获得频数频率表，即分组样本。具体操作如下：

1.3从样本认识总体的图表方法1.3.1频数频率表与直方图

1.3从样本认识总体的图表方法1.3.1频数频率表与直方图表1.3.3120个光通量的频数频率表1.3从样本认识总体的图表方法1.3.1频数频率表与直方图

1.3从样本认识总体的图表方法1.3.1频数频率表与直方图直方图的优点是能把样本中的数据用图形表示出来。直方图是直接对总体密度函数形状的一种估计。在样本量较大的场合，直方图常是总体分布的影子。如图1.3.1上的直方图中间高，两边低，左右基本对称。这很可能是”白炽灯泡光通量常是正态分布”的影子。又如图1.3.2上的两个直方图是不对称的，是有偏的，其相应的总体可能是偏态的。各种统计软件都有画直方图的功能。1.3从样本认识总体的图表方法1.3.1频数频率表与直方图图1.3.2非对称直方图1.3从样本认识总体的图表方法对于分类型变量或者离散型变量（取值是整数，但较少，按分类型变量处理）所对应的总体分布（概率分布列，各类别的取值概率）的估计可以使用条形图或者饼图。条形图使用宽度相同的条形来表示各类别频数多少的图形。绘制条形图时，各类别可以放在纵轴，也可以放在横轴，条形的长短表示各类别的频数或频率。饼图是用圆形及圆内扇形的角度来表示数值大小的图形。它主要用于表示一个样本中各类别的频数占全部频数的百分比。例1.3.2对消费者喜欢的饮料类别进行数据调查，随机访问了200名用户，其中喜欢“茶类饮品”、“碳酸饮料”、“果汁”、“矿泉水”、“其他”的人数分别是45、52、37、28和38。绘制的饼图和条形图如图1.3.3。1.3.2饼图与条形图1.3从样本认识总体的图表方法图1.3.3饮料调查数据的条形图和饼图0

10

20

30

40

50

茶类饮品碳酸饮料果汁矿泉水其他饮料类别消费者喜欢类别的条形图频数矿泉水14%果汁18.5%其他19%茶类饮品22.5%碳酸饮料26%消费者喜欢饮料类别的饼图1.3.2饼图与条形图1.3从样本认识总体的图表方法1.3.3样本的经验分布函数1.经验分布函数设总体X的概率密度函数为f(x)，累积分布函数为F(x)。从中抽取容量为n的简单随机样本，对其观测值X1,X2,...,Xn偏爱哪一个都没有理由，故可把这n个值看做某个离散随机变量（暂时记为X’等可能取的值;这就得到如下离散分布:X’X1X2…XnP1/n1/n…1/n1.3从样本认识总体的图表方法1.3.3样本的经验分布函数1.经验分布函数

1.3从样本认识总体的图表方法1.3.3样本的经验分布函数例1.3.3为比较两地区居民的收入差异，现随机调查了每个地区10位居民的收入情况，数据如下:两个地区居民收入的经验分布函数如图1.3.4所示。可以看出存在明显的差异，这表明两个地区收入的总体分布存在较大差异。1.3从样本认识总体的图表方法1.3.3样本的经验分布函数图1.3.4两个地区居民收入的经验分布函数1.3从样本认识总体的图表方法1.3.3样本的经验分布函数1.经验分布函数

1.3从样本认识总体的图表方法1.3.3样本的经验分布函数2.样本矩

1.3从样本认识总体的图表方法1.3.3样本的经验分布函数2.样本矩

1.3从样本认识总体的图表方法1.3.4高维数据的图表展示方法在处理高维数据时，我们首先进行单变量分析，再进行两两间的相互分析。对于一维连续型变量，我们可以绘制直方图（总体密度函数的离散化估计）；核密度估计曲线（使用非参数方法对密度曲线的估计，与直方图相比，这是一条平滑的曲线）；经验分布图（总体分布函数的估计）；对于一维离散变量，我们可以绘制条形图（分布列的估计）；饼形图（分布列的估计）；1.3从样本认识总体的图表方法1.3.4高维数据的图表展示方法对于两个连续变量(𝑋,𝑌)，我们可以绘制

对于两个离散变量，可以绘制分组条形图（给定一个变量后，另一个变量取值的条件分布）；交叉列联表；对于一个离散变量和一个连续变量，可以绘制分组箱线图。1.3从样本认识总体的图表方法1.3.4高维数据的图表展示方法例1.3.4可展示的图表包括:散点图、密度曲线、箱线图、直方图、等高线图等。下面我们以例1.2.5（2）为例进行展示。1.3从样本认识总体的图表方法1.3.5数据变换例1.3.5某年级两个班的概率论期末考试成绩如下：1.3从样本认识总体的图表方法1.3.5数据变换图1.3.5两个班级概率论考试成绩原始数据及标准化数据的盒形图1.3从样本认识总体的图表方法1.3.5数据变换例1.3.6某款手机APP用户每次登陆的使用时长(单位:秒)的随机抽样数据(n=50)如下：1.3从样本认识总体的图表方法1.3.5数据变换图1.3.6某款手机APP用户每次登陆的使用时长及其对数变换的直方图1.4抽样分布1.4.1样本均值的抽样分布1.4.2正态总体各统计量的分布1.4.3用随机模拟法寻找统计量的近似分布1.4抽样分布定义1.4.11.2.3节介绍了统计量的概念，我们知道统计量是随机变量（向量），因此抽样分布的定义如下。统计量的概率分布称为抽样分布。1.4抽样分布1.4.1样本均值的抽样分布定理1.4.1

1.4抽样分布1.4.1样本均值的抽样分布例1.4.1图1.4.1左侧有一个由20个数组成的总体X，该总体分布为：图1.4.1总体及其4个样本的样本均值1.4抽样分布1.4.1样本均值的抽样分布

图1.4.2500个样本均值形成的直方图1.4抽样分布1.4.1样本均值的抽样分布

1.4抽样分布1.4.2正态总体各统计量的分布定义1.4.21.样本方差的抽样分布

1.4抽样分布1.4.2正态总体各统计量的分布定理1.4.2

1.4抽样分布1.4.2正态总体各统计量的分布为了定理1.4.2的证明，特给出多维随机向量的期望与方差的矩阵表示。

于是Y的期望向量为：

...这就证明了第一个等式。1.4抽样分布1.4.2正态总体各统计量的分布

至于第二个等式，亦可由线性变换导出:1.4抽样分布1.4.2正态总体各统计量的分布接下来证明定理1.4.2.

…………

1.4抽样分布1.4.2正态总体各统计量的分布

这就证明了结论（2）。

1.4抽样分布1.4.2正态总体各统计量的分布定义1.4.32.样本均值与样本标准差之比的抽样分布

1.4抽样分布1.4.2正态总体各统计量的分布定理1.4.3

1.4抽样分布1.4.2正态总体各统计量的分布

1.4抽样分布1.4.2正态总体各统计量的分布定理1.4.4

1.4抽样分布1.4.2正态总体各统计量的分布t分布的密度函数图像是一个关于纵轴对称的分布（见图1.4.4），与标准正态分布的密度函数十分类似，只是峰比标准正态分布低一些，尾部的概率比标准正态分布大一些。图1.4.4

t(5)分布与N(0,1)的密度函数1.4抽样分布1.4.2正态总体各统计量的分布t分布有以下性质：

1.4抽样分布1.4.2正态总体各统计量的分布定理1.4.53.两个独立正态样本方差比的F分布

1.4抽样分布1.4.2正态总体各统计量的分布证：我们分两步来证明这个定理。

最后的定积分为伽玛函数，所以

1.4抽样分布1.4.2正态总体各统计量的分布

证毕。

1.4抽样分布1.4.2正态总体各统计量的分布F分布的密度函数图形：当分子的自由度为1或2时，其密度函数是单调递减函数（见图1.4.5a），其他情况下密度函数呈单峰的右偏分布（见图1.4.5b）。图1.4.5F分布的密度函数F分布有以下性质：

1.4抽样分布1.4.3次序统计量的分布定理1.5.61.第k个次序统计量的抽样分布

1.4抽样分布例1.4.2

1.4.3用随机模拟法寻找统计量的近似分布1.4抽样分布1.4.3用随机模拟法寻找统计量的近似分布

1.4抽样分布1.4.3用随机模拟法寻找统计量的近似分布

1.4抽样分布1.4.3用随机模拟法寻找统计量的近似分布

1.4抽样分布1.4.3用随机模拟法寻找统计量的近似分布

1.5次序统计量1.5.1次序统计量的概念1.5.2样本极差1.5.3样本中位数与样本p分位数1.5.4箱线图和QQ图1.5.5次序统计量的分布1.5次序统计量1.5.1次序统计量的概念定义1.5.1

1.5次序统计量1.5.1次序统计量的概念例1.5.1设总体X的分布为仅取0，1，2的离散均匀分布，即现从中随机抽取容量为3的样本,该样本一切可能取值有3^{3}=27种,现将它们都列在表1.4.1的左侧,而相应的次序统计量的取值列在表1.4.1的右侧。1.5次序统计量1.5.1次序统计量的概念表1.5.1样本X1X2X3及其次序统计量X(1)X(2)X(3)的取值1.5次序统计量1.5.1次序统计量的概念由表1.5.1可见，次序统计量（X(1)X(2)X(3)）与样本（X1X2X3）的分布不相同，具体表现在以下几个方面。（1）X(1)X(2)X(3)的分布不同。（2）任何两个次序统计量的联合分布也是不同的。（3）任意两个次序统计量是不独立的，例如：

1.5次序统计量1.5.2样本极差定义1.5.2

（1）极差含有总体标准差的信息。（2）极差受样本量影响较大。图1.5.1样本（用x表示）极差反映总体分散程度1.5次序统计量1.5.2样本极差例1.5.2

1.5次序统计量1.5.3样本中位数与样本p分位数定义1.5.3

n为奇数n为偶数1.5次序统计量1.5.2样本极差例1.5.3一批砖在交付客户之前要抽检其抗压强度（单位：Mpa），现从中随机抽取10块砖，测得其抗压强度为（已排序）：

1.5次序统计量1.5.3样本中位数与样本p分位数定义1.5.3

np是整数np不是整数

1.5次序统计量1.5.3样本中位数与样本p分位数例1.5.4

1.5次序统计量1.5.4箱线图和QQ图

图1.5.2箱线图示意图1.5次序统计量1.5.4箱线图和QQ图箱线图可用来对总体的分布形状进行大致的判断。图1.5.3给出了三种常见的箱线图，分别对应左偏分布、对称分布和右偏分布。图1.5.3三种常见的箱线图及其对应的分布轮廓1.5次序统计量1.5.4箱线图和QQ图例1.5.5图1.5.5给出了例1.3.5中两个班级概率论成绩与正态分布的QQ图。可以看出数据基本成一条直线,但1班在左下方,2班在右上方偏差较大。图1.5.51班（左）和2班（右）概率论成绩与正态分布的QQ图1.5次序统计量1.5.5次序统计量的分布定理1.5.1

1.5次序统计量1.5.5次序统计量的分布

1.5次序统计量1.5.5次序统计量的分布例1.5.6

从而

故

1.5次序统计量1.5.5次序统计量的分布2.任意两个次序统计量的分布以及n个次序统计量的联合分布

1.6充分统计量1.6.1充分统计量的概念1.6.2因子分解定理1.6充分统计量1.6.1充分统计量的概念例1.6.1某厂要了解某产品的不合格品率p，按常规，检验员随机抽检了10件产品，检验结果如下（0表示合格品，1表示不合格品）：

（1）第1件不合格，第2件合格，第3件合格，…，第10件合格；（2）10件中共有2件不合格；（3）头2件中有1件不合格。1.6充分统计量1.6.1充分统计量的概念例1.6.2

这个例子实际上就是例1.6.1的一般化叙述。首先指出该样本的联合分布是

1.6充分统计量1.6.1充分统计量的概念

1.6充分统计量1.6.1充分统计量的概念

1.6充分统计量1.6.1充分统计量的概念

1.6充分统计量1.6.1充分统计量的概念

1.6充分统计量1.6.1充分统计量的概念

由此可得联合分布

最后可得

这就证明了此引理。1.6充分统计量1.6.1充分统计量的概念例1.6.3

1.6充分统计量1.6.1充分统计量的概念例1.6.3

例1.6.41.6充分统计量1.6.1充分统计量的概念

例1.6.41.6充分统计量1.6.1充分统计量的概念

例1.6.41.6充分统计量1.6.1充分统计量的概念在给定T=a下，样本X取值为b时，条件概率

定理1.6.21.6充分统计量1.6.2因子分解定理

1.6充分统计量1.6.2因子分解定理

1.6充分统计量1.6.2因子分解定理

1.6充分统计量1.6.2因子分解定理

1.7常用的概率分布族1.7.1常用概率分布族表1.7.2伽玛分布族1.7.3贝塔分布族1.7.4指数型分布族1.7常用的概率分布族1.7.1常用概率分布族表1.7常用的概率分布族1.7.1常用概率分布族表1.7常用的概率分布族1.7.2伽玛分布族

1.7常用的概率分布族1.7.2伽玛分布族2.伽玛分布若随机变量X的密度函数为：则称𝑋服从伽玛分布，记作𝑋∼𝐺𝑎(𝛼,𝜆)，其中𝛼>0为形状参数，𝜆>0为尺度参数，伽玛分布族记为𝐺𝑎(𝛼,𝜆)；𝛼>0，𝜆>0。图1.7.1给出了若干条𝜆固定、𝛼不同的伽玛密度函数曲线，从图中可以看出：0<𝛼<1时，𝑝(𝑥)是严格下降函数，且在𝑥=0处有奇异点；𝛼=1时，𝑝(𝑥)是严格下降函数，且在𝑥=0处𝑝(0)=𝜆；1<𝛼≤2时，𝑝(𝑥)