中国人民大学《应用统计学》统计方法课件

中国人民大学《应用统计学》统计方法课件本课件旨在为中国人民大学应用统计学专业的学生提供一套系统、全面的统计方法学习资源。内容涵盖统计学的基本概念、数据处理、参数估计、假设检验、方差分析、回归分析、时间序列分析、非参数检验、聚类分析、判别分析、主成分分析、因子分析等多个方面。通过本课件的学习，学生将能够掌握各种常用的统计方法，并能够运用这些方法解决实际问题。本课件还注重培养学生的统计思维和数据分析能力，使其能够更好地适应未来的工作和研究。课程概述：应用统计学的重要性统计学在现代社会中的作用应用统计学在现代社会中扮演着至关重要的角色。它不仅是科学研究的基础工具，也是各行各业进行决策的重要依据。通过应用统计学的方法，我们可以从海量数据中提取有用的信息，从而更好地认识世界、改造世界。应用统计学在各领域的应用应用统计学的应用范围非常广泛，几乎涵盖了所有的领域。在金融领域，我们可以利用统计方法进行风险评估和投资决策；在医学领域，我们可以利用统计方法进行疾病诊断和治疗效果评估；在市场营销领域，我们可以利用统计方法进行消费者行为分析和产品推广策略制定。统计学基本概念回顾1总体与样本总体是指研究对象的全体，而样本是从总体中抽取的一部分个体。在统计学中，我们通常通过分析样本来推断总体的特征。2参数与统计量参数是描述总体特征的数值，例如总体均值和总体方差；统计量是描述样本特征的数值，例如样本均值和样本方差。3变量与数据变量是指研究对象的某种特征，例如身高、体重和年龄；数据是变量的具体取值，例如某人的身高为1.75米。数据的类型与测量尺度定类数据定类数据是指只能进行分类的数据，例如性别、国籍和职业。定类数据不能进行数值运算。定序数据定序数据是指可以进行排序的数据，例如学历、职称和等级。定序数据可以比较大小，但不能进行数值运算。定距数据定距数据是指可以进行加减运算的数据，例如温度和年份。定距数据可以比较大小和计算差值，但不能计算比率。定比数据定比数据是指可以进行加减乘除运算的数据，例如身高、体重和收入。定比数据可以比较大小、计算差值和计算比率。描述性统计：集中趋势的度量均值均值是指所有数据的总和除以数据的个数。均值是描述数据集中趋势的最常用指标。中位数中位数是指将数据按大小顺序排列后，位于中间位置的数值。中位数不受极端值的影响。众数众数是指数据中出现次数最多的数值。众数可以用于描述定类数据和定序数据的集中趋势。描述性统计：离散程度的度量1方差方差是指数据与其均值之差的平方的平均数。方差是描述数据离散程度的最常用指标。2标准差标准差是指方差的平方根。标准差的单位与数据的单位相同，更易于解释。3极差极差是指数据的最大值与最小值之差。极差简单易懂，但容易受到极端值的影响。4四分位距四分位距是指上四分位数与下四分位数之差。四分位距不受极端值的影响。数据的图形展示：直方图、散点图等直方图直方图用于展示连续型数据的分布情况。直方图的横轴表示数据的取值范围，纵轴表示数据的频数或频率。散点图散点图用于展示两个变量之间的关系。散点图的横轴表示一个变量的取值，纵轴表示另一个变量的取值。箱线图箱线图用于展示数据的分布情况，包括中位数、四分位数、极值和异常值。饼图饼图用于展示定类数据的构成情况。饼图的每个扇形表示一个类别，扇形的大小表示该类别所占的比例。概率论基础：随机事件与概率随机事件随机事件是指在一定条件下可能发生也可能不发生的事件。例如，抛掷一枚硬币，正面朝上就是一个随机事件。1概率概率是指随机事件发生的可能性大小。概率的取值范围为0到1，0表示事件不可能发生，1表示事件一定发生。2样本空间样本空间是指随机试验所有可能结果的集合。例如，抛掷一枚硬币，样本空间为{正面朝上，反面朝上}。3条件概率与贝叶斯公式1贝叶斯公式2条件概率3先验概率4后验概率条件概率是指在已知某个事件发生的条件下，另一个事件发生的概率。贝叶斯公式是一种用于计算条件概率的公式，它可以将先验概率转化为后验概率。贝叶斯公式在机器学习和人工智能领域有着广泛的应用。随机变量及其分布1概率分布2离散型随机变量3连续型随机变量随机变量是指取值具有随机性的变量。随机变量可以分为离散型随机变量和连续型随机变量。离散型随机变量的取值是有限个或可列无限个，例如抛掷硬币的次数；连续型随机变量的取值是不可列无限个，例如人的身高。随机变量的分布是指随机变量取各个值的概率规律。常见离散型分布：伯努利分布、二项分布、泊松分布伯努利分布伯努利分布是指只有两种可能结果的随机试验的分布，例如抛掷一枚硬币，正面朝上或反面朝上。二项分布二项分布是指重复进行n次独立的伯努利试验的分布，例如重复抛掷一枚硬币n次，正面朝上的次数。泊松分布泊松分布是指在一定时间内或一定空间内，随机事件发生的次数的分布，例如某段时间内，某家商店顾客光临的次数。常见连续型分布：正态分布、指数分布正态分布是一种常见的连续型分布，其形状呈钟形，具有对称性。正态分布在自然界和社会生活中广泛存在，例如人的身高、体重和智商。指数分布是一种用于描述事件发生时间间隔的分布，例如电子元件的寿命。抽样分布：样本均值、样本方差的分布抽样分布抽样分布是指由样本统计量构成的分布。例如，从总体中抽取若干个样本，计算每个样本的均值，这些样本均值构成的分布就是样本均值的抽样分布。抽样分布是统计推断的基础。样本均值分布样本均值的抽样分布是指从总体中抽取若干个样本，计算每个样本的均值，这些样本均值构成的分布。当样本容量足够大时，样本均值的抽样分布近似服从正态分布。样本方差分布样本方差的抽样分布是指从总体中抽取若干个样本，计算每个样本的方差，这些样本方差构成的分布。样本方差的抽样分布服从卡方分布。中心极限定理及其应用中心极限定理中心极限定理是指，当样本容量足够大时，无论总体服从何种分布，样本均值的抽样分布都近似服从正态分布。中心极限定理是统计推断的重要理论基础。应用中心极限定理在统计推断中有着广泛的应用。例如，我们可以利用中心极限定理构造置信区间和进行假设检验。参数估计：点估计与区间估计1点估计点估计是指用一个样本统计量的值来估计总体参数的值。例如，用样本均值来估计总体均值。2区间估计区间估计是指用一个区间来估计总体参数的值。例如，用一个置信区间来估计总体均值。均值的点估计与区间估计点估计均值的点估计是指用样本均值来估计总体均值。样本均值是总体均值的无偏估计。区间估计均值的区间估计是指用一个置信区间来估计总体均值。置信区间的宽度取决于置信水平、样本容量和总体标准差。方差的点估计与区间估计点估计方差的点估计是指用样本方差来估计总体方差。样本方差是总体方差的有偏估计，需要进行修正。区间估计方差的区间估计是指用一个置信区间来估计总体方差。置信区间的构造需要用到卡方分布。假设检验：基本原理与步骤1提出假设首先需要提出原假设和备择假设。原假设是指我们想要检验的假设，备择假设是指与原假设相反的假设。2选择检验统计量根据数据的类型和研究的问题，选择合适的检验统计量。例如，检验均值时可以选择t检验或z检验，检验方差时可以选择卡方检验。3确定显著性水平显著性水平是指我们允许犯第一类错误的概率。通常情况下，显著性水平取0.05或0.01。4计算p值p值是指在原假设成立的条件下，观察到样本结果或更极端结果的概率。p值越小，说明原假设越不可信。5做出决策如果p值小于显著性水平，则拒绝原假设，接受备择假设；否则，不拒绝原假设。单样本均值检验：z检验与t检验z检验当总体标准差已知且样本容量足够大时，可以使用z检验。z检验的检验统计量服从标准正态分布。t检验当总体标准差未知且样本容量较小时，可以使用t检验。t检验的检验统计量服从t分布。双样本均值检验：独立样本与配对样本独立样本t检验独立样本t检验用于检验两个独立样本的均值是否存在显著差异。例如，比较两组学生的考试成绩。1配对样本t检验配对样本t检验用于检验两个配对样本的均值是否存在显著差异。例如，比较同一组学生在学习前后的考试成绩。2单样本方差检验：卡方检验1卡方检验2样本方差3总体方差卡方检验用于检验样本方差与总体方差是否存在显著差异。卡方检验的检验统计量服从卡方分布。双样本方差检验：F检验1F检验2样本方差13样本方差2F检验用于检验两个样本的方差是否存在显著差异。F检验的检验统计量服从F分布。假设检验中的两类错误第一类错误第一类错误是指原假设为真，但我们拒绝了原假设。第一类错误的概率称为显著性水平，通常用α表示。第二类错误第二类错误是指原假设为假，但我们没有拒绝原假设。第二类错误的概率通常用β表示。功效函数与样本容量的确定SampleSizePower功效函数是指在备择假设成立的条件下，我们拒绝原假设的概率。功效函数越大，说明检验的效力越高。样本容量是指样本中个体的数量。样本容量越大，检验的效力越高，但成本也越高。我们需要根据实际情况，选择合适的样本容量。方差分析：基本思想与模型方差分析方差分析是一种用于检验多个总体均值是否存在显著差异的方法。方差分析的基本思想是将总变异分解为组间变异和组内变异，通过比较组间变异和组内变异的大小，来判断总体均值是否存在显著差异。单因素方差分析：完全随机设计完全随机设计完全随机设计是指将研究对象随机分配到不同的处理组中。单因素方差分析用于分析一个因素对因变量的影响。例如，分析不同施肥量对作物产量的影响。多重比较：LSD、Bonferroni等方法1LSDLSD是最简单的多重比较方法，但其控制第一类错误的效力较弱。2BonferroniBonferroni方法通过调整显著性水平来控制第一类错误，但其检验效力较低。3TukeyTukey方法是一种常用的多重比较方法，其在控制第一类错误和检验效力之间取得了较好的平衡。双因素方差分析：无交互作用双因素方差分析双因素方差分析用于分析两个因素对因变量的影响。当两个因素之间不存在交互作用时，我们可以分别分析每个因素对因变量的影响。双因素方差分析：有交互作用交互作用当两个因素之间存在交互作用时，我们需要同时考虑两个因素对因变量的影响。交互作用是指一个因素对因变量的影响受到另一个因素的影响。相关分析：皮尔逊相关系数1皮尔逊相关系数皮尔逊相关系数用于衡量两个连续型变量之间的线性关系。皮尔逊相关系数的取值范围为-1到1，-1表示完全负相关，1表示完全正相关，0表示无线性关系。相关分析：斯皮尔曼等级相关系数斯皮尔曼等级相关系数斯皮尔曼等级相关系数用于衡量两个定序变量之间的关系。斯皮尔曼等级相关系数的取值范围为-1到1，-1表示完全负相关，1表示完全正相关，0表示无关系。简单线性回归：模型建立与参数估计线性回归简单线性回归用于建立一个自变量和一个因变量之间的线性关系。线性回归模型可以用于预测因变量的值。简单线性回归：显著性检验与预测1显著性检验2预测3模型评估我们需要对线性回归模型进行显著性检验，以判断自变量是否对因变量有显著影响。如果模型显著，我们可以用模型进行预测。多元线性回归：模型建立与变量选择1变量选择2模型建立3模型诊断多元线性回归用于建立多个自变量和一个因变量之间的线性关系。在建立多元线性回归模型时，我们需要进行变量选择，以选择对因变量有显著影响的自变量。多元线性回归：多重共线性诊断与处理多重共线性多重共线性是指自变量之间存在高度相关关系。多重共线性会导致模型参数估计不稳定，影响模型的预测能力。处理我们可以通过删除变量、增加样本容量或使用岭回归等方法来处理多重共线性。Logistic回归：基本原理与应用XYLogistic回归用于建立自变量和一个二元因变量之间的关系。Logistic回归模型可以用于预测因变量的值。Logistic回归：模型评估与解释模型评估我们需要对Logistic回归模型进行评估，以判断模型的预测能力。常用的模型评估指标包括准确率、召回率、F1值和AUC。时间序列分析：基本概念与分解时间序列时间序列是指按时间顺序排列的一系列观测值。时间序列分析用于分析时间序列的变化规律，并进行预测。分解时间序列可以分解为趋势、季节性、周期性和随机性四个部分。时间序列分析：平稳性检验与处理1平稳性平稳性是指时间序列的统计特征不随时间变化。只有平稳的时间序列才能进行建模和预测。2检验常用的平稳性检验方法包括ADF检验和PP检验。3处理对于非平稳的时间序列，我们可以通过差分、取对数等方法进行处理，使其变为平稳的时间序列。时间序列分析：ARIMA模型ARIMAARIMA模型是一种常用的时间序列分析模型，其包括自回归模型（AR）、移动平均模型（MA）和差分模型（I）。时间序列分析：预测与评价预测我们可以使用ARIMA模型进行时间序列的预测。评价我们需要对预测结果进行评价，以判断模型的预测能力。常用的评价指标包括RMSE和MAE。非参数检验：符号检验、秩和检验1非参数检验非参数检验是一种不需要假设总体分布的检验方法。非参数检验适用于定序数据和非正态分布的连续型数据。2符号检验符号检验用于检验两个配对样本的均值是否存在显著差异。3秩和检验秩和检验用于检验两个独立样本的均值是否存在显著差异。卡方检验：拟合优度检验拟合优度检验拟合优度检验用于检验样本数据是否符合某种理论分布。卡方检验：独立性检验独立性检验独立性检验用于检验两个定类变量之间是否存在关系。聚类分析：基本思想与方法1聚类分析2距离度量3聚类算法聚类分析是一种将相似的样本聚集在一起的方法。聚类分析的基本思想是使同一类别的样本尽可能相似，不同类别的样本尽可能不相似。K-means聚类：算法流程与应用1K-means2选择中心3分配K-means聚类是一种常用的聚类算法，其基本思想是随机选择k个中心点，然后将每个样本分配到离其最近的中心点所在的类别，然后重新计算每个类别的中心点，重复以上步骤，直到类别不再发生变化。层次聚类：算法流程与应用层次聚类层次聚类是一种将样本逐层聚集的聚类算法。层次聚类可以分为凝聚型层次聚类和分裂型层次聚类。判别分析：基本原理与方法判别分析是一种将样本划分到不同类别的方法。判别分析的基本原理是根据样本的特征，建立判别函数，然后将样本划分到判别函数值最大的类别。线性判别分析：算法流程与应用线性判别分析线性判别分析是一种常用的判别分析方法，其基本思想是找到一个线性变换，使得变换后的样本在不同类别之间的距离尽可能大，同一类别内的距离尽可能小。支持向量机：基本原理与应用支持向量机支持向量机是一种常用的分类算法，其基本思想是找到一个超平面，使得超平面能够将不同类别的样本分开，并且使得超平面到不同类别样本的距离尽可能大。主成分分析：降维与变量选择1主成分分析主成分分析是一种常用的降维方法，其基本思想是将原始变量转换为一组新的变量，使得新的变量能够尽可能地保留原始变量的信息，并且新的变量之间不相关。因子分析：模型建立与解释因子分析因子分析是一种常用的变量选择方法，其基本思想是将原始变量划分为若干个因子，使得每个因子能够解释一组原始变量的共同变异。问卷调查设计与数据分析问卷调查问卷调查是一种常用的数据收集方法。在设计问卷时，我们需要注意问题的措辞、问题的顺序和问题的类型。数据分析在收集到数据后，我们需要对数据进行分析，以提取有用的信息。常用的数据分析方法包括描述性统计、相关分析、回归分析和方差分析。实验设计：基本原则与类型1实验设计实验设计是一种用于研究因果关系的