数理统计与多元统计

数理统计与多元统计汇报人：AA2024-01-19BIGDATAEMPOWERSTOCREATEANEWERA目录CONTENTS数理统计基础多元统计描述多元统计推断聚类分析与判别分析主成分分析与因子分析典型相关分析与对应分析BIGDATAEMPOWERSTOCREATEANEWERA01数理统计基础03条件概率与独立性条件概率是指在给定某些条件下，另一事件发生的概率；独立性则是指两个事件的发生互不影响。01样本空间与事件样本空间是随机试验所有可能结果的集合，事件则是样本空间的子集。02概率的定义与性质概率是描述随机事件发生可能性大小的数值，具有非负性、规范性和可列可加性。概率论基本概念随机变量的定义随机变量是定义在样本空间上的实值函数，用于将随机试验的结果数量化。离散型随机变量及其分布离散型随机变量取值可数，常见的离散型分布有二项分布、泊松分布等。连续型随机变量及其分布连续型随机变量取值充满某个区间，常见的连续型分布有正态分布、均匀分布等。随机变量及其分布030201数理期望是描述随机变量取值“平均水平”的数值，具有线性性质。数理期望的定义与性质方差是描述随机变量取值波动大小的数值，具有非负性和齐次性。方差的定义与性质对于常见的离散型和连续型分布，可以求出其期望和方差的表达式。常见分布的期望与方差数理期望与方差大数定律与中心极限定理大数定律大数定律表明当试验次数足够多时，频率将趋于概率，即“大数”具有稳定性。中心极限定理中心极限定理指出当独立同分布的随机变量个数足够多时，其和的分布将趋于正态分布，即“中心”具有极限性。BIGDATAEMPOWERSTOCREATEANEWERA02多元统计描述通过矩阵形式表示多元数据，行代表观测对象，列代表变量。在数据分析软件中，如R、Python等，使用数据框（dataframe）存储多元数据，方便数据处理和分析。多元数据表示方法数据框表示法矩阵表示法通过绘制两两变量间的散点图，展示多元数据间的相关关系。散点图矩阵箱线图热力图用于展示多元数据的分布情况，包括中位数、四分位数、异常值等。通过颜色的深浅表示多元数据间的相关性大小。030201多元数据图形展示描述多元数据的中心位置，由各变量的均值构成。均值向量描述多元数据各变量间的线性相关程度和方向。协方差矩阵通过计算皮尔逊相关系数等，量化多元数据各变量间的线性相关程度。相关系数矩阵多元数据数字特征衡量两个变量间的线性相关程度，取值范围为[-1,1]。皮尔逊相关系数衡量两个变量间的等级相关程度，适用于非线性关系的数据。斯皮尔曼等级相关系数在控制其他变量的影响下，衡量两个变量间的净相关程度。偏相关系数多元数据相关性分析BIGDATAEMPOWERSTOCREATEANEWERA03多元统计推断点估计利用样本数据直接计算出一个具体的数值作为参数的估计值。区间估计根据样本数据和一定的置信水平，构造一个包含参数真值的区间，即置信区间。最大似然估计通过最大化样本数据的联合概率密度函数（或联合概率质量函数）来求解参数估计值。参数估计方法检验统计量与拒绝域构造一个用于检验原假设的统计量，并根据显著性水平确定拒绝域。P值与决策规则计算检验统计量的P值，并与显著性水平进行比较，从而作出接受或拒绝原假设的决策。原假设与备择假设根据研究问题设立相互对立的两个假设，原假设通常是零假设或无效假设，备择假设则是研究希望证实的假设。假设检验原理及应用方差分析的基本思想方差分析原理及应用通过比较不同组别间的方差与组内方差的大小关系，判断不同组别间是否存在显著差异。单因素方差分析研究单一因素对因变量的影响是否显著。研究多个因素对因变量的影响及其交互作用是否显著。多因素方差分析回归模型建立根据自变量和因变量的关系，选择合适的回归模型进行拟合。回归模型检验对回归模型进行显著性检验、拟合优度检验等，以评估模型的可靠性和预测能力。回归系数解释解释回归模型中各变量的系数含义，以及它们对因变量的影响程度。回归分析原理及应用BIGDATAEMPOWERSTOCREATEANEWERA04聚类分析与判别分析原理聚类分析是一种无监督学习方法，通过将数据对象分组为由类似对象组成的多个类或簇，使得同一簇内对象尽可能相似，不同簇间对象尽可能相异。应用聚类分析广泛应用于模式识别、图像处理、数据挖掘等领域，如客户细分、文档聚类、基因序列分析等。聚类分析原理及应用判别分析是一种有监督学习方法，根据已知分类的数据，建立判别函数或判别准则，对新数据进行分类预测。原理判别分析常用于分类问题，如医学诊断、信用评分、语音识别等。应用判别分析原理及应用欧氏距离马氏距离曼哈顿距离余弦相似度距离度量方法选择适用于连续型变量，计算简单，但对数据分布敏感。适用于离散型变量或存在异常值的情况。考虑变量间的相关性，适用于连续型变量，但需要估计协方差矩阵。适用于高维数据，衡量向量间的夹角余弦值。聚类分析应用通过收集消费者行为、偏好等特征数据，利用聚类分析方法将消费者划分为不同的群体，以便针对不同群体制定个性化的营销策略。判别分析应用在已知消费者分类的情况下，利用判别分析方法建立分类模型，对新消费者进行分类预测，以便实现精准营销和个性化服务。实例：聚类与判别在市场细分中的应用BIGDATAEMPOWERSTOCREATEANEWERA05主成分分析与因子分析主成分分析原理通过正交变换将原始变量转换为少数几个综合变量（主成分），使这些主成分能够尽可能多地保留原始变量的信息，且彼此间互不相关。主成分分析应用在数据降维、特征提取、模式识别等领域有广泛应用，如图像处理、语音识别、基因数据分析等。主成分分析原理及应用通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个假想变量（因子）来表示其基本的数据结构。因子分析原理在心理学、教育学、社会学等领域有广泛应用，如智力测验、人格测验、市场研究等。因子分析应用因子分析原理及应用VS根据主成分载荷矩阵和原始数据，可以计算出每个样本在各个主成分上的得分。因子得分计算通过因子载荷矩阵和特殊因子方差，可以估计出每个样本在各个因子上的得分。主成分得分计算主成分与因子得分计算实例：主成分和因子在综合评价中的应用利用主成分分析或因子分析提取出的主成分或因子，可以构建综合评价模型，对研究对象进行综合评价。综合评价模型构建通过对主成分或因子的解释，可以明确各主成分或因子在综合评价中的意义和作用，进而对评价结果进行深入分析和解释。评价结果解释BIGDATAEMPOWERSTOCREATEANEWERA06典型相关分析与对应分析通过寻找两组变量的线性组合，使得组合后的变量间相关性最大，从而揭示两组变量间的内在联系。广泛应用于经济学、社会学、医学等领域，如研究经济增长与环境污染的关系、人口结构与经济发展的关系等。典型相关分析原理典型相关分析应用典型相关分析原理及应用对应分析原理将行、列变量的交叉表数据转换为距离矩阵，通过降维技术将高维数据投影到低维空间，以揭示行、列变量间的关联模式。对应分析应用适用于市场细分、产品定位、消费者行为研究等领域，如分析不同消费群体对产品的偏好、品牌形象的塑造等。对应分析原理及应用典型相关系数计算通过求解典型相关方程组，得到典型相关系数，反映两组变量间线性相关程度。要点一要点二典型相关系数检验采用假设检验方法，如Bartlett's检验、Wilks'Lambda检验等，对典型相关系数进行显著性检验，以确定相关性的可靠性。