探索性数据分析（EDA）基本概念

探索性数据分析（EDA）基本概念汇报人：XX2024-02-05目录CONTENTS基本概念与目的数据集初步探索图形化展示技术数值型数据描述性统计类别型数据描述性统计多元变量关系探索01基本概念与目的探索性数据分析定义探索性数据分析（ExploratoryDataAnalysis，EDA）是一种数据分析方法，强调灵活性和深入洞察数据集。它是在对问题进行初步了解后，对数据进行详细研究以发现其内在规律和特征的过程。提供数据初步了解通过图表、统计量等方式，帮助分析师对数据集形成初步印象。发现潜在问题揭示数据中的异常值、缺失值、离群点等，为后续分析提供指导。激发新假设通过观察数据分布、关联性等，发现新的研究假设或方向。EDA在数据分析中作用最大化对数据的洞察和理解，为进一步的建模和决策提供支持。目标强调灵活性、直观性和迭代性，鼓励分析师通过多种手段深入挖掘数据。原则目标和原则适用场景及优势适用场景适用于各种类型的数据集，特别是在数据量大、维度高、关系复杂的情况下更具优势。优势能够快速发现数据中的规律和特征，提供直观、易理解的分析结果，有助于分析师形成更深入的认识和判断。02数据集初步探索可能来自实验、调查、观测、公共数据库等多种渠道。数据集来源包括结构化数据（如表格、数据库）和非结构化数据（如文本、图像、音频、视频等）。数据类型常见的数据格式包括CSV、Excel、JSON、SQL等，需要根据具体格式进行读取和处理。数据格式数据集来源及类型03数据转换将数据转换成适合分析的格式，如将文本数据转换为数值数据，将日期数据转换为时间戳等。01数据质量评估通过检查数据的完整性、准确性、一致性、及时性等方面来评估数据质量。02数据清洗针对数据质量问题，进行数据预处理，包括去除重复数据、处理缺失值、异常值、噪声数据等。数据质量评估与清洗变量识别变量类型变量关系变量识别与分类识别数据集中的变量，包括自变量、因变量、控制变量等。根据变量的性质，将变量分为连续变量、离散变量、分类变量等类型。初步探索变量之间的关系，包括相关性、因果关系等。

缺失值和异常值处理缺失值处理根据缺失值的类型（完全随机缺失、随机缺失、非随机缺失）和比例，选择合适的处理方法，如删除缺失值、填充缺失值等。异常值检测通过统计方法（如箱线图、Z-score等）或可视化方法（如散点图、直方图等）检测异常值。异常值处理根据异常值的性质和影响，选择合适的处理方法，如删除异常值、替换异常值、保留异常值并进行分析等。03图形化展示技术直方图核密度估计直方图与核密度估计一种非参数化的概率密度估计方法，通过对数据点施加不同权重的核函数来拟合数据的概率密度函数。核密度估计可以平滑地展示数据的分布形态，尤其适用于展示多峰、偏态等复杂分布。将数据分布划分为若干连续的区间，统计每个区间的频数或频率，以矩形面积代表频数或频率，各矩形连续排列形成的图形即为直方图。直方图可以直观地展示数据的分布形态，如集中趋势、离散程度等。箱线图展示一组数据分散情况的统计图，包括最大值、最小值、中位数、上四分位数和下四分位数等关键统计量。箱线图可以直观地识别出数据中的异常值、偏态和分散程度等信息。小提琴图结合了箱线图和核密度估计的可视化方法，既能展示数据的分散情况，又能展示数据的概率密度分布。小提琴图可以更加直观地比较不同组数据的分布形态和分散程度。箱线图与小提琴图应用散点图用点的位置来展示两个变量之间关系的图形。散点图可以直观地观察两个变量之间是否存在某种趋势或关系，如线性关系、非线性关系等。相关性分析通过计算相关系数来量化两个变量之间的相关程度。常见的相关系数包括皮尔逊相关系数、斯皮尔曼秩相关系数等。相关性分析可以帮助我们更加准确地理解两个变量之间的关系，并预测一个变量的变化趋势。散点图与相关性分析123热力图折线图雷达图其他可视化技术用线条的连续变化来展示时间序列数据或其他连续变量的变化趋势。折线图可以直观地观察数据的波动情况和周期性变化。用颜色的深浅来展示数据矩阵中各个元素的大小或相关程度。热力图可以直观地识别出数据矩阵中的高值和低值区域，以及不同变量之间的相关程度。用多边形的面积来展示多个变量的综合情况。雷达图可以直观地比较不同数据点在多个维度上的表现情况，以及识别出各个维度的优势和劣势。04数值型数据描述性统计均值所有数值的和除以数值的个数，用于衡量数据的平均水平。中位数将数值按大小排列后位于中间位置的数，用于统计学中的中心趋势分析。众数数据集中出现次数最多的数值，也用于表示数据的集中趋势。集中趋势度量：均值、中位数等各数值与均值之差的平方的平均数，用于衡量数据的离散程度。方差方差的平方根，也用于表示数据的离散程度，与方差相比更直观。标准差上四分位数与下四分位数之差，用于衡量数据的离散程度，尤其适用于异常值存在的情况。四分位数间距离散程度度量：方差、标准差等描述数据分布形态的偏斜程度，正偏态表示数据向右偏斜，负偏态表示数据向左偏斜。描述数据分布形态的尖峭程度，峰度大于3表示数据分布比正态分布更尖峭，峰度小于3表示数据分布比正态分布更平坦。分布形态描述：偏度和峰度峰度偏度通过箱线图、Z-score等方法检测数据中的异常值。异常值检测对检测到的异常值进行处理，如删除、替换为均值或中位数、使用稳健统计量等。处理异常值时需要谨慎，以避免对数据分析结果产生不良影响。同时，也需要考虑异常值产生的背景和原因，以便更好地理解和解释数据。异常值处理异常值检测和处理方法05类别型数据描述性统计频数分布表统计各个类别的出现次数，以表格形式展示，便于了解数据的分布情况。条形图将频数分布表以条形图的形式可视化，可以直观地比较各个类别的频数大小。频数分布表和条形图展示比例计算百分比计算比例和百分比计算计算某一类别在总体中所占的比例，以了解该类别的相对重要性。将比例转换为百分比形式，更便于理解和比较。VS用于检验两个类别型变量之间是否存在关联关系，以及关联的强弱程度。其他关联分析方法如Phi系数、Cramer'sV系数等，也可以用于衡量类别型变量之间的关联性。卡方检验类别间关系挖掘：卡方检验等标签编码将类别型变量的各个类别赋予不同的数值标签，转换为数值型变量进行处理。其他转换方法如将类别型变量转换为哑变量、虚拟变量等，以适应不同的分析需求。独热编码将类别型变量转换为一系列二值变量，便于进行数值计算和分析。类别型变量转换技巧06多元变量关系探索协方差矩阵用于描述多个随机变量之间的协方差关系，矩阵中的每个元素表示两个变量之间的协方差。通过计算协方差矩阵，可以了解变量间的线性相关程度和方向。相关系数矩阵是协方差矩阵的标准化形式，用于消除变量量纲和数量级的影响。相关系数矩阵中的元素表示两个变量的相关系数，取值范围为[-1,1]，其中1表示完全正相关，-1表示完全负相关，0表示无相关关系。协方差矩阵相关系数矩阵协方差矩阵和相关系数矩阵计算主成分分析（PCA）原理及应用主成分分析是一种降维技术，通过正交变换将原始特征空间中的线性相关变量转换为新特征空间中的线性无关变量（主成分），使得新变量能够最大程度地保留原始数据的信息。PCA原理PCA广泛应用于数据降维、特征提取、数据可视化等领域。通过PCA处理，可以将高维数据转换为低维数据，降低计算复杂度和存储空间需求，同时保留数据中的主要特征和信息。PCA应用因子分析原理因子分析是一种统计方法，用于研究多个变量之间的内在关系。它通过提取公共因子来简化数据结构，将原始变量表示为少数几个公共因子的线性组合，从而揭示变量间的本质联系。因子分析应用因子分析在市场调研、心理测评、经济分析等领域具有广泛应用。通过因子分析，可以将大量观测变量简化为少数几个因子，便于进行更深入的分析和解释。因子分析简化数据结构聚类分析原理聚类分析是一种无监督学习方法，用于将数据集划分为若干个类或簇。它根据数据之间的相似性或距离进