《数据的数字特征》课件

数据的数字特征课程目标理解数据的数字特征应用统计方法分析数据解决数据分析问题数据的定义信息数据是描述客观事物的符号记录，是信息的载体。例如，数字、文字、图像、音频等。结构化数据可以是结构化的，比如表格数据、数据库数据，也可以是非结构化的，比如文本、图像、音频、视频等。采集数据可以通过各种方式采集，比如传感器、调查问卷、网络爬虫等。数据的特征数据类型数据可以分为数值型、分类型、文本型、时间日期型等。数据分布数据的分布是指数据在不同值上的分布情况，例如正态分布、均匀分布等。数据关系数据之间可能存在线性关系、非线性关系、相关关系、独立关系等。数据的类型数值型数据表示数量、大小、长度、温度等可度量的数值。分类型数据表示类别、属性、标签等。文本型数据表示文字、句子、段落等。数值型数据连续型在给定范围内可以取任何值的变量，例如温度、身高和体重。离散型只能取有限个值的变量，例如学生人数、房屋数量和商品数量。数值型数据的度量平均数反映数据集中趋势，对异常值敏感。中位数不受异常值影响，适用于非对称数据。极差反映数据波动范围，易受异常值影响。方差反映数据离散程度，数值越大，离散程度越高。数值型数据的统计特征平均值中位数标准差数值型数据的统计特征用于描述数据的集中趋势和离散程度。分类型数据分类数据分类数据是指不能用数值来表示的数据，而是用类别或属性来描述。非数值型例如，性别、颜色、品牌等。类别或属性分类数据通常用于描述事物或现象的特征。分类型数据的特征类别信息分类型数据以类别或标签的形式表示，而不是数值。顺序无关类别之间没有固定的顺序或等级关系。有序分类数据服装尺码S,M,L,XL,XXL学生成绩等级优秀,良好,中等,及格,不及格产品质量评级五星,四星,三星,二星,一星有序分类数据的统计特征1频率每个类别出现的次数。2百分比每个类别占总样本的比例。3累积频率每个类别及之前所有类别的频率之和。4中位数将数据排序后，位于中间位置的类别。文本型数据文字和字符文本数据由字母、数字、符号和空格组成。非数值型文本数据通常不包含可直接计算的数值。多种形式文本数据可以包括句子、段落、单词、字符等。文本型数据的特征非数值型文本数据通常包含字母、符号、数字和空格，无法直接进行数值计算。结构化与非结构化文本数据可以是结构化的，例如数据库中的表格数据，也可以是非结构化的，例如电子邮件或网页内容。语义信息文本数据包含丰富的语义信息，需要自然语言处理技术来提取和理解。时间日期型数据包含日期和时间信息，用于描述事件发生的时间。例如：2023-10-2614:30:00时间日期型数据的特征顺序性时间日期数据具有天然的顺序性，例如2023年1月比2023年2月早。周期性时间日期数据往往存在周期性，例如每天、每周、每月、每年都会出现规律性的变化。时间粒度时间日期数据的粒度可以从年、月、日、时、分、秒等多个层面进行划分。多维数据多方面描述多维数据可以从多个方面描述一个对象或事件，提供更全面的信息。复杂关系多维数据可以揭示不同变量之间的相互关系，帮助我们更深入地理解数据背后的规律。数据挖掘多维数据为数据挖掘提供了丰富的素材，可以帮助我们发现隐藏的模式和知识。多维数据的特征多维多维数据包含多个变量或属性，它们相互关联并代表数据的多方面特征。复杂性多维数据分析涉及处理复杂的数据关系，需要专业的工具和技术来提取有意义的见解。洞察力通过分析多维数据，我们可以揭示数据中的隐藏模式和关系，从而获得更深入的见解。缺失数据数据完整性缺失数据会影响数据分析的准确性和可靠性.数据质量缺失数据的处理方式会直接影响数据质量.数据分析缺失数据可能会导致模型偏差和错误的结论.缺失数据的处理1删除删除包含缺失值的记录，适用于缺失值比例较高的场景。2插值使用平均值、中位数或其他统计量填充缺失值，适用于数值型数据。3模型预测利用机器学习模型预测缺失值，适用于缺失值复杂且具有规律性的场景。异常数据数据中的异常值是指与其他数据点明显不同的数据值。这些异常值可能是由于错误输入、测量误差或数据本身的自然变异造成的。识别和处理异常数据对于数据的准确性和可靠性至关重要。异常数据的识别1箱线图利用数据分位数，识别超出正常范围的异常值23σ原则假设数据服从正态分布，识别超出平均值3倍标准差的异常值3聚类分析将数据划分成不同的簇，识别与大多数数据点距离较远的异常值数据清洗的重要性1准确性数据清洗可以确保数据的准确性，减少错误和偏差。2完整性数据清洗可以填补缺失值，使数据更加完整。3一致性数据清洗可以消除数据中的不一致性，确保数据的统一性。4可信度数据清洗可以提高数据的可信度，使分析结果更加可靠。数据预处理的基本步骤1数据清洗去除错误、不完整、重复数据。2数据转换将数据转换为适合分析的格式。3数据降维减少数据的维度，提高效率。4数据标准化将数据统一到相同的尺度上。数据可视化的作用洞察趋势通过图表和图形展示数据中的模式和趋势，帮助发现隐藏的规律。发现异常突出显示数据中的异常值和偏差，提醒潜在问题和机会。简化复杂性用视觉方式将复杂的数据转化为易于理解的信息，使沟通更有效。数据可视化的类型图表图表是最常见的数据可视化类型，可以用来展示数据的趋势、分布和比较。常见的图表包括条形图、折线图、饼图等。地图地图可以用来展示数据的地理分布，比如人口密度、犯罪率等。网络图网络图可以用来展示数据的连接关系，比如社交网络、网站链接等。数据可视化的最佳实践选择合适的图表类型根据数据的类型和想要传达的信息选择合适的图表类型，例如柱状图、饼图、折线图、散点图等。保持简洁和清晰避免使用过多图表元素或颜色，确保图表易于理解和解读。提供明确的标题和标签确保标题和标签清晰简洁，方便用户理解图表内容。突出重点使用颜色、大小或形状等视觉元素突出数据中的关键信息。总结与思考1数据特征对数据的理解和认识，可以有效地进行数据分析。2数据清洗确保数据的准确性和完整性，为数据分析奠定基础。3数据可视化将数据转化为直观的图表和图形，帮助理解和分析数据。课后练习