AI芯片应用开发实践：深度学习算法与芯片设计 课件 第三章 数据预处理

第三章：数据预处理本章主要探讨数据预处理的概念、方法和工具并着重介绍了在深度学习领域的实际应用。通过数据清洗、数据采样、特征提取、数据归一化、数据增强和数据白化等数据预处理步骤，为深度学习模型提供了更为准确和完整的输入数据，以提高模型的性能和稳定性。数据预处理概述常用数据预处理方法视频数据预处理本章小结本章习题与答案目录CONTENTS数据预处理概述01深度学习数据预处理是指在深度学习任务中对原始数据进行一系列操作和转换，准备数据以供模型使用，从而提高深度学习模型的性能和稳定性，这一过程包括数据清洗、数据采样、特征提取、数据归一化、数据增强、数据白化等步骤。旨在消除噪声、处理异常值、降低数据的复杂性。以及增强模型对数据的理解和泛化能力，通过精心设计和执行数据预处理。研究人员能够为深度学习模型提供更具信息量、更可靠的输入数据。从而改善模型的学习能力、准确度和鲁棒性。使其更适应各种复杂任务。如图像识别、自然语言处理和推荐系统等，深度学习数据预处理是构建强大深度学习模型的关键步骤之一。有助于使模型更好地理解和解决真实世界中的问题。数据预处理概述010203首先需要对原始数据进行清洗，包括去除缺失值、异常值处理和噪声过滤等，以提高数据的质量。深度学习模型需要输入数据的特征表示。因此需要进行特征提取，特征提取可以分为手工特征提取和自动特征提取两种方式，手工特征提取需要人工设计特征提取器。自动特征提取则是通过深度学习模型自动学习数据的特征表示。在大规模数据集上训练深度学习模型需要大量的计算资源，因此可以采用数据采样的方法来减小训练数据集的规模。数据采样可以分为随机采样和分层采样两种方式。深度学习数据预处理步骤数据清洗数据采样特征提取010203归一化是将数据映射到一个固定的范围内，以避免数据之间的尺度差异对模型产生负面影响。数据归一化的方法包括Min-Max归一化和Z-score归一化等。白化是一种数据预处理技术，它可以消除特征之间的相关性，使得经过白化处理的数据具有相互独立的性质，从而提高模型的训练和预测性能。数据增强是通过对原始数据进行旋转、平移、缩放和翻转等操作，生成更多的训练样本，以增加训练数据的多样性和数量。数据增强可以提高深度学习模型的鲁棒性和泛化能力。深度学习数据预处理步骤数据归一化数据增强数据白化常用数据预处理方法02常用数据预处理方法当涉及深度学习任务时，数据的质量和准备方式至关重要。本节将介绍一些常用的数据预处理方法，可以帮助更好地准备和处理数据，以提高深度学习模型的性能。首先，将讨论零均值化和归一化，这些方法有助于处理数据的尺度和均值。接着，将探讨主成分分析(PCA)和白化，这些方法有助于降低数据维度和提高数据的独立性。１)对每个像素位置，计算其在整个数据集中的均值和标准差。２)对每个图像进行标准化，即将数据减去均值并除以标准差。３)对每个像素进行零均值化，即再次将数据减去均值，使得每个特征的均值都为０。3.2.1零均值化（中心化）主要步骤如下：通过这些步骤，预处理了手写数字图像数据集，数据的每个像素都已经标准化，并且可以被深度学习模型用于训练，这个预处理过程有助于确保图像数据在不同特征之间具有可比性，提高了模型的训练效率和性能。这种方法可以在处理数据时消除数据之间的比例因素，以及数据中的任何偏差。小结零均值化并不适用于所有的数据集和机器学习算法。在一些情况下，零均值化可能会降低算法的性能，特别是在处理连续信号数据(如图像和语音信号)时，需要谨慎使用这些预处理步骤，以免破坏数据之间的重要相关性。因此，在选择数据预处理方法时，需要根据具体的数据集和算法进行选择。注意3.2.1零均值化（中心化）Min—MAX标准化01Min-Max归一化,也称为离差标准化,是一种用于调整原始数据范围的线性变换方法,将结果值映射到[０,１]的区间之间Z-score归一化02Z-score归一化,也称为标准分数归一化,是一种常用的数据预处理方法,类似于标准化。它将原始数据调整为具有标准正态分布特性的数据。Z-score归一化的目标是将数据缩放到均值为０,方差为１的范围内,从而使得数据分布在以０为中心的标准正态分布曲线上。3.2.2归一化（标准化）主成分分析(PCA)主成分分析(ＰＣＡ)是最常用的线性降维方法之一,其主要目标是通过线性投影。将高维数据映射到低维空间。并希望在投影的新维度上保留最大的数据信息量(最大化方差),通过这种方式。ＰＣＡ能够用较少的数据维度来表示原始数据。同时保留大部分原始数据点的特征和变化。从而实现数据的降维和压缩。有助于更高效地进行数据分析和建模。步骤一求每一个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，特征ｘ１的平均值:１＝１ｍ特征ｘ２的平均值:求协方差矩阵Ｃ:步骤二求协方差矩阵Ｃ的特征值和相对应的特征向量，将会得到一组{(λ１,μ１，λ２，μ２，…，λｋ，μｋ)}。步骤三将原始特征投影到选取的特征向量上，得到降维后的新ｋ维特征:选取最大的前ｋ个特征值和相对应的特征向量，并进行投影的过程，就是降维的过程。步骤四3.2.3主成分分析（PCA）假设有ｍ个样本{Ｘ１,Ｘ２，…，Ｘｍ},，每个样本有ｎ维特征向量每一个特征ｘｊ都有各自的特征值。其中，协方差求解公式为3.2.4白化白化是一种数据预处理技术，它可以消除特征之间的相关性，使经过白化处理的数据具有相互独立的性质，从而提高模型的训练和预测性能。白化也称为球面化，因为它可以将数据点映射到高维球面上。白化的目的是去除输入数据中的冗余信息。PCA求出新特征空间中的新坐标，将原始数据x通过协方差矩阵可以求得特征想来那个μ1，μ2（3-2）。然后把每个数据点投影到这两个特征向量上（3-3）。3.2.4白化PCA预处理PCA在新的坐标空间中，两个坐标轴方向的数据标准差不同，因此需要对新的每一维坐标做标准差归一化处理。Ｘ′为经过ＰＣＡ’处理过的坐标空间ｓｔｄ代表标准差。白化数据如图（3-4）3.2.4白化PCA白化视频数据预处理03Ｇｓｔｒｅａｍｅｒ是一个支持Ｗｉｎｄｏｗｓ、Ｌｉｎｕｘ、Ａｎｄｒｏｉｄ、ｉＯＳ的、跨平台的多媒体框架,应用程序可以通过管道(Ｐｉｐｅｌｉｎｅ)的方式,将多媒体处理的各个步骤串联起来,达到预期的效果。每个步骤通过基于ＧＯｂｊｅｃｔ对象系统的元件(Ｅｌｅｍｅｎｔ)通过插件(Ｐｌｕｇｉｎ)的方式实现,方便各项功能的扩展。3.3.1

Gstreamer概述Gstreamer框架基于ＧＳｔｒｅａｍｅｒ框架的应用分层如图３-５所示关键词衬垫(Ｐａｄ)元件的外部接口元件(Ｅｌｅｍｅｎｔ)ＧＳｔｒｅａｍｅｒ中具有特定功能的基本单元管道(Ｐｉｐｅｌｉｎｅ)一种特殊的Ｂｉｎ，其主要功能是对内部所有元件进行管理和控制。功能(Ｃａｐ)描述了数据流的特性，即数据流的格式、编码方式、分辨率等信息，同时还描述了能够通过该衬垫的数据流类型和功能。箱柜（Bin）是一个元件，能够容纳多个其他的元件并将它们组装成一个整体。Gstreamer基本概念关键词缓冲区(Ｂｕｆｆｅｒ)用于从Ｓｏｕｒｃｅ到Ｓｉｎｋ的媒体数据传输。总线(Ｂｕｓ)ＧＳｔｒｅａｍｅｒ内部用于将消息从内部不同的Ｓｔｒｅａｍｉｎｇ线程，传递到Ｂｕｓ线程，再由Ｂｕｓ所在线程将消息发送到应用程序。消息(Ｍｅｓｓａｇｅ)是由元件发出的消息，通过总线，以异步的方式被应用程序处理。查询(Ｑｕｅｒｉｙ)用于应用程序向ＧＳｔｒｅａｍｅｒ查询总时间、当前时间、文件大小等信息。事件(Ｅｖｅｎｔ)用于元件之间或者应用到元件之间的信息传递，比如播放时的ｓｅｅｋ操作是通过事件实现的。Gstreamer基本概念3.3.2

Gstreamer工具（1）gst-inspect-1.0查看ＧＳｔｒｅａｍｅｒ的Ｐｌｕｇｉｎ、Ｅｌｅｍｅｎｔ的信息（1）gst-launch-1.0用于创建及执行一个Ｐｉｐｌｉｎｅ，因此通常使用ｇｓｔ-ｌａｕｎｃｈ先验证相关功能，然后再编写相应应用。1.安装编译2.HelloWorld示例3.源码分析3.3.3

Gstreamer使用方法在Ｕｂｕｎｔｕ中运行命令:见书本在Ｕｂｕｎｔｕ中，创建ｂａｓｉｃ-ｔｕｔｏｒｉａｌ-１.ｃ文件，源代码见书本（1）ＧＳｔｒｅａｍｅｒ初始化（2）创建管道（Pipeline）(3)设置播放状态（4）等待播放结束

（5）释放资源3.3.4编写Gstreamer插件ＧＳｔｒｅａｍｅｒ是用于创建流媒体应用程序的框架，ＧＳｔｒｅａｍｅｒ的核心功能是为插件、数据流和媒体类型处理/协商提供框架，它还提供了一个ＡＰＩ。用于使用各种插件编写应用程序。其步骤分为两步：（1）构建插件模版（2）创建Pad详细代码与介绍见书本。本章小结04本章小结本章系统介绍了数据预处理的方法页过程，数据预处理是数据分析和机器学习中不可或缺的一环。它涉及到对原始数据进行清洗、转换和准备。以便后续分析和建模，数据预处理的质量直接影响了后续分析和建模的结果。因此需要细致地考虑数据的特点和问题。选择合适的方法和技术进行处理。本章习题与答案05缺失值是数据处理中常见的问题，常用的填充方法有哪些?它们各自适用于什么样的情况?问题一异常值在数据分析中可能引入误导性的结果,解释异常值的检测和处理应该采取的策略并说明原因。问题二重复数据可能对分析结果产生偏差，分析删除重复数据是否是合适的方法，并说明是否有其他替代方案吗？问题三分类数据转换为数值数据是数据预处理中的重要步骤，讨论两种常用方法的优缺点，以及在何种情况下应该选择哪种方法？问题四数值特征缩放对于某些机器学习算法的性能至关重要，常用的缩放方法有哪些优缺点?在什么情况下使用哪种方法更为合适?问题五特征选择是建模过程中的重要步骤，分析选择具有什么样特性的特征能够更好地影响模型性能，并举例说明。问题六在处理维度较低的特征空间时。常用的技术有哪些优势和劣势?它们适用于什么样的数据集?问题七数据预处理中的第一步是数据清洗，分析数据清洗的重要性体现在哪些方面，并举例说明问题八缺失值是数据处理中常见的问题，常用的填充方法有：均值填充：用均值填充数值型数据，适用于数据分布对称且缺失值较少的情况，但可能引入偏差。中位数填充：用中位数填充数值型数据，适用于数据有偏或存在异常值的情况，对异常值更为鲁棒。众数填充：用众数填充类别型或离散型数值数据，适用于某类别频率较高时。前向填充：用前一个已知值填充时间序列数据，适用于有顺序关系的数据。后向填充：用后一个已知值填充时间序列数据，适用于有顺序关系的数据。常数填充：用预定义常数值填充缺失值，适用于对数据分析结果影响不大的情况。K近邻填充：用最近邻样本均值填充，适用于数值型或类别型数据，但计算开销较大。回归填充：用回归模型预测缺失值，适用于数据间存在线性或非线性关系时，但计算量大。多重插补：生成多个填充数据集并合并结果，适用于缺失值较多且需考虑不确定性的情况。插值法：用插值算法填充连续型数据，适用于有趋势的时间序列数据。模型填充：用机器学习模型预测填充，适用于多特征间有非线性关系的复杂数据。问题一异常值是与其他数据点显著不同的观测值，可能扭曲数据分析结果。检测和处理异常值是数据预处理中的重要步骤。常见的异常值检测方法有：统计方法：箱型图：通过四分位距(IQR)识别异常值，适用于一维数据。Z-score：标准化差异，超出3倍标准差的值为异常，适用于正态分布数据。正态分布的概率密度：基于正态分布的假设，适用于符合正态分布的连续数据。图形方法：散点图：直观展示数据点，适用于两个变量之间的关系。密度图：查看数据分布密度，帮助发现低密度区域的异常值。基于模型的异常值检测：孤立森林：通过分割数据集检测异常，适用于大规模和高维数据。LOF：计算局部密度来识别异常，适用于密度变化大的多维数据。常见的异常值处理方法包括：删除法：删除含异常值的样本或特征，适用于异常值少且删除不影响数据集时。替代法：用合适的值填补异常值，适用于偶尔出现的错误值。变换法：对数据进行变换减少异常值影响，适用于偏态分布数据。修正法：将异常值限制在某一范围内，防止其过度影响模型。分箱法：将连续数据分箱，适用于无法通过简单规则检测异常值的数据。问题二删除重复数据的优缺点

优点：简化分析：减少冗余数据，保持数据简洁一致。提高模型准确性：消除录入错误或数据采集问题带来的噪音，避免影响模型学习。减少计算负担：减少冗余数据对计算的影响，提升效率。缺点：可能丢失重要信息：某些情况下重复数据有意义，删除可能丧失关键特征。不解决根本问题：删除未必能解决数据收集中的系统性错误。删除重复数据是否合适？输入错误：若重复数据来自输入错误，删除合适。重复数据有意义：如反映真实情况，需根据分析需求处理，避免删除。影响模型训练：若重复数据导致过拟合，可删除。影响统计分析：若影响统计结果，删除为合适选择。替代方案：聚合重复数据：按特征分组，应用聚合操作（如求和、均值等），保留核心信息。标记重复数据：添加标记区分重复项，保留数据便于后续分析。使用加权方法：对重复数据加权，减少其对分析结果的影响。利用模型筛选重复数据：通过机器学习模型识别并处理重复数据，适用于大规模复杂数据集。问题三分类数据转换方法：标签编码与独热编码标签编码（LabelEncoding）方法：将每个类别分配一个唯一的整数值。优点：简单高效，节省内存；适用于有顺序关系的类别。缺点：假定类别之间有顺序关系，可能导致模型误解无序类别的关系。适用场景：有序类别数据（如教育水平）；类别数量较少。问题四独热编码（One-HotEncoding）方法：为每个类别创建一个新的二进制特征列。优点：适用于无顺序关系的类别；防止模型误解类别之间的大小关系。缺点：维度膨胀，增加计算复杂度；生成稀疏矩阵，可能导致存储问题。适用场景：无序类别数据（如城市名称）；类别数量适中（如10-100个类别）。选择方法的情况选择标签编码：类别有顺序关系；类别数量多且维度受限。选择独热编码：类别无顺序关系；类别数量较少；需要独立表示每个类别。数值特征缩放方法：标准化与归一化标准化（Standardization）方法：将特征转换为零均值、单位方差的分布。优点：对异常值不太敏感；适用于计算距离的算法（如KNN、SVM）；适合高维数据。缺点：不保证特征的值范围；对极端异常值可能有影响。适用场景：距离敏感算法；高维数据；不要求特征在特定范围内。问题五归一化（Normalization）方法：将特征值映射到[0,1]范围。

固定的值范围，适合神经网络激活函数；适用于稀疏矩阵；确保特征在同一尺度。缺点：对异常值非常敏感；仅适用于已知数据范围。适用场景：神经网络（特别是使用sigmoid或tanh激活函数的网络）；聚类算法；特征范围已知且异常值较少。其他缩放方法最大绝对值缩放（MaxAbsScaling）：适用于稀疏矩阵并需要负值的情况。RobustScaler：基于中位数和四分位数，适合数据包含噪声或离群值的情况。特征选择的关键要素信息量高的特征特性：特征应提供足够信息以区分类别或预测目标变量。示例：房价预测中，房屋面积和位置具有高信息量，而颜色影响较小。影响：提升模型的预测能力，帮助理解目标变量的变化。与目标变量相关性强的特征特性：特征应与目标变量有强相关性。示例：信用评分模型中，收入和信用历史与信用评分相关性高。影响：提高预测精度，避免冗余特征增加噪声。具有区分能力的特征特性：特征应能够有效区分不同类别或数值范围。示例：垃圾邮件分类中，特定词汇能帮助区分邮件类型。影响：提升分类或回归性能。冗余性低的特征特性：特征间的相关性不应过高。示例：股市预测中，开盘价与收盘价高度相关，删除一个可减少复杂度。影响：减少模型复杂度，提升泛化能力，避免过拟合。可解释性强的特征特性：特征应易于理解和解释。示例：医疗诊断中，年龄和血压具有高可解释性。影响：提高决策透明度，帮助领域专家理解模型。问题六1.线性回归优势：简单易懂，计算效率高，模型可解释性强。劣势：假设特征与目标变量之间是线性关系，对异常值敏感。适用数据集：线性关系较强、维度低且数据量适中的数据集。2.逻辑回归优势：适合二分类问题，计算开销小，可解释性强。劣势：假设特征与类别之间是线性关系，对异常值敏感。适用数据集：二分类任务，数据维度较低且标签均衡的数据集。问题七3.支持向量机（SVM）优势：强大分类能力，良好泛化能力，能处理非线性问题。劣势：计算成本高，超参数敏感。适用数据集：小到中等规模数据集，非线性可分问题。4.决策树优势：直观易懂，能处理非线性数据，无需特征缩放。劣势：容易过拟合，模型不稳定。适用数据集：非线性关系数据集，维度较低且样本少的数据集。5.K近邻（KNN）优势：简单直观，适合非线性问题，无显式训练过程。劣势：计算复杂度高，对特征选择敏感。适用数据集：小规模、低维数据集，类别划分明显的数据集。数据清洗的关键作用及示例提升数据质量目的：去除错误、不一致或无效数据，确保数据准确性。示例：销售数据中，地址字段格式不一致（“123MainSt”vs“123MainStreet”），清洗后减少重复数据，提高准确性。提高分析效率目的：删除无效或错误数据，简化分析流程。示例：调查数据中缺失