《预处理讲》课件

预处理讲数据预处理是机器学习中至关重要的步骤，它可以显著提升模型的性能和效率。什么是预处理？数据准备预处理是机器学习和数据挖掘中不可或缺的一部分，它对原始数据进行清理、转换和整理，使其更适合模型训练和分析。模型效果提升通过预处理，可以有效地提高模型的泛化能力和预测准确率，降低噪声和偏差的影响。预处理的作用提高数据质量消除噪声和不一致性，提高数据可靠性。增强模型泛化能力减少过拟合，提高模型预测的准确性。简化模型训练使模型更易于理解和解释，提高效率。预处理的分类1数据清洗数据清洗是预处理的首要步骤，旨在处理错误、缺失、不一致等数据问题。2特征工程特征工程是指将原始数据转化为更适合机器学习模型的特征，提高模型的性能。3数据集划分将数据分为训练集、验证集和测试集，用于训练模型、评估模型和测试模型泛化能力。4数据增强对数据进行人工扩充，例如图像翻转、旋转等，增加数据量和多样性。数据清洗数据清洗目的去除噪声、不一致和错误数据，确保数据质量，提高模型精度。常见数据清洗方法缺失值处理、异常值处理、数据类型转换、重复数据去除等。数据清洗工具Python库：pandas、NumPy、Scikit-learn。缺失值处理删除删除包含缺失值的样本或特征。填补用平均值、中位数、众数等统计量填补缺失值。预测使用机器学习算法预测缺失值。保留将缺失值保留，用于模型训练。异常值处理识别异常值通过统计方法或可视化工具分析数据，识别异常数据点。例如，箱线图、散点图等。处理异常值删除异常值、替换异常值或使用其他方法来处理异常值。选择适当的方法取决于数据和分析目标。数据编码数值编码将类别特征转换为数值特征，例如将“男”和“女”分别编码为0和1。独热编码将类别特征转换为多个二进制特征，例如将“颜色”特征的“红色”、“绿色”和“蓝色”分别编码为[1,0,0]、[0,1,0]和[0,0,1]。哈希编码将类别特征映射到一个哈希表，减少内存占用，但可能存在哈希冲突问题。特征工程11.特征选择选择对模型最有用的特征，提高模型效率，降低过拟合风险。22.特征创造将现有特征组合或转换，生成新的特征，提高模型的表达能力。33.特征归一化将不同特征的取值范围统一，避免某些特征对模型的影响过大。特征选择过滤法根据特征本身的性质进行选择，例如方差、相关性等指标进行筛选。包裹法通过不断尝试不同的特征组合，并使用模型评估效果，最终选择最优特征集。嵌入法将特征选择与模型训练结合在一起，在训练过程中自动选择重要的特征。特征创造组合特征通过组合现有特征创造新特征，例如，将用户年龄和收入合并为一个新的特征“消费能力”。离散化特征将连续的数值特征转换为离散的类别特征，例如，将用户的年龄转换为“青年”、“中年”、“老年”。多项式特征通过对现有特征进行多项式运算，例如平方、立方，创造出新的特征。交叉特征组合两个或多个特征，例如，将用户性别和购买的商品类型组合成一个新的特征。特征归一化什么是特征归一化？特征归一化是将不同特征值缩放到统一范围内的过程，使得不同特征具有相同的权重。例如，将所有特征值缩放到0到1之间。为什么要进行特征归一化？特征归一化可以提高机器学习模型的训练速度和效果。因为不同特征的量纲不同，可能会导致某些特征对模型的影响过大，从而影响模型的训练效果。数据集划分训练集用来训练模型，占数据集的大部分。验证集用于调整模型参数，例如超参数优化。测试集用于评估模型的最终性能。训练集1模型训练用于训练机器学习模型，帮助模型学习数据模式和规律。2数据量占总数据集的比例一般较大，用于模型学习的样本数量越多，模型的性能就越好。3代表性训练集应尽可能地代表整个数据集，避免出现训练集和测试集数据分布不一致的情况。验证集验证集的作用验证集用于评估模型在未见数据上的泛化能力。它可以帮助选择最佳模型参数，避免过拟合。验证集的选取验证集应与训练集保持独立，并尽可能地模拟真实数据分布。测试集评估模型性能从未用于训练或验证的独立数据集，用于评估模型泛化能力。真实世界应用测试集模拟真实场景数据，确保模型在实际应用中表现良好。客观评估通过测试集评估指标，如精度、召回率和F1分数，客观评价模型质量。数据增强11.增加样本数量数据增强可以有效地增加样本数量，从而提高模型泛化能力。22.提升模型鲁棒性通过人为地引入噪声或改变样本特征，可以提高模型对数据变化的适应能力。33.避免过拟合数据增强可以帮助模型学习到更多的数据分布信息，从而降低过拟合风险。44.提高模型性能通过增加数据的多样性，可以提高模型的识别准确率和分类性能。翻转水平翻转水平翻转沿图像垂直中线翻转图像，使图像镜像。垂直翻转垂直翻转沿图像水平中线翻转图像，使图像上下颠倒。随机翻转随机选择水平或垂直翻转，增强模型对图像方向变化的鲁棒性。旋转图像旋转旋转是指将图像围绕其中心点旋转一定角度，例如90度、180度或270度。旋转可以改变图像的方向，但不会改变图像的大小或形状。数字图像旋转数字图像旋转通常使用图像处理库中的函数来实现，例如OpenCV或Pillow。这些函数可以指定旋转的角度、旋转中心以及插值方法。缩放缩放将图像尺寸调整为期望的大小。调整大小例如，在图像分类任务中，可以将所有图像调整为相同大小。裁剪裁剪图像的特定区域，以便于模型更好地关注关键信息。文本预处理分词将文本拆分成单个词语，如“机器学习”拆分成“机器”和“学习”。停用词去除去除文本中不重要的词语，如“的”、“是”、“了”。词干提取提取词语的词根，如“running”和“runs”都提取为“run”。分词定义分词是指将连续的文字序列切分成词语序列的过程。它是自然语言处理中的一项重要技术，为后续的分析和理解奠定了基础。方法基于词典的分词基于统计的分词基于深度学习的分词应用分词在各种自然语言处理任务中发挥着重要作用，例如：搜索引擎机器翻译文本摘要情感分析停用词去除常见的停用词停用词是指在文本中频繁出现，但对语义表达意义不大的词语，例如“的”、“地”、“得”等。去除停用词的意义去除停用词可以减少文本的噪音，提高文本的质量。停用词库常见的停用词库包含各种语言的停用词。停用词去除方法可以使用自然语言处理库中的函数进行停用词去除。词干提取词干提取词干提取是指将单词还原到其基本形式，去掉不同的词缀，例如复数、时态和比较级。词干提取的作用通过词干提取，可以减少词汇量，提高模型的泛化能力，并简化文本数据的处理过程。常用的词干提取算法PorterStemmer，SnowballStemmer，LancasterStemmer等。图像预处理图像增强通过调整亮度、对比度或锐度来提高图像质量。图像降噪去除图像中的随机噪声，例如椒盐噪声或高斯噪声。图像分割将图像分解成不同的区域，例如前景和背景。图像配准对齐来自不同来源的图像，例如医学影像。图像增广颜色抖动通过随机改变像素的颜色，可以增加数据多样性，提高模型泛化能力。随机旋转通过旋转图像，可以增加图像的多样性，提高模型对不同角度的鲁棒性。随机裁剪随机裁剪图像，可以增加图像的多样性，提高模型对不同尺寸的鲁棒性。高斯模糊通过高斯模糊图像，可以减少图像细节的影响，提高模型对噪声的鲁棒性。图像标准化尺寸统一将图像调整为相同的大小，方便模型进行处理。色彩空间转换将图像转换为特定的色彩空间，例如RGB或灰度。亮度调整调整图像的亮度和对比度，以提高图像质量。直方图均衡化增强图像的对比度，使其更清晰易懂。目标检测目标检测是一种计算机视觉技术，它用于识别图像或视频中特定物体的类别和位置。目标检测在许多领域有应用，例如自动驾驶、安全监控、医疗影像分析等。目标检测算法通常包括两个步骤：首先识别图像中的目标，然后确定目标的位置和大小。近年来，深度学习技术在目标检测领域取得了重大进展，例如卷积神经网络(CNN)被广泛应用于目标检测。时间序列预处理11.差分差分可以去除时间序列中的趋势和季节性，使数据更加平稳。22.移动平均移动平均可以平滑时间序列，去除噪声，突出趋势和季节性。33.填充缺失值线性插值、最近邻插值、平均值插值等方法可以填充缺失值，使数据完整。差分消除趋势差分方法将时间序列数据相邻值之差作为新数据，消除时间序列中的趋势性影响，使数据平稳。稳定方差时间序列数据可能随时间推移而发生变化，差分可以使数据更稳定，使模型更容易学习。简化模型差分可以降低数据复杂度，使模型更容易理解和预测，提高预测精度。移动平均平滑数据趋势通过计算一段时间内数据点的平均值，可以平滑数据中的随机波动，更清晰地观察数据趋势。滤除噪声移动平均可以滤除数据中的噪声，减少干扰，使数据更平滑。预测未来趋势根据历史数据进行移动平均，可以预测未来一段时间内数据的变化趋势。填充缺失值缺失值处理缺失值是机器学习中的常见问题。在数据预处理阶段，需要对缺失值进行处理，否则会影响模型的训练和预测结果。常用方法常用的缺失值处理方法包括删除、插值、预测等。选择方法取决于数据类型、缺失值比例、数据质量等因素。数据质量填充缺失值应确保数据质量和完整性。填充方法应符合数据分布规律，避免引入新的误差。预处理的局限性数据质量预处理无法完全修复低质量数据，比如严重缺失或错误数据。处理过度可能会导致数据失真，影响模型性能。模型限制不同模型对数据预处理的要求不同，通用方法可能不适用于所有模型。预处理可能会引入偏差，影响模型的公平性。预处理的注意事项数据质量检查在进行预处理之前，必须确保数据的质量。数据质量差会导致预处理结果不准确，甚至影响模型的性能。选择合适的工具不同的预处理任务需要不同的工具。选择合适的工具可以提高预处理效率，并避免出现错误。理解数据的含义在进行预处理之前，需要深入理解数据的含义，才能更好地选择合适的预处理方法。考虑模型的特性不同的机器学习模型对数据的要求不同。选择合适的预处理方法需要考虑模型的特性。预处理实践案例分享预处理在各种机器学习任务中至关重要，通过数据预处理能够提升模型的准确性和效率。