《特征表示与描述》课件

特征表示与描述特征表示是机器学习模型的基石，它决定了模型的性能。通过将原始数据转换为模型可理解的特征，特征表示可以让模型更有效地学习和预测。特征表示的定义和作用1定义特征表示是指将原始数据转换为模型可以理解和处理的形式。它就像将现实世界的物体翻译成计算机语言，使模型能够识别和利用数据中的关键信息。2作用好的特征表示可以提高模型的准确性、效率和泛化能力。它能让模型更好地理解数据，并从数据中提取出更有效的模式和规律，从而提高模型的预测和分析能力。3举例例如，在图像识别任务中，将图像转换为像素矩阵作为特征表示，可以使模型识别不同图像之间的差异，并进行分类和识别。特征表示的分类原始特征原始特征是指直接从数据源中提取的特征，例如用户年龄、商品价格等。这些特征通常是原始的、未经处理的。派生特征派生特征是指从原始特征中衍生出来的特征，例如用户年龄的平方、商品价格的同比增长率等。这些特征通常是经过处理的、更具有意义的。组合特征组合特征是指将多个特征组合起来形成的新特征，例如用户年龄和商品价格的乘积、用户购买历史和商品类别的交叉等。这些特征通常是更复杂的，可以更好地反映数据之间的关系。原始特征直接从数据源获取原始特征直接从数据源提取，未经过任何处理或转换。反映数据的原始属性原始特征代表了数据的基本特征，例如用户的年龄、性别或产品的价格。用于构建模型的基础原始特征是构建机器学习模型的基础，是模型学习的基础。派生特征统计特征从原始数据中提取的统计信息，例如平均值、标准差、最大值、最小值等。几何特征描述数据空间结构和形状的特征，例如距离、角度、面积、体积等。语义特征从数据中提取的语义信息，例如文本内容、图像内容、音频内容等。组合特征组合特征组合特征是通过将多个原始特征或派生特征进行组合而形成的新特征。这是一种提高模型表达能力的重要方法，可以捕捉到单个特征无法表达的信息。组合特征例如，将用户年龄和性别组合成新的特征“年龄-性别”组合，可以更有效地反映用户的购买行为。原始特征的表示1数值型特征数值型特征通常表示为实数或整数，例如年龄、身高、体重等。2类别型特征类别型特征表示离散的类别，例如性别、城市、职业等。3隐式特征隐式特征是无法直接观察到的，需要通过其他特征推断，例如用户的兴趣、偏好等。数值型特征的表示数值型特征直方图直方图用于显示数值型特征的分布情况，可以直观地了解数据的集中趋势和离散程度。数值型特征箱线图箱线图可以展示数据的中位数、四分位数、最小值和最大值，帮助识别异常值。数值型特征散点图散点图可以展示两个数值型特征之间的关系，例如线性关系或非线性关系。类别型特征类别型特征介绍类别型特征表示离散的类别或分组，例如性别、颜色或产品类别。它们通常用字符串或枚举值表示。处理类别型特征在机器学习模型中使用类别型特征之前，需要将其转换为数值型特征。常见方法包括One-hot编码、标签编码或哈希编码。隐式特征用户行为浏览历史、搜索记录、购买记录等行为数据可以反映用户的偏好和兴趣。互动信息点赞、评论、收藏等互动信息可以揭示用户对特定内容的态度和情感。环境特征用户所在的地理位置、时间、设备信息等可以提供上下文信息，帮助理解用户的行为。派生特征的表示统计特征从原始特征计算得到，例如均值、方差、最大值、最小值等。几何特征基于数据点的空间位置计算，例如距离、角度、面积等。语义特征从文本数据中提取的特征，例如主题、情感、关键词等。派生特征的表示-统计特征统计特征提取统计特征是对数据分布进行统计分析，提取出反映数据分布特征的值。常见的统计特征均值方差标准差偏度峰度应用场景统计特征适用于数值型数据，例如价格、销量、时间等。几何特征形状特征形状特征描述了物体的外观轮廓和几何形状，如长度、宽度、周长、面积和体积等。空间关系特征空间关系特征表示了物体之间的相对位置和方向，例如距离、角度、重叠和邻接等。纹理特征纹理特征反映了物体的表面结构和图案，例如粗糙度、光滑度、周期性和方向性等。语义特征的表示语义特征捕捉数据中蕴含的含义和关系，超越简单的数值或类别。它通过自然语言处理、知识图谱等技术提取文本、图像、音频等数据中的语义信息。例如，从产品评论中提取用户情感，可以将积极、消极等情感信息作为语义特征。这种特征可以帮助理解用户对产品的真实感受，提高推荐系统的准确性。组合特征的表示特征组合将多个原始特征或派生特征进行组合，以捕捉特征之间的相互作用。例如，将用户年龄和性别组合成一个新特征，可以更好地预测用户购买行为。组合特征可以是简单的加减乘除运算，也可以是更复杂的非线性函数。组合特征的表示特征工程的作用特征工程是指从原始数据中提取、转换和组合特征，构建新的特征集，以提高机器学习模型的性能。特征工程的价值特征工程可以有效地弥补算法的不足，提升模型的表达能力，最终提高模型的准确率和泛化能力。特征工程的步骤特征选择特征提取特征转换自动特征生成基于规则的生成根据领域知识和经验，手动定义特征生成规则。例如，使用时间戳生成时间特征，或根据其他特征组合生成新的特征。基于模型的生成利用机器学习模型自动学习特征组合。例如，使用决策树或神经网络等模型，将原始特征作为输入，学习并生成新的特征。常见特征表示方法独热编码将类别型特征转换为数值型特征，每个类别对应一个独立的维度。标签编码将类别型特征转换为数值型特征，用数字表示每个类别。词嵌入将文本数据中的单词或短语映射到低维向量空间。图嵌入将图数据中的节点或边映射到低维向量空间。One-hot编码定义将类别型特征转换为数值型特征的编码方式，每个类别对应一个向量，向量中只有一个元素为1，其余为0。优点简单易懂，能有效地将类别型特征转换为模型可理解的数值型特征。缺点特征空间维度会随着类别数量的增加而线性增长，容易导致维度灾难。适用场景适用于类别数量较少且特征之间相互独立的场景，例如性别、城市等。标签编码数字映射将每个类别映射到一个唯一的整数。字母顺序根据字母顺序进行编码。标签分配将每个类别分配一个特定的标签。哈希编码11.压缩映射将高维特征映射到低维空间，压缩特征空间。22.碰撞处理多个特征可能映射到同一个哈希值，需要解决冲突。33.效率提升降低内存占用和计算复杂度，提高模型效率。44.特征稀疏适用于高维稀疏特征，如文本或图像数据。词嵌入将单词映射到向量空间将词汇表中的每个单词表示为一个向量，向量中的每个维度代表单词的语义信息。捕捉单词间的语义关系通过向量之间的距离或相似度来衡量单词之间的语义相似性，例如“国王”和“女王”的向量距离会比“国王”和“桌子”更近。图嵌入图数据表示将图数据映射到低维向量空间，保留图结构和节点属性信息。机器学习模型图嵌入用于机器学习任务，如节点分类、链接预测和社区检测。深度学习深度学习模型可以学习复杂图结构，并生成更准确的图嵌入。特征选择的目的和方法目的：提高模型性能特征选择可以提高模型的泛化能力，减少过拟合，降低模型训练时间。特征选择可以降低模型复杂度，提高模型的解释性和可维护性。方法：过滤法、包裹法、嵌入法过滤法根据特征本身的属性进行选择，不需要训练模型。包裹法使用模型的性能作为评价指标，通过不断搜索特征子集来选择最佳特征。嵌入法将特征选择融入模型训练过程，通过模型学习到的参数来选择特征。特征选择的目的11.降低模型复杂度减少不相关或冗余特征，简化模型训练过程。22.提升模型泛化能力避免过拟合，提高模型在未知数据上的预测精度。33.提高模型可解释性通过识别重要特征，更好地理解模型的预测依据。44.降低计算成本减少特征数量，降低模型训练和预测的计算量。特征选择的方法过滤法根据特征本身的属性进行选择，不需要训练模型。包裹法利用模型训练后的性能指标进行选择，需要多次训练模型。嵌入法在模型训练过程中，通过特征权重或正则化进行选择，不需要单独的特征选择步骤。特征选择算法概述过滤法根据特征本身的性质进行选择。包裹法使用机器学习模型来评估特征子集的性能，并选择最佳子集。嵌入法在模型训练过程中，将特征选择集成到模型的训练过程中。卡方检验基本原理卡方检验是一种常用的统计检验方法，用于检验两个分类变量之间是否存在关联关系。它通过比较观测频数与期望频数之间的差异来判断这种关联关系是否显著。应用场景卡方检验在特征选择中常用于评估特征与目标变量之间的相关性。例如，可以用来检验性别特征是否与购买商品的倾向性存在关联。互信息信息增益衡量特征和目标变量之间相互依赖程度，互信息越大，特征越重要。公式互信息是两个变量联合概率与它们各自概率乘积的比值的期望值。应用用于特征选择，筛选出与目标变量相关性较高的特征。递归特征消除11.逐步消除从所有特征开始，逐次迭代删除最不重要的特征。22.模型训练每次删除特征后，重新训练模型，评估模型性能。33.特征排序根据模型性能的变化，对特征重要性进行排序，并选择性能最好的特征子集。44.迭代过程重复步骤1-3，直到达到预期的特征数量或模型性能不再改善。L1正则化L1正则化公式L1正则化通过添加所有权重绝对值的总和来惩罚模型的复杂性。稀疏特征向量L1正则化倾向于产生稀疏的特征向量，其中许多特征的权重为零。特征选择通过将不重要的特征的权重设置为零，L1正则化有效地执行了特征选择。特征表示在实际应用中的挑战1高维稀疏特征现实世界中的数据常常具有高维稀疏性，这会给模型训练带来困难。2异构和结构化特征许多应用场景中的数据包含多种类型和结构的特征，需要进行特殊处理。3特征偏移和噪声训练数据和测试数据之间的分布差异，以及数据中的噪声，都会影响模型性能。高维稀疏特征数据稀疏性高维稀疏特征会导致大多数特征值为零，导致数据稀疏，给模型训练带来挑战。维数灾难高维特征空间会导致维数灾难，模型难以学习有效的关系，降低模型性能。维度不平衡某些特征可能具有更高维度，导致数据分布不平衡，对模型学习造成偏差。异构和结构化特征结构化特征结构化特征，例如时间序列数据、图数据等，它们具有明确的结构和关系。异构特征现实世界中，数据往往是异构的，包含不同类型和结构的特征。组合特征异构和结构化特征的组合，例如文本和图像的融合，为模型提供了更全面的信息。特征偏移和噪声特征偏移特征偏移是指训练数据和测试数据之间分布不一致的情况。例如，在训练数据中，用户行为可能偏向于某些特定人群，而在测试数据中，用户的行为可能发生变化。噪声噪声是指数据中的错误或不准确信息。例如，数据采集过程中的错误、人为误差以及数据传输过程中的丢失等。影响特征偏移和噪声会影响模型的泛化能力，导致模型在测试数据上的性能下降。特征工程的最佳实践领域知识融合利用领域专家的专业知识，深入理解业务场景和数据特点。将领域知识融入特征工程设计，提高特征的解释性和有效性。特征设计与选择根据业务目标和数据特点，设计出能够有效表达数据信息的特征。采用特征选择算法，识别出对模型性能贡献最大的特征。领域知识融合利用领域知识将专家和领域知识融入特征工程流程，提高特征的准确性和解释性。特征定义理解数据背后的业务含义，例如，针对电商数据，需要考虑用户行为、商品属性和价格等因素。特征选择结合领域知识进行特征选择，选择与目标变量相关的特征，并排除无关或冗余特征。特征设计与选择特征设计通过领域知识和数据分析，创造新的特征以更好地表达数据。特征选择从现有特征集合中选取最有效、最具代表性的特征，以提升模型性能。特征评估评估特征对模型性能的影响，并选择最优的特征组合。迭代优化11.数据分析分析特征工程结果，评估模型性能。22.特征调整根据分析结果，调整特征设计、选择和生成方法。33.重新训练使用更新的特征集重新训练模型，评估改进效果。44.持续优化循环迭代优化过程，直到达到预期性能目标。总结和展望特征表示是机器学习的核心环节之一。它直接影响模型的性能和可解释性。特征表示的进展与趋势深度学习的应用深度学习在特征提取方面取得重大突破，尤其在图像、语音识别领域，深度神经网络可以自动学习高级特征表示。数据规模的增长随着数据规模的不断扩大，特征工程需要处理更大