《数据挖掘与机器学习》 课件4.1.2 离散化处理和属性构造

处理电商平台用户行为数据电商平台用户购买预测——逻辑回归任务描述某电商平台需要对该平台的运输行为进行分析，并预测运输行为是否会按时到达。本任务需要对这些数据进行处理和分析，以帮助该电商平台更好地了解运输行为，并优化运输策略，提高客户满意度。在处理敏感的电商平台用户数据时，需要特别关注网络信息安全问题。在数据预处理过程中，应当采取措施保证用户数据的机密性、完整性和可用性。本任务的目标是对原始数据进行数据预处理与探索，包括数据的哑变量处理和属性构造。任务要求探索电商平台运输行为数据。对性别变量进行哑变量处理。构造总成本的特征。哑变量处理离散化处理属性构造离散化处理离散化处理主要应用于某些场景下的连续变量数据，将其转化为离散变量数据，从而降低数据的复杂度、降低计算量，提高模型的建立和训练效率。常见的离散化方法有等宽离散化、等频离散化等，可以根据实际情况选择不同的离散化方法。什么是离散化处理？等宽法等宽法（Equi-WidthBinning）将变量的取值范围划分为k个等宽的区间，将落在同一个区间内的数据归为同一类。什么是等宽法？012345678910111213

14等宽法等宽法（Equi-WidthBinning）将变量的取值范围划分为k个等宽的区间，将落在同一个区间内的数据归为同一类。什么是等宽法？01234567891011

121314等宽法等宽法划分示例图用户ID年龄1282323254405356277308269381029年龄[26-30][31-35][20-25][36-40][31-35][26-30][26-30][26-30][36-40][26-30]如何实现等宽法处理？

在Python中，使用pandas库的cut函数可以实现等宽离散化处理，其基本使用格式如下。等宽法pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates='raise')cut函数常用参数及其说明等宽法pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates='raise')参数名称说明x接收Series或Numpy。表示输入的数据集，无默认值bins接收int。指定离散化的区间，可以是一个整数、一个序列（表示区间边缘的数值）或者字符串（表示自定义区间的名称），无默认值right接收bool。是否包含右边界，默认为Truelabels接收bool。指定离散化后每个区间的标签，可以是一个列表或数组，长度应该与分组后的区间数量相同。默认为Nonecut函数常用参数及其说明等宽法retbins接收bool。是否返回每个区间的边界值，默认为Falseprecision接收int。设置显示区间边界的小数位数，默认为3include_lowest接收bool。是否将最小值包含在第一个区间内，默认为Falseduplicates接收指定str。当区间存在重复时，指定如何处理。默认为raise参数名称说明pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates='raise')等宽法对年龄变量进行等宽离散化处理主要通过以下4个步骤实现。观察离散化处理前的数据集选取数据集的“年龄”变量列将“年龄”列按照相同间距划分为4个区间输出离散化处理后的数据集等频法等频法（Equi-DepthBinning）将变量的取值范围划分为k个区间，每个区间包含大致相等数量的数据点，也称为分位数法（QuantileBinning）。什么是等频法？等频法等频法（Equi-DepthBinning）将变量的取值范围划分为k个区间，每个区间包含大致相等数量的数据点，也称为分位数法（QuantileBinning）。什么是等频法？等频法如何实现等频法处理？

在Python中，使用pandas库的qcut函数可以实现等频离散化处理，其基本使用格式如下。pandas.qcut(x,q,labels=None,retbins=False,precision=3,duplicates='raise')等频法qcut函数常用参数及其说明pandas.qcut(x,q,labels=None,retbins=False,precision=3,duplicates='raise')参数名称说明retbins接收bool类型。表示是否返回每个区间的边界值，默认为Falseprecision接收int。表示设置显示区间边界的小数位数，默认为3duplicates接收指定str。表示当区间存在重复时，指定如何处理。默认为raisex接收Series或Numpy。表示输入数据集。无默认值q接收int或列表。表示指定要分成的区间数量，表示分位数。无默认值labels接收bool、int、序列或bool标记。表示指定离散化后每个区间的标签，可以是一个列表或数组，长度应该与分组后的区间数量相同。如果未指定，则默认为整数索引等频法对历史消费金额变量进行等频离散化处理主要通过以下4个步骤实现。观察离散化处理前的数据集选取数据集的“历史消费金额”变量列按照“历史消费金额”将顾客消费水平等频划分为3个消费等级输出离散化处理后的数据集属性构造是指在某些场景下，原始数据可能不够完整或不够丰富，无法满足模型的需求。在这种情况下，可以采用属性构造，即通过计算、转换、组合等方式生成新的属性来增加数据的信息量，以便在建模时能够更好地反映实际情况。属性构造什么是属性构造？属性构造什么是属性构造？是否购买历史消费金额年龄地区

[20,25][26,30][31,35][36,40]

北京上海广州深圳

进行属性构造属性构造