《机器学习-Python实战（微课版）》课件 综合案例1 监督学习数据预处理

综合案例1第十三章：实战案例（一）1.简介2.

数据预处理问题3.

标记编码方法定义问题

机器学习分为：监督学习，无监督学习，半监督学习（也可以用hinton所说的强化学习）等。

监督学习（supervisedlearning）是从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。

监督学习是训练神经网络和决策树的常见技术。

常见的有监督学习算法：回归分析和统计分类。最典型的算法是KNN和SVM。第十三章：实战案例（一）1.简介2.

数据预处理问题

准备工作详细步骤3.

标记编码方法准备工作打开一个扩展名为.py的文件，例如preprocessor.pyimportnumpyasnpfromsklearnimportpreprocessing创建一些样本数据：data=np.array([[3,-1.5,2,-5.4],[0,4,-0.3,2.1],[1,3.3,-1.9,-4.3]])第十三章：实战案例（一）1.简介2.

数据预处理问题

准备工作详细步骤3.

标记编码方法详细步骤步骤一：均值移除（Meanremoval）

把每个特征的平均值移除，以保证特征均值为0（即标准化处理）。这样做可以消除特征彼此间的偏差（bias）。data_standardized=preprocessing.scale(data)print"\nMean=",data_standardized.mean(axis=0)print"Stddeviation=",data_standardized.std(axis=0)详细步骤运行代码：$pythonpreprocessor.py命令行工具中将显示以下结果：

Mean=[5.55111512e-17-1.11022302e-16-7.40148683e-17-7.40148683e-17]Stddeviation=[1.1.1.1.]特征均值几乎是`0`，而且标准差为`1`。详细步骤步骤二：范围缩放（Scaling）data_scaler=preprocessing.MinMaxScaler(feature_range=(0,1))data_scaled=data_scaler.fit_transform(data)print"\nMinmaxscaleddata=",data_scaled范围缩放之后，所有数据点的特征数值都位于指定的数值范围内

Minmaxscaleddata:[[1.0.1.0.][0.1.0.410256411.][0.333333330.872727270.14666667]]详细步骤步骤三：归一化（Normalization）

数据归一化用于需要对特征向量的值进行调整时，以保证每个特征向量的值都缩放到相同的数值范围。data_normalized=preprocessing.normalize(data,norm='l1')print"\nL1normalizeddata=",data_normalized

Minmaxscaleddata:[[1.0.1.0.][0.1.0.410256411.][0.333333330.872727270.14666667]]详细步骤步骤三：归一化（Normalization）

用于需要对特征向量的值进行调整时，以保证每个特征向量的值都缩放到相同的数值范围。data_normalized=preprocessing.normalize(data,norm='l1')print"\nL1normalizeddata=",data_normalized详细步骤结果：L1normalizeddata:[[0.25210084-0.126050420.16806723-0.45378151][0.0.625-0.0468750.328125][0.09523810.31428571-0.18095238-0.40952381]]这个方法经常用于确保数据点没有因为特征的基本性质而产生较大差异，即确保数据处于同一数量级，提高不同特征数据的可比性。定义问题步骤四：二值化（Binarization）用于将数值特征向量转换为布尔类型向量。data_binarized=preprocessing.Binarizer(threshold=1.4).transform(data)print"\nBinarizeddata=",data_binarized详细步骤Binarizeddata:[[1.0.1.0.][0.1.0.1.][0.1.0.0.]]结果：详细步骤以把独热编码看作是一种收紧（tighten）特征向量的工具。它把特征向量的每个特征与特征的非重复总数相对应，通过one-of-k的形式对每个值进行编码。特征向量的每个特征值都按照这种方式编码，这样可以更加有效地表示空间。步骤五：独热编码详细步骤encoder=preprocessing.OneHotEncoder()encoder.fit([[0,2,1,12],[1,3,5,3],[2,3,2,12],[1,2,4,3]])encoded_vector=encoder.transform([[2,3,5,3]]).toarray()print"\nEncodedvector=",encoded_vector结果：Encodedvector:[[0.0.1.0.1.0.0.0.1.1.0.]]第十三章：实战案例（一）1.简介2.

数据预处理技术3.

标记编码方法标记编码方法步骤一：新建一个Python文件，然后导入preprocessing程序包：fromsklearnimportpreprocessing步骤二：这个程序包包含许多数据预处理需要的函数。定义一个标记编码器（labelencoder）：label_encoder=preprocessing.LabelEncoder()步骤三：label_encoder对象知道如何理解单词标记：input_classes=['audi','ford','audi','toyota','ford','bmw']步骤四：标记编码：label_encoder.fit(input_classes)print"\nClassmapping:"fori,iteminenumerate(label_encoder.classes_):printitem,'-->',i标记编码方法步骤五：运行代码，命令行工具中显示下面的结果：Classmapping:audi-->0bmw-->1ford-->2toyota-->3步骤六：

labels=['toyota','ford','audi']encoded_labels=label_encoder.transform(labels)print"\nLabels=",labelsprint"Encodedlabels=",list(encoded_labels)结果：

Labels=['toyota','ford','audi']Encodedlabels=[3,2,0]标记编码方法步骤七：encoded_labels=[2,1,0,3,1]decoded_labels=label_encoder.inverse_transform(encoded_labels)prin