《机器学习-Python实战（微课版）》课件 夏林中 第9-12章 AdaBoost -神经网络 综合案例

第九章AdaBoost

学习目标通过本章学习可以：掌握Boosting算法的思想掌握AdaBoost算法的基本原理掌握AdaBoost的scikit-learn应用方法BoostingAdaBoost原理AdaBoost的scikit-learn实现应用案例集成学习通过将多个单个学习器集成/组合在一起，使它们共同完成学习任务，以达到提高预测准确率的目的。Bagging：核心思想是对训练集进行有放回地抽取，从而为每一个基本分类器都构造出一个同样大小但各不相同的的训练集，从而训练出不同的基分类器。代表算法是随机森林。Boosting：是一种可以用来减小监督学习中偏差的机器学习算法。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提升分类的性能。代表算法有Adaboost和GradientBoostingTree(GBDT)。回顾：集成学习Boosting的主要作用跟bagging类似也是一种把若干个基分类器整合为一个分类器的方法。Boosting是一个顺序过程，每个后续模型都会尝试纠正先前模型的错误，后续的模型依赖于之前的模型。Boosting的基本思想先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多的关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。Boosting的工作机制样本权重分类器权重优化学习器修正样本权重Boosting是一个迭代的过程，通过改变训练样本的分布，使得基分类器聚焦在那些很难分的样本上。不像bagging，Boosting给每一个训练样本赋予一个权值，而且可以在每一轮提升过程结束时自动地调整权值。Boosting结合了很多弱学习器来形成一个强学习器，单个模型表现不佳，但它们在数据集的某些部分表现很好。因此，每个模型实际上提升了集成的整体性能。训练样本的权值可以用于以下方面：可以用作抽样分布，从原始数据集中提取出自主样本集。基学习器可以使用权值学习有利于高权值样本的模型。Boosting提升的理解偏差-方差Boosting：降低偏差。Bagging：降低方差。样本选择：Boosting：每一轮的训练集不变，只是训练集中每个样本的权重发生变化，权值根据上一轮的预测结果进行调整。Bagging：训练集是在原始集中有放回抽取的，从原始集中选出的训练集之间是独立的。样本权重：Boosting：根据错误率不断调整样本的权值，错误率越大则权值越大。Bagging：每个样本的权重相等。Bagging与Boosting区别（1）基学习器权重：Boosting：每个弱学习器都有相应的权重，对于误差小的学习器会有更大的权重。Bagging：弱学习器的权重可以相等也可以赋予权重。串、并行计算：Boosting：串行，各个及学习器顺序生成，因为后一个模型参数依赖于前一轮模型的预测结果。Bagging：各个学习器可以并行生成。Bagging与Boosting区别（2）BoostingAdaBoost原理AdaBoost的scikit-learn实现应用案例Boosting族算法最著名的代表是AdaBoost[FreundandSchapire,1997]。AdaBoost：AdaptiveBoosting，自适应提升。Adaboost采用迭代的思想，继承了Boosting算法，每次迭代只训练一个弱学习器，训练好的弱学习器将参与下一次迭代。也就是说，在第N次迭代中，一共有N个弱学习器，其中N-1个是以前训练好的，其各种参数都不会改变，本次训练第N个学习器。其中弱学习器的关系是第N个弱学习器更可能分对前N-1个弱学习器没分对的数据，最终分类输出要看这N个分类器的综合效果。AdaBoost1.如何改变训练样本分布？2.采用什么样的结合策略来将基学习器结合成一个强学习器？针对第一个问题，AdaBoost提高那些被前一轮基学习器错误分类的样本的权值，降低那些被正确分类的样本的权值；针对第二个问题，AdaBoost对所有基学习器采用加权结合，增大分类误差小的基学习器的权值，减少分类错误率大的基学习器的权值。AdaBoost的两个关键问题

二分类算法原理（1）

二分类算法原理（2）

二分类算法原理（3）

直接将Adaboost算法应用于多类分类问题往往不能得到令人满意的结果。针对这个问题，ZhuJi等人在2009年提出了SAMME及SAMME.R算法，这也是sklearn中用Adaboost做多类分类问题时采用的算法。两者的主要区别是弱学习器权重的度量。SAMME是二分类Adaboost算法的扩展，即用对样本集分类效果作为弱学习器权重，而SAMME.R使用了对样本集分类的预测概率大小来作为弱学习器权重。由于SAMME.R使用了概率度量的连续值，迭代一般比SAMME快，因此AdaBoostClassifier的默认算法algorithm的值也是SAMME.R。多分类问题

SAMME算法原理

SAMME.R算法原理SAMME.R使用概率估计来更新增加模型，而SAMME只使用分类。SAMME.R算法通常比SAMME更快地收敛，通过更少的提升迭代实现较低的测试误差。每一次提升迭代后，测试集上各算法的误差显示左侧图，每一棵树的测试集上的分类误差显示在中间，每一棵树的boost权重显示为右侧图。在SAMME.R算法中，所有树的权重都是1，因此没有显示。SAMME和SAMME.R对比

回归算法原理（1）

回归算法原理（2）

回归算法原理（3）

回归算法原理（4）

优点：Adaboost是一种有很高精度的分类器可以使用各种方法构建弱学习器分类器弱学习器构造比较简单不用做特征筛选泛化能力好，不用担心overfitting（过拟合）缺点：容易受到噪声干扰训练时间长执行效果依赖于弱学习器的选择AdaBoost优缺点BoostingAdaBoost原理AdaBoost的scikit-learn实现应用案例类库介绍：AdaBoostClassifier用于分类，AdaBoostRegressor用于回归。AdaBoostClassifier使用了两种Adaboost分类算法的实现，SAMME和SAMME.R。而AdaBoostRegressor则使用了Adaboost.R2（和前面原理一致）。Adaboost调参：主要从两方面进行调参，一是对Adaboost的框架进行调参，二是对选择的弱分类器进行调参，两者相辅相成。AdaBoost的scikit-learn实现（1）base_estimator：弱分类学习器或者弱回归学习器。AdaBoostClassifier默认使用CART分类树DecisionTreeClassifier，而AdaBoostRegressor默认使用CART回归树DecisionTreeRegressor。（2）algorithm：这个参数只有AdaBoostClassifier有。scikit-learn实现了两种Adaboost分类算法，SAMME和SAMME.R。两者的主要区别是弱学习器权重的度量。AdaBoostClassifier的默认算法是SAMME.R。（3）loss：这个参数只有AdaBoostRegressor有，Adaboost.R2算法会用到。有线性‘linear’,平方‘square’和指数‘exponential’三种选择，默认是线性。框架参数（1）（4）n_estimators：AdaBoostClassifier和AdaBoostRegressor都有，弱学习器的最大迭代次数，或者说最大的弱学习器的个数。一般来说n_estimators太小，容易欠拟合，n_estimators太大，又容易过拟合，一般选择一个适中的数值。默认是50。（5）learning_rate:AdaBoostClassifier和AdaBoostRegressor都有，即每个弱学习器的权重缩减系数ν，ν的取值范围为0<ν≤1，默认是1。对于同样的训练集拟合效果，较小的ν意味着需要更多的弱学习器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。框架参数（2）（1）max_features：划分时考虑的最大特征数。可以使用很多种类型的值，默认是“None”，意味着划分时考虑所有的特征数。（2）max_depth：决策树最大深度。默认可以不输入，此时，决策树在建立子树的时候不会限制子树的深度。（3）min_samples_split：内部节点划分所需最小样本数。默认是2。这个值限制了子树继续划分的条件，如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分。弱学习器参数（1）（4）min_samples_leaf：叶子节点最少样本数，默认是1。这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。（5）min_weight_fraction_leaf：叶子节点最小的样本权重和，默认是0，即不考虑权重问题。这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝。（6）max_leaf_nodes：最大叶子节点数，默认是“None”，即不限制最大的叶子节点数。通过限制最大叶子节点数，可以防止过拟合。弱学习器参数（2）BoostingAdaBoost原理AdaBoost的scikit-learn实现应用案例本小节基于Boston波士顿房价数据集利用AdaBoost对房价进行预测。Boston房价预测是一个回归问题。数据集一共包含506个观察，13个输入变量和1个输出变量。每条数据包含房屋以及房屋周围的详细信息。其中包含城镇犯罪率，一氧化氮浓度，住宅平均房间数，到中心区域的加权距离以及自住房平均房价等等。应用案例导入库准备数据集数据准备fromsklearn.datasetsimportload_bostonfromsklearn.ensembleimportAdaBoostRegressor#下载数据集boston=load_boston()#定义feature和labelx=boston.datay=boston.targetprint('Featurecolumnname')print(boston.feature_names)print("Sampledatavolume:%d,numberoffeatures:%d"%x.shape)print("Targetsampledatavolume:%d"%y.shape[0])sns.distplot(tuple(y),kde=False,fit=st.norm)定义模型AdaBoost和DecisionTree，在未调参的情况下对比两者的性能。模型定义和训练#定义模型名称names=['DecisionTree','AdaBoost']#定义模型models=[DecisionTreeRegressor(),AdaBoostRegressor(n_estimators=30)]#模型训练并返回R2值defR2(model,x_train,x_test,y_train,y_test):model_fitted=model.fit(x_train,y_train)y_pred=model_fitted.predict(x_test)score=r2_score(y_test,y_pred)returnscore#输出模型测试结果forname,modelinzip(names,models):score=R2(model,x_train,x_test,y_train,y_test)print("{}:{:.6f}".format(name,score.mean()))返回结果：DecisionTree:0.461254AdaBoost:0.657742通过网格搜索的方法选择较好的框架参数。网格搜索#网格搜索选择较好的框架参数parameters={'n_estimators':[50,60,70,80],'learning_rate':[0.5,0.6,0.7,0.8,0.9],}model=GridSearchCV(AdaBoostRegressor(),param_grid=parameters,cv=3)model.fit(x_train,y_train)#输出最合适的参数值print("Optimalparameterlist:",model.best_params_)print("Optimalmodel:",model.best_estimator_)print("OptimalR2value:",model.best_score_)返回结果：Optimalparameterlist:{'learning_rate':0.6,'n_estimators':80}Optimalmodel:AdaBoostRegressor(learning_rate=0.6,n_estimators=80)OptimalR2value:0.8356690414326865对通过网格搜索进行调参后的模型的拟合效果进行可视化。拟合效果可视化##可视化模型拟合结果ln_x_test=range(len(x_test))y_predict=model.predict(x_test)plt.figure(figsize=(16,8),facecolor='w')plt.plot(ln_x_test,y_test,'r-',lw=2,label=u'Value')plt.plot(ln_x_test,y_predict,'g-',lw=3,label=u'EstimatedvalueoftheAdaboostalgorithm,$R^2$=%.3f'%(model.best_score_))plt.legend(loc='upperleft')plt.grid(True)plt.title(u"BostonHousingPriceForecast(Adaboost)")plt.xlim(0,101)plt.show()通过本章的学习了解Adaboost算法的基本原理和应用方式，为后续的实际应用提供理论和技术准备。总结谢谢第十章聚类学习目标通过本章学习可以：掌握K-Means聚类过程和原理。掌握层次聚类的过程和原理。掌握密度聚类的过程和原理。掌握谱聚类的过程和原理。1.无监督学习2.聚类算法3.

K-Means聚类4.

层次聚类5.密度聚类算法引入我们通常讲，物以类聚，人以群分！其实说的就是要依据物和人的关系进行区分。而关系在实际应用场景下，又分为内部相似性和外部关系。前者是观察的对象或物体本身比较相似，划分为一类，比如橘子和柚子都属于水果；后者是指两种物体经常同时出现，比如牛奶和面包等。而这些就是我们接下来要学习的无监督学习。无监督学习概念无监督学习：是指在标注的数据中，根据数据之间本身的属性特征和关联性对数据进行区分，相似相近或关联性强的数据放在一起，而不相似不相近、关联性不强的数据不放在一起。无监督学习的本质是：利用无标签的数据学习数据的分布或数据与数据之间的关系。无监督学习最常应用的场景是部分降维算法、聚类算法和关联算法。无监督学习导入有监督学习与无监督学习的区别有监督学习中，如分类问题，要求样本必须有明确的类别信息，其建立的前提是所有待分类项都有一个类别与之对应。但在处理实际问题的过程中，获取到的数据记录可能并没有进行标注，尤其是处理海量数据时，如果通过预处理对数据进行打标，以满足分类算法的要求，代价非常大。有监督学习中最常见的是分类问题，而无监督学习中最常见的是聚类问题，聚类问题不依赖预定义的类和类标号的训练实例。关注事物本身的特征分析。比如电商对用户信息和购买行为数据进行聚类分析，目的是找到大量级的且有一定相似度的客户群，从而实现用户画像，接着针对该用户群共有的行为特征投放广告和其他营销活动。1.无监督学习2.聚类算法3.

K-Means聚类4.

层次聚类5.密度聚类算法聚类分析概念聚类分析是分析研究对象如何按照多个方面的特征进行综合分类的一种多元统计方法，它是根据物以类聚的思想将相似的样本归为一类。把对象分为不同的类别，类别是依据数据的特征确定的。把相似的东西放在一起，类别内部的差异尽可能小，类别之间的差异尽可能的大。作用作为单独过程，用于对数据进行打标，即数据画像。作为分类等其他学习任务的前驱过程，如聚类算法可以作为一些监督算法的前驱过程。聚类分析的作用如下两图，有什么相同与不同之处？聚类分析两个基本问题-性能度量性能度量：评价聚类结果的好坏程度。聚类性能度量一般分两类:外部指标：将聚类结果与某个“参考模型”进行比较，如依据业务专家给出的划分结果的聚类结果进行评价。内部指标：直接考察聚类结果不利用任何参考模型。聚类分析两个基本问题-距离计算常用的距离度量方法包括：欧几里得距离（简称欧氏距离）和余弦相似度，两者都是评定个体间差异的大小的。欧氏距离会受指标不同单位刻度影响，需要先对数据进行标准化，在聚类问题中，如果两个样本点的欧氏距离越大，表示两者差异越大。如下表示两个𝑝维的样本点

，

之间的欧氏距离

：余弦相似度不会受指标刻度的影响，余弦值落于区间[-1，1]，值越大，差异越小。如

表示样本点

的余弦相似度，此时将样本点看作𝑝维向量处理。聚类算法应用场景-行业(1)离群点检测离群点检测是数据挖掘中重要应用，任务就是发现与大部分观察对象显著不同的对象，很多的数据挖掘方法会将这种差异信息视作噪声进行预处理，但也有的一些应用场景中，离群点本身携带有重要的异常信息，是需要被关注和研究的。离群点检测已经被广泛应用于电信、信用卡诈骗检测，贷款审批，电子商务，网络入侵和天气预报等领域，甚至可以利用离群点检测分析运动员的统计数据，以发现异常运动员。应用方式：利用聚类算法，找到远离其他簇的小簇；首先聚类所有对象，然后评估对象属于簇的程度，对不同距离的点进行打分。聚类算法应用场景-行业(2)用户画像构建方面：根据客户数据，将相似性较高的客户聚为一类，打标签，进行客户类别细分。业务推荐和精准营销方面：通过构建用户画像进行业务推荐和精准营销。常用聚类算法介绍基于原型聚类(partitioningmethods)K-Means算法，K-Mediods算法基于层次聚类(hierarchicalmethods)HierarchicalClustering算法、BIRCH算法基于密度聚类(density-basedmethods)DBSCAN算法1.无监督学习2.聚类算法3.K-Means聚类4.

层次聚类5.密度聚类算法基于原型聚类“原型”是指样本空间中具有代表性的点。原型聚类假设聚类结构可以通过一组原型刻画，这一方法在实际聚类任务中最为常用，理解起来也较简单；通常算法先对原型进行初始化，然后对原型进行迭代更新求解。采用不同的原型表示，不同的求解方式，即会产生不同的聚类算法。最经典的原型聚类算法即：K-Means聚类算法：基于各个样本点与各个聚集簇的中心点距离远近，进行划分的聚类算法。K-Mediods算法：在K-Means基础上改进的算法。K-Means聚类算法算法思想输入聚类个数𝑘，以及包含𝑛个数据对象的数据集，输出标准的k个聚类的一种算法。然后将𝑛个数据对象划分为𝑘个聚类，而最终所获得的聚类满足:(1)同一聚类中的对象相似度较高；(2)而不同聚类中的对象相似度较小。K-Means聚类算法步骤执行步骤1）选取𝐾个对象作为初始中心（叫质心），作为聚类中心；2）对每个样本数据，计算它们与中心的欧氏距离，按距离最近的准则将它们分到距离最近的聚类中心所对应的类；3）更新聚类中心：将每个类别中所有对象所对应的均值作为该类别的新中心（新的质心），计算目标函数；4）判断聚类中心和目标函数的值是否改变，若不变，则输出结果，若改变，则返回2）。𝐴1=(2，10)，𝐴2=(2，5)，𝐴3=(8，4)，𝐴4=(5，8)，𝐴5=(7，5)，𝐴6=(6，4)，𝐴7=(1，2)，𝐴8=(4，9).K-Means聚类-过程举例（1）K-Means聚类-过程举例（2）K-Means聚类-K如何确定K-Means算法首先选择𝐾个初始质心，其中𝐾是用户指定的参数，即所期望的簇的个数。这样做的前提是已经知道数据集中包含多少个簇，但很多情况下，我们并不知道数据的分布情况。如何有效地确定𝐾值，提供以下几种方法：从实际问题出发，人工指定比较合理的𝐾值，通过多次随机初始化聚类中心选取比较满意的结果均方根：假设我们有𝑚个样本，该方法认为𝐾=枚举法：用不同的𝐾值进行聚类分别计算类内距离均值和类间距离均值之比，选择最小的那个𝐾值对不同𝐾值都产生2次聚类，选择两次聚类结果最相似的𝐾值手肘法（Elbow)、层次聚类法等。K-Means聚类的优缺点优点简单、易于理解、运算速度快；对处理大数据集，该算法保持可伸缩性和高效性；当簇接近高斯分布时，它的效果较好。缺点在K-Means算法是局部最优的，容易受到初始质心的影响；在K-Means算法中K值需要事先给定的，有时候K值的选定非常难以估计；在簇的平均值可被定义的情况下才能使用，只能应用连续型数据；该算法需要不断地进行样本分类调整，不断地计算调整后的新的聚类中心，因此当数据量非常大时，算法的性能（时间和计算资源）开销是非常大的；对噪声和孤立点数据敏感。K-Means聚类-细节解析初始簇心的选择有时候会影响最终的聚类结果，实际操作中，我们一般会选用不同的数据作为初始簇心，多次执行K-Means算法；新质心不一定是实际的一个数据点。K-Means算法超参数𝐾𝐾是用户指定的参数，即所期望的簇的个数。𝐾指定的前提是已知数据集中包含多少个簇，但很多情况下，并不知道数据的分布情况，需要凭借业务专家的经验；常见做法是多尝试几个𝐾值，看分成几类的结果更好解释，更符合分析目的等；或者可以把各种𝐾值算出的SSE做比较，取最小的SSE的𝐾值。K-Means算法会不会陷入一直选质心的过程，永远停不下来？不会。数学证明一定会收敛，目标函数SSE是可收敛的函数，但数据量大时，收敛时间可能较长。K-Means算法的使用方法(1)利用python调用库sklearn中的cluster子模块，该模板包含常用聚类算法模型，如：K-Means，DBSCAN等；sklearn的K-Means方法默认用欧氏距离，虽然还有余弦相似度、曼哈顿距离等多种方法，但没有设定计算距离方法的参数。K-Means算法的使用方法(2)利用Python中库sklearn中的sklearn.cluster.KMeans方法KMeans(n_clusters=8,init=’k_means++’,n_init=10,max_iter=300,tol=0.0001,precompute_distances=’auto’,verbose=0,random_state=None,copy_x=True,n_jobs=1,algorithm=’auto’)参数说明n_clusters：用于指定聚类中心的个数，一般调用时只需给出n_clusters的值，如指定𝐾为10，KMeans(n_clusters=10）。init：初始聚类中心的初始化方法，其默认选择的是K-Means++。max_iter：最大的迭代次数，默认300。K-Means算法优化K-Means算法的结果非常依赖于初始随机选择的聚类中心的位置，可以通过多次执行该算法来减少初始中心敏感的影响。可采用的优化方法有：1.选择彼此距离尽可能远的K个点作为初始簇中心。

2.先使用canopy算法进行初始聚类，得到K个canopy中心，以此或距离每个canopy中心最近的点作为初始簇中心。K-Means应用示例随机创建一些二维数据作为训练集，选择二维特征数据，代码如下：importnumpyasnpimportmatplotlib.pyplotasplt%matplotlibinlinefromsklearn.datasets.samples_generatorimportK-Means应用示例#X为样本特征，Y为样本簇类别，共1000个样本，每个样本2个特征，共4个簇，簇中心在[-1,-1],[0,0],[1,1],[2,2]，簇方差分别为[0.4,0.2,0.2]X,y=make_blobs(n_samples=1000,n_features=2,centers=[[-1,-1],[0,0],[1,1],[2,2]],cluster_std=[0.4,0.2,0.2,0.2],random_state=9)plt.scatter(X[:,0],X[:,1],marker='o')plt.show()K-Means应用示例

创建的数据如下：K-Means应用示例

现在用K-Means聚类方法来做聚类，首先选择k=2，代码如下：fromsklearn.clusterimportKMeansy_pred=KMeans(n_clusters=2,random_state=9).fit_predict(X)plt.scatter(X[:,0],X[:,1],c=y_pred)plt.show()K-Means应用示例

效果图输出如图：K-Means应用示例

用Calinski-HarabaszIndex评估的聚类分数:fromsklearnimportmetricsmetrics.calinski_harabaz_score(X,y_pred)输出如下：3116.1706763322227K-Means应用示例

k=3的聚类效果，代码如下：fromsklearn.clusterimportKMeansy_pred=KMeans(n_clusters=3,random_state=9).fit_predict(X)plt.scatter(X[:,0],X[:,1],c=y_pred)plt.show()K-Means应用示例

效果图输出如图：K-Means应用示例

用Calinski-HarabazIndex评估的k=3时候聚类分数:

metrics.calinski_harabaz_score(X,y_pred)输出如下：

2931.625030199556可见此时k=3的聚类分数比k=2还差K-Means应用示例

k=4时候的聚类效果：fromsklearn.clusterimportKMeansy_pred=KMeans(n_clusters=4,random_state=9).fit_predict(X)plt.scatter(X[:,0],X[:,1],c=y_pred)plt.show()K-Means应用示例

效果图输出如图：K-Means应用示例

用Calinski-HarabaszIndex评估的k=4时候聚类分数:

metrics.calinski_harabaz_score(X,y_pred)输出如下：

5924.050613480169

可见k=4的聚类分数比k=2和k=3都要高，这也符合预期，随机数据集也就是4个簇K-Means应用示例

用MiniBatchKMeans的效果，将batchsize设置为200.由于的4个簇都是凸的，所以其实batchsize的值只要不是非常的小，对聚类的效果影响不大。forindex,kinenumerate((2,3,4,5)):plt.subplot(2,2,index+1)y_pred=MiniBatchKMeans(n_clusters=k,batch_size=200,random_state=9).fit_predict(X)K-Means应用示例

score=metrics.calinski_harabaz_score(X,y_pred)plt.scatter(X[:,0],X[:,1],c=y_pred)plt.text(.99,.01,('k=%d,score:%.2f'%(k,score)),transform=plt.gca().transAxes,size=10,horizontalalignment='right')plt.show()K-Means应用示例

效果图输出如图：K-Means应用示例

可见：使用MiniBatchKMeans的聚类效果也不错。当然由于使用MiniBatch的原因，同样是k=4最优，KMeans类的Calinski-HarabaszIndex分数为5924.05,而MiniBatchKMeans的分数稍微低一些，为5921.45，这个差异损耗并不大。1.无监督学习2.聚类算法3.

K-Means聚类4.

层次聚类5.密度聚类算法层次聚类层次聚类法核心思想是在不同层次对数据集进行划分，从而形成树形的聚类结构，数据集的划分可采用“自下向上”的聚合策略，也可以采用“自顶向下”的分拆策略。聚类的层次被表示成树形图。树根拥有所有样本的唯一聚类，叶子是仅有一个样本的聚类。凝聚层次聚类

AGNES算法（AGglomerativeNESting）采用自底向上的策略。最初将每个对象作为一个簇，然后这些簇根据某些准则被一步一步合并，两个簇间的距离可以由这两个不同簇中距离最近的数据点的相似度来确定。聚类的合并过程反复进行直到所有的对象满足簇数目。分裂的层次聚类

DIANA算法（DIvisiveANALysis）采用自顶向下的策略。首先将所有对象置于一个簇中，然后按照某种既定的规则逐渐细分为越来越小的簇（比如最大的欧式距离），直到达到某个终结条件（簇数目或者簇距离达到阈值）。凝聚层次聚类的过程和原理（1）1）计算数据集的相似矩阵；2）假设每个样本点为一个簇类；3）循环：合并相似度最高的两个簇类，然后更新相似矩阵；4）当簇类个数为1时，循环终止。凝聚层次聚类的过程和原理（2）假设我们有6个样本点{A,B,C,D,E,F}第一步：我们假设每个样本点都为一个簇类，计算每个簇类间的相似度，得到相似矩阵；第二步：若B和C的相似度最高，合并簇类B和C为一个簇类。现在我们还有五个簇类，分别为A，BC，D，E，F。第三步：更新簇类间的相似矩阵，相似矩阵的大小为5行5列；若簇类BC和D的相似度最高，合并簇类BC和D为一个簇类。现在我们还有四个簇类，分别为A，BCD，E，F。凝聚层次聚类的过程和原理（3）第四步：更新簇类间的相似矩阵，相似矩阵的大小为4行4列；若簇类E和F的相似度最高，合并簇类E和F为一个簇类。现在我们还有3个簇类，分别为A，BCD，EF。第五步：重复第四步，簇类BCD和簇类EF的相似度最高，合并该两个簇类；现在我们还有2个簇类，分别为A，BCDEF。第六步：最后合并簇类A和BCDEF为一个簇类，层次聚类算法结束。凝聚层次聚类的过程和原理（4）树状图是类似树（tree-like）的图表，记录了簇类聚合和拆分的顺序。我们根据上面的步骤，使用树状图对聚合层次聚类算法进行可视化，以上过程如图所示。层次聚类由不同层次的分割聚类组成，层次之间的分割具有嵌套的关系。它不需要输入参数，这是它的一个明显的优点，其缺点是终止条件必须具体指定。与原型聚类和密度聚类不同，层次聚类试图在不同的“层次”上对样本数据集进行划分，一层一层地进行聚类。典型的分层聚具体有：HierarchicalClustering算法、BIRCH算法等。基于层次聚类常用算法基本概念：判断两个簇之间的距离（1）基本概念：判断两个簇之间的距离（2）计算两个组合数据点间距离常用的方法是：SingleLinkage，CompleteLinkage和AverageLinkage，3种计算方法解析如下：SingleLinkage是将两个簇中最近的两个点间的距离作为这两个组合数据点的距离，该方法易受极端值的影响，两个不相似的点可能由于其中的某个极端的点距离较近而组合在一起。CompleteLinkage与SingleLinkage相反，将两个簇中距离最远的两个点间的距离作为这两个簇的距离，CompleteLinkage的问题也与SingleLinkage相反，两个相似的点可能某个点原先所在的簇中有极端值而无法组合在一起。AverageLinkage的计算方法是计算两个簇中的每个点与其他所有点的距离并将所有距离的均值作为两个组合数据点间的距离，此方法计算量比较大，但结果比前两种方法更合理。基本概念：判断两个簇之间的距离(3)HierarchicalClustering算法简单易理解。主要思路：确保距离近的点落在同一个簇(cluster)之中，流程如下：将每个对象作为一个簇𝑐𝑖={𝑥}，形成簇的集合𝐶={𝑐}；

迭代以下步骤直至所有对象都在一个族中；找到一对距离最近的簇：min𝐷(𝑐𝑖，𝑐𝑗)；将这对簇合并为一个新的簇；从原集合C中移除这对簇；最终产生层次树形的聚类结构:树形图。HierarchicalClustering算法原理优点：可排除噪声点的干扰，但有可能噪声点分为一簇。适合形状不规则，不要求聚类完全的情况。不必确定𝐾值，可根据聚类程度不同有不同的结果。原理简单，易于理解。缺点：计算量很大，耗费的存储空间相对于其他几种方法要高。合并操作不能撤销。合并操作必须有一个合并限制比例，否则可能发生过度合并导致所有分类中心聚集，造成聚类失败。HierarchicalClustering算法优缺点skearn提供的模块cluster中可以调用：AgglomerativeClustering(n_clusters=2,affinity=“euclidean”,memory,connectivity,compute_full_tree,linkage,pooling_func）具体参数描述：n_clusters：一个整数，指定分类簇的数量，默认为2。affinity：一个字符串或者可调用对象，用于计算距离，默认欧氏距离“euclidean”。memory：用于缓存输出的结果，默认为不缓存。connectivity：一个数组或者可调用对象或者None，用于指定连接矩阵。compute_full_tree：通常当训练了n_clusters后，训练过程就会停止，等于True时会继续训练从而生成一颗完整的树。HierarchicalClustering使用方法（1）具体参数描述：linkage：一个字符串，用于指定链接算法，可选类型为{“ward”,“complete”,“average”,“single”}。“single”，单链接single-linkage，采用dmin。“complete”,全链接complete-linkage，采用dmax。“average”,均连接average-linkage，采用davg。“ward，Ward链接，为默认选择方式。pooling_func：一个可调用对象，它的输入是一组特征的值，输出是一个数。该参数在sklearn0.20版本中弃用，将在0.22中删除。HierarchicalClustering使用方法（2）BIRCH算法即平衡迭代削减聚类法，其核心是用一个聚类特征3元组表示一个簇的有关信息，从而使一簇点的表示可用对应的聚类特征，而不必用具体的一组点来表示。它通过构造满足分支因子和簇直径限制的聚类特征树来求聚类。3元组包含：数据点个数，数据点特征之和，数据点特征的平方和分支因子：规定了树的每个节点的样本个数簇直径：体现一类点的距离范围BIRCH算法通过聚类特征可以方便地进行中心、半径、直径及类内、类间距离的运算。BIRCH算法中聚类特征树的构建过程是动态的，可以随时根据新的数据点对树进行重构，适合大规模数据集。BIRCH算法BIRCH算法第一步是通过扫描数据，建立聚类特征树。第二步是采用某个算法对聚类特征树的叶节点进行聚类。BIRCH算法优缺点优点就是一次扫描就行进行比较好的聚类。缺点是要求是球形聚类，因为CF树存储的都是半径类的数据，都是球形才适合。BIRCH算法描述聚类特征树可以动态构造，不要求所有数据读入内存，可逐个读入。新的数据项总是插入到树中与该数据距离最近的叶子中。如果插入后使得该叶子的直径大于类直径T，则把该叶子节点分裂。其它叶子结点也需要检查是否超过分枝因子来判断其分裂与否，直至该数据插入到叶子中，并且满足不超过类直径，而每个非叶子节点的子女个数不大于分枝因子。算法可通过改变类直径修改特征树大小，控制其占内存容量。BIRCH算法通过一次扫描就可以进行较好的聚类，因此该算法适于大数据集。I/O花费与数据量成线性关系。BIRCH算法只适用于数据的分布呈凸形及球形的情况，并且由于BIRCH算法需提供正确的聚类个数和簇直径限制，对不可视的高维数据不可行。BIRCH算法的计算解析sklearn中的聚类算法包含在sklearn.cluster模块中，BIRCH算法的具体描述为Birch(threshold=0.5,branching_factor=50,n_clusters=3,compute_labels=True,copy=True)参数说明如下：threshold：float，表示设定的半径阈值，默认0.5。branching_factor：int，默认=50，每个节点最大特征树子集群数。n_clusters：int，默认=3，最终聚类数目。compute_labels：bool，默认为True，是否为每个拟合计算标签，一般默认。copy：bool，默认为True，是否复制给定数据。如果设置为False，则将覆盖初始数据。BIRCH算法使用方法层次聚类的应用示例

构建容量为15000的瑞士卷（swissrolldataset）数据集，用离差平方和的层次聚类算法建模，可视化聚类结果并输出算法运行时间，代码如下：n_samples=15000noise=0.05X,_=make_swiss_roll(n_samples,noise)层次聚类的应用示例

减小瑞士卷的厚度X[:,1]*=.5print("Computeunstructuredhierarchicalclustering...")st=time.time()ward=AgglomerativeClustering(n_clusters=6,linkage='ward').fit(X)elapsed_time=time.time()-stlabel=ward.labels_#运行时间print("Elapsedtime:%.2fs"%elapsed_time)print("Numberofpoints:%i"%label.size)############################################################层次聚类的应用示例

#可视化结果fig=plt.figure()ax=p3.Axes3D(fig)ax.view_init(7,-80)forlinnp.unique(label):ax.scatter(X[label==l,0],X[label==l,1],X[label==l,2],color=plt.cm.jet(np.float(l)/np.max(label+1)),s=20,edgecolor='k')plt.title('Withoutconnectivityconstraints(time%.2fs)'%层次聚类的应用示例

效果图输出如图：1.无监督学习2.聚类算法3.

K-Means聚类4.

层次聚类5.密度聚类算法密度聚类算法密度聚类的思想不同于K-Means，它是通过聚类的簇是否紧密相连来判断样本点是否属于一个簇，代表性的算法就是DBSCAN，它基于一组邻域参数来判断某处样本是否是紧密。DBSCAN（Density-BasedSpatialClusteringofApplicationswithNoise，具有噪声的基于密度的聚类方法）是一种很典型的密度聚类算法，和K-Means，BIRCH这些一般只适用于凸样本集的聚类相比，DBSCAN还适用于非凸样本集。密度聚类过程和原理（1）DBSCAN是一种基于密度的聚类算法，这类密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。同一类别的样本，他们之间的紧密相连的，也就是说，在该类别任意样本周围不远处一定有同类别的样本存在。通过将紧密相连的样本划为一类，这样就得到了一个聚类类别。通过将所有各组紧密相连的样本划为各个不同的类别，则我们就得到了最终的所有聚类类别结果。密度聚类过程和原理（2）DBSCAN是基于一组邻域来描述样本集的紧密程度的，参数(ϵ，MinPts)用来描述邻域的样本分布紧密程度。其中，ϵ描述了某一样本的邻域距离阈值，MinPts描述了某一样本的距离为ϵ的邻域中样本个数的阈值。DBSCAN算法的基本概念（1）DBSCAN算法的基本概念（2）DBSCAN算法将数据点分为三类：核心点：在半径𝜀内含有超过min_𝑠𝑎𝑚𝑝𝑙𝑒𝑠数目的点。边界点：在半径𝜀内点的数量小于min_𝑠𝑎𝑚𝑝𝑙𝑒𝑠，但是落在核心点的邻域内的点。噪音点：既不是核心点也不是边界点的点。DBSCAN聚类算法应用特点和传统的K-Means算法相比，DBSCAN最大的不同就是不需要输入类别数K，当然它最大的优势是可以发现任意形状的聚类簇，而不是像K-Means，一般仅仅使用于凸的样本集聚类。同时它在聚类的同时还可以找出异常点，这点和BIRCH算法类似。DBSCAN聚类算法优缺点

优点：可以解决数据分布特殊（非凸，互相包络，长条形等）的情况。对于噪声不敏感，速度较快，不需要指定簇的个数；可适用于较大的数据集。在邻域参数给定的情况下结果是确定的，只要数据进入算法的顺序不变，与初始值无关。缺点：如果样本集的密度不均匀、聚类间距差相差很大时，聚类质量较差，这时用DBSCAN聚类一般不适合。如果样本集较大时，聚类收敛时间较长，此时可以对搜索最近邻时建立的KD树或者球树进行规模限制来改进。调参相对于传统的K-Means之类的聚类算法稍复杂，主要需要对距离阈值ϵ，邻域样本数阈值MinPts联合调参，不同的参数组合对最后的聚类效果有较大影响。DBSCAN聚类算法使用方法

利用sklearn库中的sklearn.cluster.DBSCAN方法，完整描述为：sklearn.cluster.DBSCAN(eps=0.5,min_samples=5,metric=’euclidean’,metric_params=None,algorithm=’auto’,leaf_size=30,p=None,n_jobs=None)注意：DBSCAN主要参数：eps：两个样本被看作邻居节点的最大距离。min_samples：最小簇的样本数。metric：距离计算方式，euclidean为欧氏距离计算。密度聚类应用示例

importwarningswarnings.filterwarnings('ignore')importnumpyasnpimportmatplotlib.pyplotasplt%matplotlibinlinefromsklearnimportdatasetsfromsklearn.clusterimportDBSCAN,KMeans密度聚类应用示例

#noise控制叠加的噪声的大小X,y=datasets.make_circles(n_samples=1000,noise=0.1,factor=0.3)#centers=[[1.5,1.5]]坐标位置，在1.5,1.5生成X3,y3=datasets.make_blobs(n_samples=500,n_features=2,centers=[[1.5,1.5]],cluster_std=0.2)#将两个数据级联X=np.concatenate([X,X3])y=np.concatenate([y,y3+2])plt.scatter(X[:,0],X[:,1],c=y生成的数据如图：密度聚类应用示例

密度聚类应用示例

kmeans#有缺陷kmeans=KMeans(3)kmeans.fit(X)y_=kmeans.predict(X)plt.scatter(X[:,0],X[:,1],c=y_）kmeans形成的聚类效果如图10-13所示：可以看出，效果很不好。密度聚类应用示例

定义dbcandbscan=DBSCAN(eps=0.15,min_samples=5)dbscan.fit(X)#赋值y_=dbscan.fit_predict(X)y_=dbscan.labels_plt.scatter(X[:,0],X[:,1],c=y_)DBSCAN的形成的聚类效果如图10-14所示：本章主要介绍了聚类算法的基本原理和常见聚类算法，包括Kmeans，层次聚类，密度聚类等，同时也介绍了不同算法在应用层面的差异性和优缺点，为后续算法的选型提供了比较好的理论参考。总结谢谢第十一章：降维与关联规则学习目标通过本章的学习：掌握降维的基本思想掌握主成分分析（PCA）的步骤。掌握关联规则算法的基本原理和挖掘过程。

1.降维技术2.

PCA降维技术的原理与实现3.LDA降维技术的原理与实现4.关联规则挖掘算法的基本原理5.关联规则挖掘应用算法降维技术背景（1）维数灾难背景现实应用中属性维度成千上万，在高维度情况下会带来很多麻烦，而且当维度大的时候，数据样本一般分布的非常稀疏，这是所有学习算法要面对的问题，降维技术应运而生。数据降维降维是对事物的特征进行压缩和筛选，该项任务相对比较抽象。如果没有特定领域知识，无法预先决定采用哪些数据，比如在人脸识别任务中，如果直接使用图像的原始像素信息，数据的维度会非常高，通常会利用降维技术对图像进行处理，保留下最具有区分度的像素组合。降维技术背景（2）对数据降维还有如下原因：（1）使得数据集更易使用（2）降低算法的计算开销（3）去除噪声（4）使得结果容易理解降维技术-

主成分分析（1）主成分分析（PCA）

在PCA中，数据从原来的坐标系转换到新的坐标系，由数据本身决定。转换坐标系时，以方差最大的方向作为坐标轴方向，因为数据的最大方差给出了数据的最重要的信息。第一个新坐标轴选择的是原始数据中方差最大的方法，第二个新坐标轴选择的是与第一个新坐标轴正交且方差次大的方向。重复该过程，重复次数为原始数据的特征维数。大部分方差都包含在最前面的几个新坐标轴中，因此，可以忽略余下的坐标轴，即对数据进行了降维处理。降维技术

-

线性判别式分析（2）线性判别式分析（LDA）

线性判别式分析是将高维的模式样本投影到最佳判别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性，可以达到对数据进行的降维处理。降维方法总体理解(1)样本数据集的理解将数据集考虑成矩阵，每行对应一个样本，每列对应一个特征或者维度。在降维方法中，都是把数据集看作矩阵形式，数学上有非常多关于矩阵的处理技巧和定理，降维的方法证明均源于此。降维方法总体理解(2)机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间。降维的本质是学习一个映射函数f:x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然也可以提高维度）。映射函数f可能是显式的或隐式的、线性的或非线性的。在很多算法中，降维算法成为了数据预处理的一部分。一些算法如果没有降维预处理，就很难得到很好的效果。1.降维技术2.PCA降维技术的原理与实现3.LDA降维技术的原理与实现4.关联规则挖掘算法的基本原理5.关联规则挖掘应用算法PCA降维技术(1)PCA（PrincipalComponentAnalysis，主成分分析）在高维向量空间中，随着维度的增加，数据呈现出越来越稀疏的分布特点，增加后续算法的复杂度，而很多时候虽然数据维度较高，但是很多维度之间存在相关性，他们表达的信息有重叠。PCA的思想是将n维特征映射到k维上(k<n)，这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征（这也是与特征选择特征子集的方法的区别）。PCA降维技术(2)PCA的目的是在高维数据中找到最大方差的方向，接着映射它到比最初维数小或相等的新的子空间。PCA降维技术的原理（1）PCA应用本身是基于一定假设的：1.线性即特征的变换是线性变换，作用有限，目前也有非线性的特征变换kernelPCA。2.处理的数据分布式服从指数族概率密度函数，即能通过均值和协方差来表征数据的分布，因为只有在这个情况下信噪比和协方差矩阵才能表示噪声和数据冗余。（好在实际应用中常见的数据是服从高斯分布或近似高斯分布）。PCA降维技术的原理（2）主成分分析（PCA）的基本原理

在一组多变量的数据中，很多变量常常是一起变动的。一个原因是很多变量是同一个驱动影响的的结果。在很多系统中，只有少数几个这样的驱动，但是多余的仪器使我们测量了很多的系统变量。当这种情况发生的时候，你需要处理的就是冗余的信息。而你可以通过用一个简单的新变量代替这组变量来简化此问题。PCA降维技术的原理（3）

第一主成分是数据空间的一个轴。当你把各观察值投影到这个轴时，结果会形成一个新变量，这个变量的方差是所有可选的轴中最大的。第二主成分是空间的另一个轴，它垂直于第一个轴。投影数据到这个轴上将得到另一组变量，此变量的方差是所有可选的轴中最大的。PCA降维技术的原理（4）特征向量（eigenvector）是一个矩阵的满足如下公式的非零向量：

特征向量和特征值只能由方阵得出，且并非所有方阵都有特征向量和特征值。如果一个矩阵有特征向量和特征值，那么它的每个维度都有一对特征向量和特征值。矩阵的主成分是其协方差矩阵的特征向量，按照对应的特征值大小排序。PCA降维技术的原理（5）

最大的特征值就是第一主成分，第二大的特征值就是第二主成分，以此类推。把数据映射到主成分上，第一主成分是最大特征值对应的特征向量，因此我们要建一个转换矩阵，它的每一列都是主成分的特征向量。如果我们要把5维数据降成3维，那么我们就要用一个3维矩阵做转换矩阵，用特征向量中的前三个主成分作为转换矩阵。若把我们的2维数据映射成1维，那么我们就要用一个1维矩阵做转换矩阵，用特征向量中的第一主成分作为转换矩阵。最后，我们用数据矩阵右乘转换矩阵。PCA算法流程输入：n维特征的样本数据集𝑫输出：降到p维后的样本集𝑫’对所有样本构成的矩阵X进行去中心化；求出X的协方差矩阵C；利用特征值分解，求出协方差矩阵C的特征值及对应的特征向量；将特征向量按对应特征值大小从上到下按行排列成矩阵，根据实际业务场景，取前p列组成新的坐标矩阵W。令原始数据集与新坐标举证W相乘，得到的新的数据集（矩阵）即为降到p维后的坐标。PCA优缺点优点：以方差衡量信息的无监督学习，不受样本标签限制。各主成分之间正交，可消除原始数据成分间的相互影响。计算方法简单，主要运算是奇异值分解，易于在计算机上实现。可减少指标选择的工作量。缺点：主成分解释其含义往往具有一定的模糊性，不如原始样本特征的解释性强。方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。PCA降维的Python实现

#Python实现PCAimportnumpyasnpdefpca(X,k):#kisthecomponentsyouwant#每个特征的平均值n_samples,n_features=X.shapemean=np.array([np.mean(X[:,i])foriinrange(n_features)])#规范化norm_X=X-mean#散射矩阵scatter_matrix=np.dot(np.transpose(norm_X),norm_X)#计算特征向量和特征值eig_val,eig_vec=np.linalg.eig(scatter_matrix)eig_pairs=[(np.abs(eig_val[i]),eig_vec[:,i])foriinrange(n_features)]PCA降维的Python实现

#根据eig_val从最高到最低对eig_vec进行排序eig_pairs.sort(reverse=True)#选择最上面的keig_vecfeature=np.array([ele[1]foreleineig_pairs[:k]])#获取新数据data=np.dot(norm_X,np.transpose(feature))returndataX=np.array([[-1,1],[-2,-1],[-3,-2],[1,1],[2,1],[3,2]])print(pca(X,1))PCA算法使用方法(1)在sklearn库中，可以使用sklearn.decomposition.PCA加载PCA进行降维。具体方法：PCA(n_components=None,copy=True,whiten=False,svd_solver=‘auto’)主要参数有：n_components：指定主成分的个数，即降维后数据的维度。copy：在运行算法时，是否将原始训练数据复制一份。等于True表示在原始数据的副本上进行运算，原始训练数据的值不会有任何改变；等于False在原始数据上进行降维计算，原始训练数据的值会改。Whiten：白化，使得每个特征具有相同的方差。svd_solver：可选项为{‘auto’,‘full’,‘arpack’,‘randomized’}，表示解析器计算SVD的策略。PCA算法使用方法(2)在sklearn库中，可以使用sklearn.decomposition.PCA加载PCA进行降维。主要属性：components_：降维后各主成分方向，并按照各主成分的方差值大小排序。explained_variance_：降维后各主成分的方差值，方差值越大，越主要。explained_variance_ratio_：降维后的各主成分的方差值占总方差值的比例，比例越大，则越主要。singular_values_：奇异值分解得到的前n_components个中最大的奇异值。1.降维技术2.PCA降维技术的原理与实现3.LDA降维技术的原理与实现4.关联规则挖掘算法的基本原理5.关联规则挖掘应用算法LDA介绍(1)

线性判别式分析（LinearDiscriminantAnalysis），简称为LDA。也称为Fisher线性判别（FisherLinearDiscriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。 LDA是一种监督学习的降维技术，将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。LDA介绍(2)LDA(LinearDiscriminantAnalysis)线性判别式分析，也叫Fisher线性判别，是模式识别中的经典算法，它的数据集的每个样本是有类别输出的。思想：投影后类内距离最小，类间距离最大。线性判别：LDA的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后要保证各个类别的类内方差小而类间均值差别大，这意味着同一类的高维数据投影到低维空间后相同类别的聚在一起，而不同类别之间相距较远。判别问题与线性判别函数

1.方法分类：线性判别函数、支持向量机、fisher线性判别函数广义线性判别函数、非线性判别函数、核学习机2.基本思想：步一：给定一个判别函数，且已知该函数的参数形式；步二：采用样本来训练判别函数的参数；判别问题与线性判别函数

步三：对于新样本，采用判别函数对其进行决策，并按照一些准则来完成分类学习判别函数的基本技术路线；假定有n个d维空间中的样本，每个样本的类别标签已知，且一共有c个不同的类别假定判别函数的形式已知，寻找一个判别函数对于给定的新样本x，判定它属于哪个类别LDA算法优缺点LDA算法既可以用来降维，也可以用来分类，主要用于降维，尤其在进行图像识别相关的数据分析时，LDA是一个有力的工具。优点：在降维过程中可以使用类别的先验经验。LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较