数据挖掘（第2版） 第5章 聚类习题答案

1．简述聚类分析的基本思想和基本步骤？聚类分析是一种无监督学习方法，其基本思想是将数据集中的样本划分为若干个互相类似的簇(cluster)，使得同一簇内的样本相似度较高，而不同簇之间的样本相似度较低。聚类分析的目标是发现数据中的内在结构和模式，将相似的样本归为一类，从而实现数据的分类和分组。聚类分析的基本步骤如下：①数据准备：收集需要进行聚类分析的数据，并进行预处理。这包括数据清洗、缺失值处理、特征选择和标准化等操作，以确保数据的质量和一致性。②选择聚类算法：根据问题的需求和数据的性质，选择适当的聚类算法。常见的聚类算法包括K均值聚类、层次聚类、密度聚类和谱聚类等。③特征向量表示：将数据样本转换为合适的特征向量表示。根据数据的属性类型，选择适当的特征提取方法，如数值型数据可以直接使用原始特征，而文本数据可以通过向量化方法如词袋模型或TF-IDF等进行表示。④聚类模型构建：使用选择的聚类算法构建聚类模型。根据算法的要求，确定聚类的簇数或其他参数。⑤聚类结果评估：评估聚类的质量和效果。常用的评估指标包括簇内相似度和簇间差异度等。还可以使用可视化方法对聚类结果进行分析和展示。⑥结果解释和应用：根据聚类结果进行进一步的分析和解释。可以根据不同簇的特点和共性，提取出有用的知识和信息，支持决策或应用领域的问题解决。需要注意的是，聚类分析是一种迭代的过程，需要根据实际情况对算法和参数进行调整和优化，以获得更好的聚类结果。同时，聚类结果的解释和应用也需要结合领域知识和问题背景进行综合考虑。一个好的聚类算法应该具备哪些特性？一个好的聚类算法通常应具备以下特性：①可伸缩性（Scalability）：算法能够有效地处理大规模数据集，并具有较低的时间和空间复杂度。它应该能够处理高维数据，并在面对大量样本时也能保持良好的性能。②鲁棒性（Robustness）：算法对噪声和异常值具有较好的鲁棒性。它能够忽略异常值的干扰，将其归类为合适的簇，而不会对整个聚类结果产生过大的影响。③可解释性（Interpretability）：算法产生的聚类结果应该易于理解和解释。它应该能够提供对簇的特征和属性的解释，帮助用户理解数据中的模式和结构。④灵活性（Flexibility）：算法应该具有一定的灵活性，能够适应不同类型的数据和问题。它应该能够处理数值型数据、文本数据、图像数据等不同形式的数据，并且可以适应不同的聚类结构和分布。⑤高效性（Efficiency）：算法的执行时间应该尽可能短，并且具有高效的收敛性。它应该能够在合理的时间内生成聚类结果，以便及时应用于实际问题。⑥自动化（Automation）：算法应该能够自动进行特征提取、参数选择和聚类过程，减少用户的主观干预和人工操作。⑦不受初始化影响（Insensitivitytoinitialization）：算法应该对初始参数的选择不敏感，即不同的初始化应该得到相似的聚类结果。这有助于算法的稳定性和可靠性。⑧可扩展性（Extensibility）：算法应该易于扩展和扩展，以满足不同的需求和应用场景。它应该能够支持新的数据类型、新的距离度量和新的聚类模型。需要注意的是，不同的聚类算法可能在不同的特性上有所侧重，因此在选择聚类算法时需要根据具体问题和数据特点进行综合考虑。3．简述划分聚类方法的主要思想。划分聚类方法是聚类分析中的一种常见方法，其主要思想是通过迭代的方式将数据集划分为不同的簇，使得同一簇内的样本相似度较高，不同簇之间的样本相似度较低。划分聚类方法的主要思想可以概括为以下步骤：①初始化：首先选择初始的簇中心或随机划分簇，确定要划分的簇数。通常情况下，初始簇中心可以根据数据分布进行选择，或者随机选择数据点作为初始簇中心。②分配样本：将每个样本分配给最近的簇中心，计算样本与簇中心之间的距离或相似度。常见的距离度量方法包括欧氏距离、曼哈顿距离、余弦相似度等。③更新簇中心：根据已分配样本的情况，更新每个簇的中心位置。通常采用计算簇内样本的平均值或中心点作为新的簇中心。④重新分配样本：根据新的簇中心，重新分配每个样本到最近的簇中心。⑤迭代更新：重复进行步骤3和步骤4，直到达到停止条件。停止条件可以是达到最大迭代次数、簇中心不再变化或目标函数收敛等。⑥输出聚类结果：最终得到划分后的簇和每个样本所属的簇标签。4．简述凝聚的层次聚类方法的主要思路。凝聚的层次聚类方法是聚类分析中的一种常见方法，其主要思路是通过逐步合并最相似的样本或簇来构建聚类的层次结构。凝聚的层次聚类方法的主要思路可以概括为以下步骤：①初始化：将每个样本视为一个簇，形成初始的单个样本簇集合。②计算相似度：计算每对样本或簇之间的相似度或距离。常用的相似度度量方法包括欧氏距离、曼哈顿距离、相关系数等。③合并最相似的簇：从相似度矩阵中选择相似度最高的两个簇，将它们合并为一个新的簇。合并的准则可以是最小距离、最大距离、平均距离等。④更新相似度矩阵：根据合并的簇，更新相似度矩阵，以反映新的簇之间的相似度。⑤重复步骤3和步骤4，直到满足停止条件。停止条件可以是达到指定的簇数、相似度小于阈值或其他预定义条件。⑥输出聚类结果：最终得到层次聚类的结果，形成聚类树状结构（树状图或树状图谱），可根据需要选择合适的切割方法来确定最终的聚类划分。凝聚的层次聚类方法将样本或簇逐步合并，形成不同层次的聚类结构。在聚类树状结构中，上层的簇表示更大范围的聚类，而下层的簇表示更具体的聚类。可以通过树状结构的切割来获得不同数量的聚类。切割时可以根据相似度阈值、簇的距离或其他准则进行选择。5．说出划分聚类与层次聚类的主要特点。划分聚类和层次聚类是聚类分析中两种常见的方法，它们具有不同的特点和适用场景。划分聚类的主要特点：①固定簇数：划分聚类需要事先指定簇的数量，即确定要将数据划分为多少个簇。②迭代优化：划分聚类方法通常使用迭代的方式来优化聚类结果，通过不断更新簇中心和重新分配样本来达到最优或局部最优。③效率较高：相比层次聚类，划分聚类方法通常具有较高的计算效率，尤其适用于大规模数据集。④聚类结果较为稳定：由于划分聚类的随机性较高，多次运行划分聚类算法可以得到不同的初始条件下的聚类结果，但相同初始条件下通常可以得到相似的结果。⑤需要预先设定簇数：划分聚类方法对于确定簇的数量较为敏感，不同的簇数设定可能会导致不同的聚类结果。层次聚类的主要特点：①无需预先设定簇数：层次聚类方法不需要预先设定簇的数量，它会根据数据的内在结构自动构建层次聚类结构。②提供层次结构：层次聚类方法可以提供全局的聚类结构，通过聚类树状结构可以看到不同层次的聚类结果，有助于发现嵌套关系和子簇的结构。③计算复杂度较高：层次聚类方法通常具有较高的计算复杂度，特别是当数据集规模较大时，计算和存储开销较大。④不受簇数设定限制：由于层次聚类方法不需要预先设定簇数，因此可以根据需要通过树状结构进行切割，得到不同数量的聚类结果。⑤鲁棒性较强：层次聚类方法对于噪声和异常值具有一定的鲁棒性，因为它通过逐步合并相似的样本或簇来构建聚类结构。需要根据具体的问题和数据特点选择适合的聚类方法，划分聚类适用于对簇数有明确要求且效率较高的情况，而层次聚类适用于无需预先设定簇数且需要全局结构信息的场景。6．在一维点集1,4,9,16,25,36,49,64,81上执行层次聚类算法，假定簇表示为其质心（平均），每一步质心最近的两个簇相合并。importnumpyasnp

#数据集

data=np.array([1,4,9,16,25,36,49,64,81])

#初始化每个数据点为一个簇

clusters=[[point]forpointindata]

#层次聚类算法

whilelen(clusters)>1:

#计算每个簇的质心

centroids=[np.mean(cluster)forclusterinclusters]

#计算簇与簇之间的距离

distances=np.abs(np.subtract.outer(centroids,centroids))

#找到距离最近的两个簇

min_distance=np.min(distances[np.nonzero(distances)])

cluster1,cluster2=np.where(distances==min_distance)

#合并簇

merged_cluster=clusters[cluster1[0]]+clusters[cluster2[0]]

#更新簇列表

ifcluster1[0]<cluster2[0]:

clusters.pop(cluster2[0])

clusters.pop(cluster1[0])

else:

clusters.pop(cluster1[0])

clusters.pop(cluster2[0])

#添加合并后的簇

clusters.append(merged_cluster)

#输出所有的聚类结果

forclusterinclusters:

print(cluster)输出结果：[9,1,4,16,25,36,49,64,81]7.importnumpyasnp

importmatplotlib.pyplotasplt

fromscipy.spatial.distanceimportcdist

#设置字体

plt.rcParams['font.family']='SimHei'

#身高和体重数据

data=np.array([[160,49],[159,46],[160,41],[169,49],[162,50],[165,48],[165,52],[154,43],[160,45],[160,44],[157,43],[163,50],[161,51],[158,45],[159,48],[161,48]])

#最短距离法聚类函数

defsingle_linkage_clustering(data,k):

n=data.shape[0]

clusters=[[i]foriinrange(n)]#初始化每个样本为一个簇

whilelen(clusters)>k:

#计算距离矩阵

distances=cdist(data,data)

np.fill_diagonal(distances,np.inf)#将对角线元素设置为无穷大，避免自身距离为最小距离

min_distance=np.min(distances)#找到最小距离

#找到最小距离对应的簇

cluster1,cluster2=np.unravel_index(np.argmin(distances),distances.shape)

merged_cluster=clusters[cluster1]+clusters[cluster2]#合并簇

#更新簇列表和数据

clusters[cluster1]=merged_cluster

clusters.pop(cluster2)

data=np.delete(data,cluster2,axis=0)

returnclusters

#最长距离法聚类函数

defcomplete_linkage_clustering(data,k):

n=data.shape[0]

clusters=[[i]foriinrange(n)]#初始化每个样本为一个簇

whilelen(clusters)>k:

#计算距离矩阵

distances=cdist(data,data)

np.fill_diagonal(distances,-np.inf)#将对角线元素设置为负无穷，避免自身距离为最大距离

max_distance=np.max(distances)#找到最大距离

#找到最大距离对应的簇

cluster1,cluster2=np.unravel_index(np.argmax(distances),distances.shape)

merged_cluster=clusters[cluster1]+clusters[cluster2]#合并簇

#更新簇列表和数据

clusters[cluster1]=merged_cluster

clusters.pop(cluster2)

data=np.delete(data,cluster2,axis=0)

returnclusters

#调用最短距离法聚类函数

k=3#聚类数

clusters_single=single_linkage_clustering(data,k)

print("最短距离法聚类结果：")

forclusterinclusters_single:

print([i+1foriincluster])

#绘制最短距离法聚类图

plt.scatter(data[:,1],data[:,0])

forclusterinclusters_single:

cluster_data=data[cluster]

plt.scatter(cluster_data[:,1],cluster_data[:,0])

plt.xlabel("体重(kg)")

plt.ylabel("身高(cm)")

plt.title("最短距离法聚类图")

plt.show()

#调用最长距离法聚类函数

clusters_complete=complete_linkage_clustering(data,k)

print("最长距离法聚类结果：")

forclusterinclusters_complete:

print([i+1foriincluster])

#绘制最长距离法聚类图

plt.scatter(data[:,1],data[:,0])

forclusterinclusters_complete:

cluster_data=data[cluster]

plt.scatter(cluster_data[:,1],cluster_data[:,0])

plt.xlabel("体重(kg)")

plt.ylabel("身高(cm)")

plt.title("最长距离法聚类图")

plt.show()运行结果：最短距离法聚类结果：[1,15,16,5,12,13,2,9,10,14][3,8,11][4,6,7]最长距离法聚类结果：[1,3,7,4,8,11,13,12,5,6,10,14,9,2][15][16]8.importnumpyasnp

fromscipy.spatial.distanceimportcdist

#样本数据集

data=np.array([[2,10],[2,5],[8,4],[5,8],[7,5],[6,4],[1,2],