文本聚类算法研究

1、文本聚类算法研究    文本聚类算法研究摘要本文对文本聚类做了比较详尽的分析，包括文本聚类的概念和总体介绍，聚类模型，聚类算法以及相关技术等等。文本自动聚类系统是信息处理的重要研究方向，它是指在给定的聚类体系下，根据文本的内容自动划分文本类别的过程。文中重点分析和比较了各种基于不同聚类模型的聚类算法的优劣，对其中一部分算法通过程序加以实现，得到了实验结果。通过实验结果可以直观地看出算法的性能。其中重点实现的是基于向量空间模型的层次聚类算法。该算法是当今国内外文本聚类领域比较流行的算法之一，性能优良，有很高的准确率和召回率。在我对特定文档集进行的聚类实验中

2、，这种方法得出的结果是最满意的。本文共分七章：第一章是绪论，介绍文本聚类的概念，用途，流程并简单介绍了一下文本分类。第二章是分析了几种现有的文本聚类模型和算法，从多角度比较它们的优缺点。第三章介绍了中文文本聚类中的主要问题和关键技术。第四章简述了Smart系统的功能和使用方法。第五章详细说明了文本聚类程序的结构，主要算法的实现，和编制文本聚类器的步骤。第六章给出了对我的毕设程序进行性能评估的数据。第七章是对全文的总结和对未来的展望。关键词：文本聚类，文本分类，向量空间，相似度, 精确度，召回率，层次凝聚算法 Abstract The thesis analyzes text clusterin

3、g in detail, including the definition and general introduction of the text clustering,the model,algorithm and relevant technologies of text clustering,etc.Automatic text clustering is the main researching direction of the Information Procession,it is the process of automatically deviding many texts

4、into different classes with a given clustering method.In the thesis we analyzed and compared kinds of clustering models and algorithms,carried out part of them and got some experimental result.We can see the performance of the algorithms directly from the result.And in this thesis we mainly implemen

5、ted the level-agglomerative algorithm based on the vector space model.This algorithm is one of the most popular algorithms in the field of text clustering nowadays.It has good capability,high precision and recall.In my experiment on given document sets,this algorithm has the most satisfactory result

6、. The thesis is devided into 7 chapters: Chapter1 is the introduction. It introduces the definition,usage,and process of text clustering,and briefly introduced text classification. Chapter2 analyzes some existing models and algorithms of text clustering,compared them with each other from so many asp

7、ects. Chapter3 introduces the main problems and key technologies in text clustering. Chapter4 shows the function and usage of the Smart system. Chapter5 shows the structure of the text clustering program, the implementation of the main algorithms, and the steps to write a text clustering program. Ch

8、apter6 presents some experimental results, and evaluates several text clustering algorithms. Chapter7 is the conclusion and the future work. Key-words: text clustering, text classification, vector space, similarity, precision, recall, level-agglomerative clustering algorithm 目录摘要1 Abstract.2 第一章 绪论.

9、5 11文本聚类概述5 12文本聚类工作流程6 13文本分类概述7 第二章 现有的数据聚类模型和算法10 21基于密度的聚类算法.10 22基于向量空间的聚类算法.13 23基于统计语言的聚类模型.16 231信息熵16 232统计语言模型17 233条件聚类模型18 本章小结.20 第三章 中文文本聚类中的基本问题.21 31中文分词概述.21 32特征词抽取.22 33文本的表示.24 本章小结.25 第四章 SMART系统概述26 41SMART系统简介.26 42 SMART系统中的信息检索.28 43SMART系统的搭建步骤.30 44SMART系统的评价.31 本章小结.33 第五章 文本聚类程序的实现.34 51问题定义34 52程序的基本功能和总体结构34 53程序中数据结构的定义35 54程序中主要算法的实现37 541相关文件操作.3