计算机应用技术论文自然语言处理 文本分类 数据挖掘.doc

计算机应用技术论文：基于自然语言处理的文本分类分析与研究【中文摘要】当今,随着信息技术不断向前发展,在机器学习这门计算机学科中,有关模式识别的理论知识已经日趋成熟,同时应用到了许多领域,其中一个重要的研究方向是基于统计的自然语言处理。由于互联网的兴起,基于自然语言表述的电子文本信息越来越多,在这么多的电子文本信息中,基于自然语言的信息处理的一个最大目标是怎样有效地获取和管理这些信息。对于提出的这些问题需要对自然语言进行研究和其相关应用,文本分类在这里显得特别重要,它是作为信息检索等问题的基础。文本分类主要分为两个阶段,分别采用了自然语言处理、机器学习、模式识别、文本挖掘技术来实现。因此,文本分类在理论研究上的价值体现在对这些技术的推动。文本分类能够有效的提高网上信息检索的效果,不仅是改进信息获取模式的重要方面,也是内容安全的基础部分。因此分类性能的好坏已经成为关注的焦点,研究文本分类任务的理论和工程应用,将具有重要意义。在现有的研究成果上,本论文对文本分类及其相关技术做了一些研究。首先介绍了文本分类技术的研究现状及该课题研究意义;接着介绍了文本分类的过程和在这个过程中所用到的相关技术,主要对中文分词方法、特征选择方法和文本分类算法做了研究;然后介绍文本分类设计.【英文摘要】Nowadays, with the information technology development, machine learning and pattern recognition in computer science are more and more mature and widely applied to many areas, one of the important research direction is based on the statistics of natural language processing. Due to the rise of the Internet, the electronic text information based on natural language description is exploding, the information processing based on natural language is one of the biggest target how effective these information acquisi.【关键词】自然语言处理 文本分类 数据挖掘 特征选取【英文关键词】Nature Language Processing Text Classification Data Mining Feature Selection and Extraction【目录】基于自然语言处理的文本分类分析与研究摘要4-5Abstract5第一章 绪论9-151.1 课题研究背景与意义9-101.2 文本分类研究现状10-121.3 课题研究内容及方法12-15第二章 自然语言处理技术概述15-202.1 自然语言处理技术概述15-162.2 自然语言语法分析技术16-172.3 生成模型的统计方法17-182.4 判别模型的统计方法18-192.5 无指导的统计方法192.6 本章总结19-20第三章 文本分类的相关技术20-373.1 文本分类基本概念20-233.1.1 文本自动分类的任务20-213.1.2 文本自动分类的类型21-223.1.3 文本自动分类的应用22-233.2 文本表示方法23-253.2.1 表示模型概述23-243.2.2 VSM 模型24-253.3 数据挖掘中决策树分类算法25-293.3.1 分类的定义25-263.3.2 分类预处理及评估准则26-273.3.3 分类算法27-293.4 基于决策树的分类算法29-353.4.1 决策树分类概述29-303.4.2 典型的决策树算法30-343.4.3 决策树的构造以及简化34-353.5 文本分类效果评估方法35-363.6 本章小结36-37第四章 基于自然语言处理的文本分类设计37-534.1 中文文本自动分类的预处理37-424.1.1 基于最大匹配分词算法的中文文本分词处理37-394.1.2 改进的增强型最大匹配分词法（IMM 法）39-424.2 基于KL-Divergence 的特征选取算法42-474.2.1 KL-Divergence 定义42-434.2.2 改进KL-Divergence 特征选取法43-444.2.3 特征权重的计算TFIDF 法44-454.2.4 构建类模型45-474.3 实验测试与结果47-524.3.1 实验目的474.3.2 实验难点47-484.3.2 实验中用到的相关算法简要说明48-504.3.4 实