面向科研与教学的文本分类平台构建

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 面向科研与教学的文本分类平台构 建 摘 要为提高中文文本分类 科研与教学人员的工作效率，本文针对 国内现有中文文本分类系统的研发现状， 构建一个包括预处理、特征选择、权值 计算、自动分类和分类效果测评等文本 分类全过程的管理平台。开发过程中， 本文使用系统集成思想和方法将自编软 件代码与相关的开源软件代码进行集成。 经测试，该系统实现了文本自动分类过 程的全部功能。 中国论文网 /4/view-12719748.htm 关键词文本分类；MVC；语 料库；训练集；测试集 DOI：10.3969/j.issn.1008- -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 0821.2015.09.011 中图分类号TP391 文献标 识码B 文章编号 1008- 0821（2015）09-0056-07 AbstractIn order to improve the working efficiency of the people which are occupied in scientific research and teaching of Chinese text categorization and considering about the research and development status of the text categorization system in China，a management platform of text categorization for the whole process，including pre- processing，feature selection，weighting calculation，automatic classification and classification evaluation were built.In the process of the development，based on the principle and method of system integration，the coding of ourselves and the ones of the related open source -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 software were integrated.After testing，the system implemented the whole functions of automatic text categorization. Key wordstext classification；MVC；corpus；training set；testing set 文本分类是基于内容的自动文本 信息管理，随着网络文本数量呈几何级 数增长，文本分类已成为处理和组织海 量文本信息的关键技术1。文本分类就 是将文本信息分到已定义好的一个或多 个类中，从而帮助人们更好更快的检索 到有用信息，过滤掉无用信息。一般而 言，文本分类分为以下 5 个环节，包括： 文本预处理、特征选择、权值计算、分 类算法、分类效果测评。当前，文本分 类技术被广泛应用于日常数据管理的各 个方面2-4 ，如浏览器的资源分层、垃 圾短信邮件的过滤、敏感信息的预警、 网络舆情监测5等。但由于文本分类流 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 程的复杂性，需要撰写大量的代码，不 仅耗时耗力、成本代价高昂，且造成了 严重的代码重复，浪费了研究者们的宝 贵时间、延长了科研进度，使很多学者 不能在第一时间完成自己的最新研究。 对致力于学习文本分类技术的高校学生 而言，由于文本分类过程的抽象复杂， 他们很难学习到相应知识内核。基于上 述原因，研发一个面向教学与科研的文 本分类平台，实现数据集导入、训练集 与测试集索引、特征选择、权值计算、 文本分类并提供可视化的界面，使得科 研人员、高校学生甚至包括无技术背景 的人员均能利用此文本分类系统进行文 本分类领域的相关研究与应用。 1 系统需求分析 目前，国外已经开发出了一些成 熟的文本分类平台，如著名的 IBM 商 用数据挖掘平台 IBM Intelligent Miner， 是一款包含文本分类、预测、关联规则 产生等基础研究成果在内的可伸缩性平 台。该平台提供了丰富的数据分析技术 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 和算法集，具有大量易于开发者使用的 编程接口，是市场上最强大的数据分析 平台之一6。但是作为商用挖掘工具， 该平台价格较高且不宜用于学术研究。 斯坦福大学自然语言处理组提供了开源 的 Natural Language Toolkit（NLTK ）平 台用于进行分词、词性标注、文本分类 等工作7，但 NLTK 只适用于 Python 语句且主要支持英文及其他一些拉丁语 系，无法处理中文语料。Waikato 大学 研究的开源平台 Waikato Environment for Knowledge Analysis（WEKA） ，它包 含对数据进行预处理、关联规则挖掘、 分类、聚类等多种功能，并提供了易于 交互的可视化界面8。Weka 的源码是 公开的，因此使用者可以根据自身需要 对 Weka 进行二次开发，拓展其功能或 者整合到相应的系统中。相比国外，国 内在文本分类平台开发上发展较慢，主 要是基于国外著名开源平台进行的二次 开发。自主研制的相关平台主要有复旦 自然语言处理（FudanNLP，FNLP ） 、 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 中科院汉语分词系统（Institute of Computing Technology，Chinese Lexical Analysis System，ICTCLAS ）以及谭松 波的 DRAP 文本分类系统。FNLP 主要 包括了以下功能：文本分类、实体名识 别、新闻聚类、词性标注、中文分词、 关键词抽取、依存句法分析等。工具采 用 Java 编写，并提供了 API 的访问调 用方式9。但此平台初始化时间有点长， 并且加载模型时占用内存较大，在进行 语法分析时分析的结果也不是十分准确。 ICTCLAS 主要包括以下功能：中文分 词、词性标注、命名实体识别、新词识 别，同时支持用户词典。目前， ICTCLAS30 分词速度单机 996KB/s，分 词精度 9845%，API 不超过 200KB，各 种词典数据压缩后不到 3M，是当前世 界上最好的汉语词法分析器10。但是 ICTCLAS 并非完整的文本分类系统， 只包含了文本分类过程中文档预处理环 节的切分词操作。DRAP 文本分类系统， 支持中英文分类、中文最大匹配分词、 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 特征选择、英文词根还原、停用词去除、 双语种分类和多线程分类，其中双语种 分类、多线程分类需要定制后才可使用 11。但是该分类平台并不能进行特征 选择方法以及分类器的选择，各个分类 环节采取系统默认设置，同时系统实用 性不强、极易闪退。综合而言，国内尚 未有成型且使用效果良好的文本分类系 统平台，开发一个易于使用、功能简捷、 操作简单的文本分类系统，将为自动文 本分类技术的使用者提供极大的便利。 基于此，本系统平台搭建的主要目标是 为从事文本分类教学、科研的人员提供 一个易于使用、功能简捷、对系统运行 环境要求不高、具有可视化功能的文本 分类系统。为了达到此目标，系统的功 能性需求包括：（1）提供可视化的使 用界面，用户只需点击相应按钮，即可 执行所需的文本分类各个环节的操作， 不再需要人为进行代码撰写；（2）提 供单篇文档分类、多篇文档分类两个入 口，以满足不同需求；（3）提供各个 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 8 环节的运行结果，使得用户能够及时了 解文本分类各个环节的运行情况。同时， 系统需要满足以下 2 个非功能需求，才 能更好地服务于使用者，包括：（1） 易使用性：系统具有良好的交互界面， 界面功能描述清晰，步骤明确，用户只 要执行选择、确定操作，即可顺利使用 平台；（2）健壮性：系统平台应该可 靠有效，即使出现系统故障或是用户输 入、操作错误或者其它异常，也能够迅 速捕获并进行处理。 2 系统构建 21 系统总体架构 本系统使用 MVC 三层架构设计， 包括表示层、业务逻辑层以及数据访问 层，开发语言采用 Java，如图 1 所示。 用户通过表示层进行界面操作。 第一步：索引训练集、索引测试集以进 行文本预处理操作，通过用户请求监听 模块访问业务逻辑层文本预处理模块， 调用文本预处理接口，运行文本预处理 各个环节，包括 ICTLAS 分词、去停用 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 9 词、Lucene 特征词索引以及统计词频， 生成一个 wordCount.txt 文件（即词频 统计文件）存储于数据访问层中。第二 步：用户通过界面操作特征选择环节， 包括选择特征选择方法以及输入特征维 数，通过用户请求监听模块访问业务逻 辑层特征选择模块，调用特征选择接口， 读取 wordCount.txt 文件，运行特征选 择业务，生成特征选择方法维数 txt 文 件，存储于数据访问层中。第三步：用 户通过界面选择所需的权值计算方法以 进行权值计算操作，通过用户请求监听 模块访问业务逻辑层权值计算模块，调 用权值计算接口，分别读取各个特征选 择方法维数 txt 文件，运行权值计算业 务，生成相应 TrainSet 权值计算方法 aff 文件和 TestSet 权值计算方法 aff 文件， 存储于数据访问层中。第四步：用户通 过界面选择所需的分类算法以进行分类 操作，通过用户请求监听模块访问业务 逻辑层 WEKA 分类算法模块，调用 Weka 分类算法接口，分别读取成对的 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 10 TrainSet 权值计算方法 aff 文件和 TestSet 权值计算方法 aff 文件，运行分 类业务。第五步：第四步运行分类业务 后，直接访问业务逻辑层分类效果测评 模块，运行分类效果测评业务，包括单 篇测试文档分类结果（分类结果、实际 类别） ，测试集分类结果（准确率、宏 平均值、微平均值） ，业务逻辑层运行 结果直接返回表示层，在用户界面显示 分类效果测评（准确率、宏平均值、微 平均值） 。 22 主要功能模块 本系统主要功能大致可以分为四 大模块：表示模块，用户请求监听模块、 业务逻辑模块和数据存储模块。 221 表示模块，即系统平台界面 表示模块即文本分类系统的 UI，负责接受用户的请求并返回请求内 容，该模块使用 JFC 技术，界面中使用 了 Java Swing 和 Java AWT 等 UI 组件。 在 Java Swing 中，每一个组件都包含一 个 MVC 模型，Model 模块决定组件的 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 11 行为，View 模块决定组件的 UI。以 JButton 为例，按钮表面提示文字，如 “特征选择”按钮，这部分就是 View。而 当前按钮是被锁定的还是处于激活状态， 如“按钮是否能被点击 ”，这部分就是 Model。 222 用户请求监听模块 使用 ActionListener 接收表示层 所发出的请求，对请求进行相应处理， 并将处理后的结果返回给表示层。用户 请求监听模块主要负责监听用户的操作， 并根据用户的请求，更新文本分类子系 统的配置信息。该模块主要为表示层提 供服务，同时充当表示层和业务逻辑层 间沟通的桥梁，包括：监听用户操作和 控制输入规范。因此，该模块主要解决 以下两个问题：系统能够精确地捕获 用户的操作并可以为用户提供即时反馈； 同时，在响应用户的请求过程中，需要 保证不会错过用户的其它操作。系统 接受的数据需要控制在一定的范围内， 同时保证数据是有效的输入。对于规范 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 12 要求以外的输入，系统能够正确地判断 出来，并且以合理的方式处理。 223 业务逻辑模块 本系统的业务逻辑模块即文本分 类的流程操作，包括：文本预处理： ICTCLAS 分词、去停用词、Luence 建 立索引和统计词频；特征选择：信息 增益、卡方检验和互信息；权值计算： TF-IDF；分类算法：K 最近邻算法、 朴素贝叶斯算法、支持向量机算法和 J48 决策树算法；分类效果测评：准 确率、宏平均 F 值和微平均 F 值。 224 数据存储模块 即包括系统所涉及的所有数据文 件的安全持久存放。数据主要保存为 txt 格式和 arff 格式。其中：txt 格式： wordCount.txt 主要的作用是保存词频统 计的结果，如某文本出现在类别 Ci 中 的频次，出现在类别 Ci 的文本数量等。 后续特征选择模块和特征权值计算模块 在使用特征词的词频等数据能够直接从 这个文件中调取。特征选择方法维数 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 13 txt 主要的作用是保存某一维数下采用 某一特征选择方法得到的特征词； arff 格式的文件是 Weka 默认的储存 数据集文件。每个 ARFF 文件对应一个 二维表格。表格的各行是数据集的各实 例，各列是数据集的各个属性。因为本 文设计的文本分类系统平台在分类算法 模块中调用 Weka 开源工具，所以特征 权值计算模块的最终输出为 arff 格式文 件，方便分类算法模块的调用。 3 系统设计与实现 31 用户请求监听子系统 用户请求监听子系统主要基于 GUI 类。首先，GUI 类继承了 JFrame 类，同时实现了 ActionListener 接口， 故其本身是一个具有监听事件行为的窗 口。其次，GUI 类作为用户界面，是整 个系统的入口。在 GUI 类的构造过程中， 将按钮和文本框布局到 GUI 类上，并分 别为它们设置对应的监听事件。整个用 户界面设置的事件有 5 种： -精选财经经济类资料- -最新财经经济资料-感谢阅读- 14 （1）分类算法的单选按钮事件 RadioListener1。该事件用于更新文本分 类算法。当用户选择了某种文本分类方 法，那么用户请求监听子系统就会把文 本分类子系统的分类算法设置为对应的 值。 （2）特征选择方法的单选按钮 事件 RadioListener2。该事件用于更新 特征选择方法。当用户选择了某种特征 选择方法，那么用户请求监听子系统就 会把文本分类子系统的特征选择方法设 置为对应的值。 （3）权值计算方法的单选按钮 事件 RadioListener3。该事件用于更新 权值计算方法。当用户选择了某种权值 计算方法，那么用户请求监听子系统就 会把文本分类子系统的权值计算方法设 置为对应的值。 （4）特征维数文本框的内容更 新事件 KeyAdapter。该事件用于检测特 征维数的有效性。如果用户填写的特征 维数不在有效范围内，那么系统就会提 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 15 示特征维数无效。 （5）文本分类子系统激活事件 GUI（GUI 实现了 ActionListener 接口） 。 该事件主要用于执行文本分类子系统的 任务，包括索引训练、特征选择、权值 计算和分类。 用户请求监听子系统的类图，如 图 2 所示，这里略去函数和属性。 32 文本分类子系统 文本分类子系统包括文本预处理、 特征选择、权值计算、文本分类、文本 分类效果测评等，系统流程图，如图 3 所示。 321 文本预处理 文本预处理是文本分类环节中重 要的一环12 。文本预处理的主要目的 是抽取代表文本特征的元数据（特征项） ，一般包括去除标记、去除停用词以及 在特定情况下进行分词处理等工作13。 本系统中，文本预处理主要用于实现中 文文本分词、特征词索引和特征词词频 统计。本文的文本预处理操作，通过将 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 16 中科院分词器 ICTCLAS 整合进 Lucene 平台完善了 Lucene 平台对中文分词的 不足，在利用 ICTCLAS 进行分词后， 用 Lucene 实现后续的去停用词、建立 索引、统计词频等文本预处理操作。为 文本预处理设计的类包括： GUI 类：主要负责前台界面展示 和人机交互控制。 MainText 类：主要设计文本分类 全部流程的接口，包含文本预处理、特 征选择、文本分类的接口。 TermStatistic 类：包含文本分词、 特征词索引、特征词词频统计操作接口。 ICTCLASAnalyzer 类：主要实现 中文文本的分词操作。 Indexer 类：将分词后的单词按照 字典顺序进行索引操作，便于下一步词 频统计。 WordFrequence 类：利用分词和 索引的结果，统计特征词词频，为下一 步特征选择和特征权值计算做数据准备， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 17 运行后生成 wordCount.txt。 用户选择完训练集路径后，用户 监控系统把用户的请求提交给业务逻辑 层，MainTest 类调用函数 setTrainpath 和 getTestpath 分别记录训练集和测试集 路径。当用户点击“ 索引训练集 ”按钮后， 用户监控系统把用户的请求提交给业务 逻辑层，MainTest 类调用类 TermStatistic 对训练文档和测试文档进 行索引。索引完毕后，TermStatistic 的 对象调用 WordFrequence 类进行词频统 计，统计后的结果保存到 wordCount.txt 文件上。 322 特征选择 特征选择用于从原有的特征中提 取出少量的、具有代表性的特征，并替 代原始特征集进行文本分类。在文本分 类中，特征选择是一项很重要的工作， 抽取到的特征项质量的好坏直接影响到 分类的效果14 。本文的文本分类平台 中整合了经典的特征选择方法，包括信 息增益 IG、开方检验 CHI 以及互信息 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 18 MI。其中本文设计的平台设置 CHI 作 为特征选择的默认方法。为特征选择设 计的类包括： GUI 类：主要负责前台界面展示 和人机交互控制。 MainText 类：主要设计文本分类 全部流程的接口，包含文本预处理、特 征选择、文本分类的接口。 FeatureSelection 类：特征选择基 类，在基类上派生具体的特征选择类， 如 CHI-FS 类。 Parameter 类：保存训练文本集、 测试文本集以及新生成特征词及其词频 文件的存放路径。 Method 类：主要包含词频以及 CHI 方法中所需参数。 用户提交请求后，用户监控系统 把用户的请求提交给业务逻辑层， MainTest 类通过函数 setFSType（）来 设置用户特征选择的方法，在执行特征 选择操作之前，先通过 setFeatureNum 函数获取用户设置的特征维数，然后调 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 19 用 FeatureSelection（）函数来执行特征 选择操作。FeatureSelection（）函数通 过变量 FSType 确定调用哪个特征选择 方法类并生成一个实例。假设用户使用 默认特征选择方法 CHI，将特征维数 getFeatureNum（）作为参数传入其中。 通过 Method 类下的 getDocNumInC（） 函数获取训练集中的文本数，通过调用 termCountSum（）函数获取预处理后的 每个类别下的特征项。 323 权值计算 特征权值就是用来表示某个特征 项分类能力的强弱。现行的很多分类算 法都利用向量空间模型（Vector Space Model，VSM ）来进行文本表示，用特 征项和特征权值来代表特征信息15。 本文设计的平台中设置 TF-IDF 作为权 值计算的默认方法。为权值计算设计的 类包括： GUI 类：主要负责前台界面展示 和人机交互控制。 MainText 类：主要设计文本分类 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 20 全部流程的接口，包含文本预处理、特 征选择、文本分类的接口。 TermWeightCalculation 类：特征 权值计算基类，在基类上派生具体的特 征权值计算类，如 TFIDF 类。 Parameter 类：保存文件路径，具体包括： 训练文本集、测试文本集、新生成特征 词、词频以及特征权值计算生成的文件。 用户提交请求后，用户监控系统 把用户的请求提交给业务逻辑层， MainTest 类通过函数 setWeightType（）来设置用户权值计算 的方法，然后调用 TrainWeightCalculate（）函数以及 TestWeightCalculate（）函数来分别执 行训练集以及测试集权值计算操作。 TrainWeightCalculate（）函数以及 TestWeightCalculate（）函数通过变量 WeightType 确定调用哪个特征权值计算 方法类并生成一个实例。 324 分类算法与效果测评 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 21 文本分类算法是文本分类中的核 心问题，也称为文本分类器或分类模型 13。文本分类根据文本的特征和权值， 将文本按照一定的分类规则自动标注文 本类别的过程。作为一个文本分类系统 平台，应整合多种经典的算法，供平台 使用者进行实验对比。由于 Weka 已经 涵盖了大部分的分类算法，本文介绍的 平台上的分类算法是调用 Weka 的分类 算法，其中包括 KNN 算法、朴素贝叶 斯算法、支持向量机（SVM）算法和 J48 决策树算法。其中本文设计的平台 设置 KNN 为默认的分类算法。为分类 算法设计的类包括： GUI 类：主要负责前台界面展示 和人机交互控制。 MainText 类：主要设计文本分类 全部流程的接口，包含文本预处理、特 征选择、文本分类的接口。 WekaClassifier 类：整合了 Weka 开源平台中大部分文本分类方法的类接 口，调用 Weka 中的类 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 22 IBk、LibSVM 、J48、NaiveBayes ，并根 据 Weka 中的分类算法返回的结果生成 分类器。 Classifier 类：分类算法基类，在 基类上派生具体的分类算法类，如 KNN 类、SVM 类、J48 类以及 BAYS 类。 ArffLoader 类：读取训练文件和 测试文件。 ArrayList 类：输出每一个测试语 料的文本分类测评结果，包括分类结果 和实际类别。 用户提交请求后，用户监控系统 把用户的请求提交给业务逻辑层， MainTest 类通过函数 setClassifierType（）来设置用户分类算 法，然后在 wekaClassifier 类中调用 Classify（）函数来执行分类算法操作。 Classify（）函数通过变量 type 确定调 用哪个分类算法并生成一个实例。通过 ArffLoader 类下的 getDataSet（）函数 获取训练集及测试集文件，通过各个实 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 23 例类的 buildClassifier（）函数进行分类 训练，通过调用 classifyInstance（）函 数及 classValue（）函数获取分类后的 每个测试语料的分类结果，通过 ArrayList 类循环输出分类结果。 4 系统功能测试 采用复旦中文分类语料库作为系 统测试的语料库，选取其中的 9 个类别， 包括 Agriculture、Art、Computer、Economy 、Environment 、History、 Politics、Spac e 以及 Sports。各个类别均有 400 个文 本，按 11 随机分配，训练集与测试 集各为 200 个，数据集共有 3 600 个文 本。本文设计的文本分类系统可在“中 大极天智能信息处理实验室”16上下载， 安装后可对平台的各项功能进行测试。 41 文本预处理 索引训练集和测试集过程中，系 统会对训练语料和测试语料进行分词、 去停用词、索引和统计操作。具体操作 包括：对每个文档进行切分词操作，并 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 24 对每个特征项评估其词性，从而便于在 去停用词阶段排除某些词性的特征项。 在进行分词处理后，对训练文本集建立 索引，便于后续进行词频统计等工作。 索引结束后系统会输出建立索引所花费 的时间。针对复旦中文分类语料库，1 800 篇训练文档，共花费了 127 910 毫 秒来建立索引；1 800 篇测试文档，共 花费了 237 385 毫秒来建立索引。 42 特征选择 任意选择平台上一种经典的特征 选择方法，输入特征维数然后点击“特 征选择”按钮，后台运行特征选择操作， 在系统平台结果区会出现经过特征选择 后被选出的特征项列表。以特征维数 600 为例，分别利用 CHI、IG、MI 进行 特征选择操作，得到前 20 个特征词如 表 1 所示。 观察各个特征选择方法得到的前 20 个特征词可知：CHI、IG 得到的特征 词较为类似，而 MI 与 CHI、IG 的特征 词差别较大。 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 25 43 权值计算 选择权值计算方法，进行“训练 集权值计算” 和“ 测试集权值计算 ”，运 行完成后生成相应的训练集与测试集的 arff 格式文件，以供分类算法环节使用。 以特征维数为 600 的 CHI 特征选择方法 为例，利用 TF-IDF 进行特征权值计算， 得到 TrainSetTFIDF.arff 和 TestSetTFIDF.arff，分别包含了各个训 练文本和测试文本的向量空间，如图 4 所示。 44 分类算法与效果测评 任意选择分类算法进行文本分类 操作，在系统平台结果区会输出各个测 试文档的分类情况，包括分类结果以及 实际类别；界