《微博热点话题的文本特征研究的相关理论与技术》9100字

微博热点话题的文本特征研究的相关理论与技术综述目录TOC\o"1-2"\h\u11590微博热点话题的文本特征研究的相关理论与技术综述 194251.1热点话题发现相关概述 128341.2文本预处理 2231271.1.1中文分词 2277401.1.2文本去停用词 3258511.3文本表示 493471.3.1基于向量空间模型的文本表示 424151.3.2基于主题模型的文本表示 5207521.3.3基于词嵌入模型的文本表示 5133581.4文本特征选择及相似度计算 8177331.4.1文本特征选择 8269701.4.2文本相似度计算 989571.5传统聚类方法 1016543（1）基于划分的聚类算法 114999（2）基于层次的聚类算法 1113596（3）基于密度的聚类算法 1226725（4）基于图论的聚类算法 124512（5）基于网格的聚类算法 1227424（6）基于模型的聚类算法 13173381.6频繁词集相关概述 1373061.6.1频繁词集相关理论 13298111.6.2频繁词集挖掘算法 141.1热点话题发现相关概述话题检测与跟踪技术(TopicDetectionandTracking，TDT)最早由美国国防部高级研究计划署等提出，TDT作为一种信息处理技术，其主要任务是对文字形态的新闻媒体信息流进行分割，自动检测出不同的新闻事件，在提取出新话题的同时，将以某种合适的方式将检测出的话题呈现给用户。话题检测任务作为TDT的主要任务之一，其目的是识别出系统预先未知的新兴话题并对话题进行展示。在该类任务中，首先对预处理后的文本进行建模，转化成计算机能够处理的表示形式，而后采用合适的聚类算法对文本进行聚类，以获得不同的聚类簇，同时达到簇内内容紧密相关，簇间内容明显分离的效果，并且每个聚类簇表达一个独立的话题[30]。目前，话题检测技术被越来越多的应用于微博、论坛等社交网络平台中，是网络舆情的重要研究方向之一。微博热点话题发现作为微博舆情研究中的重要环节，也是在话题检测任务的基础上进行的。对于发现的话题结果，以某种合适的方式对话题进行热度评估分析，从而得出热点话题作为微博舆情的重要参考。综上所述，微博热点话题发现的一般流程如图2-1所示。图2-1微博热点话题发现流程图Fig.2-1Flowchartofhottopicdiscoveryonweibo微博热点话题发现的流程首先是微博数据的采集，主要是利用爬虫等方法从新浪微博上爬取微博数据，并对数据进行整理与存储；为了得到规范的数据集，随后进行数据预处理，包括中文分词及去停用词；接着进行文本特征提取，以方便后续聚类研究；之后通过构建文本表示模型对处理好的微博数据集进行文本表示，利用聚类算法对微博文本聚类形成话题簇，最后通过热点话题评估方法得到最终所研究的热点话题。1.2文本预处理1.1.1中文分词句子中文分词是数据预处理中非常重要的一个环节，中文句子不同于英文句子以单词之间的空格作为自然分隔符，仅仅根据空格或标点符号就能对英文句子进行切分。在中文等自然语言中，词与词之间紧密相连没有类似空格的区分标志，因此，中文分词要比英文分词复杂很多，需要用中文分词技术将中文句子分割成若干个有意义的词汇，例如“推动线上消费规范健康发展”的分词结果为：“推动/线上/消费/规范/健康/发展”。目前主流的中文分词方法主要包括：基于字符串匹配的分词方法、基于统计的分词方法和基于理解的分词方法[31]三大类。（1）基于字符串匹配的分词方法又叫字典匹配法，该方法需要借助外部的中文词库作为匹配的词典，按照一定的策略将待分词的文本与词典中的词语一一进行检查，将检查结果相同的字符串划分为一个词。这种分词方法中，词典的质量将会直接影响到分词结果。（2）基于统计的分词方法不用预设好分词词典，而是计算相邻字符在语料中的共同出现频率，并由此来判断该字符串是否为一个词语，如果相邻字符在语料中同时出现的概率越大，则表明它们组合为一个词的可能性也就越大。该方法用到的典型模型有n元语法模型、条件随机场模型和隐马尔可夫模型等。（3）基于理解的分词方法基本思想是通过储备大量的人类语言知识，让计算机在充分学习到句子的语法语义信息，模拟人类在正常交流中对句子的理解，来实现计算机自动中文分词。由于汉语复杂又难懂，具有一定的语言特殊性，因此基于理解的分词方法目前还处在研究实验阶段。随着我国对中文分词方法的不断研究与探索，已经出现了一些技术成熟且应用广泛的中文分词工具，例如清华大学的THULAC汉语词汇分析工具包，中国科学院计算所开发的NLPIR/ICTCLAS汉语分词系统，以及基于python语言实现的jieba分词等。Jieba分词凭借其精确度高、速度快的特点在国内被研究者广泛应用。因此，本文使用jieba作为中文文本的分词工具。1.1.2文本去停用词停用词主要是指在自然语言中具有一定功能但没有具体价值的字词。主要分为两类，一类是在文本出现过于频繁，同时又没有太多实际含义的词，比如中文中的“表示”、“就”、“我”等词在大多数文本中都会出现，对文本处理造成一定的干扰。第二类主要是一些语气助词、非语素词、连词等，比如“的”、“了”、“这”、“吗”等。这些词不对句子意思起关键作用，反而会增加句子维度，不利于后续分析，因此需要对这两类词进行删除，从而减少存储空间，提高文本分析效果。常用的去除停用词的方法是构建停用词表，也就是停用词语列表[32]，然后依次扫描文本数据分词结果的每个单词，和停用词表进行比对，将包含在停用词表中的文本词语进行剔除，直到文本数据中的所有单词比对完为止。目前，国内已经有多个针对中文文本的标准停用词表，如哈工大停用词表、百度停用词表[33]等。1.3文本表示计算机是不能读懂文字的，因此我们需要对文本特征进行处理和转化，将文字形式的文本转化为计算机能够识别的二进制形式，即文本表示（TextExpression）。文本表示的合适与否直接关系到后续话题发现的效率和准确率，因此，文本表示模型的选取是非常重要的环节。目前，主流的文本表示方法大致可以归纳为基于向量空间模型、基于主题模型和基于词嵌入模型的文本表示方法。1.3.1基于向量空间模型的文本表示向量空间模型（VectorSpaceModel,VSM）最初由Salton等人[34]提出，并逐渐在文本分析中得到了广泛应用。向量空间模型将文本数据集映射到多维空间向量实现文本表示，向量的每一个维度代表文本的一个特征词。假设语料库中有文本集合，每个文本由个特征词表示，根据每个特征词在文本中的重要性赋予其一定的权重，则文本可以建模为的形式。其中特征词权重计算方法目前应用最为广泛的是TF-IDF，某个特征词的TF-IDF权重值越大，表明该特征词在其所在文本中的重要程度越大，同时对文本间的表征能力也就越强。文本向量空间模型如图2-2所示。图2-2文本向量空间模型Fig.2-2Textvectorspacemodel向量空间模型利用TF-IDF权重机制将文本转化为向量，以向量之间的距离来表达两个文本之间的相似性。但该模型在实际使用的时候也有一些困难之处，如果表示文本的特征词太多，在计算时会导致矩阵维数灾难。此外，向量空间模型基于特征词之间相互独立性假设，未考虑特征词与其临近词之间的共现关系，忽略了文本上下文的语义信息。1.3.2基于主题模型的文本表示主题模型（TopicModel）主要应用在自然语言处理领域的文本语义分析与挖掘，该模型是在文本和特征词之间增加一层主题层，利用文本间词的共现信息来发现海量无监督语料中的抽象主题。一篇文章中某些经常出现的特定词语往往代表了这篇文章的中心思想，主题模型从概率生成模型的角度来对文本进行表示。传统的隐含狄利克雷分布（LatentDirichletAllocation,LDA）作为一种主题概率分布模型，在使用前要先用向量空间模型对文本进行表示。LDA模型包含文档、主题、词三层结构，并基于狄利克雷分布抽样生成文本的主题分布和主题的词分布，选择主题分布进行文本表示。主题模型作为一种典型的词袋模型，主要是利用了文档级的词共现信息，并没有考虑特征词之间的位置及语序关系，再加上短文本的数据稀疏性，导致主题模型无法实现对文本准确表示。1.3.3基于词嵌入模型的文本表示词嵌入（WordEmbedding）的概念首次由Rumelhart等人[35]提出，通俗来讲，词嵌入就是指将一个词语（word）转换为一个向量（vector）表示，在自然语言处理中，词嵌入几乎是所有研究的基础。词嵌入将文本特征词以词向量的形式表示，充分考虑了的特征词汇之间的语法关系和语义信息，尤其在短文本上的表现要远远由于TF-IDF等传统的文本表示方法。随着深度学习的发展，利用神经网络做文本特征抽取受到越来越多研究者的关注，很多用于训练词嵌入向量的模型被提出。词嵌入可将词的特征映射到较低的维度，例如语料库中的所有特征词可以用256维特征来描述，使用模型参数更少，训练更快。目前主流的词嵌入模型为Word2vec模型和BERT模型。（1）Word2vec模型。Word2vec是在2013年由Mikolov等人[36]提出的一种词嵌入方法，其核心思想是根据词语在语料库中与其前后相邻的若干个词信息，为每个词语训练一个相同维数的特征向量。Word2vec包含CBOW[37]和Skip-gram[38]两种训练模型，其原理示意图如图2-3所示。图2-3Word2vec两种模型Fig.2-3TwoWord2vecmodelsCBOW和Skip-gram的共同之处在于都是由输入层、投影层和输出层三层组成，并且都是根据句子中相邻的词的上下文关系，来完成神经网络的训练，以获得最优向量表示。但它们的预测过程却是相反的，CBOW模型是通过在给定的特征词前后各取个词来预测当前这个目标词汇。与CBOW相反，Skip-gram模型是已经知道目标特征词信息来推测这个词周围可能出现的个词。虽然Word2vec的出现对自然语言处理的发展有着很大贡献，但是word2vec的不足之处是一个词语对应一个特定的向量，导致一词多义的问题难以避免。再加上Word2vec作为一种静态方式，不能根据具体的任务做动态调整，学习到的语义信息也被窗口大小所限制。（2）BERT模型。BERT预训练语言模型由谷歌AI团队在2018年提出[39]，是一个百层左右的神经网络，能够利用超大规模无标注语料进行模型参数学习。对比起之前的预训练模型如ELMo[40]、OpenAIGPT[41]，BERT融入了更多的语法和词法，捕捉到的是真正意义上的双向上下文信息，在NLP领域的问答类任务、序列标注任务、单句分类任务等11个方向大幅刷新了精度，引起了一波新的研究热潮。BERT模型的结构如图2-4所示。图2-4BERT语言模型结构Fig.2-4BERTlanguagemodelstructureBERT预训练语言模型抛弃了传统的RNN和CNN网络结构，采用Transformer[42]编码器作为模型核心结构。Transformer作为一种新的编码-解码方式，由6个编码器（Encoder）和6个解码器（Decoder）堆叠而成，有着超强的文本表征能力和并行计算能力，是目前自然语言处理领域非常流行的网络结构。BERT主要借助Transformer的Encoder部分来对语言模型进行训练，获得包含丰富语义信息的文本向量化表示，每个单元主要包含自注意力机制和前馈神经网络两个子层。Transformer-encoder的结构如图2-5所示。图2-5Transformer-encoder结构图Fig.2-5Transformer-encoderstructurediagramTransformer-encoder中最重要的部分就是自注意力部分，自注意力模型通过在序列内部做attention，来寻找序列内部之间的联系。self-attention作为attention的特殊形式，使BERT不仅具备了RNN提取长距离依赖关系的能力，同时拥有了CNN提取输入序列中每个词特征时并行计算的能力。此外，BERT模型还提出了两个自监督任务来提高语义表征能力：（1）掩码语言模型（MLM）任务。该任务是在训练的时候随机将输入语料中15%的词进行标记，并在这些标记的单词中以80%的概率会直接被替换为特殊标记[Mask]，10%的概率会用从语料中任意抽取的单词所代替，剩下10%的概率会保留原来的词不变，然后通过上下文预测被遮盖的词。（2）句子连贯性判定（NSP）任务。该任务是判断某个句子是否是另一个句子的下文，具体做法是，选择若干句子对A和B，其中50%的句子B是A的下一个句子，其余50%的句子B是数据集中任意选择的，通过迭代训练学习到其中的关联性。与传统循环神经网络相比，BERT模型使用双向Transformer对目标单词进行上下文特征信息提取，能够较完整地保存文本语义信息；同时BERT模型能充分利用上下文信息动态调整文本句向量，可以有效解决一词多义的难题，在某种程度上，可以进行同义词的区分。最为一个Word2vec的替代者，BERT模型是在Word2vec模型的基础上进一步强化字（词）向量模型的泛化能力，充分挖掘字符级向量间的关系特征，同时，BERT以字为单元进行训练，在一定程度上克服了Word2vec所面临的未登录词难题。1.4文本特征选择及相似度计算1.4.1文本特征选择所谓特征选择，是指在不改变原有分析结果的前提下，将所有的特征项按照一定的规则进行筛选，选择一部分具有代表性的特征项，降低计算分析的复杂度。目前常见的文本特征选择方法主要分为TF-IDF和TextRank等无监督方法和卡方统计、信息增益、互信息等[43]有监督方法。下面主要介绍TF-IDF和TextRank两种方法。（1）TF-IDF方法TF-IDF是一种基于统计学的简单有效的特征选择算法[44]。TF-IDF采用统计词频的思想，来衡量一个字或词语对于一个语料库中某个文件或一个文件集的重要性。具体计算公式如(2-1)~(2-3)所示： (2-1) (2-2)其中，在公式(2-1)中，分子为某个特征词在文本中出现了多少次，分母为文本中总共有多少个特征词。在公式(2-2)中，为数据集中所有文本总数，表示在数据集中包含词语的文本数量。则词的权重如公式(2-3)所示： (2-3)（2）TextRank方法TextRank是在PageRank的基础上提出的一种基于图排序的算法[45]，TextRank作为一种无监督方法，不需要训练语料就可以方便实现特征词提取，适用于多种不同的场合。TextRank的实现原理为，通过构建一个词汇网络图模型，利用多次迭代的方式计算每个词语的TR值，将排名靠前的词语作为关键词。词语的TR值计算如公式(2-4)所示： (2-4)其中为阻尼系数，、为词节点，为指向的节点集合，为由发出所指向的节点集合，、分别为节点到、到边的权重。TextRank算法实现流程为，在文本预处理之后得到个候选关键词集合；然后构建一个候选关键词网络图，其中是节点集；利用公式(2-4)求得每个节点的TR值作为权重值，重复计算直到收敛；最终将得到的权重值从大到小进行排列，取权重值最大的前个的节点所对应的词作为特征词。1.4.2文本相似度计算在文本聚类的实现过程中，文本相似度计算[46]是非常基础而关键的一个任务。在拼写纠错、推荐系统、命名实体识别、自动应答、机器翻译等方面有着深入而广泛的应用。文本距离与文本相似度是两个相反的概念，两个文本对象之间距离越小，则它们“离得越近”，相似度也就越大。在聚类算法执行过程中，两个文本数据对象之间的相似度决定了它们能否被划分为一个类簇。（1）欧氏距离欧氏距离也叫欧几里得距离[47]，表示的是两个点在欧式空间中的直线距离。对于两个向量化表示后的文本和文本，其欧氏距离计算公式见(2-5)所示： (2-5)（2）余弦相似度在数学几何中，两个向量的夹角余弦值可用来度量它们之间方向的差异；而在自然语言处理中，对文本数据进行向量化表示，将向量根据坐标映射到向量空间后，也可以借用余弦相似度来度量两个文本数据向量之间的差异。对于文本和文本，它们的夹角余弦值越接近于1，意味着二者夹角越小，相似度越高。其计算公式见(2-6)所示： (2-6)（2）Jaccard距离Jaccard距离采用的是集合操作，可以用来衡量由符号或布尔值构成的集合之间的差异性[48]。如果两个文本不是采用向量化数值表示形式，而是用特征词集合来表达，则使用Jaccard距离来计算文本之间的相似度最合适不过了。对于给定的由特征词表示的两个文本X、Y，其Jaccard距离可以用两个文本所含的特征词交集个数和并集个数的比值来表示，具体计算公式见(2-7)所示： (2-7)1.5传统聚类方法近年来，聚类技术在自然语言处理文本分析领域的研究变得越来越广泛而深入。聚类不同于分类任务，聚类是一种无监督的机器学习算法，其主要任务是将无标签的文本数据按照一定的规则划分为若干个互不相交的类簇，簇内文本相似性较高，对应着同一个概念，簇间文本相似性较低彼此互相分离。目前，常用到的聚类算法主要有如下六种。（1）基于划分的聚类算法基于划分的聚类算法基本原理是，给定个数据点的数据集合，根据一定的规则构建数据集合的个划分，每个划分代表一个类别。每个类别最少要有一条数据记录，并且每条数据记录只属于一个类别。典型的划分聚类算法是K-means算法[49]，具体算法描述如算法2-1所示。算法2-1K-means算法Algorithm2-1K-meansalgorithm输入：聚类数目，包含个文本的文本集输出：个簇划分Begin在数据集中任意选中个初始聚类中心，记为；计算每一个数据点（除去个中心）到初始聚类中心的距离；将分配到与其距离最近的聚类中心所在类簇中；更新聚类中心点；循环步骤2-4，直到每个聚类中心点都不再变化，则聚类算法结束。EndK-medoids算法是K-means算法的一个变种，两者主要在中心点的选择上有所不同，K-medoids算法是从样本点中进行选取，选择一个到其他所有点的距离和最小的点作为中心点；而K-means算法是用当前簇中所有样本点均值作为中心点。其中，K-medoids善于处理离群点，且对噪声鲁棒性比较好。基于划分的聚类算法实现简单，易于理解；但需要在算法启动前人为设定聚类数目，不同的值得到的聚类效果相差很大，并且结果的优劣依赖于对初始簇中心的选择，不同的选取方式会得到不同的聚类结果，容易陷入局部最优解。（2）基于层次的聚类算法基于层次的聚类算法通常包含凝聚的(自底向上)和分裂的(自顶向下)两种方法。凝聚的层次聚类算法是最开始将每一个对象都当作初始簇，之后根据某种预定好的规则迭代地合并这些初始簇，成为越来越大的簇，直到全部的对象都被划分在一个簇中，或达到结束条件停止。分裂的层次聚类算法是开始将全部的对象放在一个簇中，该簇作为层次结构的根，然后通过计算类簇之间的距离，递归式地逐渐细分为越来越小的簇，直到最底层的簇都足够凝聚，即仅包含一个对象或者簇内对象彼此充分相似为止。两种方式不同的层次聚类过程如图2-6所示。基于层次的聚类算法能够适应任何数据集的处理，并且对于样本的输入顺序是不敏感的，具有较高的文本划分准确率。但是层次聚类的处理复杂，需要进行大量的计算。聚类的结果也和聚类的合并点和分裂点有着很大的关系，往往将它与其他聚类方法配合使用。代表算法有BIRCH、CURE等。图2-6两种方式层次聚类过程图Fig.2-6Two-wayhierarchicalclusteringprocessdiagram（3）基于密度的聚类算法基于密度的聚类算法基本思想是，在由所有样本形成的整个数据空间中，把每个类簇看作高密度区域（稠密区），该区域由很多稠密样本点构成，并且被一些低密度区域（稀疏区）所分开。利用该算法从数据的总体布局出发，利用样本点在数据空间中的稠密程度进行聚类，具体实现为，逐一判断每个区域中的样本密度是否超过预先设定的一个阈值，如果满足，则将该样本划分到离它距离相近的结果簇中，最终实现过滤低密度区域，发现稠密样本。代表算法有DBSCAN、OPTICS等。（4）基于图论的聚类算法基于图论的聚类算法是首先建立与问题相符合的图，然后找到数据的最小单元，将其作为图的节点，为了处理数据的局部特性，每对最小处理单元数据之间都有一个相似性度量标准，即利用图的边来判定最小处理单元数据之间的相似性。基于图论的聚类算法的一个优点是把聚类变换为组合优化模型，然后通过图论并结合相关启发式算法进行处理。谱聚类和AffinityPropagation（AP）聚类均是基于图论聚类的聚类算法，这两种算法的基本原理及实现流程分别在之后的第三章、第四章进行阐述。（5）基于网格的聚类算法基于网格的聚类算法以单个的数据单元为对象，从对数据空间划分的角度出发，将其划分成独立于数据点的有限个单元，这样便形成了一个类似于网格的结构，为聚类提供可操作的网格空间。这种方法的主要特点是处理速度和网络空间的单元数存在一定的关系，而和数据点的数量没有关系，因此，能够处理海量的数据集。这种方法虽然有效地提高了运算效率，但同时也牺牲了聚类结果的质量。代表算法有STING、Wave-Cluster等。（6）基于模型的聚类算法基于模型的聚类算法会给每一个数据集分布假定一个模型，然后通过某种统计方法找出与这种数据分布相符合的概率模型。一般这种方法的处理步骤是，对于输入数据，会通过如采样、回归等为每一种聚类假设选择一个模型，然后从已有的输入中，选择一组能够很好满足这个模型的数据集。从而根据模型找到数据集中的不同类簇。一般的模型包括各种密度分布函数如狄利克雷分布、贝塔分布等。这种聚类算法仍处于研究探索阶段。1.6频繁词集相关概述1.6.1频繁词集相关理论关联规则(AssociationRules)是形如的表达式，反映的是某个事物与另一个事物之间的相互关联性和依存性。关联规则的典型例子就是我们熟知的“购物篮事务”，如表2-1所示。表2-1购物篮示例Tab.2-1ShoppingbasketexampleTID项集1{面包，牛奶}2{面包，尿布，啤酒，鸡蛋}3{牛奶，尿布，啤酒，可乐}4{面包，牛奶，尿布，啤酒}5{面包，牛奶，尿布，可乐}表2-1中每一行由一个标识符和顾客购买的物品组成，从表2-1所示的数据中可以提取出规则：{尿布}{啤酒}，该规则表明尿布和啤酒的销售存在一定的关联性，因为许多购买尿布的顾客也购买啤酒。尿布和啤酒一起购买的行为方式，就可以使用关联规则来进行分析，即形如“由于某些事件的发生（买尿布）而引起另外一些事件（买啤酒）的发生”之类的规则。关联规则常常用于从整个数据集中挖掘出一些有意义事物之间存在的某种关联关系，在我们的生产生活中有着广泛的应用。频繁项集挖掘是一项基于关联规则的数据挖掘研究内容。这里我们有定义，设为一组不同元素的集合，集合中的每个元素称为数据项。记为的集合，，其中被称为一个事务，并且把称为上的数据集。每一个