文本信息处理技术

第三章文本信息处理技术第三章文本信息处理技术

自动标引技术

1

标引词加权方法2

自动分类技术3第一节自动标引技术

自动标引的含义

一

自动标引的流程

二

中文自动标引

三一、自动标引的含义1．自动标引的定义文献标引：指对所收集的文献给出标识导引，这些标识包括文献标题、作者名、分类号和主题词等。文献标引作业包括：文献文本分析；特征信息（主题词、关键词及其他标识）的提取与描述：建立索引或倒排档。自动标引（automaticindexing）：“自动标引就是用机器抽取或赋予索引词，一旦编制好程序和规则，就不需要人工干预。”

一、自动标引的含义2、自动标引的类型

从标引工作的自动化程度来说，自动标引分为：全自动标引（automaticindexing）；半自动标引（机助标引：Automatedindexing）。半自动标引基本技术实现是：（1）文献纪录（题目等著录项目）键入终端后显示在荧光屏上；（2）操作人员移动光标从题目中抽取关键词；（3）利用人机对话方式输入与标题内容有关的隐含概念词，以保证主题标引的全面性；同时删除计算机程序错误组配的词。（4）根据词库中的参照系统将关键词转换成标准主题词，进行上位登录。词库是计算机辅助标引的核心。从标引词的来源去划分，自动标引分为：自动抽词标引；自动赋词标引一、自动标引的含义（3）自动抽词标引（自由词标引）定义：利用计算机直接从文献题名、文摘或正文中自动抽出能表达文献主题的词作为标引词，并自动生成关键词索引或倒排档。类别：主关键词标引：要求计算机从抽出的全部关键词中选出少量主要关键词做索引词。全关键词标引：把除停用词以外的全部关键词抽出，直接做索引词。抽词标引的标引词只能来源于文献本身的文内关键词，所以也称为自由词标引。优点：无需主题切换，接近自然语言。缺点：标引用词不规范，影响查全率；同义词检索降低系统的时间效率；难以找出词和词之间的相互关系，很难进一步利用语义信息。一、自动标引的含义（4）自动赋词标引（受控词标引）定义：让计算机模仿人的赋词标引方法，分析文献的内容，选取与文献主题相符或密切相关的语词符号作为索引词。其标引词是由描述词组成的，这些词不一定来源于文献本身所用的词，而是选自预先编制的词表，所以叫受控词标引。优点：规范化用词词表可以反映词的“类－属”关系。缺点：受控词标引往往有一定的标引误差；词典面临老化的问题；主题词表对用户来说往往是一个负担；自动赋词标引是在自动抽词标引的基础上发展起来的。最合理的标引方法：混合标引方法二、自动标引的流程在手工标引中，标引员的一般工作流程是：阅读待标引文献分析文献内容提取文献主题概念用语词符号或语句去表达主题概念使表达规范化（转换为受控词）编制索引款目将全部索引款目汇集和编辑为索引或文档。二、自动标引的流程篇章语句语句段词加权选词规范化标点符号停用词表词频阈值转换123词主题词典索引生成三、中文自动标引1、汉语分词与中文自动标引分词：就是把一个句子按照其中词的含义进行切分。抽词：信息检索系统中所涉及的“分词”

——实际上是抽取代表主题概念的关键词。目前比较常用的抽出自由词的方法有两种：词典匹配标引法；单汉字标引法。词典匹配标引法的步骤：利用停用词表将语句分为语句段（子字串）；利用主题词典（或关键词典）将语句段分为词；三、中文自动标引2．停用词表及其切分原理（1）停用词及停用词表的概念根据文本中词的检索意义，可以对它们做一个简单的分类：检索词（检索入口词、入口词、标引词）：表示具有检索意义的词，一般为实词（多数是名词、动词等）。停用词（禁用词、非用词）：在文本中没有检索意义的词，多是一些虚词（如介词、叹词、连词等）。所谓停用词表，是一种特殊的词表，在这个词表中含有冠词、虚词、叹词、连词、介词以及语义泛泛的词等一切在上下文中没有检索意义的词。三、中文自动标引2．停用词表及其切分原理

（1）停用词及停用词表的概念对于特定专业而言，可以将停用词表内部的词基本上可以分为两大类：通用性较强的停用词；通用性不强的停用词。停用词的特点：停用词语义变化不大，数量小（<1/10），出现频率高；停用词表的搜集要坚持完备性原则。三、中文自动标引2．停用词表及其切分原理

(2）利用停用词表的切分原理利用停用词表进行切分的基本原理：把停用词表中的词与要进行切分的文本各字段（标题、文摘、全文等）依次进行匹配，当文本中经过这样的处理后，删除那些与停用词匹配成功的词，这样文本自然就被切分成若干段。西文，切分以后的段就是检索入口词（标引词）。中文：切分以后的段中包含着所有完整的词或词组。使用停用词进行切分所完成的工作量大约占整个切分工作量的50%。三、中文自动标引2、抽词词典与抽词方法（1）抽词词典词典切分标引的实现思想是：构造一个机内词典（有主题词典、关键词典等）然后设计各种算法用文献数据去匹配词典，文献中的词在词典中出现，即表示为标引词，进行文献的标引处理。根据机内词典的不同具体形式，词典标引法又分为：主题词表法；关键词词典法；三、中文自动标引2、抽词词典与抽词方法（1）抽词词典词典法的核心是构造一个词典。优点：：1）查全率、查准率高；2）可以扩检、缩检。缺点：1）由于收词量巨大；2）收全所有可能的词十分困难；3）占用存储空间量大。根据词典进行抽词显然它只适应于某些特定的领域。三、中文自动标引2、抽词词典与抽词方法（2）汉语抽词词方法机械抽词（分词）的基本思想是：对给定的待分词的汉字串s，按照某种确定的原则切取s的子串，若该子串中与词库中的某词条相匹配，则该子串是词，继续分割剩余的部分，直到剩余部分为空；否则，该子串不是词，转上重新切取S的子串进行匹配。机械匹配法中有三种基本成分：是切分的方向有正（或顺）向和逆向之分；每轮匹配的结果是最大还是最小匹配；每一轮匹配是在不断的增字或不断的减字中完成的。三、中文自动标引2、抽词词典与抽词方法（2）汉语抽词词方法正向最大匹配法（亦称MM法）；基本思想是：假定自动分词词典中的最长词是x个汉字，则用被处理材料当前字串序列中的前x个字作为匹配字段，查找词典，若词典中存在这样的一个x字词，则匹配成功，匹配字段作为一个词被切分出来，如果在词典中找不到这样一个x字词，则匹配失败，将匹配字段的最后一个字去掉，对剩下的字段重新进行匹配……如此进行下去，直到匹配成功，切分出一个词为止。正向匹配、长度优先。第二节标引词加权方法一、加权概念和类型词的权值一般表示该词的重要程度。权值的特征：一般取值在0～1之间。将0~1之间的一个数值赋予特定的词以表示其重要程度，就是“加权”。信息检索中的词的加权有两种：检索词加权；标引词加权。

第二节标引词加权方法一、加权概念和类型

标引词加权：就是根据标引用词（符号）所代表的内容在文献中的地位和作用的大小（或说与文献的亲疏程度）给予这些词（符号）以相应的数值。词频加权法（绝对频率加权法、相对频率加权法）；词位置加权法；其他加权的方法。二、绝对频率加权法1齐普夫定律——词频分布定律词频：是指某一个单词在文章中出现的次数。Zipf定律：如果把一篇较长文章（>5000）中每个词出现的频率统计起来，按照高频词在前、低频词在后的递减顺序排列，并用自然语言给这些词编上等级序号，即频次最高的词的等级为1，频次次高的等级为2，……，频次最小的词等级为D（或L），若用f表示等级为r的词在文献中出现的相对频次，则有：fr·r＝C（C是一个常数，大约等于0.1）.齐普夫分布曲线：如果用横坐标表示词的等级序号r，纵坐标表示相应的频次fr，我们就可以得到一条双曲线，即齐普夫分布曲线。二、绝对频率加权法2Luhn的自动标引思想词的分辨力的概念：它是指词的识别文章内容的能力。Luhn的思想：文献中每一个词都有一定的分辨能力，而这种能力与词出现的频率有密切的关系。一般讲来：词频过高的词一般多为仅起语法作用而无实际内容的功能词，或为一些语义泛泛而专指性不高的词；而词频过低的词，在文献中很少出现，其分辨能力也很低；只有词频适中的词的分辨力较强，他们被称为有效词。I1：文本中仅出现一次的词的数量。二、绝对频率加权法2Luhn的自动标引思想基于卢恩思想的词频统计抽词标引法的基本步骤为：（1）抽词；（2）统计分析；（3）筛选。卢恩在自动标引中使用的文献，长度在500～5000字之间，为每篇文献选择的标引词数量定在10～24个词之间。近似平均值为16。三、相对频率加权法1、文内相对频率指某特定词的绝对频数与文中所有词的绝对频数之比。2、文外相对频率加权法文外相对频率：某特定词在一批足够多的文献集合中的出现频次的平均值。加权的步骤为：建立有关领域全部词汇的文外相对频率表；对待标引的文献进行处理，排除停用词，计算每个实词在特定文献中出现的相对频率；将每个实词在特定文献中的文内相对频次与整个文献集合中的文外相对频率进行比较。三、相对频率加权法三、相对频率加权法3、反（逆）文献频率加权法一篇文献的词大致可以分为：特征词：就是能反映文献的主题内容的词；非特征词：是不能反映文献主题内容的词，只是为了语法或写作风格上的需要才出现的。词k的文献频率：文献集合中包含词k的文献篇数。特征词与非特征词的文献频率特点：非特征词的文献频率一般较高；特征词的文献频率一般较低一个词如果文献频率较低，说明它是特征词；若这个词在某篇特定文献中的出现频率较高，则用这个词可以较好地反映该文献的主题内容。三、相对频率加权法3、反（逆）文献频率加权法逆文献频率加权法基于如下假设：某词的重要性与它在特定文献中出现的频次成正比，而与含有该词的文献量成反比。逆文献频率标引词权重的设计如下：Fik为词k在文献i中的出现频率；DFk为词k的文献频率。标引词的权与标引词的文献频率有互逆关系，因此这种标引加权方法叫“逆文献频率加权法”，根据这种加权方法进行的标引叫“逆文献频率加权标引”。第二节标引词加权方法四、词的位置加权法根据词的位置进行加权的方法称为位置加权法。1）标题2）文摘3）首尾章节

4）章节的首尾段5）段落的首尾句部位权值主标题中词汇2其他标题中词汇1.8文摘中的词汇1.6首尾章节词汇1.3首尾段（句）词汇1.1其他位置词汇1.0五、其它加权的方法1)词性2)词本身的价值3)词的长度4）词的特定位置，如：文献中用括号括起来的部分：ISDN(综合业务数据网)；用破折号引出来的部分，“数据的自动识别输入——条码技术”；用“所谓”所引出的部分，如“所谓的预置关键词”，其中的实词往往也应当给予特别的加权。5）词的颜色、字体等第二节标引词加权方法六、加权检索技术

1检索词加权与检索检索词加权：检索者根据检索需求的理解确定检索词，同时给提问中的每一个检索词（概念）给定一个数值以表示其重要程度，即“权”。。检索词加权检索：在检索过程中，对每个检索词首先查找其检索词在数据库记录中是否存在，然后对存在的检索词计算权值总和。只有当数据库记录的权值之和达到或超过预先给定的阈值时，该记录才是命中记录。第二节标引词加权方法六、加权检索技术

1检索词加权与检索例题：以“住房补贴政策”为检索课题，给检索词分别赋以权值为：住房=4、补贴=5、政策=3，阈值T=5设有文献如右：文献号标引词1住房，补贴，政策2住房，补贴3补贴，政策4住房，政策5补贴6住房7政策8第二节标引词加权方法六、加权检索技术

1检索词加权与检索词加权提问逻辑的优点和不足分析：优点：通过加权，明确了各检索词的重要程度，使检索更具有针对性；只需列出检索词，不必写出提问式（不必定义检索词间的逻辑关系）。不足：权值、阈值的确定具有主观性；加权是对概念加权，而非对具体的词进行加权，故同义词、相关词权值的确定问题。第二节标引词加权方法六、加权检索技术

2、标引词加权与检索标引词加权：根据标引词在文献中重要程度不同，为它们附上不同的权值。具体内容如上所述。标引词加权检索：在检索时，检索者给出检索词阈值和检索阈值，对于那些满足检索阈值的检索结果，按照权值之和从大到小依次输出。设定检索阈值：给每个检索词指定一个阈值；给总的检索结果指定一个阈值。第二节标引词加权方法六、加权检索技术

2、标引词加权与检索例：设已知：用户提问：①检索词为：A、B、C；②检索词阈值：A：0.3；B：0.2；C：0.2；③总阈值：0.5.数据库：第三节自动分类技术

自动分类概述

一

自动聚类技术概述二

文本表示与相关矩阵计算三

等级聚类法、动态聚类法

四

模糊关系及其聚类方法

五

基于聚类文档的检索模型

六一、自动分类概述

1、文本分类的概念定义：自动分类（Automaticclassification）是指利用计算机对一批实体或对象进行分类，包括自动建立分类体系及其自动更新。发展：第一阶段（1958～1964）进行自动分类的可行性研究；第二阶段（1965～1974）进行自动分类的实验研究；第三阶段（1975年至今）进行实用化阶段并在邮件分类、电子会议、信息过滤等方面取得较为广泛的应用。一、自动分类概述

2、文本分类的类别：自动聚类：从待分类对象中提出特征，然后将提出的全部特征进行比较，再根据一定的原则将具有相同或相近特征的对象定义为一类，并设法使各类中包含的对象大致相等；特点是“先有文档后有类”。自动归类：指在给定的分类体系下，分析被分类对象的特征，使之与各种类别中对象所具有的共同特征进行比较，然后将对象划归为特征最接近的一类并赋予相应的分类号。特点是“先有类（表）后有文档”。类号的自动转换：针对多部分类法并存的现状而提出的，有利于分类标准化。一、自动分类概述3、文本分类的步骤文本集合预处理文本标引文本表示特征选择构建分类器结果评价一、自动分类概述3、文本分类的步骤（1）文本预处理即将原始文本进行分词处理并转化为标准格式，需要删除的套话和停用词一般也在这个阶段删除。（2）文本标引通常选择文本中的特征词作为该文本的特征项。

自动分类是建立在自动标引的基础（3）文本表示即选用什么样的语言要素和用怎样的数学形式组织这些语言要素来表征文本。一、自动分类概述3、文本分类的步骤（4）选择合适的分类方法即：用什么方法建立从文本特征到文本类别的映射关系。现有的主题分类技术主要有3种方法：基于统计的方法：如快速聚类、扁平聚类、层次聚类、支持向量机，等等；基于联结的方法：即人工神经网络；基于规则的方法：如决策树、关联规则等。（5）性能评估即如何评估分类方法和系统的性能。目前使用比较多的分类性能评估指标为查全率和查准率。二、自动聚类技术概述1、定义所谓“文本聚类”（textclustering），就是完全根据文本文档的内容相关性来组织文档集合，将整个集合分成若干个类，并使得属于同一类的文档尽量地相似，属于不同类的文档差别明显。聚类的定义：(文档)聚类是将一系列文档按照相似性聚团成子集或者簇(cluster)的过程簇内文档之间应该彼此相似簇间文档之间相似度不大聚类是一种最常见的无监督学习(unsupervisedlearning)方法。聚类假设：在考虑文档和信息需求之间的相关性时，同一簇中的文档表现互相类似。二、自动聚类技术概述2、类别（1）按照聚类所依据的文本特征基于词语特征的自动聚类；基于非词语特征的自动聚类。基于引文的聚类：“文献耦合”：如果A和B两篇文献共同引证了一篇或多篇参考文献，则称A和B两文献具有引文的耦合关系。其耦合程度可以用“耦合强度”指标来衡量，“耦合强度”的度量单位是A和B共有的参考文献的篇数。“文献同被引”：是指两篇文献被别的文献同时引用，并以共同引用它们的文献数量作为测度，称为“同被引强度”。二、自动聚类技术概述2、类别（2）按照聚类文本归属的不同硬聚类：每篇文档仅仅属于一个簇，很普遍并且相对容易实现。软聚类：一篇文档可以属于多个簇，较复杂。软聚类对于诸如浏览目录之类的应用来说很有意义，比如，将胶底运动鞋(sneakers)放到两个簇中：体育服装(sportsapparel)鞋类(shoes)二、自动聚类技术概述3、聚类步骤“文本聚类”：从待分类对象中提出特征，然后将提出的全部特征进行比较，再根据一定的原则将具有相同或相近特征的对象定义为一类，并设法使各类中包含的对象大致相等。由定义可知聚类的步骤：从待分类对象中提出特征——定义属性（等同于自动标引，所以：自动标引是自动分类的基础）；将提出的全部特征进行比较——计算相关性，形成相关矩阵（大多都是基于经典的向量空间检索模型）；根据一定的原则将具有相同或相近特征的对象定义为一类，并设法使各类中包含的对象大致相等——聚类算法。文本聚类的流程图目标文档集合1、自动标引2、建立文档向量3、构建文档相关矩阵4、聚类处理5、聚类输出二、自动聚类技术概述4、文本聚类的应用文本聚类是一种重要的文本挖掘技术，在文本信息处理系统中，它的价值主要表现在以下几个方面：聚类检索：发现与某文档相似的一批文档，以帮助用户发现相关知识，加快了搜索的速度；检索结果聚类：可以将检索结果文档集合聚集成若干个类，使用滚迅速定位到所需要的信息。信息组织：文档集聚类：提供一种组织文档集合的方法，以便于有效地进行信息的展示（如：信息过滤、信息主动推荐等）；生成分类体系：可以作为一种文本分类的辅助技术，即使用聚类技术可以生成用于文本自动分类的分类体系表。三、文本表示与相关矩阵计算

20世纪60年代末期，GerardSalton（现代信息检索的奠基人），SMART系统。向量空间检索模型：VectorSpaceModel,简称VSM

向量空间模型是用提问词和标引词的向量空间来表示用户的查询要求和文档信息，根据向量空间的相似度，排列查询结果。向量空间方法的基本思想要点是：（1）文档D用标引词的向量表示；（2）查询Q用提问词的向量表示；（3）匹配方法：计算文档向量和查询向量之间的相似度；三、文本表示与相关矩阵计算1．文档向量的构造考虑到一个有n个记录（文献）的集合：D={d1，d2，……dn}

对一条属于该集合的特定的文档记录di，可以用属性向量把它表示成：di＝（ti1，ti2，……tim）di就称为文档向量，其中：m：用于描述这些记录的属性的个数，一般情况下，该属性为主题词；tij：表示文献di中具有属性tj（j＝1，2，……m）的程度。把这种程度用数值的形式表示出来，就是人们常说的“加权”。最简单的情况：若文献di具有属性tj，则tij＝1；否则tij＝0。我们称向量di＝（ti1，ti2……tim）为文档向量。三、文本表示与相关矩阵计算1．文档向量的构造

cij的取值如前所述，可以简单地用1、0来表示，也可以用〔1,0〕之间的数来表示。需要注意的是，如果是后者的话，一般应该有：三、文本表示与相关矩阵计算2．相似度的计算量化地判断系统文档两两之间的相似程度文献相关矩阵D较常采用的相似度计算指标是两个向量夹角的余弦值：1）简单匹配系数：2）余弦系数：三、文本表示与相关矩阵计算

文献属性相关矩阵

文献相关矩阵：三、文本表示与相关矩阵计算文献相关矩阵D：为了表示文献之间的相关关系，分别计算C矩阵中第i行与第j行之间的相关系数dij，由〔dij〕构成的一个n×n的矩阵就称作文献相关矩阵。当C矩阵中的值取1和0时，dij＝k，说明这两篇文献中有k个相同的标引词。矩阵中dij元可以理解成第i篇文献与第j篇文献包含的属性词的重复面的大小，dij越大，说明第i篇文献与第j篇文献包含的相同主题越多，因此两篇文献的相关程度也就越大。

三、文本表示与相关矩阵计算

2．相似度的计算在聚类分析中，对象相似性的指标大致可分为二类：距离指标：常用的距离指标有：绝对值距离、欧式距离和切比雪夫距离。相似系数。常用的相似性指标为：余弦系数、皮尔逊积差相关系数、重叠系数、雅克比系数等。四、等级聚类法和快速聚类法1等级聚类的概念等级聚类又称为分层聚类、层次聚类、系统聚类、谱系聚类，是一种可以利用谱系结构或树状结构图来描绘聚类过程的方法，也是进行聚类分析时应用最多的方法。特别适用于对小样本场合（样本量在100以内比较合适）。四、等级聚类法和快速聚类法1等级聚类的概念等级聚类可以分为分解法和凝聚法：分解法(Top-down)：在聚类开始时，将所有的文献都看成是一类，然后再根据距离或相似性，不断进行分解，直到每篇文献都自成一类为止。凝聚法(Bottom-up)：聚类开始将每篇文献看成一类，然后再根据距离或者相似性，不断进行合并，直到将所有文献都归结为一类为止。四、等级聚类法和快速聚类法2凝聚法以凝聚法为例，分层聚类的主要步骤有：将每篇文献视为一类，选择度量距离的方法，计算点与点之间的距离，并将最近的两篇文献聚为一类；选择计算类与类之间距离的方法，计算类与类之间的距离，并将最近的两类进行合并；如果合并后的类数大于1，继续进行类与类之间的合并，直到所有文献合并为一类；绘制等级聚类的谱系图，并根据研究目的、相关的专业理论等选择确定最后的分类结果。上述整个合并的历史是构成一个二叉树，四、等级聚类法和快速聚类法3类（簇）相似度的定义计算类与类之间的距离成为聚类法中的一个核心问题，常见的聚集方法有：最短距离法；最长距离法；中间距离法；组间平均距离法；重心法；组内平均距离法；离差平方和法。四、等级聚类法和快速聚类法4、动态聚类动态聚类法又称为：ｋ－均值聚类、快速聚类。K—均值聚类是文本聚类的默认或基准算法。动态聚类的基本思想是：先对所要分类的事物作一个初始的分类，然后按照某种最优的原则修改不合理的初始分类，直至分类被认为比较合理时为止，形成最终的聚类结果。处理流程图如下：动态聚类流程图算法开始确定聚类个数（凝聚点、质心向量）将文档分配给离它最近的质心向量聚类合理聚类结果算法结束重新计算质心向量YN例子6364例子：随机选择两个种子(K=2)64例子：将文档分配给离它最近的质心向量(第一次)65例子：分配后的簇(第一次)66例子：重新计算质心向量67例子：将文档分配给离它最近的质心向量(第二次)68例子：重新分配的结果69例子：重新计算质心向量70例子：再重新分配(第三次)71例子：分配结果72例子：重新计算质心向量73例子：再重新分配(第四次)74例子：分配结果75例子：重新计算质心向量76例子：重新分配(第五次)77例子：分配结果78例子：重新计算质心向量79例子：重新分配(第六次)80例子：分配结果81例子：重新计算质心向量82例子：重新分配(第七次)83例子：分配结果84

例子：重新计算质心向量85质心向量和分配结果最终收敛86四、等级聚类法和快速聚类法4、动态聚类法优点：动态聚类法具有方法简单、计算量小、占用计算机内存空间较少、聚类速度快等优点，比较适用于大