第四章文本处理技术

1、信息组织、存储与检索信息组织、存储与检索第四章第四章 文本预处理技术文本预处理技术信息组织、存储与检索信息组织、存储与检索语言问题语言问题n 日语中同时使用多种类型的字母表n 阿拉伯语通常从右到左书写，但是某些部分(如数字)是从左到右书写 开始 Algeria achieved its independence in 1962 after 132 years of French occupation.500社情報不足時間社情報不足時間$500K(約約6,000万円万円)片假名平假名汉字罗马字母信息组织、存储与检索信息组织、存储与检索英文词法分析英文词法分析Tokenizer词条流Friends

2、RomansCountrymenLinguistic modules修改后的词条friendromancountryman待索引文档Friends, Romans, countrymen.词条化工具语言分析工具Indexer倒排索引friendromancountryman24213161信息组织、存储与检索信息组织、存储与检索英文词法分析英文词法分析文档文档重音符重音符号或空号或空格等格等停用词停用词名词名词或词或词组组词干词干自动或自动或人工标人工标引引结构识别结构识别文本结构文本 +结构全文本标引词文档逻辑视图：从全文文本到标引词集合信息组织、存储与检索信息组织、存储与检索英文词法分析英

3、文词法分析断词断词(word tokeniztion)n断词也成为词条化断词也成为词条化n把文本字符序列转换为单词序列的过程n输入：Friends,Romans,Countrymen,lend me your ears;n输出：Friends Romans Countrymen lend me your earsn词条与词项词条与词项 （Token VS Term）n对“to sleep perchance to dream”进行索引n词条为：to sleep perchance to dream n词项为： sleep perchance dream信息组织、存储与检索信息组织、存储与检索断

4、词断词数字数字n 考虑查询1978到1989年间车祸的死亡人数，数字不适合做标引词；n 一些和字符组合的数字，如“510B.C.”，还有一些长数字，如身份证号、手机号，可能是非常好的标引词；n 处理办法：n所有数字都去掉；n引入规则进行分析，包括对时间的识别和归一化，如：October 1978，Oct. 1978都要归一化成某个统一表。信息组织、存储与检索信息组织、存储与检索断词断词连字符连字符n有些连字符中的词可以分开，如state-of-the-art变成state of the art ；n有些连字符中的词不宜分开，如B-49(一款分机型号)、re-signn处理办法：进行词法分析时需

5、要考虑引入一些规则方法信息组织、存储与检索信息组织、存储与检索断词断词标点符号标点符号n通常的情况下可以去掉 ；n 但是当句点是单词的组成部分时，需要保留，如： 510B.C. 和；n“”既可以代表所有关系也可以代表缩写既可以代表所有关系也可以代表缩写，如：Mr. ONeill thinks about that the boys stories about Chiles capital arent amusing. 信息组织、存储与检索信息组织、存储与检索断词断词字母的大小写字母的大小写n某些情况下，同一个单词的大小写含义不一样，如: China和china；n通常情况下，不考虑

6、大小写，词法分析程序会将所有字母全部变成大写或者小写，一方面是便于处理，另一方面是顺应用户的检索习惯。信息组织、存储与检索信息组织、存储与检索英文词法分析英文词法分析去除停用词去除停用词n停用词：冠词、介词、连词通常属于停用词；n排除停用词可以极大的缩小索引结构的大小；n排除停用词会降低召回率n如用户需要查找包含“to be or not to be ”的文档nWEB搜索引擎大多使用全文标引信息组织、存储与检索信息组织、存储与检索英文词法分析英文词法分析词干提取词干提取n词干提取：就是将来自同一词干（词根）的不同词还原成其词根；n词干提取方法 n查表法：将单词和它的词干放在同一个表中查表提取；

7、n如： stemming，stemmed, stemmer stemnPorter 算法：使用一系列后缀变换规则对单词进行变换信息组织、存储与检索信息组织、存储与检索词干提取词干提取Porter算法算法nPorter算法步骤n第一步：13条规则；n第二步：20条规则；n第三步：7条规则；n第四步：19条规则；n第五步：3条规则。输入单词输入单词规则规则1规则规则2规则规则3规则规则4依次匹配第2、3、4、5步规则输出词干输出词干匹配第1步的规则YNPorter算法描述信息组织、存储与检索信息组织、存储与检索Proter算法中第一步的规则算法中第一步的规则规则规则例子例子规则规则例子例子规则1s

8、sessscaressescaress规则3atateconflatconflateiesitiestiblbletroubltroublesssscaresscaressizizesizsizesnullcatscat规则2eedeeagreedagreeednullplasteredplaster规则4yihappyhappiingnullmotoringmotor例：单词generalizations的处理过程为：generalizationsgeneralizationgeneralizegeneralgener信息组织、存储与检索信息组织、存储与检索英文词法分析英文词法分析选择标引词

9、选择标引词n自动选择标引词n通过删除动词、形容词、副词和连词等，选择名词或名词词组作为标引词；n名词词组是指名词的集合；n选择标引词其实是获得了一个初步的概念逻辑视图信息组织、存储与检索信息组织、存储与检索英文词法分析英文词法分析构造叙词表构造叙词表n 叙词表nPeter Roget叙词表胆怯的（cowardly）形容词卑鄙且缺乏勇气：胆怯的叛徒（cowardly turncoats） 同义词：小鸡（chicken），胆小的（chicken-hearted），胆小的（craven），怯弱的（dastardly），胆怯的（faint-hearted），缺乏勇气的（gutless），懦弱（lily

10、-livered），胆怯（pusillanimous），没有 男子气概的（unmanly），胆小的（yellow），懦夫（yellow-bellied）信息组织、存储与检索信息组织、存储与检索中文词法分析中文词法分析n分词（word segmentation）n李明是一名优秀的学生。n李明/ 是/ 一/ 名/ 优秀/ 的/ 学生/ n词的定义n自然 语言处理 n自然/ 语言/ 处理n自然语言/ 处理n词表的作用n解决了词的定义问题n减小专有名词识别的难度n能够解决无歧义的分词问题信息组织、存储与检索信息组织、存储与检索中文词法分析中文词法分析最大匹配法最大匹配法n基本思想：选取一定长度（一般为

11、6-8个字）的汉字串作为最大字符串，将其同词表中的词语进行匹配，如果匹配不成功，则删除一个汉字继续匹配，如果匹配成功，则当前字符串即为一个词。n特点：易实现，算法简单，早期分词系统广泛采用。信息组织、存储与检索信息组织、存储与检索中文词法分析中文词法分析歧义词切分歧义词切分两种歧义结构n交集型歧义字段n研究生命的起源n研究/ 生命/ 的/ 起源n研究生/ 命/ 的/ 起源/n组合型歧义字段n他从马上下来n他/ 从/ 马/ 上/ 下来/n他/ 从/ 马上/ 下来/信息组织、存储与检索信息组织、存储与检索中文词法分析中文词法分析未登录词识别未登录词识别n未登录词未登录词：未在词表中出现的词未在词表中出现的词n人名、地名、机构名、时间、新词n歧义问题n“张朝阳”，“王国维”n“邓颖超生前珍藏的书画作品”n未登录词的用