信息组织中的自然语言

信息组织中的自然语言第一页，共二十五页，2022年，8月28日一、自然语言的演化与发展

检索语言广义而言，检索语言包括受控语言和自然语言语言两类语言系统。狭义而言，检索语言包括规范的受控语言。第二页，共二十五页，2022年，8月28日检索语言的演化与发展前信息检索阶段的自然语言原生态的自然语言是前信息检索阶段的原始的“检索语言”。规范的受控语言

如分类表、标题表、单元词表、叙词表、分类主题一体化词表。受控语言向自然语言“回归”

自然语言的应用是以计算机为前提的;在对词汇控制的科学性上、规范化程度上以及方法上等方面的进步，使自然语言成为现代信息检索，尤其是网络信息检索的主流保障语言。第三页，共二十五页，2022年，8月28日检索系统中检索语言的应用变化基于印刷型文献的手工检索以受控语言（分类法、主题法）为主。基于数据库的计算机检索受控语言和自然语言结合。基于网络的信息检索以自然语言为主。第四页，共二十五页，2022年，8月28日二、自然语言的优缺点优点(VS受控语言)缺点(VS受控语言)结论第五页，共二十五页，2022年，8月28日

优点可以降低标引难度及成本，从而提高标引速度采用用户熟悉的自然语言，符合用户检索习惯，减少了概念转换中产生的失真现象，专指度强由于自然语言标引检索多采用自动处理方式，省略了编制词表和词汇的智力负担自然语言标引检索入口词多，有利于提高检全率操作简单方便，灵活，比较适合没有专业知识的广大网络用户使用等第六页，共二十五页，2022年，8月28日缺点由于自然语言对标引用词不加严格控制，必然会形成非关键性词语的大量出现，影响检准率的提高由于不能反映概念词间的一一对应关系，也不能反映概念关系的隐含性，无法排除同义词、近义词、多义词等词间的模糊现象，势必也会直接影响到检全率的提高第七页，共二十五页，2022年，8月28日结论自然语言和受控语言都有各自独特的优点和缺点，不能简单彼此替代，而应当相互补充、交融针对上述自然语言及其检索中存在的这些问题一方面要依靠计算机技术和自然语言处理技术的突破发展；另一方面受控语言的基本原理――对词汇的控制，是永远不会被省略的，变化的只是词汇控制的方式、方法和手段。第八页，共二十五页，2022年，8月28日三、自然语言与自然语言处理

（一）自然语言处理

（二）自然语言在信息组织和检索中的应用第九页，共二十五页，2022年，8月28日（一）自然语言处理自然语言处理是自然语言得以应用所要解决的首要的核心问题自然语言处理是人工智能领域的一个重要分支，它主要研究计算机对输入的自然语言文本的分析、理解和生成，旨在建立人与计算机之间友好的交流通道，实现更高层次的信息交互自然语言处理（NaturalLanguageProcessing,简称NLP）是实现自然语言理解的核心基础，是语言信息处理的一个重要分支自然语言处理追求的目标是计算机是如何来理解一个句子和领会一个文档所要表述的意思第十页，共二十五页，2022年，8月28日continued由于自然语言十分复杂，人是如何理解语言的，也还是个谜，因此给“理解”下一个定义极其困难从信息处理的角度看，语言既然是信息的载体，如果计算机实现了机器翻译、自动文摘以及人机会话等语言信息处理功能，则认为计算机具备了理解自然语言的能力。自然语言处理的核心技术主要是解决自然语言的歧义问题关键问题：如何建立大规模知识库。

第十一页，共二十五页，2022年，8月28日语言学上对语言的层次划分

第一层次语音和文字，即基本语言信号的构成。第二层次词法和句法(合称“语法”)，即语言基本运用单位的构成和组合的形式规律。第三层次语义,即语言所要表达的概念结构。第四层次语用,即语言与语言使用环境的相互作用。第十二页，共二十五页，2022年，8月28日自然语言处理研究内容的基础部分

语法分析(SyntacticUnderstanding)语义分析(SemanticUnderstanding)语用分析(PragmaticUnderstanding)例如：“汤姆给了玛丽一本大书。”第十三页，共二十五页，2022年，8月28日语法层分析根据语言的语法，单词可以组成不同的词组，词组可以包含不同的角色。单词角色汤姆人名给动词玛丽人名一冠词大的形容词书名词第十四页，共二十五页，2022年，8月28日等级表示语法结构第十五页，共二十五页，2022年，8月28日语义层分析语义结构（句子各个部分之间的联系）

第十六页，共二十五页，2022年，8月28日知识装饰下的丰富的语法结构

第十七页，共二十五页，2022年，8月28日扩展的语义结构第十八页，共二十五页，2022年，8月28日计算机产生的语义结构

第十九页，共二十五页，2022年，8月28日语境层分析例1：“Couldyouturnthelighton?”“语境语义”－－“Pressthelightswitch.”“句子的语义”－－“Areyoucapableofachievingtoincreasetheamountoflight?”（句子脱离语言环境，本身的所表示的语义）第二十页，共二十五页，2022年，8月28日例2：“Itisdarkinhere.”语境语义－－“Lightisweakhere.”句子语义－－“Pressthelightswitch.”第二十一页，共二十五页，2022年，8月28日

语义和语境含义之间的匹配

第二十二页，共二十五页，2022年，8月28日（二）自然语言在信息组织和检索中的应用

自然语言检索，从技术上讲，就是将自然语言处理技术应用于信息检索系统的信息的组织、标引和输出具体地，汉语自动分词和自动标引、单汉字标引、自动文摘、全文检索等都是自然语言在信息组织和检索中的具体应用汉语的机械分词法、单汉字标引(未介入自然语言理解的成分)。基于理解的自动标引技术、自动文摘技术(应用了