信息检索期末课件整理

1、第一章1.2信息检索的原理就是将特定的信息需求与存储在检索系统的信息标识进行异同的比较与匹配，选取两者相符或部分相符的信息予以输出。无论是手工检索还是计算机检索，其基本原理都是一样的。即检索系统对所要存储的信息，按照其外部特征和内部特征进行描述并赋予特征标识，然后进入系统;检索时，将所需信息特征标识与所存信息的特征标识进行比较。凡是两边标识一致的，就将具有这些标识的信息从检索系统中输出。包含信息存储和信息获取两个环节。（书本上的P14）1.3 信息检索系统（手绘P17）1.3.2 逻辑构成一个完整的信息检索系统通常由以下几个功能模块组成：信息选择子系统、标引子系统、建库子系统、词表管理子系统、

2、用户接口子系统、提问处理子系统。1.信息选择子系统 根据系统的目标和服务对象的需要，确定信息收集范围，并广泛地、定期地采集各种信息源，为系统提供充足而适用的信息。2.标引子系统 将收录的信息源利用检索语言表达和组织，并赋予检索标识的过程。3.词表管理子系统管理维护系统中已有的词表，使它与标引、建库等子系统相连接，支持用户查询操作，从提、对话或其他文本中采集新的词汇信息，并输出各种形式的词汇数据或词表产品。4.提问处理子系统 专门负责处理用户输入的提问式，将提问式中的检索元和算符区分，并转换成系统内部的可接受的命令方式。在对提问进行转换后，与数据库中存储的数据进行比较运算，然后，把运算结果输出给

3、用户。5.用户接口子系统 承担用户与系统之间的交流功能。通常由用户模型、信息显示、命令语言和反馈机制等部分构成。6.建库子系统 建立和维护可直接用于检索的数据库，包括系统所用的各索引文档。其工作流程主要包括数据录入、错误检查与处理、数据格式转换、生成并定期更新各种文档。1.4 信息检索方法1）顺查法：是指按照时间的顺序，由远及近地利用检索系统进行信息检索的方法。这种方法能收集到某一课题的系统信息，适用于较大课题的检索。（查全率高）2）倒查法：是由近及远，从新到旧，逆着时间的顺序利用检索工具进行检索的方法。此法的重点是放在近期信息上。使用这种方法可以最快地获得最新资料。（新）3）抽查法：是指针对

4、项目的特点，选择有关该项目的信息最可能出现或最多出现的时间段，利用检索工具进行重点检索的方法。（准）3. 追溯法也称为回溯检索法、引文法、引证法，是跟踪查找的方式，以信息后面所附的参考文献为线索，逐一追溯查找相关信息的方法，此方法有助于对课题的主题背景和立论依据等内容有更深的理解。获得的信息的针对性强，适合没有检索工具或检索工具不齐备的情况。由于引证信息间关系的模糊性和非相关性所引起的“噪声”，该方法的查全率不高。第二章（理解）2.1传统的检索语言：表达一系列概括文献信息内容的概念及其相关关系的概念标识系统。检索语言概念：由词汇和语法组成。词汇是登录在类表、词表中的全部标识，一个标识就是它的语

5、词，分类表、词表是它的词典。语法是如何创造和运用那些登录在类表、词表中的标识来正确地表达信息内容和用户信息需求，以有效地实现信息检索的一整套规则。2.1.2 功能（1）对信息的内容及其形式特征（主题）加以标引，保证不同的标引人员表达信息的一致性；（2）对主题相同及主题相关的信息予以集中或揭示其相关性；（3）将大量信息系统化、组织化，便于检索人员按照一定的排列次序进行有序化的管理；（4）方便标引语言和检索用语的相符性比较，提高检索效率。2.1.3.3 按标识组合的使用的方法不同先组式：表达信息主题概念的标识在编表时已固定组配好，例：体系分类法、标题词法后组式：指在词表编制和标引信息时不规定表达主

6、题标识的组配关系，在检索时再根据需要将各个标识进行组配。例：叙词语言、单元词语言。散组式：指在词表中不组配复杂的主题概念，在标引阶段将表达主题概念的若干标识，根据一定的规则组配在一起。例：冒号分类法。2.2.1 概念逻辑2.2.1.2 概念逻辑的方法概念的划分与概括（分类）：利用概念内涵由反映事物本质属性的概念因素构成，概念因素的增加或减少可以形成新的概念，概念内涵与外延成反变关系等性质，对概念进行划分或概括，形成更为专指或更为泛指的新概念，用以区别事物。内涵（抽象）概念的分析与综合（组配）：利用在概念的交叉关系中两个概念外延的相同部分形成一个新概念，其内涵等于原来两个概念内涵之和，并且它与原

7、来两个概念具有隶属关系的这种性质，进一步发展为将一个内涵较深的概念分解为两个或者两个以上内涵较浅的概念，以及将两个或两个以上内涵较浅的概念合成为一个内涵较深的概念的一种方法。外延（侧重个体）2.3.1 分类检索语言概述分类检索语言的概念指用标记符号（分类号）来揭示、表达信息内容，依据知识分类将主题概念组织、排列成类目体系，通过类目体系的自身结构显示主题概念之间的关系的检索语言。基本原理和特点1直接体现知识分类 2以学科、专业为中心是其最主要特点。体系分类法主要应用概念划分与概括的方法，以学科为基础，把概括信息内容与事物的各种类目组成一个层层隶属、详细列举的等级结构体系。特点：一是对知识进行逻辑

8、的、系统的组织，因此称为体系分类法或系统分类法；二是把知识分门别类地进行等级排列，因此也称为等级分类法；三是把知识详细地罗列、展开，因此又称为列举分类法或枚举分类法。如：杜威十进分类法、美国国会图书馆分类法、中国图书馆分类法、中国人民大学图书馆图书分类法 组配分类法又称为分面分类法或分面组配分类法。是基于概念的可分析性和可综合性，即复杂的主题概念可以分析为若干简单的主题概念，若干简单主题概念可综合表达复杂的主题概念，将一个复杂的主题概念用若干表达简单概念的标识组配来表达的一种检索语言。主要应用概念分析与综合的方法。体系分类法2.3.2.1 结构 微观结构类目是表达信息内容或主题范围的概念，是构

9、成分类法的细胞。一个类目是由类号、类名、类级、注释和参照组成的。按照类目之间的关系建立起来的类目集合称为类目体系，是分类法的核心。 类目是表达信息或主题范围的概念，是构成分类法的细胞，一个类目是由类号、类名、类级、注释和参照构成的。（5）类目之间的相互关系处理 从属关系并列关系交替关系相关关系2.宏观结构按功能分，一般分为以下几个部分：类目体系，标记系统，说明与注释，类目索引。类目体系由主表和复分表组成。类目体系复分表（考复分表）n 有通用复分表和专用复分表。n 主要用途：一是可以缩小类表的篇幅，简化分类表；二是增强主表中有关类目的细分程度，并规范同性质类目的细分。n 中图法（第四版）的复分表

10、：总论表、世界地区表、中国地区表、国际时代表、中国时代表、世界种族和民族表、中国民族表、通用时间地点表共8个通用复分表和69个专用复分表（详表中67个，总论表和中国地区表中各一个）。标记系统说明与注释l 说明是对分类法结构原理和使用方法的揭示。 注释是类名的补充。有些类目名称不能准确表达类目的涵义，它要通过注释来明确。注释可进一步指明类目的内容范围，指出类目之间的关系，规定如何进一步细分或用什么方式细分或者指出排列方法，规定某一类的特殊分类规则和方法等。类目索引-帮助使用者从类目名称的字顺或者音序来查找相应的分类号的辅助性工具。l 直接索引：把分类表中的类目及其注释中的有关主题的概念，按照名字

11、字顺排列。难以反映相关事项和复杂的专指主题。l 相关索引：在直接索引的基础上，还集中反映在分类中被分散了的相关事项。l 主题分类对照索引：在主题词表中的主题词后面列出对应的分类法的类号，以便从主题词字顺查找相应分类号。是分类法和主题法沟通的桥梁，既是体系分类法的辅助工具，也是分类法和主题法相互转换的工具。在一定程度上能缓解“集中分散”矛盾。（重点考）体系分类法主要特点：l 按照学科、专业属性建立类目体系，形成按学科、专业集中信息的知识概念体系，满足用户从学科、专业出发的检索课题，提高查全率l 采用等级列举式的概念标识系统来揭示概念之间的关系，便于用户“鸟瞰全貌”、“触类旁通”地查找某一专业的信

12、息l 采用分类号作为标识，不受语种的限制l 分类标识是定组式的、固定的、不可分拆的、其中诸因素是不可变换位置的缺点：l 修订不便，无法及时增加反映新知识的类目，对很狭窄的主题很难找到相应的类目和类号l 采用先组定组式标识，难以进行组配检索，使得检索途径单一，检准率低l 采用分类号作为主题的标识，缺乏直观性l 按学科和专业集中信息以及线性的分类体系，难以反映多维的知识空间结构中国图书馆图书分类法简称中图法、中国人民大学图书馆图书分类法简称人大法、中国科学院图书馆图书分类法简称科图法。杜威十进分类法（Dewey Decimal Classification）简称DC或DDC、国际十进分类法（Uni

13、versal Decimal Classification)，简称UDC，美国国会图书馆分类法（Library of Congress Classification）简称LC。组配分类法：冒号分类法五个基本范畴：2.4主题检索语言（主要理解记忆，叙词语言集其他三家之长）专指度高、直观性好、灵活性强。由于按字顺（音序或者笔画等）排列，同一学科的信息被分散在各处，在族检索方面不及分类法1.标题词语言标题词的特点：直接性。直观性。受控性(或称规范性)标题只是选择那些可能成为文献主题的事物及其较为通用、准确、专指、检索效果好的名称，并设法实现名称与概念的惟一对应。语义关联性。先组性。示范性 标题词的类

14、型（标题法的类型） 单级标题。即一个标题仅由一个名词术语构成。带说明语的单级标题。例如， “液压传动，用于机床的”；“期刊，化学的”；“期刊，信息密度，统计法”。多级标题。由两个或两个以上的标题词采用组配符号“”连接起来的标题形式称为多级标题。例如“肿瘤治疗”。 “”后的标题称为子标题。子标题、次子标题都必须是规范化的语词这是区别于说明语的地方。倒置标题。将复词标题中具有检索意义的后置部分依次作为入口词前置，并用逗号“，”与原入口词连接的标题形式称为倒置标题。“低速飞机” 与“ 飞机，低速”带限定词的标题。如“图书馆学（辞典）”、 “橘(树)”“橘（水果）”。限定词一般都置于括号中，用于作形式

15、复分，或区分两个字面相同但无法用其他方式区分的标题。混合标题系统。特点 1.用受控的自然语言语词作标识，直观地表达主题概念，直接标引信息。2.以字顺序列组织标识，提供直接的主题检索途径，以便利于进行特性检索。3.主要用参照系统间接显示标题所表达的主题极念之间的关系，形成语义网络。它能为选用4.标题进行标引和检索提供一定方便。5.按事物集中文献，而不是按学科、专业集中。标题语言适合于从事物出发的检索。6.提供先组式的主题标识，标识含义比较明确，选用标识比较容易。缺点：允许必要时自拟标题表达新的或没有列出的主题概念，适应能力较强。多途径检索的可能性较小。按事物集中文献，而不是按学科、专业集中。适合

16、于从事物出发的检索，不适合于从学科出发的族性检索。2.单元词语言单元词：也是一种受控的自然语言语词，是指那些最基本的、在概念上不能再分解的词汇单位。如：“大学”、“管理”、“教育”。单元词语言是一种以单元词为主题标识，通过字面组配的方式表达资源主题的标引语言。是一种后组式的主题语言。是对标题法的革新。采用的后组配的方式，在标引时不组配单元词，在检索时才对单元词下所列的文献号进行对比，号码相同的就表示有组配关系。特点：1通过最基本的词汇可以表达大量的专指概念和新概念，适合对专指主题进行标引。标引专指度高；适应性强。2标引结果不存在词序问题，每个单元词都可以作为检索入口，从而提供更多的检索途径；检

17、索时，可以通过单元词的增减，较自由地扩大、缩小或改变检索范围。3词表体积小；修订容易。缺点：1字面拆分和字面组配容易造成语义失真。2缺乏参照系统，难以满足族性检索的需求。3直观性和系统性差。4只适用于标识单元方式的检索系统。3.关键词语言所谓关键词，是指那些出现在文献的标题(篇名、章节名)以至摘要、正文中，对描述信息主题内容具有实质意义的语词，亦即对揭示和描述文献主题内容来说是重要的、带关键性的(可以作为检索“入口”的)那些语词。关键词有点像单元词。但单元词是在同义词和近义词中作优选的，而关键词则不作优选，甚至对同一个词的单复数和变格等词形变化也不加统一，而保持作者用词原状，同义词、近义词、一

18、个词的不同形态并存。所有的关键词是平等的，全部按字顺排列。若干关键词的结合构成一条索引款目，说明一简文献的主题内容；但全部关键词在检索系统中部是彼此孤立，没有任何联系。原理： 1直接抽取信息中或题名中的语词作标识来表达信息资源主题内容的一种主题检索语言，2对作为标识的词不加规范或只作少量规范处理，不编制受控词表来进行词汇控制，不显示词间关系，只是编制禁用词表（非关键词）来控制抽词。3每个关键词是平等的，都可作为检索标识，按照字顺轮流排至检索位置（入口词位置）， 提供多途径的主题字顺检索。4是最早用于计算机信息检索的自然语言形式。优点： l 使用自然语言，表达主题比较直观、专指，可以保证较高的检

19、准率，符合用户使用习惯。l 检索途径多。l 标引简单，标引不需要查看词表，降低对标引人员的要求，节省标引时间；同时，易于使用计算机编制，保证资源传递过程的及时性和生产过程的高效性和低成本；l 及时性：能及时更新词汇。缺点： l 不揭示关键词之间的等级关系和相关关系，不进行同义词、相关词的处理，用户检索很难靠自己的了解查全同一概念的不同词形及进行相关词的检索，增加用户负担，漏检的可能大，影响查全率。l 题名中不少语词为通用概念，它们为检索入口建立的检索款目没有实际意义。l 难以进行族性检索。关键词索引的类型（要求区分）题内关键词索引，题外关键词索引，词对式关键词索引(P57)4叙词语言原理（博采

20、众家之长）l 以从自然语言中精选出来的、经过严格处理的表示单元概念的规范化语词作为资源主题标识，通过概念组配方式表达主题的后组式检索语言。l 叙词的特点：直观性、规范性、组配性。（集众家之长）叙词语言的编制主表：将叙词按字顺排列，并附标注事项和参照系统。分类索引：也称为范畴索引，从学科或专业的角度来选用叙词。词组索引：即等级索引，具有属分关系的一组叙词称为一族，构成从泛指到专指的叙词等级系统轮排索引：将有相同单词的词组叙词集中在一起，排列在这个单词之下，方便从单词出发，查找某一个或全部含有该单词的词组叙词。叙词表编制的注意事项：（1）主题词的选择与规范：l 词形规范：如：储气筒（叙词）贮气筒（

21、非叙词）； l 词义规范：如：加限定词：结构主义（心理学）；加含义注释，计算机分析 注：用计算机进行分析 l 词类规范：对叙词的选词范围进行规范l 先组度规范：适当的先组度提高标引的一致性，如“环境工程”、“亲属语言”、“猎户星云”。（3） 主题词的组配：交叉关系（ “：” ）、限定关系（ “-”或“，” ）、联结关系。叙词语言的性能优点： 结构完备，词汇控制严格，可根据检索系统的需要对词汇进行有效控制； 组配准确，标引能力强，能够准确、专指地标引和揭示各种主题内容； 检索效率高，可通过灵活组配方式进行多途径检索，达到较好的检索效果。 对检索系统适应能力强，可同时适用于标识单元和文献单元检索方

22、式，既能较好适应计算机检索系统的要求，又能适应手工检索系统的需要。缺点：l 词汇控制要求严格，词表编制和管理的难度大，成本高；l 资源标引需在概念分析的基础上进行，标引难度大，要求高。1969年，第一部分类主题一体化检索语言的诞生。分面叙词表是以英国艾奇逊主编的世界上第一部一体化词表的名称命名，可以说是最典型的一体化词表 2.6.2 网络环境下的分类检索语言 （1）分类法的电子化提高标引和检索的效率。DDC、UDC、LCC都有电子化版本。（考） （2）分类体系结构的多维化利用超文本技术，更好地揭示类目之间的多维关系。自由分类法（Folksonomy）在类目划分标准、横向关系揭示和类目设置方面表

23、现出明显的多维性。打破传统目录按照唯一标准进行类目划分的原则，轻松揭示多属性主题、交叉学科、总论与专论、地区与主题、资源形式与主题等横向关系。 （3）在内容上，聚类标准的主题化、类目划分的随意性、类目排列的非逻辑性和类名的通俗化等。（重点考）辅助词表的应用l 后控词表：即词间关系表，是利用受控语言的基本原理和方法编制的自然语言检索用词表。是自然语言和受控语言结合的产物。（考）l 后控词表的特点：（考）l （1)词汇只用于检索l （2）词汇控制不如先控词表严格l （3）收词丰富，包括同义词、近义词、俗称、缩写、流行俚语等l （4）动态性强，及时更新和增补新主题概念l （5）有较强的灵活性和自由度

24、，标引简单l （6）具有面向文献和用户的特点，文献保障和用户保障能力强第三章（记忆）著录：在组织检索系统时，对具体信息的各种形式特征、内容特征及物质形态等进行分析、选择和记录的过程。著录的基本要求：准确化和规范化机读目录与元数据（P82）机读目录：简称MARC，指任何形式的计算机可以阅读或识别的目录，其格式规定书目在数据机读介质上的表示和标识方法，包括机读记录的构成、各数据字段在机读介质上的总体安排与内容结构机读目录格式特点(考)1）字段设置:在MARC记录中字段的设置包含了书目数据的实际内容。主要特征表现在三个方面: 字段数量多,并有空白（子）字段供用户扩充使用,共有001-999个字段,其

25、中第999字段为用户自己规定字段含义; 字段内容著录详尽,字段下设子字段以及重复字段; 字段作用强化,可检索的字段多。2）标记符号： 字段标识，用3位数字表示，从001-999。 子字段代码，用两个字符表示，第一个是定义符，表示为子字段（如$)，第二个字符用小写字母a，b，c表示子字段顺序。 指示符号: 用以描述或指示可变长字段代码。指示符号用两个数字表示。在每个字段说明中都有指示符号的使用和表示的含义。如果某个字段指示符号不用，则用空白符号表示。 字段和记录分隔符。CNMARC的样例分析元数据元数据（Metadata）：关于数据的数据，是关于数据的结构化的数据。在互联网中，元数据是指描述任何

26、互联网数据和资源，促进互联网信息资源的组织和发现的数据，以协助对网络资源的识别、描述、位置指示。（考）起源：起源于计算机科学，原先主要指网络信息资源的描述，后逐步扩大到各种以电子形式存在的信息资源的描述。描述的对象：图书、期刊、磁带、录像带、缩微品、论文、科技报告及各种形式的网络信息资源。描述的成分：通常从信息资源中抽取出来的用于说明其特征、内容的数据。如题名、版本、出版数据、相关说明等元数据作用 定位和检索著录和描述资源管理：权利管理、数字签名、存取管理资源保护与长期保存都柏林核心与数据库是一种跨领域的信息资源描述规范。这里的资源是“任何具有标识的东西”DC元素修饰词（判断）归入三类（考）（

27、1）内容描述部分题名项Title：主题词项Subject描述项Description来源项Source语言项Language关联项Relation覆盖范围项Coverage（2）知识产权部分著者项Creator： 出版者项Publisher合作者项Contributor： 权限项Rights（3）外形描述部分日期项Date： 类型项Type：格式项Format 识别符IdentifierDC与marc二者比较（1）著录的对象不同（2）数据的形式不同（3）著录的主体不同（4）著录的详简程度不同（5）标识的方法不同信息标引的含义（考）通过对信息资源的分析，选用确切的检索标识，如分类号、主题词、关键

28、词、人名、地名等，用以反映该信息资源内容的过程。是内容的内容分析和用词表达（转换标识）两个步骤的结合。2.标引的方式（考）（1）依内容单元选择方式分整体标引、全面标引、对口标引、分析标引、互见标引（2）依信息单元选择方式分综合标引、分别标引（3）依所用标识与主题概念的对应性分专指标引、组配标引、上位标引、依附标引、暂定标引（4）依组配标识是否是成串分先组标引、后组标引（5）依标引实施的方式分：分散标引、集中标引、联合标引、在版标引（6）依标引语言的原理分：分类标引、主题标引标引的质量控制：深度（查全率）、专指度（表达信息内容的精确程度）、一致性（表达文献主题内容所需标引词的一致程度）（考）分类

29、标引的基本原则：学科属性原则（首要原则）、专指性原则、实用性原则、系统性原则、一致性原则（考）组配规则（简单题）（1）必须是概念组配，而不是字面组配。（2）当有几种组配形式可选择时，优先选择交叉组配。（3）选用主题最直接相关的、最相邻的主题进行组配，不用泛指词和越级词。（4）组配标引的结果必须概念清楚、明确，具有单义性。（5）组配次序一般按照“主体通用空间时间文献类型”来。当有多个主体因素主题词时，按照对象方法材料过程条件等次序排列。主题词组配标引的形式（标题考）（1）交叉组配（2）限定组配（3）联结关系组配自动标引方法（主考）1.词频统计法将文献中词的出现频率按等级排列，以一定标准排除高频词

30、和低频词，剩下能代表文献主题内容的词。有绝对词频统计法和相对词频统计法两种。2.加权标引法（1）逆文献加权标引法（2）词区分值加权标引法(4）.统计学习标引法 (3).n-Gram标引法自动分类（区分自动归类和自动聚类考）即聚类聚到多个类目，分类分到某一个类目中，且聚类没有确定的分类体系第四、五章（注意第一，最）1四库全书总目中国清代官修书目，是中国古代最大的解题书目。2国外人文社会科学核心期刊总览是中国第一次大规模利用文献计量学原理对国外人文社会科学期刊进行筛选的核心期刊工具。3乌利希国际期刊指南国际上收录外文期刊最多的订购目录。4美国全国联合目录：累计作者索引世界上收录图书最多、质量上乘的

31、馆藏联合目录。5美、加连续出版物联合目录与新连续出版物联合目录世界上收录馆藏连续出版物最多的联合目录之一。6全国报刊索引是中国有史以来连续出版时间最长、收录报刊最多、最全面的报刊论文索引。7科学引文索引是目前世界上最权威的通过引文检索和评价论文及其期刊的参考工具书。8化学文摘美国化学文摘服务社编辑，是世界上最著名的文摘刊物之一。9中国百科年鉴补充中国大百科全书的不足。中国解放后第一次按年出版的综合性的百科年鉴。10世界知识年鉴我国出版时间最长的年鉴之一。11中国大百科全书是中国现代第一部大型综合性百科全书。是世界上最大的百科全书。12. 中国第一部类书皇览。中国历史上规模最大的类书永乐大典。中

32、国现存的规模最大的综合性类书古今图书集成。附有多种索引。第六章根据计算机检索服务形式分：定题检索（SDI）、回溯检索和日常检索定题检索：根据用户检索课题的内容，定期的从新到资料数据中为特定用户提问进行进行的计算机情报检索。具有定期性、新颖性和批处理式的特点。（考）计算机信息检索策略（重点考 布尔逻辑练习）布尔逻辑局限：布尔检索式的非友善性，即构造一个好的检索式是不容易的易造成零输出或输出过量无差别的组配元，不能区分各组配元的重要程度匹配标准存在某些不合理的地方检索结果不能按照任何用户定义的重要性排序输出。检索表达式（书上P）是检索策略的逻辑表达式和具体体现，是指信息检索中用来表达用户检索提问的逻辑表达式；由检索词和各种布尔逻辑算符、位置算符以及系统规定的其他组配连接符号组成。是计算机可以识别和执行的命令形式。1逻辑表达式2加权表达式3位置检索表达式4截词检索表达式（主要适用于英语环境）检索策略的构造步