第二章计算机检索基础修改版

1、第二章 计算机检索基础一、 计算机检索概述（一）概论1、计算机检索的意义我们已步入信息社会，传统的手工检索方法很难从大量的文献中及时难确地获取所需的资料，无法信息满足时代的需求有一种速度快、效果好的自动检索方法。随着微电子技术、计算机技术和通讯技术的飞速发展，计算机文献检索成为当今人们查找信息的最主要方式。它能够跨越时空，在短时间内查阅不同的大型数据库，还能快速地对几十年前的文献资料进行回溯检索，而且大多数的联机检索系统数据库中的数据更新速度非常快，检索者随时可以得到更新的文献信息，具有手工检索不可比拟的优势：（1）速度快、效率高，仅几分钟就可以从成千上万条记录中找出所需信息；（2）检索范围广

2、，可以迅速而方便地浏览相关学科或主题的所有数据库中的记录，在网络中，几乎每一台个人计算机都可以成为信息源；（3）检索不受时空的限制，只要拥有相应的软件和硬件设备，就可以在任何地方借助光盘和通信网络查询所需信息；（4）由于数据更新快，可以及时获得最新信息；（5）检索辅助功能完善，使用方便，检索软件可采用菜单驱动，几乎所有检索系统都有查询服务或提供操作演示盘，界面友好的程度在不断提高，检索结果的输出方式丰富多样，并可以按要求做排序、统计、绘图等加工。 1993年9月，美国克林顿政府宣布推出“信息高速公路”计划以来，在全球范围内掀起了一股“信息高速公路”热潮。信息高速公路“是一个能给用户提供大量信息

3、的、由通信网络、计算机、数据库以及日用电子产品组成的完备网络”也就是计算机、光导纤维和其他通信设备组成的联接千家万户的通信网络。随着信息高速公路的建立，原来的时空概念将被彻底打破，人们可以坐在办公室或家里查找图书馆的文献信息，了解某学科领域在世界上的发展水平及动向，查找所需的文献资料。计算机检索是今后文献检索的发展方向和主要手段。随着信息高速公路的建立，计算机检索将在全球范围内得到普及。掌握计算机文献检索枝术是大学生和现代科技工作者必须具备的基本技能之一。2、计算机检索的发展概况 计算机文献检索经历了批量处理、联机检索与网络系统三个阶段。 1954年，美国海军武器试验站图书馆在一台电子管计算机

4、上建立了世界上第一个计算机情报检索系统，存入 14000篇文献。 50年代末，IBM公司利用一台第二代计算机（IB一650）成功地编制出关键词索引，并建立了世界上第一个“定题情报检索”系统，为用户定期检索和提供一定主题的新到文献，并很快得到了推广应用。 进入60年代，计算机情报检索进入了实用和全面发展阶段。60年代末，大容量计算机分时系统和强功能检索软件研制成功，使脱机检索发展到联机检索。70年代初，随着通信技术的发展，出现了数据通信网络，通信线路费用降低，使得联机情报检索系统在美国迅速地得到了推广。随后，卫星通信用于计算机网络，世界各大计算机情报检索系统纷纷进入通信网络，从而形成了国际联机情

5、报检索。西欧一些国家也于6O年代开始着手计算机文献检索的研制与发展工作。70年代后，这些国家也逐渐把计算机文献批量处理系统改成了联机系统。 目前，发达国家的一些计算机情报联机检索系统，通过卫星通讯网络和计算机专用终端，在世界范围内提供联机情报检索服务。现在全球已有数百个联机检索系统，其中拥有情报数据库最多、联机检索业务最广泛的联机情报检索系统有美国的 DIALOG系统、ORBIT系统、BRS系统、欧洲的ESAIRS系统和STN系统等。我国的计算机检索虽然起步较晚，但发展速度很快。我国从70年代起着手进行计算机情报检索的研究，并积极开展国际联机检索服务。1975年起，国防科工委情报所和机械工业部

6、情报所等单位先后引进国外数据库，开展定题服务。1980年，中国建筑科学院情报所等15个单位联合租用香港数据终端，连接国际通信卫星至美国的网络系统联机检索，检索结果从香港寄回北京。1981年，先后在北京、上海、广州、西安、武汉、沈阳等30个城市建立了近80个远程终端，通过国际通讯网与欧美11个大型联机检索系统联机。此外，还先后引进数据库65种，引进光盘数据库40余种，自建数据库260多个。我国还自行开发了一批计算机检索系统。（二）计算机检索系统简介计算机检索是指通过检索系统，采用一定的技术手段，根据一定的准则，在数据库或其他形式的网络信息资源中自动找出用户所需相关信息。计算机检索流程如图所示：计

7、算机检索系统的物理构成：硬件、软件、数据库三部分。1、 计算机硬件主要包括具有一定性能的主机、外部设备以及与数据处理或数据传送有关的其他设备。主机，是计算机检索系统的中枢，要求其配置具有较强的逻辑运算能力，较快的响应速度和较大的存储容量，能处理大量的文献，联机检索系统的主机还必须具有多道程序处理和分时处理等更强的功能。外部设备包括：外部存储器、输入输出设备等。输入输出设备包括各种必要的数据录入装置，如键盘、光笔、鼠标器、光学字符识别器装置、语音或图像输入装置、显示终端、打印机、绘图机、输出设备等。2、 计算机软件分为系统软件和应用软件。系统软件包括：操作系统、编译程序与汇编程序、诊断程序等。应

8、用软件包括：数据库管理系统、建库程序、数据输入输出程序、自动标引程序、文件管理系统程序等。3、数据库数据库是计算机阅读的信息集合。至少由一种文档组成，并能满足某一特定目的或某一特定数据处理系统。（用手工方式把大量的原始文献或数据进行加工，包括分析文献主题后写出文献摘要或题录，主题词、分类号和文献的其它特征等等，再把这些经过“前处理”的数据按一定格式输入计算机存贮起来，计算机在程序的控制下对数据进行处理，形成机读数据库（database）或者各种文献资料档，存贮在磁带或磁盘上，完成文献的加工存贮过程。计算机在存贮文献后，就可接受检索人员的查找。）计算机检索的对象一般是文献信息数据库。按照不同的划

9、分标准，数据库可分成不同的类型。国际上通常根据数据库内容将数据库划分成三大类，即参考数据库(Reference Database)、源数据库(Source Database)和混合数据库(Mixed Database)。另一种划分数据库的实用方法是分为文献信息数据库与非文献信息数据库两大类。如下图所示数据库结构数据库是由文献信息记录（Record）构筑而成，因此文献记录是数据库的基本单元。每条记录又都表达了一篇原始文献信息的内容特征和外表特征。数据库的结构就是根据这些特征而建立的。不同的类型、内容的数据库，它们的文献信息记录标引的内容和形式有很大的差别，即数据库结构就有很大的差异。尽管如此，文

10、献信息记录基本上都由三个部分组成：存取号，基本索引字段，辅助索引字段。所谓“数据库结构”，就是关于这些存取号和字段的定名（代码）和说明。我们进行计算机检索的目的，就是从海量的数据库记录中，找出我们需要的文档信息。（三）计算机检索的分类1、光盘检索系统² 构成：联机光盘检索系统由若干台微机、光盘驱动器、光盘服务器、光盘数据库、检索系统软件、管理系统软件构成。² 光盘检索系统的特点：（1）由于存储介质和空间的限制，多以二次文献（文摘、索引）为主。（2）数据库系统建立在用户方，出版商必须寄送光盘给用户，因此更新速度慢。一般为月更新或季更新。这方面不如联机数据库和网络数据库，后两者

11、的数据库更新可以随时进行，频率通常为日更新和周更新。（3）与网络数据库检索相比，数据库和系统集中式管理，负担重，数据库用户越多，响应时间越长。（4）检索模式：以客户端/ 服务器方式为主，客户方在微机上运作，这种检索模式与联机数据库相比，检索效率提高了很多。（5）信息组织模式：普通线性文本。（6）检索机制：检索功能强，索引多，不同的检索系统使用不同的检索命令，具备命令检索和菜单检索两种方式，后者对非专业人员来说，易学易用。（7）系统访问通过局域网就可以进行，不受大的网络环境影响。不需支付网络通信费用。（8）检索环境宽松，不存在联机检索的通信费、机时费、数据费，检索费用低。（9）用户界面比较友好，

12、较为直观。2、联机检索系统检索终端通过通信线路与系统的主机连接，在中央处理机控制下查询系统的几十个甚至上百个数据库，并能够与系统实时对话，随时调整检索策略。² 联机检索构成联机系统由联机检索中心、通信设施、检索终端三部分组成。联机检索中心是该系统的中枢部分，主要包括中央计算机（硬件）、数据库、系统检索软件等部分。中央计算机又称为“主机”，其功能是在系统和检索软件支持下完成对信息的存储、处理和检索。通信设施由通信网（电话网，专用数据库网）、调制解调器及其他通信设备组成。终端则可以使用传统的终端机或个人计算机。 ² 联机检索系统特点：（1）数据库数量多，信息量大内容丰富。以DI

13、ALOG系统为例，目前已有数据库300多个，记录3亿多条，内容广泛，涉及自然科学、入文及社会科学多个领域。检索时可以一次检索多个数据库，检索范围广泛全面。（2）数据库更新快，每日可随时进行更新，很容易检索到最新文献。（3）数据库和系统集中式管理，安全性好，可以在存储设备上直接处理大量数据，但主机的负担重，网络扩展性差。（4）检索模式：主仆式，即所有的工作都在主机上进行，一旦主机瘫痪，所有系统都处于瘫痪状态，因此对主机的性能要求极高。（5）信息组织模式：普通线性文本，包括：按照文档号组成的顺排文档；按照记录的特征标识（如题名、作者等）组成的倒排文档。（6）检索机制：检索功能强，索引多，途径多，所

14、有的数据库使用统一的命令检索，因此可以同时保证查全、查准。检索效率和检索质量高。但系统要求必须使用统一的检索命令，用户必须记住各类检索指令并且能够灵活综合运用，因此必须由专业人员检索。这种检索机制不利于在网络环境下扩展为大规模的使用。（7）检索费用高，每下载一条记录都要支付相关费用，包括记录的显示或打印费、字符费、机时费、通信费（由于系统连接需通过通信线路如电话或网络进行，需支付高额通信费用），检索时必须快速进行，一般用户因此望而却步，不敢使用。（8）检索界面单一，过于呆板。自20世纪70年代以来，联机数据库检索系统发展异常迅速，盛极时曾有DIALOG、STN、LEXISNEXIS、ORBIT

15、等多个大型检索系统，为用户提供了高质量、远胜于传统手工查询的信息服务，几乎每个图书馆或信息服务机构、中大型公司里都有专门进行联机检索、为用户或本机构决策提供信息服务的检索专家。但进入80年代末、90年代初以后，互联网的迅速发展，导致越来越多的用户在网上自行寻找自己所需的信息，而联机检索由于对检索人员的要求高、费用贵等原因，开始进入衰退时代，几家著名的联机检索公司逐渐被并购或倒闭，仅存的DIALOG公司、LEXISNEXIS公司等，被并购后仍保留了原有的系统名称和品牌，但也相继推出了基于互联网的网络检索机制，以提供普通检索用户使用。目前，联机检索的方式虽然仍然存在，光盘检索、网络检索相比。用户量

16、较少且大部分使用者仍然是检索专家。3、网络数据库检索通过网络接口软件，用户可在任意终端查询各地网上信息资源。网络检索是一种广义的联机检索，如使用远程登录(Telnet)，通过Internet连接用户所指定的远程计算机，共享该主机上的资源。² 分布式存储的网络数据库分布式存储，即不同的数据库分散在不同的数据库生产者的服务器上；网络数据库检索为用户分布式检索，即用户在任何地方的终端都可以访问并存储数据；网络数据库的数据可进行分布式处理，即任何数据都可以在网上的任何地点进行处理。² 网络数据库的特点(1) 数据库分布式存储，且多存放在硬盘上，因此数量多，信息量大。同时由于超文本语

17、言和超文本传输协议的作用，提供了大量相关资源的链接，使资源内容更加丰富。(2) 数据库内容形式向多媒体化发展，不仅有文本，还有大量图像、动画、声音等，给用户提供了更为直观的服务。(3) 数据库更新速度快，一般为日更新。(4) 数据库和系统分布式管理，响应速度快。(5) 检索模式：以客户端网关服务器服务器方式为主，客户方在微机上运作，分析从服务器上返回的数据，给用户显示信息；服务方则给用户提供客户端应用程序，通过网关分析处理各类请求，并提供数据服务，提高了检索效率。(6) 应用程序与数据隔离，数据相对独立、完整、安全性好；但对客户方来说，由于访问是通过互联网进行的，安全性较差。(7) 信息组织模

18、式：非线性化，超文本形式，因此可以从某一资源点上快速、直接地指向相关资源链接点。(8) 检索机制：检索功能强，索引多，多数通过WWW浏览器提供检索，对非专业人员来说，易学易用。缺点是，不同的数据库使用的检索系统不同，检索命令也不尽相同，用户需学习检索系统的使用。(9) 系统访问通过互联网进行，在网络条件不发达地区，用户需支付通信费用。(10）检索环境宽松，检索费用较联机检索低很多。但由于数据库开发费用较高，价格较高，因此总体费用高于光盘检索。(11) 用户界面多基于WWW浏览器开发，方便友好。² 数据库的选择原则面对图书馆提供的大量数据库，读者应了解自己可使用的数据库资源；了解所在的

19、学科应该有哪些资源。在检索文献选择数据库时，应考虑到内容、范围、时效和费用等四方面因素（国际上称之为“4C”原则），(1)内容（Content）。从主题内容（即收录的学科领域）、数据来源（来自于新闻、专利、期刊论文等中的某一类），记录内容，记录中的数据类型（全文、文摘、数值数据），内容的技术含量（即是属于科普性质还是属于该领域的最新科学研究）等方面来考虑。(2)范围（Coverage）。从数据库的规模（即记录量，记录的起讫年代）及涵盖地理范围（是涉及某一个国家的文献还是世界范围的文献、收录期刊的种类和文献的数量、公司的类型等）来考虑。(3)时效（Currency）。从数据库的更新频率与印刷出版

20、物的时差来考虑。(4)费用（Cost）。选择费用最合适的资源。如美国 DIALOG 系统收费包括联机时间费和记录的输出费用两部分。依数据库的质量，其联机时间费用从$0.255/min 不等，每一条记录的输出费用从$0.1 到$85 不等。利用我校的校园网，使用图书馆购置的数据库是完全免费的。4、视频数据检索亦称电视信息查询，是数字通信、电视和计算机相结合的产物。用户将显示器或改装过的电视机作为终端，直接接受电视中心播放的信息或与视频系统的数据库进行联机对话。这种检索又分为两种，一种是广播式（teletex或teletext），即利用电视广播网循环传送专门的信息页，用图文电视接收机即可接收和检索

21、所需的信息画面，该系统又称图文电视；另一种是交互式的(videotex或videodata),用户可以与中心双向对话，通过视频（数据页）查询系统的数据库。近年来，我国许多单位接通了以videotex技术为主的国际联机检索系统，其中许多是以提供经济领域的最新信息为主的系统，如英国路透社的系统、美国道.琼斯公司的Dow Jones Bankers Report以及Financial Broadcast Service系统等。江苏的图文电视也为企业开设了四个专业经济信息网江苏综合经济信息网、国际期货信息网、物质供求信息网和化工商情信息网。二、计算机检索技术（一）布尔逻辑检索布尔逻辑检索是当今检索理论

22、中最成熟的理论之一，也是构造检索表达式最基本、最简单的匹配模式。布尔逻辑检索是通过布尔逻辑算符来实现的，这些算符能把一些简单的检索词组配成一个复杂的检索式，以表达用户的检索需求。布尔逻辑算符有四种：逻辑或（OR）、逻辑与（AND）和逻辑非（NOT）和逻辑异或，它们分别表示不同的逻辑思想。1、逻辑或（OR）可用“”表示，是一种用于并列关系的组配，它可以扩大检索范围，防止漏检，有利于提高查全率。如“A OR B”，则表示在一篇文献记录中只要含有 A 和 B 中的任何一个即算命中。2、逻辑与（AND）可用“*”表示，是一种用于交叉概念和限定关系的组配，它可以缩小检索范围，有利于提高查准率。如“A A

23、ND B”，即表示被检索的文献记录中必须同时含有 A和 B才算命中。推而广之，凡是使用AND的检索式，AND两侧的检索词必须同时出现在同一篇文献记录中，该篇文献才算命中。3、逻辑非（NOT）可用“”表示，是一种排斥关系的组配，排斥关系组配用来从原来的检索范围中排除不需要的概念或影响检索结果的概念。如“A NOT B”则表示从含有 A 的文献中去掉其中也含有 B 的文献记录。4、逻辑异或（XOR）XOR是Exclusive OR 的缩写，表示“命中信息中包含A、也包含B，但不包含同时含有A和B的信息”严格地讲，XOR逻辑不属于布尔逻辑，只能说是数理逻辑中的一类，但在情报检索及其它一些应用中，XO

24、R被划归在布尔类的运算中。不过XOR运算可以通过OR、AND、NOT等运算来实现。布尔逻辑算符关系图：在不同的检索系统里，布尔逻辑的运算次序有所不同。布尔运算次序一般为：² 有（），先内后外；² 无（），逻辑算符的优先顺序NOT，AND，OR；² 同级从左向右。对于同一个布尔逻辑提问式来说，不同的运算顺序会有不同的检索结果。（二）截词检索 截词检索是预防漏检提高查全率的一种常用检索技术，截词是指在检索词合适的位置进行截断，然后使用截词符进行处理，可节省输入的字符，又可达到较高的查全率。尤其在英语等西方语言中，常常有词语单、复数表示形式不同、英美拼写方式不同、词根相

25、同、含义相近而词尾形式不同等情况，为使检索时不遗漏相关词，提高检索效率，一般信息检索系统都发展了截词技术。截词符“*，?，$，#，!”（表示截断一个词所用的截断符号，各情报检索系统有不同的规定）加在检索词的词干或不完整词形上，使词的意义完整以便进行检索。其实质是利用计算机特有的指定位置对比判断功能进行“类比匹配”。截词检索技术主要是针对由于近义词、同一词根、单复数等词汇的变化，为防止对检索词列举不全而形成漏检现象而提出来的，它实际上是布尔逻辑“OR”功能的扩展。v截词检索根据截断的字符数量划分为：有限截词无限截词；根据词的截断位置划分为：前截断、后截断、中截断。通用截词符：“？，*”一般用“*

26、”表示无限截断，用“？”表示有限截断。1、后截断是最常用的截词检索技术。将截词符号置放在一个字符串右方，允许检索词后有若干变化，以表示其右的有限或无限个字符不影响该字符串的检索。这种方式称为检索词的后截断。从检索性质上讲，后截断是前方一致检索。如后截断检索式comput*，将检索出包含 computer，computing 等词汇的结果。2、前截断与后截断相对，前截断是将截词符号置放在一个字符串左方，以表示其左的有限或无限个字符不影响该字符串的检索。这种方式称为检索词的前截断。从检索性质上讲，前截断是后方一致检索。用前截断进行一个学科的不同应用领域的检索是很方便的。前截断是一种极为有用的技巧，

27、目前仅有少数联机系统(如ORBIT系统)允许使用前截断检索，这主要是由于词典存贮方式的限制。3、 中截断这种截断是把截断符号置放在一个检索词的中间，而不是左右两侧。中截断仅允许有限裁断。英语中有些单词的拼写方式有英式、美式之分，有些词则在某个元音位置上出现单复数不同。如： 为了在文献检索时不漏检，使用这类词进行检索时，用中截断检索技术：organi?ationdefen?em?n（三）位置算符用来标识检索词组中词与词之间的位置关系，以提高查准率。位置检索是用于多个单词之间的位置比较运算，只有当记录中单词之间的位置关系符合检索式的要求时，才算是命中文献。位置关系包括词距和词序两个方面：词距指的是

28、两个单词之间的间隔距离，即相隔多少个单词；词序指的是两个单词之间的先后词序，即哪个在先，哪个在后。位置检索是一种允许有一定范围变化的相似性比较运算，在全文检索和自由文本检索中具有重要的作用。由于布尔逻辑运算符不能确定检索词的相对位置关系，对许多检索课题不能满足要求，所以在一些先进的检索系统中，为了弥补有些提问式难以用逻辑算符准确表达提问要求的缺陷，避免误检，许多检索系统发展了位置检索技术。在不同的检索系统中位置算符的种类和表达形式不完全相同，使用位置检索技术时，注意所利用系统的使用规则。这里以著名的 Dialog系统常用的位置算符为例，说明其检索技术如下：1、(W)和(nW)算符Wwith 的

29、缩写。(W)（ W=1 时，可简写为“（）”） 表示在(W)算符必须紧挨着，且词序不可颠倒，中间也不可以插入其他的词或字母，但允许有一个空格或标点符号； (nW)中的 n 表示两检索词中间允许插入的单词数目少于或等于 n （n=1，2，3）个。(nW)算符的主要作用是用来替代检索式中出现的 the，of 等禁用词，但算符两侧检索词的词序不能颠倒。如：“building(W)construction”检索命中的记录中将有：“building construction”或 “building-construction”等形式。“building(1W)construction”在命中的记录中除以上

30、形式外，还可能会有“building and construction”，“building under construction”等形式。2、(N) 和(nN)算符N是near的缩写。(N)表示在(N)算符两侧的两个检索词相邻，顺序可以互换，但两词间不允许插词。(nN)表示在(nN)两侧的两个检索词相邻，顺序可以互换，允许插词量少于或等于n个。3、(F)和（S）算符(F)是Field 的缩写。两个检索词必须出现在同一标引字段中。如：标题词字段、叙词字段、文摘字段等。它们之间的顺序不限，夹在其中的其他词数量也不限。（S）是SAME的缩写。（S）算符表示其两侧的检索词(或检索项)必须同时出现在文

31、献记录的同一子字段(即同一个短语、句子、段落)内，词序不限，中间可插入任意数量的词，此字段通常由数据库确定。位置算符的执行顺序为(W) 或(nW)、(N) 或(nN)、（S）、(F)，如有括号，则优先执行括号内的位置算符。（四）限制检索限制检索是对检索词范围（时间、国别、语种、信息类型等）进行约束或压缩的方法，它大多通过检索系统的限制符号或限制命令来实现。限制检索主要有以下几种方式：1、 字段限制针对特定年代、特定类别、特定检索点等做限制，主要分为两种类型2、 二次检索检索结果中再检索，或称为进阶检索。有三种方式：重新查询、在结果中再查、在结果中去除。三、计算机检索步骤1、分析检索课题，明确检

32、索目标² 明确检索目的，以便用户对信息检索的查新、查准、查全和检索速度的指标要求有一个大致了解，从而制定出符合实际情况的检索策略；² 分析所需检索的主题概念和各个子概念之间的内在关系；² 确定检索所要涉及的学科范围；² 确定需求文献的语种、年代范围及类型是期刊论文、会议论文、专利等。检索策略：为实现检索目标而制订的全盘计划或方案，指导整个检索过程。几乎包括了全部检索有关的基本知识的应用。检索策略，就是在分析课题内容具有哪些概念单元的基础上，确定检索系统、检索文档、检索途径和检索词，并科学安排各检索词之间的位置关系和逻辑关系以及查找步骤等。检索策略考虑得是否周全，直接影响文献的查全率和查准率。2、选用检索工具和检索系统当检索课题明确以后，就要选择与课题相符、质量较高、检索手段比较完善的检索工具或系统。检索时，一般既要选择专业性检索工具，也要考虑综合性检索工具，一般对检索工具的要求是：收录文献资料的专业广、类型齐全、数量大、报道速度快、文摘详细，并附有各种索引。综合使用各种检索工具，以获得满意的查全率。3、选择检索词（入口），构造检索表达式根据所需信息的内部和外部特征线索确定检索词，构造检索表达式。（1）内部特征分类号、主题词、关键词等；（2）外部特征著者名、题名、机构名、代码、信息源类型等；（3）检索词是构成检索式的基