人工智能技术在信息检索系统中的应用

1、人工智能技术在信息检索系统中的应用长久以来，人工智能对于普通人来说是那样的可望而不可及，然而它却吸引了无数研究人员为之奉献才智，从美国的麻省理工学院(MIT)、卡内基-梅隆大学(CMU)到IBM公司，再到日本的本田公司、SONY公司以及国内的清华大学、中科院等科研院所，全世界的实验室都在进行着AI技术的实验。不久前，著名导演斯蒂文·斯皮尔伯格还将这一主题搬上了银幕，科幻片人工智能(A.I.)对许多人的头脑又一次产生了震动，引起了一些人士了解并探索人工智能领域的兴趣。人工智能是当前科学技术发展中的一门前沿学科，是在计算机科学、控制论、信息论、神经心理学、哲学、语言学等多种学科研究的基础

2、上发展起来的，是一门综合性很强的边缘学科。总的来说，人工智能是一门研究如何构造智能机器或智能系统，使它能模拟、延伸扩展人类智能的学科。目前，人工智能的研究更多的是结合具体领域进行的，主要研究领域有专家系统、机器学习、模式识别和自然语言理解等。自从人工智能技术问世以来，它的研究已经有了显著的成果。人工智能应用于信息检索系统的成果智能信息检索系统给信息检索领域带来了革命性的变化。1 智能信息检索系统概述智能信息检索系统是一种智能化的计算机信息检索系统,它模拟人类关于信息处理的思维过程和智能活动,实现信息知识的存储,检索和推理,并向用户提供智能辅助。由于人工智能的引入，智能信息检索系统的优势明显：强

3、大的自然语言理解能力，使用户可以用自然语言更确切地表达自己的信息需求；模拟专家的检索方法，把用户所表达的信息需求，制定解决策略以及分析结果的工作转移到智能信息检索系统来处理；具有强大的学习能力，能自动地获取知识，能直接向书本学习，并在实践中实现自我完善。2智能信息检索的结构2.1 知识库及其管理系统知识库是知识存储机构，用于存储解决用户信息需求所需的原理性知识、专家的经验性知识以及有关的事实等。知识库中的知识来源于知识获取机构，同时它又为推理机提供求解问题所需的知识，与两者都有密切关系。2.2 数据库及其管理系统它存放用户提供的初始事实、问题描述以及系统运行过程中得到的中间结果、最终结果、运行

4、信息（如推出结果的知识链）等。2.3 检索推理机构它综合应用各种信息检索策略与推理技术，利用知识库中的知识，按一定的推理策略解决用户的问题。2.4 知识获取这是获取知识的机构，由一组程序组成。其基本任务是把知识输入到知识库中，并负责维护知识的完整性与一致性，建立起性能良好的知识库。2.5 解释机构它能够对自己的行为作出解释，回答用户提出的“为什么？”、“结论是怎么出来的？”等问题，是信息检索系统取信于用户的一个重要措施。 3 智能信息检索面临的问题智能信息检索系统的研究经历了几十年的发展，到目前为止，已经研究出了一些实用性的智能信息检索系统。但是，人工智能信息检索在下列领域依然无法得到根本性的

5、突破。3.1 自然语言理解自然语言理解是智能信息检索系统的基础。自然语言是极其复杂的。 对我们每个人来说，是以我们的全部知识来理解语言的。机器理解自然语言需要把每个人脑都拥有的高度相似的、有关的“背景知识”存入计算机中，利用这种上下文相关知识进行推理，但这是难以做到的。3.2 知识的表示人类的智能活动主要是一个获得并运用知识的过程，知识是智能的基础。为了让计算机具有智能，就必须使它具有知识。但知识是需要用适当的模式表示出来才能存储到计算机中去的，因此知识表示是长期以来人工智能研究的一个重要问题,在智能信息检索系统设计中,知识表示则成为一个核心部分。在人工智能中，知识表示就是要把问题求解中所需要

6、的对象、前提条件、算法等知识构造为计算机可处理的数据结构以及解释这种结构的某些过程。在信息检索中，同一条知识对不同的用户有着不同的重要性。因此，在信息检索中，知识的表示与利用是一个很大的难题。例如，如何从询问中获得领域知识，信息表示要达到怎样的深度等。3.3 知识的获取拥有知识是智能信息检索系统区别于一般信息检索系统的重要标志,而知识的质量与数量又是决定其性能的关键因素。如何使智能信息检索系统获得高质量的知识，这正是知识获取要解决的问题。由于各方面的原因，知识获取至今仍是一件相当困难的工作，虽然已有许多人工智能学者在开展这方面的研究工作，希望实现知识的自动获取，即由信息检索系统自动完成对知识的

7、获取，并且也取得了一些成果，但离知识的完全自动获取这一目标相距甚远，还需要走一段漫长的道路，解决许多理论及技术上的问题。 4 从人工智能研究的成果来探讨解决问题的思路4.1 自然语言理解在人工智能领域,自然语言理解就是研究如何让计算机理解人类自然语言的一个研究领域。具体的说他要达到如下三个目标：（1）计算机能理解人们用自然语言输入的信息，并能正确回答输入信息中的有关问题。（2）对输入信息，计算机能产生相应的摘要，能用不同词语复述输入的内容。（3）计算机能把某一种自然语言表示的信息自动的翻译为另一种自然语言。对于智能信息检索系统来说，主要是要达到前面两个目标。关于自然语言理解的研究可以追溯到20

8、世纪50年代。但大多集中在将一种自然语言翻译成另一种自然语言的研究上。进入20世纪70年代，一批采用句法一语义分析技术的自然语言理解系统脱颖而出，在语言分析的深度和难度方面都比早期的系统有了长足的进步。进入20世纪80年代后，更强调知识在自然语言理解中的重要作用。近十年来在自然语言理解的研究中一个值得注意的是语料库语言学的崛起，它认为语言学知识来自语料，人们只有从大规模语料库中获取理解语言的知识，才能真正实现对语言的理解。目前，虽然基于语料库的自然语言理解方法还不成熟，正处于研究之中，但它是一个值得注意的研究方向。而且我们可以将已经取得的成果用于智能信息检索系统的自然语言处理上。4.2 知识的

9、表示对于知识表示方法的研究，离不开对知识的研究与认识。由于目前对人类知识的结构及机制还没完全搞清楚，因此关于知识表示的理论及规范尚未建立起来。尽管如此，人们在对智能信息系统的研究及建立过程中，还是结合具体研究提出了一些知识表示方法。概括起来，这些表示方法可分为两大类：符号表示法，连接机制表示法。对同一知识，一般都可以用多种方法进行表示，但其效果却不相同。因为不同领域中的知识一般都有不同的特点，而每一种表示方法也各有自己的长处与不足。因而，有些领域的知识可能采用这种表示模式比较合适，而有些领域的知识可能采用另一种表示模式更好。有时还可能把几种表示模式结合起来，作为一个整体来表示领域知识，以取得取

10、长补短的效果。另外，上述各种知识表示方法大都是在进行某项具体研究或者建立某个智能系统时提出来的，有一定的针对性和局限性，应用时需根据实际情况作适当的改变。在建立一个具体的智能系统时，究竟采用哪种表示模式，目前还没有统一的标准，也不存在一个万能的知识表示模式。但一般来说，在选择知识表示方法时，应从以下几个方面进行考虑：要充分表示领域知识，即在确定一个知识表示模式时，首先应该考虑的是它能否充分地表示领域知识；要考虑是否有利于对知识的利用；是否便于对知识的组织、维护与管理；是否便于理解和实现。4.3 知识的获取目前，知识获取通常是由知识工程师与系统中的知识获取机构共同完成的。知识工程师负责从领域专家

11、那里抽取知识，并用适当的模式把知识表示出来，而系统中的知识获取机构负责把知识转换为计算机可存储的内部形式，然后把他们存入知识库。在存储的过程中，要对知识进行一致性、完整性的检测。知识获取的任务是为信息系统或者专家系统获取知识，建立起健全、完善、有效的知识库，以满足求解领域的问题的需要。对智能信息检索系统来说，就是要满足信息检索这一具体领域的需要。为了完成这个任务，知识获取必须做到：（1）抽取知识：即把蕴含于知识源（领域专家，书本，相关论文及系统的运行实践等）中的知识经识别，理解，筛选，归纳等抽取出来，以便建立知识库。（2）知识转换：即把知识由一种表示形式变换为另一种表示形式。（3）知识的输入：

12、即把用适当模式表示的知识经编辑、编译送入知识库的过程；（4）知识的检测：知识库的建立是通过对知识进行抽取、转换和输入等环节实现的，这一过程中的任何环节上的失误都会造成知识的错误，直接影响系统的性能，因此必须对知识进行检测，以便尽早发现并纠正可能出现的错误。按知识获取的自动化程度划分，可分为非自动知识获取和自动知识获取两种方式。自动知识获取是知识获取最终的目标，它是一种理想的知识获取方式，但它却涉及到人工智能的多个领域。例如模式识别、自然语言理解、机器学习等。而这一理论目前尚处在研究阶段，由许多技术上的问题需要作进一步的研究，就目前已经取得的研究成果而言，尚不足于真正实现自动知识获取。因此，知识的完全自动获取目前还只能作为人们为之奋斗的目标。但是，人工智能的研究毕竟已经取得了很大的进步