网络门户搜索引擎网站的技术和存在问题及发展趋势

网络门户搜索引擎网站的技术和存在问题及发展趋势网络搜索引擎在网络信息资源查找中起到了重要作

用，它可以帮助人们从数以亿计的网络信息中找自己想要

的信息。搜索引擎以一定的策略在互联网中搜集。发现信息，

对信息进行理解、提取、组织和处理，并为用户提供检索服

务，从而起到信息导航的目的。搜索引擎提供的导航服务已

经成为互联网上非常重要的网络服务，搜索引擎点也被美

誉为“网络门户”。搜索引擎技术因而成为计算机工

业界和学术界争相研究开发的对象搜索引擎的基本构成和工作原理1.搜索器。搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。目前有两种搜集信息的策略：从一个起始URL集合开始，顺着这些URL中的超链（Hyperlink），以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL，但常常是一些非常流行、包含很多链接的站点（如Yahoo！）。将Web空间按照域名、IP地址或国家域名划分，每个搜索器负责一个子空间的穷尽搜索。搜索器搜集的信息类型多种多样，包括HTML、XML、Newsgroup文章、FTP文件、字处理文档、多媒体信息。搜索器的实现常常用分布式、并行计算技术，以提高信息发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。2.索引器。索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。在搜索引擎中，一般要给单索引项赋与一个权值，以表示该索引项对文档的区分度，同时用来计算查询结果的相关度。使用的方法一般有统计法、信息论法和概率法。短语索引项的提取方法有统计法、概率法和语言学法。索引表一般使用某种形式的倒排表（InversionList），即由索引项查找相应的文档。索引表也可能要记录索引项在文档中出现的位置，以便检索器计算索引项之间的相邻或接近关系（proximity）。索引器可以使用集中式索引算法或分布式索引算法。当数据量很大时，必须实现即时索引（InstantIndexing），否则不能够跟上信息量急剧增加的速度。索引算法对索引器的性能（如大规模峰值查询时的响应速度）有很大的影响。一个搜索引擎的有效性在很大程度上取决于索引的质量。3.检索器。检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。4.用户接口。用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。（二）搜索引擎的分类1.基于目录的搜索引擎。基于目录的搜索引擎将收集到的信息分到某一个类中，典型的基于目录的搜索引擎有Yahoo和Magellan。目录式搜索引擎提供由网页作者呈送的因特网资源的链接集合，同时对这些资源做出评价并组织成主题目录。它使用一定的选择标准用于挑选所录用的链接资源，不同的目录式搜索引擎使用不同的选择标准。它有两种基本类型：一种是由主题专家日常建立和维护的学术性专业目录以满足科研人员的需要；另一方面是为普通大众和商业服务的商业目录。2.基于机器人的搜索引擎。基于机器人的搜索引擎从一组已知的文档出发，通过这些文档的超文本链接确定新的检索点，然后用索引机器人周游这些新的检索点，标引这些检索点上的新文档，将这些新文档加入到索引数据库。以后搜索引擎可以用这个索引数据库去回答用户的提问。机器人搜索引擎不是靠人工发现和甄别信息，而是由一个被称作“蜘蛛”的计算机程序在网中爬行，依据一定的网络协议在因特网中发现、加工、整理信息，并为用户提供检索服务。3.基于客户的搜索引擎。基于客户的搜索引擎用Web客户器中的周游软件，它们从一组已知的文档出发，检索WWW上的文档并传送这些文档，然后用文档中的超文本链接找到更多的文档，直到满足要求。基于客户的搜索引擎不需要第三方检索接口，因此可改善用户界面，因为基于客户的搜索是实时的，它可以搜索到最新的资料，但搜索速度慢，网络负载和服务器负载都太大。4.元搜索引擎。元搜索引擎将用户查找要求递交给其它搜索引擎。它的注意力放在改进用户界面及用不同的方法过滤它从其它搜索引擎接收到的相关文档，包括消除重复信息，元搜索引擎设计简单，但网络的负载太大，典型的元搜索引擎有METACRAWLER等。5.分布式搜索引擎。分布式搜索引擎按区域、主题或其它标准创建分布式索引服务器，索引服务器之间相互可以交换中间信息，且查询可以被重新定向。如果一个检索服务器没有满足查询请求的信息，它可以将查询请求发送到具有相应信息的检索服务器。（三）搜索引擎的研究重点1.能充分表达用户查询要求的查询语言：现有的搜索引擎的查询语言甚至比较成熟的商业性的情报检索系统的查询语言还要简单。一套能充分表达用户要求但又不增加网络负载的查询语言是搜索引擎的发展趋势。2.索引数据库的组织和管理：搜索引擎的索引数据库是网络信息的一个轨迹，它要随网络信息的变化而变化，因此它除了数据增加以外还需要有数据的删除和修改功能，如何对大容量的、非结构化的信息进行增加、删除、改变操作也是一个研究重点。3.信息的自动加工：在传统的情报检索中，数据源基本上是人工加工。如，（NSPECCOM-PENDEX）等，且有标准的用词，查全率和查准率都比较高，而搜索引擎对网上收集到的信息一般是采用自动加工，因此如何对信息进行准确的分析和标引是搜索引擎要研究的主要问题。4.提高检索的查准率：网上的信息已经相当丰富，现有的搜索引擎的问题不再是能找到多少文献，而是找到的文献太多，且很多文献不一定与用户要求非常相关，因此提高查准率是搜索引擎查找效率的主要体现。5.Web信息的发掘：如何迅速发现和收集网上新加入的信息和被删除的信息。（四）未来搜索引擎技术发展趋势1.搜索的模糊化趋势2.搜索的博客化趋势。3.搜索的重叠化趋势。4.搜索的个人评价趋势。5.与S