搜索引擎Yahoo的分类体系及性能评价

1、搜索引擎Yahoo的分类体系及性能评价 目前很多的搜索引擎都是将人工编制的等级式主题目录和计算机检索软件提供的关键词等检索手段结合起来，完成网络信息资源的组织任务。yahoo就是这种等级式主题指南类搜索引擎的典型代表。 Yahoo的魅力，就在于它的可浏览式等级主题索引。按照主题建立分类索引，提供全面的分类体系结构，并结合高质量的检索软件，Yahoo成功地建立起了一套独特的信息管理和组织机制，使得对网络信息的全面检索变成现实。现对yahoo的类目体系、分类原理、检索方式、性能评价等作进一步的探讨。 一、类目体系yahoo由14个基本大类组成，包括ArtHumanities(艺术与人文)、Busi

2、nessEconomy(商业与经济)、ComputersInternet(电脑与网际网路/网络)、Education(教育)、Entertainment(娱乐)、Government(政府)、Health(健康与医药)、NewsMedia(新闻与媒体)、RecreationSports(休闲与运动)、Reference(参考资料)、Regional(国家与地区)、Science(科学)、SocialScience(社会科学)、SocietyCulture(社会与文化)。根据其拥有的信息或网站的多寡及知识组织的需要程度，每一个基本类目下细分不同层次的次类目或子类目，愈往下的子类目中的网站其主题愈

3、特定。它建立了一个由类目、子类目等构成的可供浏览的相当详尽的目录等级结构。其类目设计合理，结构完整、全面，类目等级层次鲜明，各级详略、宽泛程度不一，从而为网上丰富的信息资源的归类，尤其是确切归类提供了基础。 二、分类原理InternetScoutProject的分类专家AimeeGlassel认为，“印度著名分类专家和图书馆专家阮岗纳赞的冒号分类法理论体系与Yahoo网络信息资源的主体目录之间存在着密切的联系”，从而揭示了yahoo应用分面分析方法进行网络信息资源的分类实质。具体说来，可从以下几点来深入地理解yahoo的分面分类原理或基本过程。1.采用宽泛的主题领域建立分类索引为了使其分类体系

4、既具有无限的容纳性，又具有相当的专指性，yahoo采用较为宽泛的主题领域，通过分析兼综合的方法建立较为完整的分类索引。这与分面分类的思想不谋而合，因为将知识分为宽泛的类目即分面，多方面地反映主题内容以避免列举式类表的线性单向式的结构正是阮岗纳赞冒号分类法的主要原则所在。2.根据上下文进行信息内容的组合从Yahoo的分类结构外表看，也许会认为它与叙词表很相近，因为yahoo也是使用词汇而非符号来组成相应的概念词串。但是，从组合类目的能力看，它远远比普通的叙词表复杂得多。通过分析Web页面的内容特征，得到由Yahoo分类体系结构中某些类目词组成的概念词串或标引词串，将其放入相应的类目层次中。在ya

5、hoo的概念词串或检索词串中包含的独立的词汇都含有自身的名字，但是一旦与其它词组合，则产生了一个上下文关系，拥有了一深层次的涵义。从这一点上说来，与分面分类法也是极为相似的。3.利用冒号标记信息内容现以“20世纪60年代印度在肺结核治疗方面的研究”作为待分类标引的信息内容来具体考察两者的标记制度：在阮岗纳赞的冒号分类法中，该内容标引为：L，45；421；6；253；f.44N5用词代替相应的符号，则为：Medicine,Lungs;Tuberculosis:Treatment;Xray:Research.India1950如果将分面公式中的相应标点符号用冒号代替，由此所形成的字符串形式就是在y

6、ahoo中用于描述信息内容的方法，相应地表示为：Health:DiseasesandConditions:Tuberculosis可见两者在信息描述上何其相似！yahoo利用冒号作为统一的分隔符进行了信息内容的组织和描述，既保留了原先的分面标记的特点，又在一定程度上简化了标记制度，从而极大地提高了信息分类标引的效率。4.提供不同的分类路径入口“虚拟的信息集合”是yahoo的一大优点，体现在其拥有的概念模式和引用次序(即分面排列次序)的灵活性上。在传统的图书馆中，一本书只能放在书架的某一固定位置上。但在数字化的世界里，电子信息资源却不用再限制在唯一的物理位置上。我们可以将某一信息源分到类目结构的

7、不同位置上。通过将分面分析方法应用到网络信息资源的组织中，yahoo能够为某一信息源在其巨大的分类等级结构中提供不同的路径分支入口，这样就使其能够从不同的路径，为检索相同内容的不同用户提供服务，从而完成查询。例如，现欲查找美国WisconsinMadison大学所在的网页，yahoo就能提供如下几种分类或检索路径：Wisconsin:Cities:Madison:Education:CollegesandUniversities:UniversityofWisconsinMadison。（2）若从Education类目入手，开始的几级路径为：Education:HigherEducation:

8、CollegesandUniversities,在CollegesandUniversities目录下选择地理区域的子类目“UnitedStates”后，可以看到，又返回到Regional目录下，之后就与上述路径相同了。其中的奥妙就在于符号“”的运用，它提供类似于相关参照(crossreference)的作用，能够指引用户由某一子类目进入yahoo的浏览性等级结构的其它分支中。 三、检索方式Yahoo能够提供简单检索和细节检索。前者主要检索其分类结构中的一级目录，后者可使用关键词构成布尔逻辑式进行检索，其检索软件主要由OpenText公司提供。两者的结合堪称珠联壁合：一个提供强大的高质量的主题

9、指南目录，另一个则提供高水平的检索工具。而且，yahoo在检索时，也不光检索自身的主题目录，同时也会相应地检索OpenText公司提供的收有100万Web文件的OpenText数据库。诚然，Yahoo在检索方式上上存在着一些缺陷，如：只能进行关键词检索，并且只支持布尔算符and和or，未提供near等，但通过在其主页的末尾提供了其它引擎如ALTAVISTA、LYCOS等的超链接，指引用户进入这些地方去搜索，从而弥补了Yahoo的若干缺陷。因此，从总体上说来，yahoo仍然是WWW上最流行的查询工具之一。 四、性能评价作为主题指南类搜索引擎的典范，yahoo具有以下优点：1.主题目录与检索软件的

10、完美结合采用分面分析的方法，由信息管理专家编制主题目录，反映了人们在选择和组织信息时的知识和智慧，提高了目录编制的质量。同时，按照主题目录以人工为主对提交的网页进行筛选、归类和组织，也能不断克服单纯由搜索软件自动完成分类的缺陷，增强分类的条理性。嵌入相应的检索软件或工具，并与之相集成，提供高质、高效的检索服务，从而加快了系统的反映速度，提高了检索的准确性，使得检索结果更接近用户的信息需求。2.信息检索难度的降低Yahoo的数据库按照14个大类(各大类下又包含数量不等的小类)组织，其分类体系非常详尽，因此是进行宽泛主题检索的良好起点，特别是对于那些新用户和模糊需求的用户而言，选择浏览可逐级展开的

11、主题索引比构造检索式要自然得多。并且，在用户所在的类目下，显示了该级别的类目包含的条目数，如果用户认为数量过多，还可在此范围内使用关键词检索。yahoo的目录特征和利用上下文的服务使得能够实现快速和容易的检索，从而在一定程度上降低了互联网信息检索的难度，提高了系统的用户友好性。3.检索结果的分类选择Yahoo由分类路径入手，最终将检索结构分成类目输出，从而将极大地推动信息的选择。它还对结果列表中的相应内容进行必要加工，加上一些描述的词组或句子，方便用户浏览并选择：如：或cool标记表明该结果项在内容和版面设计都优于其他项；new表明是最近3日内收录的最新内容；以及上述提及过的以“”表示相关参照

12、，以括号里的数字表示收录的文件数量等等。另外，Yahoo增加了结果显示的类型，可以以相关网站、相关网页、新闻等形式输出相应的检索结果。总而言之，为了更好地实现为用户服务的目的，yahoo正不断开发新的途径和方法用以改善信息检索服务。在总结yahoo所具有的优势的同时，也应注意它的缺陷，这些缺陷往往也正是主题指南类搜索引擎的共同弊病所在：1、由于互联网信息的迅猛增长，使得采集信息的速度远远比不上网络资源的增长速度，更勿论编制主题目录的速度了。这就造成了所建立的数据库规模较小，且在某些类目下收集的文件数量有限等缺点，使得用户经常“乘兴而来，败兴而归”，满足不了相应的信息需求。 2、简单检索表中检索

13、词之间缺省设置为“.or.”，且内含的自动截词功能，使得在检索中往往会出现许多不相关的文件，导致查准率降低。3、为了适应不同用户的查询或检索需求，Yahoo对相同的信息内容往往能提供不同的路径入口，并以符号“”建立相应的参照。这一方面加大了分类工作的难度，另一方面也使得其分类的一致性难以得到确切保障，所以，经常出现从某一路径入手，却无法查到yahoo中所包含的信息内容的现象。4、待收录的网页或其它信息内容的复杂度的增加也在无形之中加大了确切分类的难度，如与ActiveX技术相关的文献就很难在yahoo中确切归类。5、为了编制高质量的主题目录并跟上网络资源发展的速度，必须投入相当大的人力、物力和

14、财力，且对从事该项工作的人员的素质要求也日渐提高。否则，将无法很好地保证其主题目录的质量，也就从根本上无法提供优质的服务。 五、启示和建议Yahoo最关键也是最成功之处就在于它为搜索引擎，尤其是主题指南类的搜索引擎的设计和开发树立了“摸板”。借鉴yahoo先进的搜索引擎经验，进一步完善网络信息资源尤其是中文信息资源的组织和管理，是历史赋予我们的责任。现就建立网上中文信息资源的高质、高效的“导航器”，提出以下几点建议：1、yahoo在数字化信息的组织中成功地应用分面分析的思想，建立起了一套完整、全面、等级层次鲜明的主题目录体系以提高信息组织的质量，这一点值得我们借鉴与学习。目前，国内的许多中文引

15、擎或者因没有分类路径入口，而不能跟上未来形势的发展；或者因目录体系缺乏必要的分类主题理论基础，而给信息的确切归类和准确检索带来了一系列的困难。我们并不一定要照搬yahoo的分类模式。在具体的编制过程中，应从中国人的思维习惯、检索习惯出发，结合国内已有的主题分类的理论体系(如：中图法等)，建立所需的分类框架。2、应逐步增大数据库的规模，从而奠定成功的信息检索的物质基础。建议可以通过两种方式补充数据库的内容：一是鼓励用户将自己网页的地址(URL)通过联机表格递交，二是由自身的巡视软件不断去发现网上新出现的文件，将之归入数据库，在补充的过程中，也应注意数据库内容的定期更新。关于这一点，现在的一些中文

16、搜索引擎做得还很不够，往往只知盲目地填充信息，却缺乏对库内容应有的维护工作，导致数据库庞大臃肿，检索效率低，信息内容陈旧，查准率差。3、鉴于单纯依赖手工进行信息归类效率低的缺陷，应在这方面加强研究，考虑是否可将目前在文本环境中已经实现并在进一步完善的自动分类、自动标引和自动文摘等处理信息内容的手段用到网络信息资源的组织上来。手工和机器辅助的结合，定能提高工作效率，改善信息组织、管理的质量。 另外，应继续加强检索软件的研制和开发工作。WWW网页内容多由图像、动画、声音、视频等多媒体信息构成。应积极探索这一类信息的检索途径，而不仅限于关键词检索方式。目前，对多媒体信息的存储，标引和检索正日益引起计算机和信息