国内外FTP搜索引擎的分析与比较

国内外FTP搜索引擎的分析与比较

1、引言在因特网上存在着、流动着各种各样的信息，例如email信息、BBS信息、OICQ信息、被HTTP服务器管理的HTML网页，还有被FTP服务器管理的各种类型的文件。后者是本文关心的对象，它们的典型代表是各种学术和技术文件、计算机软件、多媒体数据。多数FTP服务器都开辟有一个公共访问区，称为"匿名FTP"，对公众提供免费的文件信息服务。FTP搜索引擎的功能是搜集匿名FTP服务器提供的目录列表，对用户提供文件信息的查询服务。由于FTP搜索引擎是专门针对各种文件的，因而相对WWW搜索引擎，寻找软件、图像、电影和音乐等文件使用FTP搜索引擎将更加方便直接。最早的FTP搜索引擎是基于文本显示的Archie。Archie实际上是一个大型的数据库，再加上与这个大型数据库相关联的一套检索方法。该数据库中包括大量可通过FTP下载的文件资源的有关信息，包括这些资源的文件名、文件长度、存放该文件的计算机名及目录名等。可以通过远程登录到Archie主机来使用Archie服务器，用Archie作为登录名。一旦登录成功，一个Archie程序将自动执行，这时一次输入一条命令，告诉Archie想查寻的内容，Archie将检索自己的数据库并显示检索的结果。如果用户对自己想要的东西并不太清楚，Archie还提供"whatis"服务项目，该服务提供成千上万个程序、数据文件和文档的简短说明。WWW的出现改变了Archie在文件搜索方面的统治地位，在美观、方便的WWW页面上搜索ftp文件成为用户的自然需求，即人们需要有一种基于Web的FTP搜索引擎。在功能上，基于Web的ftp搜索引擎与Archie基本一样，都是对用户提交的查询匹配串找到可以下载的ftp站点链接。但基于Web的ftp搜索引擎也有很多特色的功能，比如天网ftp搜索引擎的文件分类功能就大大便利了用户查找文件的过程，提高了查准率。基于Web的ftp搜索引擎也采用了很多WWW搜索引擎的策略，比如使用Spider自动收集数据，采用倒排索引，智能换页链接技术以及大型ftp搜索引擎必须采用的分布收集和服务技术。天网FTP搜索引擎是北京大学计算机系网络与分布式系统实验室开发的一个产品，目前已经在上提供服务，搜集文件数据量超过一千万，每日用户访问超过40万次，是目前国内规模最大的FTP搜索引擎，也是国际FTP搜索引擎中的佼佼者(试在Google查询"ftp搜索引擎"!)。以下我们将天网FTP搜索引擎与多个著名的国内外FTP搜索引擎进行分析比较，从而得到全球FTP搜索引擎的现状并探讨其发展趋势。2、著名的国际国内FTP搜索引擎目前国内外ftp搜索引擎已有不少，我们研究了许多FTP搜索引擎，列出下列比较典型和著名的FTP搜索引擎作为本文的讨论对象：国外著名的FTP搜索引擎：交大思源搜索全军基因诊断技术研究所FTP引擎梦轩FTP搜索中科大天狼中英文搜索引擎/网络指南针华南理工木棉中英文搜索引擎FTP星空搜索/ftpsearch/search.html3、搜集文件条目数据量的比较一个搜索引擎是否大型，就在于其维护的信息量是否足够。据统计，全球匿名FTP服务提供的文件条目已经超过数亿，而中国国内的匿名FTP服务也提供了几千万的文件。由于很多搜索引擎并没有显式的说明自己的数据库究竟包含了多少个文件条目的信息，我们采用两个通用查询来估测搜索引擎的数据量，一个是子串查询Winzip，代表Windows平台常见的文件，另一个是子串查询Linux，代表非Windows平台文件。从以上统计信息可以看出，国外大型FTP搜索引擎数据链一般都达到千万条目以上，而国内FTP搜索引擎中，只有北大天网搜索、清华9#、华南木棉、星空搜索可能达到了这个量级，其中又以天网搜索星空搜索文件数量最大，而华南木棉包含了HTTP和FTP两个协议的文件，因而文件数目也很大。4、FTP搜索引擎功能选项比较搜索引擎是否吸引用户，光看数据量是不够的，因为即使在同样的数据量下，各个搜索引擎可以实现的数据挖掘结果各有区别，而这个就很大程度上影响了用户找到需要的文件。早期的Archie就已经提供了很多搜索功能和选项，后来的FTP搜索引擎很大程度上都是模仿了Archie，这些功能或选项包括：a、支持*，?等与或操作符b、支持多种查询模式，如是否大小写区分，是否子串匹配或精确查询等c、支持文件时间、文件大小、最后修改时间等过滤选项d、支持多页面显示查询结果，常见的换页方式有索引式和下一页式这些功能或选项是各种文件查询系统应该支持的基本功能，我们称之为Ftp搜索引擎的基本功能选项。当今的Ftp搜索引擎技术在发展，其功能也日新月异。我们考查许多Ftp搜索引擎，列出下列区别于基本功能选项的新功能，这些功能选项以其简单方便成为一些Ftp搜索引擎的亮点，我们称之为"新兴功能选项"：a、支持指定站点的站内文件查询b、支持结果排序，例如按时间、大小、站点等的排序c、查询结果中的再查询d、支持分类目录，例如提供许多常用的查询供用户选择e、支持查询系统的文件分类，指在一个扩展名集内的查询，如查电影f、提供FTP站点在线与否的状况显示g、支持在线的站点登记h、FTP站点快照Ftp搜索引擎的基本功能选项比较：由上表可以看出，绝大部分Ftp搜索引擎都支持我们所指的"基本功能选项"，其中支持*?操作和结果换页是最为必要的，Ftp搜索引擎都应该支持这些功能。而多种查询模式和时间大小过滤并不是特别需要，因为对于普通用户而言，有最基本的功能选项就足够了，而且文件名大小写以及其时间大小并不是特别确定的，不同的软件提供者可能在同一软件的名字和修改时间上有些改动，用户用目视的方式可能可以得到更多的有效结果。结果换页方式有两种，一种是索引式，用户可以在结果页面里任意挑选一页显示，另一种是下一页式，用户只能一页一页的向后翻才可以看到后续的结果。大部分WWW搜索引擎都是使用了索引式换页，因为当查询结果有很多时，一页一页往下翻可能使得用户无法跳出同一类不精确的查询结果，而索引式换页还可以支持用户随机地挑选查询结果，比如用户查询*.rm，然后随机的挑一些电影看。因此我们认为索引式的结果换页是一种更为先进更为方便的方式。从上表可以看出，天网FTP搜索引擎支持了大部分基本功能选项，结果换页采用索引方式，因而使用起来是比较方便的。从上表可以看出，站内查询、结果排序、文件分类和在线站点登记已经受到许多FTP搜索引擎的重视，而结果中查询、分类目录、站点在线状况分析和站点快照等只有很少Ftp搜索引擎实现了，例如天网Ftp搜索的结果中查询和分类目录其他Ftp搜索引擎都没有实现。在这些新兴功能选项里，我们参考许多用户的反馈和我们对天网Ftp搜索查询日志的分析，认为"文件分类"和"站点在线状况"是目前用户最为希望能够使用的，同时在查询结果页面里面的结果排序是一种更为有效的结果排序。5、FTP搜索引擎速度比较：Ftp搜索引擎的速度是十分重要的，因为搜索引擎本身的目的就是提高用户查找信息的速度。搜索引擎的速度与系统底层的实现密切相关，一般而言，如果一个搜索引擎底层的查询是使用通用数据库提供的查询算法，则其查询速度会慢很多，而如果采用WWW搜索引擎常用的倒排表索引归并算法，则可以达到在毫秒级完成千万文件条目的查询任务。由于我们无法得到大部分Ftp搜索引擎底层究竟是使用了什么查询算法和系统，我们只能从外部来考查它的查询速度，也就是搜索引擎自己显示的它所费的查询时间。我们用以下特别查询来判断搜索引擎的速度：1、查*.txt代表正常的扩展名查询2、查ab*cd代表*操作，是一个比较费时的查询3、查winzip??.exe代表？操作，是一个比较费时的查询4、查windows代表正常的子串查询我们同时统计了查询的结果数目，如果系统没有提供它所费的查询时间，我们则仅仅统计它的查询结果。下表表项分别是(查询费时、结果数目)，>表示超过搜索引擎的最大结果显示数。从上表可以看出，在提供了查询费时统计的所有Ftp搜索引擎里，北大天网Ftp搜索引擎达到了毫秒级的查询速度，且总体而言是最快的。很多搜索引擎并没有提供查询费时的统计，我们只能假设这些搜索引擎在搜索速度上都是相等的，都属于中上速度的搜索引擎。6、总结从上面各个比较可以看出，天网FTP搜索无论在功能、速度、数据量上都是名列前茅的FTP搜索引擎，它的结果中查询功能(是所有已知FTP搜索引擎中唯一支持结果中查询的)，分类目录功能(在Google的中文分类目录搜索引擎里北大天网排名第四，超过了国内著名的WWW搜索引擎百渡搜索以及新浪分类目录)，文件分类查询和在结果页面里面的结果排序都是极有特色的，而最为重要的是，天网FTP搜索强大的查询命令解析功能使得各种输入都尽可能为用户找到查询结果，使得用户使用搜索引擎更为方便，不受限制。但是，与P相比，天网FTP搜索的数据量太少，这个可能是国内FTP站点大部分都是个人站点造成的。P也是一个很成功的FTP搜索引擎，它支持各种与或操作的查询，而且查询速度十分快，但是功能方面比较简单，只有简单查询。AlltheW源自于原来的FastFtpSearch，是多年来的重要产品，因而无论在数据量和功能上很强，而且由于它的商业开发比较早，也是少有的几个提供商业应用服务的FTP搜索引擎，是它的一个主要客户。但是AlltheWeb没有支持很多新兴的FTP搜索引擎功能，不能说不是一大缺陷。F和都是非美国的FTP搜索引擎，其中以其大数据量和通用与或操作查询赢得较好评价，而则相对比较差。在国外的FTP搜索引擎中，是功能最为领先的，它支持了包括站点快照和文件分类等新兴功能，而且其数据量非常大，但速度相对比较慢，还是秒级的查询速度F是老FTP搜索引擎，它的数据已经3年没有更新，仅仅因为它曾经存在的名气和大的数据量我们依然分析评测了这个站点。国内的FTP搜索引擎里，除了天网搜索，最值得推荐的就是星空搜索。星空搜索以其大的数据量和特色功能如站点快照、站点在线状况等著称，但是它对查询串的解析功能太差，不能支持与或操作，造成很多常用查询无法得到查询结果。NoseyParker家族作为最常见的FTP搜索引擎而著名，清华酒井的FTP搜索数据量也很大，但是NoseyParker速度并不快，而且不支持各种新兴功能，它的下一页换页方式不是很方便。值得注意的是NoseyParker家族里面的"梦轩FTP搜索"已经对NoseyParker进行了很大的改进，增加了许多新兴功能，使用起来还是很方便的。与天网搜索同属于教育界科研项目的有华南木棉搜索引擎、网络指南针以及比较新的中科大天狼搜索引擎。这些搜索引擎中以华南木棉使用起来最为方便，它支持文件分类和排序以及传统FTP搜索引擎支持的各种与或操作符，但是它的数据量比较小，很大部分的文件信息来自于互联网网页而不是FTP，查询时命中率并不是想象中的那么高。网络指南针和中科大天狼都没有支持新兴功能，但网络指南针用起来比中科大天狼方便，因为天狼搜索由于其不支持结果换页使得可用性大大降低。但是天狼搜索查询高速度却很高，达到了毫秒级，估计是使用了比较好的索引算法。《关于2010-2011年度：中国电子商务系列研究报告定制的通知》作为国内专业电子商务研究机构，包括B2B领域的阿里巴巴、网盛生意宝、中国制造网、慧聪网、环球资源、金银岛、一达通、敦煌网等企业；B2C领域的京东商城、当当网、卓越亚马逊、新蛋中国、红孩子、凡客诚品(VANCL)、麦考林（麦网）、库巴购物网、苏宁易购、淘宝网、拍拍网、eBay易趣网、乐酷天、百度有啊、乐淘网、银泰网、珂兰钻石网等；支付领域的支付宝、财付通、环迅支付、百付宝、银联电子支付、快钱、易宝支付等；还有移动电子商务领域的中科聚盟、新网互联、汇海科技、亿美软通、天下互联、新网互联、用友伟库等，以及团购领域的拉手网、美团网、F团、窝窝团、阿丫团、24券、爱帮网、糯米网、腾讯“QQ”团、酷团网、大众点评网、淘宝“聚划算”等电子商务各领域典型企业，均为中心的重点研究与监测对象。据不完全统计：逾500家专注报道电商的媒体记者已注册为中心“特约记者”，第一时间密切关注引用本中心报告；累计5余万家电子商务及相关企业长期订阅、并引用报告数据；报告影响力辐射2000万家中小企业、5千万网购用户；并屡获包括国家商务部、工信部、工商总局、发改委、国新办、央行、海关总署在内的多部委引用、认可；累计不少于600家