全文检索引擎API介绍

1、Lucene:基于Java的全文检索引擎简介Lucene 是一个基于 Java 的全文索引工具包。1 .基于 Java 的全文索引引擎 Lucene 简介：关于作者和 Lucene 的历史2 .全文检索白实现：Luene 全文索引和数据库索引的比较3 .中文切分词机制简介：基于词库和自动切分词算法的比较4 .具体的安装和使用简介：系统结构介绍和演示5 .HackingLucene：简化的查询分析器，删除的实现，定制的排序，应用接口的扩展6 .从 Lucene 我们还可以学到什么基于 Java 的全文索引/检索引擎 LuceneLucene 不是一个完整的全文索引应用，而是是一个用 Java 写

2、的全文索引引擎工具包，它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。Lucene 的作者： Lucene 的贡献者 DougCutting 是一位资深全文索引/检索专家， 曾经是 V-Twin 搜索引擎 （Apple的 Copland 操作系统的成就之一）的主要开发者，后在 Excite 担任高级系统架构设计师，目前从事于一些INTERNET 底层架构的研究。他贡献出的 Lucene 的目标是为各种中小型应用程序加入全文检索功能。Lucene 的发展历程：早先发布在作者自己的，后来发布在 SourceForge,2001 年年底成为APACHE31 金会 jakarta 的一个

3、子项目：已经有很多 Java 项目都使用了 Lucene 作为其后台的全文索引引擎，比较著名的有：Jive：WEB 论坛系统；Eyebrows:邮件列表 HTML 归木/浏览/查询系统，本文的主要参考文档 TheLucenesearchengine:Powerful,flexible,andfree”作者就是 EyeBrows 系统的主要开发者之一，而EyeBrows 已经成为目前 APACHEm 目的主要邮件列表归档系统。Cocoon:基于 XML 的 web 发布框架，全文检索部分使用了 LuceneEclipse 基于 Java 的开放开发平台，帮助部分的全文索引使用了 Lucene对于

4、中文用户来说，最关心的问题是其是否支才 I 中文的全文检索。但通过后面对于 Lucene的结构的介绍，你会了解到由于 Lucene 良好架构设计，对中文的支持只需对其语言词法分析接口进行扩展就能实现对中文检索的支持。全文检索的实现机制Lucene 的 API 接口设计的比较通用，输入输出结构都很像数据库的表=记录=字段，所以很多传统的应用的文件、数据库等都可以比较方便的映射到 Lucene 的存储结构/接口中。总体上看：可以先把 Lucene 当成一个支持全文索引的数据库系统。比较一下 Lucene 和数据库：Lucene 数据库索引数据源:doc(field1,field2.)doc(fie

5、ld1,field2)indexer/索引数据源:record(field1,field2.)record(field1.)SQL:insert/|LuceneIndex|DBIndex|/searcher/SQL:select结果输出:Hits(doc(field1,field2)结果输出:results(record(field1,field2.)doc(field1.)record(field1.)Document:一个需要进行索引的单元”一个 Document 由多个字段组成Record:记录，包含多个字段Field:字段Field：字段Hits:查询结果集，由匹配的 Document

6、 组成RecordSet:查询结果集，由多个 Record 组成全文检索丰like%keyword%通常比较厚的书籍后面常常附关键词索引表（比如：北京：12,34 页，上海：3,77 页），它能够帮助读者比较快地找到相关内容的页码。而数据库索引能够大大提高查询的速度原理也是一样，想像一下通过书后面的索引查找的速度要比一页一页地翻内容高多少倍而索引之所以效率高，另外一个原因是它是排好序的。对于检索系统来说核心是一个排序问题。由于数据库索引不是为全文索引设计的，因此，使用 like%keyword%时，数据库索引是不起作用的，在使用 like 查询时，搜索过程又变成类似于一页页翻书的遍历过程了，所

7、以对于含有模糊查询的数据库服务来说，LIKE 对性能的危害是极大的。如果是需要对多个关键词进行模糊匹配：like%keyword1%andlike%keyword2%.其效率也就可想而知了。所以建立一个高效检索系统的关键是建立一个类似于科技索引一样的反向索引机制，将数据源（比如多篇文章）排序顺序存储的同时，有另外一个排好序的关键词列表，用于存储关键词=文章映射关系，利用这样的映射关系索引：关键词=出现关键词的文章编号，出现次数（甚至包括位置：起始偏移量，结束偏移量），出现频率,检索过程就是把模糊查询变成多个可以利用索引的精确查询的逻辑组合的过程。从而大大提高了多关键词查询的效率，所以，全文检索

8、问题归结到最后是一个排序问题。由此可以看出模糊查询相对数据库的精确查询是一个非常不确定的问题，这也是大部分数据库对全文检索支持有限的原因。Lucene 最核心的特征是通过特殊的索引结构实现了传统数据库不擅长的全文索引机制，并提供了扩展接口，以方便针对不同应用的定制。可以通过一下表格对比一下数据库的模糊查询:Lucene 全文索引引挛数据库索引将数据源中的数据都通过全文索引建立反向索引对于 LIKE 查询来说， 数据传统的索引是根本用/、上的。数据需要逐个便利记录进行 GREP 式的模糊匹配， 比有索引的搜索速度要后多个数量级的下降。匹配效果通过词元（term）进行匹配，通过语言分析接口的实现，

9、可以实现对中文等非英语的支持。使用： like%net%会把 netherlands 也匹配出来，多个关键词的模糊匹配：使用 like%com%net%:就不能匹配词序颠倒的.匹配度用匹配度算法，将匹配程度（相似度）比较高的结果排在前面。没有匹配程度的控制：比如有记录中net 出现 5 词和出现 1 次的，结果样的。结果输出通过特别的算法，将最匹配度最高的头 100条结果输出，结果集是缓冲式的小批量读取的。返回所有的结果集，在匹配条目非常多的时候（比如上万条）需要大量的内存存放这些临时结果集。可定制性通过不同的语言分析接口实现，可以方便的定制出符合应用需要的索引规则（包括对中文的支持）没有接口

10、或接口复杂，无法定制结论高负载的模糊查询应用，需要负责的模糊查询的规则，索引的资料量比较大使用率低，模糊匹配规则简单或者需要模糊查询的资料量少全文检索和数据库应用最大的不同在于：让最相关的头 100 条结果满足 98%以上用户的需求Lucene 的创新之处：大部分的搜索（数据库）引擎都是用 B 树结构来维护索引，索弓伯更新会导致大量的 IO 操作，Lucene 在实现中，对此稍微有所改进：不是维护一个索引文件，而是在扩展索引的时候不断创建新的索引文件，然后定期的把这些新的小索引文件合并到原先的大索引中（针对不同的更新策略，批次的大小可以调整），这样在不影响检索的效率的前提 F,提高了索引的效率

11、。Lucene 和其他一些全文检索系统/应用的比较：增量索引和批量索引Lucene可以进行土曾量的索引（Append）,可以对于大量数据进行批量索引，并且接口设计用于优化批量索引和小批量的土曾量索引。其他开源全文检索系统很多系统只支持批量的索引，有时数据源有一点增加也需要重建索引。数据源索引内容抓取Lucene 没有定义具体的数据源，而是一个文档的结构，因此可以非常灵活的适应各种应用（只要前端有合适的转换器把数据源转换成相应结构），Lucene 的文档是由多个字段组成的，甚至可以控制那些字段需要进行索引，那些很多系统只针对网页，缺乏其他格式文档的灵活性。缺乏通用性，往往将文档整个索引了字段不需

12、要索引，步索引的字段也分为需要分词和不需要分词的类型：需要进行分词的索引，比如：标题，文章内容字段不需要进行分词的索引，比如：作者/日期字段语言分析通过语言分析器的不同扩展实现：可以过滤掉不需要的词：antheof 等，四文语法分析：将 jumpsjumpedjumper都归结成 jump 进行索引/检索非英文支持：对亚洲语言，阿拉伯语言的索引支持缺乏通用接口实现查询分析通过查询分析接口的实现，可以定制自己的查询语法规则：比如：多个关键词之间的+-andor 关系等并发访问能够支持多用户的使用关于亚洲语言的的切分词问题(WordSegment)对于中文来说，全文索引首先还要解决一个语言分析的问

13、题，对于英文来说，语句中单词之间是天然通过空格分开的，但亚洲语言的中日韩文语句中的字是一个字挨一个，所有，首先要把语句中按词”进行索引的话，这个词如何切分出来就是一个很大的问题。首先，肯定不能用单个字符作(si-gram)为索引单元，否则查上海”时，不能让含有海上”也匹配。但一句话：北京天安门”，计算机如何按照中文的语言习惯进行切分呢北京天安门”还是北京天安门”让计算机能够按照语言习惯进行切分，往往需要机器有一个比较丰富的词库才能够比较准确的识别出语句中的单词。另外一个解决的办法是采用自动切分算法：将单词按照 2 元语法(bigram)方式切分出来，比如：北京天安门=北京京天天安安门。这样，在

14、查询的时候，无论是查询北京还是查询天安门，将查询词组按同样的规则进行切分：北京，天安安门，多个关键词之间按与and”的关系组合，同样能够正确地映射到相应的索引中。这种方式对于其他亚洲语言：韩文，日文都是通用的。基于自动切分的最大优点是没有词表维护成本，实现简单，缺点是索引效率低，但对于中小型应用来说，基于 2 元语法的切分还是够用的。基于 2 元切分后的索引一般大小和源文件差不多，而对于英文，索引文件一般只有原文件的 30%-40%不同，自动切分词表切分实现实现非常简单实现复杂查询增加了查询分析的复杂程度，适于实现比较复杂的查询语法规则存储效率索引冗余大，索引几乎和原文一样大索引效率图，为原文

15、大小的 30%左右维护成本无词表维护成本词表维护成本非常高：中日韩等语言需要分别维护。还需要包括词频统计等内容适用领域嵌入式系统：运行环境资源有限分布式系统：无词表同步问题多语言划、境：无词表维护成本对查询和存储效率要求局的专业搜索引擎目前比较大的搜索引擎的语言分析算法一般是基于以上 2 个机制的结合。关于中文的语言分析算法，大家可以在 Google 查关键词wordsegmentsearch能找到更多相关的资料。安装和使用下载：注意：Lucene 中的一些比较复杂的词法分析是用 JavaCC 生成的（JavaCCJavaCompilerCompiler,纯 Java 的词法分析生成器），所以

16、如果从源代码编译或需要修改其中的 QueryParser、定制自己的词法分析器，还需要从下载 javacc。lucene 的组成结构：对于外部应用来说索引模块（index）和检索模块（search）是主要的外部应用入口搜索入口索引入口语言分析器查询分析器存储结构底层 IO/存储结构一些公用的数据结构简单的例子演示一下 Lucene 的使用方法：索引过程：从命令行读取文件名（多个），将文件分路径（path 字段）和内容（body 字段）2 个字段进行存储，并对内容进行全文索引：索引的单位是 Document 对象，每个 Document 对象包含多个字段 Field 对象，针对不同的字段属性和数

17、据输出的需求，对字段还可以选择不同的索引/存储字段规则，列表如下：方法切词索引存储用途(Stringname,Stringvalue)YesYesYes切分词索引并存储，比如：标题，内容字段_|(Stringname,Readervalue)YesYesNo切分词索引不存储，比如：META 信息，不用于返回显示，但需要进行检索内容(Stringname,Stringvalue)NoYesYes不切分索引并存储，比如：日期字段(Stringname,Stringvalue)NoNoYes不索引，只存储，比如：文件路径(Stringname,Stringvalue)YesYesNoL只全文索引，不存储publicclassIndexFilespublicstaticvoidmain(Stringargs)throwsExceptionStringindexPath=args0;IndexWriterwriter;.(newHitCollector()privatefloatminScore=;publicfinalvoidcollect(intdoc,floatscore)if