转载很好的SOLR、LUCENE学习资料LU

1、.转载 很好的SOLR、LUCENE学习资料 LUC原文地址：很好的SOLR、LUCENE学习资料LUCENE daysmileface1 lucene简介1.1什么是lucene Lucene是一个全文搜索框架，而不是应用产品。因此它并不像 baidu 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。1.2 lucene能做什么要答复这个问题，先要理解lucene的本质。实际上lucene的功能很单一，说到底，就是你给它假设干个字符串，然后它为你提供一个全文搜索效劳，告诉你你要搜索的关键词出如今哪里。知道了这个本质，你就可以发挥想象做任何符合这个条件的

2、事情了。你可以把站内新闻都索引了，做个资料库；你可以把一个数据库表的假设干个字段索引起来，那就不用再担忧因为"%like%"而锁表了；你也可以写个自己的搜索引擎1.3你该不该选择lucene下面给出一些测试数据，假设你觉得可以承受，那么可以选择。测试一：250万记录，300M左右文本，生成索引380M左右，800线程下平均处理时间300ms。测试二：37000记录，索引数据库中的两个varchar字段，索引文件2.6M，800线程下平均处理时间1.5ms。2 lucene的工作方式lucene提供的效劳实际包含两部分：一入一出。所谓入是写入，即将你提供的源本质是字符串写入索

3、引或者将其从索引中删除；所谓出是读出，即向用户提供全文搜索效劳，让用户可以通过关键词定位源。2.1写入流程源字符串首先经过analyzer处理，包括：分词，分成一个个单词；去除stopword可选。将源中需要的信息参加Document的各个Field中，并把需要索引的Field索引起来，把需要存储的Field存储起来。将索引写入存储器，存储器可以是内存或磁盘。2.2读出流程用户提供搜索关键词，经过analyzer处理。对处理后的关键词搜索索引找出对应的Document。用户根据需要从找到的Document中提取需要的Field。3一些需要知道的概念lucene用到一些概念，理解它们的含义，有利

4、于下面的讲解。3.1 analyzer Analyzer是分析器，它的作用是把一个字符串按某种规那么划分成一个个词语，并去除其中的无效词语，这里说的无效词语是指英文中的"of"、"the"，中文中的"的"、"地"等词语，这些词语在文章中大量出现，但是本身不包含什么关键信息，去掉有利于缩小索引文件、进步效率、进步命中率。分词的规那么千变万化，但目的只有一个：按语义划分。这点在英文中比较容易实现，因为英文本身就是以单词为单位的，已经用空格分开；而中文那么必须以某种方法将连成一片的句子划分成一个个词语。详细划分方法下面再

5、详细介绍，这里只需理解分析器的概念即可。3.2 document用户提供的源是一条条记录，它们可以是文本文件、字符串或者数据库表的一条记录等等。一条记录经过索引之后，就是以一个Document的形式存储在索引文件中的。用户进展搜索，也是以Document列表的形式返回。3.3 field一个Document可以包含多个信息域，例如一篇文章可以包含"标题"、"正文"、"最后修改时间"等信息域，这些信息域就是通过Field在Document中存储的。Field有两个属性可选：存储和索引。通过存储属性你可以控制是否对这个Field进展存储；

6、通过索引属性你可以控制是否对该Field进展索引。这看起来似乎有些废话，事实上对这两个属性的正确组合很重要，下面举例说明：还是以刚刚的文章为例子，我们需要对标题和正文进展全文搜索，所以我们要把索引属性设置为真，同时我们希望能直接从搜索结果中提取文章标题，所以我们把标题域的存储属性设置为真，但是由于正文域太大了，我们为了缩小索引文件大小，将正文域的存储属性设置为假，当需要时再直接读取文件；我们只是希望能从搜索解果中提取最后修改时间，不需要对它进展搜索，所以我们把最后修改时间域的存储属性设置为真，索引属性设置为假。上面的三个域涵盖了两个属性的三种组合，还有一种全为假的没有用到，事实上Field不允

7、许你那么设置，因为既不存储又不索引的域是没有意义的。3.4 term term是搜索的最小单位，它表示文档的一个词语，term由两部分组成：它表示的词语和这个词语所出现的field。3.5 tocken tocken是term的一次出现，它包含trem文本和相应的起止偏移，以及一个类型字符串。一句话中可以出现屡次一样的词语，它们都用同一个term表示，但是用不同的tocken，每个tocken标记该词语出现的地方。3.6 segment添加索引时并不是每个document都马上添加到同一个索引文件，它们首先被写入到不同的小文件，然后再合并成一个大索引文件，这里每个小文件都是一个segment。

8、4 lucene的构造lucene包括core和sandbox两部分，其中core是lucene稳定的核心部分，sandbox包含了一些附加功能，例如highlighter、各种分析器。Lucene core有七个包：analysis，document，index，queryParser，search，store，util。4.1 analysis Analysis包含一些内建的分析器，例如按空白字符分词的WhitespaceAnalyzer，添加了stopwrod过滤的StopAnalyzer，最常用的StandardAnalyzer。4.2 document Document包含文档的数据

9、构造，例如Document类定义了存储文档的数据构造，Field类定义了Document的一个域。4.3 index Index包含了索引的读写类，例如对索引文件的segment进展写、合并、优化的IndexWriter类和对索引进展读取和删除操作的IndexReader类，这里要注意的是不要被IndexReader这个名字误导，以为它是索引文件的读取类，实际上删除索引也是由它完成，IndexWriter只关心如何将索引写入一个个segment，并将它们合并优化；IndexReader那么关注索引文件中各个文档的组织形式。4.4 queryParser QueryParser包含理解析查询语句

10、的类，lucene的查询语句和sql语句有点类似，有各种保存字，按照一定的语法可以组成各种查询。Lucene有很多种Query类，它们都继承自Query，执行各种特殊的查询，QueryParser的作用就是解析查询语句，按顺序调用各种Query类查找出结果。4.5 search Search包含了从索引中搜索结果的各种类，例如刚刚说的各种Query类，包括TermQuery、BooleanQuery等就在这个包里。4.6 store Store包含了索引的存储类，例如Directory定义了索引文件的存储构造，FSDirectory为存储在文件中的索引，RAMDirectory为存储在内存中的

11、索引，MmapDirectory为使用内存映射的索引。4.7 util Util包含一些公共工具类，例如时间和字符串之间的转换工具。5如何建索引5.1最简单的能完成索引的代码片断IndexWriter writer=new IndexWriter"/data/index/",new StandardAnalyzer,true；Document doc=new Document；doc.addnew Field"title","lucene introduction",Field.Store.YES,Field.Index.TOKENI

12、ZED；doc.addnew Field"content","lucene works well",Field.Store.YES,Field.Index.TOKENIZED；writer.addDocumentdoc；writer.optimize；writer.close；下面我们分析一下这段代码。首先我们创立了一个writer，并指定存放索引的目录为"/data/index"，使用的分析器为StandardAnalyzer，第三个参数说明假设已经有索引文件在索引目录下，我们将覆盖它们。然后我们新建一个document。我们向do

13、cument添加一个field，名字是"title"，内容是"lucene introduction"，对它进展存储并索引。再添加一个名字是"content"的field，内容是"lucene works well"，也是存储并索引。然后我们将这个文档添加到索引中，假设有多个文档，可以重复上面的操作，创立document并添加。添加完所有document，我们对索引进展优化，优化主要是将多个segment合并到一个，有利于进步索引速度。随后将writer关闭，这点很重要。对，创立索引就这么简单！当然你可能修改上面的

14、代码获得更具个性化的效劳。5.2将索引直接写在内存你需要首先创立一个RAMDirectory，并将其传给writer，代码如下：Directory dir=new RAMDirectory；IndexWriter writer=new IndexWriterdir,new StandardAnalyzer,true；Document doc=new Document；doc.addnew Field"title","lucene introduction",Field.Store.YES,Field.Index.TOKENIZED；doc.addnew

15、Field"content","lucene works well",Field.Store.YES,Field.Index.TOKENIZED；writer.addDocumentdoc；writer.optimize；writer.close；5.3索引文本文件假设你想把纯文本文件索引起来，而不想自己将它们读入字符串创立field，你可以用下面的代码创立field：Field field=new Field"content",new FileReaderfile；这里的file就是该文本文件。该构造函数实际上是读去文件内容，并对其

16、进展索引，但不存储。6如何维护索引索引的维护操作都是由IndexReader类提供。6.1如何删除索引lucene提供了两种从索引中删除document的方法，一种是void deleteDocumentint docNum这种方法是根据document在索引中的编号来删除，每个document加进索引后都会有个唯一编号，所以根据编号删除是一种准确删除，但是这个编号是索引的内部构造，一般我们不会知道某个文件的编号到底是几，所以用处不大。另一种是void deleteDocumentsTerm term这种方法实际上是首先根据参数term执行一个搜索操作，然后把搜索到的结果批量删除了。我们可以通

17、过这个方法提供一个严格的查询条件，到达删除指定document的目的。下面给出一个例子：Directory dir=FSDirectory.getDirectoryPATH,false；IndexReader reader=IndexReader.opendir；Term term=new Termfield,key；reader.deleteDocumentsterm；reader.close；6.2如何更新索引lucene并没有提供专门的索引更新方法，我们需要先将相应的document删除，然后再将新的document参加索引。例如：Directory dir=FSDirectory.ge

18、tDirectoryPATH,false；IndexReader reader=IndexReader.opendir；Term term=new Term"title","lucene introduction"；reader.deleteDocumentsterm；reader.close；IndexWriter writer=new IndexWriterdir,new StandardAnalyzer,true；Document doc=new Document；doc.addnew Field"title","lu

19、cene introduction",Field.Store.YES,Field.Index.TOKENIZED；doc.addnew Field"content","lucene is funny",Field.Store.YES,Field.Index.TOKENIZED；writer.addDocumentdoc；writer.optimize；writer.close；7如何搜索lucene的搜索相当强大，它提供了很多辅助查询类，每个类都继承自Query类，各自完成一种特殊的查询，你可以像搭积木一样将它们任意组合使用，完成一些复杂操作；

20、另外lucene还提供了Sort类对结果进展排序，提供了Filter类对查询条件进展限制。你或许会不自觉地拿它跟SQL语句进展比较："lucene能执行and、or、order by、where、like'%xx%'操作吗?"答复是："当然没问题！"7.1各种各样的Query下面我们看看lucene到底允许我们进展哪些查询操作：7.1.1 TermQuery首先介绍最根本的查询，假设你想执行一个这样的查询："在content域中包含'lucene'的document"，那么你可以用TermQuery：T

21、erm t=new Term"content","lucene"；Query query=new TermQueryt；7.1.2 BooleanQuery假设你想这么查询："在content域中包含java或perl的document"，那么你可以建立两个TermQuery并把它们用BooleanQuery连接起来：TermQuery termQuery1=new TermQuerynew Term"content","java"；TermQuery termQuery 2=new TermQ

22、uerynew Term"content","perl"；BooleanQuery booleanQuery=new BooleanQuery；booleanQuery.addtermQuery 1,BooleanClause.Occur.SHOULD；booleanQuery.addtermQuery 2,BooleanClause.Occur.SHOULD；7.1.3 WildcardQuery假设你想对某单词进展通配符查询，你可以用WildcardQuery，通配符包括'?'匹配一个任意字符和'*'匹配零个或多个任意

23、字符，例如你搜索'use*'，你可能找到'useful'或者'useless'：Query query=new WildcardQuerynew Term"content","use*"；7.1.4 PhraseQuery你可能对中日关系比较感兴趣，想查找'中'和'日'挨得比较近5个字的间隔 内的文章，超过这个间隔 的不予考虑，你可以：PhraseQuery query=new PhraseQuery；query.setSlop5；query.addnew Term"

24、;content","中"；query.addnew Term"content","日"；那么它可能搜到"中日合作"、"中方和日方"，但是搜不到"中国某高层指导说日本欠扁"。7.1.5 PrefixQuery假设你想搜以'中'开头的词语，你可以用PrefixQuery：PrefixQuery query=new PrefixQuerynew Term"content","中"；7.1.6 FuzzyQuery

25、FuzzyQuery用来搜索相似的term，使用Levenshtein算法。假设你想搜索跟'wuzza'相似的词语，你可以：Query query=new FuzzyQuerynew Term"content","wuzza"；你可能得到'fuzzy'和'wuzzy'。7.1.7 RangeQuery另一个常用的Query是RangeQuery，你也许想搜索时间域从20060101到20060130之间的document，你可以用RangeQuery：RangeQuery query=new RangeQu

26、erynew Term"time","20060101",new Term"time","20060130",true；最后的true表示用闭合区间。7.2 QueryParser看了这么多Query，你可能会问："不会让我自己组合各种Query吧，太费事了！"当然不会，lucene提供了一种类似于SQL语句的查询语句，我们姑且叫它lucene语句，通过它，你可以把各种查询一句话搞定，lucene会自动把它们查分成小块交给相应Query执行。下面我们对应每种Query演示一下：TermQuery

27、可以用"field：key"方式，例如"content：lucene"。BooleanQuery中'与'用'+'，'或'用''，例如"content：java contenterl"。WildcardQuery仍然用'?'和'*'，例如"content：use*"。PhraseQuery用''，例如"content："中日"5"。PrefixQuery用'*

28、'，例如"中*"。FuzzyQuery用''，例如"content：wuzza"。RangeQuery用''或''，前者表示闭区间，后者表示开区间，例如"time：20060101 TO 20060130"，注意TO区分大小写。你可以任意组合query string，完成复杂操作，例如"标题或正文包括lucene，并且时间在20060101到20060130之间的文章"可以表示为："+title：lucene content：lucene+time：

29、20060101 TO 20060130"。代码如下：Directory dir=FSDirectory.getDirectoryPATH,false；IndexSearcher is=new IndexSearcherdir；QueryParser parser=new QueryParser"content",new StandardAnalyzer；Query query=parser.parse"+title：lucene content：lucene+time：20060101 TO 20060130"；Hits hits=is.se

30、archquery；forint i=0；i hits.length；i+Document doc=hits.doci；System.out.printlndoc.get"title"；is.close；首先我们创立一个在指定文件目录上的IndexSearcher。然后创立一个使用StandardAnalyzer作为分析器的QueryParser，它默认搜索的域是content。接着我们用QueryParser来parse查询字串，生成一个Query。然后利用这个Query去查找结果，结果以Hits的形式返回。这个Hits对象包含一个列表，我们挨个把它的内容显示出来。7.3

31、 Filter filter的作用就是限制只查询索引的某个子集，它的作用有点像SQL语句里的where，但又有区别，它不是正规查询的一部分，只是对数据源进展预处理，然后交给查询语句。注意它执行的是预处理，而不是对查询结果进展过滤，所以使用filter的代价是很大的，它可能会使一次查询耗时进步一百倍。最常用的filter是RangeFilter和QueryFilter。RangeFilter是设定只搜索指定范围内的索引；QueryFilter是在上次查询的结果中搜索。Filter的使用非常简单，你只需创立一个filter实例，然后把它传给searcher。继续上面的例子，查询"时间在2

32、0060101到20060130之间的文章"除了将限制写在query string中，你还可以写在RangeFilter中：Directory dir=FSDirectory.getDirectoryPATH,false；IndexSearcher is=new IndexSearcherdir；QueryParser parser=new QueryParser"content",new StandardAnalyzer；Query query=parser.parse"title：lucene content：lucene"；RangeFi

33、lter filter=new RangeFilter"time","20060101","20060230",true,true；Hits hits=is.searchquery,filter；forint i=0；i hits.length；i+Document doc=hits.doci；System.out.printlndoc.get"title"；is.close；7.4 Sort有时你想要一个排好序的结果集，就像SQL语句的"order by"，lucene能做到：通过Sort。S

34、ort sort=new Sort"time"；/相当于SQL的"order by time"Sort sort=new Sort"time",true；/相当于SQL的"order by time desc"下面是一个完好的例子：Directory dir=FSDirectory.getDirectoryPATH,false；IndexSearcher is=new IndexSearcherdir；QueryParser parser=new QueryParser"content",new

35、 StandardAnalyzer；Query query=parser.parse"title：lucene content：lucene"；RangeFilter filter=new RangeFilter"time","20060101","20060230",true,true；Sort sort=new Sort"time"；Hits hits=is.searchquery,filter,sort；forint i=0；i hits.length；i+Document doc=hit

36、s.doci；System.out.printlndoc.get"title"；is.close；8分析器在前面的概念介绍中我们已经知道了分析器的作用，就是把句子按照语义切分成一个个词语。英文切分已经有了很成熟的分析器：StandardAnalyzer，很多情况下StandardAnalyzer是个不错的选择。甚至你会发现StandardAnalyzer也能对中文进展分词。但是我们的焦点是中文分词，StandardAnalyzer能支持中文分词吗?理论证明是可以的，但是效果并不好，搜索"假设"会把"牛奶不假设汁好喝"也搜索出来，而且索

37、引文件很大。那么我们手头上还有什么分析器可以使用呢?core里面没有，我们可以在sandbox里面找到两个：ChineseAnalyzer和CJKAnalyzer。但是它们同样都有分词不准的问题。相比之下用StandardAnalyzer和ChineseAnalyzer建立索引时间差不多，索引文件大小也差不多，CJKAnalyzer表现会差些，索引文件大且耗时比较长。要解决问题，首先分析一下这三个分析器的分词方式。StandardAnalyzer和ChineseAnalyzer都是把句子按单个字切分，也就是说"牛奶不假设汁好喝"会被它们切分成"牛奶不假设汁好喝&q

38、uot;；而CJKAnalyzer那么会切分成"牛奶奶不不如假设果汁汁好好喝"。这也就解释了为什么搜索"果汁"都能匹配这个句子。以上分词的缺点至少有两个：匹配不准确和索引文件大。我们的目的是将上面的句子分解成"牛奶不假设汁好喝"。这里的关键就是语义识别，我们如何识别"牛奶"是一个词而"奶不"不是词语?我们很自然会想到基于词库的分词法，也就是我们先得到一个词库，里面列举了大部分词语，我们把句子按某种方式切分，当得到的词语与词库中的项匹配时，我们就认为这种切分是正确的。这样切词的过程就转变成匹配的过

39、程，而匹配的方式最简单的有正向最大匹配和逆向最大匹配两种，说白了就是一个从句子开头向后进展匹配，一个从句子末尾向前进展匹配。基于词库的分词词库非常重要，词库的容量直接影响搜索结果，在一样词库的前提下，据说逆向最大匹配优于正向最大匹配。当然还有别的分词方法，这本身就是一个学科，我这里也没有深化研究。回到详细应用，我们的目的是能找到成熟的、现成的分词工具，防止重新创造车轮。经过网上搜索，用的比较多的是中科院的ICTCLAS和一个不开放源码但是免费的JE-Analysis。ICTCLAS有个问题是它是一个动态链接库，java调用需要本地方法调用，不方便也有平安隐患，而且口碑也确实不大好。JE-Ana

40、lysis效果还不错，当然也会有分词不准的地方，相比比较方便放心。9性能优化一直到这里，我们还是在讨论怎么样使lucene跑起来，完成指定任务。利用前面说的也确实能完成大部分功能。但是测试说明lucene的性能并不是很好，在大数据量大并发的条件下甚至会有半分钟返回的情况。另外大数据量的数据初始化建立索引也是一个非常耗时的过程。那么如何进步lucene的性能呢?下面从优化创立索引性能和优化搜索性能两方面介绍。9.1优化创立索引性能这方面的优化途径比较有限，IndexWriter提供了一些接口可以控制建立索引的操作，另外我们可以先将索引写入RAMDirectory，再批量写入FSDirectory

41、，不管怎样，目的都是尽量少的文件IO，因为创立索引的最大瓶颈在于磁盘IO。另外选择一个较好的分析器也能进步一些性能。9.1.1通过设置IndexWriter的参数优化索引建立setMaxBufferedDocsint maxBufferedDocs控制写入一个新的segment前内存中保存的document的数目，设置较大的数目可以加快建索引速度，默认为10。setMaxMergeDocsint maxMergeDocs控制一个segment中可以保存的最大document数目，值较小有利于追加索引的速度，默认Integer.MAX_VALUE，无需修改。setMergeFactorint m

42、ergeFactor控制多个segment合并的频率，值较大时建立索引速度较快，默认是10，可以在建立索引时设置为100。9.1.2通过RAMDirectory缓写进步性能我们可以先把索引写入RAMDirectory，到达一定数量时再批量写进FSDirectory，减少磁盘IO次数。FSDirectory fsDir=FSDirectory.getDirectory"/data/index",true；RAMDirectory ramDir=new RAMDirectory；IndexWriter fsWriter=new IndexWriterfsDir,new Stan

43、dardAnalyzer,true；IndexWriter ramWriter=new IndexWriterramDir,new StandardAnalyzer,true；whilethere are documents to index.create Document.ramWriter.addDocumentdoc；ifcondition for flushing memory to disk has been metfsWriter.addIndexesnew DirectoryramDir；ramWriter.close；ramWriter=new IndexWriterramDi

44、r,new StandardAnalyzer,true；9.1.3选择较好的分析器这个优化主要是对磁盘空间的优化，可以将索引文件减小将近一半，一样测试数据下由600M减少到380M。但是对时间并没有什么帮助，甚至会需要更长时间，因为较好的分析器需要匹配词库，会消耗更多cpu，测试数据用StandardAnalyzer耗时133分钟；用MMAnalyzer耗时150分钟。9.2优化搜索性能虽然建立索引的操作非常耗时，但是那毕竟只在最初创立时才需要，平时只是少量的维护操作，更何况这些可以放到一个后台进程处理，并不影响用户搜索。我们创立索引的目的就是给用户搜索，所以搜索的性能才是我们最关心的。下面就

45、来讨论一下如何进步搜索性能。9.2.1将索引放入内存这是一个最直观的想法，因为内存比磁盘快很多。Lucene提供了RAMDirectory可以在内存中包容索引：Directory fsDir=FSDirectory.getDirectory"/data/index/",false；Directory ramDir=new RAMDirectoryfsDir；Searcher searcher=new IndexSearcherramDir；但是理论证明RAMDirectory和FSDirectory速度差不多，当数据量很小时两者都非常快，当数据量较大时索引文件400MRAM

46、Directory甚至比FSDirectory还要慢一点，这确实让人出乎意料。而且lucene的搜索非常耗内存，即使将400M的索引文件载入内存，在运行一段时间后都会out of memory，所以个人认为载入内存的作用并不大。9.2.2优化时间范围限制既然载入内存并不能进步效率，一定有其它瓶颈，经过测试发现最大的瓶颈居然是时间范围限制，那么我们可以怎样使时间范围限制的代价最小呢?当需要搜索指定时间范围内的结果时，可以：1、用RangeQuery，设置范围，但是RangeQuery的实现实际上是将时间范围内的时间点展开，组成一个个BooleanClause参加到BooleanQuery中查询，

47、因此时间范围不可能设置太大，经测试，范围超过一个月就会抛BooleanQuery.TooManyClauses，可以通过设置BooleanQuery.setMaxClauseCountint maxClauseCount扩大，但是扩大也是有限的，并且随着maxClauseCount扩大，占用内存也扩大2、用RangeFilter代替RangeQuery，经测试速度不会比RangeQuery慢，但是仍然有性能瓶颈，查询的90%以上时间消耗在RangeFilter，研究其源码发现RangeFilter实际上是首先遍历所有索引，生成一个BitSet，标记每个document，在时间范围内的标记为tr

48、ue，不在的标记为false，然后将结果传递给Searcher查找，这是非常耗时的。3、进一步进步性能，这个又有两个思路：a、缓存Filter结果。既然RangeFilter的执行是在搜索之前，那么它的输入都是一定的，就是IndexReader，而IndexReader是由Directory决定的，所以可以认为RangeFilter的结果是由范围的上下限决定的，也就是由详细的RangeFilter对象决定，所以我们只要以RangeFilter对象为键，将filter结果BitSet缓存起来即可。lucene API已经提供了一个CachingWrapperFilter类封装了Filter及其结

49、果，所以详细施行起来我们可以cache CachingWrapperFilter对象，需要注意的是，不要被CachingWrapperFilter的名字及其说明误导，CachingWrapperFilter看起来是有缓存功能，但的缓存是针对同一个filter的，也就是在你用同一个filter过滤不同IndexReader时，它可以帮你缓存不同IndexReader的结果，而我们的需求恰恰相反，我们是用不同filter过滤同一个IndexReader，所以只能把它作为一个封装类。b、降低时间精度。研究Filter的工作原理可以看出，它每次工作都是遍历整个索引的，所以时间粒度越大，比照越快，搜索时

50、间越短，在不影响功能的情况下，时间精度越低越好，有时甚至牺牲一点精度也值得，当然最好的情况是根本不作时间限制。下面针对上面的两个思路演示一下优化结果都采用800线程随机关键词随即时间范围：第一组，时间精度为秒：方式直接用RangeFilter使用cache不用filter平均每个线程耗时10s 1s 300ms第二组，时间精度为天方式直接用RangeFilter使用cache不用filter平均每个线程耗时900ms 360ms 300ms由以上数据可以得出结论：1、尽量降低时间精度，将精度由秒换成天带来的性能进步甚至比使用cache还好，最好不使用filter。2、在不能降低时间精度的情况下

51、，使用cache能带了10倍左右的性能进步。9.2.3使用更好的分析器这个跟创立索引优化道理差不多，索引文件小了搜索自然会加快。当然这个进步也是有限的。较好的分析器相对于最差的分析器对性能的提升在20%以下。10一些经历10.1关键词区分大小写or AND TO等关键词是区分大小写的，lucene只认大写的，小写的当做普通单词。10.2读写互斥性同一时刻只能有一个对索引的写操作，在写的同时可以进展搜索10.3文件锁在写索引的过程中强行退出将在tmp目录留下一个lock文件，使以后的写操作无法进展，可以将其手工删除10.4时间格式lucene只支持一种时间格式yyMMddHHmmss，所以你传一

52、个yy-MM-dd HH：mm：ss的时间给lucene它是不会当作时间来处理的10.5设置boost有些时候在搜索时某个字段的权重需要大一些，例如你可能认为标题中出现关键词的文章比正文中出现关键词的文章更有价值，你可以把标题的boost设置的更大，那么搜索结果会优先显示标题中出现关键词的文章没有使用排序的前题下。使用方法：Field.setBoostfloat boost；默认值是1.0，也就是说要增加权重的需要设置得比1大。转自-Lucene应用编程接口API功能强大、非常灵敏、易于使用。Lucene不但提供了出众的全文搜索功能，还提供了所有补充性的过滤和排序特性。假设想把高性能、特性丰富

53、的多重标准全文搜索机制添加到应用程序中，就需要这些功能和特性。索引任何Lucene应用程序的第一步就是为数据建立索引。Lucene需要使用数据创立自己的一组索引，以便它可以对数据进展高性能的全文检查、过滤和排序等操作。这是相当简单、直观的过程。首先，需要创立IndexWriter对象，可以使用该对象建立Lucene索引，并把它写到磁盘上。Lucene非常灵敏，它有许多项选择项。这里，我们只是在"index"目录里面建立简单的索引构造：Directory directory=FSDirectory.getDirectory"index",true；Anal

54、yzer analyser=new StandardAnalyzer；IndexWriter writer=new IndexWriterdirectory,analyser,true；接下来，需要为数据记录建立索引。需要为每个记录建立单独的索引。用Lucene为记录建立索引时，要为每个记录创立"文档"Document对象。要让全文索引发挥作用，就要为Lucene提供可以建立索引的一些数据。最简单的选项就是编写一个方法，写入记录的全文描绘包括想要搜索的各项内容，然后使用这个值作为可搜索字段。这里，我们把这个字段称为"description"。可以通过为文

55、档添加"字段"Field类的新实例，来为字段建立索引，如下所示：Field field=new Field"field",value,Field.Store.NO,Field.Index.TOKENIZED；doc.addfield；可以选择指定自己是否想保存该值供将来使用Field.Store.YES，还是只是为它建立索引Field.Store.NO。后一个选项适用于想建立索引、但以后不想检索的大值。第四个参数说明想要如何为值建立索引。假设使用Field.Index.TOKENIZED，值就会被分析，让Lucene可以更充分地利用功能强大的全文索引和搜

56、索特性。正如我们会看到的那样，缺点在于，无法按标记化tokenized的字段对结果进展排序。假设想为字段建立索引，而不需要先进展分析，那么Field.Index.UN_TOKENIZED很有用。假设只是想保存值，供将来使用，那么可以使用Field.Index.NO。以下代码说明了如何为来自库目录的条目列表建立索引：List Item items=Catalog.getAllItems；forItem item：itemsDocument doc=new Document；String description=item.getTitle+""+item.getAuthors+

57、""+item.getSummary.；doc.addnew Field"description",description,Field.Store.NO,Field.Index.TOKENIZED；.上述方法非常适用于全文搜索，但有时候也需要按特定字段进展更加准确的搜索。可搜索字段应当是标记化的，不过它们确实不需要保存起来除非想直接从Lucene文档获得字段值。设想一下：假设需要根据库目录建立全文索引，目录里面有成千上万个条目，譬如图书、文章、报纸、视频和声音等资料。以下代码说明了如何按特定库条目这里是图书的书名和国际标准图书编号添加可搜索的索引：doc

58、.addnew Field"title",item.getTitle,Field.Store.NO,Field.Index.TOKENIZED；doc.addnew Field"isbn",item.getISBNNumber,Field.Store.NO,Field.Index.TOKENIZED；doc.addnew Field"type",Item.BOOK,Field.Store.NO,Field.Index.TOKENIZED；writer.addDocumentdoc；.writer.close；有时候往往会需要在表中显示

59、搜索结果，让用户可以按列对结果进展排序。这可以用Lucene来完成，不过有一个问题：字段必须是UN_TOKENIZED。这意味着，无法对可搜索的索引进展排序：需要添加有着不同名字的另一个索引。方法之一就是用某种易于识读的方式为字段名添加前缀，如下所示：/按照书名字段的可搜索索引doc.addnew Field"sort-on-title",book.getTitle,Field.Store.YES,Field.Index.UN_TOKENIZED；/按照国际标准图书编号字段的可搜索索引doc.addnew Field"sort-on-isbn",book

60、.getISBNNumber,Field.Store.YES,Field.Index.UN_TOKENIZED；全文搜索Lucene的全文搜索比较容易实现。典型的Lucene全文搜索如下所示：Searcher is=indexer.getIndexSearcher；QueryParser parser=indexer.getQueryParser"description"；Query query=parser.parse"Some full-text search terms"；Hits hits=is.searchquery；这里，我们使用索引程序按&

61、quot;描绘"description字段执行全文搜索。Lucene返回"搜索结果"Hits对象，我们可以使用该对象获得匹配文档，如下所示：forint i=0；i searchResults.length；i+Document doc=searchResults.doci；String title=Stringdoc.getField"title"；System.out.printlntitle；对这部分代码进展扩大以实现多重标准搜索需要多一些工作量。我们这里使用的关键字类是"过滤器"Filter类，顾名思义，这个类可以对搜索结果进展过滤。"过滤器"类实际上是