Nutch二次开发--添加JE分词器

1、     public abstract TokenStream tokenStream(String fieldName, Reader reader);     用户自定义的Analyzer主要就是实现这个方法。这个方法要返回一个token流。而要返回一个分词的完整的token流，又要写另一个类的子类，它就是Tokenizer.java，而它又是继承自TokenStream.java的。用户自定义的Tokenizer类要写的一个关键方法是next()（在TokenStream类中定义）.这个方法就是返回一个个的

2、中文词语。0.按照windows下安装nutch步骤，配置好nutch，使其能够进行抓取网页。在1.下载lucene的中文分词jar包je-analysis-.jar. （非开源软件）   2、修改$nutchsrcjava目录下的源代码 public TokenStream tokenStream(String fieldName, Reader reader) / line 100          MMAnalyzer analyzer=new MM

3、Analyzer();          return analyzer.tokenStream(fieldName, reader);     替换其parse()方法如下：final public Query parse(Configuration conf) throws ParseException,IOException /line 74tokenizertokenizer.next();t!=null;t=tokenizer.next()  

4、String array=t.termText();   query.addRequiredPhrase(array);if (true) return query;    throw new Error("Missing return statement in function");Query 修改为：  public static Query parse(String queryString, String queryLang, Configuration conf)  throws IOExcept

5、ion /line 443    try        return fixup(NutchAnalysis.parseQuery(               queryString, AnalyzerFactory.get(conf).get(queryLang), conf), conf);    catch (ParseException

6、e)        / TODO Auto-generated catch block       e.printStackTrace();        return null;  3、使用ant工具重新构建nutch-0.9，进入nutch-0.9安装目录，输入ant命令。进行构建。4、将$nutchbuildclasses文件夹下的文件打成jar文件.命令如下：5、在cygwin下输入命令 bin/n

7、utch crawl url.txt -dir mydir -depth 3 -threads 5，开始抓取网页。6、爬虫完毕后用luke（ ）查看：file>open lucene index,定位到$nutch$抓取网页目录index目录。建立的索引已有单字变为词组了。  注意：luke运行的前提是安装jdk1.6版本。.jar文件放到web应用的lib下，打开nutch-0.9Web应用目录下的 WEB-INFclasses下nutch-site.xml文件，将<configuration></configuration>改为D:nutch-0.9mydir：表示搜索结果存放的目录<configuration><property>     <name>searcher.dir</name>     <value>D:nutch-0.9my