nutch中文分词，改源码

最新推荐文章于 2024-10-17 17:13:06 发布

歪嘴鱼

最新推荐文章于 2024-10-17 17:13:06 发布

阅读量1k

点赞数

文章标签： tomcat string java import build ant

安装了nutch，但是默认的中文分词只能按照单个汉子分，使用起来十分不方便，于是到处查找资料，终于找到了几种中文分词插件，如ictcals，je，paoding，CJK等。

由于je分词java支持较好，且可以自定义字典单词，所以最后选用je分词最为nutch中文分词工具，主要步骤如下：

（1）下载je分词包放到nutch的lib文件夹下

（2）修改src/java/org/apache/nutch/analysis中的 NutchAnalysis.jj ，将<SIGRAM: <CJK> >改为:<SIGRAM: (<CJK>)+ >，即从解析单个中文字符到解析中文字符串，最后用javacc生成7个java文件，并把这7个文件放回到src/java/org /apache/nutch/analysis替换原有文件。

（3）继续修改这个文件夹中的NutchDocumentAnalyzer.java，在文件头加入import jeasy.analysis.*并将原来的
public TokenStream tokenStream(String fieldName, Reader reader) {
Analyzer analyzer;
if (”anchor”.equals(fieldName))
analyzer = ANCHOR_ANALYZER;
else
analyzer = CONTENT_ANALYZER;
return analyzer.tokenStream(fieldName, reader);
}
改为
public TokenStream tokenStream(String fieldName, Reader reader) {
MMAnalyzer analyzer=new MMAnalyzer();
return analyzer.tokenStream(fieldName, reader);
}

（4）最后在nutch根目录下用ant重建工程，可能在NutchAnalysis.java会有ParseExceptio，在相应的Ë 01;置throws掉即可。

（5）将build文件夹下的nutch-1.0.job替换根目录下的同名文件，再在build/classes下运行 jar cvf nutch-1.0.jar org ，将生成的nutch-1.0.jar替换根目录下同名文件。

（6）最后将nutch-1.0.jar和je-analyse-1.5.1.jar复制到tomcat的WEB-INF中的lib文件夹下

（7）重新nutch抓取，重启tomcat，最后在localhost:8080或者通过luke查看，即可看到中文分词了

：）：）：）：）