引言:SOLR用的好不好,分词是关键,分词分的好不好,词库是关键。没有完美的分词和词库,只有更适合你网站的分词和词库。
目前网络上主流的SOLR分词模块:
1、庖丁分词:PAODING 参考地址:http://code.google.com/p/paoding/
2、老牌的mmseg4j 参考地址:http://code.google.com/p/mmseg4j/ 这个分词应用非常广泛,支持三种分词类型。
3、IKAnalyzer分词 参考地址:http://code.google.com/p/ik-analyzer/ 本例使用此分词模块。
4、StandardAnalyzer、ChineseAnalyzer、CJKAnalyzer、IK_CAnalyzer、MIK_CAnalyzer、MMAnalyzer(JE分词)等,参考文档:http://blog.csdn.net/chaocy/article/details/5938741
SOLR安装IKANALYZER 2012
下载ikanalayzer2012 地址:http://code.google.com/p/ik-analyzer/downloads/list
本例使用版本为:IKAnalyzer2012_u5.zip
unzip解压到目录IKAnalyzer2012
cd IKAnalyzer2012
cp IKAnalyzer2012.jar TOMCAT/webapps/solr/WEB-INF/lib
SOLR 配置 IKAnalyzer 2012
打开/opt/solr/example/solr/conf/,其中有两个关键文件schema.xml,该文件是配置当前搜索项目的索引结构,另一个是sorlconfig.xml,该文件用于配置SOLR的一些引用接口和调用方案的,具体内容后续详谈。
打开schema.xml
在<types></types>中添加代码:
01 <!-- IKAnalyzer2012 中文分词-->
02 <fieldType name="text_ika" class="solr.TextField">
03 <analyzer type="index">
04 <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="false"/>
05 <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
06 <filter class="solr.LowerCaseFilterFactory"/>
07 </analyzer>
08 <analyzer type="query">
09 <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="true"/>
10 <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
11 <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
12 <filter class="solr.LowerCaseFilterFactory"/>
13 </analyzer>
14 </fieldType>
该代码片段声明了一种搜索类型叫:text_ika,
在<fields></fields>中添加片段:
1 <field name="thread_title" type="text_ika" indexed="true" stored="true" multiValued="false" />
我们声明了thread_title字段使用text_ika分词,并声明该字段是可以被索引的indexed="true",并且需要存储索引内容stored="true",结果为单一结果,非多个字段组合结果multiValued="false"
重新启动TOMCAT,在浏览器中打开admin地址http://localhost:8080/solr/admin/analysis.jsp?highlight=on
如下输入:
查看分词结果:
这就是调用IKAnalyzer2012扩展,分词的结果了,是不是很神奇。
出处:http://blog.duteba.com/technology/article/65.htm
目前网络上主流的SOLR分词模块:
1、庖丁分词:PAODING 参考地址:http://code.google.com/p/paoding/
2、老牌的mmseg4j 参考地址:http://code.google.com/p/mmseg4j/ 这个分词应用非常广泛,支持三种分词类型。
3、IKAnalyzer分词 参考地址:http://code.google.com/p/ik-analyzer/ 本例使用此分词模块。
4、StandardAnalyzer、ChineseAnalyzer、CJKAnalyzer、IK_CAnalyzer、MIK_CAnalyzer、MMAnalyzer(JE分词)等,参考文档:http://blog.csdn.net/chaocy/article/details/5938741
SOLR安装IKANALYZER 2012
下载ikanalayzer2012 地址:http://code.google.com/p/ik-analyzer/downloads/list
本例使用版本为:IKAnalyzer2012_u5.zip
unzip解压到目录IKAnalyzer2012
cd IKAnalyzer2012
cp IKAnalyzer2012.jar TOMCAT/webapps/solr/WEB-INF/lib
SOLR 配置 IKAnalyzer 2012
打开/opt/solr/example/solr/conf/,其中有两个关键文件schema.xml,该文件是配置当前搜索项目的索引结构,另一个是sorlconfig.xml,该文件用于配置SOLR的一些引用接口和调用方案的,具体内容后续详谈。
打开schema.xml
在<types></types>中添加代码:
01 <!-- IKAnalyzer2012 中文分词-->
02 <fieldType name="text_ika" class="solr.TextField">
03 <analyzer type="index">
04 <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="false"/>
05 <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
06 <filter class="solr.LowerCaseFilterFactory"/>
07 </analyzer>
08 <analyzer type="query">
09 <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="true"/>
10 <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
11 <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
12 <filter class="solr.LowerCaseFilterFactory"/>
13 </analyzer>
14 </fieldType>
该代码片段声明了一种搜索类型叫:text_ika,
在<fields></fields>中添加片段:
1 <field name="thread_title" type="text_ika" indexed="true" stored="true" multiValued="false" />
我们声明了thread_title字段使用text_ika分词,并声明该字段是可以被索引的indexed="true",并且需要存储索引内容stored="true",结果为单一结果,非多个字段组合结果multiValued="false"
重新启动TOMCAT,在浏览器中打开admin地址http://localhost:8080/solr/admin/analysis.jsp?highlight=on
如下输入:
查看分词结果:
这就是调用IKAnalyzer2012扩展,分词的结果了,是不是很神奇。
出处:http://blog.duteba.com/technology/article/65.htm