es–基础–05–集成IK分词器
1、标准分词存在的问题
1.1、当前的数据
1.2、标准分词器
1.3、标准分词存在的问题
但是我们有"两头"的数据
1.4、标准分词器分词效果测试
http://60.205.188.229:9200/_analyze?analyzer=standard&pretty=true&text=我是程序员
{
"tokens": [
{
"token": "我",
"start_offset": 0,
"end_offset": 1,
"type": "<IDEOGRAPHIC>",
"position": 0
},
{
"token": "是",
"start_offset": 1,
"end_offset": 2,
"type": "<IDEOGRAPHIC>",
"position": 1
},
{
"token": "程",
"start_offset": 2,
"end_offset": 3,
"type": "<IDEOGRAPHIC>",
"position": 2
},
{
"token": "序",
"start_offset": 3,
"end_offset": 4,
"type": "<IDEOGRAPHIC>",
"position": 3
},
{
"token": "员",
"start_offset": 4,
"end_offset": 5,
"type": "<IDEOGRAPHIC>",
"position": 4
}
]
}
- 我们可以看到标准分词器是基于每个单词进行分词的
- 而我们期望的分词如下
- 我
- 是
- 程序
- 程序员
- 员
- IK分词器可以满足我们的期望
2、IK分词器简介
- 名称:IKAnalyzer
- 是一个开源的,基于java语言开发的轻量级的中文分词工具包。
- 它是以开源项目Lucene为应用主体的,结合词典分词和文法分析算法的中文分词组件。
- 新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。
2.1、IK分词器3.0的特性
- 采用"正向迭代最细粒度切分算法",具有60万字/秒的高速处理能力。
- 采用多子处理器分析模式,支持以下分词处理
- 英文字母(IP地址、Email、URL)
- 数字(日期,常用中文数量词,罗马数字,科学计数法)
- 中文词汇(姓名、地名处理)。
- 对中英联合支持不是很好,在这方面的处理比较麻烦,需再做一次查询
- 支持个人词条的优化的词典存储,更小的内存占用。
- 支持用户词典扩展定义。
- 针对Lucene全文检索优化的查询分析器IKQueryParser
- 采用歧义分析算法优化查询关键字的搜索排列组合,能极大的提高Lucene检索的命中率。
3、es集成IK分词器
- 提供了两个分词算法
- ik_smart:最少切分
- ik_max_word:最细粒度划分
3.1、IK分词器的安装
-
关闭原来ES服务器
-
切换elsearch用户
-
解压elasticsearch-analysis-ik-5.6.8.zip
unzip elasticsearch-analysis-ik-5.6.8.zip -
移动解压出来的elasticsearch
[elsearch@zhoufei elasticsearch]$ mv elasticsearch /usr/local/java/elasticsearch/elasticsearch-5.6.8/plugins
-
重启启动ES服务器
3.2、IK分词器分词效果测试
3.2.1、ik_smart测试
http://60.205.188.229:9200/_analyze?analyzer=ik_smart&pretty=true&text=我是程序员
{
"tokens": [
{
"token": "我",
"start_offset": 0,
"end_offset": 1,
"type": "CN_CHAR",
"position": 0
},
{
"token": "是",
"start_offset": 1,
"end_offset": 2,
"type": "CN_CHAR",
"position": 1
},
{
"token": "程序员",
"start_offset": 2,
"end_offset": 5,
"type": "CN_WORD",
"position": 2
}
]
}
3.2.2、ik_max_word测试
http://60.205.188.229:9200/_analyze?analyzer=ik_max_word&pretty=true&text=我是程序员
{
"tokens": [
{
"token": "我",
"start_offset": 0,
"end_offset": 1,
"type": "CN_CHAR",
"position": 0
},
{
"token": "是",
"start_offset": 1,
"end_offset": 2,
"type": "CN_CHAR",
"position": 1
},
{
"token": "程序员",
"start_offset": 2,
"end_offset": 5,
"type": "CN_WORD",
"position": 2
},
{
"token": "程序",
"start_offset": 2,
"end_offset": 4,
"type": "CN_WORD",
"position": 3
},
{
"token": "员",
"start_offset": 4,
"end_offset": 5,
"type": "CN_CHAR",
"position": 4
}
]
}
3.3、文档测试
3.3.1、删除以前的索引,重新定义mapping,使用ik_smart分词器
http://60.205.188.229:9200/blog4
{
"mappings": {
"article": {
"properties": {
"id": {
"type": "long",
"store": true,
"index":"not_analyzed"
},
"title": {
"type": "text",
"store": true,
"index":"analyzed",
"analyzer":"ik_smart"
},
"content": {
"type": "text",
"store": true,
"index":"analyzed",
"analyzer":"ik_smart"
}
}
}
}
}