5-Elasticsearch分词器

已于 2023-03-24 17:00:25 修改
阅读量299 收藏 2
点赞数 1
分类专栏： Elasticsearch 文章标签： elasticsearch
于 2023-03-10 10:41:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zx_1305769448/article/details/129438038
版权

Elasticsearch分词器

1、simple分词器

simple分词器是对字母文本进行分词拆分，并将分词后的内容转换成小写格式。

# 对指定内容根据simple分词器进行分词
POST _analyze
{
  "analyzer": "simple",
  "text": "A good book may be among the best of friends. It is the same today that it always was, and it will never change. "
}

结果：

{
  "tokens" : [
    {
      "token" : "a",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "good",
      "start_offset" : 2,
      "end_offset" : 6,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "book",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "may",
      "start_offset" : 12,
      "end_offset" : 15,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "be",
      "start_offset" : 16,
      "end_offset" : 18,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "among",
      "start_offset" : 19,
      "end_offset" : 24,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "the",
      "start_offset" : 25,
      "end_offset" : 28,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "best",
      "start_offset" : 29,
      "end_offset" : 33,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "of",
      "start_offset" : 34,
      "end_offset" : 36,
      "type" : "word",
      "position" : 8
    },
    {
      "token" : "friends",
      "start_offset" : 37,
      "end_offset" : 44,
      "type" : "word",
      "position" : 9
    },
    {
      "token" : "it",
      "start_offset" : 46,
      "end_offset" : 48,
      "type" : "word",
      "position" : 10
    },
    {
      "token" : "is",
      "start_offset" : 49,
      "end_offset" : 51,
      "type" : "word",
      "position" : 11
    },
    {
      "token" : "the",
      "start_offset" : 52,
      "end_offset" : 55,
      "type" : "word",
      "position" : 12
    },
    {
      "token" : "same",
      "start_offset" : 56,
      "end_offset" : 60,
      "type" : "word",
      "position" : 13
    },
    {
      "token" : "today",
      "start_offset" : 61,
      "end_offset" : 66,
      "type" : "word",
      "position" : 14
    },
    {
      "token" : "that",
      "start_offset" : 67,
      "end_offset" : 71,
      "type" : "word",
      "position" : 15
    },
    {
      "token" : "it",
      "start_offset" : 72,
      "end_offset" : 74,
      "type" : "word",
      "position" : 16
    },
    {
      "token" : "always",
      "start_offset" : 75,
      "end_offset" : 81,
      "type" : "word",
      "position" : 17
    },
    {
      "token" : "was",
      "start_offset" : 82,
      "end_offset" : 85,
      "type" : "word",
      "position" : 18
    },
    {
      "token" : "and",
      "start_offset" : 87,
      "end_offset" : 90,
      "type" : "word",
      "position" : 19
    },
    {
      "token" : "it",
      "start_offset" : 91,
      "end_offset" : 93,
      "type" : "word",
      "position" : 20
    },
    {
      "token" : "will",
      "start_offset" : 94,
      "end_offset" : 98,
      "type" : "word",
      "position" : 21
    },
    {
      "token" : "never",
      "start_offset" : 99,
      "end_offset" : 104,
      "type" : "word",
      "position" : 22
    },
    {
      "token" : "change",
      "start_offset" : 105,
      "end_offset" : 111,
      "type" : "word",
      "position" : 23
    }
  ]
}

中文：

POST _analyze
{
  "analyzer": "simple",
  "text": "生活就是不断突破自我的过程。我们努力地向上，不仅是让世界看到我们，更是为了让自己看到世界。当我们一步一个脚印往前走时，就会发现，每一点进步，都在让我们的人生变得更辽阔。"
}

结果：

{
  "tokens" : [
    {
      "token" : "生活就是不断突破自我的过程",
      "start_offset" : 0,
      "end_offset" : 13,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "我们努力地向上",
      "start_offset" : 14,
      "end_offset" : 21,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "不仅是让世界看到我们",
      "start_offset" : 22,
      "end_offset" : 32,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "更是为了让自己看到世界",
      "start_offset" : 33,
      "end_offset" : 44,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "当我们一步一个脚印往前走时",
      "start_offset" : 45,
      "end_offset" : 58,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "就会发现",
      "start_offset" : 59,
      "end_offset" : 63,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "每一点进步",
      "start_offset" : 64,
      "end_offset" : 69,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "都在让我们的人生变得更辽阔",
      "start_offset" : 70,
      "end_offset" : 83,
      "type" : "word",
      "position" : 7
    }
  ]
}
2、simple_pattern分词器

根据正则表达式进行分词的分词器。

# 创建索引映射，定义字段内容的分词的正则表达式
PUT idx_custom_simplete_pattern
{
  "settings": {
    "analysis": {
      "analyzer": {
        "custom_pattern_analyzer": {
          "tokenizer": "custom_pattern_tokenizer"
        }
      },
      "tokenizer": {
        "custom_pattern_tokenizer": {
          "type": "simple_pattern",
          "pattern":"[0123456789]{3}"
        }
      }
    }
  }
}

POST idx_custom_simplete_pattern/_analyze
{
  "analyzer": "custom_pattern_analyzer",
  "text": "ads-132-754-235-23d-000"
}

结果：

{
  "tokens" : [
    {
      "token" : "132",
      "start_offset" : 4,
      "end_offset" : 7,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "754",
      "start_offset" : 8,
      "end_offset" : 11,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "235",
      "start_offset" : 12,
      "end_offset" : 15,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "000",
      "start_offset" : 20,
      "end_offset" : 23,
      "type" : "word",
      "position" : 3
    }
  ]
}
3、simple_pattern_split分词器

simple_pattern_split指定分词符合，比simple_pattern分词功能更有限，但是分词效率高。

默认分词符号是空字符串。


# 创建索引映射，指定字段内容分词匹配符号
PUT idx_custom_simple_pattern_split
{
  "settings": {
    "analysis": {
      "analyzer": {
        "custom_simple_pattern_split_analyzer": {
          "tokenizer": "custom_tokenizer"
        }
      },
      "tokenizer": {
        "custom_tokenizer": {
          "type": "simple_pattern_split",
          "pattern": "-"
        }
      }
    }
  }
}

POST idx_custom_simple_pattern_split/_analyze
{
  "analyzer": "custom_simple_pattern_split_analyzer",
  "text": "ads-132-754-235-23d-000"
}

结果：

{
  "tokens" : [
    {
      "token" : "ads",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "132",
      "start_offset" : 4,
      "end_offset" : 7,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "754",
      "start_offset" : 8,
      "end_offset" : 11,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "235",
      "start_offset" : 12,
      "end_offset" : 15,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "23d",
      "start_offset" : 16,
      "end_offset" : 19,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "000",
      "start_offset" : 20,
      "end_offset" : 23,
      "type" : "word",
      "position" : 5
    }
  ]
}
4、standard分词器

standard分词器是默认分词器，基于Unicode文本分割算法进行分词。

# 使用标准分词器
POST _analyze
{
  "analyzer": "standard",
  "text": "A good book may be among the best of friends. It is the same today that it always was, and it will never change. "
}

结果：

{
  "tokens" : [
    {
      "token" : "a",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "good",
      "start_offset" : 2,
      "end_offset" : 6,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "book",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    。。。。
    {
      "token" : "change",
      "start_offset" : 105,
      "end_offset" : 111,
      "type" : "<ALPHANUM>",
      "position" : 23
    }
  ]
}

POST _analyze
{
  "analyzer": "standard",
  "text": "生活就是不断突破自我的过程。我们努力地向上，不仅是让世界看到我们，更是为了让自己看到世界。当我们一步一个脚印往前走时，就会发现，每一点进步，都在让我们的人生变得更辽阔。"
}

结果：

{
  "tokens" : [
    {
      "token" : "生",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "活",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "就",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    。。。。
    {
      "token" : "辽",
      "start_offset" : 81,
      "end_offset" : 82,
      "type" : "<IDEOGRAPHIC>",
      "position" : 74
    },
    {
      "token" : "阔",
      "start_offset" : 82,
      "end_offset" : 83,
      "type" : "<IDEOGRAPHIC>",
      "position" : 75
    }
  ]
}

# 配置分词规则（==慎用！！！！==）
PUT idx_standard
{
  "settings": {
    "analysis": {
      "analyzer": {
        "english_analyzer":{
          "type":"standard",
          "max_token_length":5,
          "stopwords":"_english_"
        }
      }
    }
  }
}

# 使用标准分词器
POST idx_standard/_analyze
{
  "analyzer": "english_analyzer",
  "text": "A good book may be among the best of friends. It is the same today that it always was, and it will never change. "
}

结果：

{
  "tokens" : [
    {
      "token" : "good",
      "start_offset" : 2,
      "end_offset" : 6,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "book",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "may",
      "start_offset" : 12,
      "end_offset" : 15,
      "type" : "<ALPHANUM>",
      "position" : 3
    },
    {
      "token" : "among",
      "start_offset" : 19,
      "end_offset" : 24,
      "type" : "<ALPHANUM>",
      "position" : 5
    },
    {
      "token" : "best",
      "start_offset" : 29,
      "end_offset" : 33,
      "type" : "<ALPHANUM>",
      "position" : 7
    },
    {
      "token" : "frien",
      "start_offset" : 37,
      "end_offset" : 42,
      "type" : "<ALPHANUM>",
      "position" : 9
    },
    {
      "token" : "ds",
      "start_offset" : 42,
      "end_offset" : 44,
      "type" : "<ALPHANUM>",
      "position" : 10
    },
    {
      "token" : "same",
      "start_offset" : 56,
      "end_offset" : 60,
      "type" : "<ALPHANUM>",
      "position" : 14
    },
    {
      "token" : "today",
      "start_offset" : 61,
      "end_offset" : 66,
      "type" : "<ALPHANUM>",
      "position" : 15
    },
    {
      "token" : "alway",
      "start_offset" : 75,
      "end_offset" : 80,
      "type" : "<ALPHANUM>",
      "position" : 18
    },
    {
      "token" : "s",
      "start_offset" : 80,
      "end_offset" : 81,
      "type" : "<ALPHANUM>",
      "position" : 19
    },
    {
      "token" : "never",
      "start_offset" : 99,
      "end_offset" : 104,
      "type" : "<ALPHANUM>",
      "position" : 24
    },
    {
      "token" : "chang",
      "start_offset" : 105,
      "end_offset" : 110,
      "type" : "<ALPHANUM>",
      "position" : 25
    },
    {
      "token" : "e",
      "start_offset" : 110,
      "end_offset" : 111,
      "type" : "<ALPHANUM>",
      "position" : 26
    }
  ]
}
5、keyword和text区别

text类型字段会进行分词处理，然后分词后的单词建立倒排索引。

​ 支持全文检索，不是聚合计算和排序。

keyword类型字段不会分词处理，直接根据字段内容进行倒排索引。

​ 不支持全文检索，支持聚合计算和排序。

6、IK分词器
下载

在Github官网搜索Elasticsearch-analysis-ik

下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

安装

在elasticsearch安装目录的plugins目录中创建ik子目录

[esuser@db plugins]$ mkdir -p /home/elasticsearch/elasticsearch-7.13.2/plugins/ik
[esuser@db plugins]$ ll
总用量 0
drwxr-xr-x. 2 esuser esgroup 6 3月   8 16:45 ik
[esuser@db plugins]$

切换到ik

[esuser@db ~]# cd /home/elasticsearch/elasticsearch-7.13.2/plugins/ik
[esuser@db ik]#

上传elasticsearch-analysis-ik安装包，解压

unzip elasticsearch-analysis-ik-7.13.2.zip

重启ES

[esuser@db ~]# cd /home/elasticsearch/elasticsearch-7.13.2
[esuser@db ~]# ./bin/elasticsearch
测试

没有使用IK分词器

POST _analyze
{
  "text": "内心没有分别心，就是真正的苦行"
}

结果：

{
  "tokens" : [
    {
      "token" : "内",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "心",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "没",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "有",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "分",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    },
    {
      "token" : "别",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "<IDEOGRAPHIC>",
      "position" : 5
    },
    {
      "token" : "心",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "<IDEOGRAPHIC>",
      "position" : 6
    },
    {
      "token" : "就",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "<IDEOGRAPHIC>",
      "position" : 7
    },
    {
      "token" : "是",
      "start_offset" : 9,
      "end_offset" : 10,
      "type" : "<IDEOGRAPHIC>",
      "position" : 8
    },
    {
      "token" : "真",
      "start_offset" : 10,
      "end_offset" : 11,
      "type" : "<IDEOGRAPHIC>",
      "position" : 9
    },
    {
      "token" : "正",
      "start_offset" : 11,
      "end_offset" : 12,
      "type" : "<IDEOGRAPHIC>",
      "position" : 10
    },
    {
      "token" : "的",
      "start_offset" : 12,
      "end_offset" : 13,
      "type" : "<IDEOGRAPHIC>",
      "position" : 11
    },
    {
      "token" : "苦",
      "start_offset" : 13,
      "end_offset" : 14,
      "type" : "<IDEOGRAPHIC>",
      "position" : 12
    },
    {
      "token" : "行",
      "start_offset" : 14,
      "end_offset" : 15,
      "type" : "<IDEOGRAPHIC>",
      "position" : 13
    }
  ]
}

使用IK分词器

POST _analyze
{
  "analyzer": "ik_max_word", 
  "text": "内心没有分别心，就是真正的苦行"
}

结果：

{
  "tokens" : [
    {
      "token" : "内心",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "没有",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "分别",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "心",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "就是",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "真正",
      "start_offset" : 10,
      "end_offset" : 12,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "的",
      "start_offset" : 12,
      "end_offset" : 13,
      "type" : "CN_CHAR",
      "position" : 6
    },
    {
      "token" : "苦行",
      "start_offset" : 13,
      "end_offset" : 15,
      "type" : "CN_WORD",
      "position" : 7
    }
  ]
}

注意：

未安装IK分词器，使用ik_max_word会报错

安装IK分词器，未指定"analyzer": “ik_max_word”，使用默认分词器

IK分词模式

1、ik_max_word：对文本进行最细粒度的拆分

2、ik_smart：对文本进行最粗粒度的拆分

ik_max_word
POST _analyze
{
  "analyzer": "ik_max_word",
  "text": "我是中国人"
}

结果：

{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "中国人",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "中国",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "国人",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 4
    }
  ]
}
ik_smart
POST _analyze
{
  "analyzer": "ik_smart",
  "text": "我是中国人"
}

结果：

{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "中国人",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    }
  ]
}
创建IK分词器的索引映射

text类型都使用ik_max_word分词模式


# 创建IK分词器索引映射，所有text类型都使用ik_max_word分词模式
PUT idx_user_ik_01
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ik": {
          "tokenizer": "ik_max_word"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "user_id": {
        "type": "integer"
      },
      "user_name": {
        "type": "text",
        "fields": {
          "username": {
            "type": "keyword"
          }
        }
      },
      "age": {
        "type": "integer"
      },
      "address": {
        "type": "text"
      }
    }
  }
}

创建IK分词器索引映射,为每一个text指定分词模式

# 创建IK分词器索引映射,为每一个text指定分词模式
PUT idx_user_ik_02
{
  "mappings": {
    "properties": {
      "user_id": {
        "type": "integer"
      },
      "user_name": {
        "type": "text",
        "analyzer": "ik_smart",
        "search_analyzer": "ik_smart"
      },
      "age": {
        "type": "integer"
      },
      "address": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "standard"
      }
    }
  }
}


PUT idx_user_info_ik
{
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword"
      },
      "address": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

POST idx_user_info_ik/_doc
{
  "name":"曹操",
  "address":"魏国"
}

POST idx_user_info_ik/_doc
{
  "name":"诸葛亮",
  "address":"蜀国"
}

POST idx_user_info_ik/_doc
{
  "name":"周瑜",
  "address":"吴国"
}

POST idx_user_info_ik/_doc
{
  "name":"张飞",
  "address":"蜀国"
}

POST idx_user_info_ik/_search
{
  "query": {
    "match": {
      "address": {
        "query": "蜀国"
      }
    }
  }
}

查询结果：

{
  "took" : 19,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.6931471,
    "hits" : [
      {
        "_index" : "idx_user_info_ik",
        "_type" : "_doc",
        "_id" : "dQDywIYBnnKcIM3DPvhR",
        "_score" : 0.6931471,
        "_source" : {
          "name" : "诸葛亮",
          "address" : "蜀国"
        }
      },
      {
        "_index" : "idx_user_info_ik",
        "_type" : "_doc",
        "_id" : "dwDywIYBnnKcIM3DUvhX",
        "_score" : 0.6931471,
        "_source" : {
          "name" : "张飞",
          "address" : "蜀国"
        }
      }
    ]
  }
}
zx_1305769448
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
8.2.1-elasticsearch内置分词器之standard/simple
红笺小字
06-08 2696
ES中内置分词器之standard/simple详细解析
ElasticSearch中常见的分词器介绍
热爱编程、热爱生活、热爱探索
11-11 1524
ElasticSearch是一个高效的分布式搜索引擎，其中分词器是它的核心组件之一，平常开发中选择一个合适的分词器可以很大程度上提高检索效率，所以特意花点时间快速了解ElasticSearch中各大常见的分词器，本文也将分别介绍ElasticSearch中常见的几大分词器的特点、适用场景，以及如何适用推荐阅读ElasticSearch快速入门_知识汲取者的博客-CSDN博客custom可以根据具体需求自定义分词器，包括指定分词器、字符过滤器、标记过滤器等。适用场景。
ElasticSearch学习（五）： 分词器
weixin_40482816的博客
09-19 1873
顾名思义，就是，也叫。在 ES 中，Analysis是通过来实现的，可使用 ES 内置的分析器或者按需定制化分析器。举一个分词简单的例子：比如你输入，会自动帮你分成两个单词，一个是mastering，另一个是，可以看出单词也被转化成了小写的。
3.ElasticSearch分词器，包括默认分词器、英文分词器、中文分词器
名猿陈大浏的博客
08-28 7502
导图（用于总结和复习） ​ ​ 注：使用 GET /test/_analyze 可以使用分词器查看分词结果，例： 以上用例是使用 analyzer 指定英文分词器查看分词结果，如果field是索引里的字段，会使用字段指定的分词器进行分词。 接下来进入测试。 默认分词器 默认使用standar分词器 在不标明的时候都是使用默认的standar分词 在建索引的时候，使用 analyzer 指定字段分词器 测试数据： #1.删除 /test下的测试数据 DELETE /test/
ES学习记录10.1——ES分析器2(标记生成器)
jacksonary的博客
11-09 1412
 tokenizer(标记生成器)接受字符流，负责将它们分割为独立的标记tokens(通常是一个个独立的单词)，最后将这些tokens输出。比如空格标记生成器whitespace在分割文本时，只要遇到空格就会执行分割，比如whitespace标记生成器会将文本Quick brown fox!将分割为[Quick, brown, fox!]。标记生成器tokenizer除了分割字符流外，还负责记录每...
elasticsearch-analysis-ik 7.10.0 分词器
01-10
**Elasticsearch Analysis IK 7.10.0 分词器详解** Elasticsearch 分词器是搜索引擎核心组件之一，负责将输入的文本拆分成可搜索的独立单元——词语。在中文环境中，这个过程尤为重要，因为中文句子由多个汉字组成...
elasticsearch-7.14.0+分词器+head插件一键下载
09-04
Elasticsearch 内置了多种分词器，如标准分词器（Standard Analyzer）、关键词分词器（Keyword Analyzer）和中文分词器（Smart Chinese Analyzer）等。这些分词器可以根据不同的语言和应用场景进行定制，以确保搜索...
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
elasticsearch-analysis-pinyin-7.4.0 es拼音分词器7.4.0
04-05
《Elasticsearch拼音分词器7.4.0在大数据全文检索中的应用》 Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于大数据领域的全文检索。它以其高可扩展性、实时性能以及丰富的分析能力著称。在中文环境...
elasticsearch-pinyin分词器
最新发布
06-05
"elasticsearch-pinyin分词器"正是这样一个工具，专为Elasticsearch设计，用于对中文文本进行拼音分词。 "pinyin分词器"是Elasticsearch中的一个插件，它的主要功能是将中文字符转换成对应的汉语拼音，以便于进行...
Elasticsearch之分词器查询分词效果
悟能的师兄的专栏
07-31 2万+
0、引言 Elasticsearch之分词器中文的我们一般使用IK，如果没有指定分词器。默认使用的是standard分词。 IK分词能将中文分成词组： standard分词则会将每个中文分成一个单个的词： 其他分词器：ansj_index ...... 优劣：IK 分词能够根据词库创建有效的分词索引，搜索的效率和准确率很高。劣势：有小部分词如果不存在词库，则不会被分词，因此在查询的...
elasticsearch ik分词器的安装和使用
宫凯宁的博客
05-07 2万+
elasticsearch几种常用分词器如下： 分词器 分词方式 StandardAnalyzer 单字分词 CJKAnalyzer 二分法 IKAnalyzer 词库分词 其中常用的是IKAnalyzer，但IK是第三方插件，需要安装。 ...
ElasticSearch最全分词器比较及使用方法
热门推荐
赵英超的博客
11-01 3万+
介绍：ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口。Elasticsearch 是用 Java 开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 Elasticsearch中，内置了很多分词器（a...
ElasticSearch速学 - 全文检索、分词器、过滤器
04-19 1万+
今天我们要来学习ElasticSearch的搜索方面的api，在开始之前，为了便于演示，我们先要创建一些索引数据。 Search APIs官方文档： https://www.elastic.co/guide/en/elasticsearch/reference/5.3/search.html1、按name搜索，搜索jackGET blog/users/_search?q=name:jack结果如
Elasticsearch分词器总结
csdncjh的博客
05-20 3179
此次问题由一次测试提出的bug引起：测试检索功能时候，以 台中 为关键词检索，结果中出现了 台，中的结果，如图所示 复现问题 该字段用的是standard分词器 查询用的是match_phrase_prefix查询 准备数据 构建mapping PUT my_index { "settings": { "index": { "number_of_shards": 1, "number_of_replicas": 1 } }, "mappi
中文分词器分词效果的评测方法
凌风探梅的专栏
11-25 3755
[原创]中文分词器分词效果的评测方法 2013年8月27日 由 learnhard留言 » 转载请注明出处：http://www.codelast.com/ 现在有很多开源的中文分词器库，如果你的项目要选择其一来实现中文分词功能，必然要先评测它们的分词效果。如何评测？下面详细叙述。 【1】黄金标准/Golden standard 所谓的黄金标准是指：评价一个分词器
【Elasticsearch】17 ES文档的基本操作 Analyze 分词器 ik 中文分词、标准分词
promiseful的博客
09-07 437
1、标准分词器 安装单词空格分词 POST _analyze { "analyzer": "standard", "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone." } // 响应 { "tokens" : [ { "token" : "the", "start_offset" : 0, "end_offset" : 3, "type" : "<ALP
elasticsearch设置自定义分词器
jack_chow的博客
12-24 2950
需求背景 项目搜索引擎用到全文检索，之前因为需求是多词空格分隔查询，而且中文查询的需求不大，所以索引是用的事elasticsearch内置的分词器（whitespace analyzer）。 需求描述 后面功能上线一段时间后，发现用户反馈检索功能不支持大小写匹配，对大小写敏感，后来发现whitespace是区分大小写的，所以需要调整。 功能实现 查询es官方文档后发现，es支持使用tokenizer和filter进行自定义分词器的开发(custom analyzer)，所以研究一番，得到以下DSL
elasticSearch 分词器踩的坑
°三度微凉的博客
05-03 1万+
elasticSearch 接入ik分词器踩的坑，记录下
elasticsearch分词器
07-28
5. Language-specific Analyzers：Elasticsearch还提供了针对特定语言的分词器，如English Analyzer、Chinese Analyzer等，根据不同语言的特点进行了优化。 除了以上内置的分词器，Elasticsearch还支持自定义分词器...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值