Elasticsearch的停用词

转载 2018年04月17日 20:09:46

 前提

什么是倒排索引?

Elasticsearch之分词器的作用

Elasticsearch之分词器的工作流程

 

 

Elasticsearch的停用词

  1、有些词在文本中出现的频率非常高,但是对文本所携带的信息基本不产生影响。

  2、英文

    a、an、the、of

  3、中文

    的、了、着、是 、标点符号等

  4、文本经过分词之后,停用词通常被过滤掉,不会被进行索引。

  5、在检索的时候,用户的查询中如果含有停用词,检索系统也会将其过滤掉(因为用户输入的查询字符串也要进行分词处理)。

  6、排除停用词可以加快建立索引的速度,减小索引库文件的大小。

  7、英文停用词

         http://www.ranks.nl/stopwords

  8、中文停用词

          http://www.ranks.nl/stopwords/chinese-stopwords

 

  后续博客

Elasticsearch之中文分词器

ElasticSearch--停用词的使用

使用停用词的利弊我们拥有更多硬盘资源,但是比较少的内存资源。从索引中去掉一些停用词平均每百万个文档中也就节省了4MB的资源。所以停用词并不是来节省存储资源的。 并且,我们移除一些停用词会带来一...
  • Mr_Fogg
  • Mr_Fogg
  • 2017-05-03 16:20:15
  • 370

IKAnalyzer进行中文分词和去停用词

http://www.cnblogs.com/huadongw/p/4222866.html
  • cztq15
  • cztq15
  • 2015-11-05 18:55:21
  • 933

Ik分词添加停用词以及扩展词步骤

直接在src下建立文件就OK: IK Analyzer 扩展配置 extword.dic;singleword.dic stopword.dic...
  • winner005
  • winner005
  • 2014-06-17 17:01:57
  • 2114

IKAnalyzer中文分词去停用词问题解决

采用的网上的代码怎么都去不掉停用词,最后下载了一个源码观察了stopword.dic和IKAnalyzer.cfg,是放到SRC和bin目录下都同时放的,我只是它们放到src下,所以导致只能分词不能去...
  • u013937688
  • u013937688
  • 2015-05-07 15:45:36
  • 1883

中文分词与停用词的作用

转自:http://blog.sina.com.cn/s/blog_56d8ea9001018i6y.html首先什么是中文分词stop word?英文是以词为单位的,词和词之间是靠空格隔开,而中文是...
  • u013709332
  • u013709332
  • 2015-08-10 14:55:12
  • 3179

Java过滤停用词源码

Java过滤停用词源码
  • javaniuniu
  • javaniuniu
  • 2016-12-04 16:13:13
  • 2183

数据挖掘 文本分类 (五)取名词去停用词

之前写了一篇文本分类(五),不知道怎么滴没发表成功,csdn连个备份都没有,草稿箱里也没有,真是备受打击!         隔了几天,只好重来......         好,上一篇做到了分词这一步,...
  • yangshaoby
  • yangshaoby
  • 2014-12-23 13:36:22
  • 3187

去停用词

停用词是一些完全没有用或者没有意义的词,例如助词、语气词等。本文的停用词表是笔者首先从网上下载的哈工大停用词表,含有767个停用词,过滤掉训练集中的停用词。由于停用词过滤得不干净,于是整合了其他词表,...
  • Junkichan
  • Junkichan
  • 2016-07-11 18:54:43
  • 2267

python结巴分词、jieba加载停用词表

python结巴分词python结巴分词 jieba中文分词简介 中文分词的原理 1 基于规则 2 基于统计 3 jieba的原理 安装结巴jieba jieba三种分词模式以及其应用 jieba增强...
  • u012052268
  • u012052268
  • 2017-09-03 21:50:19
  • 26789

python自然语言处理中文停用词

  • 2017年12月04日 14:48
  • 15KB
  • 下载
收藏助手
不良信息举报
您举报文章:Elasticsearch的停用词
举报原因:
原因补充:

(最多只允许输入30个字)