elasticsearch
阿童木-atom
行到水穷处,坐看云起时!
鄙人学富五车、才高八斗。技术能力称雄天下,敢领风骚数五百年。java、scala、python、C/C++、php登峰造极,精通Spring、mybatis、hibernate、struts2各种框架及具备各种大型系统架构能力,深耕搜索、推荐、数据挖掘、机器学习、深度学习、人工智能等领域,通读lucene、solr、elaticsearch、sphinx、mahout、tensorfolw等开源项目源码,精通hadoop、hbase、hive、spark、kafka、rabbit、activeMQ等大数据处理工具的应用。
展开
-
Elasticsearch查询参数batched_reduce_size的解释
欢迎关注鄙人公众号,技术干货随时看! 当我们使用Elasticsearch查询数据时,如果数据量非常大时,会命中大量分片中的大量数据,可能会造成集群内存异常,此时可以通过一个高级参数batched_reduce_size进行控制。使用方法如下:GET user_order/_search?q=user:kimchy&batched_reduce_size=256或者:POS...原创 2019-11-27 15:26:46 · 2056 阅读 · 0 评论 -
理解Elasticsearch返回结果中命中数total值的具体含义
欢迎关注鄙人公众号,技术干货随时看! 自从Elasticsearch5.X进行了大改版以后,返回结果中命中数total值具体含义也变得复杂,可以说默认情况下total值不再确保准确。下面是查询时返回结果的格式: 1 { 2 "took" : 48, 3 "timed_out" : false, 4 "_shards" : { ...原创 2019-11-27 15:08:37 · 22937 阅读 · 0 评论 -
elasticsearh集群布署与调试
curl 'http://localhost:9200/?pretty' 查看elasticsearch状态一、安装1、安装jdk1.72、安装elasticsearch-1.4.1下载地址:https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1原创 2017-10-10 16:10:03 · 680 阅读 · 0 评论 -
elasticsearch常用操作URL与java实例代码
一、概念1、集群和节点节点(node)是你运行的Elasticsearch实例。一个集群(cluster)是一组具有相同cluster.name的节点集合,他们协同工作,共享数据并提供故障转移和扩展功能,当有新的节点加入或者删除节点,集群就会感知到并平衡数据。集群中一个节点会被选举为主节点(master),它用来管理集群中的一些变更,例如新建或删除索引、增加或移除节点等;当原创 2017-10-10 16:17:38 · 1991 阅读 · 0 评论 -
elasticsearch多级聚合查询
欢迎关注鄙人的公众号号,技术干货随时看!**鄙人的新书《elasticsearch7完全开发指南》,欢迎订阅!**-----https://wenku.baidu.com/view/8ff2ce94591b6bd97f192279168884868762b8e7**《kibana权威指南》**----https://wenku.baidu.com/view/24cfee1...原创 2017-10-10 16:23:07 · 22647 阅读 · 0 评论 -
org.elasticsearch.common.util.concurrent.EsRejectedExecutionException 查询超时异常处理记录---一定要用单例模式
elasticsearch client 即TransportClient(最常用的一个实现),一定要使用单例模式,不懂单例模式的自己去学!不用单例模式的代价是残酷的,鄙人作为开发经理,曾被一个二笔开发坑得一塌糊涂,原因就是这个二笔把client封装成了线程池(越是二笔往往越以为自己是大神,鄙人还没几个能自己写线程池的大神)!鄙人下面讲述下事故的过程。鄙认作为工学硕士,自知不才,但鄙人通读luc...原创 2019-04-22 18:43:18 · 21225 阅读 · 4 评论 -
elasticsearch重要但容易被忽略的几个参数设置
elasticsearch目前是业内应用最广泛的大数据存储、搜索和分析引擎。因为开源免费,笔者认为没有之一!笔者多年的开发经验,elasticsearch可以完成大数据实时搜索、海量数据存储(PB级)、BI报表产出(kibana)等大数据所需的绝大多数应用。如果你用elasticsearch存储TB级以下的数据,下面讲的几个参数,你可能根本不用关心,但PB级以上时就有必要关注了。比人下文所...原创 2019-05-06 18:10:04 · 17692 阅读 · 0 评论 -
elasticsearch常用接口和集群动态设置
查看接口,返回的结果是目录,也就是可用的URL节点,自己把每个节点试一次就基本上明白其用处了http://10.202.250.91:9200/_cat//_cat/shards/_cat/shards/{index}/_cat/master/_cat/nodes/_cat/tasks/_cat/indices/_cat/indices/{index}/_cat/segmen...原创 2019-07-05 10:22:28 · 15831 阅读 · 0 评论 -
write.wait_for_active_shards参数和 refresh参数实现elasticsearch同步写入
elasticsearch一般称为近实时的大数据处理引擎,为什么是近实时呢?原因是当我们提交索引数据时,实际上只是写到了Buffer里面,并不是立即可搜索的,最多需要等1秒才可搜索(index.refresh_interval由这个参数控制,可以通过动态API自定义设置,或在建索引时在settings里面设置),还有一点,当存在副本时,只保证主分片写入成功写入请求就会返回,此时搜索请求如果分配...原创 2019-08-26 15:46:05 · 29390 阅读 · 1 评论