elasticsearch
little sky
little sky
展开
-
ES索引写入性能优化
最近一直想总结一篇es的优化文章,看了几篇博客,总结一下,方便以后遇上es线上优化问题有参考之处:1、用bulk批量写入es批量写入时,应该使用es的bulk写入,bulk写入还是应该考虑es的node数,shard分片数。业务中尽量将写入es的数据聚合起来分批写入。bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bulk请求最佳的大小,需要对单...原创 2019-12-21 10:18:19 · 956 阅读 · 0 评论 -
ES读写数据的工作原理以及文档读写模型实现原理
es写入数据的工作原理是什么啊?es查询数据的工作原理是什么?底层的lucence介绍一下呗?倒排索引了解吗?一、es写数据过程1、客户端选择一个node发送请求过去,这个node就是coordinating node(协调节点)2、coordinating node 对document进行路由,将请求转发给对应的node(有primary shard)3、实际的node上的primary...原创 2019-12-08 15:43:59 · 876 阅读 · 0 评论 -
ES服务器搭建以及常遇问题处理
最近一直想做一个ES订单同步功能实现,ES服务器已经搭建好,以及kibana前端图形化操作工具。一、软件以及环境准备linux环境版本:Linux version 3.10.0-693.2.2.el7.x86_64 (查看服务器命令:uname -a或者cat /proc/version)jdk版本:java version “1.8.0_171” (查看命令:java -version)...原创 2019-07-13 09:42:40 · 4477 阅读 · 0 评论 -
es的基础介绍和kibana操作文档
ES的作用:1、Elasticsearch的功能(1)分布式的搜索引擎和数据分析引擎(2)全文检索,结构化检索,数据分析(3)对海量数据进行近实时的处理2、es存储结构:我们从es存储一个数据来分析es的结构:{ "_index": "bankorderindex", "_type": "bankorder", "_id": "1254423336", "_versi...原创 2019-08-01 15:27:43 · 2600 阅读 · 0 评论 -
ES实现订单同步以及增删改查
ES服务器,kibana搭建好,ES一些基础介绍,以及kibana的基本操作也相对应输出到自己的博客,现在开始贴上es订单同步的代码,希望大家阅读之后指正。我所谓做的不是严格意义的订单同步,只是写一个定时同步脚本,去处理同步数据库的订单。如果严格意义上订单,应该是数据库订阅,dts订阅。前期准备:1、数据源配置(隐私信息不公开)*.jdbc.url=jdbc****************...原创 2019-08-04 11:34:16 · 2502 阅读 · 0 评论