zx711166的博客

Elasticsearch 性能优化常见配置分片异步同步数据索引存储类型注：基于elasticsearch.yml或api请求的方式进行配置。分片异步同步数据不同分片之间的数据同步是一个很大的花费，默认是1s同步，如果我们不要求实时性，我们可以执行如下:$ curl -XPUT http://localhost:9200/my_index -d '{ "settings" : { "index" : { "refresh_interval":"60s"

集群管理 使用ClusterHealthResponce实现集群信息监测和管理public class EsCommonTerms throws UnknownHostException{ public void queryString(TransportClient client){ ClusterHealthResponce healths = client.adm...

分组聚合 使用terms时间分组集合public class EsTermsAgg throws UnknownHostException{ public void TermsAgg(TransportClient client){ AggregationBuilder agg = AggregationBuilders.terms("terms").field("ag...

组合查询 使用boolQuery实现组合查询public class EsCommonTerms throws UnknownHostException{ public void queryString(TransportClient client){ //bool实现组合查询，must表示必须满足，mustNot表示必须不满足，should表示可以满足，filter表...

常用词查询 常用词查询使用commonTermsQuerypublic class EsQueryString throws UnknownHostException{ public void queryString(TransportClient client){ //commonTermsQuery查询 Querybuilder build = Que...

max聚合查询 最大值聚合查询使用public class EsAgg throws UnknownHostException{ public void maxAgg(TransportClient client){ //最大值聚合查询（max） AggregationBuilder agg = AggregationBuilders.max("aggM...

range查询 范围查询使用rangeQuerypublic class EsMatchAll{ public void updateIndex(TransportClient client){ //范围查询（range） QueryBuilder qb = QueryBuilders.rangeQuery("birthdaty") ...

term查询 trem查询只可指定查询一个字段对应单个词条public class EsMatchAll{ public void updateIndex(TransportClient client){ //查询所有（match_all） QueryBuilder qb = QueryBuilders.termQuery("interests", "c

match_all 查询所有public class EsMatchAll{ public void updateIndex(TransportClient client){ //查询所有（match_all） QueryBuilder qb = QueryBuilders.matchAllQuery(); SearchResponse s...

Java实现批量操作（mget&bulk）mget批量获取使用MultiGetResponsepublic class EsMget{ public void updateIndex(TransportClient client){ MultiGetResponse response = client.prepareMultiGet() ...

创建索引优化一、索引刷新间隔调整：refresh_interval默认情况下索引的refresh_interval为1秒,这意味着数据写1秒后就可以被搜索到,每次索引的 refresh 会产生一个新的 lucene 段,这会导致频繁的 segment merge 行为,如果你不需要这么高的搜索实时性,应该降低索引refresh 周期（即你可能想优化索引速度而不是近实时搜索， 可以通过设...

分组聚和不像度量聚合那样通过字段进行计算，而是根据文档创建分组。每个聚合都关联一个标准（取决于聚合的类型），决定了一个文档在当前的条件下是否会“划入”分组中。 换句话说，分组实际上定义了一个文档集。除了这些分组之外，分组聚和也会计算和返回“划入”每个分组中文档的数量。 与度量聚合不同，分组聚合可以拥有子聚合。这些子聚合可以聚合由它们的“父”聚合创建分组。 分组集合有不同的类型，对应着不同的“分

度量聚合从文档中提取出来的值并进行计算。这些值通常从文档中的字段（使用数据字段）中提取出来，单也可以使用脚本进行计算。 数字型度量聚合是一种特殊类型的度量聚合，输出数字型的值。聚合输出一个数字指标（例如平均值聚合）称之为单值数字型度量聚合，产生多个指标值（例如统计聚合）称之为多值数字型度量聚合。当这些聚合直接作为一些分组聚合的子聚合时，单值和多值数字型度量聚合的内容就会发挥巨大的作用。例如分组聚合

优化索引创建all字段是把所有其它字段中的值，以空格为分隔符组成一个大字符串，然后被分析和索引，但是不存储，也就是说它能被查询，但不能被取回显示。_all能让你在不知道要查找的内容是属于哪个具体字段的情况下进行搜索，例如：PUT my_index/user/1 { "first_name": "John", "last_name": "Smith&amp

1、问题后台跟Elasticsearch打交道需要建立起起客户端的连接，才能对Elasticsearch进行读写操作，频繁的建立连接、断开，将降低Elasticsearch的工作效率；建立持久化将减少后台与Elasticsearch建立客户端连接的时间，大大提高工作效率。 通过spring的配置文件将Elasticsearch以注入的方式建立持久化的连接将可以解决这个问题。2、解决：A、配置Spri

Elasticsearch对多个文档进行索引的简便方法。Bulk api的支持可以实现一次请求执行批量的添加、删除、更新等操作。Bulk操作使用的是UDP协议，UDP无法确保与ElasticSearch服务器通信时不丢失数据。 将数据累计到一定数量进行批量上传，大大加快数据上传速度。public class Bulk implements WriteRequest{ public stat

滚动查询Elasticsearch中进行大数据量查询时，往往因为设备、网络传输问题影响查询数据的效率；Elasticsearch中提供了Scroll（游标）的方式对数据进行少量多批次的滚动查询，来提高查询效率。public class Scroll { public static void main(String[] args) { try{ long s

多条件设置//多条件设置MatchPhraseQueryBuilder mpq1 = QueryBuilders .matchPhraseQuery("pointid","W3.UNIT1.10LBG01CP301");MatchPhraseQueryBuilder mpq2 = QueryBuilders .matchPhrase

java时间聚合public class EsAggregation{ public void searchAggregation(TransportClient client){ AggregationBuilder aggregation = AggregationBuilders .dateRange("agg") .fi

java时间范围查询public class EsRange{ public void RangeSearch(TransportClient client){ //时间范围的设定 RangeQueryBuilder rangequerybuilder = QueryBuilders .rangeQuery("input

Java更新索引public class EsUpdate{ public void updateIndex(TransportClient client){ Date time = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss") .parse("2016-7-21 00:

Java添加索引public class EsAddIndex{ public void addIndex(TransportClient client){ Date time = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss") .parse("201

Java创建索引创建索引前需要建立elasticsearch客户端，可查看Elasticsearch Java API 的使用（1）—创建客户端public class EsIndex{ public void CreateIndex(TransportClient client){ CreateIndexRequestBuilder cib=client.admin()

Java建立客户端调用API方法前提，通过putty串行接口连接软件（选择SSH）开启安装在Linux环境下的elasticsearch5.1.2的服务。需要注意的几点： 1、cluster.name是安装elasticsearch时设置的名称 2、调用服务时xxx.xxx.xxx.xxx写的是虚拟机的ip 3、端口填写elasticsearch默认的9300端口public class

重建索引一个 field 的设置是不能修改的，如果要修改一个 field，那么应该重新按照新的mapping，建立一个index，然后将数据批量查询出来，重新用 bulk api 写入到新的index中。批量查询的时候，建议采用scroll api，并且采用多线程并发的方式来reindex数据，每次scroll就查询指定日期扽一段数据，交给一个线程即可。//创建一个索引并写入一条数据，...

当 Elasticsearch 遇到文档中以前 未遇到的字段，它用 dynamic mapping（动态映射） 来确定字段的数据类型并自动把新的字段添加到类型映射。有时这是想要的行为有时又不希望这样。通常没有人知道以后会有什么新字段加到文档，但是又希望这些字段被自动的索引。也许你只想忽略它们。如果Elasticsearch是作为重要的数据存储，可能就会期望遇到新字段就会抛出异常，这样能及时发现...

如果一次性要查出来比如10万条数据，那么性能会很差，此时一般会采取用scroll滚动查询，一批一批的查，直到所有数据都查询完为止。scroll搜索会在第一次搜索的时候，保存一个当时的视图快照，之后只会基于该旧的视图快照提供数据搜索，如果这个期间数据变更，是不会让用户看到的采用基于_doc（不使用_score）进行排序的方式，性能较高每次发送scroll请求，我们还需要指定一个scroll...

DocValue其实是Lucene在构建倒排索引时，会额外建立一个有序的正排索引（基于document => field value的映射列表）。{“birthday”：“1985-11-11”,age:23}{“birthday”：“1989-11-11”,age:29}document age birthdaydoc1 23 1985-11-11doc1 29 198...

相关度分数的计算使用的是TF/IDF算法（Term Frequency&Inverse Document Frequency）。Term Frequency：我们查询的文本中的词条在document中出现了多少次，出现次数越多，相关度越高。搜索内容：hello world Hello， I love china. Hello world,how are you!Inve...

对一个字符串类型的字段进行排序通常不准确，因为已经被分词成多个词条了 解决方式：对字段索引两次，一次索引分词（用于搜索），一次索引不分词（用于排序）//不同查询GET /lib3/_search//默认的text是进行了分词，进行排序将报错GET /lib3/user/_search{ "query": { "match_all": {} },...

Elastic search的常规查询如下所示GET /lib3/user/_search?q=interests:changgeGET /lib3/user/_search?q=+interest:changgeGET /lib3/user/_search?q=-interests:changge//查询含有changge或则含有hejiu的文档，但是没有指定具体的字段//此时...

分页查询的deep paging问题首先回顾下分页查询GET /lib3/user/_search{ "from": 0, "size": 2, "query": { "terms": { "interests": ["hejiu", "changge"] }

路由文档到分片当我们要在ES中存储数据的时候，数据应该存储在主分片和复制分片中的哪一个中去；当我们在ES中检索数据的时候，又是怎么判断要查询的数据是属于哪一个分片。进程不能是随机的，因为我们将来要检索文档。事实上，它根据一个简单的算法决定：shard = hash(routing) % number_of_primary_shardsRouting值是一个任意字符串，它默认是 _i...

文档核心元数据_index：说明了一个文档存储在哪个索引中，同一个索引下存放的是相似的文档（文档的field多数是相同的，可以由不同的field，但不建议使用），索引名必须是小写的，不能以下划线开头，不能包含括号。_type：表示文档属于索引中的哪个类型，一个索引下只能有一个type（6.0版本之前可以有多个type），类型名可以是大写也可以是小写的，不能以下划线开头，不能包含括号。_i...

水平扩容过程扩容后 primary shard 和 replica shard 会自动的负载均衡。扩容后每一个节点上的 shard 会减少，那么分配给每个 shard 的CPU、内存、IO资源会更多，性能将会提高。 扩容的极限，如果有6个 shard，扩容的极限就是6个节点，每个节点上一个 shard，如果想超出扩容的极限，比如说扩容到9个节点，那么可以增加 replica shard...

分片和副本机制index 包含多个 shard，创建 index 时可以在settings中设置分片数，不设置时默认是5个。每个 shard 都是一个最小工作单元，承载部分数据；每个 shard 都是一个 lucene 实例，并且具有完整的建立索引和处理能力。增减节点时，shard 会自动在 nodes 中负载均衡。primary shard（主分片） 和 replica shard（...

Elasticseasrch的架构遵循其基本概念：一个采用Restful API标准的 高扩展性 和 高可用性 的 实时数据分析 的全文搜索工具。高扩展性：体现在Elasticsearch添加节点非常简单，新节点无需做复杂的配置，只要配置好集群信息将会被集群自动发现。高可用性：因为Elasticsearch是分布式的，每个节点都会有备份，所以down一两个节点也不会出现问题，集群会通过备份...

集合查询sum聚合sum是一个求累加值的聚合，其作用与关系型数据库中相同。GET /lib4/items/_search{ "size": 0, //表示查询多少条文档，聚合只需就和结果，输出文档可以设置为0条 "aggs": { "price_of_sum": { //自行取名作为结果集

Filter查询filter是不计算相关性的，同时可以cache。因此，filter速度要比query快。//创建索引并写入数据POST /lib4/items/_bluk{"index": {"_id": 1}}{"pric

基本查询（Query查询）数据准备及简单查询//首先做一个数据准备，创建一个索引PUT /lib3{ "settings": { "number_of_shards": 3, "number_of_replicas": 0 }, "mappings": {