ES的java操作高级API

最新推荐文章于 2022-04-25 22:01:29 发布
最新推荐文章于 2022-04-25 22:01:29 发布
阅读量536 收藏
点赞数
分类专栏： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhumengguang/article/details/112759432
版权 
package elasticsearch;


import org.elasticsearch.action.admin.indices.mapping.put.PutMappingRequest;
import org.elasticsearch.action.bulk.BulkRequestBuilder;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.search.SearchRequestBuilder;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.Requests;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.TransportAddress;
import org.elasticsearch.common.xcontent.XContentBuilder;
import org.elasticsearch.search.aggregations.Aggregation;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.Aggregations;
import org.elasticsearch.search.aggregations.BucketOrder;
import org.elasticsearch.search.aggregations.bucket.terms.StringTerms;
import org.elasticsearch.search.aggregations.bucket.terms.TermsAggregationBuilder;
import org.elasticsearch.search.aggregations.metrics.avg.AvgAggregationBuilder;
import org.elasticsearch.search.aggregations.metrics.sum.SumAggregationBuilder;
import org.elasticsearch.transport.client.PreBuiltTransportClient;
import org.junit.Test;

import java.io.IOException;
import java.net.InetAddress;
import java.net.UnknownHostException;
import java.util.List;
import java.util.concurrent.ExecutionException;

import static org.elasticsearch.common.xcontent.XContentFactory.jsonBuilder;

public class ElasticsearchHighApi {



    public TransportClient getClient() throws UnknownHostException {

        Settings settings = Settings.builder().put("cluster.name", "myes").build();


        TransportAddress transportAddress1 = new TransportAddress(InetAddress.getByName("192.168.154.100"), 9300);
        TransportAddress transportAddress2 = new TransportAddress(InetAddress.getByName("192.168.154.110"), 9300);
        TransportAddress transportAddress3 = new TransportAddress(InetAddress.getByName("192.168.154.120"), 9300);

        TransportClient    client = new PreBuiltTransportClient(settings)
                .addTransportAddress(transportAddress1)
                .addTransportAddress(transportAddress2)
                .addTransportAddress(transportAddress3);
        System.out.println(client.toString());

        return client;
    }

    /**
     * 批量添加数据
     * @throws IOException
     * @throws
     * @throws InterruptedException
     */
    @Test
    public void addIndexDatas() throws IOException, ExecutionException, InterruptedException {

        //获取client客户端
        TransportClient client =getClient();

        /**
         * 创建索引
         * */
        client.admin().indices().prepareCreate("player").get();
        //构建json的数据格式，创建映射
        XContentBuilder mappingBuilder = jsonBuilder()
                .startObject()
                .startObject("player")
                .startObject("properties")
                .startObject("name").field("type", "text").field("index", "true").field("fielddata", "true").endObject()
                .startObject("age").field("type", "integer").endObject()
                .startObject("salary").field("type", "integer").endObject()
                .startObject("team").field("type", "text").field("index", "true").field("fielddata", "true").endObject()
                .startObject("position").field("type", "text").field("index", "true").field("fielddata", "true").endObject()
                .endObject()
                .endObject()
                .endObject();
        PutMappingRequest request = Requests.putMappingRequest("player")
                .type("player")
                .source(mappingBuilder);
        client.admin().indices().putMapping(request).get();


        //批量添加数据开始

        BulkRequestBuilder bulkRequest = client.prepareBulk();

// either use client#prepare, or use Requests# to directly build index/delete requests
        bulkRequest.add(client.prepareIndex("player", "player", "1")
                .setSource(jsonBuilder()
                        .startObject()
                        .field("name", "郭德纲")
                        .field("age", 33)
                        .field("salary", 3000)
                        .field("team", "cav")
                        .field("position", "sf")
                        .endObject()
                )
        );
        bulkRequest.add(client.prepareIndex("player", "player", "2")
                .setSource(jsonBuilder()
                        .startObject()
                        .field("name", "于谦")
                        .field("age", 25)
                        .field("salary", 2000)
                        .field("team", "cav")
                        .field("position", "pg")
                        .endObject()
                )
        );
        bulkRequest.add(client.prepareIndex("player", "player", "3")
                .setSource(jsonBuilder()
                        .startObject()
                        .field("name", "岳云鹏")
                        .field("age", 29)
                        .field("salary",1000)
                        .field("team" , "war")
                        .field("position" , "pg")
                        .endObject()
                )
        );

        bulkRequest.add(client.prepareIndex("player", "player", "4")
                .setSource(jsonBuilder()
                        .startObject()
                        .field("name", "爱因斯坦")
                        .field("age", 21)
                        .field("salary",300)
                        .field("team" , "tim")
                        .field("position" , "sg")
                        .endObject()
                )
        );

        bulkRequest.add(client.prepareIndex("player", "player", "5")
                .setSource(jsonBuilder()
                        .startObject()
                        .field("name", "张云雷")
                        .field("age", 26)
                        .field("salary",2000)
                        .field("team" , "war")
                        .field("position" , "pf")
                        .endObject()
                )
        );
        bulkRequest.add(client.prepareIndex("player", "player", "6")
                .setSource(jsonBuilder()
                        .startObject()
                        .field("name", "爱迪生")
                        .field("age", 40)
                        .field("salary",1000)
                        .field("team" , "tim")
                        .field("position" , "pf")
                        .endObject()
                )
        );
        bulkRequest.add(client.prepareIndex("player", "player", "7")
                .setSource(jsonBuilder()
                        .startObject()
                        .field("name", "牛顿")
                        .field("age", 21)
                        .field("salary",500)
                        .field("team" , "tim")
                        .field("position" , "c")
                        .endObject()
                )
        );

        bulkRequest.add(client.prepareIndex("player", "player", "8")
                .setSource(jsonBuilder()
                        .startObject()
                        .field("name", "特斯拉")
                        .field("age", 20)
                        .field("salary",500)
                        .field("team" , "tim")
                        .field("position" , "sf")
                        .endObject()
                )
        );

        BulkResponse bulkResponse = bulkRequest.get();
        closeClient(client);

    }




    /**
     *
     * 统计每个球队当中球员的数量
     * sql语句实现
     * select team, count(*) as player_count from player group by team;
     **/
    @Test
    public void groupAndCount() throws IOException {
        TransportClient client = getClient();

        // 构建 查询提交
        SearchRequestBuilder builder = client.prepareSearch("player").setTypes("player");

        // 指定聚合条件
        TermsAggregationBuilder team = AggregationBuilders.terms("player_count").field("team");

        // 将聚合条件放入查询条件中
        builder.addAggregation(team);

        // 执行action  返回 SearchResponse
        SearchResponse searchResponse = builder.get();

        Aggregations aggregations = searchResponse.getAggregations();
        for (Aggregation aggregation : aggregations) {

            StringTerms  stringTerms= (StringTerms)aggregation;

            List<StringTerms.Bucket> buckets = stringTerms.getBuckets();

            for (StringTerms.Bucket bucket : buckets) {

                System.out.println(" 球队名称： "+bucket.getKey()+ "球队人数： "+ bucket.getDocCount());

            }


        }



        closeClient(client);
    }






    /**
     *
     * 统计每个球队当中每个位置球员数量
     * sql语句实现
     select team, position, count(*) as pos_count from player group by team, position;
     **/
    @Test
    public void teamAndPosition() throws IOException {


        TransportClient client = getClient();

        // 构建 查询提交
        SearchRequestBuilder builder = client.prepareSearch("player").setTypes("player");

        // 指定聚合条件
        TermsAggregationBuilder team = AggregationBuilders.terms("player_count").field("team");
        TermsAggregationBuilder position = AggregationBuilders.terms("posititon_count").field("position");

        // 关联连个聚合条件
        team.subAggregation(position);


        // 执行action  返回 SearchResponse
        SearchResponse searchResponse = builder.addAggregation(team).get();

        Aggregations aggregations = searchResponse.getAggregations();
        for (Aggregation aggregation : aggregations) {

            StringTerms  stringTerms= (StringTerms)aggregation;

            System.out.println("stringTerms1: "+ stringTerms.toString());
            List<StringTerms.Bucket> buckets = stringTerms.getBuckets();

            for (StringTerms.Bucket bucket : buckets) {

                System.out.println(" 球队名称： "+bucket.getKey()+ "球队人数： "+ bucket.getDocCount());


                Aggregation posititonCount = bucket.getAggregations().get("posititon_count");

                if(posititonCount != null){
                    System.out.println("posititonCount: "+ posititonCount.toString());

                    StringTerms  posititonCount1= (StringTerms)posititonCount;
                    List<StringTerms.Bucket> buckets1 = posititonCount1.getBuckets();
                    for (StringTerms.Bucket bucket1 : buckets1) {
                        Object key1 = bucket1.getKey();
                        long docCount = bucket1.getDocCount();

                        System.out.println("队伍位置： "+ key1+ "该位置下有 ： "+ docCount +"人");

                    }



                }


            }


        }



        closeClient(client);
    }



    /**
     *
     * 计算每个球队年龄最大值，最小值 平均值，
     * sql语句实现
     select team, max(age) as max_age from player group by team;
     **/
    @Test
    public void groupAndMax() throws IOException {


        TransportClient client = getClient();

        // 构建 查询提交
        SearchRequestBuilder builder = client.prepareSearch("player").setTypes("player");

        // 指定聚合条件
        TermsAggregationBuilder team = AggregationBuilders.terms("team_group").field("team");

//        MaxAggregationBuilder age = AggregationBuilders.max("max_age").field("age");
//        MinAggregationBuilder age = AggregationBuilders.min("min_age").field("age");
        AvgAggregationBuilder age = AggregationBuilders.avg("avg_age").field("age");
        // 关联连个聚合条件

        team.subAggregation(age);

        // 执行action  返回 SearchResponse
        SearchResponse searchResponse = builder.addAggregation(team).get();

        Aggregations aggregations = searchResponse.getAggregations();
        for (Aggregation aggregation : aggregations) {

            StringTerms  stringTerms= (StringTerms)aggregation;

            System.out.println("stringTerms1: "+ stringTerms.toString());

            List<StringTerms.Bucket> buckets = stringTerms.getBuckets();

            for (StringTerms.Bucket bucket : buckets) {


//                Aggregation maxAge = bucket.getAggregations().get("max_age");
//                Aggregation minAge = bucket.getAggregations().get("min_age");
                Aggregation avgAge = bucket.getAggregations().get("avg_age");

//                System.out.println("最大值为： "+maxAge.toString() );
//                System.out.println("最小值为： "+minAge.toString() );
                System.out.println("平均值为： "+avgAge.toString() );


            }


        }



        closeClient(client);
    }

    /**
     *
     * 计算每个球队球员的平均年龄，同时又要计算总年薪
     * sql语句实现
     select team, avg(age)as avg_age, sum(salary) as total_salary from player group by team;     **/
    @Test
    public void avgAndSum() throws IOException {


        TransportClient client = getClient();

        // 构建 查询提交
        SearchRequestBuilder builder = client.prepareSearch("player").setTypes("player");

        // 指定聚合条件
        TermsAggregationBuilder team = AggregationBuilders.terms("team_group").field("team")
                .order(BucketOrder.count(true)); // 根据绑定关系进行倒排

//        MaxAggregationBuilder age = AggregationBuilders.max("max_age").field("age");
//        MinAggregationBuilder age = AggregationBuilders.min("min_age").field("age");
        AvgAggregationBuilder age = AggregationBuilders.avg("avg_age").field("age");


        SumAggregationBuilder sumMoney = AggregationBuilders.sum("sum_money").field("salary");


        // 关联连个聚合条件

        team.subAggregation(age).subAggregation(sumMoney);


        // 执行action  返回 SearchResponse
        SearchResponse searchResponse = builder.addAggregation(team).get();

        Aggregations aggregations = searchResponse.getAggregations();
        for (Aggregation aggregation : aggregations) {

            StringTerms  stringTerms= (StringTerms)aggregation;

            System.out.println("stringTerms1: "+ stringTerms.toString());

//
        }



        closeClient(client);
    }
































    public void closeClient(TransportClient client ){
        client.close();
    }

























}

 

散_步
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES的java操作高级API（完整源码）
beishanyingluo的博客
06-04 2723
完整源码： 链接：https://pan.baidu.com/s/1ncipCxAZG0DR0YZBlyBmhQ 提取码：bgje 现有结构化数据内容如下： 初始化一批数据到es索引库当中去 /** * 批量添加数据 * @throws IOException * @throws ExecutionException * @throws InterruptedException */ @Test public void addIndexDa
ElasticSearch高级API
长沙老码农
01-29 1694
目录 1、ElasticSearch编程操作 1.1 依赖坐标 1.2 创建客户端 1.3 创建索引 1.4 查询索引 1.5 创建文档 1.6 修改文档 1.7 Bulk批量操作 1.8 根据ID查询文档 1.9 高级查询 2、Spring Data ElasticSearch 2.1 什么是Spring Data 2.2 什么是Spring Data ElasticSearch 2.3 Spring集成Spring Data ElasticSearch 3、聚合分析 .
ElasticSearch的java高级API操作教程
qq_44299928的博客
07-02 666
ElasticSearch的java高级API操作教程 概要 这套API是ES官方提供的，用于java操作ES。maven项目直接导入依赖。 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId>
Elasticsearch高级API-----获得客户端对象
n009ww的博客
06-29 1015
我用的环境是ES7.1.1、jdk1.8、gradle、springboot1.5.1 引入高级api的jar包 compile 'org.elasticsearch.client:elasticsearch-rest-high-level-client:7.1.1' compile group: 'org.elasticsearch.client', name: 'elast...
ElasticSearch中初级到高级的Api学习
weixin_46461502的博客
12-25 1098
ES 中 DSL语句复习 获取es中的所有索引库 GET _cat/indices //所有索引库 向es中添加文档或者类型字段 PUT /suc/ass/1 { "name":"颜淮川" } POST /suc/ass/1 { "name":"颜淮川" } es中的乐观锁 在执行了修改或者新增就会拥有seq_no的乐观锁 PUT /school/student/1?if_seq_no=4&if_primary_term=1 { "name":"张三",
基于Elasticsearch Java API的参考手册
04-29
Java API是Elasticsearch官方提供的与Elasticsearch服务器进行交互的主要工具，它使得开发者能够用Java语言便捷地进行索引、搜索、聚合等多种操作。 ### 一、Elasticsearch核心概念 1. **节点(Node)**: Elastic...
elasticsearch java api 离线文档
01-11
在 Java 应用程序中使用 Elasticsearch，开发者可以利用 Java API 来执行索引、搜索、聚合、更新和删除等操作。这些操作使得 Elasticsearch 成为大数据分析、日志处理和实时搜索等场景的理想选择。 **1. 索引操作**...
Elasticsearch java操作代码
最新发布
05-23
以上就是使用Java API操作Elasticsearch的基本步骤。在实际应用中，还可以利用Elasticsearch的聚合、脚本、实时分析等功能，以及处理批量操作、监控集群状态等高级用法。Elasticsearch的Java API提供了丰富的类和...
Elasticsearch5.x Java API手册
06-14
总之，Elasticsearch 5.x Java API 手册为开发者提供了详尽的操作指南，涵盖了从基础操作到高级特性的全面内容。通过深入理解和熟练应用这些 API，开发者可以高效地利用 Elasticsearch 实现各种数据处理任务。
elasticsearch离线JAVA API文档下载
05-17
它的Java API是开发人员与Elasticsearch进行交互的主要工具，提供了丰富的功能，使得在Java环境中操作Elasticsearch变得简单而高效。本文将深入探讨离线下载的Java API文档，并解析其中的关键知识点。 **1. Elastic...
es dsl java api_ElasticSearch 系列 - RestFulAPI(DSL)
weixin_39599830的博客
02-23 282
前言DSL全称 Domain Specific language，即特定领域专用语言1.全局操作1.1 查询集群健康情况GET /_cat/health?v ?v表示显示头信息集群的健康状态有红、黄、绿三个状态：绿 – 一切正常(集群功能齐全)黄 – 所有数据可用，但有些副本尚未分配(集群功能完全)红 – 有些数据不可用(集群部分功能)1.2 查询各个节点状态GET /_cat/...
ElasticSearch（三）：操作之Java的API操作实例
weixin_46300935的博客
07-03 412
目录 Java API操作 创建Maven项目 客户端对象 索引操作 创建索引 查看索引 删除索引 文档操作 新增文档 修改文档 查询文档 删除文档 批量操作 高级查询 请求体查询 高亮查询 聚合查询 Java API操作 Elasticsearch软件是由Java语言开发的，所以也可以通过Java API的方式对Elasticsearch服务进行访问 创建Maven项目 我们在IDEA开发工具中创建Maven项目(模块也可)ES 修改pom文...
ESAPI学习笔记
weixin_30487201的博客
12-22 1277
ESAPI是owasp提供的一套API级别的web应用解决方案，本人通过对ESAPI和其提供的demo源码学习发现，关键的不是对其所提供的API的使用，而是其web应用安全防御体系的构建的思想。比如，您不一定要使用ESAPI去实现日志系统，而是应该明白，一套好的日志系统应该是怎么样子的，应具备什么样的特性等。 此外，在引入使用时可能会遇到不少麻烦，所以读者应根据自身...
业务场景系列:更新Redis中设置过期时间Key的值
lumingzhu111的博客
04-25 1933
1.需求分析 在编写一个插入数据的接口，这个接口是对接前端的的，前端的功能大致就是用户浏览和留言，因为这个页面是无登录的，只要是使用者都可以提交这个数据，这个接口是公开的，为了避免有恶意的数据提交请求导致大量的脏数据保存，造成程序卡顿甚至宕机，对这个接口进行优化改造。 2.初级构思 在用户发送请求时，传过来的同时有HttpServletRequest，从这个里面可以获取用户的IP地址，利用Redis可以设置过期Key的方式，以ration加上用户IP为key，插入的value为可以提交数据的次数，然后设置过
ElasticSearch之JavaAPI更新索引和删除索引（3种）
fengge18306的博客
04-30 3367
1、更新索引 /*** 更新索引* 根据数据id来进行更新索引*/@Testpublic void updateIndex(){Person guansheng = new Person(5, "宋江", 88, 0, "水泊梁山", "17666666666", "wusong@kkb.com","及时雨宋江"); client.prepareUpdate().setI...
java 访问es数据库_ES数据库 常用 java api
weixin_42133415的博客
02-25 1152
一、获取类apiget API允许根据其id从索引中获取类型化的JSON文档。以下示例从名为twitter的索引中获取一个JSON文档，该索引名为tweet，id值为1：GetResponse response = client.prepareGet(“twitter”，“tweet”，“1”)。get();1、get API允许设置线程模型，当在同一节点上执行API的实际执行时将执行操作(API...
ES笔记
weixin_42015465的博客
03-17 1085
2.1.1版本 1Restful 1.1建索引 curl -XPUT http://172.16.114.170:8200/mr/ -d ‘{“settings”:{“index.number_of_shards”:3}}’ 1.2插入数据，指定路由 curl -XPUT ‘http://172.16.114.170:8200/index1/type1/2?routing=12’ -d ‘{“na...
Elasticsearch Java API(十一)--聚合(aggregations)
热门推荐
1.02^365=1377.41
02-21 1万+
Elasticsearch分析聚合介绍了分析聚合的REST命令，这篇博客介绍一下如何使用Java API。一、准备数据测试数据请参考我的上一篇博客:Elasticsearch分析聚合。二、需求查询title中包含关键字”程序”的文档，统计查询按编程语言分组，统计每组的文档数量。三、REST命令行REST命令行如下，有三部分，query查询所有title中包含关键词程序的文档，size指定返回结果中文
基于JAVA调用ES API实践索引、映射与文档的操作
HIT的专栏
04-28 4691
一、POM文件引用ES必要依赖 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>5.6.8</version> </dependency&...
Elasticsearch 1.4 Java API 教程
"Elasticsearch 1.4 Java API文档提供了关于如何使用Java与Elasticsearch 1.4版本进行交互的详细指南。这个API涵盖了从基础操作到高级特性的全面内容，包括 Maven 仓库信息、客户端使用、索引、获取、删除、批量操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值