使用Java API访问集群

最新推荐文章于 2023-06-15 15:26:30 发布
最新推荐文章于 2023-06-15 15:26:30 发布
阅读量275 收藏
点赞数
分类专栏： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhumengguang/article/details/112726703
版权 
<dependencies>
    <dependency>
        <groupId>org.elasticsearch.client</groupId>
        <artifactId>transport</artifactId>
        <version>6.7.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.9.1</version>
    </dependency>


    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>org.testng</groupId>
        <artifactId>testng</artifactId>
        <version>6.14.3</version>
        <scope>test</scope>
    </dependency>

    <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.47</version>
    </dependency>
</dependencies>
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
    </plugins>
</build>

代码示例：增删改查

package elasticsearch;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import org.elasticsearch.action.admin.indices.mapping.put.PutMappingRequest;
import org.elasticsearch.action.bulk.BulkRequestBuilder;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequestBuilder;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.Requests;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.TransportAddress;
import org.elasticsearch.common.xcontent.XContentBuilder;
import org.elasticsearch.common.xcontent.XContentFactory;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.rest.RestStatus;
import org.elasticsearch.transport.client.PreBuiltTransportClient;
import org.junit.Test;

import java.io.IOException;
import java.net.InetAddress;
import java.net.UnknownHostException;
import java.util.HashMap;

import static org.elasticsearch.common.xcontent.XContentFactory.jsonBuilder;


public class ElasticsearchDemo {




    public TransportClient getClient() throws UnknownHostException {

        Settings settings = Settings.builder().put("cluster.name", "myes").build();


        TransportAddress transportAddress1 = new TransportAddress(InetAddress.getByName("192.168.154.100"), 9300);
        TransportAddress transportAddress2 = new TransportAddress(InetAddress.getByName("192.168.154.110"), 9300);
        TransportAddress transportAddress3 = new TransportAddress(InetAddress.getByName("192.168.154.120"), 9300);

        TransportClient    client = new PreBuiltTransportClient(settings)
                .addTransportAddress(transportAddress1)
                .addTransportAddress(transportAddress2)
                .addTransportAddress(transportAddress3);
        System.out.println(client.toString());

        return client;
    }


    @Test
    public void createIndex() throws UnknownHostException {
        TransportClient client = getClient();
        String json = "{" +
                "\"user\":\"kimchy\"," +
                "\"postDate\":\"2013-01-30\"," +
                "\"message\":\"travelying out Elasticsearch\"" +
                "}";


        IndexRequestBuilder indexRequestBuilder = client.prepareIndex("myindex1", "article", "1").setSource(json, XContentType.JSON);

        // 调用触发真正的请求
        indexRequestBuilder.get();

        closeClient(client);
    }


    @Test
    public void createMapIndex() throws UnknownHostException {
        TransportClient client = getClient();
        HashMap<String, String> map = new HashMap<>();
        map.put("name", "小哥");
        map.put("age", "12");
        map.put("sex", "男");
        map.put("address", "小区");
        IndexRequestBuilder indexRequestBuilder = client.prepareIndex("myindex1", "article", "2").setSource(map);

        // 调用触发真正的请求
        indexRequestBuilder.get();

        closeClient(client);
    }

    @Test
    public void create3Index() throws IOException {
        TransportClient client = getClient();
        HashMap<String, String> map = new HashMap<>();

        map.put("name", "小王");
        map.put("age", "12");
        map.put("sex", "男");
        map.put("address", "胜古");
        IndexRequestBuilder indexRequestBuilder = client
                .prepareIndex("myindex1", "article", "3")
                .setSource(
                        new XContentFactory().jsonBuilder().startObject()
                                .field("name","李四")
                .field("age","55")
                .field(" address","河南省").endObject());

        // 调用触发真正的请求
        IndexResponse indexResponse = indexRequestBuilder.get();

        closeClient(client);
    }

    @Test
    public void create4Index() throws IOException {
        TransportClient client = getClient();
        Person person = new Person();
        person.setAge(12);
        person.setAddress("河北");
        person.setId(1);
        person.setName("小王");
        person.setPhone("17890908989");
        person.setSay("hello");
        person.setSex(1);

        String jsonString = JSON.toJSONString(person);


        IndexRequestBuilder indexRequestBuilder = client
                .prepareIndex("myindex1", "article", "4")
                .setSource(
                        jsonString,XContentType.JSON);

        // 调用触发真正的请求
        IndexResponse indexResponse = indexRequestBuilder.get();
        RestStatus status = indexResponse.status();
        System.out.println("status:"+ status);

        closeClient(client);
    }

    @Test
    public void addBatch() throws IOException {
        TransportClient client = getClient();

        BulkRequestBuilder bulkRequestBuilder = client.prepareBulk();

        Person person1 = new Person();
        person1.setAge(12);
        person1.setAddress("河北");
        person1.setId(1);
        person1.setName("吴邪");
        person1.setPhone("17890908989");
        person1.setSay("hello");
        person1.setSex(1);
        Person person2 = new Person();
        person2.setAge(12);
        person2.setAddress("河北");
        person2.setId(1);
        person2.setName("胖子");
        person2.setPhone("17890908989");
        person2.setSay("hello");
        person2.setSex(1);
        Person person3 = new Person();
        person3.setAge(12);
        person3.setAddress("河北");
        person3.setId(1);
        person3.setName("小哥");
        person3.setPhone("17890908989");
        person3.setSay("hello");
        person3.setSex(1);

        String jsonString1 = JSON.toJSONString(person1);
        String jsonString2 = JSON.toJSONString(person2);
        String jsonString3 = JSON.toJSONString(person3);




        IndexRequestBuilder indexRequestBuilder1 = client
                .prepareIndex("myindex1", "article", "5")
                .setSource(
                        jsonString1,XContentType.JSON);
        IndexRequestBuilder indexRequestBuilder2 = client
                .prepareIndex("myindex1", "article", "6")
                .setSource(
                        jsonString2,XContentType.JSON);
        IndexRequestBuilder indexRequestBuilder3 = client
                .prepareIndex("myindex1", "article", "7")
                .setSource(
                        jsonString3,XContentType.JSON);


        BulkRequestBuilder builder = bulkRequestBuilder.add(indexRequestBuilder1)
                .add(indexRequestBuilder2)
                .add(indexRequestBuilder3);


        BulkResponse bulkItemResponses = builder.get();

        closeClient(client);
    }


    @Test
    public void updateIndex() throws IOException {
        TransportClient client = getClient();
        HashMap<String, String> map = new HashMap<>();
        map.put("phone", "15688888888");

         client.prepareUpdate("myindex1", "article", "5").setDoc(map).get();

        closeClient(client);
    }


    /**
     *
     * 删除索引
     **/
    @Test
    public void deleteIndex() throws IOException {
        TransportClient client = getClient();

        client.prepareDelete("myindex1", "article", "1").get();

        closeClient(client);
    }


    /**
     *
     * 删除索引库
     **/
    @Test
    public void deleteIndexDB() throws IOException {
        TransportClient client = getClient();

        client.admin().indices().prepareDelete("myindex1").execute().actionGet();

        closeClient(client);
    }





    /**
     * 初始化一批数据到索引库当中去准备做查询使用
     * 注意这里初始化的时候，需要给我们的数据设置分词属性
     * @throws Exception
     */
    @Test
    public void createIndexBatch() throws Exception {
//        Settings settings = Settings
//                .builder()
//                .put("cluster.name", "myes") //节点名称， 在es配置的时候设置
//                //自动发现我们其他的es的服务器
//                .put("client.transport.sniff", "true")
//                .build();
//        //创建客户端
//        TransportClient client = new PreBuiltTransportClient(settings)
//                .addTransportAddress(new TransportAddress(InetAddress.getByName("node01"), 9300));//以本机作为节点
        TransportClient client = getClient();

        //创建映射
        XContentBuilder mapping = jsonBuilder()
                .startObject()
                .startObject("properties")
                //      .startObject("m_id").field("type","keyword").endObject()
                .startObject("id").field("type", "integer").endObject()
                .startObject("name").field("type", "text").field("analyzer", "ik_max_word").endObject()
                .startObject("age").field("type", "integer").endObject()
                .startObject("sex").field("type", "text").field("analyzer", "ik_max_word").endObject()
                .startObject("address").field("type", "text").field("analyzer", "ik_max_word").endObject()
                .startObject("phone").field("type", "text").endObject()
                .startObject("email").field("type", "text").endObject()
                .startObject("say").field("type", "text").field("analyzer", "ik_max_word").endObject()
                .endObject()
                .endObject();
        //pois：索引名   cxyword：类型名（可以自己定义）
        PutMappingRequest putmap = Requests.putMappingRequest("indexsearch").type("mysearch").source(mapping);
        //创建索引
        client.admin().indices().prepareCreate("indexsearch").execute().actionGet();
        //为索引添加映射
        client.admin().indices().putMapping(putmap).actionGet();


        BulkRequestBuilder bulkRequestBuilder = client.prepareBulk();
        Person lujunyi = new Person(2, "玉麒麟卢俊义", 28, 1, "水泊梁山", "17666666666", "lujunyi@itcast.com","hello world今天天气还不错");
        Person wuyong = new Person(3, "智多星吴用", 45, 1, "水泊梁山", "17666666666", "wuyong@itcast.com","行走四方，抱打不平");
        Person gongsunsheng = new Person(4, "入云龙公孙胜", 30, 1, "水泊梁山", "17666666666", "gongsunsheng@itcast.com","走一个");
        Person guansheng = new Person(5, "大刀关胜", 42, 1, "水泊梁山", "17666666666", "wusong@itcast.com","我的大刀已经饥渴难耐");
        Person linchong = new Person(6, "豹子头林冲", 18, 1, "水泊梁山", "17666666666", "linchong@itcast.com","梁山好汉");
        Person qinming = new Person(7, "霹雳火秦明", 28, 1, "水泊梁山", "17666666666", "qinming@itcast.com","不太了解");
        Person huyanzhuo = new Person(8, "双鞭呼延灼", 25, 1, "水泊梁山", "17666666666", "huyanzhuo@itcast.com","不是很熟悉");
        Person huarong = new Person(9, "小李广花荣", 50, 1, "水泊梁山", "17666666666", "huarong@itcast.com","打酱油的");
        Person chaijin = new Person(10, "小旋风柴进", 32, 1, "水泊梁山", "17666666666", "chaijin@itcast.com","吓唬人的");
        Person zhisheng = new Person(13, "花和尚鲁智深", 15, 1, "水泊梁山", "17666666666", "luzhisheng@itcast.com","倒拔杨垂柳");
        Person wusong = new Person(14, "行者武松", 28, 1, "水泊梁山", "17666666666", "wusong@itcast.com","二营长。。。。。。");

        bulkRequestBuilder.add(client.prepareIndex("indexsearch", "mysearch", "1")
                .setSource(JSONObject.toJSONString(lujunyi), XContentType.JSON)
        );
        bulkRequestBuilder.add(client.prepareIndex("indexsearch", "mysearch", "2")
                .setSource(JSONObject.toJSONString(wuyong), XContentType.JSON)
        );
        bulkRequestBuilder.add(client.prepareIndex("indexsearch", "mysearch", "3")
                .setSource(JSONObject.toJSONString(gongsunsheng), XContentType.JSON)
        );
        bulkRequestBuilder.add(client.prepareIndex("indexsearch", "mysearch", "4")
                .setSource(JSONObject.toJSONString(guansheng), XContentType.JSON)
        );
        bulkRequestBuilder.add(client.prepareIndex("indexsearch", "mysearch", "5")
                .setSource(JSONObject.toJSONString(linchong), XContentType.JSON)
        );
        bulkRequestBuilder.add(client.prepareIndex("indexsearch", "mysearch", "6")
                .setSource(JSONObject.toJSONString(qinming), XContentType.JSON)
        );
        bulkRequestBuilder.add(client.prepareIndex("indexsearch", "mysearch", "7")
                .setSource(JSONObject.toJSONString(huyanzhuo), XContentType.JSON)
        );
        bulkRequestBuilder.add(client.prepareIndex("indexsearch", "mysearch", "8")
                .setSource(JSONObject.toJSONString(huarong), XContentType.JSON)
        );
        bulkRequestBuilder.add(client.prepareIndex("indexsearch", "mysearch", "9")
                .setSource(JSONObject.toJSONString(chaijin), XContentType.JSON)
        );
        bulkRequestBuilder.add(client.prepareIndex("indexsearch", "mysearch", "10")
                .setSource(JSONObject.toJSONString(zhisheng), XContentType.JSON)
        );
        bulkRequestBuilder.add(client.prepareIndex("indexsearch", "mysearch", "11")
                .setSource(JSONObject.toJSONString(wusong), XContentType.JSON)
        );

        bulkRequestBuilder.get();
        closeClient(client);

    }













    public void closeClient(TransportClient client ){
        client.close();
    }


}

 

散_步
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java http连接es,ES Java API连接集群方式汇总
weixin_34199161的博客
03-19 1087
介绍主要分为安全模式和非安全模式两个方式进行介绍。非安全模式非安全模式包括ES 6.2.3版本和6.5.4版本未开启安全模式时的集群。主要分为两个方式连接：TransportClient和RestHighLevelClient。在此，强烈推荐6.2.3版本使用TransportClient方式，6.5.4版本使用RestHighLevelClient方式。因为，6.2.3版本中RestHighLe...
在集群中java 通过调用API操作HBase 0.98
05-13
在集群中java通过调用API操作HBase0.98 本文的内容是在集群中创建java项目调用api来操作hbase，主要涉及对hbase的创建表格，删除表格，
Java开发 - 带你了解集群间的相互调用，你还在等什么？
CodingFire的博客
06-15 1125
到此，这篇关于集群间相互调用的博客就写好了，唯一觉得有些遗憾的是关于Dubbo的详细使用没有给大家讲清楚，后续单独出一篇来进行讲解，请大家稍微期待一下，其实很多人开发中未必用到异地容灾的场景，这篇博客算是给大家一个入门的门票，算不上特别精，但一定对你会有些帮助。未来，会分享更多的集群相关的博客，让我们一起学习，早日成为架构师。
Java集群实战：单体架构升级到集群架构（一）使用NGINX建立集群
dengxiaodai的专栏
03-22 1791
对于大厂的IT技术人员来说，微服务架构是天天都在使用，滚瓜烂熟了。而对小厂的菜鸟程序员来说，我们天天做的都是CRUD，对我们来说集群、分布式、微服务也只是头脑中一个模糊的概念。我们写的大多是单体架构的系统，运行在一台服务器上，如果用户量增加了，服务器撑不住了，我们就加配置吧，反正阿里云腾讯云现在加配置也很容易。但是如果有一天（希望所有菜鸟都有这么一天），我们的用户数增加太快太多，使用最高配置的服务器还是撑不住，对我们来说这算不算是幸福的烦恼？――幸福的是老板，烦恼的却是我们。
Elasticsearch - Java API（与集群交互）
上善若水，水善利万物而不争。
11-03 4383
1. Java API1.1. 与集群交互可以通过两种方式来连接到elasticsearch（简称es）集群，第一种是通过在你的程序中创建一个嵌入es节点（Node），使之成为es集群的一部分，然后通过这个节点来与es集群通信。第二种方式是用TransportClient这个接口和es集群通信。1.1.1. Node方式创建嵌入节点的方式如下：    import static org.elast
hbase访问方式之java api
08-29
在本文中，我们将深入探讨HBase的访问方式，特别是通过Java API进行操作的方法。HBase是一个分布式、高性能、列式存储的NoSQL数据库，常用于大数据处理场景。其提供了多种访问接口，以适应不同的需求和开发环境。 ...
使用Java API操作HDFS分布式文件系统
最新发布
04-11
本文将深入探讨如何使用Java API来操作HDFS。 1. **HDFS基本概念** - **NameNode**：HDFS的主节点，负责管理文件系统的命名空间和元数据，如文件名、文件块信息等。 - **DataNode**：存储实际数据的从节点，执行...
HDFS的Java API的访问方式实例代码
08-28
HDFS的Java API访问方式实例代码 HDFS（Hadoop Distributed File System）是Hadoop生态系统中的分布式文件系统，用于存储和管理大规模数据。Java API是HDFS提供的一种编程接口，允许开发者使用Java语言访问和操作...
java结合HADOOP集群文件上传下载
09-03
在Java中结合Hadoop集群进行文件上传和...综上所述，Java结合Hadoop集群进行文件上传和下载涉及环境配置、Java编程、Hadoop API的使用以及错误处理等多个方面。正确配置和理解这些知识点对于成功实现文件操作至关重要。
Java访问Hadoop集群源码
03-08
在Java编程环境中，访问Hadoop集群是一项常见的任务，特别是在大数据处理和分析的场景下。Hadoop是一个开源框架，主要用于存储和处理大规模数据集。本文将深入探讨如何利用Java API来与Hadoop集群进行交互，包括读取...
jedis共享接口+单机版集群版功能实现扩展
11-19
jedis的接口，以及jedis集群版和单机版的实现类，用于在jedis集群安和单机版之间通过配置文件进行切换
akkacluster:实现Akka集群的示例Java应用
05-02
Akkacluster 演示Akka集群分片的Java应用程序 安装 编译并生成压缩包 mvn clean install 将压缩文件解压缩到合适的目录中 mkdir -p ~/backend; cd ~/backend; tar xzvf $PATH_TO_REPO/akkacluster/backend/target/backend/target/akkacluster-$APP_VERSION.tar.gz mkdir -p ~/backend; cd ~/backend; tar xzvf $PATH_TO_REPO/akkacluster/backend/target/backend/target/akkacluster-$APP_VERSION.tar.gz mkdir -p ~/frontend; cd ~/frontend; tar xzvf $PATH_TO_REPO
ElasticSearch 使用Java Api访问集群
Running_Tiger的博客
03-18 1126
ElasticSearch 使用Java Api访问集群 1、创建maven工程导入pom依赖 &lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;org.elasticsearch.client&lt;/groupId&gt; &lt;artifactId&gt;...
ElasticSearch（13）JavaAPI操作es集群
учёба
12-31 632
集群概念 集群和分布式概念： 集群:多个人做一样的事。 分布式:多个人做不一样的事。 集群解决的问题: 让系统高可用 分担请求压力 分布式解决的问题: 分担存储和计算的压力，提速 解耦 ES集群特点 ElasticSearch天然支持分布式 ElasticSearch的设计隐藏了分布式本身的复杂性 我们不需要去关注es内部的设计 ElasticSearch集群分布式架构相关概念 集群(cluster) :一组拥有共同的cluster name的节点。 节点(node)∶集群中的一个Elas
【es】通过API操作es集群
michaelwoshi的博客
08-25 727
ES是海量数据查询的搜索引擎，广泛用于全文检索、日志分析、监控分析等场景。 ES有三个特点轻松支持各种复杂的查询条件： 1.分布式实时文件存储，采用倒排索引及自定义打分、排序能力与丰富的分词插件等，实现复杂查询条件的全文检索需求。 2.可扩展性强：天然支持分布式存储，可简单实现上千台服务器的分布式横向火绒。 3.高可用，容灾性能好：通过主备节点及故障自动检测与恢复，实现高可用。 一、关于ES和MySQL的概念对比 ES7.x之前版本和MySQL的结构对比 MySQL 中的数据库
在集群中Java 通过调用API操作HBase
hebeind100的博客
05-21 147
本文的内容是在集群中创建java项目调用api来操作hbase，主要涉及对hbase的创建表格，删除表格，插入数据，删除数据，查询一条数据，查询所有数据等操作。具体流程如下：1.创建项目2.获取jar包到项目的lib目录下（这边试用的事hbase 0.98 lib目录下的所有jar包）3.编写java程序4.编写ant脚本     package com.wan.hbase; ...
集群 API (Cluster API) 进阶
woliuqiangdong的博客
01-30 1156
　　随着 Kubernetes 逐步成为容器 orchestrator 领域的事实标准，在 Kubernetes 生态领域周边有例如 Cluster API、Cloud Provider 等很多项目。本文介绍了 Cluster API 这个项目在 OpenStack 上的实现；同时，本文也介绍了 CoreOS 这个容器化操作系统如何在 Cluster API 上使用。 　　 　　Cluster API 是一个 Kubernetes 之上的可选项目，它使用 Kuberentes 原生方式来创建、配置和
认识一下 Kubernetes 多集群服务 API
hanfengzxh的博客
12-09 544
由于各种原因，采用 Kubernetes 的企业内部存在着几个、几十甚至上百个集群。比如处于研发流程上的考虑，不同环境下都存在独立的集群；监管层面的考虑，就地存储的用户数据需要搭配应用集群；单个集群的容量限制，无法满足业务体量；可用性要求的多云、多地、多中心；Kubernetes 原地升级成本大进而考虑新建集群；等等各种原因。 这些集群彼此之间看似独立，但又有着千丝万缕的联系。比如高可用的多集群，实现了集群级的灾备，但集群中的服务如何实现跨集群的故障迁移？ 我们先看下集群内的应用如何对集群外提供服务。由
如何使用api调用kettle集群
05-27
2. 使用API调用Kettle集群。Kettle的REST API使用HTTP协议，可以使用任何支持HTTP协议的语言来调用，比如Java、Python、C#等。以下是一个Java代码样例，演示如何通过API启动一个转换（Transformation）： ```java ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值