java使用es查询

 

 众所周知,elasticsearch简称es,它是基于基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

                   我们建立一个网站或应用程序,并要添加搜索功能,但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快,我们希望能有一个零配置和一个完全免费的搜索模式,我们希望能够简单地使用JSON通过HTTP来索引数据,我们希望我们的搜索服务器始终可用,我们希望能够从一台开始并扩展到数百台,我们要实时搜索,我们要简单的多租户,我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题以及可能出现的更多其它问题。

                     在java中使用es时,无非想解决的是查询速度不够快,效率不够高问题,单一从数据库里查询数据已经不能拿满足当前的业务需求,ok!那么现在我们来讲述一下如何在java中使用到es这个神奇的搜索服务器呢,首先,你得要去引用es的依赖包,依赖如下:

                     <dependency>

<groupId>org.elasticsearch.client</groupId>

<artifactId>transport</artifactId>

<version>5.5.0</version>

     </dependency>

<groupId>org.elasticsearch.client</groupId>

<artifactId>transport</artifactId>

<version>5.5.0</version>

     </dependency>

                  <dependency>

<groupId>org.elasticsearch</groupId>

<artifactId>elasticsearch</artifactId>

<version>5.5.0</version>

 </dependency>

        好的,添加完依赖之后,进入到es使用阶段,对了,有个问题得需要说明一下,要使用es的话需要安装jdk1.8工具包并且tomcat最好是7.05以上的版本,不然es会不支持,集成到项目里面可能会报错!,还有es的安装和下载,这里附下载地址下载地址:https://www.elastic.co/downloads/elasticsearch

安装步骤可以参考:https://www.cnblogs.com/tielemao/p/5841145.html

一切准备就绪后接下来进入到我们真正期待的时刻,什么呢,没错,集成es,究竟如何在java里面搜索查询es服务器里面的东西呢,让我一一来为你揭晓:

首先我们建议一个es的工具类

package com.osa.utils;

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.io.PrintWriter;

import java.net.URL;

import java.net.URLConnection;

import java.net.URLEncoder;

import java.util.Iterator;

import java.util.List;

import java.util.Map;

import java.util.Set;

import org.apache.http.client.ClientProtocolException;

import com.alibaba.fastjson.JSONArray;

import com.alibaba.fastjson.JSONException;

import com.alibaba.fastjson.JSONObject;

 

 

public class HTTPSentUtils {

/**

     * 向指定URL发送GET方法的请求

     * 

     * @param url

     *            发送请求的URL

     * @param param

     *            请求参数,请求参数应该是 name1=value1&name2=value2 的形式。

     * @return URL 所代表远程资源的响应结果

     */

    public static String sendGet(String url, String param) {

        String result = "";

        BufferedReader in = null;

        try {

            String urlNameString = url + "?" + param;

            URL realUrl = new URL(urlNameString);

            // 打开和URL之间的连接

            URLConnection connection = realUrl.openConnection();

            // 设置通用的请求属性

            connection.setRequestProperty("accept", "*/*");

            connection.setRequestProperty("connection", "Keep-Alive");

            connection.setRequestProperty("user-agent",

                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");

            // 建立实际的连接

            connection.connect();

            // 获取所有响应头字段

            Map<String, List<String>> map = connection.getHeaderFields();

            // 遍历所有的响应头字段

            for (String key : map.keySet()) {

                System.out.println(key + "--->" + map.get(key));

            }

            // 定义 BufferedReader输入流来读取URL的响应

            in = new BufferedReader(new InputStreamReader(

                    connection.getInputStream()));

            String line;

            while ((line = in.readLine()) != null) {

                result += line;

            }

        } catch (Exception e) {

            System.out.println("发送GET请求出现异常!" + e);

            e.printStackTrace();

        }

        // 使用finally块来关闭输入流

        finally {

            try {

                if (in != null) {

                    in.close();

                }

            } catch (Exception e2) {

                e2.printStackTrace();

            }

        }

        return result;

    }

    /**

     * 向指定 URL 发送POST方法的请求

     * 

     * @param url

     *            发送请求的 URL

     * @param param

     *            请求参数,请求参数应该是 name1=value1&name2=value2 的形式。

     * @return 所代表远程资源的响应结果

     */

    public static String sendPost(String url, String param) {

        PrintWriter out = null;

        BufferedReader in = null;

        String result = "";

        try {

            URL realUrl = new URL(url);

            // 打开和URL之间的连接

            URLConnection conn = realUrl.openConnection();

            // 设置通用的请求属性

            conn.setRequestProperty("accept", "*/*");

            conn.setRequestProperty("connection", "Keep-Alive");

            conn.setRequestProperty("user-agent",

                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");

            // 发送POST请求必须设置如下两行

            conn.setDoOutput(true);

            conn.setDoInput(true);

            // 获取URLConnection对象对应的输出流

            out = new PrintWriter(conn.getOutputStream());

            // 发送请求参数

            out.print(param);

            // flush输出流的缓冲

            out.flush();

            // 定义BufferedReader输入流来读取URL的响应

            in = new BufferedReader(

                    new InputStreamReader(conn.getInputStream()));

            String line;

            while ((line = in.readLine()) != null) {

                result += line;

            }

        } catch (Exception e) {

            System.out.println("发送 POST 请求出现异常!"+e);

            e.printStackTrace();

        }

        //使用finally块来关闭输出流、输入流

        finally{

            try{

                if(out!=null){

                    out.close();

                }

                if(in!=null){

                    in.close();

                }

            }

            catch(IOException ex){

                ex.printStackTrace();

            }

        }

        return result;

    } 

}

工具类有了之后,可以看到里面有两个发送请求的方法,一个是sendGet和sendPost方法,两个方法可以基于自己的选择选用,当然这只是个发送请求的方法,如何调用?在这里的话,我们既然是从es里面查询,就没有必要使用mybatis或者hibernate框架了,可以在数据层中,自己定义sql,然后将sql将拼好的sql通过前面的工具类调用sendGet/sendPost方法,如下:

String sql=URLEncoder.encode(" select * from table");encode方法主要是去除sql里面的一些空格

String result=HTTPSentUtils.sendGet("http://221.124.71.8:9200/_sql", "sql="+sql);ip加端口自己可以在安装的时候配置

OK!一般到这个时候的发送可以成功的话,就能取到es里面的数据,因为es里面返回的都是json数据,所以我们

格式化一下json字符串

net.sf.json.JSONObject jsonObject =net.sf.json.JSONObject.fromObject(result ); 

//取出hits标签

        net.sf.json.JSONObject hitsjsonObject = jsonObject.getJSONObject("hits");

数据拿到之后,结下来就是业务操作了。到这里也差不多结束了。

以上是查询的一些操作,那么如果我们需要将数据批量插入到es里面该如何操作?举个例子吧

  1. package com.sojson.core.elasticsearch.manager;
  1. import java.util.ArrayList;
  1. import java.util.HashMap;
  1. import java.util.List;
  1. import java.util.Map;
  1. import net.sf.json.JSONObject;
  1. import org.elasticsearch.action.bulk.BulkRequestBuilder;
  1. import org.elasticsearch.action.bulk.BulkResponse;
  1. import org.elasticsearch.action.index.IndexRequestBuilder;
  1. import com.sojson.common.utils.StringUtils;
  1. import com.sojson.core.elasticsearch.utils.ESTools;
  1. publicclassInsertManager{
  1. /**
  1. * 添加数据到Elasticsearch
  1. *@param index 索引
  1. *@param type 类型
  1. *@param idName Id字段名称
  1. *@param json 存储的JSON,可以接受Map
  1. *@return
  1. */
  1. publicstaticMapsave(String index,String type,String idName,JSONObject json){
  1. List list =newArrayList();
  1. list.add(json);
  1. return save(index, type, idName, list);
  1. }
  1.  
  1. 通过传来的参数进行处理调用save方法执行插入es操作
  1. /**
  1. * 添加数据到Elasticsearch
  1. *@param index 索引
  1. *@param type 类型
  1. *@param idName Id字段名称
  1. *@param listData 一个对象集合
  1. *@return
  1. */
  1. @SuppressWarnings("unchecked")
  1. publicstaticMapsave(String index,String type,String idName,List listData){
  1. BulkRequestBuilder bulkRequest =ESTools.client.prepareBulk().setRefresh(true);
  1. Map resultMap =newHashMap();
  1.  
  1.  
  1. for(Object object: listData){
  1. JSONObject json =JSONObject.fromObject(object);
  1. //没有指定idName 那就让Elasticsearch自动生成,
  1. if(StringUtils.isBlank(idName)){
  1. IndexRequestBuilder lrb =ElasticsearchUtils.client
  1.                                                             .prepareIndex(index, type)
  1.                                                                 .setSource(json);
  1. bulkRequest.add(lrb);
  1. //ElasticsearchUtils是工具类,里面配置的是一些es配置信息
  1. }
  1. else{
  1. String idValue = json.optString(idName);
  1. IndexRequestBuilder lrb =ESTools.client
  1.                                                                 .prepareIndex(index, type,idValue)
  1.                                                                 .setSource(json);
  1. bulkRequest.add(lrb);
  1. }
  1.  
  1. }
  1. BulkResponse bulkResponse = bulkRequest.execute().actionGet();
  1. if(bulkResponse.hasFailures()){
  1. // process failures by iterating through each bulk response item
  1. System.out.println(bulkResponse.getItems().toString());
  1. resultMap.put("500","保存ES失败!");
  1. return resultMap;
  1. }
  1. bulkRequest=ESTools.client.prepareBulk();
  1. resultMap.put("200","保存ES成功!");
  1. return resultMap;
  1. }
  1. }

 

 

  1. ElasticsearchUtils工具类
  1. public class ElasticsearchUtils {
  1.  
  1. private static final String CLUSTER_NAME = "cluster.name";
  1. private static final String ES_IP="es.ip";
  1. private static final String ES_PORT="es.port";
  1.  
  1. private static Settings settings;
  1. private static TransportClient client;
  1.  
  1. public static TransportClient getESClient() throws UnknownHostException{
  1. settings = Settings.builder().put(CLUSTER_NAME,ConfigUtils.getConfig(CLUSTER_NAME)).build();
  1. if(client != null){
  1. client = new PreBuiltTransportClient(settings).addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(ConfigUtils.getConfig(ES_IP)), Integer.parseInt(ConfigUtils.getConfig(ES_PORT))));
  1. }
  1. return client;
  1. }

 

以上是插入es操作,好了,今天的总结就到这里吧,希望可以给大家带来一些小小的帮助,谢谢!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值