2018年04月_稻草一根

11月 10月 08月 07月 06月 05月 04月 03月 01月

转载 Spark Streaming详解----概述、基本概念、性能调优

本文章主要讲述SparkStreaming概念原理、基本概念、以及调优等一些知识点。1 概述1.1 SparkStreaming是什么Spark Streaming 是个批处理的流式（实时）计算框架。其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。　支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、...

2018-04-26 09:33:57 8317

原创 ElasticSearch6.X版本Java Api中文详解（八）之Reindex API解析

BulkByScrollResponse response = ReindexAction.INSTANCE.newRequestBuilder(client) .destination("target_index") .filter(QueryBuilders.matchQuery("category", "xzy")) .get();可选地，可以提供一个查询来筛选从源到目...

2018-04-25 14:55:08 1140

原创 ElasticSearch6.X版本Java Api中文详解（七）之Update By Query API解析

updateByQuery最简单的用法是更新索引中的每个文档，而无需更改源。这种用法允许拾取新属性或另一个在线映射更改。UpdateByQueryRequestBuilder updateByQuery = UpdateByQueryAction.INSTANCE.newRequestBuilder(client);updateByQuery.source("source_index")....

2018-04-25 14:53:05 16233 4

原创 ElasticSearch6.X版本Java Api中文详解（六）之Using Bulk Processor解析

Using Bulk Processor提供了一个简单的接口，可以根据请求的数量或大小，或者在给定的时间段后自动刷新批量操作。要使用它，首先要创建一个散货处理器实例：import org.elasticsearch.action.bulk.BackoffPolicy;import org.elasticsearch.action.bulk.BulkProcessor;import org.el...

2018-04-25 14:42:21 4686

原创 ElasticSearch6.X版本Java Api中文详解（五）之Multi Get API、Bulk API解析

1.Multi Get APImulti get API允许根据它们的索引、类型和id获取文档列表：MultiGetResponse multiGetItemResponses = client.prepareMultiGet() .add("twitter", "tweet", "1") .add("twitter", "tweet", "2", &

2018-04-25 14:36:43 787

原创 ElasticSearch6.X版本Java Api中文详解（四）之Update API解析

你可以创建一个UpdateRequest并将它发送给客户端：UpdateRequest updateRequest = new UpdateRequest();updateRequest.index("index");updateRequest.type("type");updateRequest.id("1");updateRequest.doc(jsonBuilder() ...

2018-04-25 14:33:44 1837

原创 ElasticSearch6.X版本Java Api中文详解（三）之Get Api、Delete API 、Delete By Query API解析

Get DeleteDelete By QueryGet Apiget API允许根据它的id从索引中获得一个类型化的JSON文档，下面的例子从一个名为twitter的索引中获得一个JSON文档，在一个名为tweet的类型下，id值为1：GetResponse response = client.prepareGet("twitter", "tweet", "1").get();Delete Ap...

2018-04-25 14:26:48 3304 1

原创 ElasticSearch6.X版本Java Api中文详解（二）之Index Api解析

Inde API允许将类型化JSON文档索引到特定索引中，并使其可搜索。生成JSON文档有几种不同的方法:1.手动(也就是自己使用)使用本机字节[]或作为字符串。2.使用将自动转换为其JSON等效的映射。3.使用第三方库序列化您的bean，如Jackson。4.使用内置的助手XContentFactory.jsonBuilder()在内部，每个类型转换为byte[](...

2018-04-23 09:43:50 5831 1

原创 ElasticSearch6.X版本Java Api中文详解（一）之TransportClient客户端连接方式

TransportClient使用传输模块远程连接到一个弹性搜索集群。它不加入集群，但只获得一个或多个初始传输ip地址，并在每个动作上与它们进行轮询(尽管大多数操作可能是"two hop" 操作)。// on startupTransportClient client = new PreBuiltTransportClient(Settings.EMPTY) .addTran...

2018-04-20 14:33:42 11482 1

转载提高ElasticSearch 索引速度几个方向

我Google了下，大致给出的答案如下：使用bulk API初次索引的时候，把 replica 设置为 0增大 threadpool.index.queue_size增大 indices.memory.index_buffer_size增大 index.translog.flush_threshold_ops增大 index.translog.sync_interval增大 index.engin...

2018-04-19 09:53:58 2565

原创编写hbase协处理器observer遇到的问题

一、第一个异常信息，配置文件错误java.io.IOException: Aborting flush because server is aborted... at org.apache.hadoop.hbase.regionserver.HRegion.internalPrepareFlushCache(HRegion.java:2269) at org.apach...

2018-04-13 18:47:15 1144