赵英超的博客

相互学习,共同进步

ElasticSearch 优化实战

二. 查询性能(Query Perofrmance) 王道是什么?routing,routing,还是 routing。 我们为了提高查询速度,减少慢查询,结合自己的业务实践,使用多个集群,每个集群使用不同的 routing。比如,用户是一个rout...

2017-10-28 15:17:50

阅读数 533

评论数 0

ElasticSearch 优化总结

ElasticSearch 优化总结 目录 ElasticSearch 优化总结目录 OS OS 参数说明OS 参数配置 ES Linux Release: CentOS release 6.4  ES Vers...

2017-10-28 15:08:56

阅读数 264

评论数 0

elasticsearch调优技巧

elasticsearch 性能调优 所有的修改都可以在elasticsearch.yml里面修改,也可以通过api来修改。推荐用api比较灵活 1.不同分片之间的数据同步是一个很大的花费,默认是1s同步,如果我们不要求实时性,我们可以执行如下: $ curl -XPUT 'htt...

2017-10-28 09:39:45

阅读数 2696

评论数 0

NiFi流处理引擎

有特点的流处理引擎NiFi 流处理不止有flink、storm、spark streaming,今天介绍一个大家不一定用得很多,但是却很有特点的东西,NiFi。 前面写了flink的文章,其实流处理不止有flink、storm、spark streaming,说实话...

2017-10-24 19:26:10

阅读数 2227

评论数 0

spark driver HA

实验环境:  zookeeper-3.4.6  Spark:1.6.0  简介:  本篇博客将从以下几点组织文章:  一:Spark 构建高可用HA架构  二:动手实战构建高可用HA  三:提交程序测试HA 一:Spark 构建高可用HA架构    Spark本身是Mast...

2017-10-24 10:16:29

阅读数 306

评论数 0

SparkStreaming Kafka基本概念

1.Storm 和 SparkStreaming区别 Storm                      纯实时的流式处理,来一条数据就立即进行处理 SparkStreaming 微批处理,每次处理的都是一批非常小的数据 ...

2017-10-24 09:47:38

阅读数 295

评论数 0

最全spark基础知识

《倾情大奉送--Spark入门实战系列》  1、 Spark运行架构 1.1 术语定义 lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上...

2017-10-23 20:13:45

阅读数 408

评论数 0

spark性能优化高级篇

Spark性能调优高级篇  分类: spark平台学习(2)  目录(?)[+] 前言 继Spark性能调优基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将...

2017-10-23 19:33:13

阅读数 176

评论数 0

spark SQL上踩过的坑

那些年我们在spark SQL上踩过的坑 1.高并发情况下的内存泄露的具体表现 很遗憾,spark的设计架构并不是为了高并发请求而设计的,我们尝试在网络条件不好的集群下,进行100并发的查询,在压测3天后发现了内存泄露。 a)在进行大量小SQL的压测过程中发现...

2017-10-21 19:58:25

阅读数 191

评论数 0

spark-sql调优

sparksql性能调优 性能优化参数  代码实例 import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import o...

2017-10-21 19:45:41

阅读数 1070

评论数 0

Spark Sql性能测试

Spark Sql性能测试及调优 目录(?)[+] 内存不足时group by操作失败。 正常应该速度变慢,而不是失败,因为还有磁盘可用 错误日志: Task: java.io.IOException: Filesystem clos...

2017-10-21 19:38:37

阅读数 279

评论数 0

机器学习与深度学习资料

机器学习与深度学习资料 机器学习 《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《D...

2017-10-21 19:17:58

阅读数 320

评论数 0

JVM调优实战

java application项目(非web项目) 改进前: -Xms128m-Xmx128m-XX:NewSize=64m-XX:PermSize=64m-XX:+UseConcMarkSweepGC-XX:CMSInitiatingOccupancyFraction=78-XX:...

2017-10-18 19:36:15

阅读数 161

评论数 0

Spark on Yarn下JVM的OOM问题及解决方式

Spark JVM的OOM和Stack Overflow问题 1、Spark on Yarn下JVM的OOM问题及解决方式  2、Spark中Driver的Stack Overflow的问题及解决方式 Spark on Yarn cluster mode: 此时有可能会报OOM的错误,具体...

2017-10-18 17:58:34

阅读数 748

评论数 0

Spark SQL UDF和UDAF示例

Spark SQL UDF和UDAF /** * scala代码 */ package com.tom.spark.sql import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAgg...

2017-10-18 17:46:40

阅读数 1212

评论数 0

Spark Parquet使用

Spark SQL下的Parquet使用最佳实践和代码实战  分类: spark-sql(1)  一、Spark SQL下的Parquet使用最佳实践 1)过去整个业界对大数据的分析的技术栈的Pipeline一般分为以下两种方式: a)Data S...

2017-10-18 15:09:26

阅读数 4563

评论数 0

提示
确定要删除当前文章?
取消 删除