遥望......

生活之道 智能之法

使用CMS垃圾收集器产生的问题和解决方案

promotion failed concurrent mode failure 第一个问题promotion failed是在进行Minor GC时,Survivor Space放不下,对象只能放入老年代,而此时老年代也放不下造成的,多数是由于老年带有足够的空闲空间,但是由于碎片较多,这时如果...

2019-06-10 18:35:05

阅读数 11

评论数 0

JVM GC参数以及GC算法的应用

1.串行收集器 串行收集器是最古老,最稳定以及效率高的收集器 可能会产生较长的停顿,只使用一个线程去回收 -XX:+UseSerialGC 新生代、老年代使用串行回收 新生代复制算法 老年代标记-压缩 串行收集器的日志输出: 0.844: [GC 0.844: [DefNew:...

2019-06-10 18:34:26

阅读数 7

评论数 0

JVM 垃圾回收机制

1. GC的概念 Garbage Collection 垃圾收集 Java中,GC的对象是堆空间和永久区(如果对Java内存区域不太了解,请查看Java内存区域) 2. GC算法 2.1引用计数法 老牌垃圾回收算法 通过引用计算来回收垃圾 使用者: COM ActionScript...

2019-06-10 18:17:28

阅读数 12

评论数 0

jdk8 GC之详解CMS收集过程和日志分析

话题引入 让我们先简单的看下整个堆年轻代和年老代的垃圾收集器组合(以下配合java8完美支持,其他版本可能稍有不同),其中标红线的则是我们今天要着重讲的内容: ParNew and CMS "Concurrent Mark and Sweep" 是CMS的全称,官方给...

2019-06-09 21:55:41

阅读数 17

评论数 0

Kafka生产者发送消息的三种方式

Kafka发送消息主要有三种方式:1.发送并忘记 2.同步发送 3.异步发送+回调函数 方式一:发送并忘记(不关心消息是否正常到达,对返回结果不做任何判断处理) 发送并忘记的方式本质上也是一种异步的方式,只是它不会获取消息发送的返回结果,这种方式的吞吐量是最高的,但是无法保证消息的可靠性 方式...

2019-06-06 05:53:47

阅读数 11

评论数 0

SpringBoot 实现前后端分离的跨域访问(CORS)

一、基本介绍 简单来说,CORS是一种访问机制,英文全称是Cross-Origin Resource Sharing,即我们常说的跨域资源共享,通过在服务器端设置响应头,把发起跨域的原始域名添加到Access-Control-Allow-Origin 即可。 1. CORS工作原理 CORS...

2019-05-30 21:59:12

阅读数 17

评论数 0

Optimizing Spark Streaming applications reading data from Apache Kafka

Spark Streaming is one of the most widely used frameworks for real time processing in the world with Apache Flink, Apache Storm and Kafka Streams. Ho...

2019-05-24 22:50:18

阅读数 40

评论数 0

spark sql 显示header

spark-sql --master=yarn --hiveconf hive.cli.print.header=true

2019-05-16 16:56:28

阅读数 37

评论数 0

利用spark基于parquet或者orc文件直接建hive表

如何快速的基于一个parquet文件进行建表? 首先对于spark要SparkSession.enableHiveSupport() var df = spark.read.parquet("mypath/*.parquet"); df.write.mode(SaveMod...

2019-04-29 14:36:24

阅读数 88

评论数 0

Scala中Manifest、ClassTag、TypeTag的学习

Manifest介绍 Manifest是scala2.8引入的一个特质,用于编译器在运行时也能获取泛型类型的信息。 在JVM上,泛型参数类型T在运行时是被“擦拭”掉的,编译器把T当作Object来对待, 所以T的具体信息是无法得到的;为了使得在运行时得到T的信息, scala需要额外通过Mani...

2019-04-24 09:36:10

阅读数 67

评论数 0

Nginx性能调优之buffer参数设置

打开Nginx的error.log日志文件,发现很多warn的警告错误,提示: ①2016/03/25 13:18:35 [warn] 1171#0: *10875 an upstream response is buffered to a temporary file /var/cache/n...

2019-04-19 23:58:58

阅读数 14

评论数 0

AWS系列之三 使用EBS

Amazon Elastic Block Store(EBS)可作为EC2实例的持久性数据块级存储。其具有高可用性和持久性的特点,可用性高达99.999%。给现有的EC2实例扩展新的存储块只需要几分钟的时间,省时省力。每个EBS块都被放置在一个特定的可用区内,并且会自动维护一个副本,随时保护数据安...

2019-04-19 11:13:13

阅读数 90

评论数 0

HBaseSQL及分析-Phoenix&Spark

本文介绍了详细了HBaseSQL,Phoinix和Spark的架构,适用性以及优缺点,并在最后规划出未来将要设计的一款更符合用户需求的产品。 PDF下载: https://yq.aliyun.com/download/2457 以下是精彩视频内容整理: HBase上的SQL&a...

2019-04-18 21:35:13

阅读数 18

评论数 0

Spark Streaming与Kafka如何保证数据零丢失

Spark Streaming 是一种构建在 Spark 上的实时计算框架,它扩展了 Spark 处理大规模流式数据的能力。Spark Streaming 的优势在于: 能运行在1000+的结点上,并达到秒级延迟。 使用基于内存的 Spark 作为执行引擎,具有高效和容错的特性。 能集成 S...

2019-04-18 21:32:57

阅读数 75

评论数 0

Hive如何添加第三方JAR

以加入elsaticsearch-Hadoop-2.1.2.jar为例,讲述在Hive中加入第三方jar的几种方式。 1,在hive shell中加入 [java]view plaincopy [hadoop@hadoopcluster78bin]$./hive Logginginit...

2019-04-11 22:01:22

阅读数 34

评论数 0

SparkStreaming之checkpoint机制使用讲解

一 什么类型的数据需要使用checkpoint? Spark Streaming是最需要进行容错的,因为一般都是7 * 24小时运转,所以需要将足够的信息checkpoint到容错的存储系统上,比如HDFS,从而能够让他从失败中进行恢复。有两种数据需要被进行checkpoint: 1、元数据c...

2019-04-09 23:59:37

阅读数 40

评论数 0

SpringBoot简单打包部署(附工程)

前言 本文主要介绍SpringBoot的一些打包事项和项目部署以及在其中遇到一些问题的解决方案。 SpringBoot打包 在SpringBoot打包这块,我们就用之前的一个web项目来进行打包。 首先需要明确的是,该项目打包的形态是可执行的jar包,还是在tomcat下运行的war包。 虽...

2019-03-28 21:31:57

阅读数 34

评论数 0

API接口TOKEN设计

首先需要知道API是什么? API(Application Programming Interface)即应用程序接口。你可以认为 API 是一个软件组件或是一个 Web 服务与外界进行的交互的接口。而我们在这里要谈论的,是作为一家公司如何跟外界进行交互。从另一个角度来说,API 是一套协议...

2019-03-24 16:53:17

阅读数 159

评论数 0

mybatis学习

用注解来简化xml配置的时候,@Param注解的作用是给参数命名,参数命名后就能根据名字得到参数值,正确的将参数传入sql语句中 我们先来看Mapper接口中的@Select方法 ? 1 2 3 4 5 6 7 p...

2019-03-23 20:33:11

阅读数 15

评论数 0

实现异步API的两个常用方法

整个 Netty 的 API 都是异步的,异步处理不是一个新的机制,这个机制出来已经有一些时间了。对网络应用来说,IO 一般是性能的瓶颈,使用异步 IO 可以较大程度上

2019-03-10 21:44:16

阅读数 200

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭