赵英超的博客

相互学习,共同进步

Spark On YARN内存和CPU分配

在Yarn框架中,调度器是一块很重要的内容。有了合适的调度规则,就可以保证多个应用可以在同一时间有条不紊的工作。最原始的调度规则就是FIFO,即按照用户提交任务的时间来决定哪个任务先执行,但是这样很可能一个大任务独占资源,其他的资源需要不断的等待。也可能一堆小任务占用资源,大任务一直无法得到适当的...

2017-05-13 11:14:54

阅读数:671

评论数:0

最全JVM7.8分析和优化

1. JVM堆内存划分 这两天看到下面这篇文章的图不错。 一图读懂JVM架构解析 1.1 JDK7及以前的版本 其中最上一层是Nursery内存,一个对象被创建以后首先被放到Nursery中的Eden内  存中,如果存活期超两个Survivor之后就会被转...

2017-05-07 19:03:24

阅读数:971

评论数:1

JVM性能监控和调优

参考:http://www.cnblogs.com/java-zhao/category/776216.html 1. JVM性能监控 1、定位系统问题 依据 GC日志堆转储快照(heapdump/hprof文件)线程快照(threaddump/javacore文件)运行日志异常堆栈...

2017-05-07 15:27:19

阅读数:351

评论数:0

常用的 Linux iptables 规则

一些常用的 Linux iptables 规则,请根据自己的具体需要再修改。 # 1. 删除所有现有规则 1iptables -F# 2. 设置默认的 chain 策...

2017-05-06 17:06:50

阅读数:319

评论数:0

linux命令行的软件推荐

原文出处: int32bit(已授权转载)    ag:比grep、ack更快的递归搜索文件内容。 tig:字符模式下交互查看git项目,可以替代git命令。 mycli:mysql客户端,支持语法高亮和命令补全,效果类似ipython,可以替代mysql命令。 ...

2017-05-06 16:34:13

阅读数:431

评论数:0

看懂机器学习十大常用算法

原文出处: 不会停的蜗牛    通过本篇文章可以对ML的常用算法有个常识性的认识,没有代码,没有复杂的理论推导,就是图解一下,知道这些算法是什么,它们是怎么应用的,例子主要是分类问题。 每个算法都看了好几个视频,挑出讲的最清晰明了有趣的,便于科普。 以后有时间再对单个算法做深入地...

2017-05-06 16:04:31

阅读数:433

评论数:0

JVM 参数介绍

功能开关: 参数 默认值或限制 说明 参数 默认值 功能 -XX:-AllowUserSignalHandlers 限于Linux和Solaris,默认不启用 允许为java进程安装信号处理器,信号处理参见类:sun...

2017-05-02 16:41:15

阅读数:161

评论数:0

JVM监测&工具

前几篇篇文章介绍了介绍了JVM的参数设置并给出了一些生产环境的JVM参数配置参考方案。正如之前文章中提到的JVM参数的设置需要根据应用的特性来进行设置,每个参数的设置都需要对JVM进行长时间的监测,并不断进行调整才能找到最佳设置方案。本文将介绍如果通过工具及Java api来监测JVM的运行状态,...

2017-05-02 16:08:10

阅读数:781

评论数:0

深入理解JVM—基础

深入理解JVM—JVM内存模型 我们知道,计算机CPU和内存的交互是最频繁的,内存是我们的高速缓存区,用户磁盘和CPU的交互,而CPU运转速度越来越快,磁盘远远跟不上CPU的读写速度,才设计了内存,用户缓冲用户IO等待导致CPU的等待成本,但是随着CPU的发展,内...

2017-05-02 16:04:15

阅读数:315

评论数:0

jvm内存调优关键参数-续

堆内存设置 原理 JVM堆内存分为2块:Permanent Space 和 Heap Space。 Permanent 即 持久代(Permanent Generation),主要存放的是Java类定义信息,与垃圾收集器要收集的Java对象关系不大。Heap = { Old ...

2017-05-02 15:48:48

阅读数:294

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭