2017年05月_ZhaoYingChao88

12月 11月 10月 06月 05月 04月 03月 01月

原创 Spark On YARN内存和CPU分配

在Yarn框架中，调度器是一块很重要的内容。有了合适的调度规则，就可以保证多个应用可以在同一时间有条不紊的工作。最原始的调度规则就是FIFO，即按照用户提交任务的时间来决定哪个任务先执行，但是这样很可能一个大任务独占资源，其他的资源需要不断的等待。也可能一堆小任务占用资源，大任务一直无法得到适当的资源，造成饥饿。所以FIFO虽然很简单，但是并不能满足我们的需求。yarn默认还提供了

2017-05-13 11:14:54 1535

原创最全JVM7.8分析和优化

1. JVM堆内存划分这两天看到下面这篇文章的图不错。一图读懂JVM架构解析1.1 JDK7及以前的版本其中最上一层是Nursery内存，一个对象被创建以后首先被放到Nursery中的Eden内存中，如果存活期超两个Survivor之后就会被转移到长时内存中(Old Generation)中。永久内存中存放着对象的方法、变量等元数据信息

2017-05-07 19:03:24 1840 1

原创 JVM性能监控和调优

参考：http://www.cnblogs.com/java-zhao/category/776216.html1. JVM性能监控1、定位系统问题依据GC日志堆转储快照（heapdump/hprof文件）线程快照（threaddump/javacore文件）运行日志异常堆栈分析依据的工具jps：显示指定系统内的所有JVM进程jstat：收集

2017-05-07 15:27:19 866

原创常用的 Linux iptables 规则

一些常用的 Linux iptables 规则，请根据自己的具体需要再修改。# 1. 删除所有现有规则1iptables -F# 2. 设置默认的 chain 策略123iptables-

2017-05-06 17:06:50 607

原创 linux命令行的软件推荐

原文出处： int32bit（已授权转载） ag：比grep、ack更快的递归搜索文件内容。tig：字符模式下交互查看git项目，可以替代git命令。mycli：mysql客户端，支持语法高亮和命令补全，效果类似ipython，可以替代mysql命令。jq: json文件处理以及格式化显示，支持高亮，可以替换python -m json.

2017-05-06 16:34:13 1335

原创看懂机器学习十大常用算法

原文出处：不会停的蜗牛通过本篇文章可以对ML的常用算法有个常识性的认识，没有代码，没有复杂的理论推导，就是图解一下，知道这些算法是什么，它们是怎么应用的，例子主要是分类问题。每个算法都看了好几个视频，挑出讲的最清晰明了有趣的，便于科普。以后有时间再对单个算法做深入地解析。今天的算法如下：决策树随机森林算法逻辑回归SVM朴素贝叶斯K最近邻算法K均值

2017-05-06 16:04:31 897

转载 JVM 参数介绍

功能开关:参数默认值或限制说明参数默认值功能-XX:-AllowUserSignalHandlers限于Linux和Solaris，默认不启用允许为java进程安装信号处理器,信号处理参见类:sun.misc.Signal, sun.misc.SignalHandler-XX:+Di

2017-05-02 16:41:15 527

原创 JVM监测&工具

前几篇篇文章介绍了介绍了JVM的参数设置并给出了一些生产环境的JVM参数配置参考方案。正如之前文章中提到的JVM参数的设置需要根据应用的特性来进行设置，每个参数的设置都需要对JVM进行长时间的监测，并不断进行调整才能找到最佳设置方案。本文将介绍如果通过工具及Java api来监测JVM的运行状态,并详细介绍各工具的使用方法。需要监测的数据：(内存使用情况谁使用了内存 GC的

2017-05-02 16:08:10 1565

原创深入理解JVM—基础

深入理解JVM—JVM内存模型我们知道，计算机CPU和内存的交互是最频繁的，内存是我们的高速缓存区，用户磁盘和CPU的交互，而CPU运转速度越来越快，磁盘远远跟不上CPU的读写速度，才设计了内存，用户缓冲用户IO等待导致CPU的等待成本，但是随着CPU的发展，内存的读写速度也远远跟不上CPU的读写速度，因此，为了解决这一纠纷，CPU厂商在每颗CPU上加入了高速缓

2017-05-02 16:04:15 604

原创 jvm内存调优关键参数-续

堆内存设置原理JVM堆内存分为2块：Permanent Space 和 Heap Space。Permanent 即持久代（Permanent Generation），主要存放的是Java类定义信息，与垃圾收集器要收集的Java对象关系不大。Heap = { Old + NEW = {Eden, from, to} }，Old 即年老代（Old Generation

2017-05-02 15:48:48 716