赵英超的博客

相互学习,共同进步

Linux nmon监控、分析系统性能使用

一.下载nmon。    根据CPU的类型选择下载相应的版本: http://nmon.sourceforge.net/pmwiki.php?n=Site.Download wget http://sourceforge.net/projects/nmon/files/download/...

2017-03-30 14:39:36

阅读数 259

评论数 0

linux中shell变量$#,$@,$0,$1,$2的含义解释

下面是常用的shell变量: $0 Shell本身的文件名 $1~$n 添加到Shell的各参数值。$1是第1参数、$2是第2参数… $$ Shell本身的PID(ProcessID) $! Shell最后运行的后台Process的PID $?...

2017-03-29 12:48:04

阅读数 251

评论数 0

Spark-SQL编程总结

概览 Spark SQL用于处理结构化数据,与Spark RDD API不同,它提供更多关于数据结构信息和计算任务运行信息的接口,Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQL进行交互,无论使用...

2017-03-23 12:59:39

阅读数 2032

评论数 1

spark基础知识

一. Spark基础知识   1.Spark是什么? UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架 dfsSpark基于mapreduce算法实现的分布式计算,拥有HadoopMapReduce所具有的优点;但不同于MapR...

2017-03-23 11:50:31

阅读数 293

评论数 0

Spark源码走读之 -- sql的解析与执行

一般来说任意一个sql子系统都需要有parser,optimizer,execution三大功能模块,在spark中这些又都是如何实现的呢,这些实现又有哪些亮点和问题?带着这些疑问,本文准备做一些比较深入的分析。 SQL模块分析有几大难点,分别为 sql分析和执行的通用过程,这个与是否...

2017-03-23 11:47:46

阅读数 277

评论数 0

spark-sql架构与原理

一. 整体架构 总结为如下图:   Dataframe本质是  数据  +  数据的描述信息(结构元信息) 所有的上述SQL及dataframe操作最终都通过Catalyst翻译成spark程序RDD操作代码   sparkSQL前身是shark,大量依赖Hive项目的jar包与功能,但在上...

2017-03-23 11:27:35

阅读数 446

评论数 0

SparkSQL相关语法总结

1.in 不支持子查询 eg. select * from src where key in(select key from test); 支持查询个数 eg. select * from src where key in(1,2,3,4,5); in 40000个 耗时25.766秒 in 80...

2017-03-23 11:23:23

阅读数 823

评论数 0

jvm 内存溢出的多种原因及优化方法

让我们看一下我们日常在开发过程中接触内存溢出的异常:   Exception in thread "main" [Full GCjava.lang.OutOfMemoryError: Java heap space at java.util.Arrays.c...

2017-03-22 10:33:50

阅读数 6881

评论数 0

JAVA GC 常见错误处理方法

java.lang.OutOfMemoryError: Java heap space 原因:Heap内存溢出,意味着Young和Old generation的内存不够。 解决:调整java启动参数-Xms -Xmx 来增加Heap内存。 java.lang.OutOfMemoryError...

2017-03-22 10:23:56

阅读数 779

评论数 0

提示
确定要删除当前文章?
取消 删除