- 博客(9)
- 资源 (18)
- 收藏
- 关注
原创 Linux nmon监控、分析系统性能使用
一.下载nmon。 根据CPU的类型选择下载相应的版本:http://nmon.sourceforge.net/pmwiki.php?n=Site.Downloadwget http://sourceforge.net/projects/nmon/files/download/nmon_x86_12a.zip/download二.初始化nmon工具。#unz
2017-03-30 14:39:36 669
原创 linux中shell变量$#,$@,$0,$1,$2的含义解释
下面是常用的shell变量:$0 Shell本身的文件名$1~$n 添加到Shell的各参数值。$1是第1参数、$2是第2参数…$$ Shell本身的PID(ProcessID)$! Shell最后运行的后台Process的PID$? 最后运行的命令的结束代码(返回值)$- 使用Set命令设定的Flag一览$*
2017-03-29 12:48:04 725
原创 Spark-SQL编程总结
概览Spark SQL用于处理结构化数据,与Spark RDD API不同,它提供更多关于数据结构信息和计算任务运行信息的接口,Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQL进行交互,无论使用何种方式,SparkSQL使用统一的执行引擎记性处理。用户可以根据自己喜好,在不同API中选择合适的进
2017-03-23 12:59:39 3714 1
原创 spark基础知识
一. Spark基础知识 1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架dfsSpark基于mapreduce算法实现的分布式计算,拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适
2017-03-23 11:50:31 632
原创 Spark源码走读之 -- sql的解析与执行
一般来说任意一个sql子系统都需要有parser,optimizer,execution三大功能模块,在spark中这些又都是如何实现的呢,这些实现又有哪些亮点和问题?带着这些疑问,本文准备做一些比较深入的分析。SQL模块分析有几大难点,分别为sql分析和执行的通用过程,这个与是否用spark无关,应该是非常general的问题spark sql中具体实现时的整体架构源码阅读时碰到
2017-03-23 11:47:46 696
原创 spark-sql架构与原理
一. 整体架构总结为如下图: Dataframe本质是 数据 + 数据的描述信息(结构元信息)所有的上述SQL及dataframe操作最终都通过Catalyst翻译成spark程序RDD操作代码 sparkSQL前身是shark,大量依赖Hive项目的jar包与功能,但在上面的扩展越来越难,因此出现了SparkSQL,它重写了分析器,执行器 脱离了
2017-03-23 11:27:35 1519
原创 SparkSQL相关语法总结
1.in 不支持子查询 eg. select * from src where key in(select key from test);支持查询个数 eg. select * from src where key in(1,2,3,4,5);in 40000个 耗时25.766秒in 80000个 耗时78.827秒2.union all/union不支持顶层的union
2017-03-23 11:23:23 5470 1
原创 jvm 内存溢出的多种原因及优化方法
让我们看一下我们日常在开发过程中接触内存溢出的异常: Exception in thread "main" [Full GCjava.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Unknown Source) at java.util.Arrays.copyOf(Unknown
2017-03-22 10:33:50 10529
原创 JAVA GC 常见错误处理方法
java.lang.OutOfMemoryError: Java heap space原因:Heap内存溢出,意味着Young和Old generation的内存不够。解决:调整java启动参数-Xms -Xmx 来增加Heap内存。java.lang.OutOfMemoryError: unable to create new native thread原因:St
2017-03-22 10:23:56 3226
ReceiverCleanupUtility
2018-09-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人