疯狂燃烧的岁月

我的日常学习、开发总结(kafka、storm、flink)

调整hadoop的守护进程大小

今天在自己的机器上搭建一个Hadoop的伪分布式环境来跑一些MR程序,发现一启动hadoop,我的惠普笔记本就交个不停。条件: 内存8 G Ubuntu16.04 java 1.8 hadoop2.9.0我查看了一下hadoop进程情况:发现每个进程都的最大堆内存都为1000m这块每个进程...

2017-12-03 23:59:35

阅读数 553

评论数 0

关于技术学习

人生结果的不同来自于对价值和结果的关注。什么是价值?1、解决问题;2、增加收入;3、降低成本。这是大到国家、企业,小到项目和个人的最简单的结果导向的普世价值。

2017-11-19 18:43:08

阅读数 1330

评论数 0

Scala学习笔记(二)

Scala语法总结

2017-06-08 22:04:06

阅读数 627

评论数 0

Scala学习笔记(一)

scala语法学习

2017-06-01 21:30:37

阅读数 513

评论数 0

Spark SQL, DataFrames 和 Datasets 指南

目前SparkSQL用的是最多的,Spark Streaming次之,所以将Spark SQL相关官方文档翻译下,官方文档是最好的学习资料。 概述Spark SQL是用于结构化数据处理的Spark模块。与基本Spark RDD API不同,Spark SQL提供的接口为Spark提供了有关数据结构...

2017-04-07 22:29:01

阅读数 912

评论数 0

kill 掉所有正在运行的hadoop jobs

# get list of job's process IDs JOB_LIST=$(hadoop job -list 2> /dev/null | grep job_ | awk '{print $1}') # kill all jobs for JOB in $JOB_LIST do ...

2017-03-24 09:49:05

阅读数 919

评论数 0

Spark2.1.0官方文档

Spark 概述Apache Spark是一个快速和通用的集群计算系统。它提供Java,scala,Python、R语言的APIs,以及支持一般执行图形的优化引擎。 它还支持一组丰富的高级工具,包括用于SQL和结构化数据处理的Spark SQL,用于机器学习的MLlib,用于图形处理的GraphX...

2017-03-04 15:14:41

阅读数 3532

评论数 2

redis-service服务

redis-service是一个基于jedis 封装而成的jar,将常用的的业务功能进行了封装, 你可以直接将其导入到自己的项目中从而使用很多经常需要的业务功能,不用再重新开发,提高开发效率。

2017-02-08 15:02:23

阅读数 949

评论数 0

MapReduce并行编程模型和框架

本文涉及Hadoop 编码实例、完整的Hadoop编程模型、Hadoop系统架构和MapReduce执行流程。

2017-02-07 10:09:22

阅读数 1427

评论数 0

分布式协调服务-Zookeeper

本文主要介绍了下分布式协调服务-Zookeeper以及它的集群搭建和使用。

2017-01-20 09:47:12

阅读数 792

评论数 0

Hadoop2.x 体系结构和源码编译

Hadoop2.x 体系结构和源码编译

2017-01-15 11:07:41

阅读数 824

评论数 0

为hadoop集群设置静态IP

由于之前设置集群的网络连接方式是Net ,而IP是动态的。我采用的是自己的电脑搭建的环境,换了个连接网络的地方,ip就变了。因此决定设置下静态IP。

2017-01-13 09:25:12

阅读数 5066

评论数 0

hadoop-eclipse-plugin-2.x.x 插件编译

在网上找的hadoop for eclipse 插件都不能用,决定自己去编译一个。Hadoop 提供了一个 Eclipse 插件以方便用户在 Eclipse 集成开发环境中使用 Hadoop,如管理 HDFS 上的文件、提交作业、调试 MapReduce 程序等

2017-01-11 10:04:59

阅读数 4557

评论数 0

大数据Hadoop与Spark学习经验谈

大数据Hadoop与Spark学习经验谈

2016-12-11 09:59:57

阅读数 11438

评论数 5

使用MyBatis 框架犯的错误

最近做项目,数据层使用的是MyBatis框架,在使用过程中,犯了的一些错误。

2016-12-07 22:29:18

阅读数 439

评论数 0

Hadoop 2.6.0-cdh5.4.0集群环境搭建和Apache-Hive、Sqoop的安装

搭建此环境主要用来hadoop的学习,因此我们的操作直接在root用户下,不涉及HA。Software: Hadoop 2.6.0-cdh5.4.0 Apache-hive-2.1.0-bin Sqoop-1.4.6-cdh5.5.2 JDK1.7.0_79 集群信息:一个主节...

2016-12-02 22:42:39

阅读数 2355

评论数 0

Websocket协议概念、技术背景和原理介绍

WebSocket是一种在单个 TCP 连接上进行全双工通讯的协议。本篇主要对websocket的概念和技术背景和原理做一个介绍。

2016-09-10 10:00:00

阅读数 6756

评论数 2

Hive数据仓库笔记(三)

Joins: Innerjoins: hive> SELECT * FROM sales; Joe 2 Hank 4 Ali 0 Eve 3 Hank 2 hive> SELECT * FROM things; 2 Tie 4 Coat 3 Hat 1 Scarf   两个表Inner...

2016-07-05 11:49:11

阅读数 807

评论数 0

Hive数据仓库笔记(二)

分区和桶:   分区:可以提高查询的效率,只扫描固定范围数据,不用全部扫描 CREATE TABLE logs (ts BIGINT, lineSTRING) PARTITIONED BY (dt STRING, country STRING); 通过关键字PARTITIONED BY 定...

2016-06-28 17:52:50

阅读数 536

评论数 0

Hive数据仓库笔记(一)

Hive建表: CREATE TABLE records (year STRING,temperature INT, quality INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; 每行三列数据通过tab分隔,数据如果是以tab分隔的可被h...

2016-06-27 18:03:56

阅读数 792

评论数 0

提示
确定要删除当前文章?
取消 删除