高铁三号
G3-平头哥
生活赋予我们一种巨大的和无限高贵的礼品,这就是青春:充满着力量,充满着期待志愿,充满着求知和斗争的志向,充满着希望信心和青春。 —— 奥斯特洛夫斯基
展开
-
Spark hIstory and Spark on yarn 配置及使用
sprk on yarn 概述及使用 (0)spark 资源管理 G3-平头哥 Spark...原创 2018-08-26 17:02:30 · 673 阅读 · 0 评论 -
spark2.3.1 源码编译详解
1. 前置要求(地址我给也贴下来,方便大家快速上手) 注意:我个人的环境是centos6.5,编译的是 spark-2.3.1-bin-2.6.0-cdh5.7.5 版本:scala 2.11.8 -- maven 3.3.9 -- java 1.8 -- spark 2.3.1 -- hadoop 2.6.0-cdh5.7.5 安装 apache-maven-3.3.9(或者...原创 2018-08-26 02:08:22 · 1279 阅读 · 2 评论 -
浅谈 Hbase 以及 Rowkey设计
1. Hbase 基础--------------------------------------------------定义:分布式、多版本、面向列的开源数据库,支持上亿行,百万列,可扩展的,对大数据的随机,实时读/写的数据库。核心概念: Table ==> 同传统数据库中的表是类似的,不同之处是它是基于SchemaLess 的设计,比传统数据库更加灵活。 rowk...原创 2019-03-13 19:17:54 · 323 阅读 · 0 评论