2018年08月_鹭岛猥琐男

12月 11月 09月 08月 07月 05月 04月

原创 HBase相关知识

一、HBase数据模型https://www.cnblogs.com/csyuan/p/6543018.html二、HBase 物理模型:https://blog.csdn.net/gg782112163/article/details/53523660a. Table 中所有的行都按照 row key 的字典序进行排列b. Table 在行的方向上分割为多个 Region...

2018-08-31 19:36:34 162

原创 HBase的相关操作

1、启动shell命令行[root@master hbase-1.2.0]# bin/hbase-daemon.sh start masterstarting master, logging to /opt/cdh5.14.2/hbase-1.2.0/bin/../logs/hbase-root-master-master.cdh.com.out[root@master hbase-1....

2018-08-30 13:51:11 204

原创 HBase 分布式集群搭建

1、解压HBase2、修改hbase-env.sh##/**# * Licensed to the Apache Software Foundation (ASF) under one# * or more contributor license agreements. See the NOTICE file# * distributed with this work for ...

2018-08-30 11:37:10 377

原创 Oozie时区设置以及Coordinator

一、时区配置1、删除localtime文件rm /etc/localtime2、用localtime的链接到/usr/share/zoneinfo/Asia/Shanghailn -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime3、关闭oozie4、配置oozie-site.xml<?xml versi...

2018-08-17 16:28:09 774

原创 Oozie workflow之Hive Action

1、将examples中的hive复制到oozie-apps目录下，并重命名/opt/cdh5.14.2/oozie-4.1.0/oozie-apps/hive-select[root@master hive-select]# lltotal 20-rw-r--r-- 1 root root 1000 Aug 4 13:52 job.properties-rw-r--r-- 1 r...

2018-08-15 09:01:18 812

原创大数据协作框架之Oozie

一、配置：1、下载并解压：http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.14.2.tar.gztar -zxvf oozie-4.1.0-cdh5.14.2.tar.gz -C /opt/cdh5.14.2/解压完目录如下：[root@master oozie-4.1.0]# lltotal 1284320...

2018-08-10 08:32:22 491

原创大数据协作框架之Flume

一、概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。二、安装1、解压：tar -zxvf flume-ng-1...

2018-08-06 15:22:25 339