ペ你值H-CSDN博客

原创 hbase是如何启动的----------简介＜一＞

HBase的启动1.首先需要启动ZooKeeper集群[root@doitedu01 ~]# /opt/apps/zookeeper-3.4.6/bin/zkServer.sh start[root@doitedu02~]# /opt/apps/zookeeper-3.4.6/bin/zkServer.sh start[root@doitedu03~]# /opt/apps/zookeeper-3.4.6/bin/zkServer.sh start2.在启动HDFS正...

2020-09-03 23:28:31 897 1

原创 hbase的安装部署-------------------＜版本2.0.6＞

概况版本：2.0.6 节点： 3个tar -zxf hbase-2.0.4-bin.tar.gz-C/opt/apps/ 解压到指定目录在安装HBase的前提之下 ******提醒：集群中的每一台机器的时间一定同步，要么误差在一定的范围内否则安装会出现异常！！！****** 如果没有时间同步抛出Cloc...

2020-09-03 23:02:45 392

原创 hbase--------是什么详解简介＜一＞

1.HBase简介HBase来源于 Fay Chang 所撰写的Google论文《Bigtable：一个结构化数据(半结构化)的分布式存储系统》。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目,用于存储海量的结构化或者半结构,非结构化的数据。存储结构化和非结构数据的分布式数据库 !将数据存储在不同的机器上 ! 利用不用机器来

2020-09-03 22:43:32 330

原创 zookeeper的安装部署---------＜版本3.4.6＞

概况版本： 3.4.6 节点： 3个tar -zxf zookeeper-3.4.6.tar.gz -C /opt/apps/ 解压到指定目录配置文件mv zoo_sample.cfg zoo.cfg vi zoo.cfgzoo.cfgdataDir=/opt/data/zookeeper# the port at which the clients will connectclientPort=2181...

2020-09-02 20:16:10 168

原创 zookeeper是什么---简介一

1基本概念1.1什么是zookeeperZookeeper是一个底层的分布式协调服务！它是hadoop生态体系中很多分布式系统（HDFS、YARN、HBASE、KAFKA.........）的基础组件1.2zookeeper的基本功能为客户提供写数据功能为客户提供读取据功能为用户提供数据变化时的监控功能1.3zookeeper的作用分布式系统中的主节点选举！比如hbase中的老大的产生 Hmaster(HA)分布式系统中的主从节点感知！分布式系...

2020-09-02 19:57:09 238

原创 Hadoop的安装部署---------＜版本3.1.1＞

概况版本： 3.1.1 节点： 3个[root@doitedu01 ~]# tar -zxf hadoop-3.1.1.tar.gz -C /opt/apps/ 解压到指定目录配置文件hadoop-env.shexport JAVA_HOME=/opt/apps/jdk1.8.0_191/core-site.xml<configuration><property><name>dfs.replicatio...

2020-09-01 21:51:58 356

原创 hadoop「一」----主要包含什么内容

1.hadoop包含什么内容1.1主要包含三大核心组件HDFS集群：(Hadoop Distribute File System)分布式文件系统,海量数据存储解决方案负责海量数据的存储集群中的角色主要有 NameNode (主节点)/ DataNode(数据节点)/SecondaryNameNode。 YARN集群：分布式资源调度平台和任务监控平台，负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager(资源管理程序) /NodeManager(节点管理器)..

2020-09-01 21:34:09 811

原创 Flume入门安装部署

1.参数配置Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境上传安装包到数据源所在节点上然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义) 指定采集方案配置文件，在相应的节点上启动flume agen2.启动命令bin/flume-ng agent-c./confcommands:help ...

2020-09-01 21:16:12 292

原创 flume是什么---前言一

Flume的前言flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一.补充：cloudera公司的主打产品是CDH（hadoop的一个企业级商业发行版）1.什么是FlumeApache Flume.

2020-09-01 21:06:37 157

ZHB__的博客