Hbase安装及基本DDL DML操作

最新推荐文章于 2022-06-19 14:01:19 发布
最新推荐文章于 2022-06-19 14:01:19 发布
阅读量279 收藏
点赞数
分类专栏： linux 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zxczb/article/details/113747130
版权
Hbase
注意事项
  1. hbase会启动自带zk端口, 注意与zk集群错开服务器, 或者调整端口
  2. doc目录可删
  3. 安装hadoop
standalone安装
  1. 下载, 上传, 解压
mkdir -p /opt/software
#上传 hbase-2.0.5-bin.tar.gz
#解压
tar -zxf hbase-2.0.5-bin.tar.gz -C /opt/software
cd /opt/software/hbase-2.0.5
mv docs /tmp && rm -rf /tmp/docs
  1. 配置环境变量
#修改
vim /etc/profile

#参考 hbase 部分 begin
# java environment begin
JAVA_HOME=/opt/software/jdk/jdk1.8.0_192
CLASSPATH=${JAVA_HOME}/lib
PATH=$PATH:${JAVA_HOME}/bin
# java environment end

# hadoop environment begin
HADOOP_HOME=/opt/software/hadoop-2.6.5
PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
export HADOOP_HOME
# hadoop environment end

# hbase environment begin
HBASE_HOME=/opt/software/hbase-2.0.5
PATH=$PATH:${HBASE_HOME}/bin
export HBASE_HOME
# hbase environment end

export PATH JAVA_HOME CLASSPATH HADOOP_HOME HBASE_HOME
#参考 hbase 部分 end

#生效
source /etc/profile && echo $HBASE_HOME
  1. 修改 conf/hbase-env.sh
#配置ssh用的JAVA_HOME
cd /opt/software/hbase-2.0.5/conf && vim hbase-env.sh
#查找 JAVA_HOME, 打开 export JAVA_HOME 的注释
#使用 冒号(:)模式 查看并复制系统jdk环境变量
#命令如下    :! echo $JAVA_HOME
#修改 JAVA_HOME 值为环境变量中的值:
export JAVA_HOME=/opt/software/jdk/jdk1.8.0_192
  1. 修改 conf/hbase-site.xml
#备份
cp hbase-site.xml hbase-site.xml.bak
#然后修改源文件
cat > hbase-site.xml << EOF
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///tmp/test/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/tmp/test/zookeeper</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
</configuration>

EOF
  1. 启动测试
#启动
start-hbase.sh
#查看进程
jps |grep HMaster
#查看页面
# http://node01:16010/
  1. 注意
#注意这里可能会存在jar包版本问题
#直接启动会报 Unhandled Java exception: java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
#需要将hadoop中 /opt/software/hadoop-2.6.5/share/hadoop/yarn/lib 下的 jline-0.9.94.jar 替换成 jline-2.12.jar
#https://repo1.maven.org/maven2/jline/jline/2.12/jline-2.12.jar
#备份jar
cd /opt/software/hadoop-2.6.5/share/hadoop/yarn/lib
mv jline-0.9.94.jar jline-0.9.94.jar.bak
#上传 jline-2.12.jar 版本到对应目录
cluster安装

注意

  1. 集群中的所有节点的hosts文件配置完成
  2. 集群中的所有节点的防火墙关闭
  3. 集群中的所有节点的时间设置一致
###规划
###         Master  regionserver
### node01  *
### node02          *
### node03          *
### node04  *       *

#解压
tar xzvf hbase-2.0.5-bin.tar.gz -C /opt/bigdata

#环境变量
HBASE_HOME=/opt/software/hbase-2.0.5
PATH=$PATH:${HBASE_HOME}/bin
export HBASE_HOME

#进入到/opt/bigdata/hbase-2.0.5/conf目录中, 在 hbase-env.sh 放开注释 JAVA_HOME  HBASE_MANAGES_ZK并修改
cd /opt/software/hbase-2.0.5/conf
vim hbase-env.sh
#配置为本机
JAVA_HOME=/opt/software/jdk/jdk1.8.0_192
#设置是否使用自己的zookeeper实例
HBASE_MANAGES_ZK=false

#修改 hbase-site.xml
cd /opt/software/hbase-2.0.5/conf
cat > hbase-site.xml << EOF
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <!-- hdfs集群HA模式的cluster名称, 对应hadoop的core-site.xml -->
    <value>hdfs://mycluster/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
  <name>hbase.zookeeper.quorum</name>
    <!-- zk集群的主机名 -->
    <value>node02,node03,node04</value>
  </property>
    <property>
    <!-- 定期检查是否需要执行compaction 10000表示10秒 -->
    <name>hbase.server.thread.wakefrequency</name>
    <value>10000</value>
  </property>
  <property>
    <!-- 与上面的时间间隔配合使用,当前为乘数因子:10秒*1倍=10秒 -->
    <name>hbase.server.compactchecker.interval.multiplier</name>
    <value>1</value>
  </property>
</configuration>

EOF

#修改regionservers文件，设置regionserver分布在哪几台节点
cat > regionservers << EOF
node02
node03
node04
EOF

#需要配置Master的高可用，需要在conf目录下创建backup-masters文件，并添加如下内容：

cat > backup-masters << EOF
node04
EOF

#拷贝hdfs-site.xml文件到conf目录下
cp /opt/software/hadoop-2.6.5/etc/hadoop/hdfs-site.xml /opt/software/hbase-2.0.5/conf/

#分发至其他服务器
cd /opt/software
scp -r hbase-2.0.5 node02:`pwd`
scp -r hbase-2.0.5 node03:`pwd`
scp -r hbase-2.0.5 node04:`pwd`

#配置 node02 node03 node04的环境变量

#注意:需要清理hdfs对应hbase的目录
hdfs dfs -rm -r -f /hbase

#启动集群, 在node01
start-hbase.sh

#注意, HMaster可以启动多态备份用
#比如在node03服务器上也启动一台 master
hbase-daemon.sh start master

#页面查看
http://node01:16010/master-status
http://node03:16010/master-status
http://node04:16010/master-status

#命令行
hbase shell
hbase(main):003:0> create 'psn' , 'cf'
hbase(main):005:0> put 'psn', '1', 'cf:name', 'gin'
hbase(main):006:0> put 'psn', '2', 'cf:name', 'soul'
hbase(main):007:0> put 'psn', '11', 'cf:name', 'gin_soul'

#查看hdfs目录
http://node01:50070/explorer.html#/hbase/data/default/psn
命令行操作
#进入命令行
hbase shell
#帮助命令
help

通用命令

#展示regionserver的task列表
hbase(main):000:0> processlist
#展示集群的状态
hbase(main):000:0> status
#table命令的帮助手册
hbase(main):000:0> table_help
#显示hbase的版本(目前 2.0.5)
hbase(main):000:0> version
#展示当前hbase的用户
hbase(main):000:0> whoami

namespace操作

#创建命名空间
hbase(main):000:0> create_namespace 'my_ns'
#修改命名空间的属性
hbase(main):000:0> alter_namespace 'my_ns', {METHOD => 'set', 'PROPERTY_NAME' => 'PROPERTY_VALUE'}
#展示所有的命名空间
#默认使用 default 空间, hbase空间为系统用
hbase(main):000:0> list_namespace
#获取命名空间的描述信息
hbase(main):000:0> describe_namespace 'my_ns'
#展示某个命名空间下的所有表
hbase(main):000:0> list_namespace_tables 'my_ns'
#删除命名空间
hbase(main):000:0> drop_namespace 'my_ns'

DDL操作

#创建表(表名:test, 必须指定至少一个列族:cf)
hbase(main):000:0> create 'test', 'cf'
hbase(main):000:0> create 'test2', 'cf1', 'cf2'
#查看表
hbase(main):000:0> list
#查看表描述，只会展示列族的详细信息(可以使用Tab键补全命令)
hbase(main):000:0> describe 'test'
#修改表的属性
hbase(main):000:0> alter 'test', NAME => 'cf3', VERSIONS => 2
#查看修改
hbase(main):000:0> describe 'test'

#禁用表(删除表之前必须先禁用)
hbase(main):000:0> disable 'test'
#禁用所有表
hbase(main):000:0> disable_all
#删除表
hbase(main):000:0> drop 'test'
#删除所有表
hbase(main):000:0> drop_all
#启用表
hbase(main):000:0> enable 'test'
#启用所有表
hbase(main):000:0> enable_all
#判断表是否存在
hbase(main):000:0> exists 'test'
#获取表
hbase(main):000:0> get_table 'test'
#判断表是否被禁用
hbase(main):000:0> is_disabled 'test'
#判断表是否被启用
hbase(main):000:0> is_enabled 'test'
#展示所有表
hbase(main):000:0> list
#展示表占用的region
hbase(main):000:0> list_regions
#定位某个rowkey所在的行在哪一个region
hbase(main):000:0> locate_region
#展示所有的过滤器
hbase(main):000:0> show_filters

dml操作

#向表中追加一个具体的值
hbase(main):000:0> append 't1', 'r1', 'c1', 'value', ATTRIBUTES=>{'mykey'=>'myvalue'}
#统计表的记录条数，默认一千条输出一次
hbase(main):000:0> count 'test'
#删除表的某一个值
hbase(main):000:0> delete 't1', 'r1', 'c1', ts1
#删除表的某一个列的所有值
hbase(main):000:0> deleteall 't1', 'r1', 'c1'
#获取表的一行记录
hbase(main):000:0> get 't1', 'r1'
#获取表的一个列的值的个数
hbase(main):000:0> get_counter 't1', 'r1', 'c1'
#获取表的切片
hbase(main):000:0> get_splits 't1'
#增加一个cell对象的值
hbase(main):000:0> incr 't1', 'r1', 'c1'
#向表中的某一个列插入值
hbase(main):000:0> put 't1', 'r1', 'c1', 'value’, ts1
#扫描表的全部数据
hbase(main):000:0> scan 't1'
#清空表的所有数据
hbase(main):000:0> truncate

测试查看文件

#进入命令行
hbase shell
hbase(main):011:0> create 'test', 'cf1', 'cf2'
hbase(main):012:0> put 'test', '1','cf1:name','nier'
hbase(main):013:0> put 'test', '1','cf2:vip','1'
hbase(main):014:0> put 'test', '1','cf1:age','18'
hbase(main):015:0> scan 'test'
hbase(main):016:0> put 'test', '2','cf1:name', 'lisi'
#ROW                        COLUMN+CELL
# 1                         column=cf1:age, timestamp=1612718814186, value=18
# 1                         column=cf1:name, timestamp=1612718783836, value=neir
# 1                         column=cf2:vip, timestamp=1612718803153, value=1
# 2                         column=cf1:name, timestamp=1612719045885, value=lisi
#2 row(s)

#触发写入内存溢写(默认满64M)
flush 'test'

#然后再开一个shell, 切换到hbase的
cd /tmp/test/hbase/data/default/test
#查看 region ID
ll
#目前生成的regionId号是: 236276d5c60a15e9ad2c1e80a28612d3
#进入 region
cd 236276d5c60a15e9ad2c1e80a28612d3 && ll
#可以看到是按每个列族一个文件进行存储
#drwxrwxrwx 2 root root 6 Feb  7 12:25 cf1
#drwxrwxrwx 2 root root 6 Feb  7 12:25 cf2

#进入cf1列族
cd cf1
#查看文件内容(需要触发溢写: 可通过 flush 'test' 命令)
#注意: -f 后面需要接绝对路径
hbase hfile -p -f file:/tmp/test/hbase/data/default/test/236276d5c60a15e9ad2c1e80a28612d3/cf1/86c2160dc7cf4742b1b8343692c8923f
#可以看到如下信息
#K: 1/cf1:age/1612718814186/Put/vlen=2/seqid=6 V: 18
#K: 1/cf1:name/1612718783836/Put/vlen=4/seqid=4 V: nier
#K: 2/cf1:name/1612719045885/Put/vlen=4/seqid=7 V: lisi
#Scanned kv count -> 3

#再到hbase的shell中
hbase(main):017:0> put 'test', '1','cf1:name', 'neir999'
hbase(main):018:0> scan 'test'
ROW                        COLUMN+CELL
# 1                         column=cf1:age, timestamp=1612718814186, value=18
# 1                         column=cf1:name, timestamp=1612719953209, value=neir999
# 1                         column=cf2:vip, timestamp=1612718803153, value=1
# 2                         column=cf1:name, timestamp=1612719045885, value=lisi
#2 row(s)
hbase(main):019:0> flush 'test'

#查看文件
cd /tmp/test/hbase/data/default/test/236276d5c60a15e9ad2c1e80a28612d3/cf1 && ll
#发现多了一个文件
#-rw-rw-rw- 1 root root 4834 Feb  7 12:47 167cb3cd6ca84f6ca90dc71c5303eab7
#-rw-rw-rw- 1 root root 4895 Feb  7 12:40 86c2160dc7cf4742b1b8343692c8923f
#再查看新增的文件
hbase hfile -p -f file:/tmp/test/hbase/data/default/test/236276d5c60a15e9ad2c1e80a28612d3/cf1/167cb3cd6ca84f6ca90dc71c5303eab7
#发现是新的操作的记录
#K: 1/cf1:name/1612719953209/Put/vlen=7/seqid=11 V: neir999
#Scanned kv count -> 1
SOUL-GIN
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase 在集群中对表(ddl)和数据(dml)的相应操作
做事要趁早的博客
11-13 1190
HBase 在集群中对表(ddl)和数据(dml)的相应操作 HBase特点 要开启hbase之前必须先开启hdfs和zookeeper(关闭将start改为stop即可) 启动hdfs：my_hadoop.sh start 启动zookeeper：zk.sh start 启动hbase：bin/start-hbase.sh 表(ddl)：增加：create，修改：alter，删除：drop，查看所有：list，查看版本号：describe 数据(dml)：增加：put，修改：put
HBaseDDL语法(超级详细)
最新发布
互联网知识分享
05-04 483
注：在hbase shell 里面退格是没有用的，要ctrl+退格才可以)命名空间就是数据库，只是叫法不一样。进入HBase客户端命令行。查看当前数据库中有哪些表。查看当前命名空间有哪些。前提该空间下面没有表。列出命名空间的所有表。
HbaseDDL操作
Deng872347348的博客
01-08 627
HbaseDDL操作 文章目录HbaseDDL操作Hbase Shell 命令类型使用HBase的准备工作，下面以完全分布式为例：HBase Shell命令：DDL(Data Definition Language) 数据定义语言DDL(Data Definition Language) 数据定义语言 Hbase Shell 命令类型 Group name Commands general status,version,help dml alter,create,disable,dele
HBase：命令的使用(ddl)
编程学习者的博客
06-14 1084
1.声明 当前内容主要用于本人学习和复习，当前的内容为测试ddl命令 2.查看ddl命令 alter（添加删除列族） alter_async (直接操作不等待，和上面的alter一样) alter_status （获取alter命令的执行状态） clone_table_schema （复制表结构，不复制表内容） create （创建表） describe (查看表结构) disable (禁用表) disable_all (禁用所有表) drop (删除表) drop_all (删除所有表) enabl
Hbase中API的DML和DDL操作
mo
07-24 304
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.Bytes; import java.io.IOException; import java.util.ArrayList; import java.util.List; public clas.
大数据开发之Hbase基本使用及存储设计实战教程（视频+笔记+代码）
04-17
│ Day15[Hbase 基本使用及存储设计].pdf │ ├─02_视频 │ Day1501_Hbase的介绍及其发展.mp4 │ Day1502_Hbase中的特殊概念.mp4 │ Day1503_Hbase与MYSQL的存储比较.mp4 │ Day1504_Hbase部署环境准备.mp4 │ Day...
shell 命令行中操作HBase数据库实例详解
09-15
通过这些基本操作，我们可以在Shell命令行中轻松管理HBase数据库。无论是创建、查询、更新还是删除数据，HBase Shell提供了一套完整的命令集，使得在大规模数据处理时变得更为高效和便捷。记得在进行任何操作前，...
hbase的操作命令.docx
05-07
本文档主要涵盖了HBase的一般操作、DDL（Data Definition Language）操作和DML（Data Manipulation Language）操作，适用于学习和日常使用。 首先，我们来看一般操作。查询服务器状态是监控HBase集群健康状况的重要...
HBase安装配置与部署运行
06-23
包括基本的数据操作，如建表、删表、统计（DML操作）以及数据的创建、更新、删除和查询（DDL操作）。最新版本为v1.0，由Shuyi-Lee于2013/6/21创建，旨在促进技术交流并对外公开。 1. 编写目的 本指南的目的是为...
Hbase2.2.0集群部署.docx
09-14
Hbase2.2.0集群部署 Hbase是基于Hadoop的分布式、面向列的NoSQL数据库，具有高可扩展性和高性能的...通过这些步骤，我们可以成功部署Hbase2.2.0集群，并使用Hbase Shell和Hbase DDL/DML语言来管理和操作Hbase数据库。
hbase DDL(创建删除命名空间、表) DML(增改 查 以及 删除 DeleteFamily DeleteColumn Delete) API
热门推荐
不是一枚开发
06-19 4万+
1.2 创建命名空间、创建表 2.2 插入数据 注：执行删除整个RowKey数据，所添加的标记，作用范围：当前列族小于等于标记时间戳的数据
Hbase DDL and DML
东北溜达滑的博客
10-31 273
1 DDL 1.1 建表 create ：建表 hbase(main):010:0> create 'user_info','base_info','extra_info' => Hbase::Table - user_info hbase(main):043:0> create 'ns1:user_info', {NAME=>'base_info', BLOOMFI...
Hbase-day02-DDL和DML入门
AlphaG的博客
11-23 1240
1：基本操作 1：进入Hbase客户端命令行 [atguigu@hadoop102 hbase]$ bin/hbase shell 2：查看帮助命令 hbase (main):001:0> help 3：查看当前数据库中有哪些表 hbase (main):002:0> list 2：表的操作 1：创建表 hbase (main):002:0> create 'student','info' stud...
HBase学习之Shell操作（DDL + DML）心得
ljs_0的博客
05-29 713
HBase Shell 操作
HBase- ddl（表操作）、dml（记录操作）的基本语法操作
GYT0313
11-17 2668
1. ddl 操作 主要针对表为对象进行操作，如创建表、修改表、删除表等。 设计表 students 作为演示： students 创建表 hbase(main):091:0&gt; create 'students','stu_id','basic_info','school_info' 0 row(s) in 2.3350 seconds =&gt; Hbase::Table - st...
HBase（印象笔记）DDL及DML操作
学海无涯的博客
10-11 566
DML操作（Data Manipulation Language 数据操作语言） package main.java.com.etc; import java.io.IOException; import java.util.ArrayList; import java.util.Iterator; import org.apache.hadoop.conf.Configuration; impo...
HBase API快速入门-DDL操作
weixin_46524944的博客
07-19 195
所需pom文件 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.3</version> </dependency> <dependency> <groupId>junit</groupId> .
Hbase常用SQL-DDL与DML汇总
Evankaka的专栏
02-22 3352
Hbase是一个非关系型，面向列族的数据库，其插入和查询的性能远高于一般关系型数据库，下面主要来看一下一些常用的sql.
HBase shell的DDL和DML
风情
04-13 459
======================DDL======================= 查看当前hbase集群的状况 status 查看版本 version 查看所有的表 list 创建表 create 'student','student_id','address','info' student:表名 student_id、address、info：列族(column family) ...
hbase的安装与基本操作
05-04
以下是HBase的安装和基本操作步骤： 1. 安装Java：首先需要确保Java已经安装在您的系统上。 2. 安装Hadoop：HBase需要Hadoop作为其基础，所以需要先安装Hadoop。 3. 下载和安装HBase：从HBase官方网站下载最新...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值