Hbase部署注意点

最新推荐文章于 2024-05-14 05:32:08 发布
最新推荐文章于 2024-05-14 05:32:08 发布
阅读量3.1k 收藏 3
点赞数 2
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhao_ru_jie/article/details/86438795
版权

Hbase部署注意点

Hbase集群环境搭建

近期用2.1.2版本部署分布式Hbase Ubuntu搭建环境, 遇到一些问题,供参考.

路径权限

单机版本部署时,配置hbase.rootdir目录,确保hbase用户在对应的目录有足够的权限, 否则HMaster服务启动失败, 对应日志会报IO异常:
2019-01-13 05:17:25,688 ERROR [main] master.HMasterCommandLine: Master exiting java.io.IOException: Unable to create data directory /home/testuser/zookeeper/zookeeper_0/version-2 at org.apache.zookeeper.server.persistence.FileTxnSnapLog.<init>(FileTxnSnapLog.java:85) at org.apache.zookeeper.server.ZooKeeperServer.<init>(ZooKeeperServer.java:224) at org.apache.hadoop.hbase.zookeeper.MiniZooKeeperCluster.startup(MiniZooKeeperCluster.java:230) at org.apache.hadoop.hbase.zookeeper.MiniZooKeeperCluster.startup(MiniZooKeeperCluster.java:188) at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:210) at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:140) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:149) at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:3103)

版本缺陷

集群(Cluster)部署时, 启动失败, 原因该版本加载如下错误jar包:
htrace-core4-4.2.0-incubating.jar 和 htrace-core-3.1.0-incubating.jar
解决办法是将这两个jar文件删除或更名, 使其禁止调用/usr/local/hbase/lib/client-facing-thirdparty目录下该文件. (源代码还没细看, 后面研究)

2019-01-13 08:01:44,625 ERROR [main] regionserver.HRegionServer: Failed construction RegionServer
java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilder
	at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:644)
	at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:628)
	at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:149)
	at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
	at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:93)
	at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2701)
	at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2683)
	at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:372)
	at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
	at org.apache.hadoop.hbase.util.CommonFSUtils.getRootDir(CommonFSUtils.java:362)
	at org.apache.hadoop.hbase.util.CommonFSUtils.isValidWALRootDir(CommonFSUtils.java:411)
	at org.apache.hadoop.hbase.util.CommonFSUtils.getWALRootDir(CommonFSUtils.java:387)
	at org.apache.hadoop.hbase.regionserver.HRegionServer.initializeFileSystem(HRegionServer.java:697)
	at org.apache.hadoop.hbase.regionserver.HRegionServer.<init>(HRegionServer.java:606)
	at org.apache.hadoop.hbase.master.HMaster.<init>(HMaster.java:489)
	at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at java.base/jdk.internal.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.base/java.lang.reflect.Constructor.newInstance(Constructor.java:490)
	at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:3085)
	at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:236)
	at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:140)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:149)
	at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:3103)
Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder
	at java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:583)
	at java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:178)
	at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:521)
	... 25 more
2019-01-13 08:01:44,634 ERROR [main] master.HMasterCommandLine: Master exiting
java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster. 
	at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:3092)
	at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:236)
	at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:140)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:149)
	at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:3103)
Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilder
	at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:644)
	at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:628)
	at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:149)
	at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
	at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:93)
	at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2701)
	at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2683)
	at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:372)
	at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
	at org.apache.hadoop.hbase.util.CommonFSUtils.getRootDir(CommonFSUtils.java:362)
	at org.apache.hadoop.hbase.util.CommonFSUtils.isValidWALRootDir(CommonFSUtils.java:411)
	at org.apache.hadoop.hbase.util.CommonFSUtils.getWALRootDir(CommonFSUtils.java:387)
	at org.apache.hadoop.hbase.regionserver.HRegionServer.initializeFileSystem(HRegionServer.java:697)
	at org.apache.hadoop.hbase.regionserver.HRegionServer.<init>(HRegionServer.java:606)
	at org.apache.hadoop.hbase.master.HMaster.<init>(HMaster.java:489)
	at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at java.base/jdk.internal.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.base/java.lang.reflect.Constructor.newInstance(Constructor.java:490)
	at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:3085)
	... 5 more
Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder
	at java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:583)
	at java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:178)
	at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:521)
	... 25 more

配置注意事项

hbase.unsafe.stream.capability.enforce 在分布式情况下, 一定设置为false
hbase.rootdir 端口号与hadoop core-site.xml 中的fs.defaultFS保持严格一致,不然HMaster启动失败.

Hbase-site.xml

<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop-master:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zookeeper</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
</configuration>

测试结果

jps 查看进程状态
在这里插入图片描述

[http://localhost:16010/master-status]
在这里插入图片描述

zhao_ru_jie
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HBase分布式启动失败
syyyyyyyyyyyyyyh的博客
06-15 178
某一个HMaster无法启动 在HBASE_HOME/lib下找不到某个类 还有一种可能是存放hbase日志的目录权限，不属于hadoop:hadoop cp lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar lib/ 2021-06-15 20:25:16,717 ERROR [main] regionserver.HRegionServer: Failed construction RegionServer java.lan
Hbase部署
weixin_58941637的博客
12-19 116
配套安装： Hadoop 3.1.3 Zookeeper3.5.7 Hbase2.2.0 一、文件解压 cd /opt/module/ tar -zxvf hbase-2.2.0-bin.tar.gz 二、修改启动变量 系统环境变量增加 vi /etc/profile export HBASE_HOME=/opt/module/hbase-2.2.0 export PATH=$PATH:$HBASE_HOME/bin 保存系统环境变量：source /etc/profile 修改hbase变量 cd
HBase官方指南——配置详解篇
09-04
HBase官方指南——配置详解篇；HBase官方指南——配置详解篇
2024年最全【hadoop】hbase的安装部署以及相关操作（图文详解）_hbase安装，字节跳动+京东+美团+腾讯面试总结
最新发布
2401_84182146的博客
05-14 1482
例如，要表示hdfs中的’/hbase’目录，namenode 运行在namenode.example.org的9090端口。因为HBase依赖于Hadoop的分布式文件系统HDFS和资源管理框架YARN，而且HBase的各个版本都会对Hadoop的版本有一定的要求。在Zookeeper中，需要配置Zookeeper集群，以支持HBase的分布式环境下的协调和管理。HBase的运行模式。进入hbase配置文件路径，编辑hbase-env.sh配置文件，然后把以下圈起来的两行给注释掉，就不会报错了。
HBase环境配置之路
u013782879的博客
12-08 309
1. 在官网下载了 hbase-2.1.1 文件包，解压在  、usr/local/src目录下 2.在配置hbase-env.sh  export JAVA_HOME=/usr/local/src/jdk1.8.0_191 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib export HBASE_MANAGES_ZK=true 3.配置hbase...
云服务器搭建Hbase注意事项
sinat_37372543的博客
05-07 229
我的情况比较特殊，三台服务器分别来自BAT，导致在搭建过程中各种问题。 1. 首先要在控制台中将对应端口的权限开放 2. Hbase集群中的机器都要将/etc/hosts 添加一项 master外网IP master，否则会造成unkown hostname ...
HBase 注意事项
timchen525的专栏
08-12 1225
HBase 注意事项和易错知识点
hbase-2.2.2单机一键部署工具
07-16
注意：zookeeper3.4.13和hbase2.2.2都是采用docker-compose方式部署 原文链接：https://blog.csdn.net/m0_37814112/article/details/118794130 说明：使用外部zookeeper之hbase2.2.2一键部署工具，支持部署、启动、...
hbase-2.3.5单机一键部署工具
10-23
注意：zookeeper3.4.13和hbase2.3.5都是采用docker-compose方式部署 原文链接：https://blog.csdn.net/m0_37814112/article/details/120915194 说明：使用外部zookeeper3.4.13之hbase2.3.5一键部署工具，支持部署、...
9-安装部署HBase1
08-08
在本文中，我们将深入探讨如何在已经成功安装和运行的Hadoop集群上安装...同时，注意监控系统的资源使用情况，以确保HBase和Hadoop的稳定运行。在实际生产环境中，可能还需要考虑其他因素，如安全性配置、性能调优等。
HBASE 完整教程.docx
11-17
在HBase中，表被分割成区域，并由区域服务器提供服务。区域被列族垂直分为“Stores”。Stores被保存在HDFS文件。下面显示的是HBase的结构。 注意：术语“store”是用于区域来解释存储结构。
大数据运维技术第7章 HBase组件安装与配置课件.pptx
06-22
HBase相关知识;...既然HBase是数据库，那么数据库从根本上来说就是存储表Table的，但是必须注意HBase并非是传统的关系型数据库(例如：MySQL、Oracle)，而是非关系型数据库，因为HBase是一个面向列的分布
win10 安装zookeeper 遇到的问题 Unable to create data directory data .....
落日的博客
04-05 3925
问题：点击zkService.cmd运行窗口一闪而过 安装步骤 直接解压之后完成以下配置 在zookeeper安装目录下创建data文件夹 进入conf文件夹 将conf目录下的zoo_sample.cfg文件重命名为zoo.cfg，然后修改zoo.cfg配置文件 dataDir=你刚才创建的data文件夹的绝对路径 设置环境变量,在系统环境变量添加ZOOKEEPER_HOME名，地址是指向你...
HBase编程实践
qq_50917794的博客
10-11 946
HBase编程实践一、HBase 2.2.2安装二、HBase配置伪分布式模式配置三、HBase编程实践利用Shell命令HBase Java API编程实践 一、HBase 2.2.2安装 1.1解压安装包hbase-2.2.2-bin.tar.gz至路径 /usr/local，命令如下： 1.2 将解压的文件名hbase-2.2.2改为hbase，以方便使用，命令如下： cd /usr/local sudo mv ./hbase-2.2.2 ./hbase 下面把hbase目录权限赋予给hadoop用
HBase 系列（三）—— HBase 基本环境搭建
weixin_30362083的博客
08-24 543
一、安装前置条件说明 1.1 JDK版本说明 HBase 需要依赖 JDK 环境，同时 HBase 2.0+ 以上版本不再支持 JDK 1.7 ，需要安装 JDK 1.8+ 。JDK 安装方式见本仓库： Linux 环境下 JDK 安装 1.2 Standalone模式和伪集群模式的区别 在 Standalone 模式下，所有守护进程都运行在一个 jvm 进程/实例中； 在伪分布模...
云计算与大数据实验七 HBase的安装与基本操作
qq_64314976的博客
12-31 1832
非常消耗资源，所以你在长时间没使用命令行后台会回收资源，如果你想保持环境不被注销，请在弹出延时窗口时点击延时，并且保持操作命令行，这样可以保持你的环境一直持续。要新建一个表，首先必须要给它起个名字，并为其定义模式，一个表的模式包含表的属性和列族的列表。的安装也分为三种，单机版、伪分布式、分布式；当然我们肯定还会有一个需求：查看所有的数据。不改这个配置，数据会在重启的时候丢失；有时候我们还想将创建好的表删除，怎么做呢？需要是'完全正确'的，还要包含文件系统的。现在，我们来创建一个简单的表。
自学大数据第十一天~Hbase
Gavin
03-28 487
通过这种方式实现的工具主要有 Hindex(华为开发); 专门针对Hbase数据库开发,支持多个表的索引也支持多个列的索引,也支持基于部分列值的索引; 但是这会对机器的性能带来影响,每插入一条数据,就会向索引表插入数据,这回加大对IO的消耗;
Hadoop之Hbase的配置（详细步骤）
大数据
11-03 5457
前期准备 将 hadoop-2.7.6.tar.gz压缩包上传到xshell并解压 解压命令 tar -zxvfhadoop-2.7.6.tar.gz tar -zxvfhadoop-2.7.6.tar.gz 配置 1、配置 hbase-env.sh vim hbase-env.sh 在文件最后面增加 export JAVA_HOME=/home/ZQ/jdk1.8.0_271 export HBASE_MANAGES_ZK=true 2、配置 hbase-site.x..
hbase的安装部署
10-20
下面是HBase的安装部署过程： 1.下载HBase安装包并解压缩。 2.配置HBase环境变量，将HBase的bin目录添加到PATH环境变量中。 3.修改HBase配置文件，主要包括hbase-env.sh、hbase-site.xml和regionservers等文件。其中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhao_ru_jie

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值