hadoop
写程序的小能
这个作者很懒,什么都没留下…
展开
-
虚拟机中搭建的hadoop ha平台,每次重启之后要进行格式化
格式化hdfs (1)删除zookeeper上的节点 (1)删除dfs.namenode.name.dir配置下的目录中的内容 删除dfs.datanode.data.dir配置下的目录中的内容 每个节点都进行删除 (2)先启动journal服务 hadoop-daemons.sh start journalnode 格式化namenode hdfs nam...原创 2018-07-17 16:32:36 · 1300 阅读 · 0 评论 -
Permission denied: user=administrator, access=WRITE,inode=....;:root:supergroup:drwxr-xr-x
设置本地开发环境系统变量,添加HADOOP_USER_NAME=root(HDFS上的有权限的用户,具体看自己的情况) 参考:https://blog.csdn.net/xiaoshunzi111/article/details/52062640 同时也要注意jdk环境变量是否一致,开发环境与hadoop的jdk版本是否一致...转载 2018-07-23 10:06:40 · 378 阅读 · 0 评论 -
本地运行java操作hbase报错:HADOOP_HOME or hadoop.home.dir are not set.
在本地解压一个hadoop压缩包,并配置环境变量 参考:https://blog.csdn.net/darkdragonking/article/details/72636917转载 2018-07-19 17:21:46 · 4547 阅读 · 1 评论 -
HBase HA集群搭建与HDFS HA集群集成(也有助于解决报错:HBase Operation category READ is not supported in state standby)
1.修改hbasesite.xml 2.需要把hadoop目录下的hdfs-site.xml和core-site.xml复制到hbase的conf目录下 3.将配置好的hbase远程发送到其他节点 4.启动(启动hbase ha集群亲必须先启动zookeeper集群与hdfs集群) hadoop01:start-hbase.sh hadoop02:手动启动HMaste,h...原创 2018-07-20 22:07:37 · 530 阅读 · 0 评论 -
hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)
1.启动mysql(作为hive的数据库,没有的话可以不用启动)执行service mysql start验证service mysql status2.启动hdfs ha集群(1)启动zookeeper启动 (每个节点都要执行)zkServer.sh start验证 是否启动成功(每个节点都要执行)zkServer.sh status(2)启动journalnode服务(单个启动、多个进程启动)...原创 2018-07-15 16:57:51 · 4540 阅读 · 0 评论 -
HBase HA集群启动步骤(包括thrift2服务启动)
1.先在hadoop01节点上启动 start-hbase.sh 当web-ui页面可以访问到之后,hadoop01节点上的hbase就完全启动 2.完全启动节点1上的hbase之后,手动在hadoop02节点上开启hmaster服务 hbase-daemon.sh start master 3.上面两步就是正常启动hbase的ha集群,下面启动hbase 的thrif服务(本...原创 2018-09-18 15:26:38 · 3150 阅读 · 0 评论