Hadoop系统感悟1

最新推荐文章于 2024-05-06 11:37:09 发布

zhoucs86

最新推荐文章于 2024-05-06 11:37:09 发布

阅读量409

点赞数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/zhoucs86/article/details/83315476

版权

近期手动搭建了一套hadoop系统，讲下体会和一些踩过的坑

首先是将公钥在各个节点的authorized host之间同步，然后依次安装HDFS,HIVE,SQOOP等等。遇到的坑主要是SQOOP抽数的时候会寻找一个class文件在tmp/sqoop下面会提示找不到这个class需要手动拷到目录下

然后是hive的metastore互导，其实schematool就是使用了hive/script下的脚本建立的数据库，基本就是将原来的mysqldump出来然后依次执行各个升级脚本就可以了，然后更新DBS,SDS当中的location。由于外部表的schema在HDFS上面所以直接查会找不到

其后就是安装了ZK，遇到的坑是配置了集群后启动不了，后来发现是data目录下面没有加myid这个东西。总体来说zk的概念是有瞬态和固有节点，然后可以设置为递增模式。server之间是靠CAP同步的，client可以接入到server。可以同步一些东西，也可以做集群管理。

todo：研究kafka，研究zk的分布式锁

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Hadoop系统感悟1

近期手动搭建了一套hadoop系统，讲下体会和一些踩过的坑首先是将公钥在各个节点的authorized host之间同步，然后依次安装HDFS,HIVE,SQOOP等等。遇到的坑主要是SQOOP抽数的时候会寻找一个class文件在tmp/sqoop下面会提示找不到这个class需要手动拷到目录下然后是hive的metastore互导，其实schematool就是使用了hive/...
复制链接

扫一扫

zhoucs86 CSDN认证博客专家 CSDN认证企业博客

码龄12年

41: 原创

12万+: 周排名

208万+: 总排名

4万+: 访问

: 等级

755: 积分

4: 粉丝

6: 获赞

5: 评论

11: 收藏

私信

关注

热门文章

分类专栏

os three easy piece 1篇
docker 3篇
etcd 1篇
算法 5篇
redis 1篇
a
flink 9篇
zookeeper
spring 1篇
canal 1篇
net t y
netty 2篇

最新评论

转发 flink的 memorysegment
Captain_Karen: 看了几篇讲MemorySegment的，这篇算是讲的比较系统。赞一个
运行flink on yarn遇到的一些问题
Tisfy: 我曾经流连于宋元的词曲，但刚发现此文甚妙！
linux namespace 读后感--UTS NAMESPACE PID
皇家肆掠者: 为何我的执行为空？readlink /proc/$$/ns/mnt
树遍历
zhoucs86: package zkUtil; import org.I0Itec.zkclient.ZkClient; import org.I0Itec.zkclient.ZkConnection; /** * Created by zhou1 on 2019/3/12. */ public class ZKlient { /** session超时时间 */ static final int sessionTimeout = 5000; final String connectString; final String jobDataPath; ZkClient zkClient; public ZKlient(String jobType, String zkAddr) throws Exception{ connectString = zkAddr; zkClient = new ZkClient(new ZkConnection(connectString), sessionTimeout); jobDataPath = String.format("/job/%s",jobType); if(!zkClient.exists(jobDataPath)){ zkClient.createPersistent(jobDataPath,true); } } public boolean checkJobConfExists(final String groupName,final String jobName){ final String jobPath = String.format("%s/%s/%s",jobDataPath,groupName,jobName); return zkClient.exists(jobPath); } public void setNodeValue(final String groupName,final String jobName,final String jobValue){
数据库锁
LovelyBear2019: 很棒，持续关注!

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。