![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
02hadoop
zsd_31
这个作者很懒,什么都没留下…
展开
-
Zookeeper系列一:Zookeeper基础命令操作
描述了zookeeper的客户端的基本操作命令,详细而且有例子,真的很贴心。 引用: https://juejin.cn/post/6844903615992168461转载 2020-12-25 10:12:37 · 85 阅读 · 0 评论 -
CDH集群配置文件、日志、jar包以及安装目录汇总
一、总结目的 因为CDH集群的配置、日志、jar包以及安装文件的目录非常多,而且分散,每次绕进去就有种绕不出来的感觉。所以,下决心总结一下,防止自己后面采坑。 详细内容详见: 本文链接:https://blog.csdn.net/u010886217/article/details/90045863 ...转载 2020-01-16 14:23:36 · 308 阅读 · 0 评论 -
【干货】听HPE Vertica技术大咖,谈谈大数据和MPP高效的计算框架(下)
如果您已经看过上期的内容,一定对大数据和HPE Vertica有了更为深刻的认识。接下来,我们就趁热打铁,继续为您带来刘定强先生关于大数据和MPP高效计算框架的分享。 Vertica,关系型数据库 Vertica是HPE一个重要的大数据产品,它的本质是一个MPP架构的关系数据库。对比以前的Oracle、SQL Server、DB2,Vertica在功能上没有什么差别,但是它专注于大数据的分析,...转载 2019-12-09 13:53:11 · 499 阅读 · 0 评论 -
【干货】听HPE Vertica技术大咖,谈谈大数据和MPP高效的计算框架(上)
关于大数据这个概念,你一定不陌生了。但是,你知道大数据的“三生三世”吗?你知道大数据圈子里的“百家争鸣”吗... 如果都不清楚,没关系,不妨就跟着HPE资深大数据架构师刘定强先生一起探索吧! 刘定强先生是HPE资深大数据架构师,Vertica全球顶级专家之一,海数据社区专家委员;具有多个PB级的大型MPP项目实施经验;熟悉国内大型互联网公司如Facebook,Twitter,Uber等...转载 2019-12-09 13:51:25 · 489 阅读 · 0 评论 -
获得当前 RM 的 active 和 standby 状态
集群关系图:说明: 为了更加通俗的说明,笔者将两台运行 resourcemanager 进程的主机名抽象为 RM1 和 RM2,笔者更倾向 RM1 上的运行的是 active 状态的 resourcemanager 进程,RM2 上的运行的是 standby 状态的 resourcemanager 进程,而实际操作中,master5 就是这个 RM1 ,master52 就是这个 RM2。抽象主机...转载 2018-04-09 16:40:33 · 2386 阅读 · 0 评论 -
hadoop2.6安装
1、解压压缩包 tar -zxvf hadoop-2.7.1_64bit.tar.gz 2、进入配置文件目录 cd /usr/local/bigdata/hadoop-2.7.1/etc/hadoop 3、修改hadoop-env.sh 增加jdk export JAVA_HOME=/usr/local/jdk1.8.0_144 export HADOOP_CONF_DIR=/usr原创 2018-02-05 15:56:57 · 329 阅读 · 0 评论 -
Hadoop2体系结构
hadoop1.0需要解决的几个问题: 1:单点故障问题,HDFS和MapReduce都是Master-Slave的结构,但是Master节点都是单点,一旦出现故障,那么集群就不能正常运行。 2:HDFS存储海量数据是按照Block来存储的,整个存储只有一种格式,企业存储受限,企业的数据非常多样,存储起来容易造成资源的浪费。 当namenode所在机器转载 2017-12-19 13:58:47 · 159 阅读 · 0 评论 -
hadoop2.x 常用端口及定义方法
一 常用端口号 1 HDFS2 YARN3 HBase4 Hive5 ZooKeeper 二 Web UIHTTP服务 1 对于存在 Web UIHTTP服务的所有 hadoop daemon 有如下 url2 特定的 Daemon 又有特定的 URL 路径特定相应信息 一. 常用端口号 Hadoop 集群的各部转载 2017-12-14 14:45:24 · 174 阅读 · 0 评论 -
Hadoop双namenode配置搭建(HA)
版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+] 配置双namenode的目的就是为了防错,防止一个namenode挂掉数据丢失,具体原理本文不详细讲解,这里只说明具体的安装过程。 Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark转载 2017-12-08 20:36:52 · 273 阅读 · 0 评论