- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Hadoop2体系结构
hadoop1.0需要解决的几个问题： 1：单点故障问题，HDFS和MapReduce都是Master-Slave的结构，但是Master节点都是单点，一旦出现故障，那么集群就不能正常运行。 2：HDFS存储海量数据是按照Block来存储的，整个存储只有一种格式，企业存储受限，企业的数据非常多样，存储起来容易造成资源的浪费。 当namenode所在机器
2017-12-19 13:58:47
169
转载 hadoop2.x 常用端口及定义方法
一 常用端口号1 HDFS2 YARN3 HBase4 Hive5 ZooKeeper二 Web UIHTTP服务1 对于存在 Web UIHTTP服务的所有 hadoop daemon 有如下 url2 特定的 Daemon 又有特定的 URL 路径特定相应信息一. 常用端口号Hadoop 集群的各部
2017-12-14 14:45:24
182
转载 spark on yarn图形化任务监控利器：History-server帮你理解spark的任务执行过程
在spark on yarn任务进行时，大家都指导用4040端口监控（默认是，设置其他或者多个任务同时会递增等例外）;辣么，任务结束了，还要看图形化界面，那就要开history-server了。CDH安装spark on yarn的时候，就自动安装了history的实例。现在不用CDH自带的spark（版本太久了），自己安装spark新版，所以还得具体配置。搜了一下帖子，2个步骤：
2017-12-08 20:39:54
1239
转载 Hadoop双namenode配置搭建（HA）
版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]配置双namenode的目的就是为了防错，防止一个namenode挂掉数据丢失，具体原理本文不详细讲解，这里只说明具体的安装过程。Hadoop HA的搭建是基于Zookeeper的，关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark
2017-12-08 20:36:52
284
转载 YARN内存使用优化配置
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每
2017-12-03 23:22:25
325
azkaban-common-0.1.0-SNAPSHOT.jar
2020-07-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人