- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 企业级HBase集群搭建
参考HBase的基本原理，本次实验在配置好的Hadoop HA集群之上， 将HMaster服务部署在HDFS的2个namenode1和namenode2节点，将RegionServer部署在datanode节点，使用独立的ZooKeeper集群进行搭建。
2016-11-04 08:16:03
393
原创 HBase 基本原理
简介HBase是Apache Hadoop生态系统中的重要一员，而且与hadoop一样，依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。HBase基于Google 的 BigTable 模型开发，是典型的键-值（key-value）存储系统。它将数据按照表、行和列的逻辑结构进行存储，是构建在HDFS之上的面向列、可伸缩的分布式数据库。与HDFS只能批量处理和顺序访问数据不同，HBa
2016-10-29 23:14:04
594
原创 Hadoop HA 集群搭建
概述1. 简介 针对Hadoop 1.x中NameNode的单点故障（SPOF）问题，Hadoop2.0的HA（High Avalability，高可用性）机制通过使用两个NameＮode（ＮＮ）实现对NameNode 的热备来解决这一问题。一个Active NameNode（ANN），状态是active；另一个是Standby NameNode（SNN），状态是standby。两者的状态可以切换
2016-10-22 10:09:41
341
原创 Hadoop 系统架构分析（1）
HDFS 文件系统HDFS是Hadoop Distribute File System 的简称，是Hadoop的分布式文件系统，适合运行在廉价的通用硬件上做大数据存储和分析。一、HDFS的主要特点HDFS 提供了高吞吐量的数据访问，可以存储超大的数据集，从几百MB、GB到TB级别。在该系统上最高效的访问模式就是“一次写入、多次读取”的流式数据访问。因此特别适用那种数据集生成后，需要对数据集做长时间
2016-09-26 16:00:48
588
原创 Hadoop 系统架构分析（2）
YARN 概述YARN 的本质是一个全局的资源管理器（ResourceManager，RM），它控制整个集群并管理基础计算资源在应用程序之间的分配。 资源管理器RM 和它在各个节点的代理——节点管理器（NodeManager，NM）构成了整个数据计算的框架。
2016-09-24 14:07:15
787
1
原创 Hadoop 系统架构分析（3）
MapReduce 计算框架MapReduce是一种分布式计算框架，非常适合于解决并行计算问题，比如TopN、贝叶斯分类等。这是一种两阶段的计算模型，主要分为Map和Reduce两个步骤。
2016-09-24 13:44:05
353
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人