- 博客(8)
- 收藏
- 关注
RSS订阅原创 大数据（Azkaban）-安装
azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz /home/hadoop/applications/azkaban mkdir webserver mkdir executor mkdir sq...
2018-06-30 10:37:13
391
原创 大数据（Hive）-原理
简介Hive由Facebook开源，是一个构建才hadoop之上到数据仓库工具，可以把hdfs上到结构化数据映射成表，并通过mapreduce进行统计分析。Hive支持SQL-92标准，通过HQL屏蔽了复杂到MapReduce，但由于hadoop本身的限制，hive不支持随机修改表中的数据，也不支持追加操作。 Hive的优点学习成本低能够快速实现复杂的数据分析屏蔽mapre...
2018-06-10 12:08:33
1510
2
原创 大数据（Hive）-安装
下载hive安装包https://hive.apache.org/downloads.html安装1.上传安装包到服务器path:/home/hadoop/applications/hive2.解压>tar -xzvf apache-hive-1.2.2.bin.tar.gz3.创建软连接>su root>ln -s /home/hadoop/app...
2018-06-10 10:46:55
330
原创 大数据（环境）-集群环境规划
机器hadoop01:192.168.58.200hadoop02:192.168.58.201hadoop03:192.168.58.202宿主机192.168.58.4客户机192.158.58.5Hadoop集群namenode:hadoop01,hadoop02datanode:hadoop01,hadoop02,hadoop03resourcema...
2018-06-09 22:14:35
1035
原创 大数据（Hadoop）-MapReduce
MapReduce计算模型是大数据处理模式的鼻祖，这种模型很容易实现数据处理对并行化，并且编程模型简单，但对于复杂的运算逻辑往往需要大量的代码。MapReduce任务涉及到的组件在hadoop1.x中，MapReduce的运行依赖于JobTracker和TaskTracker，但在最新的hadoop版本中，以及被yarn替代，涉及到的主要组件有： 1）ResourceManager：...
2018-06-08 07:34:16
399
原创 大数据（Hadoop）-HDFS原理
HDFS源自于Google在2003年10月发表的GFS论文，它是一个分布式文件系统，具有高容错，易扩展，存储量大，能够运行在廉价机上等特点，已经被很多企业广泛引用于基础等存储服务。组件HDFS中等核心组件主要有两个，一个是NameNode，一个是DataNode。NmeNode负责管理集群等元数据信息，以及数据分布，DataNode负责存储具体等数据。HDFS存储数据的基本单位是数据...
2018-06-06 22:06:04
1545
原创 大数据（Hadoop）-搭建开发环境
集群节点规划hadoop01:192.168.58.200hadoop02:192.168.58.201hadoop03:192.168.58.202zookeeper:hadoop01,hadoop02,hadoop03namenode:hadoop01,hadoop02datanode:hadoop01,hadoop02,hadoop03resoucemanager:h...
2018-06-06 11:25:17
274
原创 大数据（Zookeeper）-原理
Zookeeper架构zookeeper采用典型的分布式主从架构，主节点称为leader，从节点称为follower/observer，Leader负责处理事务性请求，follower/observer从leader同步数据，follower/observer负责非事务性请求。Zookeeper节点类型及职责leader：更新系统状态，处理事务请求，负责发起投票和决议fol...
2018-06-02 08:00:24
1518
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人