Code-Hadoop
文章平均质量分 76
Olge
加油
展开
-
基于docker搭建hadoop集群
目前线上环境都是传统的虚机,所以docker在日常开发中大部分是用来在本地搭建开发用的一些中间件比如redis、kafka啥的,不得不说,docker这个东西到目前没有感觉还是挺好的,最主要的是它比vm ware轻太多了,一般如果用vm ware的话,开四五台已经是上限了,但是如果用docker,限制就会笑很多,而且,搭建好的环境还可以导出镜像,已被在其他地方使用,很方便。 目前正准备复习和总结一...原创 2019-11-30 00:49:18 · 397 阅读 · 1 评论 -
大数据(Hadoop)-MapReduce
MapReduce计算模型是大数据处理模式的鼻祖,这种模型很容易实现数据处理对并行化,并且编程模型简单,但对于复杂的运算逻辑往往需要大量的代码。 MapReduce任务涉及到的组件 在hadoop1.x中,MapReduce的运行依赖于JobTracker和TaskTracker,但在最新的hadoop版本中,以及被yarn替代,涉及到的主要组件有: 1)ResourceManager:...原创 2018-06-08 07:34:16 · 399 阅读 · 0 评论 -
大数据(Hadoop)-HDFS原理
HDFS源自于Google在2003年10月发表的GFS论文,它是一个分布式文件系统,具有高容错,易扩展,存储量大,能够运行在廉价机上等特点,已经被很多企业广泛引用于基础等存储服务。 组件 HDFS中等核心组件主要有两个,一个是NameNode,一个是DataNode。 NmeNode负责管理集群等元数据信息,以及数据分布,DataNode负责存储具体等数据。HDFS存储数据的基本单位是数据...原创 2018-06-06 22:06:04 · 1545 阅读 · 0 评论 -
大数据(Hadoop)-搭建开发环境
集群节点规划 hadoop01:192.168.58.200 hadoop02:192.168.58.201 hadoop03:192.168.58.202 zookeeper:hadoop01,hadoop02,hadoop03 namenode:hadoop01,hadoop02 datanode:hadoop01,hadoop02,hadoop03 resoucemanager:h...原创 2018-06-06 11:25:17 · 274 阅读 · 0 评论 -
Hadoop-MapReduce应用案例
数单词数据源China officially the People's Republic of China (PRC) is a unitary sovereign state in East Asia With a population of over 1 381 billion it is the world's most populous state [16] The state is原创 2016-11-16 13:00:56 · 1262 阅读 · 0 评论