Hadoop
文章平均质量分 84
依琳小师妹
执着的追求技术!
展开
-
Hbase入门之系统架构
原创 2021-10-10 19:06:41 · 1938 阅读 · 0 评论 -
Java之美[从菜鸟到高手演练]之Linux下Hadoop的完全分布式安装
本来是想安装一个单节点的环境就好了,后来按装完了总觉得不够过瘾,于是今天继续研究一下,来一个完全分布式的集群安装。用到的软件和上一篇。原创 2015-01-14 19:59:25 · 17384 阅读 · 1 评论 -
Java之美[从菜鸟到高手演练]之Hadoop常用命令
这篇文章主要是讲一下位于bin下的hadoop命令,我们可以直接输入hadoop无任何参数看一下:用法就是:hadoop [---config confdir] COMMAND此处COMMAND就是下面列出来的那些,fs, version,jar 等等。原创 2015-01-15 16:39:27 · 23805 阅读 · 1 评论 -
Java之美[从菜鸟到高手演变]之eclipse连接hadoop集群
新建Map/Reduce项目,进入/home/adam/hadoop/share/hadoop/mapreduce/sources目录,解压hadoop-mapreduce-examples-2.6.0-sources.jar包,将里面的WordCount.java复制到新建的项目里,点击Run Configurations配置启动参数。dfs.replication,默认是3,要根据你的Datanode的个数来定,如果你仅有2个datanode,那么就写2,如果只有一个,就写1,大于或者等于3个,写3。原创 2015-01-18 09:40:58 · 16655 阅读 · 2 评论 -
Java之美[从菜鸟到高手演变]之Hadoop YARN的发展史与详细解析
本文摘自CSDN云计算专栏,点击链接阅读原文带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架,Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富多样的应用程序生态系统,包括 Apache Pig(一种强大的脚本语言)和 Apache Hive(一个具有类原创 2015-01-16 22:08:14 · 11689 阅读 · 0 评论 -
Java之美[从菜鸟到高手演练]之Hadoop原理及架构
本文摘自网友@x15594 的博客,介绍的很好,果断收藏,用来了解hadoop的原理及架构。阅读原文->Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。HDFSHDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。原创 2015-01-15 21:17:28 · 12454 阅读 · 0 评论 -
Java之美[从菜鸟到高手演练]之Linux下单节点安装Hadoop
现在开始要系统地学习下Hadoop了,虽然可能有点儿晚,但是还是想好好学习一下这门火爆的技术,让我们从安装环境开始。1. 编辑配置文件etc/hadoop/core-site.xml,etc/hadoop/hdfs-site.xml。2. 如果重复format namenode,记得要手动清理/tmp/hadoop-username 下的所有文件。完成这步,hadoop就简单的配置好了,我们可以进行深入一点儿的配置开启不同模式。将解压的包拷贝到/opt后,要对hadoop进行简单的配置。原创 2015-01-11 18:54:06 · 20373 阅读 · 2 评论 -
Java之美[从菜鸟到高手演练]之初识Hadoop
初识Hadoop这是一篇转载的文章,阅读原文请点击:原文地址Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。《Hadoop基础教程》是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史、核心技术和应用场景有了初步了解。Hadoop历史雏形开始于2002年的A原创 2015-01-11 19:10:56 · 13787 阅读 · 4 评论