hadoop
Sikalng
这个作者很懒,什么都没留下…
展开
-
《Apache Flume教程》第一章 Flume 的简介
摘要: Flume是一个标准,简单,强大,灵活和可扩展的工具,用于从各种数据生产者(网络服务器)到Hadoop的数据摄取。在本教程中,我们将使用简单和说明性的示例来解释ApacheFlume的基本知识以及如何在实践中使用它。 ... Flume是一个标准,简单,强大,灵活和可扩展的工具,用于从各种数据生产者(网络服务器)到Hadoop的数据摄取。在本转载 2017-12-08 11:45:43 · 359 阅读 · 0 评论 -
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利在 CentOS 中安装并运行 Hadoop。本 Hadoop 教程由给力星出品,转载请注明。环境本教程使用 CentOS 6.4 32位 作为系统环境,请自行转载 2017-12-08 17:18:21 · 268 阅读 · 0 评论 -
spark的安装和使用
spark最近出了2.0版本,其安装和使用也发生了些许的变化。笔者的环境为:centos7. 该文章主要是讲述了在centos7上搭建spark2.0的具体操作和spark的简单使用,希望可以给刚刚接触spark的朋友一些帮助。 按照惯例,文章的最后列出了一些参考文献,以示感谢。下面我们就来看一下spark的安装。spark的依赖环境比较多,需要Java JDK、hadoop的支持转载 2017-12-14 10:02:15 · 210 阅读 · 0 评论 -
使用Intellij Idea编写Spark应用程序(Scala+SBT)
对Scala代码进行打包编译时,可以采用Maven,也可以采用SBT,相对而言,业界更多使用SBT。之前有篇博客我们介绍了使用Intellij Idea编写Spark应用程序(Scala+Maven),采用的是Maven工具。今天这篇博客同样是使用Intellij Idea编写Spark应用程序,但是使用的是SBT工具。下面开始我们的教程。运行环境Ubuntu 16.04S转载 2017-12-14 16:11:28 · 3551 阅读 · 1 评论 -
Hadoop Shell命令
命令基本格式:hadoop fs -cmd 1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件2.puthadoop fs -put local file > file >hdfs file的父目录一定要存在,否则命令不会执行转载 2017-12-15 10:17:55 · 136 阅读 · 0 评论 -
基于Docker搭建Hadoop集群之升级版
一. 项目介绍将Hadoop打包到Docker镜像中,就可以快速地在单个机器上搭建Hadoop集群,这样可以方便新手测试和学习。如下图所示,Hadoop的master和slave分别运行在不同的Docker容器中,其中hadoop-master容器中运行NameNode和ResourceManager,hadoop-slave容器中运行DataNode和NodeManager。转载 2017-12-07 17:09:26 · 274 阅读 · 0 评论