大数据-hadoop
zyshappy
这个作者很懒,什么都没留下…
展开
-
hadoop2.x概览
一、hadoop2.x概览hadoop生态圈 相比于一般的软件工具:tomcat、mysql等,它们的功能比较单一。但是由于hadoop包含大量工具,可以完成许多事情,包括:数据管理功能、大规模并行处理框架等。虽然hadoop提供了这么多的功能,但是仍然应该把它归类为多个组件组成的Hadoop生态圈,这些组件包括数据存储、数据集成、数据处理和其他进行数据分析的专门工具。 hadoop核心组件/体翻译 2017-06-28 22:48:58 · 544 阅读 · 0 评论 -
二:hadoop2.x伪分布式集群安装
环境: centos6.6 /jdk1.8 hadoop2.6.0-CDH5.6.0:http://archive.cloudera.com/cdh5/cdh/5/ 1.基本环境准备(jdk环境配置略过) 1.1.修改主机名 #vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop-vm1.2 修改I原创 2017-07-02 17:02:54 · 486 阅读 · 0 评论 -
三:win7 下hadoop,eclipse开发环境配置
之前折腾很久在64位win7下用eclipse搭建开发环境一直没折腾成功,网上看了很多博客参考:http://www.cnblogs.com/huligong1234/p/4137133.html 按步骤来,eclipse里的插件一直连不上服务器上的hdfs,可能每个人的环境不一样,有一段时间只好在 Linux下用eclipse 写一些学习案例,后来在win7下折腾成功了,我的linux服务器里面原创 2017-07-02 17:47:35 · 330 阅读 · 0 评论 -
四-hadoop shell命令
hadoop shell命令简单描述: Hadoop的Shell命令主要分为两类,一类是启动命令,一类是控制/操作命令(hdfs+mapred+yarn)。其中启动命令位于sbin目录下面,控制/操作命令主要位于bin目录下面。其实最终的启动命令也是调用控制命令来进行集群服务的启动,区别在于启动命令中需要使用ssh的相关命令来控制其他机器启动服务,而控制/操作命令主要是直接调用h原创 2017-07-15 16:41:11 · 406 阅读 · 0 评论 -
五:hadoop hdfs相关命令
参考文档:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.6.0/ hdfs命令是hadoop提供的操作HDFS分布式文件系统的shell命令客户端,我们可以通过该命令对分布式文件系统进行文件的增删查操作,也可以通过该命令获取到一些hadoop的相关配置信息,而且我们启动hdfs相关服务进程都是通过该命令进行的。 hdfs命令主原创 2017-07-15 17:13:21 · 690 阅读 · 0 评论 -
六:HDFS -JavaAPI
HDFS结构介绍 HDFS是Hadoop提供的基于分布式的文件存储系统。全称为Hadoop Distributed File System。主要由NameNode、DataNode两类节点构成。其中NameNode节点的主要功能是管理系统的元数据,负责管理文件系统的命令空间,记录文件数据块在DataNode节点上的位置和副本信息,协调客户端对文件系统的访问,以及记录命名空间的改动和本身属性的变动。原创 2017-07-23 17:02:47 · 482 阅读 · 0 评论