![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
zhiquanliu
这个作者很懒,什么都没留下…
展开
-
hadoop 2.x伪分布式环境搭建
1.linux环境准备 (1).设置静态IP (2).设置主机名 操作: hostname www.hyman.com vi /etc/sysconfig/network 验证: hostname (3).绑定主机名 操作: vi /etc/hosts 验证: ping www.hyman.com (4).关闭防火墙 操作: service iptables st...原创 2015-03-01 22:51:24 · 118 阅读 · 0 评论 -
hadoop2.x的编译 & hadoop-snappy编译 & hadoop2.x 配置 snappy压缩
hadoop2.x 默认没有支持snappy压缩,需要我们自己编译 才能支持snappy的压缩。 查看hadoop2.x 的BUILDING文件 , Snappy build options: Snappy is a compression library that can be utilized by the native code. It is currently a...原创 2015-07-05 00:33:56 · 287 阅读 · 0 评论 -
Windows上调试MapReduce
1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b...原创 2015-07-18 16:57:28 · 101 阅读 · 0 评论 -
hadoop 提交 mapreduce假死的问题
hadoop版本是CDH5.3.3的,安装了伪分布模式,一直以来程序运行好好的,突然间运行mapreduce程序卡在running job上 ,mapreduce已经提交到yarn上去了 一直卡着没动 ,纠结了N天,总算搞定了, 之前还以为是我的内存不够 ,我把内存设置成6G了 ,没跑别的应用 ,查看内存使用情况 [ehp@hadoop-ehp hadoop-2.5.0-cdh5....原创 2015-08-19 22:52:59 · 490 阅读 · 0 评论 -
Hadoop数据迁移 distcp 工具
hadoop distcp 备份HDFS文件,并行复制大量数据。 1.同版本集群之间复制 : hadoop distcp hdfs://namenode1/src hdfs://namenode2/dist 这将从第一个集群中复制/src目录下的内容复制到第二个集群中的/dist目录下 默认情况下,distcp会跳过目标路径已经有的文件,但可以通过提供的-o...原创 2015-08-23 19:05:43 · 625 阅读 · 0 评论