Hadoop
文章平均质量分 80
zhengzhuangjie
这个作者很懒,什么都没留下…
展开
-
hadoop core-default.xml配置文件
namevaluedescriptionhadoop.tmp.dir/tmp/hadoop-${user.name}A base for other temporary directories.hadoop.native.libtrueShould native hadoop libraries, if present, be used.hado...原创 2012-02-15 13:03:32 · 503 阅读 · 0 评论 -
编译hadoop 1.0.3 eclipse plugin jar包
环境:Win 7 32bit1、修改hadoop-1.0.3\src\contrib\build-contrib.xml,添加<property name="version" value="1.0.3"/>和<property name="eclipse.home" value="d:\\eclipse"/>2、在hadoop-1.0.3目录下运行ant c原创 2012-09-13 10:32:51 · 139 阅读 · 0 评论 -
hdfs mount为linux本地文件系统
1、软件下载hdfs-webdav.warhttp://code.google.com/p/hdfs-webdav/downloads/list把war包放到tomcat下面,启动tomcat会自动解压该war包,在/usr/tomcat6/webapps/hdfs-webdav/linux_mount_lib/目录下有fuse-2.7.4.tar.gz和neon-0.28.3.tar...原创 2012-03-21 00:08:18 · 457 阅读 · 0 评论 -
扩展hadoop hdfs,实现WebDav协议,将hdfs mount为linux本地文件系统
本文引自:http://badqiu.iteye.com/blog/269641 使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用...原创 2012-03-15 16:18:52 · 253 阅读 · 0 评论 -
编译hadoop 1.0.3 eclipse plugin jar包
环境:Win 7 32bit1、修改hadoop-1.0.3\src\contrib\build-contrib.xml,添加<property name="version" value="1.0.3"/>和<property name="eclipse.home" value="d:\\eclipse"/>或者ant -Declipse.home=d:\\原创 2012-07-07 23:21:59 · 154 阅读 · 0 评论 -
Hadoop Zookeeper HBase集群
注:Hadoop环境搭建请参考上一篇文档。 环境:10.0.30.235 nn0001 NameNode/HBase HMaster10.0.30.236 snn0001 SecondaryNameNode/HBase HMaster10.0.30.237 dn0001 DataNode/Zookeeper/HBase HRegionServer10.0.30.238 dn...原创 2012-02-16 16:19:44 · 118 阅读 · 0 评论 -
Hadoop NameNode NFS备份及恢复
准备任意一台Linux服务器[root@localhost share]# mkdir /share[root@localhost share]# vim /etc/exports/share *(rw,sync,no_root_squash) 说明:no_root_squash:登入 NFS 主机使用分享目录的使用者,如果是 root 的话,那么对于这个分享的目录来...原创 2012-02-16 14:28:36 · 204 阅读 · 0 评论 -
Hadoop SecondaryNameNode备份及恢复
1、同步各个服务器时间yum install ntpntpdate ntp.fudan.edu.cn hdfs-site.xml配置如果没有配置这一项,hadoop默认是0.0.0.0:50090,如果你的namenode和secondarynamenode配置在同一台服务器上,是没有问题的。如果分开部署没有指定该值,则hadoop会在namenode本机上找,就会出错 &...原创 2012-02-15 17:22:17 · 240 阅读 · 0 评论 -
Hadoop 0.20.205.0安装配置
环境:10.0.30.235 NameNode10.0.30.236 SecondaryNameNode10.0.30.237 DataNode10.0.30.238 DataNode 配置主机名 /etc/hosts # Do not remove the following line, or various programs# that require ...原创 2012-02-15 15:55:24 · 240 阅读 · 0 评论 -
hadoop mapred-default.xml配置文件
namevaluedescriptionhadoop.job.history.location If job tracker is static the history files are stored in this single well known place. If No value is set here, by default, it is in th...原创 2012-02-15 13:25:32 · 514 阅读 · 0 评论 -
hadoop hdfs-default.xml配置文件
namevaluedescriptiondfs.namenode.logging.levelinfoThe logging level for dfs namenode. Other values are "dir"(trac e namespace mutations), "block"(trace block under/over replications and ...原创 2012-02-15 13:05:08 · 1036 阅读 · 0 评论 -
升级hadoop
在没有更换前先备份数据[hadoop@Hadoop-10-4 hadoop]$ bin/hadoop dfsadmin -finalizeUpgradeWarning: $HADOOP_HOME is deprecated. [hadoop@Hadoop-10-4 hadoop]$ bin/hadoop dfsadmin -upgradeProgress statusWar...原创 2013-10-09 10:21:49 · 278 阅读 · 0 评论