Hadoop
Zhaozetu
这个作者很懒,什么都没留下…
展开
-
pig-0.10.0重新编译后支持hadoop 23
转自:http://taoo.iteye.com/blog/1679325pig-0.10.0版本是支持hadoop 23的。但是需要重新编译pig;编译命令如下:Shell代码 ant -Dhadoopversion=23 编译好之后,把原来的pig的jar包删了就行。当然了,hadoop的几个环境变量还是要配置的:HADO转载 2014-01-02 16:49:54 · 995 阅读 · 0 评论 -
HDFS Architecture
翻译了Apache官网关于HDFS架构的内容,发现了自己之前认识的很多误区,也更加深入了解了HDFS设计的思想。翻译是一个学习的过程,真心感觉还是原文看起来舒服。翻译 2014-01-23 09:23:47 · 949 阅读 · 0 评论 -
HDFS UserGuide (HDFS用户手册)
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.htmlPurpose本文档可作为使用HDFS的初期阅读资料,无论HDFS是作为Hadoop集群的一部分或者是一个独立运行的分布式文件系统。HDFS被设计用于很多环境中,对HDFS工作的知识有助于针对特定集群的诊断和改进。翻译 2014-01-26 13:51:15 · 949 阅读 · 0 评论 -
HDFS Federation
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/Federation.htmlHDFS Federation是Hadoop最新发布版本Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许 HDFS创建多个namespace以提高集群的扩展性和隔离性。转载 2014-01-26 13:54:35 · 746 阅读 · 0 评论 -
HDFS High Availability Using the Quorum Journal Manager (HDFS单点故障 QJM)
http://www.tuicool.com/articles/6rqYVrhttp://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/HDFSHighAvailabilityWithQJM.htmlHDFS High Availability Using the Quorum Journal Manager翻译 2014-01-26 13:55:42 · 1343 阅读 · 0 评论 -
HDFS High Availability Using NFS (HDFS单点故障 NFS)
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/HDFSHighAvailabilityWithNFS.html为保证standby和active节点之间状态的同步,NFS要求两个节点访问一个共享存储设备的目录。当命名空间发生任何改变时,active节点将修改日志写入共享目录。standby节点监控共享目翻译 2014-01-26 13:57:14 · 766 阅读 · 0 评论 -
HDFS Permissions Guide
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.htmlHDFS实现了一个类似于POSIX的目录和文件权限模型。每个文件和目录属于一个所有者或者一个组。文件和目录对于所有者、组和其他用户分别有对应的权限。对于文件,r表示读权限,w表示写权限。对于目录,r翻译 2014-01-26 13:58:42 · 462 阅读 · 0 评论