本文介绍了使用distcp在相同或不同版本的Hadoop集群间复制数据的方法，包括hadoop distcp命令的用法，以及在不同版本集群间拷贝时使用hftp协议的注意事项。在实际应用中，distcp的磁盘写入速度和网络IO性能有所体现，并对比了distcp与其他数据生成工具的性能。此外，还提及了HDFS版本升级的策略。
distcp主要用于在hadoop集群之间拷贝数据。
1，如果haboop版本相同，可以使用如下格式
hadoop distcp hdfs://<hdfs_address:hdfs_port>/src hdfs://<hdfs address:port>/des
2, 如果在不同版本的hadoop集群之间拷贝数据，可以使用如下格式
hadoop distcp -i hftp://<hdfs_address:http_port>>/src hdfs://<hdfs address:port>/des
注意，这个时候，需要在目标集群上运行distcp， -i是忽略错误。
注意hftp和ftp没有什么关系，它是通过http访问hdfs文件系统的协议包装，以支持不同版本之间拷贝数据。它的端口，不是dfs端口，而是http端口。
在我的应用中，一个是hadoop1.0.0集群，一个是cloudera cdh3u0集群，此时需要将hadoop1.0.0里面的数据拷贝到cloudera cdh3u0的hdfs中。因此采用hftp的distcp。
更进一步，如果只是造无逻辑关系的数据，distcp没有只写的teragen或slive快。在我的测试中，teragen和slive的混合写入，磁盘写入速度可以达到300MB/s，网络io可以达到100+MB/s。而distcp，磁盘写入为100MB/s，网络io也达到100+MB/s。
补充一下，如果是升级hdfs的hadoop版本，可以在启动时start-dfs
最低0.47元/天 解锁文章
778
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
