- 博客(2)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 Sqoop--关系型数据库跟hdfs数据传输工具
1.什么是Sqoop Sqoop即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，Sqoop1和Sqoop2。 Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型数据库和hive、hdfs，hbase之间数据的相互导入...
2015-10-09 16:48:12
769
原创 hadoop mapreduce到底是如何运行的
首先是客户端要编写好mapreduce程序，配置好mapreduce的作业也就是job，接下来就是提交job了，提交job是提交到JobTracker上的，这个时候JobTracker就会构建这个job，具体就是分配一个新的job任务的ID值，接下来它会做检查操作，这个检查就是确定输出目录是否存在，如果存在那么job就不能正常运行下去，JobTracker会抛出错误给客户端...
2015-10-03 01:13:32
337
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人