- 博客(2)
- 收藏
- 关注
RSS订阅原创 Sqoop1.4.5+hadoop2.2.0进行Mysql到HDFS的数据转换
正如上一篇记录的那样，采用sqoop1.99.4 + hadoop2.2.0来将mysql的表数据导入到HDFS的时候，死活没有找到如何制定字段分隔符号，这才有了试用sqoop1.4.5这番折腾。从架构上来将，Sqoop2确实在安全性等方面有很好的提升，但是Sqoop2目前还不推荐在生产环境中使用，它很多功能还缺失，不够完善，不过，对我们小规模的使用Hadoop的公司来讲，Sqoop1.4.X足够用了，毕竟我等跨部门、多人员来使用的情况还是比较少的，命令行好用的很啊！
2015-03-16 22:32:44
10796
1
原创 用Sqoop2在Mysql和hadoop导入导出数据
最近在做用户刷赞排除逻辑的时候，需要结合nginx的access.log日志和Mysql中的部分记录联合查询才能做到，之前的nginx日志一直存放在hadoop中，mysql的数据则没有导入到hadoop中去过，要搞定这事还得将Mysql中的一些表导入到HDFS中去才成。虽说Sqoop的大名早已经闻名遐迩了，但是到底没有在生产环境中试用过，这回倒是一个很好的实践机会。
2015-03-14 09:40:25
22675
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人