张兆坤

路漫漫其修远兮,吾将上下而求索

spark初体验

现在这个美好的时代,作为一个技术人,如果连Spark的大名都不知道,那显然是说不过去的,话说大数据的时候,必提Hadoop、Spark。我跟进Spark也好些日子,这次用最新搭建的Hadoop实验集群用最新的Spark来体验了一把酸甜苦辣!

2016-03-31 23:31:28

阅读数:5851

评论数:0

hadoop-2.7.2+hive 2.0.0采用LZO压缩的坑好深

一句话,hive-2.0.0没法应用到LZO文件的分片,无论多大的文件,都还是当成一个再来该干嘛干嘛!话说,hadoop-lzo.jar根本就没有被用到,当然没有这个,提交JOB的时候就会错了,但是真的等到JOB+TASK都跑的时候,LZO文件就不分片了。hive-2.0.0相比之前的版本已经大变...

2016-03-24 00:03:32

阅读数:4138

评论数:0

在Centos下hadoop native-library错误

hadoop-2.7.3 + Centos 6.7 64位环境下使用弄一套Hadoop环境过程的中使用 hadoop checknative -a来检查环境支持Hadoop native 的状态。

2016-03-21 23:23:32

阅读数:4672

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭