jeckzang-CSDN博客

原创 hadoop常见问题解答

以下是转发文章，原文见http://blog.csdn.net/zyj8170/article/details/6037934 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够...

2011-07-11 17:53:58 216

hadoop自己的例子

从今天开始做一个自己的hadoop的例子，例子的目标是完成如下任务。任务目标：有一个informix数据库，其中有一个表有100万的数据，任务完成通过MapRed的方式将这100万数据导入到HDFS中，可以使用informix的分页sql达到并发查询数据库的目的。任务开始： 1、编写MapRed的实现类起名称为InformixLoader。大致代码如下[c...

2011-07-07 16:59:11 139

hadoop使用过程的问题

在这两天的研究与使用过程中，发现了几个比较重要的问题，也是困扰我两天的问题： 1、使用本地代码提交任务问题由来：通过对hadoop的学习，发现hadoop目前的工作方式是你自己开发的程序需要打包好，然后使用hadoop的命令加载并运行，使用起来不太方便，想通过本地的eclipse直接运行。解决方法：通过查找网上资料发现在hadoop的安装包中有一个目录contrib，里面有ecl...

2011-07-06 17:22:50 125

hadoop的wordcount例子

下面我们来做一下wordcount的例子。 1、通过hadoop的命令在HDFS上创建/tmp/workcount目录，命令如下：bin/hadoop fs -mkdir /tmp/wordcount 2、通过copyFromLocal命令把hadoop_home下的ivy.xml复制到HDFS上，命令如下：bin/hadoop fs -copyFromLocal ivy.xml ...

2011-07-06 17:02:36 132

hadoop学习与实践

由于工作需要开始研究测试hadoop，记录一下学习过程，大家一起交流一下。 1、hadoop的介绍我就不多说了，google一下有很多。 2、下载hadoop相关软件，包括了hadoop-0.20.203.0rc1.tar.gz、hive-0.7.0.tar.gz、pig-0.8.1.tar.gz，由于我们暂时不使用Hbase，所以没有下载Hbase，有兴趣的童鞋可以自己下载玩一玩...

2011-07-05 10:54:25 118