在MapReduce远程提交输出结果边为空

最新推荐文章于 2022-10-20 15:52:56 发布

张小琦

最新推荐文章于 2022-10-20 15:52:56 发布

阅读量4.1k

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/zq602316498/article/details/25554189

版权

在进行Hadoop小实验时，发现在本地运行MapReduce作业能得到正确数据，但当提交到集群运行时，输出结果为空。问题出在输入文件内容正确，但经过处理后结果未正常显示。通过检查和重写MyReduce部分代码，最终解决了这一问题。

摘要由CSDN通过智能技术生成

今天在做hadoop小实验（类似于倒排索引），

在本地运行时本地job“Running job: job_local_0001” 的得到的数据格式为为：

Hello	file3.txt:1;
MapReduce	file3.txt:2;file1.txt:1;file2.txt:1;
bye	file3.txt:1;
is	file1.txt:1;file2.txt:2;
powerful	file2.txt:1;
simple	file2.txt:1;file1.txt:1;

而提交到集群上运行“Running job: job_201405091426_0019”得到数据格式为空值。

输入文件内容为：

file1.txt
MapReduce is simple
file2.txt
MapReduce is powerful is simple
file3.txt
Hello MapReduce bye MapReduce

搞了半天不知道什么问题。记录下来以后解决。

程序源码如下：

package org.edu.bupt.xiaoye.hadooptest;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.HashMap;
import java.util.Iterator;
imp