Hadoop学习（三）hdfs命令和MapReduce编程

一、hdfs命令

hdfs命令时操作hadoop文件系统的命令，可以进行hdfs中文件目录的创建、删除、查看、复制等。具体命令见http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html，这里不做过多介绍

二、MapReduce编程

MapReduce是hadoop进行数据处理的过程。map是将自己主机上的文件进行统计并将数据发送给reduce，reduce对map的数据进行汇总。下面以wordcount实例进行介绍。

1.创建一个maven构建的java项目

这里我直接在自己电脑上进行不用在虚拟机上进行，使用的IDE是eclipse。首先添加pom依赖如下：

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>commons-beanutils</groupId>
      <artifactId>commons-beanutils</artifactId>
      <version>1.9.3</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>3.2.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>3.2.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <version>3.2.0</version>
    </dependency>
    <dependency>
      <groupId>jdk.tools</groupId>
      <artifactId>jdk.tools</artifactId>
      <version>1.7</version>
      <scope>system</scope>
      <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>

编写mapper类、reduce类和main方法类：

mapper：

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
	
	@Override
	protected void map(LongWritable key, Text value,
			Mapper<LongWritable, Text, Text, IntWritable>.Context context)
			throws IOException, InterruptedException {
		String line = value.toString();
		String[] words = line.split(" ");
		for (int i = 0; i < words.length; i++) {
			context.write(new Text(words[i]), new IntWritable(1));
		}
	}
}

reduce：

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class WordCountReduce extends Reducer<Text, IntWritable, Text, IntWritable>{
	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,
			Reducer<Text, IntWritable, Text, IntWritable>.Context context)
			throws IOException, InterruptedException {
		int count = 0;
		for (IntWritable value : values) {
			count += value.get();
		}
		context.write(key, new IntWritable(count));
	}
}

main方法类：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import com.jsyl.mapreducetest.mapper.WordCountMapper;
import com.jsyl.mapreducetest.reduce.WordCountReduce;

public class WordCountMapReduce {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		Configuration configuration = new Configuration();//任务配置
		Job job = Job.getInstance(configuration, "wordcount");//按照配置新建一个任务，任务名为wordcount
		job.setJarByClass(WordCountMapReduce.class);//任务的方法
		job.setMapperClass(WordCountMapper.class);//任务的map类
		job.setReducerClass(WordCountReduce.class);//任务的reduce类
		job.setMapOutputKeyClass(Text.class);//map类输出key类型
		job.setMapOutputValueClass(IntWritable.class);//map类输出value类型
		job.setOutputKeyClass(Text.class);//redcue类输出key类型
		job.setOutputValueClass(IntWritable.class);//redcue类输出value类型
		FileInputFormat.setInputPaths(job, new Path(args[0]));//设置输入的文件路径
		FileOutputFormat.setOutputPath(job, new Path(args[1]));//设置输出的文件路径
		boolean b = job.waitForCompletion(true);//等待任务执行完获取执行结果
		if(!b){
			System.out.println("word count failed");
		}
	}

}

WordCountMapper类继承Mapper<LongWritable, Text, Text, IntWritable>，泛型的第一个类型是输入的key的类型，第二个类型是输入的value的类型，第三个类型是输出给reduce的key，第四个类型是输出的value的类型。map从hdfs中获取键值对数据，key为某个文件的一行的id，value为该行的内容。类中重写的map方法的前两个参数就是从hdfs中拿到的key和value。map处理完数据发送给reduce也是以键值对的形式，这里wordcount程序是计数每个单词的数量，就将对应的单词和其数量发送给reduce。

WordCountReduce继承Reducer<Text, IntWritable, Text, IntWritable>，泛型的意义也和WordCountMapper一样，分别是输入的key类型，输入的value类型，输出的key类型，输出的value类型。map传给reduce的数据可能是多个{key:aaa,value:1}这样的，在reduce中收到的数据是类似于{key:aaa,value:(1,1,1)}的数据类型的，也就是收到的value是一个集合。

我的项目目录结构如下：

2.在hadoop中执行MapReduce程序

将hadoop集群启动。准备一个文件复制到hdfs中，这里我将hadoop搭建过程中的一些命令和配置组成了一个文件：

$ hadoop fs -put hadoop.txt /hadoop.txt

在上一步的项目目录下执行maven打包命令：

mvn package

打包完成后，将target目录下的jar包拷贝至master机器中。终端切换至jar包所在目录，执行命令：

$ hadoop jar mapreducetest-0.0.1-SNAPSHOT.jar com.jsyl.mapreducetest.mapreduce.WordCountMapReduce /hadoop.txt /wordcount/output

这样任务就会执行。执行完成后使用下面命令查看输出的目录：

$ hdfs dfs -cat /wordcount/output/*

得到如下结果：

可见得到的是键值对的结果。完美。