以本地方式运行mapreduce程序的参数配置

方式一

在本地运行提交job的mapreduce程序的客户端

		// 在代码中设置JVM系统参数，用于给job对象来获取访问HDFS的用户身份
		System.setProperty("HADOOP_USER_NAME", "root");
		Configuration conf = new Configuration();
		// 设置job运行时要访问的默认文件系统
		conf.set("fs.defaultFS", "hdfs://hdp-01:9000");
		// 设置job提交到哪去运行
		conf.set("mapreduce.framework.name", "yarn");
		// 设置resourcemanager的主机名
		conf.set("yarn.resourcemanager.hostname", "hdp-01");
		// 创建一个任务对象
		Job job = Job.getInstance(conf);
		// 设置jar包的所在的本地磁盘位置
		job.setJar("/Users/zhblanlan/Desktop/wordcount.jar");

注意：设置jar包所在位置的时候，在本地磁盘路径要先导出相应的jar包。

方式二

以本地方式运行mapreduce程序

		// 在代码中设置JVM系统参数，用于给job对象来获取访问HDFS的用户身份
		System.setProperty("HADOOP_USER_NAME", "root");
		Configuration conf = new Configuration();
		// 设置job运行时要访问的默认文件系统为：本地
		conf.set("fs.defaultFS", "file:///");
		// 设置job提交到本地运行
		// conf.set("mapreduce.framework.name", "local");
		// 设置resourcemanager的主机为：本地
		conf.set("yarn.resourcemanager.hostname", "0.0.0.0");
		// 创建一个任务对象
		Job job = Job.getInstance(conf);
		// 设置jar包的所在位置
		job.setJarByClass(WordCountMain.class);
		

方式三
即可以本地方式运行也可以在hadoop集群机器上运行(使用的默认的参数)

Configuration conf = new Configuration();
Job job = job.getInstatnce(conf);

// 本地运行提交job的客户端程序（适用于win）
// 设置跨平台参数为：true；因为在win(F:\\test.txt)下的路径方式和linux(/root/test.txt)路径方式不同
conf.set("mapreduce.app-submission.cross-platform “,"true");

提交到hadoop集群机器上运行需要hadoop jar xxx.jar 主类的全类名 输入路径 输出路径