方式一
在本地运行提交job的mapreduce程序的客户端
// 在代码中设置JVM系统参数,用于给job对象来获取访问HDFS的用户身份
System.setProperty("HADOOP_USER_NAME", "root");
Configuration conf = new Configuration();
// 设置job运行时要访问的默认文件系统
conf.set("fs.defaultFS", "hdfs://hdp-01:9000");
// 设置job提交到哪去运行
conf.set("mapreduce.framework.name", "yarn");
// 设置resourcemanager的主机名
conf.set("yarn.resourcemanager.hostname", "hdp-01");
// 创建一个任务对象
Job job = Job.getInstance(conf);
// 设置jar包的所在的本地磁盘位置
job.setJar("/Users/zhblanlan/Desktop/wordcount.jar");
注意:设置jar包所在位置的时候,在本地磁盘路径要先导出相应的jar包。
方式二
以本地方式运行mapreduce程序
// 在代码中设置JVM系统参数,用于给job对象来获取访问HDFS的用户身份
System.setProperty("HADOOP_USER_NAME", "root");
Configuration conf = new Configuration();
// 设置job运行时要访问的默认文件系统为:本地
conf.set("fs.defaultFS", "file:///");
// 设置job提交到本地运行
// conf.set("mapreduce.framework.name", "local");
// 设置resourcemanager的主机为:本地
conf.set("yarn.resourcemanager.hostname", "0.0.0.0");
// 创建一个任务对象
Job job = Job.getInstance(conf);
// 设置jar包的所在位置
job.setJarByClass(WordCountMain.class);
方式三
即可以本地方式运行也可以在hadoop集群机器上运行(使用的默认的参数)
Configuration conf = new Configuration();
Job job = job.getInstatnce(conf);
// 本地运行提交job的客户端程序(适用于win)
// 设置跨平台参数为:true;因为在win(F:\\test.txt)下的路径方式和linux(/root/test.txt)路径方式不同
conf.set("mapreduce.app-submission.cross-platform “,"true");
提交到hadoop集群机器上运行需要hadoop jar xxx.jar 主类的全类名 输入路径 输出路径