配置oozie与yarn,使能够调度mapreduce:
注意,yarn的historyserver必须开启,否则会oozie会监测不到提交上去的作业。否则汇报类似的错误:
org.apache.oozie.action.ActionExecutorException: JA006: Call From localhost.localdomain/127.0.0.1 to localhost:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
1.修改oozie-site文件
将oozie.service.HadoopAccessorService.hadoop.configurations属性的值修改为*=实际的hadoop的配置文件路径
2.修改oozie-default文件
将oozie.services属性中的org.apache.oozie.service.JobsConcurrencyService值提到第一个位置
3.创建sharelib
oozie-setup.sh sharelib create -fs hdfs://localhost:8020 -locallib $OOZIE_HOME/oozie-sharelib-4.0.0-cdh5.0.1-yarn.tar.gz
下面的地址是官方文档,将如何用跑mapredcue的例子。
http://oozie.apache.org/docs/4.0.1/DG_Examples.html
其中,需要注意的是,job.properties中的jobtracker的地址要修改为yarn.resourcemanager.address的地址。这样就可以把mapredcue作业提交到yarn上。