一.oozie的介绍:oozie可以被称为一个调度系统,具体可参照此篇博文:http://shiyanjun.cn/archives/684.html
以上这篇博文将oozie的功能和使用方法介绍的很详细
二.oozie执行后续监控:可以将oozie的执行结果写入mysql数据表中,通过本地的sh mysql.sh可以查看oozie的执行情况:
1.执行时长统计:
select
tp.app_name
,ta.id
,(unix_timestamp(tb.end_time) - unix_timestamp(tb.created_time))/60 long_minutes
,date_format(adddate(date(ta.nominal_time),interval -1 day),'%Y%m%d') data_date
from
(
select *
from COORD_JOBS ---oozie job的报表
where status='RUNNING'
-- and app_name like 'ods%'
) tp inner join
(
SELECT *
FROM COORD_ACTIONS ---oozie action的list报表
) ta on tp.id = ta.job_id
AND tp.last_action_number=ta.action_number
inner join
(
select *
from WF_ACTIONS --oozie每个action执行时间报表
where id like '%hive%'
) tb on ta.external_id = tb.wf_id
order by long_minutes desc
LIMIT 50;
上述代码可用于查看执行时长较长的任务名称,便于优化代码。
2.用于检查任务状态
select
-- ta.id,
concat('oozie job -rerun ',tb.id,' -action ',ta.action_number) as cmd ,tb.app_name,ta.status
from (select * from oozie.COORD_ACTIONS where status not in ('SUCCEEDED') ) ta
inner join
(
SELECT * FROM COORD_JOBS
where (app_name like '%fact%' or app_name like '%rpt%' or app_name like 'dim_%' or app_name like 'ods%' or app_name like 'dw%')
and status = 'RUNNING'
) tb
on ta.job_id = tb.id
-- where ta.status not in ('WAITING','READY')
order by status ,app_name;
3.查指定任务,用于获得job名以及包含多少action
SELECT app_name,concat('oozie job -rerun ',id,' -action ',last_action_number),status as rerun
FROM COORD_JOBS where (app_name like '%yezhu%')
and status = 'RUNNING'
4.当需要重刷历史数据时,需要rerun多天action时,可用以下方法:
update coord_jobs
set concurrency=3 ---并发的数量,应考虑集群难度,不要太高
where id in (
'0402926-161231135848541-oozie-bigd-C'
);
commit ;
5.oozie中job不能重复,需要检查是否多启动job时,用以下方法:
SELECT app_name,count(1) cnt FROM COORD_JOBS
where status = 'RUNNING'
group by app_name
having cnt >1
或者
SELECT app_name,count(distinct id) cnt FROM COORD_JOBS
where (app_name like '%fact%' or app_name like '%rpt%' or app_name like 'dim_%' or app_name like 'ods%' or app_name like 'dw%' )
and status = 'RUNNING'
group by app_name
having cnt >1 ;
6.如果想更改某些action的状态,可用以下方法:
update oozie.COORD_ACTIONS
set status='SUCCEEDED'
where id in (
'0047657-160714171251022-oozie-bigd-C@75'---action名字
,'0047657-160714171251022-oozie-bigd-C@73'
,'0047657-160714171251022-oozie-bigd-C@74'
,'0047657-160714171251022-oozie-bigd-C@72'
);
commit ;
如果看过oozie配置文档就会发现,oozie需要配置三个文件:job.properties,coordinator.xml,workflow.xml 此外应该还有一个需要定时执行的文件,假设文件名为test.sql ,这四个文件调试好后,放在本地目录中,需要上传到hadoop文件目录中:假设本地目录是/home/datadev/oozie_jobs/rpt/test(文件夹名字最好和sql文件一致)目录中的文件分别是:
job.properties,coordinator.xml,workflow.xml,test.sql
则hadoop上应建一个和本地相同名称的文件夹
在hadoop上创建文件夹 hadoop fs -mkdir oozie/rpt/test
grep 'rpt--' *
2.hadoop dfs -put -f * oozie/rpt/test --全部传过去如果重复覆盖
3. hadoop fs -put -f job.properties oozie/rpt/test/ --只传job.properties这一个文件
4. hadoop fs -ls oozie/rpt/test/ --查看文件夹内容
5. hadoop fs -ls oozie/rpt/test/test.sql --查看文件内容
oozie常见命令操作:
1、测试任务
oozie job -config job.properties -dryrun
2、正式提交运行一个任务
oozie job -config job.properties -run
3、杀死一个任务
oozie job -kill job_id
4、杀死一个action
oozie job -kill job_id -action action_number
5、重跑一个action
oozie job -rerun job_id -action action_number
6、更新coordinator
oozie job -update job_id
有时候更新完代码后用update不管用,只能把jobkill 了重新跑。