如何在Hue里面使用Sqoop的options-file

最新推荐文章于 2021-06-04 20:15:20 发布

Johnbru

最新推荐文章于 2021-06-04 20:15:20 发布

阅读量1.9k

点赞数 2

分类专栏： Hue-Sqoop 文章标签： hue-Sqoop options-fi

本文链接：https://blog.csdn.net/zyx45/article/details/73742466

版权

Hue-Sqoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

如何在Hue里面使用Sqoop的options-file
项目里面用Hue的workflow 来做Sqoop抽取作业，因为数据库密码会在日志里面明文显示的问题，因此要找到一个方法来解决明文显示的问题。
在这里采用sqoop 中–options-file选项来解决密码明文显示的问题，但是在workflow中使用hue时碰到Unable to read options file的问题

 ERROR org.apache.sqoop.Sqoop  - Error while expanding arguments
java.lang.Exception: Unable to read options file: /user/hue/oozie/workspaces/hue-oozie-1498288877.39/ods_conf
    at org.apache.sqoop.util.OptionsFileUtil.expandArguments(OptionsFileUtil.java:102)
    at com.cloudera.sqoop.util.OptionsFileUtil.expandArguments(OptionsFileUtil.java:33)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:199)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
    at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
    at org.apache.oozie.action.hadoop.SqoopMain.runSqoopJob(SqoopMain.java:197)
    at org.apache.oozie.action.hadoop.SqoopMain.run(SqoopMain.java:177)
    at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:49)
    at org.apache.oozie.action.hadoop.SqoopMain.main(SqoopMain.java:46)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.java:236)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
    at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.runSubtask(LocalContainerLauncher.java:388)
    at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.runTask(LocalContainerLauncher.java:302)
    at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.access$200(LocalContainerLauncher.java:187)
    at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler$1.run(LocalContainerLauncher.java:230)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.io.FileNotFoundException: /user/hue/oozie/workspaces/hue-oozie-1498288877.39/ods_conf (No such file or directory)
    at java.io.FileInputStream.open(Native Method)
    at java.io.FileInputStream.<init>(FileInputStream.java:146)
    at java.io.FileReader.<init>(FileReader.java:72)
    at org.apache.sqoop.util.OptionsFileUtil.expandArguments(OptionsFileUtil.java:70)
    ... 25 more

结合网上的资料，要解决该问题，需要在workflow生成的xml文档中添加几项内容：

<arg>--options-file</arg>
<arg>${optionFile}</arg>
<file>/user/appman/ods_conf#ods_conf</file>

同时在 job.properties文件中添加变量值：

option File=ods_conf

但是手动去修改hdfs上的workflow.xml文件后，再次去调用作业发现xml被覆盖掉，问题依旧存在，因此只有从前台的界面将这几个参数传进去。
经过多次实验后，终于找到从前台传进这些参数的方法，后面就不再细说，直接上操作流程：
1、添加Sqoop参数，–options-file 以及一个变量名${optionFile}用来后续将文件名传入，
这里写图片描述
2、添加配置文件，点击文件，选择正确的配置文件，点击确定。

3、添加变量值，点击作业的配置，在变量区域增加optionFile变量，并赋值，赋给该变量的值需为配置文件的文件名

然后保存运行，作业能够顺利执行通过，达到预期的结果。