1.在pig中使用UDF函数时候的注意事项:
(1).pig的udf函数jar包可以放在本地也可以放在hdfs中(推荐放在hdfs中)
a.放在本地:<param>myUDF=./pig/myUDFs.jar</param>
其中,"myUDF"为变量名,"./pig/myUDFs.jar"为当前UDF函数的本地路径
b.放在hdfs:<param>myUDF=${nameNode}/user/${wf:user()}/${AssociatedGoodsRoot}/myUDFs.jar</param>
以上的hdfs路径翻译后为:hdfs://192.168.8.21/user/chenpeng/goods/myUDFs.jar
(2).pig的运行不是通过oozie自带的pig运行的,而不是本机安装的pig。所以pig运行时需要用到oozie中的pig相关的jar包,(在sharelib目录下),所以要在job.properties文件里面要加入:oozie.libpath=${nameNode}/user/${user.name}/share/lib
2.应用shell action-node时的注意事项:
(1).脚本要和workflow.xml、job.properties文件放在平级目录
(2).执行shell action时,会以当前脚本所在的datanode主机的身份去执行脚本,如果执行脚本里面有ssh无密码登陆到jobtracker,则需要把datanode的.ssh密钥放在jobtracker里面。
3.应用sqoop action-node时的注意事项:
(1).从hdfs导入数据到mysql数据库的配置参考如下:
<arg>export</arg>
<arg>--connect</arg>
<arg>jdbc:mysql://192.168.8.22:3306/test?characterEncoding=UTF-8</arg>
<arg>--username</arg>
<arg>root</arg>
<arg>--password</arg>
<arg></arg>
<arg>--table</arg>
<arg>goods</arg>
<arg>--export-dir</arg>
<arg>/user/${wf:user()}/${AssociatedGoodsRoot}/output-data/pig-node2/part-r-00000</arg>
<arg>--fields-terminated-by</arg>
<arg>\t</arg>
<arg>-m</arg>
<arg>1</arg>
(2).
使用sqoop时,要把mysql驱动包放在当前应用的lib目录下