大数据学习(五):如何使用 Livy提交spark批量任务--转载
Livy是一个开源的REST 接口,用于与Spark进行交互,它同时支持提交执行代码段和完整的程序。
Livy封装了spark-submit并支持远端执行。
启动服务器
执行以下命令,启动livy服务器。
./bin/livy-server
这里假设spark使用yarn模式,所以所有文件路径都默认位于HDFS中。如果是本地开发模式的话,直接使用本地文件即可(注意必须配置livy.conf文件,设置livy.file.local-dir-whitelist = directory,以允许.
转载
2020-08-17 21:40:56 ·
922 阅读 ·
0 评论