spark相关
文章平均质量分 91
zhaorongsheng
这个作者很懒,什么都没留下…
展开
-
spark job server使用方法
入门 clone代码 从github上的spark-jobserver工程clone代码到本地 编译 需要将工程根目录下的config文件删除 将文件夹job-server/config拷贝到工程根目录下 将local.conf.template/local.sh.template重命名为locao.conf/local.sh 配置环境 export JAVA_HOME=/d/java/jdk1原创 2017-06-07 20:00:12 · 4283 阅读 · 0 评论 -
spark job server原理
spark job server原理配置相关 settings.sh 功能:配置环境变量 APP_USER/APP_GROUP:作业提交用户和组 JMX_PORT:java jmx端口,通常在aws或者其他容器里打开 INSTALL_DIR:sjs所做目录 LOG_DIR:日志路径 PIDFILE:启动sjs,产生pid存放的文件名 JOBSERVER_MEMORY:启动spark作业的drive原创 2017-06-07 20:03:51 · 2270 阅读 · 0 评论