本文详细介绍了如何在Kubernetes（K8s）环境中以Cluster模式运行Spark应用程序，包括指定namespace、servicename、解决镜像拉取失败、ClassNotFoundException等问题，以及jar包依赖管理和资源限制的配置。此外，还探讨了resource staging server的使用及其优化方案，包括Ingress的配置。最后，提到了Python版本程序的运行和资源限制设置。
我们在上篇文章中已经记录了 如果 安装spark on k8s模式k8s原生方式—cluster mode。
hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 cluster mode
本章记录 cluster mode这种方式的spark集群使用方法。
首先注意 提交spark命令需要借助 spark的安装包中的spark-submit命令。
如果没有的话 可以去官网下载
下载官方编译好的包
进入到官网下载地址，选择我们需要的包
备用下载地址 http://mirror.bit.edu.cn/apache/spark/
下载到安装包后解压
tar -xzvf spark-2.4.4-bin-hadoop2.7.tgz
Nat
订阅专栏 解锁全文
扫一扫
1116
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
