hadoop组件---spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 cluster mode

最新推荐文章于 2024-07-02 14:37:51 发布

张小凡vip

最新推荐文章于 2024-07-02 14:37:51 发布

阅读量1.2k

点赞数 1

分类专栏： spark 云存储云计算 spark on k8s 文章标签： spark k8s 2.4.4 cluster 安装

本文链接：https://blog.csdn.net/zzq900503/article/details/104053375

版权

spark on k8s 同时被 3 个专栏收录

12 篇文章 406 订阅 ¥59.90 ¥99.00

订阅专栏

云存储云计算

85 篇文章 25 订阅

订阅专栏

spark

10 篇文章 3 订阅

订阅专栏

本文介绍了如何在Kubernetes (k8s) 集群上安装Spark 2.4.4的cluster模式。内容包括环境准备，如Spark版本、k8s版本需求，以及kubectl权限设置。详细步骤涉及下载官方包，打包并推送Docker镜像，以及解决可能遇到的问题。最后，强调了在cluster模式下，Spark driver是在提交任务时动态创建的。

摘要由CSDN通过智能技术生成

目前最新稳定版本2.4.4的官方安装文档

环境准备

1、使用spark2.3以上的spark版本
2、已经在运行的k8s集群版本需要大于1.6

使用命令查询

kubectl version

输出为:

zhangxiaofans-MacBook-Pro:Downloads joe$ kubectl  version
Client Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.2", GitCommit:"456", GitTreeState:"clean", BuildDate:"2018-05-12T04:12:47Z", GoVersion:"go1.9.6", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"12", GitVersion:"v1.12.9", GitCommit:"123", GitTreeState:"

了解本专栏