Spark StandAlone 集群搭建

最新推荐文章于 2024-08-12 23:51:20 发布
最新推荐文章于 2024-08-12 23:51:20 发布
阅读量230 收藏
点赞数
分类专栏： 大数据 spark 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhixingheyi_tian/article/details/89191698
版权
spark 同时被 3 个专栏收录
107 篇文章 4 订阅
订阅专栏
云计算
92 篇文章 0 订阅
订阅专栏
大数据
90 篇文章 1 订阅
订阅专栏

启动master节点

./sbin/start-master.sh
登陆到UI
http://10.239.10.11:8080/

在这里插入图片描述

启动worker节点

./sbin/start-slave.sh spark://xxshen-dev:7077
在这里插入图片描述

启动 Spark-Sql

./bin/spark-sql --master spark://xxshen-dev:7077
启动之后会有一个 application UI
这里4040端口被占用，使用的是4041端口，这样一来和yarn 有点像了。
在这里插入图片描述

执行sql

SELECT * FROM parquet_tpcds_2.store_sales WHERE ss_customer_sk BETWEEN 10 AND 80 limit 10
在这里插入图片描述

总结

这个use case 主要用来测试计算存储分离

Restful API

curl http://10.239.10.5:4040/api/v1/applications/app-20201028000213-0000/executors

在这里插入图片描述

zhixingheyi_tian
关注
专栏目录
配置Spark Standalone集群
m0_65838036的博客
06-17 333
在master虚拟机上安装配置Spark
spark standalone集群部署
shuest的博客
06-23 435
进入spark安装目录下的conf文件夹 修改配置文件名称 mv slaves.template slaves mv spark-env.sh.template spark-env.sh 修改slave文件，添加work节点： vim slaves 加入： hadoop102 hadoop103 hadoop104 修改spark-env.sh文件，添加如下配置： SPARK_MASTER_HOST=hadoop102 SPARK_MASTER_PORT=7077 分发spar
【Spark集群部署系列二】Spark StandAlone模式介绍和搭建以及使用
最新发布
qq_65231448的博客
08-12 1234
【Spark集群部署系列一】Spark local模式介绍和搭建以及使用（内含Linux安装Anaconda)http://t.csdnimg.cn/0xmky 在部署spark集群前，请部署好Hadoop集群，jdk8【当然Hadoop集群需要运行在jdk上】，需要注意hadoop，spark的版本，考虑兼容问题。比如hadoop3.0以上的才兼容spark3.0以上的。 下面是Hadoop集群部署的链接，个人笔记，已经成功部署两次了，实时更新，分【一】【二】两部分，需要的自己看。不懂欢迎问，看到了解答。
大数据Spark Standalone集群
赵广陆
05-04 469
目录1 Standalone 架构2 配置、部署及启动2.1 解压、环境变量2.2 Workers主机名称2.3 配置Master、Workers、HistoryServer2.4 创建EventLogs存储目录2.5 配置Spark应用保存EventLogs2.6 设置日志级别2.7 分发到集群所有机器2.8 启动服务进程2.9 提交运行圆周率3 Spark 应用架构4 WEB UI 监控5 Standalone HA5.1 高可用HA5.2 基于Zookeeper实现HA5.3 测试运行 1 Stan
Spark Standalone集群架构
htfenght的博客
01-10 380
Spark Standalone集群架构 SparkStandalone集群 集群管理器，cluster manager：Master进程，工作节点：Worker进程 搭建了一套Hadoop集群（HDFS+YARN） HDFS：NameNode、DataNode、SecondaryNameNode YARN：ResourceManager、NodeManager Spark集群（Spark St...
搭建Spark Standalone模式的集群
xue1100的博客
03-04 220
一 利用SecureCRT登录三台虚拟机 对master slave1 slave2执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件并添加两个域名服务器（右击对话框选择chat windows,在次点击send chat all sessions可以在对话框内输入的内容同时写到多个虚拟机上面） 执行命令：yum -y install vim 安装vim 测试maser slave1 slave2能否链接外网 查看master sl..
spark standalone集群搭建
03-16
Spark Standalone集群搭建步骤如下： 1. 安装Java环境和Spark软件包； 2. 配置Spark的环境变量； 3. 配置Spark的主节点和从节点； 4. 启动Spark集群； 5. 验证Spark集群是否正常工作。 具体步骤可以参考Spark官方...
Spark基础学习笔记05：搭建Spark Standalone集群
lwmzl00的博客
06-17 1101
文章目录 零、本讲学习目标 搭建Spark Standalone模式的集群 能够启动Spark Standalone模式的集群 学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
Spark基础学习笔记05：搭建Spark Standalone模式的集群
f54268589的博客
06-07 472
Spark基础学习笔记05：搭建Spark Standalone模式的集群
spark 分布式集群搭建
06-12
### Spark Standalone 分布式集群搭建详解 #### Spark Standalone 运行模式概述 Spark Standalone 是 Apache Spark 提供的一种自带的集群管理模式，主要用于管理 Spark 应用程序的执行环境。这种模式简单易用，适合...
详解 Spark 的 Standalone 集群
初阳
11-15 753
在一台机器上本地运行是很容易的，只需要在系统路径上安装Java，或者JAVA_HOHE环境变量指向Java安装 可以通过scala shell的修改版本以交互方式运行spark。这是学习框架的好方法。 ./bin/spark-shell --master local[2] --master选项指定分布式集群的主URL，或local以一个线程本地运行，或local[N]以n个线程本地运行。要...
spark stand alone 集群部署
escaflone的专栏
11-07 2800
以Spark 1.1.0为例 1、编译源码 ./make-distribution.sh --tgz --skip-java-test -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0（视情况更改配置）
Spark环境搭建之Standalone独立集群
大数据跟我学i
03-10 203
文章目录原理操作测试1.集群启动和停止2.jps查看进程3.http://node01:8080/4.启动spark-shell5.提交WordCount任务6.查看结果7.查看spark任务web-ui 原理 操作 集群规划 node01:master ndoe02:worker/slave 配置slaves/workers 进入配置目录： cd /export/servers/spark/conf 修改配置文件名称： mv slaves.template slaves vim slaves
搭建Spark Standalone集群
梁辰兴的博客
04-19 1133
当应用程序运行时，Master会在集群中选择一个Worker进程启动一个名为DriverWrapper的子进程，该子进程即为Driver进程，所起的作用相当于YARN集群的ApplicationMaster角色，类似MapReduce程序运行时所产生的MRAppMaster进程。Spark Standalone集群使用Spark自带的资源调度框架，但一般我们把数据保存在HDFS上，用HDFS做数据持久化，所以Hadoop还是需要配置，但是可以只配置HDFS相关的，而Hadoop YARN不需要配置。
Spark Standalone 集群配置
主要分享大数据相关的知识，如Spark、Hudi
02-07 509
平时工作中主要用 YARN 模式，最近进行TPC测试用到了 Standalone 模式，便记录总结一下 Standalone 集群相关的配置。
spark standalone集群模式搭建
08-23 281
搭建前，必须准备好hadoop #scala environment export SCALA_HOME=/opt/scala-2.10.6 export PATH=$PATH:$SCALA_HOME/bin centos-master centos-slave1 centos-slave2 #spark config SPARK_HOME=/opt/spark-1.6.0
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值