Centos 7 linux系统搭建Spark环境

Centos 7 linux系统搭建Spark环境

1.使用WinScp工具进行文件传输

2.文件处理

2.1进行文件解压缩

tar -zxvf jdk-8u241-linux-x64.tar.gz
tar -zxvf hadoop-2.8.5.tar.gz
tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz

2.2创建文件目录

mkdir –p/usr/java

2.3将解压文件移到目录下

mv jdk1.8.0_241/ /usr/java/
mv hadoop-3.2.2/ /usr/java/
mv spark-3.2.0/ /usr/java/

3.配置环境

3.1进入~/.czhrc

vim ~/.czhrc

输入

3.2进入~/.zshrc
将~/.czhrc加入

3.3 source ~/.zshrc

4.启动所有节点并使用jps查看

5.验证是否成功