spark是用scala写的,运行在JAVA虚拟机(JVM)上,所以需要安装JDK(java7+)
如果使用Python 需要2.6+或3.4+
推荐的版本对应:spark 1.6.2-scala 2.10 spark 2.0.0-scala 2.11
选择下载:
(作者当前的ubtun版本为16.04 已经预装好2.7.12版本的python)
jdk-8u131-linux-x64.tar.gz 官网地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Scala-2.11.11.tgz 官网地址:http://www.scala-lang.org/download/2.11.11.html
hadoop-2.6.5.tar.gz 官网地址:http://hadoop.apache.org/releases.html
Spark-2.0.2-bin-hadoop2.6.tgz 官网地址:http://spark.apache.org/downloads.html
IntelliJ IDEA 官网地址:http://www.jetbrains.com/idea/ 注册码:http://idea.lanyus.com
1.安装jdk
切换root用户:su root
进入/usr文件夹:cd /usr
建立文件夹java:mkdir java
将下载的jdk压缩包复制到/usr/java下:cp /home/haha/下载/jdk-8u131-linux-x64.tar.gz ./java
进行解压:tar -xvf jdk-8u131-linux-x64.tar.gz -C ./java(按tab键可自动补全文件名)
(生成一个jdk1.8.0_131的文件夹)
配置环境变量:
使用文本编辑器gedit打开 /etc/profile( sudo gedit /etc/profile),在文件最后添加
export JAVA_HOME=/usr/java/jdk1.6.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
注意修改JAVA_HOME为实际的路径(注意jdk的文件夹名称)
使得文件生效:source /etc/profile
测试:
输入java
输入java -version(若显示了对应的安装版本则安装成功)
不行就重启系统试试!
注意:
切换root用户:su (不记得密码输入sudo su - ; sudo passwd – 重置密码)
2.安装scala
在/usr下建立文件夹层次spark/scala
cd /usr/spark/scala
将下载的scala压缩包复制到/usr/spark/scala下:cp /home/haha/下载/scala-2.11.11.tgz .
解压:tar –zxvf scala-2.11.11.tgz
进入sudo gedit /etc/profile 在下面添加路径:
export PATH="$PATH:/usr/spark/scala/scala-2.11.11/bin"
使得文件生效:source /etc/profile
测试:
输入scala(能够进入REPL(Read-Eval Print Loop)环境)
不行就重启系统试试!
3.安装hadoop
配置SSH(ssh免密匙登录)
sudo apt-get install ssh
sudo apt-get install rsync
ssh-keygen -t rsa //一路回车
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost //不需要输入密码时即成功
关闭防火墙
ufw disable
创建可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell:
sudo useradd -m hadoop -s /bin/bash
设置密码,可简单设置为 hadoop:
sudo passwd hadoop
增加管理员权限:
sudo adduser hadoop sudo
安装:
sudo tar -zxf /home/zhouxnli/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限
配置环境变量:
sudo vim /etc/profile
# 在最后添加下面代码
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
测试Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
hadoop version
4.安装spark
解压:tar –zxvf spark-1.5.1-bin-hadoop2.6
进入sudo gedit /etc/profile 在下面添加路径:
SPARK_HOME=/home/spark/spark-lectures/spark-1.5.1-bin-hadoop2.6 (解压后的包所在的路径)
PATH=$PATH:${SPARK_HOME}/bin
使得文件生效:source /etc/profile
不行就重启系统试试!
打开终端,输入:spark-shell测试
5.安装IntellijIDEA
切换root用户,在/usr下新建intellijIDEA文件夹
将下载的压缩包解压到/usr/intellijIDEA下 :tar -zxvf ideaIU-14.tar.gz -C /usr/intellijIDEA
修改配置文件,加上 export IDEA_JDK=/usr/java/jdk1.6.0_45 :sudo gedit /etc/profile
进入解压后文件夹的bin文件,运行:sh idea.sh
选择注册码登录(试试注册码):
C0FHYYCJ22-eyJsaWNlbnNlSWQiOiJDMEZIWVlDSjIyIiwibGljZW5zZWVOYW1lIjoid2VpIGh1YW5nIiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGlvbiI6IiIsImNoZWNrQ29uY3VycmVudFVzZSI6ZmFsc2UsInByb2R1Y3RzIjpbeyJjb2RlIjoiSUkiLCJmYWxsYmFja0RhdGUiOiIyMDE3LTAyLTI2IiwicGFpZFVwVG8iOiIyMDE4LTAyLTI1In1dLCJoYXNoIjoiNTA2NDQ3MS8wIiwiZ3JhY2VQZXJpb2REYXlzIjo3LCJhdXRvUHJvbG9uZ2F0ZWQiOmZhbHNlLCJpc0F1dG9Qcm9sb25nYXRlZCI6ZmFsc2V9-pujnwQxf3C8yHf0amTTAId+Oj1LzpvTsn71x0pvgjvXtx7MWs0AAbAX2L5frRvM/0AzmF7aQuayU5EEcew+J5j0O6RsCxMUilbeeQuCBDZK1bm9NKlAYf90RSKqQ9ViMyjsBVTHoABM0XHNi++XASeBB9g1OUZdzseLZ6pit0G0BPmunKIuX7bqjWewl0okbNIl+bW2y3eD4un9jDODbjMmdlB6T42s6mQ/lDkjD65C5OY1nY2fsVyd4sa4i0iCYwNvzFlDVG/AzziLYNDAdjipE+lN5McMXMfPZuGKkvTJMJk56l5t+jPjdjPRDId+lLqa0GU3zaNP251mm8vmOew==-MIIEPjCCAiagAwIBAgIBBTANBgkqhkiG9w0BAQsFADAYMRYwFAYDVQQDDA1KZXRQcm9maWxlIENBMB4XDTE1MTEwMjA4MjE0OFoXDTE4MTEwMTA4MjE0OFowETEPMA0GA1UEAwwGcHJvZDN5MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAxcQkq+zdxlR2mmRYBPzGbUNdMN6OaXiXzxIWtMEkrJMO/5oUfQJbLLuMSMK0QHFmaI37WShyxZcfRCidwXjot4zmNBKnlyHodDij/78TmVqFl8nOeD5+07B8VEaIu7c3E1N+e1doC6wht4I4+IEmtsPAdoaj5WCQVQbrI8KeT8M9VcBIWX7fD0fhexfg3ZRt0xqwMcXGNp3DdJHiO0rCdU+Itv7EmtnSVq9jBG1usMSFvMowR25mju2JcPFp1+I4ZI+FqgR8gyG8oiNDyNEoAbsR3lOpI7grUYSvkB/xVy/VoklPCK2h0f0GJxFjnye8NT1PAywoyl7RmiAVRE/EKwIDAQABo4GZMIGWMAkGA1UdEwQCMAAwHQYDVR0OBBYEFGEpG9oZGcfLMGNBkY7SgHiMGgTcMEgGA1UdIwRBMD+AFKOetkhnQhI2Qb1t4Lm0oFKLl/GzoRykGjAYMRYwFAYDVQQDDA1KZXRQcm9maWxlIENBggkA0myxg7KDeeEwEwYDVR0lBAwwCgYIKwYBBQUHAwEwCwYDVR0PBAQDAgWgMA0GCSqGSIb3DQEBCwUAA4ICAQC9WZuYgQedSuOc5TOUSrRigMw4/+wuC5EtZBfvdl4HT/8vzMW/oUlIP4YCvA0XKyBaCJ2iX+ZCDKoPfiYXiaSiH+HxAPV6J79vvouxKrWg2XV6ShFtPLP+0gPdGq3x9R3+kJbmAm8w+FOdlWqAfJrLvpzMGNeDU14YGXiZ9bVzmIQbwrBA+c/F4tlK/DV07dsNExihqFoibnqDiVNTGombaU2dDup2gwKdL81ua8EIcGNExHe82kjF4zwfadHk3bQVvbfdAwxcDy4xBjs3L4raPLU3yenSzr/OEur1+jfOxnQSmEcMXKXgrAQ9U55gwjcOFKrgOxEdek/Sk1VfOjvS+nuM4eyEruFMfaZHzoQiuw4IqgGc45ohFH0UUyjYcuFxxDSU9lMCv8qdHKm+wnPRb0l9l5vXsCBDuhAGYD6ss+Ga+aDY6f/qXZuUCEUOH3QUNbbCUlviSz6+GiRnt1kA9N2Qachl+2yBfaqUqr8h7Z2gsx5LcIf5kYNsqJ0GavXTVyWh7PYiKX4bs354ZQLUwwa/cG++2+wNWP+HtBhVxMRNTdVhSm38AknZlD+PTAsWGu9GyLmhti2EnVwGybSD2Dxmhxk3IPCkhKAK+pl0eWYGZWG3tJ9mZ7SowcXLWDFAk0lRJnKGFMTggrWjV8GYpw5bq23VmIqqDLgkNzuoog==
接下来的安装步骤可以参照在 Ubuntu Linux 上安装 IntelliJ IDEA
安装完成后若未创建图标快捷方式可参照Ubuntu 16.04下创建IntelliJ IDEA图标快捷方式
其中需要回忆起一些基本的vim操作参照【Linux入门学习之】vi/vim编辑器必知必会
以上,写下安装环境时,比较关键的点,方便日后回忆和再次安装