Spark2.3.2源码分析：1.代码阅读环境准备

• 准备工作（仅针对于mac环境）
• ‘版本

软件	版本
操作系统	MAC
Jdk	1.8
Maven	3.3.9+
Scala	2.10.6
Spark	2.3.2
Hadoop	2.7.3

 

文件下载

 

链接:https://pan.baidu.com/s/1ec09cH1De7P-RWaWKOxvQA  密码:o83a

 

配置环境变量 (软件自行解压配置)

bogon:~ sysadmin$ bogon:~ sysadmin$ more ~/.bash_profile   export MAVEN_HOME=/tools/apache-maven-3.3.9 export PATH=$PATH:$MAVEN_HOME/bin   export SCALA_HOME=/tools/scala-2.11.8 export PATH=$PATH:$SCALA_HOME/bin   export JAVA_HOME=/Library/java/JavaVirtualMachines/jdk1.8.0_161.jdk/Contents/Home export PATH=$PATH:$JAVA_HOME/bin     export HADOOP_HOME=/tools/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin   export HADOOP_USER_NAME=hadoop export PATH=$PATH:$HADOOP_USER_NAME   export SPARK_HOME=/workspace/spark-2.3.2 export SPARK_CONF_DIR=/workspace/spark-2.3.2/conf export PATH=$PATH:$SPARK_HOME/bin

 

 

• Spark源码

 

导入IDEA

 

 

 

maven记得下载源码和文档

 

 

修改pom.xml文件

1. 将软件中使用的版本全部修正一下，指向已经配置好的版本
   1. scala.version
   2. hadoop.version
2. 修改一个参数

<useZincServer>false</useZincServer>

 

整体pom.xml文件见网盘

 

执行编译命令

mvn -X -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -DskipTests clean package

注：使用脚本编译的时候，其实也是采用maven编译，所以一定要确保编译成功不要报错,不然后面没办法debug