2.4 配置Spark源码阅读环境

由于Spark使用SBT作为项目管理构建工具,SBT的配置文件中配置了依赖的jar包网络路径,在编译或者生成指定类型项目时需要从网络下载jar包。需要用户预先安装git。在Linux操作系统或者Windows操作系统上(用户可以下载Git Shell,在Git Shell中进行命令行操作)通过“sbt/sbt gen-idea”命令,生成Intellij项目文件,然后在Intellij IDE中直接通过“Open Project”打开项目。

克隆Spark源码:


git clone https:// github.com/apache/spark。

在所需要的软件安装好后在spark源代码根目录下,输入以下命令生成Intellij项目:


sbt/sbt gen-idea

这样SBT会自动下载依赖包和进行源文件编译以及生成Intellij所需要的项目文件。