是一个可扩展的H2O机器学习算法平台,它与Spark的功能相结合。 它允许用户将使用Scala / R / Python语言来调用它。在安装它时需要注意版本与spark版本一致,由于本人的spark平台为2.3版本,即对应安装2.3版的Sparkling Water
安装步骤如下:
1、下载Spark_H2O安装包sparkling-water-2.3.284_nightly.zip(下载地址:官方下载地址)
2、解压文件并重命名
unzip sparkling-water-2.3.284_nightly.zip
mv sparkling-water-2.3.284_nightly sparkh2o
3、在Sparkh2o目录下的bin目录下启动spark_h2o
./sparkling-shell --conf "spark.executor.memory=1g"
scala>import org.apache.spark.h2o._
scala>val h2oContext = H2OContext.getOrCreate(spark)
scala>import h2oContext._
此时可以看到界面提示可以访问WebUI(默认是host_ip:54321),如果能够访问,即表明安装正确