Spark MLLib KMeans OOM 问题

1.问题描述：

    对7万*3万的矩阵，对行数据KMeans聚类，刚开始执行，就报错:java.lang.OutOfMemoryError: Java heap space

2.原因查找：

    查看Spark MLLib KMeans源码中有关开辟堆栈空间的部分，在

spark-1.6.1\mllib\src\main\scala\org\apache\spark\mllib\clustering\KMeansModel.scala

中找到了下面这个语句：

def this(centers: java.lang.Iterable[Vector]) = this(centers.asScala.toArray)

3.分析：

       我设置的类别数目是5000，数据维度上面提到了是3万，猜测源码把5000*3万的数据量放到一个数组中而，这个猜测与报错的原因及报错发生在刚执行的时刻吻合。

4.确认与解决：

       方案一：降低聚类数目，降低到50后，不再OOM，分析得到了印证；

       方案二：降低数据维度，使用SVD降维，左矩阵乘以奇异值矩阵得到原始数据的低维近似；