从7月初到现在已经快一个月左右了,我们的项目总体进展比较顺利,本次中期检查报告主要分为两部分:前期工作总结和后期展望。
一、前期工作总结
项目前期我们的工作主要是围绕“基于spark的流式广义线性模型算法实现”这个目标去做的。万事开头难,要实现算法,必须首先得搭建开发环境。
1、搭建基于linux和windows的spark和scala的开发环境
由于在windows上有支持Scala语言的scala-IDE这个软件,编程非常清晰和方便,如下图所示。
另外,由于基于spark库的程序在linux上运行起来更方便,通过spark-submit这个应用就可以运行基于spark的程序,还可以方便地修改配置参数,因此我们在linux机器上也装好了scala语言和spark的开发环境(详见博文“基于linux的spark与scala开发环境搭建”)。
1、学习scala语言和运行spark程序
由于刚开始接触scala语言,对其并不是很熟悉,熟悉一种语言的最好的办法当然是看它的源代码并且运行程序。
我们通过对spark1.0.0版本的一些简单例程的学习,如单词统计(如下图)、计算π等例子,慢慢熟悉并掌握了Scala语言的基本的函数式编程技巧和代码