Scala
zhanghytc
while(effort == true){success++;}
展开
-
spark序列化问题解决
saprk 未序列化 Exception in thread "main" org.apache.spark.SparkException: Task not serializable原创 2017-05-10 17:45:34 · 4831 阅读 · 2 评论 -
spark sql 中 java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.Gener
最近在做推荐系统的项目,使用了spark 2.0,需要给每个userid 推荐出一个list ,使用了udf函数udf ()在每行执行的时候 得到org.apache.spark.SparkException: Failed to execute user defined function($anonfun$calcMaxSimilarity$2$1: (string, array) =>原创 2017-06-23 18:02:50 · 8461 阅读 · 1 评论 -
scala中function的使用
最近项目中在做数据存储的时候,由于数据格式不一样,都存到redis中,然后就写了一个RedisStore,在这里去判断数据是从哪里来的,eg:val data = inputStage.getOutput.data后面想想,这种做法其实是不合理的,为什么?1. RedisStore这个类所做的工作应该只是将key-value这种键值对的数据保存到redis中,其实不原创 2017-08-11 13:24:36 · 1248 阅读 · 1 评论 -
Scala中隐式转换整理
Scala,隐式转换原创 2017-04-23 22:50:37 · 650 阅读 · 0 评论