saprk
zhanghytc
while(effort == true){success++;}
展开
-
saprk rdd使用中遇到的一个典型问题
saprk rdd的使用注意原创 2017-05-19 18:55:01 · 951 阅读 · 0 评论 -
spark sql 中 java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.Gener
最近在做推荐系统的项目,使用了spark 2.0,需要给每个userid 推荐出一个list ,使用了udf函数 udf ()在每行执行的时候 得到 org.apache.spark.SparkException: Failed to execute user defined function($anonfun$calcMaxSimilarity$2$1: (string, array) =>原创 2017-06-23 18:02:50 · 8488 阅读 · 1 评论 -
推荐系统中涉及到Id转换
最近的推荐系统项目中,使用spark 中的机器学习算法实现推荐,会把收到的用户行为数据转换为对应的评分数据,参考电影评分数据一样,其中spark mllib中的Als算法需要的数据格式是uid itemid rating这种格式的,其中uid,itemid是int类型的,但是server手机到的数据是string的,就拿uid来说,可能是cookie,可能是deviceid,这时候就要将这原创 2017-07-06 16:56:26 · 999 阅读 · 1 评论