scala
文章平均质量分 55
zkeqing
这个作者很懒,什么都没留下…
展开
-
Caused by: java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.GenericRowWithSch
这个功能实现非常简单:主要代码如下,具体讲的重点,请参看文末。case class GeoDistrictsWithCnt(geohash_code: String, county_id: Int, cnt:Int)val makeGeoDistricts = udf[GeoDistrictsWithCnt, String, Int, Int]((geohash_code, count...原创 2018-10-26 18:48:51 · 1756 阅读 · 0 评论 -
在spark中使用udf完成包含判断 VS column.isin(XXX:_*)
在这之前,当遇到需要同时判断多个包含关系的时候,我都比较倾向于使用第一种。理由很简单,一个udf,解决所有问题。但是,今天遇到了一个性能问题(平时肯定也出现了,但是没怎么关注),才关注到这样的现象。 val filterUsers = (episodesBC: Broadcast[Set[Long]], albumsBC: Broadcast[Set[Long]], channelsBC...原创 2019-08-30 17:29:10 · 613 阅读 · 0 评论