![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
钓的不是鱼
心寂寞,世界所以寂寞,遍地开花,看到的却是满眼的寂寥和落寞
展开
-
Could not write class xxx because it exceeds JVM code size limits...too large
记录工作中遇到的一个问题:Could not write class xxx because it exceeds JVM code size limits...too large问题描述开发环境报错原因解决方法参考文献 问题描述 自己写了一个很普通的sparksql代码,把所有的代码都写到了main方法中,但由于业务需求,建了一个特别大的宽表。。。balabala,总之就是main方法很多行 写完后使用maven打包,报错Could not write class xxx because it ex原创 2020-10-29 00:41:11 · 687 阅读 · 0 评论 -
spark算子--transformation篇
spark算子分为两大种,一种是transformation算子,另一种是action算子。其实细分的话transformation算子又可以细分为value型和k-v型,个人感觉没必要,也就不细化了,省得把大家搞晕。 transformation又叫转换算子,它从一个RDD到另一个RDD是延迟执行的,不会马上触发作业的提交,只有在后续遇到某个action算子时才执...原创 2019-02-22 11:43:17 · 668 阅读 · 0 评论 -
spark算子--action篇
spark算子分为两大种,一种是transformation算子,另一种是action算子。 transformation又叫转换算子,它从一个RDD到另一个RDD是延迟执行的,不会马上触发作业的提交,只有在后续遇到某个action算子时才执行; action算子会触发SparkContext提交Job,并将数据输出spark系统。今天举例讲解一下action算子。 1) count 就是...原创 2019-02-27 18:04:38 · 2270 阅读 · 0 评论