![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
基础知识
七月流火_2567
人的一切痛苦,都是对自己无能的愤怒!
展开
-
关于Dstream的转化操作的详细解释
众所周知,在SparkCore中,RDD支持Transform和Action两种类型的算子操作,同样的,作为代表了一系列连续 RDD序列的DStream,同样也有相应的操作,如下图所示: 在此,我着重讲一下Dstream的转化操作。 DStream的转化操作可以分为无状态(stateless)和有状态(stateful)两种。 无状态转化操作 无状态的转化操作,就是把简单的RDD转化操作应用到...原创 2018-11-22 20:44:12 · 5793 阅读 · 2 评论 -
解决问题:java.lang.NumberFormatException:For input string: "null"
今天中午,在做数据清洗的时候,发现了这个数据格式错误,几次更改还是报错,最后发现,这里的“null”,其实就是“null”字符串,而不是String中的空值null。 因为这个数据是从mysql中传上来的,所以一直在看mysql中的数据,觉得是null,不是“null”,但是从mysql传到HDFS上时,它已经被转化成“null”了,所以,如果想要继续使用,就应该把判断条件改成判断字符串 int...原创 2018-12-18 17:11:04 · 10177 阅读 · 0 评论