scala.MatchError: Null (of class scala.reflect.internal.Types$TypeRef$$anon$6)

最新推荐文章于 2022-04-14 16:57:33 发布
最新推荐文章于 2022-04-14 16:57:33 发布
阅读量3.2k 收藏
点赞数 1
分类专栏： SPARK 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouyan8603/article/details/83900463
版权

scala语法中，若遇到一个rdd转成df时，当rdd中有null时，可能会遇到以下异常：

scala.MatchError: Null (of class scala.reflect.internal.Types$TypeRef$$anon$6)

遇到这种异常的原因主要是scala中并不知道要将null转换成何种类型，因此可采用以下两种方案解决：

1.强制转换：null.asInstanceOf[String]，我们可以强制将null转换成我们希望的类型，这样就避免了类型模糊的问题了

2.用case class：定义好case class也就相当于赋予了强类型，这样也可以避免

根本原因是Null不能作为df的列类型

玉羽凌风
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
scala中match使用报错Scala.matchError:(of class java.lang.String)
qq_61324603的博客
05-11 1243
总结：原来match方法使用的时候匹配不到值的时候就会报错，加上“其他”（case _ ）匹配项就不会再报错了！2.发现问题出在match使用中,如下写法就会报错。3.后来修改了写法，如下写就不会报错了。
scala中match使用的坑Scala.matchError:(of class java.lang.String)
追梦少年渐已老的博客
02-11 3863
1.遇到错误 Scala.matchError:(of class java.lang.String) 2.发现问题出在match使用中,如下写法就会报错 val test = "" test match { case "job" => println("job") case "work" => println("work") } 3.后来修改了写法，如下写就不会报错了 val test = "" test match { case "job" => prin..
问题解决：scala.MatchError: 816356 (of class java.lang.Integer)
枫夜
02-27 6613
问题场景 使用spark进行业务统计的时候，统计过程中触发这个问题，并导致程序异常退出 问题环境 spark 1.6 scala 2.10.6 jdk 1.7.0_79 问题分析 首先，先看看问题报错提示的具体代码，如下： hiveContext.createDataFrame(finalList, RowUtil.buildUserMdnSchema()) 从这里，我们就可以知道，要么是f...
Caused by: scala.MatchError: None (of class scala.None$)
胖胖的博客
04-14 1307
代码中使用 import scala.util.parsing.json.JSON val inpath="hdfs://node01:8020/tmp/InternationalData_source/InternationalData.IBRD_Value.json" val lines: RDD[Option[Any]] = jsonStr.map(one_line => JSON.parseFull(one_line)) val pre_rdd = lines.map {
Scala部分：Scala中的match匹配问题
wyqwilliam的博客
07-18 1153
package com.bjsxt.scala object Lesson_match {   def main(args:Array[String]):Unit={     val tuple=("1","abc",'c',1.1,true)     val iter=tuple.productIterator     while(iter.hasNext){       matchTest...
scala.rx:Scala中的函数式React式编程的实验库
04-13
Scala.Rx 0.4.1 Scala.Rx是的实验性更改传播库。 Scala.Rx为您提供了React性变量（ ），它们是智能变量，当它们依赖于值的变化时，它们会自动更新。 基本的实现是基于的思想的基于推式的 。 一个简单的示例来演示...
sigma.js4scala.js:sigma.js 的 Scala.js 外观
06-09
sigma.js4scala.js sigma.js 的 Scala.js 视图 用： git 克隆 cd sigma.js4scala.js sbt 发布本地 在你的 build.sbt libraryDependencies += "gilcu2" %%% "scala-js-sigma" % "0.1.0-SNAPSHOT" 不要忘记在 ...
scala-2.12.14.zip&scala-2.12.11.tgz Linux版本压缩包.rar
06-27
Scala是一种强大的多范式编程语言，它融合了面向对象编程和函数式编程的概念，被广泛应用于大数据处理和分布式计算领域，特别是在Apache Spark等框架中。标题提到的"scala-2.12.14.zip&scala-2.12.11.tgz"是Scala的...
scala.react:从 Ingo Maier 的 scala.react 实现到 sbt 的端口
06-13
这个项目是 Ingo Maier 的 scala.react 实现的一个端口，在论文中找到， 变化 移植到 现在管理依赖项 将 Scalatest 代码更新为较新版本 自动格式化 用法 要将scala.react与您的 sbt 项目一起使用，请将以下解析器...
feature.scala:在类型级别访问Scala语言功能
05-19
2. **Scala Type-Level Programming（类型级编程）**：Scala支持在类型系统中进行计算和逻辑表达，这使得开发者可以在编译时处理问题，提高代码的效率和安全性。类型级编程常用于创建元编程结构，如类型安全的枚举、...
a30_scala 模式匹配
qq_43192537的博客
07-22 643
scala 模式匹配
Scala使用match匹配类型出现的unreachable code问题
weixin_30832143的博客
08-04 197
def getAs[T >: Null](id: JsonElement, field: T): T = field match { case s: Class[Long] => id.getAsLong.asInstanceOf[T] case s: Class[Int] => id.getAsInt.asInstanceOf[T] case...
Scala模式匹配----实例解析
我玩的很开心的博客
08-11 546
Scala模式匹配一、什么是模式匹配二、匹配模式种类2.1 通配模式2.2 常量模式2.3 变量模式2.4 构造器模式2.4.1样例类的模式匹配2.4.2非样例类的模式匹配 一、什么是模式匹配 模式匹配指检查某个值（value）是否匹配某一个模式的机制，是 Scala非常重要、非常强大的功能，它不仅可以匹配值，还能够匹配类型等 语法： 选择器 match { case 备选项 } Scala中的 match表达式类似 Java中的 switch语句， switch的 case语句可以处理 int、 sho
pyspark 写入MySQL报错 An error occurred while calling o45.jdbc.: scala.MatchError: null 解决方案
helloxiaozhe的博客
07-13 9436
当我尝试使用pySpark连接MySQL，将简单的spark dataframe写入MySQL数据时报错，py4j.protocol.Py4JJavaError: An error occurred while calling o45.jdbc.: scala.MatchError: null 错误解决方案（1）错误提示：Fri Jul 13 16:22:56 CST 2018 WARN: Est...
「报错」Spark: scala.MatchError (of class org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema
图特摩斯科技-博客
04-10 1万+
场景：   多分类 出错代码： /** 词向量映射*/ val hashingTF = new HashingTF().setInputCol("words").setOutputCol("rawFeatures").setNumFeatures(500). transform(DF_classAndDoc) /** 计算逆向文本频率 */ val idf = new IDF
scala中的match详解
NON blog
08-29 2万+
Scala中提供了比java，c更加强大的switch语句——match，而且不用担心因为忘记写break语句而发生case穿透 1.更好的switch 与if，类似match也是表达式，如下一个用于匹配字符的函数def charMatch(c: Char) = c match { case '+' => 1 case '-' => -1
Scala之空值
u012798083的专栏
09-26 6308
为了让所有的东西都是对象的目标更加一致，也为了遵循函数式编程的习惯。Scala鼓励你在变量和函数返回值可能不会引用任何值的时候使用Option类型。Scala的Option类型可以避免NullPointerException情况，因此，Scala应用推荐使用Option类型来代表一些可选值。使用Option类型，读者一眼就可以看出这种类型的值可能为None。 如果没有值...
【Scala】使用Option、Some、None，避免使用null
热门推荐
Jason Ding的专栏
07-07 2万+
避免null使用大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人疑惑的选择。为什么要在程序员希望返回一个对象的时候返回一个关键字呢？Scala的Option类型为了让所有东西都是对象的目标更加一致，也为了遵循函数式编程的习惯，Scala鼓
scala中的option[T]、Any、Nothing、Null和Nil
王帆的专栏
03-17 2927
1、option[T] option[T]主要是用来避免NullPointerException异常的(Option本身是一个容器) // Java 里 HashMap 的 get() 方法，如果找不到对应的 key 值，就会反回 null： HashMap myMap = new HashMap(); myMap.put("key1", "value1"); String value1 =
如何解决scala.MatchError: WrappedArray(947,106, 812,366) (of class scala.collection.mutable.WrappedArray$ofRef)
最新发布
05-13
`scala.MatchError` 错误通常是由于 `match` 表达式中的模式匹配不全导致的。出现这个错误的原因是程序在运行时遇到了一个没有预料到的情况。 在你的错误信息中，`WrappedArray(947,106, 812,366)` 是一个包装了数组的对象，它的类型是 `scala.collection.mutable.WrappedArray$ofRef`。这个对象在程序中可能被用作了 `match` 表达式中的模式匹配，然后出现了错误。 要解决这个问题，你应该检查你的代码，查看在哪个 `match` 表达式中没有覆盖到 `WrappedArray(947,106, 812,366)` 这个对象的情况。你可以添加一个 `case` 分支来处理这个情况，或者在 `match` 表达式的最后添加一个 `case _` 分支来处理所有未覆盖的情况。如果你确定这个情况不会出现，你也可以使用 `Option` 或 `Try` 等类型来避免出现 `MatchError` 错误。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值