Spark
spark学习资源分享
ZQ_ZHU
这个作者很懒,什么都没留下…
展开
-
Cannot resolve overloaded method ‘createDataFrame‘
在spark中利用自己定义schema的方式创建dataframe遇到了rt所示的错误原因分析:首先定义rddval dCom = spark.read.orc(pth1+"/202006") .select("uid","publish_time","content_length") .join(isTrueUser, Seq("uid")) .rdd.map(row =>{ val uid = row.getAs[String]("uid")原创 2020-09-30 16:37:09 · 5003 阅读 · 0 评论 -
Exception in thread“main“java.lang.IllegalArgument Exception:Unsupported class file major version 58
rt,具体的错误信息如下所示:IDEA.app/Contents/lib/idea_rt.jar=55620:/Applications/IntelliJ IDEA.app/Contents/bin -Dfile.encoding=UTF-8 -classpath /Users/zhuzhiqiang/Downloads/weiboID/target/scala-2.11/classes:/Users/zhuzhiqiang/Library/Caches/Coursier/v1/https/repo1.m原创 2020-09-14 10:18:58 · 2906 阅读 · 0 评论 -
Spark学习之第一个程序打包&提交任务到集群
Spark学习之第一个程序打包&提交任务到集群免密钥登录设置环境工具环境打包工具打包安装插件创建项目编写代码打包提交任务启动hadoop上传测试文件到hdfs上传程序jar包提交任务启动master启动worker提交作业查看测试程序是否正确查看 是否生成文件夹 进入文件查看程序是否正确进入文件查看程序是否正确免密钥登录设置ssh-keygencd .sshtouch authorized_keyscat id_rsa.pub > authorized_keyschmod 600转载 2020-09-01 15:47:11 · 441 阅读 · 0 评论