zhikanjiani的博客

第一章：上次课回顾第二章：第一章：上次课回顾https://blog.csdn.net/zhikanjiani/article/details/100082667第二章：**第一步：**点击load，load是DataFrameReader(org.apache.spark.sql)def load():sql.DataFramespark.read.load()点进去查看方法...

一、上次课回顾第一章：上次课回顾https://blog.csdn.net/zhikanjiani/article/details/96722109

从源端把数据加载进来，不管是采用Map Reduce、Hive、Spark计算引擎，把数据加载至目标端1）数据文件格式2）数据可能在本地/HDFS/S3eg：源端JSON格式，解析出来变成文本，借助于JSON的工具进行JSON的处理，比如JSON今天有10个字段，明天有11个字段，后天有13个字段，由于JSON是key、value存储，还真不一定。这种场景工作中比较多；处理麻烦。load ...

交代下前因后果：学习Spark SQL过程中：在pom.xml中配置这段话，maven仓库并没有下载，只是提示找不到这个依赖；遂去到这个网址 http://mvnrepository.com 是maven仓库的国内镜像地址，下载到spark-sql_2.11-2.4.0.jar这个包<spark.version>2.4.0</spark.version> <...

回顾：SparkCore总结，把数据写到外部第三方数据库，都要采用foreachPartition建议大家首先采用带Partition的。对于Spark-Core给定功能实现，是最基本的要求；数据清洗部分使用RDD代替MapReduce来实现.Spark SQL：概念：Spark SQL is Apache Spark’s module for working with structure...