![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
谷新龙001
故不积跬步,无以至千里。不积小流,无以成江海。
展开
-
解决spark-shell启动,hdfs权限问题
解决spark-shell启动,hdfs权限问题环境问题尝试创建创建文件夹环境cdh6.3.2问题在启动spark-shell的时候,出现 /user/spark/driverLogs does not exist. Please create this dir in order to persist driver logs错误虽然后面正常启动了,但是心中还是觉得创建一下这个日志路径比较好尝试创建hadoop dfs -mkdir -p /user/spark/driverLogs可原创 2020-10-26 23:35:34 · 1208 阅读 · 0 评论 -
大数据面试之Spark Streaming
大数据面试之Spark Streaming1. Spark Streaming1.1 Spark Streaming工作原理1.1 Spark Streaming如何读取Kafka中数据?1.2 Spark Streaming编写步骤说明,感谢亮哥长期对我的帮助,此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权,请及时指出,我会立马停止该行为;如有不足之处,还请大佬不吝指教,以期共同进步。1. Spark StreamingSpark Streaming是Spark Core的扩展应用原创 2020-06-14 22:46:34 · 959 阅读 · 0 评论 -
大数据面试之Spark SQL
大数据面试之Spark SQL1.Spark SQL1.1 Spark SQL连接MySql1.2 Spark读取Hive数据1.3 DataFrame 和 RDD 之间的转换?1.4 Spark读取HBase数据1.5 Spark写入HBase数据说明,感谢亮哥长期对我的帮助,此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权,请及时指出,我会立马停止该行为;如有不足之处,还请大佬不吝指教,以期共同进步。1.Spark SQL1.1 Spark SQL连接MySqlval conf =原创 2020-06-14 22:44:35 · 230 阅读 · 0 评论 -
大数据面试之Spark
大数据面试之Spark1.Spark1.0 Spark架构1.1 Spark的Shuffle过程?与Hadoop的Shuffle过程对比1.2 Spark中reduceBykey和groupBykey的区别1.3 Spark中和repartition相似的算子?优缺点1.4 Spark的调优1.5 Spark中数据倾斜处理1.6 Spark的多种提交方式?python提交方式?1.7 Spark广播变量和累加器的使用1.8 Spark 3.X 新特性说明,感谢亮哥长期对我的帮助,此处多篇文章均为亮哥带我整原创 2020-06-14 22:42:10 · 184 阅读 · 0 评论