Spark3读S3上文件

最新推荐文章于 2023-12-20 15:29:55 发布

最笨的羊羊

最新推荐文章于 2023-12-20 15:29:55 发布

阅读量922

点赞数

分类专栏：大数据文章标签： Spark3读S3上文件

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/119886550

版权

大数据专栏收录该内容

532 篇文章 541 订阅 ¥49.90 ¥99.00

订阅专栏

本文档介绍了如何在Spark3中通过Spark-shell读取S3上的Parquet文件，首先本地启动Spark-shell，然后加载指定路径的文件，最后计算文件中的数据量。

摘要由CSDN通过智能技术生成

Spark3读S3上文件

一、启动Spark-shell

本地启动spark-shell

./spark-shell

二、读文件

val rdd =spark.sparkContext.textFile(“s3a://opticsprod/dwh/ods_prod/software_1h/datetime=2020070919/test.parquet”);

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 3.0.0
      /_/

Using Scala version 2.12.10 (Java HotSpot(TM

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

最笨的羊羊

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
Spark3读S3上文件

Spark3读S3上文件一、启动Spark-shell本地启动spark-shell./spark-shell二、读文件val rdd =spark.sparkContext.textFile(“s3a://opticsprod/dwh/ods_prod/software_1h/datetime=2020070919/test.parquet”);Welcome to ____ __ / __/__ ___ _____/ /__ _
复制链接

扫一扫