用textfile读取文件夹所有文件提示数组越界

java.lang.ArrayIndexOutOfBoundsException: 3
	at CountTime$$anonfun$1.apply(CountTime.scala:13)
	at CountTime$$anonfun$1.apply(CountTime.scala:11)

看别人写的这个可以读取文件夹所有文件,自己读取却提示数组越界。

val mbt=sc.textFile("/home/hadoop/Data/ ", 2).map()

改为

val mbt=sc.textFile("/home/hadoop/Data/*.log", 2)

可以读取所有文件

 本地文件读取
val local_file_1 = sc.textFile("/home/hadoop/sp.txt")
val local_file_2 = sc.textFile("file://home/hadoop/sp.txt")
 
 当前目录下的文件
val file1 = sc.textFile("sp.txt")
 
 HDFS文件
val hdfs_file1 = sc.textFile("hdfs://192.168.146.100:9000/data/input/123.txt")
 
 多文件读取
val file2 = sc.textFile("sp.txt,a.txt,b.txt")
 
 全目录读取
val hdfs_file2 = sc.textFile("hdfs://192.168.146.100:9000//data/input/")
 
 通配符匹配
val file2 = sc.textFile("file://home/hadoop/*.txt")
 
 读取压缩文件
val file3 = sc.textFile("file://home/hadoop/sp.gz")

参考
https://www.cnblogs.com/RHadoop-Hive/p/10064599.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Spark中的textFile函数可以用来读取文本文件。它可以接受一个文件路径作为参数,并返回一个RDD对象,其中每个元素都是文件中的一行文本。例如,以下代码可以读取一个名为“input.txt”的文本文件: val lines = sc.textFile("input.txt") 其中,sc是SparkContext对象,需要在程序中先创建。读取完成后,可以对RDD对象进行各种操作,例如过滤、映射、聚合等。 ### 回答2: Spark的TextFile方法是用于读取文本文件的函数。使用这个方法,我们可以轻松地从本地文件系统或分布式文件系统中读取文本文件,并将其转换为RDD。 在Spark中,我们可以使用TextFile方法来读取文本文件,这个方法接受一个参数,即文件的路径。文件的路径可以是本地文件系统的路径,也可以是分布式文件系统(如HDFS)的路径。 当我们调用TextFile方法时,Spark会将文本文件加载到集群中,并将其分成多个分区。每个分区都包含文件中的一部分数据,可以并行处理。分区的数量通常由文件的大小和集群的计算能力决定。 读取文本文件后,我们可以对RDD执行各种转换和操作,如筛选、映射、聚合等。这些操作可以通过RDD的各种转换函数来实现,如Filter、Map、Reduce等。 此外,我们还可以在读取文本文件时指定一些可选的参数,如文件的格式、编码方式等。例如,我们可以通过设置TextFile的第二个参数来指定文件的格式,如TextFile("file.txt", "com.databricks.spark.csv"),这样就可以读取CSV格式的文件。 总而言之,Spark的TextFile方法是一个非常方便的函数,可以帮助我们轻松地读取文本文件,并进行各种数据处理和分析。无论是在本地环境还是分布式环境中,TextFile都是一个非常常用的读取文件的方法。 ### 回答3: Spark的textFile函数是用来读取文本文件的。它支持读取本地文件系统,也可以读取分布式文件系统(如HDFS)中的文件textFile函数的用法如下: val rdd = sc.textFile("file:///path/to/file") 其中,sc是SparkContext对象,"file:///path/to/file"是要读取的文件路径。如果是在本地文件系统中,则file://可以省略,直接写路径即可。 textFile函数会将文本文件读取为一个RDD(弹性分布式数据集)。每一行文本都会作为RDD中的一个元素,文件中的每一行都会作为RDD中的一个分区(partition)。如果文件很大,Spark会自动将文件进行切片并以分区的形式在集群中并行处理。 读取文件后,可以对RDD进行各种转换和操作。例如,可以使用map、filter、count等函数对每一行文本进行处理和统计。此外,还可以将多个文本文件合并为一个RDD,使用union函数来实现。 需要注意的是,textFile函数只是将文件读取为RDD,而不会对文件内容进行解析或解码。对于非文本文件(如二进制文件),需要自行根据文件格式进行解析和处理。 总之,通过Spark的textFile函数可以方便地读取文本文件,并在集群中进行并行处理和分析。同时,可以应用Spark丰富的操作和转换函数对文件内容进行处理和转换。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值