Spark来监控hdfs里的文件,并用wordcount计算

import org.apache.spark._
import org.apache.spark.streaming._
object Stream {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setMaster("spark://10.149.252.106:7077").setAppName("Streaming");
    // 创建Streaming的上下文,包括Spark的配置和时间间隔,这里时间为间隔20秒
    val ssc = new StreamingContext(sparkConf,Seconds(10));
    // 指定监控的目录
//    val lines = ssc.textFileStream("file:///home/ubuntu/sparkJar/test");
    val lines = ssc.textFileStream("hdfs://10.149.252.106:9000/input");
    val words = lines.flatMap(_.split(" "));
    val wordCount = words.map(x => (x,1)).reduceByKey(_+_);
    wordCount.saveAsTextFiles("hdfs://10.149.252.106:9000/output/")
    wordCount.print();
    ssc.start();
    ssc.awaitTermination();
  }
}

### 回答1: 1. 首先启动spark shell,输入以下命令: ``` $ spark-shell ``` 2. 然后,使用以下命令读取Hadoop HDFS上的文本文件: ``` val textFile = sc.textFile("hdfs://<namenode>:<port>/<path-to-file>") ``` 其中,`<namenode>`是Hadoop集群的名称节点,`<port>`是Hadoop集群的端口号,`<path-to-file>`是要读取的文件HDFS上的路径。 3. 接下来,使用以下命令进行wordcount统计: ``` val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _) ``` 其中,`flatMap`函数将每一行文本拆分成单词,`map`函数将每个单词映射为`(word, 1)`的键值对,`reduceByKey`函数将相同单词的计数值相加。 4. 最后,使用以下命令输出结果: ``` wordCount.collect().foreach(println) ``` 这将打印出每个单词及其出现次数的统计结果。 ### 回答2: spark shell是spark提供的一个交互式的命令行工具,通过该工具,我们可以方便地使用spark的各种功能和API来对数据进行处理和分析。如果我们需要从hadoop的hdfs上读取文本文件,并进行wordcount统计的话,可以按照以下步骤来实现: 1. 启动spark shell 首先,我们需要在终端中输入以下命令来启动spark shell: $ spark-shell 该命令会启动一个交互式的spark环境,我们可以在该环境中进行数据处理和分析操作。 2. 读取hdfs上的文本文件 接下来,我们需要从hdfs上读取文本文件,并将其加载到spark中进行处理。可以使用以下命令来实现: val textFile = sc.textFile("hdfs://<name-node>:<port>/path/to/text/file") 其中,sc是sparkContext的实例,用来表示spark的环境;textFile是一个RDD对象,表示读取到的文本文件。需要将<name-node>和<port>替换为实际的hdfs集群的名称和端口号,而路径则替换为实际的文本文件路径。 3. 进行wordcount统计 读取文本文件后,我们可以使用spark提供的各种API来对文本进行处理和分析。下面是一个简单的例子,用来统计文本中单词的个数: val counts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _) 其中,flatMap()函数将每一行的文本内容进行分割,并将结果扁平化成一个个单词;map()函数将每个单词转化成(key, value)的形式,其中value初始化为1;reduceByKey()函数将每个单词出现的次数累加起来,并统计出总数。 4. 输出统计结果 统计完成后,我们可以使用以下命令将结果输出到控制台: counts.collect().foreach(println) 该命令会将counts这个RDD对象的结果输出到控制台上。其中,collect()函数将RDD对象中的元素收集到一个数组中,而foreach()函数则将该数组中的每个元素依次输出到控制台上。 以上就是使用spark shell读取hadoop hdfs上文本文件统计wordcount的方法。通过这种方式,我们可以方便地使用spark分布式计算的能力来处理大规模的数据集,提高数据处理效率。 ### 回答3: 使用Spark shell读取Hadoop HDFS上的文本文件并进行wordcount统计,通常需要经历以下几个步骤: 1. 启动Spark shell。在终端中输入`spark-shell`命令,即可启动Spark shell。此时会自动连接本地的Spark集群,进入Scala交互模式,可以开始使用Spark。 2. 创建RDD并读取HDFS上的文本文件。使用`sc.textFile(path)`方法可以创建一个RDD,读取HDFS上指定路径下的文本文件。其中,`path`可以是一个文件路径或者是一个目录路径,表示需要读取的文件或者目录。如下所示: ``` val textFile = sc.textFile("hdfs://host:port/path/to/file") ``` 需要注意的是,`host:port`表示HDFS的NameNode地址和端口号,可以根据实际情况进行修改。 3. 对RDD进行转换操作。由于需要进行wordcount统计,所以需要对RDD中的每一行文本进行分词处理,将单词作为RDD的元素。可以使用`flatMap`方法将每一行文本映射为多个单词,并使用`map`方法将每个单词映射为`(单词, 1)`的形式。 ``` val words = textFile.flatMap(line => line.split(" ")) val pairs = words.map(word => (word, 1)) ``` 4. 执行reduceByKey操作。使用`reduceByKey`方法将相同key的value相加,得到每个单词出现的次数。最后可以使用`sortBy`方法对统计结果进行排序,得到出现次数最多的单词。 ``` val wordCounts = pairs.reduceByKey(_ + _) val sortedCounts = wordCounts.sortBy(_._2, false) sortedCounts.take(10).foreach(println) ``` 具体而言,以上四个步骤可以合并为如下一行代码: ``` sc.textFile("hdfs://host:port/path/to/file") .flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _) .sortBy(_._2, false) .take(10) .foreach(println) ``` 需要注意的是,在实际的生产环境中,还需要进行一些优化,如设置并行度、缓存RDD等。但是以上的步骤已经足够实现一个简单的wordcount统计。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值