Spark流式在hdfs上的一种容错方式

最新推荐文章于 2022-04-15 12:14:35 发布
最新推荐文章于 2022-04-15 12:14:35 发布
阅读量2k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzzzzqf/article/details/24109663
版权

Spark 在hdfs上的一种容错方式

在hdfs上一个指定的目录上，不断的运行wordcount。如果一个文件正在拷贝到hdfs上，但还没有完全复制完，同时被spark检测到并且被认为是新进入的文件，就会对这个文件运行wordcount，这个文件不完全还在处理写的状态，这就造成了错误。

src938.jpeg._COPYING_ 这个文件就是正处于被写入hdfs上的文件。第一次spark去读的时候，发生了错误，然后就报错了。当spark运行完当前的task，又会检测到这个src938.jpeg已经复制完成的文件，会进入下一个task。

具体的看下面的运行日志。

绿色的是发现目录有新文件的输出，红色的是发生错误的文件。

 

14/04/19 14:10:26INFO FileInputDStream: Finding newfiles took 32 ms

14/04/19 14:10:26 INFO FileInputDStream:New files at time 1397887826000 ms:

hdfs://192.168.178.181:9000/123/src923.jpeg

hdfs://192.168.178.181:9000/123/src924.jpeg

hdfs://192.168.178.181:9000/123/src925.jpeg

hdfs://192.168.178.181:9000/123/src926.jpeg

hdfs://192.168.178.181:9000/123/src927.jpeg

hdfs://192.168.178.181:9000/123/src928.jpeg

hdfs://192.168.178.181:9000/123/src929.jpeg

hdfs://192.168.178.181:9000/123/src930.jpeg

hdfs://192.168.178.181:9000/123/src931.jpeg

hdfs://192.168.178.181:9000/123/src932.jpeg

hdfs://192.168.178.181:9000/123/src933.jpeg

hdfs://192.168.178.181:9000/123/src934.jpeg

hdfs://192.168.178.181:9000/123/src935.jpeg

hdfs://192.168.178.181:9000/123/src936.jpeg

hdfs://192.168.178.181:9000/123/src937.jpeg

hdfs://192.168.178.181:9000/123/src938.jpeg._COPYING_

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=138682568, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_780 stored as values to memory (estimated size 173.6 KB, free 140.2MB)

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=138860366, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_781 stored as values to memory (estimated size 173.6 KB, free 140.0MB)

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=139038164, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_782 stored as values to memory (estimated size 173.6 KB, free 139.9MB)

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=139215962, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_783 stored as values to memory (estimated size 173.6 KB, free 139.7MB)

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=139393760, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_784 stored as values to memory (estimated size 173.6 KB, free 139.5MB)

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=139571558, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_785 stored as values to memory (estimated size 173.6 KB, free 139.3MB)

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=139749356, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_786 stored as values to memory (estimated size 173.6 KB, free 139.2MB)

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=139927154, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_787 stored as values to memory (estimated size 173.6 KB, free 139.0MB)

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=140104952, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_788 stored as values to memory (estimated size 173.6 KB, free 138.8MB)

14/04/19 14:10:26 INFO TaskSetManager:Finished TID 841 in 718 ms on slave1 (progress: 9/10)

14/04/19 14:10:26 INFO DAGScheduler:Completed ShuffleMapTask(199, 1)

14/04/19 14:10:26 INFO DAGScheduler: Stage199 (combineByKey at ShuffledDStream.scala:42) finished in 0.718 s

14/04/19 14:10:26 INFO DAGScheduler:looking for newly runnable stages

14/04/19 14:10:26 INFO DAGScheduler:running: Set()

14/04/19 14:10:26 INFO DAGScheduler:waiting: Set(Stage 198)

14/04/19 14:10:26 INFO DAGScheduler:failed: Set()

14/04/19 14:10:26 INFO DAGScheduler:Missing parents for Stage 198: List()

14/04/19 14:10:26 INFO DAGScheduler:Submitting Stage 198 (MapPartitionsRDD[1145] at combineByKey atShuffledDStream.scala:42), which is now runnable

14/04/19 14:10:26 INFO TaskSchedulerImpl:Remove TaskSet 199.0 from pool

14/04/19 14:10:26 INFO DAGScheduler:Submitting 1 missing tasks from Stage 198 (MapPartitionsRDD[1145] atcombineByKey at ShuffledDStream.scala:42)

14/04/19 14:10:26 INFO TaskSchedulerImpl:Adding task set 198.0 with 1 tasks

14/04/19 14:10:26 INFO TaskSetManager:Starting task 198.0:0 as TID 850 on executor 2: slave3 (PROCESS_LOCAL)

14/04/19 14:10:26 INFO TaskSetManager:Serialized task 198.0:0 as 2099 bytes in 0 ms

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=140282750, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_789 stored as values to memory (estimated size 173.6 KB, free 138.7MB)

14/04/19 14:10:26 INFO MapOutputTrackerMasterActor:Asked to send map output locations for shuffle 45 to spark@slave3:45214

14/04/19 14:10:26 INFOMapOutputTrackerMaster: Size of output statuses for shuffle 45 is 172 bytes

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=140460548, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_790 stored as values to memory (estimated size 173.6 KB, free 138.5MB)

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=140638346, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_791 stored as values to memory (estimated size 173.6 KB, free 138.3MB)

14/04/19 14:10:26 INFO TaskSetManager:Finished TID 850 in 47 ms on slave3 (progress: 0/1)

14/04/19 14:10:26 INFO TaskSchedulerImpl:Remove TaskSet 198.0 from pool

14/04/19 14:10:26 INFO DAGScheduler:Completed ResultTask(198, 0)

14/04/19 14:10:26 INFO DAGScheduler: Stage198 (take at DStream.scala:586) finished in 0.046 s

14/04/19 14:10:26 INFO SparkContext: Jobfinished: take at DStream.scala:586, took 0.78418979 s

-------------------------------------------

Time: 1397887824000 ms

-------------------------------------------

(,622)

(B?=zS??L6??1?D

?pK7A???e?X??N?c?1?j?b?)'
?R?|?

                                              ?,1)

('

<,1)

(?N?8???*<?J?m???9jq??0);Q{?V???W4?WЦ?F?$-?[??<??O?M6?Ь???W??s??@???(??s??????0,1)

(Vl?s?zRB??I!??8?c?hx????q????M=F?J-?de]?,1)

(???????(#?S?P?(|?1Ug   6?4?bY??O?>???5,1)

(P?W?a?&

        @?????N??8?Q?|?nGR9?Rs?T?hN????

                                            ?????,1)

(??^25?I?????k

?h?#?b??j??zT?]i???R?????c?S?W?1)?.H\?D.?Bx?kW-??~??.??\7?oqdp???}+t%?q?c|????臲ofs?Z?.1??5
?|D??t2h?????t??:?]?I!~?qZ*?i;?Q+??!T!X?O?F???4{???M?=?s?U?S??1??

                          ????}i????e'5????(w+???O??;??5$?H????;???:[1]??A?"?zl??Q_?Mv?qV??#t(???h?H^L?l?4?32???+8U???-?=K??       #V2?EZ?p???v???汐*?玠???f9????#?I?"T?;?x?U?m?M???n~l

                                    f?o?am?1??"?uM?v?

                                                     x???7?y=p+?GOu?c?1J?,1)

([1]2??Ev,1)

(??}jO??

???>?????N>?%R1?/??X??{?S5?b??`??y6??j'??\??u=>?[T?Zm?I???=?e:?Td?z2?o5fAa<???!c?@??@??p?J??,k?[?yhW?A?hBv?氣????[1]?A
???
?)vO

                                                                                                                                             A?P?21???on?]?$??,1)

...

 

14/04/19 14:10:26 INFO JobScheduler:Finished job streaming job 1397887824000 ms.0 from job set of time1397887824000 ms

14/04/19 14:10:26 INFO JobScheduler:Starting job streaming job 1397887824000 ms.1 from job set of time1397887824000 ms

14/04/19 14:10:26 INFO SparkContext:Starting job: saveAsTextFile at DStream.scala:762

14/04/19 14:10:26 INFO DAGScheduler: Gotjob 100 (saveAsTextFile at DStream.scala:762) with 2 output partitions(allowLocal=false)

14/04/19 14:10:26 INFO DAGScheduler: Finalstage: Stage 200 (saveAsTextFile at DStream.scala:762)

14/04/19 14:10:26 INFO DAGScheduler:Parents of final stage: List(Stage 201)

14/04/19 14:10:26 INFO DAGScheduler:Missing parents: List()

14/04/19 14:10:26 INFO DAGScheduler:Submitting Stage 200 (MappedRDD[1159] at saveAsTextFile at DStream.scala:762),which has no missing parents

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=140816144, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_792 stored as values to memory (estimated size 173.6 KB, free 138.2MB)

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=140993942, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_793 stored as values to memory (estimated size 173.6 KB, free 138.0MB)

14/04/19 14:10:26 INFO DAGScheduler:Submitting 2 missing tasks from Stage 200 (MappedRDD[1159] at saveAsTextFile atDStream.scala:762)

14/04/19 14:10:26 INFO TaskSchedulerImpl:Adding task set 200.0 with 2 tasks

14/04/19 14:10:26 INFO TaskSetManager: Startingtask 200.0:0 as TID 851 on executor 2: slave3 (PROCESS_LOCAL)

14/04/19 14:10:26 INFO TaskSetManager:Serialized task 200.0:0 as 11653 bytes in 0 ms

14/04/19 14:10:26 INFO TaskSetManager:Starting task 200.0:1 as TID 852 on executor 1: slave1 (PROCESS_LOCAL)

14/04/19 14:10:26 INFO TaskSetManager:Serialized task 200.0:1 as 11653 bytes in 0 ms

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177798) called with curMem=141171740, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_794 stored as values to memory (estimated size 173.6 KB, free 137.8MB)

14/04/19 14:10:26 INFO MemoryStore:ensureFreeSpace(177822) called with curMem=141349538, maxMem=285868032

14/04/19 14:10:26 INFO MemoryStore: Blockbroadcast_795 stored as values to memory (estimated size 173.7 KB, free 137.7MB)

14/04/19 14:10:26 INFOMapOutputTrackerMasterActor: Asked to send map output locations for shuffle 45to spark@slave1:38185

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 INFO FileInputFormat:Total input paths to process : 1

14/04/19 14:10:26 ERROR JobScheduler: Errorgenerating jobs for time 1397887826000 ms

org.apache.hadoop.mapreduce.lib.input.InvalidInputException:Input path does not exist: hdfs://192.168.178.181:9000/123/src938.jpeg._COPYING_

  atorg.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:285)

  atorg.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:340)

  atorg.apache.spark.rdd.NewHadoopRDD.getPartitions(NewHadoopRDD.scala:75)

  atorg.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:207)

  atorg.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:205)

  atscala.Option.getOrElse(Option.scala:120)

  atorg.apache.spark.rdd.RDD.partitions(RDD.scala:205)

  atorg.apache.spark.streaming.dstream.FileInputDStream$$anonfun$org$apache$spark$streaming$dstream$FileInputDStream$$filesToRDD$1.apply(FileInputDStream.scala:125)

  atorg.apache.spark.streaming.dstream.FileInputDStream$$anonfun$org$apache$spark$streaming$dstream$FileInputDStream$$filesToRDD$1.apply(FileInputDStream.scala:124)

  atscala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)

  atscala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)

  atorg.apache.spark.streaming.dstream.FileInputDStream.org$apache$spark$streaming$dstream$FileInputDStream$$filesToRDD(FileInputDStream.scala:124)

  atorg.apache.spark.streaming.dstream.FileInputDStream.compute(FileInputDStream.scala:83)

  atorg.apache.spark.streaming.dstream.DStream.getOrCompute(DStream.scala:292)

  atorg.apache.spark.streaming.dstream.MappedDStream.compute(MappedDStream.scala:35)

  atorg.apache.spark.streaming.dstream.DStream.getOrCompute(DStream.scala:292)

  atorg.apache.spark.streaming.dstream.FlatMappedDStream.compute(FlatMappedDStream.scala:35)

  atorg.apache.spark.streaming.dstream.DStream.getOrCompute(DStream.scala:292)

  atorg.apache.spark.streaming.dstream.MappedDStream.compute(MappedDStream.scala:35)

  atorg.apache.spark.streaming.dstream.DStream.getOrCompute(DStream.scala:292)

  atorg.apache.spark.streaming.dstream.ShuffledDStream.compute(ShuffledDStream.scala:41)

  atorg.apache.spark.streaming.dstream.DStream.getOrCompute(DStream.scala:292)

  atorg.apache.spark.streaming.dstream.ForEachDStream.generateJob(ForEachDStream.scala:38)

  atorg.apache.spark.streaming.DStreamGraph$$anonfun$1.apply(DStreamGraph.scala:115)

  atorg.apache.spark.streaming.DStreamGraph$$anonfun$1.apply(DStreamGraph.scala:115)

  atscala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:251)

  atscala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:251)

  atscala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)

  atscala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)

  atscala.collection.TraversableLike$class.flatMap(TraversableLike.scala:251)

  atscala.collection.AbstractTraversable.flatMap(Traversable.scala:105)

  atorg.apache.spark.streaming.DStreamGraph.generateJobs(DStreamGraph.scala:115)

  atorg.apache.spark.streaming.scheduler.JobGenerator$$anonfun$2.apply(JobGenerator.scala:160)

  atorg.apache.spark.streaming.scheduler.JobGenerator$$anonfun$2.apply(JobGenerator.scala:160)

  atscala.util.Try$.apply(Try.scala:161)

  atorg.apache.spark.streaming.scheduler.JobGenerator.generateJobs(JobGenerator.scala:160)

  atorg.apache.spark.streaming.scheduler.JobGenerator.org$apache$spark$streaming$scheduler$JobGenerator$$processEvent(JobGenerator.scala:104)

  atorg.apache.spark.streaming.scheduler.JobGenerator$$anonfun$start$1$$anon$1$$anonfun$receive$1.applyOrElse(JobGenerator.scala:69)

  atakka.actor.ActorCell.receiveMessage(ActorCell.scala:498)

  atakka.actor.ActorCell.invoke(ActorCell.scala:456)

  atakka.dispatch.Mailbox.processMailbox(Mailbox.scala:237)

  atakka.dispatch.Mailbox.run(Mailbox.scala:219)

  atakka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:386)

  atscala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)

  atscala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)

  atscala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)

  atscala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)

14/04/19 14:10:26 INFO TaskSetManager:Finished TID 851 in 513 ms on slave3 (progress: 0/2)

14/04/19 14:10:26 INFO DAGScheduler:Completed ResultTask(200, 0)

14/04/19 14:10:27 INFO TaskSetManager: FinishedTID 852 in 577 ms on slave1 (progress: 1/2)

14/04/19 14:10:27 INFO TaskSchedulerImpl:Remove TaskSet 200.0 from pool

14/04/19 14:10:27 INFO DAGScheduler:Completed ResultTask(200, 1)

14/04/19 14:10:27 INFO DAGScheduler: Stage200 (saveAsTextFile at DStream.scala:762) finished in 0.573 s

14/04/19 14:10:27 INFO SparkContext: Jobfinished: saveAsTextFile at DStream.scala:762, took 0.678888891 s

14/04/19 14:10:27 INFO JobScheduler:Finished job streaming job 1397887824000 ms.1 from job set of time 1397887824000ms

14/04/19 14:10:27 INFO JobScheduler: Totaldelay: 3.070 s for time 1397887824000 ms (execution: 1.514 s)

14/04/19 14:10:27 INFO FileInputDStream:Cleared 2 old files that were older than 1397887822000 ms: 1397887818000 ms,1397887820000 ms

14/04/19 14:10:27 INFO FileInputDStream:Cleared 0 old files that were older than 1397887822000 ms:

14/04/19 14:10:28 INFO FileInputDStream:Finding new files took 13 ms

14/04/19 14:10:28INFO FileInputDStream: New files at time 1397887828000 ms:

hdfs://192.168.178.181:9000/123/src938.jpeg

hdfs://192.168.178.181:9000/123/src939.jpeg

hdfs://192.168.178.181:9000/123/src940.jpeg

hdfs://192.168.178.181:9000/123/src941.jpeg

hdfs://192.168.178.181:9000/123/src942.jpeg

hdfs://192.168.178.181:9000/123/src943.jpeg

hdfs://192.168.178.181:9000/123/src944.jpeg

hdfs://192.168.178.181:9000/123/src945.jpeg

hdfs://192.168.178.181:9000/123/src946.jpeg

hdfs://192.168.178.181:9000/123/src947.jpeg

hdfs://192.168.178.181:9000/123/src948.jpeg

hdfs://192.168.178.181:9000/123/src949.jpeg

hdfs://192.168.178.181:9000/123/src950.jpeg

zzzzzqf
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Spark-Streaming+HDFS实战
12-16
需求说明：从GBIF接口获取数据并处理为HDFS文件并映射为Hive外部表 ## 1. 目标： - 从GBIF（Global Biodiversity Information Facility）接口获取数据。... - 使用Spark Streaming将处理后的数据保存到HDFS文件系统。
spark流式读取hdfs中数据
朱智文的专栏
12-05 3104
名词解释： spark streaming： 定义：一个对实时数据进行高容通量、容错处理的流式处理系统，可以对多种数据源进行Map、reduce和join等复杂操作，并将结果保存到外部文件系统、数据库活应用到实时仪表盘。 流式数据：像流水一样一点一点流过来流式数据被封装成二进制的流。 流式处理：同样像流水一样一点点处理。如果全部接受数据以后在处理的话会有很大延迟也会消耗大量内存
“spark三剑客”之SparkStreaming流式计算框架
默主归沙的博客
04-15 2607
搞定sparkstreaming
Spark-Stream Spark的流式处理（十六）
weixin_45025143的博客
01-10 1906
Spark-Stream 之 Structured Streaming初见   在前面的章节中，我们学习了如何使用结构化API来处理数据规模巨大的有界数据。但是，数据经常连续到达并且需要实时处理。在本章中，我们将讨论如何将相同的结构化API来处理数据流。 1、Apache Spark流处理引擎的演变   流处理被定义为连续处理无穷无尽的数据流。随着大数据时代的到来，流处理系统已从单节点处理引擎过渡到多节点分布式处理引擎。传统的分布式流处理是用一个一次一记录的处理模型来实现的，如下图所示。   处理管道由节
SparkStreaming -- 01 【概述，案例，和hdfs的整合，和kafka的整合】
xiaoxiao______的博客
12-07 168
1、SparkStreaming的概述 1.1、什么是流式计算 1、流式计算就是对数据流进行处理，是实时计算 2、数据流值的是动态的数据，是不断产生的，没有边界，源源不断 3、流式计算中的计算逻辑不止计算一次，是要一致循环计算的（计算不能终止，除非停止作业） 流式计算又分为准实时和实时 准实时：是介于实时和离线之间，每一次处理的数据要比实时的多，比离线的少很多，微批处理 实时：指的是一条记录就（一个事件event）启动一次计算 常见的流式计算框架 storm：第一代流式处理框架，每生成一条记录就提交一次作业
python读取hdfs上的parquet文件方式
01-20
在使用python做大数据和机器学习处理过程中，首先需要读取hdfs数据，对于常用格式数据一般比较容易读取，parquet略微特殊。从hdfs上使用python获取parquet格式数据的方法(当然也可以先把文件拉到本地再读取也可以)：...
java 中Spark中将对象序列化存储到hdfs
08-30
主要介绍了java 中Spark中将对象序列化存储到hdfs的相关资料,需要的朋友可以参考下
spark-submit cluster模式时driver-class-path支持hdfs路径
04-23
spark官方版本的driver-class-path不支持hdfs路径，只支持本地路径。本资源解决了这个问题，driver-class-path在cluster模式时可以支持hdfs路径，解决了cluster模式driver有大量jar依赖的问题。
spark、hadoop hdfs、mongodb，使用scala，进行电影推荐+源代码+文档说明
03-20
- 不懂运行，下载完可以私聊问...3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
infrared-remote-candroid studiodemo
05-05
android studio下载
【新质生产力】新质生产力赋能智能制造数字化解决方案.pptx
05-05
【新质生产力】新质生产力赋能智能制造数字化解决方案.pptx
基于matlab实现的用于应用布格重力异常数据反演地下异常密度体.rar
05-05
基于matlab实现的用于应用布格重力异常数据反演地下异常密度体.rar
node-v8.10.0-linux-x64.tar.xz
05-05
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
基于Yolov5目标检测和deepsort目标跟踪无人机跟踪.zip
05-05
无人机最强算法源码，易于部署和学习交流使用
数据库课程设计实战.zip
05-05
数据库课程设计后端 使用Springboot + Mybatis + Redis + Maven 数据库课程设计实战.zip，使用到了所有的相关SQL 的操作，如增删改查等，让你可以在一个项目里面，锻炼到所有的数据库相关的知识。项目亲测可以运行，里面含有运行相关的文档，不会的可以丝我请求帮助。 数据库课程设计后端 使用Springboot + Mybatis + Redis + Maven 具体的表和相关的数据如下： 用户（电话号码，密码，身份证号，邮箱，真实姓名，用户类型，性别，地址） 乘客（用户电话号码，乘客身份证号，乘客真实姓名，乘客电话号码，乘客类型，地址） 列车信息（列车编号，车次，列车类型，列车车厢数，列车始发站，列车终点站，列车开车时间，列车到达时间，列车到达日期，列车运行时间，列车状态） 列车座位信息（列车编号，车厢号，座位类型，座位数） 列车经停信息（列车编号，车次，车站编号，车站名，到达时间，总运行时间，开车时间） 订单信息（订单编号，用户电话号码，乘客身份证号码，列车编号，出发站编号，到达站编号，车厢号，座位编号，订单创建时间，订单状态，开车时间）
咨询的分析方法gl.ppt
05-05
咨询的分析方法gl.ppt
node-v10.14.0-linux-ppc64le.tar.xz
最新发布
05-05
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
简述Structed Streaming和Spark SQL、Spark Streaming关系
06-11
Structured Streaming是Spark 2.0引入的一种流式处理引擎，它是建立在Spark SQL引擎之上的。Structured Streaming提供了一种以流式的方式对数据进行处理和分析的方法，它能够将流式数据转换成连续的数据流，并且提供...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值