spark
小飞鱼_bigdata
大数据、算法
展开
-
Spark GraphX学习(一)Connected Components算法
本文采用Spark GraphX三大算法之一的Connected Components算法实现社交网络中的社区发现。原创 2017-08-18 19:56:29 · 11056 阅读 · 1 评论 -
用Scala模拟Spark集群启动过程
本文使用Scala语言实现了对Spark集群启动过程的模拟,方便对Spark集群启动过程的理解。原创 2017-08-14 19:44:00 · 523 阅读 · 0 评论 -
Spark集群搭建(HA)
以三台服务器为例,搭建Spark高可用(HA)集群原创 2017-08-15 02:11:50 · 324 阅读 · 0 评论 -
Spark Streaming通过直连的方式消费Kafka中的数据
本文实现了用Spark通过直连的方式去消费Kafka中的数据,并在消费完数据后对偏移量进行了更新,并且在创建stream时考虑了偏移量的修正,避免了直接使用API时出现的一些异常。原创 2017-10-26 23:51:44 · 9448 阅读 · 0 评论 -
Spark GraphX实现Bron–Kerbosch算法-极大团问题
本文使用Spark GraphX实现了Bron–Kerbosch算法,用来求解无向图中的极大团(即完全子图)问题原创 2017-10-22 22:56:53 · 1743 阅读 · 1 评论 -
spark程序消费kafka数据报错:java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V
spark版本:2.1.1,kafka API版本:0.8错误如下:[WARN ] 2018-01-25 14:54:01,332 org.apache.spark.scheduler.TaskSetManager - Lost task 3.0 in stage 0.0 (TID 3, ip-10-0-155-42.eu-west-1.compute.internal, executor 8):...原创 2018-02-27 19:46:33 · 2915 阅读 · 0 评论