GraphX
子清.
这个作者很懒,什么都没留下…
展开
-
Spark GraphX 中的 pregel函数
pregel函数源码 与 各个参数介绍 def pregel[A: ClassTag]( initialMsg: A, maxIterations: Int = Int.MaxValue, activeDirection: EdgeDirection = EdgeDirection.Either)( vprog: (VertexId, VD, A) => VD, sendMsg: EdgeTriplet[VD, ED] => Ite原创 2020-11-26 19:05:49 · 237 阅读 · 0 评论 -
GraphX之Connected Components
在Spark Graphx的org.apache.spark.graphx.lib包中有一些常用的图算法,其中一个就是Connected Components,本文将会介绍此算法的使用方法,下面是spark 1.6.3源码中对这个算法的注释:Compute the connected component membership of each vertex and return a graph with the vertex value containing the lowest vertex id in原创 2020-11-26 17:22:18 · 661 阅读 · 0 评论 -
PageRank算法原理剖析及Spark实现
1. 什么是PageRankPageRank对网页排名的算法,曾是Google发家致富的法宝。PageRank算法计算每一个网页的PageRank值,然后根据这个值的大小对网页的重要性进行排序。2. 简单PageRank算法首先,将Web做如下抽象:将每个网页抽象成一个节点;如果一个页面A有链接直接链向B,则存在一条有向边从A到B(多个相同链接不重复计算边)。因此,整个Web被抽象为一张有向图。现在假设世界上只有四张网页:A、B、C、D,其抽象结构如下图:显然这个图是强连通的(从任一节原创 2020-11-26 16:22:56 · 250 阅读 · 0 评论 -
Graph入门介绍
文章目录0. 为什么需要图计算1. 图(Graph)的基本概念2. 图的术语3. 图的经典表示法4. Spark GraphX 简介5. GraphX核心抽象6. GraphX API7. 属性图应用示例8. 查看图信息9. 图的算子9.1 属性算子9.2 结构算子9.3 Join算子10. GraphX API 应用11. PageRank in GraphX0. 为什么需要图计算许多大数据以大规模图或网络的形式呈现许多非图结构的大数据,常会被转换为图模型进行分析图数据结构很好地表达了数据之间的原创 2020-11-25 18:49:47 · 6557 阅读 · 1 评论