Graph入门介绍

最新推荐文章于 2024-06-01 09:54:03 发布
最新推荐文章于 2024-06-01 09:54:03 发布
阅读量6.4k 收藏 14
点赞数
分类专栏： # GraphX 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zmzdmx/article/details/110140086
版权

文章目录

0. 为什么需要图计算

  • 许多大数据以大规模图或网络的形式呈现
  • 许多非图结构的大数据，常会被转换为图模型进行分析
  • 图数据结构很好地表达了数据之间的关联性

1. 图（Graph）的基本概念

  • 图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种网状数据结构
    通常表示为二元组：Gragh=（V，E）
    可以对事物之间的关系建模
  • 应用场景
    在地图应用中寻找最短路径
    社交网络关系
    网页间超链接关系

2. 图的术语

  • 顶点（Vertex）
  • 边（Edge）

image-20201123142953487

image-20201123143001392

  • 有向图

image-20201123143035949

image-20201123143043598

  • 无向图

image-20201123143101126

image-20201123143107241

  • 有环图

包含一系列顶点连接的回路（环路）

image-20201123143136922

  • 无环图

    DAG即为有向无环图

image-20201123143209833

  • 度：一个顶点所有边的数量
    出度：指从当前顶点指向其他顶点的边的数量
    入度：其他顶点指向当前顶点的边的数量

image-20201123143228913

3. 图的经典表示法

  • 邻接矩阵

image-20201123143317306

1、对于每条边，矩阵中相应单元格值为1

2、对于每个循环，矩阵中相应单元格值为2，方便在行或列上求得顶点度数

4. Spark GraphX 简介

  • GraphX是Spark提供分布式图计算API
  • GraphX特点
    • 基于内存实现了数据的复用与快速读取
    • 通过弹性分布式属性图（Property Graph）统一了图视图与表视图
    • 与Spark Streaming、Spark SQL和Spark MLlib等无缝衔接

5. GraphX核心抽象

  • 弹性分布式属性图（Resilient Distributed Property Graph）

    ​ 顶点和边都带属性的有向多重图

image-20201123144701324

image-20201123144707217

​ 一份物理存储，两种视图

image-20201123144712007

对Graph视图的所有操作，最终都会转换成其关联的Table视图的RDD操作来完成

6. GraphX API

  • Graph[VD,ED]
  • VertexRDD[VD]
  • EdgeRDD[ED]
  • EdgeTriplet[VD,ED]
  • Edge：样例类
  • VertexId：Long的别名

image-20201123145033272

class Graph[VD, ED] {
  val vertices: VertexRDD[VD]
  val edges: EdgeRDD[ED]
  val triplets: RDD[EdgeTriplet[VD, ED]]
}

import org.apache.spark.graphx._
val vertices:RDD[(VertexId,Int)]=sc.makeRDD(Seq((1L,1),(2L,2),(3L,3)))
val edges=sc.makeRDD(Seq(Edge(1L,2L,1),Edge(2L,3L,2)))
val graph=Graph(vertices,edges)  //Graph[Int,Int] ?


import org.apache.spark.graphx.GraphLoader
//加载边列表文件创建图，文件每行描述一条边，格式：srcId dstId。顶点与边的属性均为1
val graph = GraphLoader.edgeListFile(sc,"file:///opt/spark/data/graphx/followers.txt")


导入
import org.apache.spark.graphx._

创建顶点rdd
val vertices=sc.makeRDD(seq(1L,1),(2L,2),(3L,3))

创建edges边rdd
val edges=sc.makeRDD(Seq(Edge(1L,2L,1),Edge(2L,3L,2)))

创建graph对象
 val graph=Graph(vertices,edges)

获取graph图对象的vertices信息
graph.vertices.collect

获取graph图对象的edges信息
graph.edges.collect

7. 属性图应用示例

属性图应用示例-1

  • 构建用户合作关系属性图
    • 顶点属性
      • 用户名
      • 职业
    • 边属性
      • 合作关系

image-20201123145524023

val users=sc.makeRDD(Array((3L,("rxin","student")),(7L,("jgonzal","postdoc")),(5L,("franklin","professor")),(2L,("istoica","professor"))))

 val relationship=sc.makeRDD(Array(Edge(3L,7L,"Colla"),Edge(5L,3L,"Advisor"),Edge(2L,5L,"Colleague"),Edge(5L,7L,"Pi")))

val graphUser=Graph(users,relationship)


scala> graphUser.triplets.collect
res9: Array[org.apache.spark.graphx.EdgeTriplet[(String, String),String]] = Array(((2,(istoica,professor)),(5,(franklin,professor)),Colleague), ((3,(rxin,student)),(7,(jgonzal,postdoc)),Colla), ((5,(franklin,professor)),(3,(rxin,student)),Advisor), ((5,(franklin,professor)),(7,(jgonzal,postdoc)),Pi))

属性图应用示例-2

  • 构建用户社交网络关系
    • 顶点：用户名、年龄
    • 边：打call次数

image-20201123145640689

image-20201123145653369

找出大于30岁的用户

假设打call超过5次，表示真爱。请找出他（她）们

val users=sc.makeRDD(Array((1L,("Alice",28)),(2L,("Bob",27)),(3L,("Charlie",65)),(4L,("David",42)),(5L,("Ed",55)),(6L,("Fran",50))))

val edges=sc.makeRDD(Array(Edge(2L,1L,7),Edge(4L,1L,1),Edge(2L,4L,2),Edge(5L,2L,2),Edge(3L,2L,4),Edge(3L,6L,3),Edge(5L,3L,8),Edge(5L,6L,3)))

val graphUser=Graph(users,edges)

graphUser.vertices.filter(v=>v._2._2>30).collect

graphUser.vertices.filter{case(id,(name,age))=>age>30}.collect

 graphUser.triplets.collect.foreach(x=>println(x.srcAttr._1+" like "+x.dstAttr+" is "+x.attr))
Bob like (Alice,28) is 7
Bob like (David,42) is 2
Charlie like (Bob,27) is 4
Charlie like (Fran,50) is 3
David like (Alice,28) is 1
Ed like (Bob,27) is 2
Ed like (Charlie,65) is 8
Ed like (Fran,50) is 3


scala> graphUser.triplets.collect.filter(_.attr>5).foreach(x=>println(x.srcAttr._1+" like "+x.dstAttr+" is "+x.attr))
Bob like (Alice,28) is 7
Ed like (Charlie,65) is 8

8. 查看图信息

顶点数量

边数量

度、入度、出度

class Graph[VD, ED] {
  val numEdges: Long
  val numVertices: Long
  val inDegrees: VertexRDD[Int]
  val outDegrees: VertexRDD[Int]
  val degrees: VertexRDD[Int]
}

9. 图的算子

9.1 属性算子

类似于RDD的map操作

class Graph[VD, ED] {
  def mapVertices[VD2](map: (VertexId, VD) => VD2): Graph[VD2, ED]
  def mapEdges[ED2](map: Edge[ED] => ED2): Graph[VD, ED2]
  def mapTriplets[ED2](map: EdgeTriplet[VD, ED] => ED2): Graph[VD, ED2]
}


val t1_graph = tweeter_graph.mapVertices { case(vertextId, (name, age)) => (vertextId, name) }
val t2_graph = tweeter_graph.mapVertices { (vertextId, attr) => (vertextId, attr._1) }
val t3_graph = tweeter_graph.mapEdges(e => Edge(e.srcId, e.dstId, e.attr*7.0))


scala> val t1_graph=userCallGraph.mapVertices{case(v,(n,a))=>(v,n) }
t1_graph: org.apache.spark.graphx.Graph[(org.apache.spark.graphx.VertexId, String),Int] = org.apache.spark.graphx.impl.GraphImpl@52ce11b5

scala> t1_graph.vertices.collect.foreach(println)
(4,(4,David))
(1,(1,Alice))
(6,(6,Fran))
(3,(3,Charlie))
(5,(5,Ed))
(2,(2,Bob))


scala> val t2_graph=userCallGraph.mapVertices{(id,attr)=>(id,attr._1)}
t2_graph: org.apache.spark.graphx.Graph[(org.apache.spark.graphx.VertexId, String),Int] = org.apache.spark.graphx.impl.GraphImpl@68e66fff

scala> t2_graph.vertices.collect.foreach(println)
(4,(4,David))
(1,(1,Alice))
(6,(6,Fran))
(3,(3,Charlie))
(5,(5,Ed))
(2,(2,Bob))


scala> val t3_graph=userCallGraph.mapEdges(e=>Edge(e.srcId,e.dstId,e.attr*7.0))
t3_graph: org.apache.spark.graphx.Graph[(String, Int),org.apache.spark.graphx.Edge[Double]] = org.apache.spark.graphx.impl.GraphImpl@3b1847de

scala> t3_graph.edges.collect.foreach(println)
Edge(2,1,Edge(2,1,49.0))
Edge(2,4,Edge(2,4,14.0))
Edge(3,2,Edge(3,2,28.0))
Edge(3,6,Edge(3,6,21.0))
Edge(4,1,Edge(4,1,7.0))
Edge(5,2,Edge(5,2,14.0))
Edge(5,3,Edge(5,3,56.0))
Edge(5,6,Edge(5,6,21.0))

9.2 结构算子

image-20201125183750625

image-20201125183755579


scala> userCallGraph.reverse.triplets.collect.foreach(println)
((1,(Alice,28)),(2,(Bob,27)),7)
((1,(Alice,28)),(4,(David,42)),1)
((2,(Bob,27)),(3,(Charlie,65)),4)
((2,(Bob,27)),(5,(Ed,55)),2)
((3,(Charlie,65)),(5,(Ed,55)),8)
((4,(David,42)),(2,(Bob,27)),2)
((6,(Fran,50)),(3,(Charlie,65)),3)
((6,(Fran,50)),(5,(Ed,55)),3)

scala> userCallGraph.triplets.collect.foreach(println)
((2,(Bob,27)),(1,(Alice,28)),7)
((2,(Bob,27)),(4,(David,42)),2)
((3,(Charlie,65)),(2,(Bob,27)),4)
((3,(Charlie,65)),(6,(Fran,50)),3)
((4,(David,42)),(1,(Alice,28)),1)
((5,(Ed,55)),(2,(Bob,27)),2)
((5,(Ed,55)),(3,(Charlie,65)),8)
((5,(Ed,55)),(6,(Fran,50)),3)



scala> userCallGraph.subgraph(vpred=(id,attr)=>{println("sub in"+(id,attr));attr._2<60}).triplets.collect.foreach(println)
sub in(2,(Bob,27))
sub in(1,(Alice,28))
sub in(2,(Bob,27))
sub in(4,(David,42))
sub in(3,(Charlie,65))
sub in(3,(Charlie,65))
sub in(4,(David,42))
sub in(1,(Alice,28))
sub in(5,(Ed,55))
sub in(2,(Bob,27))
sub in(5,(Ed,55))
sub in(3,(Charlie,65))
sub in(5,(Ed,55))
sub in(6,(Fran,50))
((2,(Bob,27)),(1,(Alice,28)),7)
((2,(Bob,27)),(4,(David,42)),2)
((4,(David,42)),(1,(Alice,28)),1)
((5,(Ed,55)),(2,(Bob,27)),2)
((5,(Ed,55)),(6,(Fran,50)),3)


scala> userCallGraph.subgraph(epred=(ep)=>ep.srcAttr._2<65).triplets.collect.foreach(println)
((2,(Bob,27)),(1,(Alice,28)),7)
((2,(Bob,27)),(4,(David,42)),2)
((4,(David,42)),(1,(Alice,28)),1)
((5,(Ed,55)),(2,(Bob,27)),2)
((5,(Ed,55)),(3,(Charlie,65)),8)
((5,(Ed,55)),(6,(Fran,50)),3)

9.3 Join算子

image-20201125183916442

image-20201125183923436


scala> val two=sc.makeRDD(Array((1L,"kgc.cn"),(2L,"qq.com"),(3L,"163.com")))
two: org.apache.spark.rdd.RDD[(Long, String)] = ParallelCollectionRDD[68] at makeRDD at <console>:27

scala> userCallGraph.joinVertices(two)((id,v,cmpy)=>(v._1+"@"+cmpy,v._2))
res18: org.apache.spark.graphx.Graph[(String, Int),Int] = org.apache.spark.graphx.impl.GraphImpl@fb48dbe


scala> res18.triplets.collect.foreach(println)
((2,(Bob@qq.com,27)),(1,(Alice@kgc.cn,28)),7)
((2,(Bob@qq.com,27)),(4,(David,42)),2)
((3,(Charlie@163.com,65)),(2,(Bob@qq.com,27)),4)
((3,(Charlie@163.com,65)),(6,(Fran,50)),3)
((4,(David,42)),(1,(Alice@kgc.cn,28)),1)
((5,(Ed,55)),(2,(Bob@qq.com,27)),2)
((5,(Ed,55)),(3,(Charlie@163.com,65)),8)
((5,(Ed,55)),(6,(Fran,50)),3)

10. GraphX API 应用

计算用户粉丝数量

image-20201125184017627

case class User(name: String, age: Int, inDeg: Int, outDeg: Int)
//修改顶点属性
val initialUserGraph: Graph[User, Int] = tweeter_graph.mapVertices{ 
     case (id, (name, age)) => User(name, age, 0, 0) 
}
//将顶点入度、出度存入顶点属性中 
val userGraph = initialUserGraph.outerJoinVertices(initialUserGraph.inDegrees) {
     case (id, u, inDegOpt) => User(u.name, u.age, inDegOpt.getOrElse(0), u.outDeg)
}.outerJoinVertices(initialUserGraph.outDegrees) {
    case (id, u, outDegOpt) => User(u.name, u.age, u.inDeg, outDegOpt.getOrElse(0))
}
//顶点的入度即为粉丝数量
for ((id, property) <- userGraph.vertices.collect) 
   println(s"User $id is ${property.name} and is liked by ${property.inDeg} people.")



scala> userCallGraph.outerJoinVertices(userCallGraph.inDegrees){case(id,u,indeg)=>User(u._1,u._2,indeg.getOrElse(0),0)}.outerJoinVertices(userCallGraph.outDegrees){case(id,u,outdeg)=>User(u.name,u.age,u.inDeg,outdeg.getOrElse(0))}
res23: org.apache.spark.graphx.Graph[User,Int] = org.apache.spark.graphx.impl.GraphImpl@491d8bfb

scala> res23.vertices.collect.foreach(println)
(4,User(David,42,1,1))
(1,User(Alice,28,2,0))
(6,User(Fran,50,2,0))
(3,User(Charlie,65,1,2))
(5,User(Ed,55,0,3))
(2,User(Bob,27,2,2))

11. PageRank in GraphX

  • PageRank（PR）算法
    用于评估网页链接的质量和数量，以确定该网页的重要性和权威性的相对分数，范围为0到10
    从本质上讲，PageRank是找出图中顶点（网页链接）的重要性
    GraphX提供了PageRank API用于计算图的PageRank

image-20201125184140518


scala> userCallGraph.pageRank(0.00000000001).vertices.collect.foreach(println)
(4,0.9688717814927128)
(1,1.7924127957615186)
(6,0.9969646507526428)
(3,0.6996243163176442)
(5,0.5451618049228396)
(2,0.9969646507526428)
子清.
关注
  • 0
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
图（Graph）的学习
qq_43573663的博客
10-10 595
文章目录图的认识 图的认识 图(Graph)是由顶点和连接顶点的边构成的离散结构。图是最灵活的数据结构之一，很多问题都可以使用图模型进行建模求解。 树可以说只是图的特例，但树比图复杂很多 ...
基于python的Graph图的表示
zhongbing1234的博客
10-08 1万+
图（Graph）的表示 1.图的概念 图是一种重要的数据结构，在解决实际问题中也经常用到这种数据结构，其基本表示为G=(V, E)，V(vectex)是图的顶点，E(edge)表示图的边。我们的地图在计算机中就可以表示成一个Graph，不同的标志性地点为vectex，地点之间的路表示为edge，这样就可以方便操作实际中的地图去解决一些复杂的问题，比如找两个地点之间的最短路径，旅行商问题等等。 图分为有向图和无向图，有向图指的是各个顶点之间有一定的方向，一个顶点到另一个顶点需要按照给定的方向进行移动；而无向图
Graph开发和部署学习教程 （二）
Tesla_Zhou的博客
12-25 379
subgraph.yaml：子图清单，定义了子图索引的智能合约，这些合约中需要关注的事件，以及如何将事件数据映射到 Graph 节点存储并允许查询的实体。从区块链事件中索引数据的具体逻辑， handleTrade 函数会在每次 Trade 事件触发时被调用，然后获取到链上数据存储到子图中。generated目录：生成的 AssemblyScript 类型，可以理解为模型的curd函数。schema.graphql：定义Graph实体，可以理解为web2中的模型。定义需要索引的数据实体，以及实体之间的关系；
数据结构：图(Graph)【详解】
热门推荐
UniqueUnit的博客
03-03 18万+
图 【知识框架】 【考纲内容】 图的基本概念 图的存储及基本操作 邻接矩阵法;邻接表法;邻接多重表;十字链表 图的遍历 深度优先搜索;广度优先搜索 图的基本应用 最小(代价)生成树;最短路径;拓扑排序;关键路径 图的基本概念 在线性表中，数据元素之间是被串起来的，仅有线性关系，每个数据元素只有一个直接前驱和一个直接后继。在树形结构中，数据元素之间有着明显的层次关系，并且每一层上的数据元素可能和下一层中多个元素相关，但只能和上一层中一个元素相关。图是一种较线性表和树更加复杂的数据结构。
探秘GraphAr：打造高效图数据存储与检索的未来！
最新发布
gitblog_00045的博客
06-01 360
探秘GraphAr：打造高效图数据存储与检索的未来！ 项目地址:https://gitcode.com/alibaba/GraphAr 1. 项目介绍 在图形处理领域，GraphAr（Graph Archive）是一个创新项目，致力于简化各种应用和系统的图数据存储和访问流程。它提供了一个系统独立的文件格式——Graph Archive (GAR)，以及一套用于读取、编写和转换GAR文件的库。无论是...
GraphX 学习笔记
sowhat
10-23 1317
不错的link ​ Spark GraphX是一个分布式图处理框架，Spark GraphX基于Spark平台提供对图计算和图挖掘简洁易用的而丰富多彩的接口，极大的方便了大家对分布式图处理的需求。Spark GraphX由于底层是基于Spark来处理的，所以天然就是一个分布式的图处理系统。图的分布式或者并行处理其实是把这张图拆分成很多的子图，然后我们分别对这些子图进行计...
visual graph入门教程
06-01
**视觉图（Visual Graph）入门教程** 视觉图是一种强大的数据可视化工具，它通过图形的方式将复杂的数据关系清晰地展示出来，帮助用户理解、分析和解释数据。本教程旨在引导初学者快速掌握Visual Graph的基本概念、...
Pytorch BigGraph介绍
04-07
Pytorch BigGraph介绍，Introducing PyTorch BigGraph。
ShaderGraph从入门到实战
06-16
大智和你一起学习ShaderGraph，在实战中探索。 课程内容 ShaderGraph的基本使用 丰富的实战案例： · 全息效果 · 边缘光效果 · 溶解效果 · 积雪效果 · 扭曲效果 · 干扰效果 · 流光效果 · 石化效果 ...
Spark入门实战系列--9.Spark图计算GraphX介绍及实例
01-29
GraphX由于底层是基于Spark来处理的，所以天然就是一个分布式的图处理系统。图的分布式或者并行处理其实是把图拆分成很多的子图，然后分别对这些子图进行计算，计算的时候可以分别迭代进行分阶段的计
graph使用实例+方法
04-12
介绍了如何利用JGraph包开发自己的图形程序，就内容而言是比较全的
graph.h
06-04
graph.h
CCS中的graph详细使用说明
12-06
CCS中的graph详细使用说明CCS中的graph详细使用说明
图（Graph）详解 - 数据结构
qq_61939403的博客
12-21 6119
图及其最短路径算法详解
图（Graph）的基础操作（C++）
mirrorboat的博客
02-08 2576
#include<stdio.h> #include<queue> #include<stack> #include<stdlib.h> using namespace std; typedef char VertexType;//顶点类型 typedef int EdgeType;//边的权重 #define MAXVEX 100//最大顶点数 #define INFINITY 65535//代表无穷 #define MAXEDGE 1000 typ...
图（graph）的基础知识详解
keepstrivingchy的博客
03-23 2500
图的定义，图的储存（邻接法，十字链表，邻接多重表等）
像素专业版Graph可视化操作入门
Elegance never goes out of fashion
07-14 3680
在像素专业版中，Graph也叫可视化创作，主要用于控制一些对象实体以及其对应的参数。
graph使用
sanmao198的专栏
07-03 1008
        pane.AxisChange(g);        string filePath = FilePathUtil.GetOppositeUserTempPath(this.UserUid);        WebServerFileManager.CreateDirectory(filePath);        string graphPath = AppConfigurati
echarts graph
10-18
ECharts 是一个基于 JavaScript 的开源可视化库，可以用来制作各种类型的图表，如折线图、柱状图、饼图等等。它提供了丰富的配置项和交互功能，可以让用户轻松地定制自己想要的图表效果。 如果你想使用 ECharts 制作图表，可以先引入 ECharts 库，然后创建一个容器元素，最后通过 JavaScript 代码来配置和渲染图表。以下是一个简单的示例： ```html <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>ECharts Demo</title> <!-- 引入 ECharts 库 --> <script src="https://cdn.jsdelivr.net/npm/echarts/dist/echarts.min.js"></script> </head> <body> <!-- 创建一个容器元素 --> <div id="myChart" style="width: 600px;height:400px;"></div> <script> // 基于准备好的dom，初始化echarts实例 var myChart = echarts.init(document.getElementById('myChart')); // 配置项 var option = { title: { text: 'ECharts 入门示例' }, tooltip: {}, legend: { data:['销量'] }, xAxis: { data: ["衬衫","羊毛衫","雪纺衫","裤子","高跟鞋","袜子"] }, yAxis: {}, series: [{ name: '销量', type: 'bar', data: [5, 20, 36, 10, 10, 20] }] }; // 使用刚指定的配置项和数据显示图表。 myChart.setOption(option); </script> </body> </html> ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值