-
Spark各个组件,依次如下:
-
Spark Core
实现Spark节本功能, 任务调度,内存管理,错误回复,与存储系统交互。
RDD 表示分布在多个计算节点上可以并行操作的元素集合。
Spark Core 提供了创建和操作这些集合的多个API -
Spark SQL
(1) 支持Hive, Parquet 以及Json.
(2) 支持开发者将SQL和传统的RDD变成数据操作式结合。 -
Spark Streaming
实时数据流失计算的组件。 -
MLIB
常见机器学习库 -
GraphX
操作图(社交网络朋友关系图) -
集群管理
通产Spark 与Hadoop YARN集群一起使用。
Spark学习(一):基础组件
最新推荐文章于 2023-04-06 22:39:46 发布