Spark学习(一):基础组件

  1. Spark各个组件,依次如下:
    在这里插入图片描述

  2. Spark Core
    实现Spark节本功能, 任务调度,内存管理,错误回复,与存储系统交互。
    RDD 表示分布在多个计算节点上可以并行操作的元素集合。
    Spark Core 提供了创建和操作这些集合的多个API

  3. Spark SQL
    (1) 支持Hive, Parquet 以及Json.
    (2) 支持开发者将SQL和传统的RDD变成数据操作式结合。

  4. Spark Streaming
    实时数据流失计算的组件。

  5. MLIB
    常见机器学习库

  6. GraphX
    操作图(社交网络朋友关系图)

  7. 集群管理
    通产Spark 与Hadoop YARN集群一起使用。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值