Starrocks数据导入方式

本文详细介绍了Starrocks的数据导入方式,包括从外部存储系统使用Broker Load的流程,子任务拆分及任务实例数算法,以及无Broker导入的场景。此外,还探讨了从Kafka进行Routine Load的特性和流程,强调其Exactly-Once语义与数据导入的持久化。最后提到了Spark方式导入数据的两种实现。
摘要由CSDN通过智能技术生成

1、 数据导入概览

https://doris.apache.org/zh-CN/docs/dev/install/standard-deployment

下图为各类数据导入Starrocks方式

  • 可以通过语句:SELECT * FROM information_schema.loads 来查看

  • [SHOW BROKER](https://docs.starrocks.io/zh-cn/latest/sql-reference/sql-statements/Administration/SHOW BROKER) 语句来查看 StarRocks 集群中已经部署的 Broker,后面版本会去掉Broker角色

2、从外部存储系统导入(Broker Load)

2.1 数据导入流程

发现没有独立的Broker服务了

在 v2.4 及以前版本

  • 数据导入时需要借助 Broker 才能访问外部存储系统
  • Broker 是一个独立的无状态服务,一般在BE上,可以通过 [SHOW BROKER](https://docs.starrocks.io/zh-cn/latest/sql-reference/sql-statements/Administration/SHOW BROKER) 语句来查看 StarRocks 集群中已经部署的 Broker
  • 通过 Broker,StarRocks 能够访问和读取外部存储系统上的数据文件,并利用自身的计算资源对数据文件中的数据进行预处理和导入

自 v2.5 以后

  • StarRocks 在执行 Broker Load 时不需要借助 Broker 即可访问外部存储系统,称为“无 Broker 的导入”,
  • 需要注意的是,无 Broker 的导入在数据源为 HDFS 的某些场景下会受限,例如,在多 HDFS 集群或者多 Kerberos 用户的场景。在这些场
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值