1、 数据导入概览
https://doris.apache.org/zh-CN/docs/dev/install/standard-deployment
下图为各类数据导入Starrocks方式
-
可以通过语句:SELECT * FROM information_schema.loads 来查看
-
[SHOW BROKER](https://docs.starrocks.io/zh-cn/latest/sql-reference/sql-statements/Administration/SHOW BROKER) 语句来查看 StarRocks 集群中已经部署的 Broker,后面版本会去掉Broker角色
2、从外部存储系统导入(Broker Load)
2.1 数据导入流程
发现没有独立的Broker服务了
在 v2.4 及以前版本
- 数据导入时需要借助 Broker 才能访问外部存储系统
- Broker 是一个独立的无状态服务,一般在BE上,可以通过 [SHOW BROKER](https://docs.starrocks.io/zh-cn/latest/sql-reference/sql-statements/Administration/SHOW BROKER) 语句来查看 StarRocks 集群中已经部署的 Broker
- 通过 Broker,StarRocks 能够访问和读取外部存储系统上的数据文件,并利用自身的计算资源对数据文件中的数据进行预处理和导入
自 v2.5 以后
- StarRocks 在执行 Broker Load 时不需要借助 Broker 即可访问外部存储系统,称为“无 Broker 的导入”,
- 需要注意的是,无 Broker 的导入在数据源为 HDFS 的某些场景下会受限,例如,在多 HDFS 集群或者多 Kerberos 用户的场景。在这些场