Doris--基础--4.1--数据导入--介绍

Doris–基础–4.1–数据导入–介绍

---

1、介绍

1. 为适配不同的数据导入需求，Doris 系统提供了6种不同的导入方式。
2. 每种导入方式支持不同的数据源，存在不同的使用方式(异步，同步)。
3. 所有导入方式都支持 csv 数据格式。
4. Broker load 方式 还支持 parquet 和 orc 数据格式。

2、方式

2.1、Broker load

1. 通过Broker进程访问并读取外部数据源(HDFS)导入Doris
2. 用户通过Mysql提交导入作业，异步执行
3. 可以通过show load命令 查看导入结果

2.2、Stream load

1. 用户通过HTTP协议提交请求并携带原始数据创建导入
2. 主要用于快速将本地文件或者数据流中的数据导入到Doris
3. 导入命令同步返回结果

2.3、Insert

1. 类似Mysql中的insert语句
2. 方式：
   1. 通过 insert into table select …的方式从Doris的表中读取数据并导入到另一张表中
   2. 通过 insert into table values(…)的方式插入单条数据

2.4、Multi load

1. 用户可以通过HTTP协议提交多个导入作业
2. Multi load可以保证多个导入作业的原子生效

2.5、Routine load

1. 用户通过Mysql协议提交例行导入作业，生成一个常驻线程，不间断的从数据源(如Kafka)中读取数据并导入到Doris中

2.6、通过S3协议直接导入

1. 用户通过S3协议直接导入数据，用法和Broker Load 类似