StarRocks从入门到精通系列七:理解Catalog、使用Catalog管理Hive、Iceberg
一、Catalog概念
- 内部数据:指保存在 StarRocks 中的数据。
- 外部数据:指保存在外部数据源(如 Apache Hive™、Apache Iceberg 和 Apache Hudi)中的数据。
StarRocks 2.3 及以上版本支持 Catalog(数据目录)功能,方便您轻松访问并查询存储在各类外部源的数据。当前 StarRocks 提供两种类型 Catalog:internal catalog 和 external catalog。
-
Internal catalog: 内部数据目录,用于管理 StarRocks 所有内部数据。例如,执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由 internal catalog 管理。 每个 StarRocks 集群都有且只有一个 internal catalog 名为 default catalog。
-
External catalog: 外部数据目录,用于管理外部数据源的访问信息,如数据源类型和 Hive metastore 的 URI 等。在 StarRocks 中,您可以通过 external catalog 直接查询外部数据。当前支持创建以下三种 external catalog:
-
Hive catalog:用于查询 Hive 数据。
-
Iceberg catalog:用于查询 Iceberg 数据。
使用 external cat