Iceberg on Spark的示例1

最新推荐文章于 2024-09-06 14:09:08 发布

chriszzww

最新推荐文章于 2024-09-06 14:09:08 发布

阅读量770

点赞数 1

文章标签： hive 大数据 hadoop

本文链接：https://blog.csdn.net/zhu2525wei/article/details/127111298

版权

本文通过一系列步骤展示了如何在Spark上操作Iceberg表，包括创建表、插入数据、查询、合并数据以及查看历史版本。详细步骤包括启动Hadoop集群、Hive Metastore Thrift服务和Spark SQL，然后进行数据操作并验证结果。

摘要由CSDN通过智能技术生成

1、启动hadoop集群(hadoop-3.3.3)
2、启动hivemetestore的thriftserver服务(apache-hive-3.1.3-bin)
3、启动spark sql(iceberg)
spark-sql --packages org.apache.iceberg:iceberg-spark-runtime-3.3_2.12:0.14.1\
--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
--conf spark.sql.catalog.spark_catalog=org.apache.iceberg.spark.SparkSessionCatalog \
--conf spark.sql.catalog.spark_catalog.type=hive

iceberg示例(on Spark3) ：
1、创建iceberg表
spark-sql (default)> CREATE TABLE icebergtable1 (id bigint, data string) USING iceberg;
Response code
Time taken: 1.93 seconds

2、insert into数据：
spark-sql (default)> INSERT INTO icebergtable1 VALUES (1, 'a'), (2, 'b'), (3, 'c');
Response code
Time taken: 7.124 seconds

3、查询表的数据
spark-sql (default)> select * from default.icebergtable1;
i