zhixingheyi_tian的博客

参考链接。

参考链接。

【代码】Spark 之 FsHistoryProvider。

【代码】Spark 之 SparkListenerBus。

Spark

Spark

Spark

基本使用 可参见： https://docs.delta.io/2.3.0/quick-start.html#language-scala。

Spark

spark

Spark

Spark

Trino

Antlr

如果我们碰到有spark任务所有task结束了但是任务还没结束，很可能就是Driver还在不断的拷文件；

Spark 之 UDF

【代码】Spark 之 DataType。

Catalog

dorisFeNodes：Doris FE http 地址，支持多个地址，使用逗号分隔。主类为 com.ctyun.bigdata.sql.spark_hive_doris。本例是一个demo， spark从hive中读数据，然后写入doris;dorisTable： 表名，如：db1.tbl1。dorisUser： 访问Doris的用户名。dorisPwd： 访问Doris的密码。在Doris中也要创建好相应的输出表。首先需要在hive中建表。显示结果如上，即为成功。

云对象存储

spark

Spark UI

Photon

Spark

Graphx

Spark FileScanRDD

Spark 之 Join

projectExec

Spark 语法

spark

spark build

gluten

Spark

gazelle

Spark Plan

Functions

Spark TreeNode

Spark Parquet Decode

Data Gen

Codegen