spark scala
あずにゃん
日萌社
展开
-
Spark 实时处理 总文章
Impala 操作/读写 Kudu,使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件(spark kudu parquet) kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...原创 2019-03-14 16:47:15 · 2086 阅读 · 0 评论 -
Spark Streaming 整合 Flume(Spark读取Flume)
Impala 操作/读写 Kudu,使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件(spark kudu parquet) kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...原创 2019-03-14 18:00:40 · 1957 阅读 · 0 评论 -
Spark Streaming 开窗函数 reduceByKeyAndWindow
Impala 操作/读写 Kudu,使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件(spark kudu parquet) kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...原创 2019-03-14 18:02:32 · 1345 阅读 · 0 评论 -
Spark Streaming 整合 Kafka(Spark读取Kafka)
Impala 操作/读写 Kudu,使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件(spark kudu parquet) kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...原创 2019-03-14 18:05:21 · 1361 阅读 · 0 评论 -
Spark(SparkSql) 写数据到 MySQL中(Spark读取TCP socket/文件)
Impala 操作/读写 Kudu,使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件(spark kudu parquet) kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...原创 2019-03-14 18:06:59 · 1994 阅读 · 0 评论 -
map、flatMap(流的扁平化)、split 的区别
Impala 操作/读写 Kudu,使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件(spark kudu parquet) kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...原创 2019-03-13 19:45:25 · 8331 阅读 · 3 评论 -
spark读取kudu表导出数据为parquet文件(spark kudu parquet)
大数据组件使用 总文章Impala 操作/读写 Kudu,使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件(spark kudu parquet) kudu 导入/导出 数据 Kudu 分页查询的两种方式 Kudu 创建主键 map、flatMap(流的扁平化)、split 的区别...原创 2019-06-01 12:06:09 · 3274 阅读 · 2 评论 -
spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析
Impala 操作/读写 Kudu,使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件(spark kudu parquet) kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...原创 2019-07-19 15:39:28 · 6244 阅读 · 0 评论 -
spark程序打包为jar包,并且导出所有第三方依赖的jar包
Impala 操作/读写 Kudu,使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件(spark kudu parquet) kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...原创 2019-07-31 12:49:47 · 3039 阅读 · 0 评论