自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(441)
  • 资源 (11)
  • 收藏
  • 关注

原创 S3A FileSystem

S3A

2024-07-22 17:24:49 50

原创 pyspark

Spark

2024-06-26 17:21:38 390

原创 hadoop-cos

【代码】hadoop-cos。

2024-06-13 14:53:05 227

原创 HiveMetastore

【代码】HiveMetastore。

2024-06-04 15:22:43 572

原创 Spark 之 HiveStrategies

Spark

2024-06-04 14:29:37 481 1

原创 hadoop 之 libhdfs

【代码】hadoop 之 libhdfs。

2024-05-27 18:55:41 427

原创 spark 之数据湖

基本使用 可参见: https://docs.delta.io/2.3.0/quick-start.html#language-scala。

2024-05-22 11:43:34 240

原创 Big Data 平障录

Hive 生成带压缩的格式,需要如此设置。

2024-04-30 21:02:19 256 3

原创 HDFS main configurations

【代码】HDFS main configurations。

2024-04-25 20:14:39 108

原创 性能优化工具

CPU 优化的各类工具

2024-04-09 14:43:44 269 3

原创 GoLand 相关

GoLand

2024-02-22 15:26:07 366

原创 Web 服务相关概念

无状态请求,服务器端所能够处理的数据全部来自请求所携带的信息,无状态服务对于客户端的单次请求,不依赖于其他请求,处理一次请求的信息都包含在该请求里。总结:有状态服务需要大量的信息和状态,在性能方面要稍逊于无状态服务器,无状态在处理简单服务方面有优势,服务之间没有联系,易于扩展,但处理复杂任务需要额外的组件来协助(有状态服务的形式实现)。状态是web服务的概念,比如不需要登录的浏览门户网站就是无状态的,需要登陆转账买东西这种就是有状态的。Session,可以使http服务转换为有状态服务。

2024-02-22 10:41:06 387

原创 Collectors.toMap

JDK

2024-02-06 12:19:10 160 1

原创 Hive 源码

Hive

2024-01-05 14:10:12 723

原创 Chrome 开发者工具

Google

2024-01-04 14:12:30 378

原创 Linux 之 性能优化

Linux 性能

2023-12-14 12:25:50 1218

原创 Spark

【代码】Spark。

2023-12-04 15:03:18 467

原创 spark shuffle 剖析

Spark

2023-11-21 21:09:55 594

原创 Spark 平障录

Spark

2023-11-19 15:20:06 639

原创 Spark 之 format

spark

2023-11-18 22:27:23 334

原创 Hive 表 /spark表(纯SQL)

分区提供了一个隔离数据和优化查询的可行方案,但是并非所有的数据集都可以形成合理的分区,分区的数量也不是越多越好,过多的分区条件可能会导致很多分区上没有数据。当调用 HashMap 的 put() 方法存储数据时,程序会先对 key 值调用 hashCode() 方法计算出 hashcode,然后对数组长度取模计算出 index,最后将数据存储在数组 index 位置的链表上,链表达到一定阈值后会转换为红黑树 (JDK1.8+)。分区为 HDFS 上表目录的子目录,数据按照分区存储在子目录中。

2023-11-17 11:28:40 396

原创 数据仓库相关

​在阿里巴巴的数据体系中,我们建议将数据仓库分为三层,自下而上为:数据引入层(ODS,Operation Data Store)、数据公共层(CDM,Common Data Model)和数据应用层(ADS,Application Data Service)。公共汇总粒度事实层(DWS):以分析的主题对象作为建模驱动,基于上层的应用和产品的指标需求,构建公共粒度的汇总指标事实表,以宽表化手段物理化模型。降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表,维度和维度逻辑表通常一一对应。

2023-11-16 16:42:18 1285

原创 大数据工作流调度

Spark

2023-11-14 16:18:27 57

原创 Spark 之 deploy

也就是说,val exitCode = process.waitFor() 这一阻塞过程,完全放在了线程里。fetchAndRunExecutor 作为线程的主体内容。

2023-11-08 20:20:54 680

原创 Spark.示例

Spark

2023-11-08 14:22:58 45

原创 Trino 使用及剖析

Trino

2023-10-31 17:45:47 199

原创 Antlr 使用

Antlr

2023-10-15 20:34:21 59

原创 spark 之 driver

如果我们碰到有spark任务所有task结束了但是任务还没结束,很可能就是Driver还在不断的拷文件;

2023-10-12 19:08:24 119

原创 Ali MaxCompute

阿里 MC

2023-10-11 16:37:24 160

原创 Spark 之 UDF

Spark 之 UDF

2023-10-09 14:26:57 63

原创 Spark 之 expression

【代码】Spark 之 expression。

2023-10-08 10:19:50 500

原创 Spark 之 DataType

【代码】Spark 之 DataType。

2023-09-27 21:21:18 143

原创 runtime过程中,常见jar问题解决 (Intellij)

java

2023-09-14 20:59:17 428

原创 Spark Catalog

Catalog

2023-09-12 15:12:55 542

原创 Kyuubi

【代码】Kyuubi。

2023-09-07 14:53:38 680

原创 HTTP 相关

【代码】HTTP 相关。

2023-09-06 20:53:53 45

原创 Java Application Monitor

JAMon的全名是:Java Application Monitor。它是一个小巧的,免费的,高性能的,线程安全的性能监测工具。

2023-09-05 19:42:45 40

原创 HUE+OOZIE

HUE+OOZIE

2023-08-29 12:00:58 66

原创 性能分析相关

性能分析相关吧

2023-08-25 20:24:09 44

原创 2023.8

笔记

2023-08-11 09:25:18 265

Spring Boot in Action

A developer-focused guide to writing applications using Spring Boot. You'll learn how to bypass the tedious configuration steps so that you can concentrate on your application's behavior., Spring Boot in Action is a developer-focused guide to writing applications using Spring Boot. In it, you?ll learn how to bypass configuration steps so you can focus on your application?s behavior. Spring expert Craig Walls uses interesting and practical examples to teach you both how to use the default settings effectively and how to override and customize Spring Boot for your unique environment. Along the way, you?ll pick up insights from Craig?s years of Spring development experience.

2017-11-23

深入理解Spark 核心思想与源码分析.pdf

深入理解Spark 核心思想与源码分析 深入理解Spark 核心思想与源码分析 深入理解Spark 核心思想与源码分析

2017-10-18

从PAXOS到ZOOKEEPER 国人写的技术实践书 分布式

从PAXOS到ZOOKEEPER分布一致性原理与实践 上传限60M,所以打成压缩包,内为pdf 从PAXOS到ZOOKEEPER分布一致性原理与实践 上传限60M,所以打成压缩包,内为pdf

2017-09-22

机器学习实战 英文版 Machine Learning in Action 书中所有代码和数据集

完整的源码 数据集 机器学习实战 英文版 Machine Learning in Action 代码和数据集 机器学习实战 英文版 Machine Learning in Action 代码和数据集 机器学习实战 英文版 Machine Learning in Action 代码和数据集

2017-09-13

机器学习实战 英文版 Machine Learning in Action

高清 带书签 机器学习实战 英文版 Machine Learning in Action 机器学习实战 英文版 Machine Learning in Action 机器学习实战 英文版 Machine Learning in Action 机器学习实战 英文版 Machine Learning in Action

2017-09-13

机器学习实战 中文版

机器学习实战 中文版 机器学习实战 中文版 机器学习实战 中文版 机器学习实战 中文版 机器学习实战 中文版 机器学习实战 中文版

2017-09-13

数据库实现英文第二版 Database System Implementation

数据库实现英文第二版 Database System Implementation 数据库实现英文第二版 Database System Implementation 有书签 高清 机械工业出版社

2017-09-11

yammer metrics-2.2.0 源码

yammer metrics-2.2.0 源码 yammer metrics-2.2.0 源码 yammer metrics-2.2.0 源码 yammer metrics-2.2.0 源码

2017-09-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除