张伯毅-CSDN博客

原创 Flink 1.12.2 源码浅析 : 目录汇总 [持续更新中....]

Flink 1.12.2 源码浅析 : 环境准备Flink 1.12.2 源码浅析 : 本地DEBUG环境准备Flink 1.12.2 源码浅析 : 相关启动脚本Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [一]Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [二]Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [三]Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [四]Flink 1.

2021-04-16 01:26:54 1845 1

原创 Kerberos 安装&使用

.一 .前言二 .搭建Kerberos Server2.1.使用 yum 安装Kerberos Server的套件2.2. 配置 /etc/krb5.conf2.3. 配置 /var/kerberos/krb5kdc/kdc.conf2.4. 配置 /var/kerberos/krb5kdc/kadm5.acl2.5. 初始化Kerberos的数据库2.6. xxx三 .xxxxxx3.1. xxx3.2. xxx3.3. xxx3.4. xxx3.5. xxx3.6. xxx四 .xxxxxx4.1. x

2021-03-27 01:03:42 4536 3

原创 Flink 从1.7 到1.12版本升级汇总

-------------------------一 .前言二 .Flink 1.7 版本2.1. Flink中的Scala 2.12支持2.2. 状态变化2.3. Exactly-once语义的S3 StreamingFileSink2.4. Streaming SQL中支持MATCH_RECOGNIZE2.5. Streaming SQL中的 Temporal Tables 和 Temporal Joins2.6. 版本化REST API2.7. Kafka 2.0 Connector2.8.

2021-02-18 19:51:41 3665

原创 Spark2.3.2源码解析 [目录]

Spark基础知识详解Spark2.1 内存管理详解Spark2.3.2源码分析：1.代码阅读环境准备Spark2.3.2源码解析： 2.启动master节点流程源码分析Spark2.3.2源码解析： 3.启动worker节点启动流程源码分析Spark2.3.2源码解析： 4.1.Yarn cluster 模式 SparkSubmit源码分析（一）Spark2.3.2源码解析： 4.2.Yarn cluster 模式 SparkSubmit源码分析（二）ApplicationMasterSpa

2021-01-12 20:32:47 2463

原创 Hadoop3.2.x YARN源码分析目录汇总 [持续更新中....]

Hadoop3.2.x YARN源码分析目录汇总如下:Hadoop3.2.1 【 YARN 】源码分析 : RPC通讯解析Hadoop3.2.1 【 YARN 】源码分析 : ResourceManager 浅析Hadoop3.2.1 【 YARN 】源码分析 : ClientRMService 浅析Hadoop3.2.1 【 YARN 】源码分析 : AdminService 浅析Hadoop3.2.1 【 YARN 】源码分析 : ApplicationMaster 浅析Hadoop3.2

2020-12-28 09:26:38 2209

原创为什么HDFS文件块（block）大小设定为128M解析.

Table of Contents一.前言二. block 大小设置原则：最小化寻址开销,减少网络传输.三、为什么HDFS中块（block）不能设置太大，也不能设置太小？四、 HDFS中块（block）的大小为什么设置为128M？一.前言HDFS中存储数据是以块（block，这只是一个逻辑概念）的形式存储在DataNode，block大小可通过设置HADOOP_HOME/etc/hadoop/hdfs-site.xml中dfs.blocksize实现（设置时先stop集群，修改.

2020-10-11 23:42:31 10947 10

原创 Hadoop3.2.x HDFS源码分析目录汇总 [完结]

Hadoop3.2.0 源码编译 [一]MAC版本: Hadoop3.2.0 源码编译 [ 二 ]Hadoop3.2.0 源码分析: SHELL启动脚本 DEBUG 模式Hadoop3.2.0 源码分析: namenode 启动Hadoop3.2.0 源码分析: datanode 启动Hadoop3.2.0 源码分析: ResourceManager启动Hadoop3.2.0 源码分析: NodeManagerHadoop3.2.0 源码分析: Container 之...

2020-09-27 09:28:38 13824 2

原创 [JVM]了断局: [ 目录 ]

[JVM]了断局: 说什么也没用,背就完了[必背][JVM]了断局: “运行时数据区“理论梳理[JVM]了断局: 类文件结构梳理[JVM]了断局: JDK默认配置.[JVM]了断局: G1 入门[JVM]了断局: 类加载机制原图:https://www.processon.com/view/5cff6c05e4b0a65d8095d130未完,待补充................

2020-08-24 21:09:07 10039

原创 Hadoop3.2.1 RPC通讯一锅端

下面是最近整理的关于Hadoop3.2.1 RPC 的通讯文章汇总,以及我最后画的一张从Client端请求到Server端的流程图.有什么不对的地方,欢迎指正...Hadoop3.2.1 【 HDFS 】源码分析 : RPC实现 [一] proto接口协议Hadoop3.2.1 【 HDFS 】源码分析 : RPC实现 [二] 概述&使用Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [三] 概述&原理Hadoop3.2.1 【 HDFS 】源...

2020-06-21 23:08:28 11215

原创基准测试神器 - JMH [ Java Microbenchmark Harness ]

一. 简介JMH，全称 Java Microbenchmark Harness (微基准测试框架），是专门用于Java代码微基准测试的一套测试工具API，是由 OpenJDK/Oracle官方发布的工具。其精度可以达到毫秒级.可以执行一个函数需要多少时间,或者一个算法有多种不同实现等情况下,选择一个性能最好的那个.Java的基准测试需要注意的几个点：测试前需要预热...

2020-05-06 15:24:42 3816 3

原创 CentOS7.6 万兆网卡性能测试.

Table of Contents一. 物理机&软件:二.网卡信息三. 安装netperf四. 开启多队列功能五. 测试六. 查看结果七.总结最终结果极限万兆网卡: 网络吞吐量大约为9409.58Mbit/s ≈1176M/s本文章主要是为了测试万兆网卡的传输速率.一. 物理机&软件:1.两台装有万兆网卡的物理机, ...

2020-04-22 15:51:43 19515

原创 Flink SQL 将kafka topic的数据写到另外一个topic里面

定义消息体（Value）格式如何处理消息键（Key）字段的策略。默认情况下，表结构中 ‘ALL’ 即所有的字段都会包含在消息体格式中，即消息键字段在消息键和消息体格式中都会出现。

2025-05-15 00:00:00 406

原创 flink-connector-kafka 3.4源码编译

本文为准备flink-connector-kafka 3.4 源码阅读环境.记得关注一下 flink-connector-kafka里面pom.xml匹配的flink 版本.

2025-01-02 23:30:00 602

原创 Flink 1.20.0 源码编译

本文为准备Flink 1.20.0源码阅读环境.

2025-01-02 10:42:20 369

原创 Flink SQL 支持 kafka 开启 kerberos 权限控制.

1. 无论subscribe 和assign 都需要授权topic . 2. subscribe 方法需要指定group id , 所以需要group id 授权. 3. assign 方法 group id 不是必填项, 不指定group id 的时候, group id 不生效, 指定了之后group id , 权限控制就会生效.

2024-12-23 20:24:50 1358

原创 Flink SQL 从一个SOURCE 写入多个Sink端实例

FLINK 任务从一个数据源读取数据, 写入多个sink端.

2024-12-19 23:30:00 736

原创 1024蹭徽章专用帖

1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。1024蹭徽章专用帖。

2024-10-24 07:52:59 141

原创 Mysql redo log 和bin log 区别

在MySQL数据库中，redo log（重做日志）和bin log（二进制日志）是两种不同类型的日志文件，它们各自承担了不同的角色和功能。

2024-05-17 01:00:00 466 1

原创 mysql max_connections 默认值是多少

参数定义了能同时连接到数据库服务器的最大客户端连接数。该参数的默认值可能会根据 MySQL 版本和服务器的配置而有所不同。的默认值通常是 151。这意味着同时可以有 150 个客户端连接到服务器，加上一个保留给超级用户 (root) 的连接。你可以通过运行以下 SQL 命令来检查你的 MySQL 服务器的当前。如果需要调整这个值，可以在 MySQL 的配置文件（通常是。对于 MySQL 5.7 和 MySQL 8.0，值，让你知道服务器能够同时处理多少连接。这个命令将返回当前的。在 MySQL 中，

2024-05-16 23:30:00 726

原创 Myql 数据库采用RAID存储带来电池充放电问题原因以及处理方式

Mysql作为数据库, 在某些特定情况下会采用RAID（冗余磁盘阵列）进行存储. 以保证数据库的性能以及可靠性.

2024-05-15 01:45:00 855

原创 Mysql .frm 和 .ibd 文件区别

简而言之，.frm 文件负责存储表的结构定义，而 .ibd 文件（在使用 InnoDB 存储引擎的情况下）则负责存储表的实际数据和索引。这种分离确保了表结构的定义与表数据的物理存储相独立，有助于数据库的管理和优化。

2024-05-07 11:31:56 2098

原创 Mysql数据在磁盘上的存储结构

一行数据的存储格式大致如下所示:变长字段的长度列表，null值列表，数据头，column01的值，column02的值，column0n的值…

2024-05-07 01:30:00 1356 1

原创 Mysql 行格式 DYNAMIC 和 COMPACT 区别

总而言之，选择哪种行格式取决于特定的应用场景和数据特征。对于包含大量BLOB、TEXT或大VARCHAR字段的表，DYNAMIC格式可能是更好的选择，因为它提供了更高的空间效率和性能优势。而对于不涉及这些大字段的表，或在兼容性是主要考虑因素的情况下，COMPACT格式可能是一个合适的选择。MySQL的InnoDB存储引擎提供了多种行格式，其中DYNAMIC和COMPACT是两种常见的选择。这两种行格式在处理数据时有一些关键的区别，尤其是在管理大字段（如BLOB、TEXT和大的VARCHAR字段）方面。

2024-05-06 20:25:21 863 1

原创 Mysql 行格式 innodb_default_row_format 可以配置那些值, 有什么区别

在MySQL中，选项指定了InnoDB表创建时的默认行格式。这个设置对于新创建的表非常重要，因为它影响了数据的存储方式、空间利用率和性能。

2024-05-06 10:43:59 1203

原创 Mysql InnoDB引擎生产环境配置 - 待完善

在生产环境中mysql如何配置, 有什么约定项…数据库在生产环境运行的时候，你必须根据机器的内存设置合理的buffer pool的大小，然后设置buffer pool的数量，这样的话，可以尽可能的保证你的数据库的高性能和高并发能力。在线上运行的时候，buffer pool是有多个的，每个buffer pool里多个chunk但是共用一套链表数据结构，然后执行crud的时候，就会不停的加载磁盘上的数据页到缓存页里来，然后会查询和更新缓存页里的数据，同时维护一系列的链表结构。

2024-05-05 19:52:31 416

原创 MySQL LRU算法(冷热数据分离)

MySQL中使用的InnoDB存储引擎采用了一种特别的最近最少使用（LRU, Least Recently Used）算法来管理其Buffer Pool中的页（包括数据页和索引页）。Buffer Pool是InnoDB用来缓存数据，以减少磁盘I/O操作的内存区域。正确地管理这个缓存对于数据库的性能至关重要，而LRU算法就是用来决定哪些页应该保留在Buffer Pool中，哪些页应该被替换出去的一种策略。因为mysql的预读机制, 预读大量无用的数据. 可能会导致缓存失效, 降低性能…

2024-05-05 17:54:18 886

原创 MySQL: Buffer Pool概念整理

MySQL中的Buffer Pool是存储引擎用来缓存表数据和索引的内存区域。这是InnoDB性能优化中最关键的部分之一。通过在内存中缓存这些数据，InnoDB可以极大减少对磁盘I/O的需求，因为从内存中读取数据远比从磁盘读取要快得多。因此，Buffer Pool的大小和管理方式直接影响到数据库的性能。

2024-05-05 17:18:38 1178

原创哪些情况下会触发MySQL的预读机制？

MySQL的预读机制主要与其底层存储引擎的实现有关，尤其是InnoDB存储引擎。预读（Pre-reading）或预取（Prefetching）是一种性能优化技术，其中数据库系统主动读取可能很快就会被查询到的数据页到缓冲池（Buffer Pool）中，即使这些数据页此刻还没有被直接请求。这样做的目的是减少等待I/O操作完成的时间，从而提高查询性能。

2024-05-05 17:15:53 643

原创 Mysql复习笔记: 基础概念(待补充)

mysql 基础概念.

2024-05-04 22:15:00 986

原创 mysql binlog 如何区分db

在MySQL中，Binary Log（binlog）记录了数据库更改操作的所有细节，对于实现数据复制、恢复以及审计等功能至关重要。尽管binlog记录了所有数据库的活动，但在实际应用中，我们有时候需要针对特定数据库（db）的活动进行过滤或者分析，这就需要我们能够区分不同数据库的binlog记录。

2024-05-04 17:39:16 590

原创蹭1024徽章专用帖

蹭1024徽章专用帖。蹭1024徽章专用帖。蹭1024徽章专用帖。蹭1024徽章专用帖。

2023-10-24 11:58:26 252

原创 docker login : x509: certificate signed by unknown authority

docker login 登录harbor镜像仓库报错.

2023-08-29 20:27:55 2510

原创 k8s 重装flannel . 解决cni failed to set up pod “xxxxx“ network: failed to set bridge addr

在安装k8s的时候,采用了flannel组件. 安装完之后, 有报错. 应该是多次安装的时候, flannel没清理干净.

2023-08-28 11:12:03 1236

原创 kubeadm init 失败: failed to pull image k8s.gcr.io/etcd:3.4.13-0

因为k8s.gcr.io镜像库在国内需要翻墙，所以普通下载无法成功完成，可以更改一下下载的镜像库地址为国内地址，下载后将标签打回和kubeadm config一致的方法解决。

2023-08-25 12:12:08 1196

原创 docker安装报错: Requires: container-selinux ＞= 2:2.74

Error: Package: containerd.io-1.6.22-3.1.el7.x86_64 (docker-ce-stable) Requires: container-selinux >= 2:2.74Error: Package: 3:docker-ce-19.03.15-3.el7.x86_64 (docker-ce-stable) Requires: container-selinux >= 2:2.74

2023-08-25 11:27:49 1248

原创 ApplicationListener , @EventListener 和 CommandLineRunner 启动顺序验证

排查线上问题, 发现一个重要功能的全局锁线程启动延迟很高. 服务启动40分钟之后, 才能拿到锁. 排查之后发现原因是因为代码引入了高优先级的ApplicationListener代码, 导致全局锁线程启动延迟.

2023-08-21 12:04:00 1016

原创线上问题排查: jmap & mat 工具排查生产环境占用内存过大问题

线上任务内存占用居高不下, 机器load较高. 排查问题原因.

2023-08-16 14:05:14 1208

原创蹭1024徽章专用贴

蹭1024徽章专用贴蹭1024徽章专用贴蹭1024徽章专用贴

2022-10-24 13:54:25 328

原创使用 kubeadm 部署 kubernetes

使用 kubeadm 部署 kubernetes

2022-09-28 12:18:54 950

原创 docker安装 elasticsearch

docker安装 elasticsearch

2022-07-06 23:45:00 1237

jdk-8u251-macosx/linux/windows 多版本下载

多版本JDK jdk-8u251-linux-x64.rpm jdk-8u251-linux-x64.tar.gz jdk-8u251-macosx-x64.dmg jdk-8u251-windows-i586.exe jdk-8u251-windows-x64.exe

2020-06-28

虚拟机上网环境设置.doc

2020-06-12

《编译原理（第二版）》带书签.pdf

编译原理第二版带书签, 赵建华译

2019-06-06

Flink基础教程.pdf

原版。高清，带页签。作为新一代的开源流处理器，Flink是众多大数据处理框架中一颗冉冉升起的新星。它以同一种技术支持流处理和批处理，并能同时满足高吞吐、低延迟和容错的需求。本书由Flink项目核心成员执笔，系统阐释Flink的适用场景、设计理念、功能、用途和性能优势

2019-05-28

数据结构与算法分析 java语言描述（原书第3版）中文PDF+源码+课后习题源码

2019-05-08

深入理解计算机系统（原书第3版）PDF 计算机科学丛书 [美] 兰德尔 E.布莱恩特

前言　　本书（简称CS:APP）的主要读者是计算机科学家、计算机工程师，以及那些想通过学习计算机系统的内在运作而能够写出更好程序的人。　　我们的目的是解释所有计算机系统的本质概念，并向你展示这些概念是如何实实在在地影响应用程序的正确性、性能和实用性的。其他的系统类书籍都是从构建者的角度来写的，讲述如何实现硬件或系统软件，包括操作系统、编译器和网络接口。而本书是从程序员的角度来写的，讲述应用程序员如何能够利用系统知识来编写出更好的程序。当然，学习一个计算机系统应该做些什么，是学习如何构建一个计算机系统的很好的出发点，所以，对于希望继续学习系统软硬件实现的人来说，本书也是一本很有价值的介绍性读物。大多数系统书籍还倾向于重点关注系统的某一个方面，比如：硬件架构、操作系统、编译器或者网络。本书则以程序员的视角统一覆盖了上述所有方面的内容。　　如果你研究和领会了这本书里的概念，你将开始成为极少数的“牛人”，这些“牛人”知道事情是如何运作的，也知道当事情出现故障时如何修复。你写的程序将能够更好地利用操作系统和系统软件提供的功能，对各种操作条件和运行时参数都能正确操作，运行起来更快，并能避免出现使程序容易受到网络攻击的缺陷。同时，你也要做好更深入探究的准备，研究像编译器、计算机体系结构、操作系统、嵌入式系统、网络互联和网络安全这样的高级题目。　　读者应具备的背景知识　　本书的重点是执行x86-64机器代码的系统。对英特尔及其竞争对手而言，x86-64是他们自1978年起，以8086微处理器为代表，不断进化的最新成果。按照英特尔微处理器产品线的命名规则，这类微处理器俗称为“x86”。随着半导体技术的演进，单芯片上集成了更多的晶体管，这些处理器的计算能力和内存容量有了很大的增长。在这个过程中，它们从处理16位字，发展到引入IA32处理器处理32位字，再到最近的x86-64处理64位字。　　我们考虑的是这些机器如何在Linux操作系统上运行C语言程序。Linux是众多继承自最初由贝尔实验室开发的Unix的操作系统中的一种。这类操作系统的其他成员包括Solaris、FreeBSD和MacOS X。近年来，由于Posix和标准Unix规范的标准化努力，这些操作系统保持了高度兼容性。因此，本书内容几乎直接适用于这些“类Unix”操作系统。　　文中包含大量已在Linux系统上编译和运行过的程序示例。我们假设你能访问一台这样的机器，并且能够登录，做一些诸如切换目录之类的简单操作。如果你的计算机运行的是Microsoft Windows系统，我们建议你选择安装一个虚拟机环境（例如VirtualBox或者VMWare），以便为一种操作系统（客户OS）编写的程序能在另一种系统（宿主OS）上运行。　　我们还假设你对C和C++有一定的了解。如果你以前只有Java经验，那么你需要付出更多的努力来完成这种转换，不过我们也会帮助你。Java和C有相似的语法和控制语句。不过，有一些C语言的特性（特别是指针、显式的动态内存分配和格式化I/O）在Java中都是没有的。所幸的是，C是一个较小的语言，在Brian Kernighan和Dennis Ritchie经典的“K&R”文献中得到了清晰优美的描述\[61\]。无论你的编程背景如何，都应该考虑将K&R作为个人系统藏书的一部分。如果你只有使用解释性语言的经验，如Python、Ruby或Perl，那么在使用本书之前，需要花费一些时间来学习C。　　本书的前几章揭示了C语言程序和它们相对应的机器语言程序之间的交互作用。机器语言示例都是用运行在x86-64处理器上的GNU GCC编译器生成的。我们不需要你以前有任何硬件、机器语言或是汇编语言编程的经验。　　给C语言初学者　　关于C编程语言的建议　　为了帮助C语言编程背景薄弱（或全无背景）的读者，我们在书中加入了这样一些专门的注释来突出C中一些特别重要的特性。我们假设你熟悉C++或Java。

2019-03-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

jdk-8u251-macosx/linux/windows 多版本下载

虚拟机上网环境设置.doc

《编译原理（第二版）》带书签.pdf

Flink基础教程.pdf

数据结构与算法分析 java语言描述（原书第3版）中文PDF+源码+课后习题源码

深入理解计算机系统（原书第3版）PDF 计算机科学丛书 [美] 兰德尔 E.布莱恩特

Java虚拟机规范（Java SE 8版） 带书签

Hadoop权威指南：大数据的存储与分析(第4版)

HBase应用架构PDF版本

Thinking in UML(2 edition)

《谁说菜鸟不会数据分析》入门篇-简版电子书

[逻辑思维训练500题II].于雷.扫描版

空空如也

Java虚拟机规范（Java SE 8版）带书签