好学若饥，谦卑若愚

Apache Kafka 3.0 发布， 发布日志：Kafkahttps://blogs.apache.org/kafka/

缘由由于 双击输入法中，习惯了使用 shift 做中英文切换，有时候手速快，就会出现 双击 shift 弹出 IDEA 的全局搜索。非常不爽。在网上找到的各种方案，都是去勾选ide.suppress.double.click.handler，但是 IDEA 2021.2 这个版本已经没有这个选项了，甚是痛苦，不知道为何要取消这个选项。然后到处搜索，然后 CSDN 的 戒酒的李白1032 的https://blog.csdn.net/qq_29062045/article/details/1...

目录Spark-3.1.1 新特性Project Zen支持 Python 类型（Python typing support ）支持依赖关系管理为 PyPI 用户提供新的安装选项PySpark 相关的文档完善ANSI SQL 兼容性性能提升Predicate pushdownShuffle 消除，子表达式消除和嵌套字段修剪Shuffle-Hash Join (SHJ) 支持所有的 join 类型Streaming 的改进其他 Spark 3.1 的改进

数据中台的由来数据中台最早是阿里提出的，但真正火起来是2018 年，我们能感受到行业文章谈论数据中台的越来越多。大量的互联网、非互联网公司都开始建设数据中台。为什么很多公司开始建设数据中台？尽管数据中台的文章很多，但是一千人眼里有一千个数据中台，到底什么是数据中台？数据中台包含什么?当企业需要数据化转型、精细化运营，进而产生大规模数据应用需求的时候，就需要建设数据中台。数据中台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合。数据中台包含数仓体系、数据服务集和BI 平台。1、是...

看图完事：

直接上图：

数据文件是：rownumbertest.txt字段信息是：id,sex,age,name1,男,18,张三2,女,18,李四3,女,20,王五4,男,18,赵六5,男,18,刘七6,男,19,石九7,男,38,黄渤8,女,22,刘嘉玲9,女,23,王菲10,女,28,刘亦菲11,女,18,赵丽颖用户信息表create database if not exists hive_test;use hive_test;drop table if exists rown

前几天跟前58的技术委员会主席孙玄聊天，聊天过程中得知他想搞大数据课程，于是我们有了如下对话。问：根据你的观察，现在企业里面很多想搞大数据的工程师普遍有什么特点？孙老板：很多同学的大数据知识是东拼西凑的，看B站上的视频学了一点，项目当中用过一点，没有系统化，而且不深入，这些同学其实是做不了真正的大数据工程师的工作的。问：那你觉得如上的同学如果想要突破，有什么方式吗？孙老板：根据...

第一步：点击 "文件" 打开 "偏好设置"， 找到 "外观"， "主题"， "打开主题文件夹"第二步：在该文件夹中创建一个文件：base.user.css第三步：在创建的base.user.css文件中，放置如下内容：/*************************************** Header Counters in TOC********...

现在有这样一份数据：1,huangxiaoming,45,a-c-d-f2,huangzitao,36,b-c-d-e3,huanglei,41,c-d-e4,liushishi,22,a-d-e5,liudehua,39,e-f-d6,liuyifei,35,a-d-e字段的意义：id,name,age,favorsid,姓名,年龄,爱好其中需要注意的是：每...

常规的误区假设有一个展示用户详情的需求，分两步，先调用一个HTTP接口拿到详情数据，然后使用适合的视图展示详情数据。如果网速很慢，代码发起一个HTTP请求后，就卡住不动了，直到十几秒后才拿到HTTP响应，然后继续往下执行。这个时候你问别人，刚刚代码发起的这个请求是不是一个同步请求，对方一定回答是。这是对的，它确实是。但你要问它为什么是呢？对方一定是这样回答的，“因为发起请求后，代...

如何高效的学习技术  我们相信努力学习一定会有收获，但是方法不当，既让人身心疲惫，也没有切实的回报。高中时代，我的同桌是个漂亮女同学。她的物理成绩很差，虽然她非常勤奋的学习，但成绩总是不理想。为了巩固纯洁的同学关系，我亲密无间地辅导她的物理，发现她不知道题目考什么。我们的教科书与试题都围绕着考试大纲展开，看到一道题，应该先想想它在考哪些定理和公式的运用。  不少朋友每天都阅读技术文章，但是第...

一、核心类差异1. Python3 对 Unicode 字符的原生支持。Python2 中使用 ASCII 码作为默认编码方式导致 string 有两种类型 str 和 unicode，Python3 只支持 unicode 的 string。Python2 和 Python3 字节和字符对应关系为：2. Python3 采用的是绝对路径的方式进行 importPython2 中相对路...

IDE开发工具（4篇）：https://blog.csdn.net/java_wxid/category_8600829.htmlJava基础（17篇）：https://blog.csdn.net/java_wxid/category_8600390.htmlMySQL（15篇）：https://blog.csdn.net/java_wxid/category_8600406.htmlJDB...

Python学习大纲：1、编程语言介绍 发展历程 静态编程语言/动态编程语言 编译型/解释型 强类型/弱类型 面向对象/面向过程/函数式 各常见编程语言对比2、Python介绍 产生背景 优缺点 特点 适用场景 解释器 虚拟环境3、Python的版本选择 python2 python34、Python安装...

Java作为一种面向对象的，跨平台语言，其对象、内存等一直是比较难的知识点。而且很多概念的名称看起来又那么相似，很多人会傻傻分不清楚。比如本文我们要讨论的JVM内存结构、Java内存模型和Java对象模型，这就是三个截然不同的概念，但是很多人容易弄混。可以这样说，很多高级开发甚至都搞不不清楚JVM内存结构、Java内存模型和Java对象模型这三者的概念及其间的区别。甚至我见过有些面试官自...

百度一面（现场）自我介绍Java中的多态为什么要同时重写hashcode和equalsHashmap的原理Hashmap如何变线程安全，每种方式的优缺点垃圾回收机制Jvm的参数你知道的说一下设计模式了解的说一下啊手撕一个单例模式算法题目手撕算法：反转单链表手撕算法：实现类似微博子结构的数据结构，输入一系列父子关系，输出一个类似微博评论的父子结构图手写java多线程手...

前言其实干程序员这么些年来，一直有一个愿望想写本书，但是一直没实现，一开始是想着是因为自己没时间，后来想想也不是说没时间，可能还是感觉水平有限。为了给写书做准备，最近打算写一个专栏，专栏的要求就稍微低一些，能坚持写完的概率也就会大一些。所以最近挑了从Kafka的源码角度去写一个专栏。选择写Kafka源码剖析的理由1、Kafka是大数据里面难度较大，而且使用广泛的一个技术，倒不是说...

1 Region拆分一个Region代表一个表的一段Rowkey的数据集合，当Region太大，Master会将其拆分。Region太大会导致读取效率太低，遍历时间太长，通过将大数据拆分到不同机器上，分别查询再聚合，Hbase也被人称为“一个会自动分片的数据库”。Region可以手动和自动拆分。1.1 Region自动拆分1.1.1 ConstantSizeRegionSplitPo...

数据分区详解数据分区的五种常用方式：1、随机分区优点：数据分布均匀缺点：具有相同特点的数据不会保证被分配到相同的分区2、Hash分区优点：具有相同特点的数据保证被分配到相同的分区特点：会产生数据倾斜3、范围分区缺点：提高查询速度，相邻的数据都在相同的分区缺...