自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(44)
  • 资源 (4)
  • 收藏
  • 关注

原创 Kakfa权威指南系列文章

系列文章目录深入理解Kafka系列(一)–初识kafka深入理解Kafka系列(二)–Kafka生产者深入理解Kafka系列(三)–Kafka消费者

2020-11-09 15:34:06 33

原创 深入理解Kafka系列(八)--Kafka的流式处理

深入理解Kafka系列(八)--Kafka的流式处理系列文章目录前言正文流式处理的相关概念流式处理的设计模式单个事件处理使用本地状态多阶段处理和重分区使用外部查找---流和表的连接流与流的连接乱序的事件重新处理Streams示例字数统计Streams的架构概览对拓扑进行伸缩总结系列文章目录Kakfa权威指南系列文章前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文数据流是一个无边界的数据集的抽象表示。无边界也就是意味着无限和持续增长,现实中可以理解为随着时间的推移,新的数据会不断

2020-11-27 14:32:25 18

原创 深入理解Kafka系列(七)--管理Kafka

深入理解Kafka系列(七)--管理Kafka系列文章目录前言正文主题操作创建主题增加分区其他操作消费者群组偏移量管理动态配置变更覆盖主题的配置项覆盖客户端的配置其他相关操作分区管理首选的首领选举修改分区副本转储日志片段消费和生产控制台生产者控制台消费者不安全的操作总结系列文章目录Kakfa权威指南系列文章前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文本篇文章主要从Kafka的一些脚本工具来介绍。主题操作创建主题在集群当中创建一个主题需要用到3个参数(必须提供)。主

2020-11-20 10:34:09 16

原创 深入理解Kafka系列(六)--Kafka数据管道

深入理解Kafka系列(六)--Kafka数据管道系列文章目录前言正文Kafka Connect运行ConnectConnect Demo1:文件数据源和文件数据池Connect Demo2:从Mysql到ES深入理解Connect总结系列文章目录Kakfa权威指南系列文章前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文Kafka其实就像一个数据管道,基本上他的定位是作为一个中间件,我们数据流入到Kafka,让Kafka管理,然后数据从Kafka当中流出到需要的地方。那么Kaf

2020-11-15 15:51:23 16

原创 深入理解Kafka系列(五)--Kafka可靠的数据传递

深入理解Kafka系列(五)--Kafka可靠的数据传递系列文章目录前言正文总结系列文章目录Kakfa权威指南系列文章前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文总结本文大概从这么几个方面进行概述:...

2020-11-13 15:56:11 8

原创 深入理解Kafka系列(四)--Kafka的复制存储以及请求处理过程

深入理解Kafka系列(四)--Kafka的复制存储以及请求处理过程系列文章目录前言正文总结系列文章目录深入理解Kafka系列(一)–初识kafka深入理解Kafka系列(二)–Kafka生产者深入理解Kafka系列(三)–Kafka消费者前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文总结本文大概从这么几个方面进行概述:...

2020-11-12 15:01:56 14

原创 深入理解Kafka系列(三)--Kafka消费者

深入理解Kafka系列(三)--Kafka消费者系列文章目录前言正文Kafka消费者Kafka消费者和消费者群组分区再均衡Kafka消费者API消费者DemoKafka消费者参数详解总结系列文章目录1.深入理解Kafka系列(一)–初识kafka1.深入理解Kafka系列(二)–Kafka生产者前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文Kafka消费者Kafka消费者和消费者群组往往我们创建消费者对象,订阅主题并开始接受消息,然后再把他们验证保存起来。若生产者往主题

2020-11-05 19:58:54 17

原创 深入理解Kafka系列(二)--Kafka生产者

深入理解Kafka系列(二)--Kafka生产者系列文章目录前言正文Kafka生产者Kafka发送消息的主要步骤创建Kafka生产者(API)Kafka生产者参数详解Kafka生产者发送方式详解序列化器自定义序列化器Demo使用自定义序列化器的缺点:总结系列文章目录1.深入理解Kafka系列(一)–初识kafka1.深入理解Kafka系列(二)–Kafka生产者前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文Kafka生产者Kafka发送消息的主要步骤首先放图:向Kafk

2020-10-29 15:12:16 21

原创 深入理解Kafka系列(一)--初识Kafka

深入理解Kafka系列(一)--初识kafka系列文章目录前言正文Kafka介绍Kafka的几个相关概念为什么选择Kafka安装Kafka安装zookeeper安装kafkaKafka配置文件的几个常规配置详解broker有关配置:主题的一些默认配置总结系列文章目录1.深入理解Kafka系列(一)–初识kafka前言本系列是我通读《Kafka权威指南》这本书做的笔录和思考。正文Kafka介绍kafka是一种基于发布与订阅的消息系统,一般叫做“分布式流平台”。kafka的数据会按照一定的顺序持久

2020-10-24 14:06:40 34 1

原创 Flink-State/Checkpoint和Savepoint的详解

Flink-State/Checkpoint和Savepoint的详解Flink特性之一:有状态计算Flink-State划分Flink-状态管理Checkpointbarrier屏障barrier的特点barrier对齐机制Checkpoint详解Checkpoint与Savepoint的对比Flink特性之一:有状态计算什么是状态计算:程序计算过程中,在程序内部产生的中间结果,并提供给后续的算子。如图:每个模块把自己的结果传递给下面的Task,也就是状态计算。Flink-State划分St

2020-08-09 13:34:57 88 1

原创 Flink-使用checkpoint和savepoint进行快照恢复

flink-使用checkpoint和savepoint进行快照恢复使用checkpoint(自动,由flink本身来管理)准备测试代码测试步骤flink run的常见参数flink-checkpoint的配置文件配置(不需要代码设置)使用Savepoint(用户手动操作)Savepoint需要注意的点:手动savepoint的步骤删除savepoint使用checkpoint(自动,由flink本身来管理)准备测试代码public class Demo1 { public static vo

2020-08-07 13:14:27 182

原创 Flink-OperatorChain源码详解

Flink-OperatorChain源码详解前言逻辑计划中的算子链StreamingJobGraphGenerator(优化逻辑)createChain核心方法(创建chain)isChainable方法(判断operator是否可以加入chain):flink中chain的3种链接策略:物理逻辑中的算子链(ExecutionGraph)OperatorChain小总结前言参考博客:LittleMagics的深入分析Flink的operator chain(算子链)机制我们来看下flink-web页

2020-08-05 11:24:51 135

原创 Flink-sink的种类和基本使用

Flink-sink的种类和基本使用PrintSink编号问题addSink的使用(自定义Sink)csvSink的使用flink中的sink相当于spark中的action,是划分subTask的重要依据之一。PrintSink编号问题public static void main(String[] args) throws Exception { StreamExecutionEnvironment environment = StreamExecutionEnvironment.getE

2020-08-04 21:19:05 187

原创 Flink-dataStream的种类和基本使用

Flink-dataStream的种类和基本使用

2020-08-04 21:06:23 79

转载 ElasticSearch-索引迁移

ElasticSearch-索引迁移

2020-08-03 17:26:25 57

原创 Flink-pom项目的搭建以及简单的WordCount程序(Java)

Flink-pom项目的搭建以及简单的WordCount程序(Java)搭建pom写一个WordCount程序(不用lambda)写一个WordCount程序(用lambda)将程序打成jar包,放在页面上执行搭建pom强烈建议使用官方的推荐写法,用命令行输入以下代码(也不用你敲,只用改一下你的flink版本号即可,我用的是1.9.1)mvn archetype:generate \-DarchetypeGroupId=org.apache.flink \-DarchetypeArtifactId

2020-08-01 20:01:21 111

原创 Flink-简介以及standalone集群安装和简单的测试

Flink-standalone集群的搭建以及简单的测试

2020-08-01 19:42:23 90

原创 Flink-dataSource的种类和基本使用

Flink-dataSource的种类和基本使用并行的dataSource无界集并行dataSourcesocketTextStream()有界集并行dataSourcefromCollection()fromElements()非并行的dataSourcefromParallelCollection()generateSequence()readTextFile()前言:对于一个flink任务,我们拿java的API层面来解释:一个任务基本上我们分为3种名称作用dataSour

2020-08-01 19:06:30 95

原创 ElasticSearch-Routing路由简介-脑裂问题以及解决方案

ElasticSearch-Routing路由简介-脑裂问题以及解决方案

2020-07-31 20:38:49 87

转载 ElasticSearch 快照备份和还原

ElasticSearch 快照备份和还原Repositories1. 注册创建快照仓库2. 查看已注册快照仓库3. 查看快照...

2020-07-31 19:54:03 131

原创 ElasticSearch-Logstash6.0.0安装以及mysql数据导入ES

ElasticSearch-Logstash6.0.0安装以及mysql数据导入ESLogstash安装(6.0.0)mysql数据导入ES验证mysql导入的数据Logstash安装(6.0.0)下载logstash到linux我直接给你们百度云链接:https://pan.baidu.com/s/13M3OdoG3wqcpdebUUSwoHQ提取码:5aaq解压即可(unzip)unzip logstash-6.0.0.zip下载后续要用的mysql jar包(也可以去官网下载)

2020-07-29 16:58:27 329

原创 ElasticSearch配置Head

ElasticSearch配置Head安装配置node.js安装npm安装配置node.js去官网下载node最新版本:http://nodejs.cn/download/获得node-v12.13.0-linux-x64.tar.xz文件,上传至linux使用命令将xz文件转为tar文件xz -d node-v12.13.0-linux-x64.tar.xz解压tar文件:tar -xvf node-v12.13.0-linux-x64.tar配置环境变量拷贝安装路径,我

2020-07-29 09:27:01 40

原创 ElasticSearch搭建冷热架构的集群(5台)

ElasticSearch搭建冷热架构的集群(5台)准备工作和配置文件启动和停止集群脚本启动脚本停止脚本验证集群状态准备工作和配置文件准备5个ES安装包(linux环境)1.ES9300:#es会自动发现在同一网段下的es,所有节点都要填他cluster.name: test#节点名称,要唯一node.name: test01node.master: truenode.data: true#节点的ip,填了这个也可以使用外网访问network.host: 192.168.135.23

2020-07-28 10:11:01 57

转载 Elasticsearch冷热分离原理和实践

性能与容量之间的矛盾由来已久,计算机的多级存储体系就是其中一个经典的例子,同样的问题在Elasticsearch中也存在。为了保证Elasticsearch的读写性能,官方建议磁盘使用SSD固态硬盘。然而Elasticsearch要解决的是海量数据的存储和检索问题,海量的数据就意味需要大量的存储空间,如果都使用SSD固态硬盘成本将成为一...

2020-07-28 09:57:13 88

原创 ElasticSearch集群API操作

ElasticSearch集群API操作前期准备创建索引创建mapping插入数据利用XContentFactory插入创建原生对象,转JSON插入查询准备工作根据Id查询根据Term查询根据字符串匹配查询查询结果高亮度显示分页查询前期准备首先,pom需要导入的包如下: <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artif

2020-07-27 14:27:25 67

原创 kafka知识整理系列二

kafka知识整理系列二kafka分区策略什么情况下会分区分区方式有哪些Range Strategy(也是默认的使用策略)RoundRobin Strategykafka的RebalanceCoordinatorRebalance的步骤:kafka的日志清除策略kafka的TCP链接管理生产者创建TCP的3种情况生产者/消费者关闭TCP的2种情况消费者创建TCP的3种情况kafka控制器组件ControllerController 的作用kafka分区策略什么情况下会分区同一个Consumer Gr

2020-07-26 15:40:39 39

原创 Kafka知识整理系列一

Kafka知识整理系列一Kafka生产者一个简单的生产者demo生产者的几种发送模式以及重要参数Kafka消费者消费者和消费者组的概念消费者的消费步骤:Kafka消息的存储存储的地址存放文件目录的组成kafka查看日志的命令Partition如何根据offset去查找信息kafka副本机制一些kafka专业术语kafka副本的作用有哪些Kafka生产者我们用java去写一个kafka生产者,通常有以下步骤及参数需要设置配置Properties参数。Properties相当于一个配置文件,配置信息都

2020-07-26 13:49:07 40

原创 ElasticSearch集群以及简单的JavaAPI操作

ElasticSearch集群以及简单的JavaAPI操作ES集群配置ES集群的简介以及重要的配置项ES重要配置项的多种配置方式ES集群(3台)简单配置端口9200确实开了的情况下,解决无法访问外网的问题。ES简单的JavaAPI操作ES集群配置ES集群的简介以及重要的配置项一个集群由一个唯一的名字来标识,名字默认为elasticsearch,一个节点只能通过指定一个集群的名字来加入集群。ES重要配置项的多种配置方式默认情况下,ES集群中的每一个节点都有成为主节点的资格,也都存储数据,也提供查询

2020-07-19 18:07:17 92

原创 ElasticSearch索引机制以及Segment解析

ElasticSearch索引机制以及Segment解析ES采用的索引是什么?倒排索引以及优点Term Dictionary和Term IndexES的索引压缩ES对索引的压缩ES对Posting List的压缩ES索引小总结以及使用时注意的地方Segment分段是什么Segment不可更改,那么ES数据如何更新?ES的写入流程refresh是什么Flush和translog的含义ES采用的索引是什么?ElasticSearch采用的是Lucene的倒排索引技术,即以分词的形式将文档分解成单词+频率+位

2020-07-11 19:24:28 239

原创 ElasticSearch基本知识介绍和安装常见报错解决

ElasticSearch基本知识介绍和安装常见报错解决ES简介ES的几个核心概念ES与关系型数据库(如Mysql)的对比什么是ELKES的特点ES安装常见的错误和解决方案问题一:不可以用root用户启动问题二: JVM内存大小不够(默认大小为1g)问题三:ES用户拥有的可创建文件描述的权限太低问题四:ES用户拥有的内存权限太小配置ES外网访问:ES后台启动命令ES验证安装成功ES简介ES是一个开源的高扩展的分布式全文搜索引擎,可以近乎实时的存储,检索数据,扩展性好,数据处理量大,用于Java开发,使用

2020-07-11 11:43:26 70

原创 Hadoop-解决NameNode启动后秒挂的问题(多次格式化造成元数据不统一)

直奔主题:hadoop集群启动后,namenode一开始有,但是过一会就没了,大概率是因为元数据不统一的问题。这里只是一种可能性,不排除有其他配置原因为什么会造成元数据不统一,最常见的是你NameNode多次格式化了。举个例子:如果你的Hadoop集群只格式化了一次,即正常情况下,看下NameNode和DataNode的元数据Id值:如果你多次格式化了,那么就会造成元数据的不统一,如查看...

2020-05-03 11:03:11 252

原创 Hadoop常见面试题整理(里面参杂一些HBase的问题)

1.简述如何安装一个Hadoop?步骤:(linux版)1.在root用户下,修改ip和映射,host主机名。2.配置集群减的ssh免密登陆(前提是将集群的时间改为一致)3.关闭防火墙,设置开机不启动4.安装jdk(到这里是环境的配置)5.普通用户下解压hadoop安装包(开始安装hadoop)6.配置hadoop的主要几个核心文件: 1.hadoop-evn.sh 2.c...

2020-05-03 10:48:24 94

原创 分享mybatis的常见面试题

1.Mybatis中使用#和$书写占位符有什么区别? 1.用#传入的数据都当成字符串,会对传入的数据自动加入引号(即有一个预编译处理) 2.$则将传入的数据显示在sql当中(缺点:可能会受到sql注入攻击)2.Mybatis中的动态sql是什么意思?对于一些复杂的sql语句,会指定许多查询条件,而这些条件可能存在也可能不存在,那么此时需要根据用户的输入的条件动态的生成sql语句。3.什...

2020-05-03 10:01:29 94

原创 hibernate面试题整理

1.hibernate中的SessionFactory是线性安全的吗?Session是线性安全的吗?(两个线程能共享这个Session吗?)SessionFactory是线性安全的(一般在启动的时候创建,用于创建Session)Session是非线性安全的,且不可被共享2.Hibernate中Session中的load和get方法的区别?1. 如果找不到符合条件的记录:load会抛出异...

2020-04-24 22:30:05 50

原创 深入理解springmvc-IOC原理

前言首先,ioc:springmvc里面的的控制反转,就是将对象的控制权转移给容器。而这里springmvc又有两种容器:1.BeanFactory2.ApplicationContext这里先简单介绍下这两个容器:1.Factory是一个接口:这个接口中定义了一系列管理Bean的方法,如:而真正充当Bean注册管理的角色是BeanDefinitionRegistry,而不是Bean...

2020-04-10 19:15:12 167

原创 数据库面试题-version1

1.事务的隔离级别有什么?Read uncommitted(读未提交):避免了更新丢失,却可能出现脏读。也就是说事务B读取到了事务A未提交的数据。A进行了一条数据操作,但是没有提交事务,如果B进行这条数据的查询,是可以查到A的数据操作的(此时A的事务还没有提交),那么,当A不提交事务或者进行事务回滚,那么B查询到的数据就是脏数据Read committed(读提交):在1基础上避...

2020-04-09 16:12:06 63

原创 记录一次数梦工场的电话一面

首先,这次没有让我自我介绍。直奔主题。问题1:整形有哪几种?int,long,short,byte(但这个问题我没回答完整,不应该)问题2:byte的范围有多大?懵了,没想到会问这个,但是我圆场的还可以,我说我对int类型的范围记得比较清楚,然后有心计的提到了自己最近在看HashMap的源码(为什么不直接用hashcode值作为key,这里用到了int的一个范围),然后我表明自己对byte...

2020-04-02 15:51:21 202

原创 详细讲解下Lock的底层原理(ReentrantLock的获得锁和释放锁)

文章开头给大家几个关键字:计数值,双向链表,CAS+自旋前言:什么是CAS?,什么是AQS?CAS:全称Compare And Swap即比较并交换,他是解决多线程并行情况下使用锁而造成性能上的损耗的一种机制。CAS:包含3个操作数:V:内存位置A:预期的原值(也就是原本值)B:新的值。若当前内存位置下的值与A相匹配,那么处理器自动将该位置的值改为B(就是一个替换操作)。若不匹配,那...

2020-03-24 20:30:48 362

原创 简述如何用springboot实现热部署

1.首先,pom文件中要加入依赖:<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope>runtime</scope> &l...

2020-03-23 12:04:15 55

原创 粗略的解析ribbon负载均衡策略下的轮询策略

先直接上图:这里我只讲轮询算法的实现:很明显,这个轮询类继承了AbstractLoadBalancerRule这个抽象类看下轮询类中定义了什么东西:举个例子:看到这个UP没,UP通俗的来讲,就是说活的机器。这里是2个看下具体的代码实现:这里再补充:while(!this.nextServerCyclicCounter.compareAndSet(current, next)...

2020-03-23 11:51:17 147

node-v14.6.0-linux-x64.tar.xz

---node-v14.6.0-linux-x64.tar---

2020-07-30

hadoop伪分布式搭建_原理_格式化问题解决方案.pdf

这里有hadoop的简介,比如MR,Yarn,HDfs,还有一些详细的介绍。以及伪分布式的搭建,同样是图文的方式去写的,配置基本上是一层接一层的去做的,所以有阶段性,可以一阶段一阶段的去配。

2020-04-24

hadoop完全分布式搭建_HA搭建.pdf

hadoop完全分布式以及HA搭建步骤:代码也有,过程都是图文形式,不过我这里提供的只是最基础的一种配置方式,并不能代表全部,因为具体的hadoop配置还有好多,我这里把最基本的展现出来

2020-04-24

linux详细命令笔记:crontab、压缩、chmod等

手写的linux笔记,图文形式,尽可能的在难点地方写的详细一点,比如周期性的命令crontab,压缩命令,chmod命令的解析等等

2020-04-24

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除