勇往直前的专栏

写给以后的自己

通过源码告诉你,阿里的RocketMQ事务消息到底牛逼在哪?

文章转载自公众号心源意码,作者 寻筝 “得益于MQ削峰填谷,系统解耦,操作异步等功能特性,在互联网行业,可以说有分布式服务的地方,MQ都往往不会缺席。” 由阿里自研的RocketMQ更是经历了多年的双十一高并发挑战,其中4.3.0版本推出了事务消息的新特性本文对RocketMQ 4.5.0版...

2019-08-15 13:24:59

阅读数 19

评论数 0

Kafka参数详解及调优--生产者

在实际的kafka开发中,我们会发现,无论是生产者还是消费者,都需要构建一个Properties对象,里面设置了很多参数。对于很多初学者来说,会看不懂这些参数分别代表什么含义。 在本篇文章我们就来详细地了解一下这些参数的作用,并探讨下如何使用合理的配置去优化提高生产/消费效率 kafka生产者...

2019-07-22 10:56:31

阅读数 65

评论数 0

震惊!原来这才是Kafka的“真面目”!

出处:https://www.jianshu.com/p/d3e963ff8b70 Kafka 是一个分布式消息队列,具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 Kafka 对外使用 ...

2019-05-21 10:12:57

阅读数 58

评论数 0

什么是消息队列?

来源:Java3y(ID:java3y) 一、什么是消息队列? 消息队列不知道大家看到这个词的时候,会不会觉得它是一个比较高端的技术,反正我是觉得它好像是挺牛逼的。 消息队列,一般我们会简称它为MQ(Message Queue),嗯,就是很直白的简写。 我们先不管消息(Message...

2019-04-06 17:20:40

阅读数 135

评论数 0

震惊了!原来这才是 Kafka!(多图+深入)

简介 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 kafka对外使用topic的概念,生产者往topic里写消息,消费者从读消息。为了做到水平扩展,一个t...

2019-03-15 09:49:21

阅读数 382

评论数 0

QMQ顺序消息设计与实现

背景 在MQ里,顺序消息的意思是消费消息的顺序和消息发送时(单机发送)的顺序保持一致。比如ProducerA按照顺序发送msga, msgb, msgc三条消息,那么consumer消费的时候也应该按照msga, msgb, msgc来消费。 对于顺序消息,在我们实际使用中发现,大部分业务系统...

2019-03-13 22:25:34

阅读数 360

评论数 0

干货|kafka最佳实践

这里翻译一篇关于 Kafka 实践的文章,内容来自 DataWorks Summit/Hadoop Summit上一篇分享,PPT 参考https://www.slideshare.net/HadoopSummit/apache-kafka-best-practices里面讲述了很多关于 Kafk...

2019-03-12 09:49:45

阅读数 231

评论数 0

干货|为什么Kafka不支持读写分离

在 Kafka 中,生产者写入消息、消费者读取消息的操作都是与 leader 副本进行交互的,从 而实现的是一种主写主读的生产消费模型。数据库、Redis 等都具备主写主读的功能,与此同时还支持主写从读的功能,主写从读也就是读写分离,为了与主写主读对应,这里就以主写从读来称呼。Kafka 并不支持...

2019-02-27 17:34:15

阅读数 507

评论数 0

Kafka 压测:3 台廉价服务器竟支撑 200 万 TPS

这篇文章是关于LinkedIn如何用kafka作为一个中央发布-订阅日志,在应用程序,流处理,hadoop数据提取之间集成数据。无论如何,kafka日志一个好处就是廉价。百万级别的TPS都不是很大的事情。因为日志比起数据库或者K-V存储是更简单的东西。我们的生产环境kafka集群每天每秒处理上千万...

2019-02-02 14:43:32

阅读数 293

评论数 1

分布式系统与消息的投递

消息是一个非常有趣的概念,它是由来源发出一个离散的通信单元,被发送给一个或者一群接受者,无论是单体服务还是分布式系统中都有消息的概念,只是这两种系统中传输消息的通道方法或者通道不同;单体服务中的消息往往可以通过 IO、进程间通信、方法调用的方式进行通信,而分布式系统中的远程调用就需要通过网络,使用...

2019-01-26 17:03:30

阅读数 139

评论数 0

RabbitMQ 和 Kafka 到底怎么选?

前言 开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个?   RabbitMQ架构 RabbitMQ是一个分布式系统,这里面有几个抽象概念。 broke...

2018-11-12 10:59:20

阅读数 261

评论数 0

分布式之消息队列复习精讲

引言 为什么写这篇文章? 博主有两位朋友分别是小A和小B: 小A,工作于传统软件行业(某社保局的软件外包公司),每天工作内容就是和产品聊聊需求,改改业务逻辑。再不然就是和运营聊聊天,写几个SQL,生成下报表。又或者接到客服的通知,某某功能故障了,改改数据,然后下班部署上线。每天过的都是这种生...

2018-11-09 10:06:02

阅读数 82

评论数 0

消息队列常见的几种使用场景介绍!

一、简介 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ。   二、消息队列应用场景 以下介绍消...

2018-11-09 09:45:39

阅读数 143

评论数 0

消息中间件选型分析 —— 从 Kafka 与 RabbitMQ 的对比来看全局

一、前言 二、各类消息队列简述 三、选型要点概述 四、消息中间件选型误区探讨 一、前言 消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布...

2018-10-22 11:22:19

阅读数 47

评论数 0

搭建rabbitmq的docker集群

环境: 三个rabbitmq节点,加一个haproxy做前端 确保三台服务器都可以按主机名找到对方(/etc/hosts或dns)   node1,node2,node3分别执行: docker run -d --net host --name rabbitmq -e RABBITMQ_...

2018-07-31 11:13:19

阅读数 100

评论数 0

Docker实战:Docker安装部署RabbitMQ

使用Docker安装部署RabbitMQ 1、docker search rabbitmq:management 2、docker pull rabbitmq:management 注意:如果docker pull rabbitmq 后面不带management,启动rabbitmq后是...

2018-07-31 10:58:10

阅读数 280

评论数 1

RabbitMQ安装

部署安装RabbitMQ前,先了解下基本概念:(RabbitMQ+Python入门经典] 兔子和兔子窝) RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。他遵循Mozilla Public License开源协议。 MQ全称为Message Queue, 消息队列(MQ)是...

2018-07-31 10:33:07

阅读数 357

评论数 0

[RabbitMQ+Python入门经典] 兔子和兔子窝

RabbitMQ作为一个工业级的消息队列服务器,在其客户端手册列表的Python段当中推荐了一篇blog,作为RabbitMQ+Python的入门手册再合适不过了。不过,正如其标题Rabbit and Warrens(兔子和养兔场)一样,这篇英文写的相当俏皮,以至于对于我等非英文读者来说不像一般的...

2018-07-31 09:52:18

阅读数 200

评论数 0

SpringBoot应用之消息队列rabbitmq

序 本文主要讲如何在Spring Boot里头使用rabbitmq进行消息收发。 准备rabbitmq集群 具体查看docker搭建rabbitmq集群这篇文章。 新建项目 配置项 #http://segmentfault.com/a/1190000004309900 sprin...

2018-01-04 13:52:11

阅读数 374

评论数 0

Spring Cloud构建微服务架构(七)消息总线(续:Kafka)

Spring Cloud Bus除了支持RabbitMQ的自动化配置之外,还支持现在被广泛应用的Kafka。在本文中,我们将搭建一个Kafka的本地环境,并通过它来尝试使用Spring Cloud Bus对Kafka的支持,实现消息总线的功能。由于本文会以之前Rabbit的实现作为基础来修改,所以...

2017-03-04 09:06:23

阅读数 2647

评论数 0

提示
确定要删除当前文章?
取消 删除