MQ基础内容及问题排查方法

最新推荐文章于 2024-01-02 18:18:35 发布

shengnan_only

最新推荐文章于 2024-01-02 18:18:35 发布

阅读量760

点赞数

分类专栏：测试开发文章标签： MQ

本文链接：https://blog.csdn.net/zhengshengnan123/article/details/100602174

版权

测试开发专栏收录该内容

39 篇文章 0 订阅

订阅专栏

首先介绍两个概念

什么是消息中间件？

通过提供某种规范实现在不同系统之间传递语义准确的消息。

专注于数据的发送和接收，利用高效可靠的异步消息传递机制的集成分布式系统。

什么是MQ？

MQ全称为Message Queue, 消息队列（MQ）是应用程序“对”应用程序的通信方法，也是消息中间件的一种。

MQ：生产者往消息队列中写消息，消费者可以读取队列中的消息。

消息队列的应用场景

a. 异步处理：比如订单状态处理完毕的回调通知；

b. 系统间应用解耦：前一个系统将要处理的内容放入消息队列，就不再关心后续的其他操作了，后面的系统获取消进行消费；

c. 流量削锋：避免因流量过大，导致流量暴增，海量消息堆积，应用挂掉；

d. 日志处理：通过队列进行日志处理；

e. 消息通讯：消息队列一般都内置了高效的通信机制，因此也可以用在纯的消息通讯。

基本概念

名词	解释
Namesrv	注册中心，为 producer 和 consumer 提供路由信息。
Broker	缓存代理，消息中转角色，负责存储消息，转发消息。
Producer	消息的生产者
Consumer	消息的消费者
Producer Group	生产者组，多个发送同一类消息的生产者称之为一个生产者组。
Consumer Group	消费者组，可以并行消费Topic中的partition的消息。
Topic	一种消息的逻辑分类，消息源的不同分类，比如说有订单类的消息，也有库存类的消息等
Partition	Topic物理上的分组，一个topic可以分为多个partition,每个partition是一个有序的队列。partion中每条消息都会被分配一个有序的Id(offset)。
Tag	标签，可以被认为是对 Topic 进一步细化，一般在相同业务模块中通过引入标签来标记不同用途的消息。
Message	消息，是通信的基本单位，每个producer可以向一个topic（主题）发布一些消息，一个 Message 必须指定 topic，相当于寄信的地址。Message 还有一个可选的 tag 设置，以便消费端可以基于 tag 进行过滤消息。
Message ID	消息的唯一标识

消息模型

点对点模型（P2P）：

在P2P模型中，有下列概念：消息队列(Queue)、发送者(Sender)、接收者(Receiver)。每个消息都被发送到一个特定的队列，接收者从队列中获取消息。队列保留着消息，直到它们被消费或超时。

l 每个消息只有一个消费者(Consumer)（即一旦被消费，消息就不再在消息队列中）

l 发送者和接收者之间在时间上没有依赖性，也就是说当发送者发送了消息之后，不管接收者有没有正在运行，它不会影响到消息被发送到队列。

l 接收者在成功接收消息之后需向队列应答成功

如果希望发送的每个消息都应该被成功处理的话，那么你需要P2P模型。

发布-订阅模型（Pub/Sub）：

在Pub/Sub模型中，有下列概念：主题（Topic）、发布者（Publisher）、订阅者（Subscriber）。客户端将消息发送到主题。多个发布者将消息发送到Topic，系统将这些消息传递给多个订阅者。

l 每个消息可以有多个消费者

l 发布者和订阅者之间有时间上的依赖性。针对某个主题(Topic)的订阅者，它必须创建一个订阅之后，才能消费发布者的消息，而且，为了消费消息，订阅者必须保持运行的状态。

订阅者创建一个可持久化的订阅。这样，即使订阅者没有被激活（运行），它也能接收到发布者的消息。

如果希望发送的消息可以不被做任何处理、或者被一个消费者处理、或者可以被多个消费者处理的话，那么可以采用Pub/Sub模型。

交互原理

Namesrv做什么？

Namesrv是主要做路由服务（状态服务器），无状态可集群横向扩展。broker同时向多个Namesrv机器上报broker机器的实时状态信息、topic消息队列路由信息、broker基础信息、集群信息，从而达到数据热备份的作用。Producer发送消息的时候，先请求nanesrv获取topic路由信息，然后根据topic路由信息路由到broker（topic是存储在broker）。Consumer消费消息的时候同样先请求nanesrv获取topic路由信息，然后根据topic路由信息路由到broker。

Broker做什么？

消息中转角色，负责存储消息，转发消息。broker部署相对复杂，分为master和slave，一个master可以对应多个slave，但一个slave只能对应一个master（支持异步复制和半同步复制）。master可以集群部署，通过同样的ClusterName来区分，同一个集群中的BrokerName不能一样。每个broker与namesrv集群中的所有节点建立长连接，定时发送心跳信息（30秒），注册topic等信息到所有namesrv。

Producer

Producer 与Name Server 集群中的其中一个节点（随机选择）建立长连接，定期从Name Server 取Topic 路由信息，并向提供Topic 服务的Master 建立长连接，且定时向Master 发送心跳，Slave会同步Master的信息。Producer 完全无状态，可集群部署。

Consumer

Consumer与Name Server 集群中的其中一个节点（随机选择）建立长连接，定期从Name Server 取Topic 路由信息，并向提供Topic 服务的Master、Slave 建立长连接，且定时向Master、Slave 发送心跳。Consumer既可以从Master 订阅消息，也可以从Slave 订阅消息，订阅规则由Broker 配置决定。

Broker集群

一个Master下面可以挂载多个Slave，同一Master下的多个Slave通过指定不同的BrokerId来区分。