RabbitMQ

Rabbitmq高性能是如何做到的

1. 使用的语言是elang语言(通常使用到交互机上)，elang的语言的性能能与原生socket的延迟效果.
2. 消息入队的延时已经消息的消费的响应很快

AMQP

AMQP，即 Advanced Message Queuing Protocol(高喙消息队列协议)，是一个网络协议，是应用层协议的一个开放标准，为面处消息的中间件设计。基于此协议的客户与消息中间件可传递消息，并不受客户端/中间件不同产品，不同的开发事言条件限制。

 

 

AMQP的核心概念

1. Broker: 接收和分发消息的应用，RabbitMQ Server就是 Massage Broker
2. Virtual Host: 出于多租户和安全因素设计，把AMQP的基本组件划分到一个虚拟的分组中，类似于网络中的namespace概念。当多个不同的用户使用一个RabbitMQ Server提供的服务时，可以划分出多个vhost，每个用户在自已的vhost创建 exchange/queue等
3. connection: publisher/consumert和broker之间的TCP连接
4. channel: 如果每一次访问 RabbitMQ都建立一个Connection，在消息量大的建立TCP Connection的开销将是巨大的，效率也较低。Channel是在connection内部建立的逻辑连接，如果应用程序支持多线程，通常每个thread创建单独的channel进行通讯，AMQP method包含了 channel id帮助客户端和message broker识别channel，所以channel这间是完全隔离的。channel作为轻量级的connection极大减少了操作系统建立TCP connection的开销
5. Exchange: message到达broker的每一站，根据分发规则，匹配查询表中的 routing key,分发消处到queue中云。常用的类型有： direct(point-to-point)，topic(publish-subscribe) and fanout(multicast)
6. queue: 消息最终被送到这里等待consumer取走
7. binding: exchange和queue之间的虚拟连接，binding中可以包含 routing key. binding信息被保存到exchange中的查询表中，用于message的分发依据

 

RabbitMQ提供了6种工作模式

1. 简单模式

2. work queues
3. publish / subscribe发布与订阅模式
4. Routing 路由模式
5. topics 主题模式
6. RPC远程调用模式

https://www.rabbitmq.com/getstarted.html

 

 

web客户端  15672

java客户端  5672

 

发布订阅模式

• P： 生产者，也就是要发送消息的程序，但是不再发送到队列中，面是发给给X（交换机）
• C： 消费都，消费的接收者，会一真等待消息的到来
• Queue： 消息队列，接收消息，缓存消息
• Exchange: 交换机（x), 一方面接收生产者发送的消息。别一方面，知道如何处理消息，例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如体何操作，取决于Exchange的类型，
• Exchange有常见的3种类型：

1. Fanout: 广播，将消息交给所有绑定到交换机的队列
2. Direct： 定向，把消息交给符合指定 routing key的队列
3. Topic: 通配符，把消息交给符合routing pattern（路由模式）的队列

Exchange(交换机)只负责转发消息，不具备存储消息的能力，因些如果没有任何队列与Exchange绑定，或都没有符合路由规则的队列，那么消息会丢弃。

 

confom（发送成功回调）

retern（错误反回）

qos(限流)

ack/nack

重回队列

durability（是否持久化）

RabbitMQ在两种情况下会将消息写入磁盘：

1. 消息本身在publish的时候就要求消息写入磁盘；
2. 内存紧张，需要将部分内存中的消息转移到磁盘

消息什么时候会刷到磁盘？

1. 写入文件前会有一个Buffer，大小为1M（1048576），数据在写入文件时，首先会写入到这个Buffer，如果Buffer已满，则会将Buffer写入到文件（未必刷到磁盘）；
2. 有个固定的刷盘时间：25ms，也就是不管Buffer满不满，每隔25ms，Buffer里的数据及未刷新到磁盘的文件内容必定会刷到磁盘；
3. 每次消息写入后，如果没有后续写入请求，则会直接将已写入的消息刷到磁盘：使用Erlang的receive x after 0来实现，只要进程的信箱里没有消息，则产生一个timeout消息，而timeout会触发刷盘操作。

消息在磁盘文件中的格式

• 消息保存于$MNESIA/msg_store_persistent/x.rdq文件中，其中x为数字编号，从1开始，每个文件最大为16M（16777216），超过这个大小会生成新的文件，文件编号加1。消息以以下格式存   在于文件中：   <<Size:64, MsgId:16/binary, MsgBody>>    MsgId为RabbitMQ通过rabbit_guid:gen()每一个消息生成的GUID，MsgBody会包含消息对应的exchange，routing_keys，消息的内容，消息对应的协议版本，消息内容格式（二进制还是其它）等等。

文件何时删除？

• 当所有文件中的垃圾消息（已经被删除的消息）比例大于阈值（GARBAGE_FRACTION = 0.5）时，会触发文件合并操作（至少有三个文件存在的情况下），以提高磁盘利用率。publish消息时写入内容，ack消息时删除内容（更新该文件的有用数据大小），当一个文件的有用数据等于0时，删除该文件。

 

message TTL   消息有效时间

Auto Expire   自动过期

Max length   队列大小

Max length bytes   最大字节

dead letter exchange   死信队列

• 消息被拒绝 (basic.reject or basic.nack) 且带 requeue=false不重新入队参数或达到的retry重新入队的上限次数
• 消息的TTL(Time To Live)-存活时间已经过期
• 队列长度限制被超越（队列满，queue的"x-max-length"参数）

dead letter routing key

maximum priority   优先级

 

1.  server :又称为broker，接受客户端连接，实现amqp实体服务
2. Connection: 连接,应用程序与brokder建立网络连接
3. channel：网络通道，几乎所有的操作都是在channel中进行的，是进行消息对象的通道，客户端可以建立 多个通道，每一个channel表示一个会话任务
4. Message: 服务器和应用程序之间传递数据的载体，有properties（消息属性,用来修饰消息,比如消息的优 先级,延时投递）和Body（消息体）
5. virtual host(虚拟主机): 是一个逻辑概念,最上层的消息路由，一个虚拟主机中可以包含多个exhange 和 queue 但是一个虚拟主机中不能有名称相同的exchange 和queue
6. exchange 交换机: 消息直接投递到交换机上，然后交换机根据消息的路由key 来路由到对应绑定的队列上
7. baingding: 绑定 exchange 与queue的虚拟连接,bingding中可以包含route_key
8. route_key 路由key ，他的作用是在交换机上通过route_key来把消息路由到哪个队列上
9. queue：队列，用于来保存消息的载体，有消费者监听，然后消费消息

安装  

systemctl stop firewalld.service  关闭防火墙

https://www.cnblogs.com/fengyumeng/p/11133924.html

启动报错

1. systemctl stop firewalld.service  关闭防火墙
2. hostnamectl set-hostname **       （**设置主机名）
3. vi  /etc/selinux/config   (修改SELINUX)

           SELINUX=disabled

集群部署

https://blog.csdn.net/qq_28533563/article/details/107932737

 

镜像队列设置 和 原理

https://www.pianshen.com/article/5946333299/