1.什么是消息中间件
消息(message):是指在应用间传递的数据。
消息队列中间件(Message Queue Middleware,简称为MQ)也可以称为消息队列或者消息中间件 , 是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间通信。
1.1.传递模式
它一般有两种传递模式:点对点(P2P,Point-to-Point)模式和发布/订阅(Pub/Sub)模式:
- 点对点模式是基于队列的,消息生产者发送消息到队列,消息消费者从队列中接收消息,队列的存在使得消息的异步传输成为可能。
- 发布订阅模式定义了如何向一个内容节点发布和订阅消息,这个内容节点称为主题(topic),主题可以认为是消息传递的中介,消息发布者将消息发布到某个主题,而消息订阅者则从主题中订阅消息。主题使得消息的订阅者与消息的发布者相互保持独立,不需要进行接触即可保证消息传递,发布/订阅模式在消息的一对多广播时采用。
2.消息中间件的作用
2.1消息中间件适用场景
消息中间件适用于需要可靠的数据传送的分布式环境,采用消息中间件系统中,不同的对象之间通过传递消息来激活对方的事件,已完成相应的操作。发送者将消息发给消息服务器,消息服务器将消息存放在若干队列中,在合适的时候再将消息转发给接收者。消息中间件能在不同平台之间通信,它常被用来屏蔽各种平台及协议之间的特性,实现应用程序之间的协同,其优点在于能够在客户和服务器之间提供同步和异步的连接,并且在任何时刻都可以将消息进行传送或者存储转发,这也是它比较远程调用更进步的原因。
比如:
应用程序A与应用程序B通过使用消息中间件的应用程序编程接口(API)发送消息进行通信。
消息中间件将消息路由给应用程序B,这样消息就可存在于完全不同的计算机上。消息中间件负责处理网络通信。
如果网络连接不可用,消息中间件会存储消息,直到连接变得可用,再将消息转发给应用程序B。灵活性的另一方面体现在,当应用程序A发送其消息时,应用程序B甚至可以处于不运行状态,消息中间件将保留这份消息,直到应用程序B开始执行并消费消息,这样还防止了应用程序A因为等待应用程序B消费消息而出现阻塞。这种异步通信方式要求应用程序的设计与现在大多数应用不同。不过对于时间无关或并行处理的场景,它可能是一个极其有用的办法。
2.2.消息中间件的作用
- 解耦:在项目启动之初来预测将来会碰到那些需求是极其困难的。消息中间件插入了一个隐含的、基于数据的接口层,接口两边都要实现这一接口,这允许你独立扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束即可。
以电商应用为例,应用中有订单系统、库存系统、物流系统、支付系统。用户创建订单后,如果耦合调用库存系统、物流系统、支付系统,任何一个子系统出了故障,都会造成下单操作异常。当转变成基于消息队列的方式后,系统间调用的问题会减少很多,比如物流系统因为发生故障,需要几分钟来修复。在这几分钟的时间里,物流系统要处理的内存被缓存在消息队列中,用户的下单操作可以正常完成。当物流系统恢复后,继续处理订单信息即可,中单用户感受不到物流系统的故障,提升系统的可用性。 - 冗余(存储):有些情况下,处理数据的过程会失败。消息中间件可以把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失的风险。在把一个消息从消息中间件中删除之前,需要你的处理系统明确指出该消息已经被处理完成,从而保证你的数据被安全地保存直到你使用完毕。
- 扩展性:因为消息中间件解耦了应用的处理过程,所以提高消息入队和处理的效率是很容易的,只要另外增加处理过程即可,不需要改变代码,也不需要调节参数。
- 削峰:在访问量剧增的情况下,应用仍然要继续发挥作用,但是这样的突发流量并不常见(比如双11)。如果以能处理这类峰值为标准而投入资源,无疑是巨大的浪费。使用消息中间件能够使关键组件支撑突发访问压力,不会因为突发的超负荷请求而崩溃。
举个例子,如果订单系统最多能处理一万次订单,这个处理能力应付正常时段的下单时绰绰有余,正常时段我们下单一秒后就能返回结果。但是在高峰期,如果有两万次下单操作系统是处理不了的,只能限制订单超过一万后不允许用户下单。使用消息队列做缓冲,我们可以取消这个限制,把一秒内下的订单分 散成一段时间来处理,这时有些用户可能在下单十几秒后才能收到下单成功的操作,但是比不能下单的体 验要好。 - 可恢复性:当系统一部分组件失效时,不会影响到整个系统。消息中间件降低了进程间耦合度,所以即使一个处理消息的进程挂掉,加入消息中间件中的消息仍然可以在系统恢复后进行处理。
- 顺序保证:在大多数使用场景下,数据处理的顺序很重要,大部分消息中间件支持一定程度上的顺序性。
- 缓冲:在任何重要的系统中,都会存在需要不同处理时间的元素。消息中间件通过一个缓冲层来帮助任务最高效率地执行,写入消息中间件的处理会尽可能快速。该缓冲层有助于控制和优化数据流经过系统的速度。
- 异步通信:在很多时候应用不想也不需要立即处理消息。消息中间件提供了异步处理机制,允许应用把一些消息放入消息中件件中,但并不立即处理它,在之后需要的时候再慢慢处理。
3.消息中间件的种类
面向消息的中间件(简称MOM,Message Oriented Middleware)提供了以松耦合的灵活方式集成应用程序的一种机制。它提供了基于存储和转发的应用程序之间的异步数据发送,即应用程序彼此不直接通信,而是与作为中介的消息中间件通信。消息中间件提供了有保证的消息发送,应用程序开发人员无须了解远程调用(RPC)和网络通信协议的细节。
目前开源的消息中间件有很多,比较主流的有:
- RabbitMq :基于AMQP协议,erlang语言开发,稳定性好
- Kafka :分布式消息系统,高吞吐量
- ActiveMQ :基于JMS
- RocketMQ :基于JMS,阿里巴巴产品,目前交由Apache基金会