ActiveMQ集群架构与原理解析

初识JMIS与其专业术语

小伙伴们大家好&＃xff0c;现在我们和大家一起了解一下古老而又神秘的消息中间件"ActiveMQ"。首先&＃xff0c;说起ActiveMQ&＃xff0c;就必须先聊聊JMS &＃xff08;Java Message Service&＃xff09;规范&＃xff0c;也就是Java消息服务&＃xff0c;它定义了Jav a中访问消息中间件的接口的规范。在这里注意哦&＃xff0c;JMS只是接口&＃xff0c;&＃xff0c;并没有给予实现&＃xff0c;实现JMS接口的消息中间件称为"IMS Provider "&＃xff0c;目前知名的开源 MOM&＃xff08;Message Oriented Midleware&＃xff0c;也就是消息中间件&＃xff09;系统包括Apache的ActiveMQ、RocketMQ、Kafka&＃xff0c;以及RabbitMQ&＃xff0c;可以说他们都"基本遵循"或"参考"JMS规范&＃xff0c;都有自己的特点和优势。

• 专业术语
  • JMS&＃xff08;Java Message Service&＃xff09;∶实现JMS接口的消息中间件;
  • Provider&＃xff08;MesageProvider&＃xff09;∶消息的生产者;● Consumer&＃xff08;MessageConsumer&＃xff09;∶消息的消费者;● PTP&＃xff08;Point to Point&＃xff09;∶即点对点的消息模型&＃xff0c;这也是非常经典的模型;
  • Pub/Sub&＃xff08;Publish/Subscribe&＃xff09;∶&＃xff0c;即发布/订阅的消息模型;
  • Queue∶ 队列目标&＃xff0c;也就是我们常说的消息队列&＃xff0c;一般都是会真正的进行物理存储;
  • Topic∶主题目标;
  • ConnectionFactory∶连接工厂&＃xff0c;JMS用它创建连接;● Connection JMS 客户端到JMS Provider 的连接;● Destination∶消息的目的地;
  • Session∶会话&＃xff0c;一个发送或接收消息的线程&＃xff08;这里Session可以类比Mybatis的Session&＃xff09;;
• JMS 消息格式定义∶
  • StreamMessage 原始值的数据流
  • MapMessage 一套名称/值对
  • TextMessage 一个字符串对象
  • BytesMessage 一个未解释字节的数据流
  • ObjectMessage 一个序列化的Java对象

了解ActiveMQ

ActiveMQ是一个完全支持JMS1.1和J2EE1.4规范的 JMS Provider实现&＃xff0c;尽管JMS规范出台已经是很久的事情了&＃xff0c;但是JMS在早些的"J2EE应用"时期扮演着特殊的地位&＃xff0c;可以说那个年代ActiveMQ在业界应用最广泛&＃xff0c;当然如果现在想要有更强大的性能和海量数据处理能力&＃xff0c;ActiveMQ还需要不断的升级版本&＃xff0c;不断的提升性能和架构设计的重构。

就算现在我们80%以上的业务我们使用ActiveMQ已经足够满足需求&＃xff0c;其丰富的API、多种集群构建模式使得他成为业界老牌消息中间件&＃xff0c;在中小型企业中应用广泛!

当然如果你想针对大规模、高并发应用服务做消息中间件技术选型&＃xff0c;譬如淘宝、京东这种大型的电商网站&＃xff0c;尤其是双11这种特殊时间&＃xff0c;ActiveMQ可能就显得力不从心了&＃xff0c;当然我们这里后续还会和大家介绍其他非常优秀的MOM咯。

消息投递模式

废话不多说&＃xff0c;我们首先要了解JMS规范里最经典的两种消息投递模式&＃xff0c;即"点对点"与"发布订阅"。

• 点对点∶生产者向队列投递一条消息&＃xff0c;只有一个消费者能够
  监听得到这条消息&＃xff08;PTP&＃xff09;&＃xff0c;下图所示∶
  

• 发布订阅∶生产者向队列投递一条消息&＃xff0c;所有监听该队列的
  消费者都能够监听得到这条消息&＃xff08;P/S&＃xff09;&＃xff0c;下图所示∶
  

ActiveMQ各项指标

衡量一个MOM&＃xff0c;我们主要从三方面考虑即可&＃xff0c;即服务性能、存储堆积能力、可扩展性。

• 服务性能
  • ActiveMQ的性能一般&＃xff0c;在早期传统行业为王的时代还是比较流行的&＃xff0c;但现如今面对高并发、大数据的业务场景&＃xff0c;往往力不从心!
• 数据存储
  • 默认采用kahadb存储&＃xff08;索引文件形式存储&＃xff09;&＃xff0c;也可以使用高性能的google leveldb&＃xff08;内存数据库存储&＃xff09;&＃xff0c;或者可以使用MySql、Oracle进程消息存储&＃xff08;关系型数据库存储&＃xff09;。
• 集群架构
  • ActiveMQ 可以与zookeeper进行构建 主备集群模型&＃xff0c;
    并且多套的主备模型直接可以采用Network的方式构建分布式集群。

ActiveMQ集群架构模式

ActiveMQ最经典的两种集群架构模式&＃xff0c;Master-Slave、Network 集群模式!

• Master-Slave:
  

• Master-Slave∶顾名思义&＃xff0c;就是主从方式&＃xff0c;当然这里要理解为主备的方式&＃xff0c;也就是双机热备机制;Master Slave背后的想法是&＃xff0c;消息被复制到slave broker&＃xff0c;因此即使master broker 遇到了像硬件故障之类的错误&＃xff0c;你也可以立即切换到slave b roker而不丢失任何消息。Master Slave是目前ActiveMQ推荐的高可靠性和容错的解决方案。

• 架构思考∶ Master-Slave集群模型的关键点∶

  • 上图&＃xff08;Master-Slave&＃xff09;绿色的为主节点&＃xff0c;灰色的则为备份节点&＃xff0c;这两个节点都是运行状态的。
  • zookeeper的作用就是为了当绿色的主节点宕机时&＃xff0c;进行及时切换到备份的灰色节点上去&＃xff0c;使其进行主从角色的互换&＃xff0c;用于实现高可用性的方案。
  • Master-Slave集群模型的缺点也显而易见&＃xff0c;就是不能做到分布式的topic、queue&＃xff0c;当消息量巨大时&＃xff0c;我们的MQ集群压力过大&＃xff0c;没办法满足分布式的需求。

• Nerwork:
  

• Network∶这里可以理解为网络通信方式&＃xff0c;也可以说叫Network ofbrokers。这种方式真正解决了分布式消息存储和故障转移、broker切换的问题。可以理解消息会进行均衡;从Ac tiveMQ1.1版本起&＃xff0c;ActiveMQ支持networks ofbrokers。它支持分布式的queues和topics。一个broker会相同对待所有的订阅&＃xff08;subscription&＃xff09;∶不管他们是来自本地的客户连接&＃xff0c;&＃xff0c;还是来自远程broker&＃xff0c;它都会递送有关的消息拷贝到每个订阅。远程broker得到这个消息拷贝后&＃xff0c;会依次把它递送到其内部的本地连接上。

• 架构思考∶Network集群模型的关键点∶

  • 首先&＃xff0c;这种方案需要两套或多套&＃xff08;Master-Slave&＃xff09;的集群模型才可以搞定&＃xff0c;部署非常麻烦&＃xff0c;需要两套或多套集群直接相互交叉配置&＃xff0c;相互间能够感知到彼此的存在。下面我给出一段XML配置&＃xff0c;简单来说就是在ActiveMQ的配置文件里要进行多套&＃xff08;Master-Sla ve&＃xff09;之间的 networkConnector配置工作∶

<broker brokerName&＃61;"receiver" persistent&＃61;"f alse" useJmx&＃61;" false"><transportConnectors><transportConnector uri&＃61;"tcp://localhost:62002" /></transportConnectors><networkConnectors><networkConnectoruri&＃61;"static:( tcp://localhost:61616,tcp://remotehost:61616)"/></ networkConnectors>
</broker>


• 其次&＃xff0c;Network虽然解决了分布式消息队列这个难题&＃xff0c;但是还有很多潜在的问题&＃xff0c;最典型的就是资源浪费问题&＃xff0c;并且也可能达不到所预期的效果;通常采用Master-Slave模型是传统型互联网公司的首选&＃xff0c;作为互联网公司往往会选择开箱即用的消息中间件&＃xff0c;从运维、部署、使用各个方面都要优于ActivcMQ&＃xff0c;当然ActiveMQ毕竟是"老牌传统强Q"&＃xff0c;Apache的顶级项目之一&＃xff0c;目前正在进行新版本的重构&＃xff08;对于5.X 版本&＃xff09;与落地&＃xff0c;下一代"Artemis代理"&＃xff0c;也可以理解为"6.X";有兴趣的小伙伴可以关注一下官网&＃xff0c;传送门如下∶https∶//activemq.apache.org/