rabbitmq安装详解

一、rabbitmq单机版安装
1.下载安装包和依赖包
erlang-18.3-1.el7.centos.x86_64.rpm
socat-1.7.3.2-1.1.el7.x86_64.rpm
rabbitmq-server-3.6.5-1.noarch.rpm
下载地址&＃xff1a;https://download.csdn.net/download/eakom/13841244
2.安装tcp_wrappers依赖

yum -y install tcp_wrappers


3.上传到Linux的/usr/local/rabbitmq目录下并按顺序安装&＃xff08;先装erlang,再装socat、最后rabbitmq&＃xff09;

cd /usr/local/rabbitmq
rpm -ivh erlang-18.3-1.el7.centos.x86_64.rpm
rpm -ivh socat-1.7.3.2-1.1.el7.x86_64.rpm
rpm -ivh rabbitmq-server-3.6.5-1.noarch.rpm


4.启动插件

rabbitmq-plugins enable rabbitmq_management


5.启动rabbitmq

service rabbitmq-server start


6.rabbitmq启动使用浏览器可以打开管理插件&＃xff08;防火墙开放15672端口&＃xff09;
访问地址&＃xff1a;http://ip:15672/

二、rabbitmq配置
默认情况下&＃xff0c;访问RabbitMQ服务的用户名和密码都是 guest"&＃xff0c;这个账户有限制&＃xff0c;默认只能通过本地网络(如localhost )访问&＃xff0c;远程网络访问受限&＃xff0c;所以在实现生产和消费消息之前&＃xff0c;需要另外添加一个用户&＃xff0c;并设置相应的访问权限。
1.用户与权限介绍

//设置用户为管理员(没有管理员权限不可以登录)
rabbitmqctl add_user admin E&＃64;2020
//为用户赋权(没有配置权限只允许登录&＃xff0c;没有其他权限)
rabbitmqctl set_user_tags admin administrator
//使用户add具有所有资源的配置、写、读权限以便管理其中的资源
rabbitmqctl set_permissions -p / admin &＃39;.*&＃39; &＃39;.*&＃39; &＃39;.*&＃39;
//查看用户列表
rabbitmqctl list_users
// 查看权限
rabbitmqctl list_user_permissions user1
rabbitmqctl list_permissions -p vhost1
// 清除权限
rabbitmqctl clear_permissions [-p VHostPath] User
//删除用户
rabbitmqctl delete_user Username
//修改用户的密码
rabbitmqctl change_password Username Newpassword
//设置权限并制定虚拟机
rabbitmqctl set_permissions -p vhost1 user1 &＃39;.*&＃39; &＃39;.*&＃39; &＃39;.*&＃39;


2.配置
例&＃xff1a;创建一个超级用户

rabbitmqctl add_user admin1 admin1
rabbitmqctl set_user_tags admin1 administrator
//查看用户列表
rabbitmqctl list_users
//为用户赋权&＃xff0c;使用户user1具有vhost1这个virtual host中所有资源的配置、写、读权限以便管理其中的资源
rabbitmqctl set_permissions -p vhost1 user1 &＃39;.*&＃39; &＃39;.*&＃39; &＃39;.*&＃39;
// 查看权限
rabbitmqctl list_user_permissions user1
rabbitmqctl list_permissions -p vhost1
// 清除权限
rabbitmqctl clear_permissions [-p VHostPath] User
// 删除用户
rabbitmqctl delete_user Username
// 修改用户的密码
rabbitmqctl change_password Username Newpassword


单机模式安装完成。
三、普通集群模式配置&＃xff1a;3台服务器分别是node1、node2和node3 &＃xff0c;其对应IP如下&＃xff1a;
node1对应IP&＃xff1a;192.168.158.11
node2对应IP&＃xff1a;192.168.158.12
node2对应IP&＃xff1a;192.168.158.12
1.分别在三台服务器安装了rabbitmq&＃xff0c;把node1的COOKIE值复制到node2和node3服务器,COOKIE的路径/var/lib/rabbitmq/.erlang.COOKIE

scp /var/lib/rabbitmq/.erlang.COOKIE node2:/var/lib/rabbitmq
scp /var/lib/rabbitmq/.erlang.COOKIE node3:/var/lib/rabbitmq


2.启动3台服务器systemctl start rabbitmq-server.service
查看集群状态rabbitmqctl cluster_status
3.关闭node2和node3应用rabbitmqctl stop_app
4.分别在node2服务器、node3服务器上把node2、node3作为内存节点与node1磁盘节点连接起来。rabbitmqctl join_cluster --ram rabbit&＃64;node1
3.启动node2和node3应用rabbitmqctl start_app
4.分别查看3台rabbitmq服务器的状态

普通集群模式配置完成。

四、镜像模式集群配置:
1、首先查看策略
rabbitmqctl list_policies
2、镜像队列策略
用法&＃xff1a;

set_policy [-p vhost] [--priority priority] [--apply-to apply-to] {name} {pattern} {definition}Sets a policy.priorityThe priority of the policy as an integer. Higher numbers indicate greater precedence. The default is 0.nameThe name of the policy.patternThe regular expression, which when matches on a given resources causes the policy to apply.definitionThe definition of the policy, as a JSON term. In most shells you are very likely to need to quote this.apply-toWhich types of object this policy should apply to - "queues", "exchanges" or "all". The default is "all".For example:rabbitmqctl set_policy federate-me "^amq." &＃39;{"federation-upstream-set":"all"}&＃39;This command sets the policy federate-me in the default virtual host so that built-in exchanges are federated.


释义&＃xff1a;

-p Vhost&＃xff1a; 可选参数&＃xff0c;针对指定vhost下的queue进行设置
Name: policy的名称&＃xff0c;可以自定义
Pattern: queue的匹配模式(正则表达式)
Definition&＃xff1a; 镜像定义&＃xff0c;包括三个部分ha-mode, ha-params, ha-sync-modeha-mode: 指明镜像队列的模式&＃xff0c;有效值为 all/exactly/nodesall&＃xff1a; 表示在集群中所有的节点上进行镜像exactly&＃xff1a; 表示在指定个数的节点上进行镜像&＃xff0c;节点的个数由ha-params指定nodes&＃xff1a; 表示在指定的节点上进行镜像&＃xff0c;节点名称通过ha-params指定ha-params&＃xff1a; ha-mode模式需要用到的参数ha-sync-mode&＃xff1a; 进行队列中消息的同步方式&＃xff0c;有效值为automatic和manual,如果是自动做镜像回复&＃xff0c;则该队列会处于不可用状态直到同步完成
priority&＃xff1a; 可选参数&＃xff0c;policy的优先级
ha-promote-on-shutdown: 用来控制选主的行为的,有效值为when-synced&＃xff0c;always


详细案例例&＃xff1a;

rabbitmqctl set_policy [ha-all] "^" &＃39;{"ha-mode":"all"}&＃39; //策略正则表达式为 “^” 表示所有匹配所有队列名称
rabbitmqctl set_policy -p [虚拟主机名称] [策略名称如ha-all ] "^" &＃39;{"ha-mode":"all" , "ha-sync-mode":"automatic"}&＃39;


将所有队列设置为镜像队列&＃xff0c;即队列会被复制到各个节点&＃xff0c;各个节点状态保持一致。
3、开始设置&＃xff1a;在任意一个节点上执行&＃xff1a;

rabbitmqctl set_policy ha-all "^" &＃39;{"ha-mode":"all" , "ha-sync-mode":"automatic"}&＃39;


或者指定vhost:

rabbitmqctl set_policy -p demo ha-all "^" &＃39;{"ha-mode":"all" , "ha-sync-mode":"automatic"}&＃39;


五、配置高可用
采用HAProxy&＃43;Keepalived 方式来部署实现。
1.Haproxy负载代理
Haproxy安装在node1和node2节点上安装haproxy,安装教程参考&＃xff1a;https://blog.csdn.net/eakom/article/details/111773568
3.修改配置文件&＃xff1a;vi /etc/haproxy/haproxy.cfg 之后添加&＃xff1a;

listen rabbitmq_local_cluster 0.0.0.0:5672 #配置TCP模式 mode tcpoption tcplog #简单的轮询 balance roundrobin #rabbitmq集群节点配置 server rabbit1 192.168.158.11:5672 check inter 5000 rise 2 fall 2 server rabbit2 192.168.158.12:5672 check inter 5000 rise 2 fall 2 server rabbit3 192.168.158.13:5672 check inter 5000 rise 2 fall 2


3.重启Haproxy
4.Keepalived安装
利用keepalived做主备&＃xff0c;避免单点问题&＃xff0c;实现高可用&＃xff0c;在192.168.158.11和192.168.158.12节点上安装最新版keepalived&＃xff0c;安装流程参考&＃xff1a;keepalived安装
5.配置&＃xff1a;keepalived
192.168.158.11&＃xff08;主&＃xff09;修改keepalived.conf为&＃xff1a;Primary配置&＃xff1a;

vrrp_script chk_haproxy {script "pidof haproxy"interval 2
}
vrrp_instance VI_1 {interface ens192state MASTERpriority 200virtual_router_id 10unicast_src_ip 192.168.158.11unicast_peer {192.168.158.12}authentication {auth_type PASSauth_pass password}virtual_ipaddress {192.168.158.10 //虚拟ip&＃xff0c;对外提供服务}track_script {chk_haproxy}notify_master /loadbtify_master.sh
}


192.168.158.12&＃xff08;备&＃xff09;修改keepalived.conf为&＃xff1a;Secondary配置&＃xff1a;

vrrp_script chk_haproxy {script "pidof haproxy"interval 2
}
vrrp_instance VI_1 {interface ens192state BACKUPpriority 100virtual_router_id 10unicast_src_ip 192.168.158.12unicast_peer {192.168.158.11}authentication {auth_type PASSauth_pass password}virtual_ipaddress {192.168.1.10}track_script {chk_haproxy}notify_master /loadbtify_master.sh
}


启动keepalived即可&＃xff0c;192.168.1.10是对外提供的统一地址。通过192.168.1.10:5672就可以访问rabbitmq服务。

六、集群常用命令
1、加入集群[–ram添加内存模式 默认disk模式]
rabbitmqctl join_cluster --ram rabbit&＃64;node1
2、查看集群状态
rabbitmqctl cluster_status
3、更改节点模式[顺序 关闭运用&＃xff0d;〉更改类型->开启运用]
rabbitmqctl stop_app –停止运用服务
rabbitmqctl change_cluster_node_type disc/ram –更改节点为磁盘或内存节点
rabbitmqctl start_app –开启运用服务
4、创建策略(集群同步策略……)
set_policy [-p vhostpath] {name} {pattern} {definition} [priority]
5、查看策略
rabbitmqctl list_policies
6、移除远程offline的节点
6.1.节点2停掉应用
rabbitmqctl stop_app
6.2.节点1执行删除
rabbitmqctl forget_cluster_node rabbit&＃64;mq02
7、设置集群名称
rabbitmqctl set_cluster_name cluster_name
8、设置镜像模式
Rabbit提供镜像功能&＃xff0c;需要基于rabbitmq策略来实现&＃xff0c;政策是用来控制和修改群集范围的某个vhost队列行为和Exchange行为
set_policy [-p vhostpath] {name} {pattern} {definition} [priority]
rabbitmqctl set_policy ha-all “^ha.” “{”“ha-mode”":"“all”"}"
rabbitmqctl set_policy ha-all “^” “{”“ha-mode”":"“all”","“ha-sync-mode”":"“automatic”"}"
rabbitmqctl set_policy -p demo ha-all “^” “{”“ha-mode”":"“all”","“ha-sync-mode”":"“automatic”"}"
9、手动同步queue
rabbitmqctl sync_queue name
10、取消queue同步
rabbitmqctl cancel_sync_queue name
11、查看所有队列信息
rabbitmqctl list_queues
12、获取队列信息
rabbitmqctl list_queues[-p vhostpath] [queueinfoitem …]
Queueinfoitem可以为&＃xff1a;name&＃xff0c;durable&＃xff0c;auto_delete&＃xff0c;arguments&＃xff0c;messages_ready&＃xff0c;messages_unacknowledged&＃xff0c;messages&＃xff0c;consumers&＃xff0c;memory。
13、获取Exchange信息
rabbitmqctl list_exchanges[-p vhostpath] [exchangeinfoitem …]
Exchangeinfoitem有&＃xff1a;name&＃xff0c;type&＃xff0c;durable&＃xff0c;auto_delete&＃xff0c;internal&＃xff0c;arguments。
14、获取Binding信息
rabbitmqctl list_bindings[-p vhostpath] [bindinginfoitem …]
Bindinginfoitem有&＃xff1a;source_name&＃xff0c;source_kind&＃xff0c;destination_name&＃xff0c;destination_kind&＃xff0c;routing_key&＃xff0c;arguments。
15、获取Connection信息
rabbitmqctl list_connections [connectioninfoitem …]
Connectioninfoitem有&＃xff1a;recv_oct&＃xff0c;recv_cnt&＃xff0c;send_oct&＃xff0c;send_cnt&＃xff0c;send_pend等。
16、获取Channel信息
rabbitmqctl list_channels[channelinfoitem …]
Channelinfoitem有consumer_count&＃xff0c;messages_unacknowledged&＃xff0c;messages_uncommitted&＃xff0c;acks_uncommitted&＃xff0c;messages_unconfirmed&＃xff0c;prefetch_count&＃xff0c;client_flow_blocked。
七、rabbitmq中镜像队列注意点
RabbitMQ的mirror queue(镜像队列)机制是最简单的队列HA方案&＃xff0c;它通过在cluster的基础上增加ha-mode、ha-param等policy选项&＃xff0c;可以根据需求将cluster中的队列镜像到多个节点上&＃xff0c;从而实现高可用&＃xff0c;消除cluster模式中队列内容单点带来的风险。
在使用镜像队列之前&＃xff0c;有几点注意事项&＃xff1a;
1.镜像队列不能作为负载均衡使用&＃xff0c;因为每个操作在所有节点都要做一遍。
2.ha-mode参数和durable declare对exclusive队列都不生效&＃xff0c;因为exclusive队列是连接独占的&＃xff0c;当连接断开&＃xff0c;队列自动删除。所以实际上这两个参数对exclusive队列没有意义。
3.将新节点加入已存在的镜像队列时&＃xff0c;默认情况下ha-sync-mode&＃61;manual&＃xff0c;镜像队列中的消息不会主动同步到新节点&＃xff0c;除非显式调用同步命令。当调用同步命令(via rabbitmqctl or web-based ui)后&＃xff0c;队列开始阻塞&＃xff0c;无法对其进行操作&＃xff0c;直到同步完毕。当ha-sync-mode&＃61;automatic时&＃xff0c;新加入节点时会默认同步已知的镜像队列。由于同步过程的限制&＃xff0c;所以不建议在生产环境的active队列(有生产消费消息)中操作。
4.每当一个节点加入或者重新加入(例如从网络分区中恢复回来)镜像队列&＃xff0c;之前保存的队列内容会被清空。
5.镜像队列有主从之分&＃xff0c;一个主节点(master)&＃xff0c;0个或多个从节点(slave)。当master宕掉后&＃xff0c;会在slave中选举新的master。选举算法为最早启动的节点。
6.当所有slave都处在(与master)未同步状态时&＃xff0c;并且ha-promote-on-shutdown policy设置为when-syned(默认)时&＃xff0c;如果master因为主动的原因停掉&＃xff0c;比如是通过rabbitmqctl stop命令停止或者优雅关闭OS&＃xff0c;那么slave不会接管master&＃xff0c;也就是说此时镜像队列不可用&＃xff1b;但是如果master因为被动原因停掉&＃xff0c;比如VM或者OS crash了&＃xff0c;那么slave会接管master。这个配置项隐含的价值取向是优先保证消息可靠不丢失&＃xff0c;放弃可用性。如果ha-promote-on-shutdown policy设置为alway&＃xff0c;那么不论master因为何种原因停止&＃xff0c;slave都会接管master&＃xff0c;优先保证可用性。
7.镜像队列中最后一个停止的节点会是master&＃xff0c;启动顺序必须是master先起&＃xff0c;如果slave先起&＃xff0c;它会有30秒的等待时间&＃xff0c;等待master启动&＃xff0c;然后加入cluster。当所有节点因故(断电等)同时离线时&＃xff0c;每个节点都认为自己不是最后一个停止的节点。要恢复镜像队列&＃xff0c;可以尝试在30秒之内同时启动所有节点。
8.对于镜像队列&＃xff0c;客户端basic.publish操作会同步到所有节点&＃xff1b;而其他操作则是通过master中转&＃xff0c;再由master将操作作用于salve。比如一个basic.get操作&＃xff0c;假如客户端与slave建立了TCP连接&＃xff0c;首先是slave将basic.get请求发送至master&＃xff0c;由master备好数据&＃xff0c;返回至slave&＃xff0c;投递给消费者。
9.由8可知&＃xff0c;当slave宕掉时&＃xff0c;除了与slave相连的客户端连接全部断开之外&＃xff0c;没有其他影响。当master宕掉时&＃xff0c;会有以下连锁反应&＃xff1a; 1)与master相连的客户端连接全部断开。 2)选举最老的slave为master。若此时所有slave处于未同步状态&＃xff0c;则未同步部分消息丢失。 3)新的master节点requeue所有unack消息&＃xff0c;因为这个新节点无法区分这些unack消息是否已经到达客户端&＃xff0c;亦或是ack消息丢失在到老master的通路上&＃xff0c;亦或是丢在老master组播ack消息到所有slave的通路上。所以处于消息可靠性的考虑&＃xff0c;requeue所有unack的消息。此时客户端可能受到重复消息。 4)如果客户端连着slave&＃xff0c;并且basic.consume消息时指定了x-cancel-on-ha-failover参数&＃xff0c;那么客户端会收到一个Consumer Cancellation Notification通知&＃xff0c;Java SDK中会回调Consumer接口的handleCancel()方法&＃xff0c;故需覆盖此方法。如果不指定x-cancel-on-ha-failover参数&＃xff0c;那么消费者就无法感知master宕机&＃xff0c;会一直等待下去。 上面列出的注意事项整理自官方的HA文档。

八、rabbitmq中镜像队列的故障恢复
前提&＃xff1a;两个节点(A和B)组成一个镜像队列。
1.场景1&＃xff1a;A先停&＃xff0c;B后停。 该场景下B是master&＃xff08;disk&＃xff0c;A是ram&＃xff09;&＃xff0c;只要先启动B&＃xff0c;再启动A即可。或者先启动A&＃xff0c;再在30秒之内启动B即可恢复镜像队列。
2.场景2: A, B同时停。 该场景可能是由掉电等原因造成&＃xff0c;只需在30秒之内连续启动A和B即可恢复镜像队列。
3.场景3&＃xff1a;A先停&＃xff0c;B后停&＃xff0c;且A无法恢复。 该场景是场景1的加强版&＃xff0c;因为B是master&＃xff0c;所以等B起来后&＃xff0c;在B节点上调用rabbitmqctl forget_cluster_node A&＃xff0c;解除与A的cluster关系&＃xff0c;再将新的slave节点加入B即可重新恢复镜像队列。
4.场景4&＃xff1a;A先停&＃xff0c;B后停&＃xff0c;且B无法恢复。 该场景是场景3的加强版&＃xff0c;比较难处理&＃xff0c;早在3.1.x时代之前貌似都没什么好的解决方法&＃xff0c;但是现在已经有解决方法了&＃xff0c;在3.4.2版本亲测有效&＃xff08;我们当前使用的是3.3.5&＃xff09;。因为B是master&＃xff0c;所以直接启动A是不行的&＃xff0c;当A无法启动时&＃xff0c;也就没办法在A节点上调用rabbitmqctl forget_cluster_node B了。新版本中&＃xff0c;forget_cluster_node支持–offline参数&＃xff0c;offline参数允许rabbitmqctl在离线节点上执行forget_cluster_node命令&＃xff0c;迫使RabbitMQ在未启动的slave节点中选择一个作为master。当在A节点执行rabbitmqctl forget_cluster_node –offline B时&＃xff0c;RabbitMQ会mock一个节点代表A&＃xff0c;执行forget_cluster_node命令将B剔出cluster&＃xff0c;然后A就能正常启动了。最后将新的slave节点加入A即可重新恢复镜像队列。
5.场景5: A先停&＃xff0c;B后停&＃xff0c;且A、B均无法恢复&＃xff0c;但是能得到A或B的磁盘文件。 该场景是场景4的加强版&＃xff0c;更加难处理。将A或B的数据库文件(默认在$RABBIT_HOME/var/lib目录中)拷贝至新节点C的目录下&＃xff0c;再将C的hostname改成A或B的hostname。如果拷过来的是A节点磁盘文件&＃xff0c;按场景4处理方式&＃xff1b;如果拷过来的是B节点磁盘文件&＃xff0c;按场景3处理方式。最后将新的slave节点加入C即可重新恢复镜像队列。
6.场景6&＃xff1a;A先停&＃xff0c;B后停&＃xff0c;且A、B均无法恢复&＃xff0c;且无法得到A或B的磁盘文件。 洗洗睡吧&＃xff0c;该场景下已无法恢复A、B队列中的内容了。

参考&＃xff1a;https://www.cnblogs.com/huligong1234/p/13549450.html#%E5%9B%9B%E3%80%81%E9%85%8D%E7%BD%AE%E9%AB%98%E5%8F%AF%E7%94%A8