Java实现Redis主从复制的方法和步骤详解

主从复制

a,方式一、新增redis6380.conf, 加入  slaveof 192.168.1.111 6379,  在6379启动完后再启6380&＃xff0c;完成配置&＃xff1b;

b,方式二、redis-server --slaveof 192.168.1.111 6379

c,查看状态&＃xff1a;info replication

d,断开主从复制&＃xff1a;在slave节点&＃xff0c;执行6380:>slaveof no one

e,断开后再变成主从复制&＃xff1a;6380:> slaveof 192.168.1.111 6379

f,数据较重要的节点&＃xff0c;主从复制时使用密码验证&＃xff1a; requirepass

e,从节点建议用只读模式slave-read-only&＃61;yes, 若从节点修改数据&＃xff0c;主从数据不一致

h,传输延迟&＃xff1a;主从一般部署在不同机器上&＃xff0c;复制时存在网络延时问题&＃xff0c;redis提供repl-disable-tcp-nodelay参数决定是否关闭TCP_NODELAY,默认为关闭

参数关闭时&＃xff1a;无论大小都会及时发布到从节点&＃xff0c;占带宽&＃xff0c;适用于主从网络好的场景&＃xff0c;

参数启用时&＃xff1a;主节点合并所有数据成TCP包节省带宽&＃xff0c;默认为40毫秒发一次&＃xff0c;取决于内核&＃xff0c;主从的同步延迟40毫秒&＃xff0c;适用于网络环境复杂或带宽紧张&＃xff0c;如跨机房

主从拓扑&＃xff1a;支持单层或多层

A,一主一从&＃xff1a;用于主节点故障转移从节点&＃xff0c;当主节点的“写”命令并发高且需要持久化&＃xff0c;可以只在从节点开启AOF(主节点不需要)&＃xff0c;这样即保证了数据的安全性&＃xff0c;也避免持久化对主节点的影响

B, 一主多从&＃xff1a;针对“读”较多的场景&＃xff0c;“读”由多个从节点来分担&＃xff0c;但节点越多&＃xff0c;主节点同步到多节点的次数也越多&＃xff0c;影响带宽&＃xff0c;也加重主节点的稳定

C,树状主从&＃xff1a;一主多从的缺点(主节点推送次数多压力大)可用些方案解决&＃xff0c;主节点只推送一次数据到从节点1&＃xff0c;再由从节点2推送到11&＃xff0c;减轻主节点推送的压力。

复制原理

执行slave master port后&＃xff0c;与主节点连接&＃xff0c;同步主节点的数据,6380:>info replication&＃xff1a;查看主从及同步信息

数据同步&＃xff1a;redis 2.8版本以上使用psync命令完成同步&＃xff0c;过程分“全量”与“部分”复制

全量复制&＃xff1a;一般用于初次复制场景(第一次建立SLAVE后全量)

部分复制&＃xff1a;网络出现问题&＃xff0c;从节占再次连主时&＃xff0c;主节点补发缺少的数据&＃xff0c;每次 数据增加同步

心跳&＃xff1a;主从有长连接心跳&＃xff0c;主节点默认每10S向从节点发ping命令&＃xff0c;repl-ping-slave-period控制发送频率

哨兵机制

1&＃xff0c;为什么要讲哨兵机制&＃xff1f;

A&＃xff0c;我们学习了redis的主从复制&＃xff0c;但如果说主节点出现问题不能提供服务&＃xff0c;需要人工重新把从节点设为主节点&＃xff0c;还要通知我们的应用程序更新了主节点的地址&＃xff0c;这种处理方式不是科学的&＃xff0c;耗时费事

B&＃xff0c;同时主节点的写能力是单机的&＃xff0c;能力能限

C&＃xff0c;而且主节点是单机的&＃xff0c;存储能力也有限

其中2&＃xff0c;3的问题在后面redis集群课会讲&＃xff0c;第1个问题我们用哨兵机制来解决

2,主从故障如何故障转移(不满足高可用)&＃xff1a;

A&＃xff0c;主节点(master)故障&＃xff0c;从节点slave-1端执行 slaveof no one后变成新主节点

B&＃xff0c;其它的节点成为新主节点的从节点&＃xff0c;并从新节点复制数据

3&＃xff0c;哨兵机制(sentinel)的高可用&＃xff1a;

A&＃xff0c;原理&＃xff1a;当主节点出现故障时&＃xff0c;由redis sentinel自动完成故障发现和转移&＃xff0c;并通知应用方&＃xff0c;实现高可用性。

其实整个过程只需要一个哨兵节点来完成&＃xff0c;首先使用Raft算法(感兴趣的同学可以查一下&＃xff0c;其实就是个选举算法)实现选举机制&＃xff0c;选出一个哨兵节点来完成转移和通知

哨兵有三个定时监控任务完成对各节点的发现和监控&＃xff1a;

任务1&＃xff0c;每个哨兵节点每10秒会向主节点和从节点发送info命令获取最拓扑结构图&＃xff0c;哨兵配置时只要配置对主节点的监控即可&＃xff0c;通过向主节点发送info&＃xff0c;获取从节点的信息&＃xff0c;并当有新的从节点加入时可以马上感知到

任务2&＃xff0c;每个哨兵节点每隔2秒会向redis数据节点的指定频道上发送该哨兵节点对于主节点的判断以及当前哨兵节点的信息&＃xff0c;同时每个哨兵节点也会订阅该频道&＃xff0c;来了解其它哨兵节点的信息及对主节点的判断&＃xff0c;其实就是通过消息publish和subscribe来完成的&＃xff1b;

任务3&＃xff0c;每隔1秒每个哨兵会向主节点、从节点及其余哨兵节点发送一次ping命令做一次心跳检测&＃xff0c;这个也是哨兵用来判断节点是否正常的重要依据

主观下线和客观下线&＃xff1a;

主观下线&＃xff1a;刚知道哨兵节点每隔1秒对主节点和从节点、其它哨兵节点发送ping做心跳检测&＃xff0c;当这些心跳检测时间超过down-after-milliseconds时&＃xff0c;哨兵节点则认为该节点错误或下线&＃xff0c;这叫主观下线&＃xff1b;这可能会存在错误的判断。

客观下线&＃xff1a;当主观下线的节点是主节点时&＃xff0c;此时该哨兵3节点会通过指令sentinel is-masterdown-by-addr寻求其它哨兵节点对主节点的判断&＃xff0c;当超过quorum(法定人数)个数&＃xff0c;此时哨兵节点则认为该主节点确实有问题&＃xff0c;这样就客观下线了&＃xff0c;大部分哨兵节点都同意下线操作&＃xff0c;也就说是客观下线

领导者哨兵选举流程&＃xff1a;

a,每个在线的哨兵节点都可以成为领导者&＃xff0c;当它确认(比如哨兵3)主节点下线时&＃xff0c;会向其它哨兵发is-master-down-by-addr命令&＃xff0c;征求判断并要求将自己设置为领导者&＃xff0c;由领导者处理故障转移&＃xff1b;

b,当其它哨兵收到此命令时&＃xff0c;可以同意或者拒绝它成为领导者&＃xff1b;

c,如果哨兵3发现自己在选举的票数大于等于num(sentinels)/2&＃43;1时&＃xff0c;将成为领导者&＃xff0c;如果没有超过&＃xff0c;继续选举…………

故障转移机制

A&＃xff0c;由Sentinel节点定期监控发现主节点是否出现了故障

sentinel会向master发送心跳PING来确认master是否存活&＃xff0c;如果master在“一定时间范围”内不回应PONG 或者是回复了一个错误消息&＃xff0c;那么这个sentinel会主观地(单方面地)认为这个master已经不可用了

B&＃xff0c;当主节点出现故障&＃xff0c;此时3个Sentinel节点共同选举了Sentinel3节点为领导&＃xff0c;负载处理主节点的故障转移,

C&＃xff0c;由Sentinel3领导者节点执行故障转移&＃xff0c;过程和主从复制一样&＃xff0c;但是自动执行

流程&＃xff1a; 1&＃xff0c;将slave-1脱离原从节点&＃xff0c;升级主节点&＃xff0c;

2&＃xff0c;将从节点slave-2指向新的主节点

3&＃xff0c;通知客户端主节点已更换

4&＃xff0c;将原主节点(oldMaster)变成从节点&＃xff0c;指向新的主节点

D&＃xff0c;故障转移后的redis sentinel的拓扑结构图

哨兵机制&＃xff0d;故障转移详细流程

A&＃xff0c;过滤掉不健康的(下线或断线)&＃xff0c;没有回复过哨兵ping响应的从节点

B&＃xff0c;选择salve-priority从节点优先级最高(redis.conf)

C&＃xff0c;选择复制偏移量最大&＃xff0c;指复制最完整的从节点

如何安装和部署Reids Sentinel?

我们以3个Sentinel节点、2个从节点、1个主节点为例进行安装部署

1&＃xff0c;前提&＃xff1a;先搭好一主两从redis的主从复制&＃xff0c;和之前复制搭建一样&＃xff0c;搭建方式如下&＃xff1a;

A主节点6379节点(/usr/local/bin/conf/redis6379.conf)&＃xff1a;修改 requirepass 12345678&＃xff0c;注释掉#bind 127.0.0.1

B从节点redis6380.conf和redis6381.conf:修改 requirepass 12345678 ,注释掉#bind 127.0.0.1, 加上masterauth 12345678 ,加上slaveof 127.0.0.1 6379

注意&＃xff1a;当主从起来后&＃xff0c;主节点可读写&＃xff0c;从节点只可读不可写

2&＃xff0c;redis sentinel哨兵机制核心配置(也是3个节点)&＃xff1a;

/usr/local/bin/conf/sentinel_26379.conf

/usr/local/bin/conf/sentinel_26380.conf

/usr/local/bin/conf/sentinel_26381.conf

将三个文件的端口改成: 26379   26380   26381

然后&＃xff1a;sentinel monitor mymaster 190.168.1.111 6379 2  //监听主节点6379

sentinel auth-pass mymaster 12345678     //连接主节点时的密码

三个配置除端口外&＃xff0c;其它一样。

3&＃xff0c;哨兵其它的配置&＃xff1a;只要修改每个sentinel.conf的这段配置即可&＃xff1a;

sentinel monitor mymaster 192.168.1.10 6379 2  //监控主节点的IP地址端口&＃xff0c;sentinel监控的master的名字叫做mymaster

2代表&＃xff0c;当集群中有2个sentinel认为master死了时&＃xff0c;才能真正认为该master已经不可用了

sentinel auth-pass mymaster 12345678  //sentinel连主节点的密码

sentinel config-epoch mymaster 2  //故障转移时最多可以有2从节点同时对新主节点进行数据同步

sentinel leader-epoch mymaster 2

sentinel failover-timeout mymasterA 180000//故障转移超时时间180s&＃xff0c;

a,如果转移超时失败&＃xff0c;下次转移时时间为之前的2倍&＃xff1b;

b,从节点变主节点时&＃xff0c;从节点执行slaveof no one命令一直失败的话&＃xff0c;当时间超过180S时&＃xff0c;则故障转移失败

c,从节点复制新主节点时间超过180S转移失败

sentinel down-after-milliseconds mymasterA 300000//sentinel节点定期向主节点ping命令&＃xff0c;当超过了300S时间后没有回复&＃xff0c;可能就认定为此主节点出现故障了……

sentinel parallel-syncs mymasterA 1 //故障转移后&＃xff0c;1代表每个从节点按顺序排队一个一个复制主节点数据&＃xff0c;如果为3&＃xff0c;指3个从节点同时并发复制主节点数据&＃xff0c;不会影响阻塞&＃xff0c;但存在网络和IO开销

4&＃xff0c;启动sentinel服务:

./redis-sentinel conf/sentinel_26379.conf &

./redis-sentinel conf/sentinel_26380.conf &

./redis-sentinel conf/sentinel_26381.conf &

关闭&＃xff1a;./redis-cli -h 192.168.1.111 -p 26379 shutdown

5&＃xff0c;测试&＃xff1a;kill -9 6379  杀掉6379的redis服务

看日志是分配6380 还是6381做为主节点&＃xff0c;当6379服务再启动时&＃xff0c;已变成从节点

假设6380升级为主节点:进入6380>info replication     可以看到role:master

打开sentinel_26379.conf等三个配置&＃xff0c;sentinel monitor mymaster 127.0.0.1 6380 2

打开redis6379.conf等三个配置, slaveof 192.168.1.111 6380,也变成了6380

注意&＃xff1a;生产环境建议让redis Sentinel部署到不同的物理机上。

重要&＃xff1a;sentinel monitor mymaster 192.168.1.111 6379 2//切记将IP不要写成127.0.0.1

不然使用JedisSentinelPool取jedis连接的时候会变成取127.0.0.1 6379的错误地址

注&＃xff1a;我们稍后要启动四个redis实例&＃xff0c;其中端口为6379 的redis设为master&＃xff0c;其他两个设为slave 。所以mymaster 后跟的是master的ip和端口&＃xff0c;最后一个’2’代表只要有2个sentinel认为master下线&＃xff0c;就认为该master客观下线&＃xff0c;选举产生新的master。通常最后一个参数不能多于启动的sentinel实例数。

哨兵sentinel个数为奇数&＃xff0c;选举嘛&＃xff0c;奇数哨兵个才能选举成功&＃xff0c;一般建议3个