redis高可用及持久化

1. Redis 高可用概述

在web服务器中&＃xff0c;高可用是指服务器可以正常访问的时间&＃xff0c;衡量的标准是在多长时间内可以提供正常服务&＃xff08;99.9%、99.99%、99.999%等等&＃xff09;。
  但是在Redis语境中&＃xff0c;高可用的含义似乎要宽泛一些&＃xff0c;除了保证提供正常服务&＃xff08;如主从分离、快速容灾技术&＃xff09;&＃xff0c;还需要考虑数据容量的扩展、数据安全不会丢失等。

2. Redis 高可用策略

在Redis中&＃xff0c;实现高可用的技术主要包括持久化、主从分离、哨兵和集群。

1.持久化的功能&＃xff1a;

Redis时内存数据库&＃xff0c;数据都是储存在内存中&＃xff0c;为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失&＃xff0c;需要定期将Redis中的数据以某种形式( 数据或命令)从内存保存到硬盘;当下次Redis重启时&＃xff0c;利用持久化文件实现数据恢复。除此之外&＃xff0c;为了进行灾难备份&＃xff0c;可以将持久化文件拷贝到一个远程位置&＃xff08;NFS&＃xff09;

2.Redis提供的两种持久化方式&＃xff1a;

• RDB持久化 : 原理是将Reids在内存中的数据库记录定时保存到磁盘上
• AOF持久化(append only file) : 原理是将Reids的操作日志以追加的方式写入文件&＃xff0c;类似于MySQL的binlog

由于AOF持久化的实时性更好&＃xff0c;即当进程意外退出时丢失的数据更少&＃xff0c;因此AOF是目前主流的持久化方式&＃xff0c;不过RDB持久化仍然有其用武之地

• RDB 持久化是指在指定的时间间隔内将内存中当前进程中的数据生成快照保存到硬盘(因此也称作快照持久化)&＃xff0c;用二进制压缩存储&＃xff0c;保存的文件后缀是 rdb
• 当 Redis 重新启动时&＃xff0c;可以读取快照文件恢复数据

1.触发条件

RDB持久化的触发分为手动触发和自动触发两种

① 手动触发

• save 命令和 bgsave 命令都可以生成 RDB 文件
• save 命令会阻塞 Redis 服务器进程&＃xff0c;直到RDB文件创建完毕为止&＃xff0c;在 Redis 服务器阻塞期间&＃xff0c;服务器不能处理任何命令请求
• 而 bgsave 命令会创建一个子进程&＃xff0c;由子进程来负责创建 RDB 文件&＃xff0c;父进程(即 Redis 主进程) 则继续处理请求
• bgsave 命令执行过程中&＃xff0c;只有 fork 子进程时会阻塞服务器&＃xff0c;而对于 save 命令&＃xff0c;整个过程都会阻塞服务器&＃xff0c;因此 save 已基本被废弃&＃xff0c;线上环境要杜绝 save 的使用

注&＃xff1a;在生产环境 bgsave 不允许轻易使用

② 自动触发

• 在自动触发 RDB 持久时&＃xff0c;Redis 也会选择 bgsave 而不是 save 来进行持久化

save m n
#自动触发最常见的情况是在配置文件中通过 savemn&＃xff0c;指定当 m 秒内发生 n 次变化时&＃xff0c;会触发 bgsavevim /etc/redis/6379.conf
#219行&＃xff0c;以下三个save条件满足任意一个时&＃xff0c;都会引起bgsave的调用
save 900 1 :当时间到900秒时&＃xff0c;如果redis数据发生了至少1次变化&＃xff0c;则执行bgsave
save 300 10 :当时间到300秒时&＃xff0c; 如果redis数据发生了至少10次变化&＃xff0c;则执行bgsave
save 60 10000 :当时间到60秒时&＃xff0c;如果redis数据发生了至少10000次变化&＃xff0c; 则执行bgsave
#254行&＃xff0c;指定 RDB 文件名
dbfilename dump.rdb
#264行&＃xff0c;指定 RDB 文件和 AOF 文件所在目录
dir /var/lib/redis/6379
#242行&＃xff0c;是否开启 RDB 文件压缩
rdbcompression yes


其他自动触发机制除了 savemn 以外&＃xff0c;还有一些其他情况会触发 bgsave&＃xff1a;

• 在主从复制场景下&＃xff0c;如果从节点执行全量复制操作&＃xff0c;则主节点会执行 bgsave 命令&＃xff0c;并将 rdb 文件发送给从节点
• 执行 shutdown 命令时&＃xff0c;自动执行 rdb 持久化

2.执行流程

1. Redis 父进程首先判断&＃xff1a;当前是否在执行 save&＃xff0c;或 bgsave/bgrewriteaof 的子进程&＃xff0c;如果在执行&＃xff0c;则 bgsave 命令直接返回&＃xff0c;bgsave/bgrewriteaof 的子进程不能同时执行&＃xff1b;主要是基于性能方面的考虑&＃xff1a;两个并发的子进程同时执行大量的磁盘写操作&＃xff0c;可能引起严重的性能问题
2. 父进程执行 fork 操作创建子进程&＃xff0c;这个过程中父进程是阻塞的&＃xff0c;Redis 不能执行来自客户端的任何命令
3. 父进程 fork 后&＃xff0c;bgsave 命令返回“Background saving started”信息并不再阻塞父进程&＃xff0c;并可以响应其他命令
4. 子进程创建 RDB 文件&＃xff0c;根据父进程内存快照生成临时快照文件&＃xff0c;完成后对原有文件进行原子替换
5. 子进程发送信号给父进程表示完成&＃xff0c;父进程更新统计信息
   如图&＃xff1a;

3.启动时加载

• RDB 文件的载入工作是在服务器启动时自动执行的&＃xff0c;并没有专门的命令
• 但是由于 AOF 的优先级更高&＃xff0c;因此当 AOF 开启时&＃xff0c;Redis 会优先载入 AOF 文件来恢复数据
• 只有当 AOF 关闭时&＃xff0c;才会在 Redis 服务器启动时检测 RDB 文件&＃xff0c;并自动载入
• 服务器载入 RDB 文件期间处于阻塞状态&＃xff0c;直到载入完成为止
• Redis 载入 RDB 文件时&＃xff0c;会对 RDB 文件进行校验&＃xff0c;如果文件损坏&＃xff0c;则日志中会打印错误&＃xff08;Redis 启动失败&＃xff09;

• RDB 持久化是将进程数据写入文件&＃xff0c;而 AOF 持久化&＃xff0c;则是将 Redis 执行的每次写、删除命令记录到单独的日志文件中&＃xff0c;查询操作不会记录
• 当 Redis 重启时再次执行 AOF 文件中的命令来恢复数据
• 与 RDB 相比&＃xff0c;AOF 的实时性更好&＃xff0c;因此已成为主流的持久化方案

1.开启 AOF

Redis 服务器默认开启 RDB&＃xff0c;关闭 AOF
要开启 AOF&＃xff0c;需要在配置文件中配置&＃xff1a;

vim /etc/redis/6379.conf
#700行修改&＃xff0c; 开启AOF
appendonly yes
#704行,指定AOF文件名称
appendfilename "appendonly.aof"
#796行,是否忽略最后一条可能存在问题的指令
aof-load-truncated yes/etc/init.d/redis_6379 restart
#重启以使配置生效&＃xff0c;开启 AOF


2.执行流程

由于需要记录 Redis 的每条写命令&＃xff0c;因此 AOF 不需要触发&＃xff0c;下面介绍 AOF 的执行流程
AOF 的执行流程包括&＃xff1a;

• 命令追加(append): 将 Redis 的写命令追加到缓冲区 aof_ buf;
• 文件写入(write)和文件同步(sync)&＃xff1a;根据不同的同步策略将 aof_buf 中的内容同步到硬盘;
• 文件重写(rewrite): 定期重写 AOF 文件&＃xff0c;达到压缩的目的

① 命令追加&＃xff08;append&＃xff09;

• Redis 先将写命令追加到缓冲区&＃xff0c;而不是直接写入文件&＃xff0c;主要是为了避免每次有写命令都直接写入硬盘&＃xff0c;导致硬盘 IO 成为 Redis 负载的瓶颈
• 命令追加的格式是 Redis 命令请求的协议格式&＃xff0c;它是一种纯文本格式&＃xff0c;具有兼容性好、可读性强、容易处理、操作简单避免二次开销等优点
• 在 AOF 文件中&＃xff0c;除了用于指定数据库的 select 命令(如select0为选中0号数据库) 是由 Redis 添加的&＃xff0c;其他都是客户端发送来的写命令

② 文件写入&＃xff08;write&＃xff09;和文件同步&＃xff08;sync&＃xff09;

Redis 提供了多种 AOF 缓存区的同步文件策略
策略涉及到操作系统的 write 函数和 fsync 函数&＃xff0c;说明如下&＃xff1a;

为了提高文件写入效率&＃xff0c;在现代操作系统中&＃xff0c;当用户调用 write 函数将数据写入文件时&＃xff0c;操作系统通常会将数据暂存到一个内存缓冲区里&＃xff0c;当缓冲区被填满或超过了指定时限后&＃xff0c;才真正将缓冲区的数据写入到硬盘里
这样的操作虽然提高了效率&＃xff0c;但也带来了安全问题&＃xff1a;如果计算机停机&＃xff0c;内存缓冲区中的数据会丢失
因此系统同时提供了 fsync、fdatasync 等同步函数&＃xff0c;可以强制操作系统立刻将缓冲区中的数据写入到硬盘里&＃xff0c;从而确保数据的安全性
AOF 缓存区的同步文件策略存在三种同步方式
它们分别是&＃xff1a;

vim /etc/redis/6379.conf
#729行
appendfsync always&＃xff1a;
#命令写入 aof_ buf 后立即调用系统 fsync 操作同步到 AOF 文件&＃xff0c;fsync 完成后线程返回
#这种情况下&＃xff0c;每次有写命令都要同步到 AOF 文件&＃xff0c;硬盘 IO 成为性能瓶颈&＃xff0c;Redis只能支持大约几百TPS写入&＃xff0c;严重降低了 Redis 的性能
#即便是使用固态硬盘(SSD)&＃xff0c;每秒大约也只能处理几万个命令&＃xff0c;而且会大大降低 SSD 的寿命appendfsync no&＃xff1a;
#命令写入 aof_ buf 后调用系统 write 操作&＃xff0c;不对 AOF 文件做 fsync 同步
#同步由操作系统负责&＃xff0c;通常同步周期为 30 秒
#这种情况下&＃xff0c;文件同步的时间不可控&＃xff0c;且缓冲区中堆积的数据会很多&＃xff0c;数据安全性无法保证appendfsynceverysec&＃xff1a;
#命令写入 aof_ buf 后调用系统 write 操作&＃xff0c;write 完成后线程返回
#fsync 同步文件操作由专门的线程每秒调用一次
#everysec 是前述两种策略的折中&＃xff0c;是性能和数据安全性的平衡&＃xff0c;因此是 Redis 的默认配置&＃xff0c;也是我们推荐的配置


③ 文件重写&＃xff08;rewrite&＃xff09;

• 随着时间流逝&＃xff0c;Redis 服务器执行的写命令越来越多&＃xff0c;AOF 文件也会越来越大&＃xff0c;而过大的 AOF 文件不仅会影响服务器的正常运行&＃xff0c;也会导致数据恢复需要的时间过长
• 文件重写是指定期重写 AOF 文件&＃xff0c;减小 AOF 文件的体积&＃xff0c;需要注意的是&＃xff0c;AOF 重写是把 Redis 进程内的数据转化为写命令&＃xff0c;同步到新的 AOF 文件&＃xff0c;而不会对旧的 AOF 文件进行任何读取、写入操作!
• 关于文件重写需要注意的另一点是&＃xff1a;对于 AOF 持久化来说&＃xff0c;文件重写虽然是强烈推荐的&＃xff0c;但并不是必须的
  即使没有文件重写&＃xff0c;数据也可以被持久化并在 Redis 启动的时候导入&＃xff0c;因此在一些实现中&＃xff0c;会关闭自动的文件重写&＃xff0c;然后通过定时任务在每天的某一时刻定时执行
  文件重写能够压缩 AOF 文件的原因
• 过期的数据不再写入文件
• 无效的命令不再写入文件&＃xff1a;如有些数据被重复设值(set mykey v1, set mykey v2)、有些数据被删除了(sadd myset v1, del myset) 等
• 多条命令可以合并为一个&＃xff1a;如 sadd myset v1, sadd myset v2&＃xff0c; sadd myset v3可以合并为 sadd myset v1 v2 v3

通过上述内容可以看出&＃xff0c;由于重写后AOF执行的命令减少了&＃xff0c;文件重写既可以减少文件占用的空间&＃xff0c;也可以加快恢复速度

文件重写的触发分为手动触发和自动触发

• 手动触发&＃xff1a;直接调用bgrewriteaof命令&＃xff0c;该命令的执行与bgsave有些类似&＃xff1a;都是fork子进程进行具体的工作&＃xff0c;且都只有在fork时阻塞

• 自动触发&＃xff1a;通过设置auto-aof - rewrite-min-size选项和auto- aof - rewrite- percentage选项来自动执行BGREWRITEAOF

只有当auto-aof- rewrite- -min-size和auto-aof -rewrite-percentage两个选项同时满足时&＃xff0c;才会自动触发AOF重写&＃xff0c;即bgrewriteaof操作

vim /etc/redis/ 6379. conf
----729----
● auto-aof- rewrite-percentage 100
&＃xff1a;当前AOF文件大小(即aof_current_size)是上次日志重写时AOF文件大小(aof_base_size)两倍时&＃xff0c;发生BGREWRITEAOF操作
● auto-aof - rewrite-min-size 64mb
&＃xff1a;当前A0F文件执行BGREWRITEAOF命令的最小值&＃xff0c;避免刚开始启动Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF


关于文件重写的流程需要特别注意的两点

• 重写由父进程 fork 子进程进行
• 重写期间 Redis 执行的写命令&＃xff0c;需要追加到新的 AOF 文件中&＃xff0c;为此 Redis 引入了 aof_rewrite_buf 缓存

文件重写的流程&＃xff1a;

1. Redis 父进程首先判断当前是否存在正在执行 bgsave/bgrewriteaof 的子进程&＃xff0c;如果存在则 bgrewriteaof 命令直接返回&＃xff0c;如果存在 bgsave 命令则等 bgsave 执行完成后再执行

2. 父进程执行fork操作创建子进程&＃xff0c;这个过程中父进程是阻塞的

3. 父进程 fork 后&＃xff0c;bgrewriteaof 命令返回"Background append only file rewrite started"信息并不再阻塞父进程&＃xff0c;并可以响应其他命令&＃xff1b;Redis 的所有写命令依然写入 AOF 缓冲区&＃xff0c;并根据 appendfsync 策略同步到硬盘&＃xff0c;保证原有 AOF 机制的正确
   &＃xff08;由于 fork 操作使用写时复制技术&＃xff0c;子进程只能共享 fork 操作时的内存数据&＃xff1b;由于父进程依然在响应命令&＃xff0c;因此 Redis 使用 AOF 重写缓冲区(aof_ rewrite_buf)保存这部分数据&＃xff0c;防止新 AOF 文件生成期间丢失这部分数据&＃xff1b;也就是说&＃xff0c;bgrewriteaof 执行期间&＃xff0c;Redis 的写命令同时追加到 aof_ buf 和 aof_ rewirte_ buf 两个缓冲区&＃xff09;

4. 子进程根据内存快照&＃xff0c;按照命令合并规则写入到新的 AOF 文件

5. 子进程写完新的 AOF 文件后&＃xff0c;向父进程发信号&＃xff0c;父进程更新统计信息&＃xff0c;具体可以通过 info persistence 查看

6. 父进程把 AOF 重写缓冲区的数据写入到新的 AOF 文件&＃xff0c;这样就保证了新AOF文件所保存的数据库状态和服务器当前状态一致

7. 使用新的 AOF 文件替换老文件&＃xff0c;完成 AOF 重写

3.启动时加载

• 当 AOF 开启时&＃xff0c;Redis 启动时会优先载入 AOF 文件来恢复数据
  只有当 AOF 关闭时&＃xff0c;才会载入 RDB 文件恢复数据
• 当 AOF 开启&＃xff0c;但 AOF 文件不存在时&＃xff0c;即使 RDB 文件存在也不会加载
• Redis 载入 AOF 文件时&＃xff0c;会对 AOF 文件进行校验&＃xff0c;如果文件损坏&＃xff0c;则日志中会打印错误&＃xff0c;Redis 启动失败
  但如果是 AOF 文件结尾不完整 (机器突然宕机等容易导致文件尾部不完整)&＃xff0c;且 aof-load- truncated 参数开启&＃xff0c;则日志中会输出警告&＃xff0c;Redis 忽略掉AOF文件的尾部&＃xff0c;启动成功
• aof-load-truncated 参数默认是开启的

1.RDB 持久化

优点&＃xff1a;

• RDB 文件紧凑&＃xff0c;体积小&＃xff0c;网络传输快&＃xff0c;适合全量复制
  恢复速度比 AOF 快很多
• 与 AOF 相比&＃xff0c; RDB 最重要的优点之一是对性能的影响相对较小

缺点&＃xff1a;

• RDB 文件的致命缺点在于其数据快照的持久化方式决定了必然做不到实时持久化&＃xff0c;而在数据越来越重要的今天&＃xff0c;数据的大量丢失很多时候是无法接受的&＃xff0c;因此 AOF 持久化成为主流
• 此外&＃xff0c;RDB 文件需要满足特定格式&＃xff0c;兼容性差(如老版本的 Redis 不兼容新版本的 RDB 文件)
• 对于 RDB 持久化&＃xff0c;一方面是 bgsave 在进行 fork 操作时 Redis 主进程会阻塞&＃xff0c;另一方面&＃xff0c;子进程向硬盘写数据也会带来 IO 压力

2.AOF 持久化

优点&＃xff1a;

• 与 RDB 持久化相对应&＃xff0c;AOF 的优点在于支持秒级持久化、兼容性好

缺点&＃xff1a;

• 在于文件大、恢复速度慢、对性能影响大

对于 AOF 持久化&＃xff0c;向硬盘写数据的频率大大提高(everysec 策略下为秒级)&＃xff0c;IO 压力更大&＃xff0c;甚至可能造成 AOF 追加阻塞问题
AOF 文件的重写与 RDB 的 bgsave 类似&＃xff0c;会有 fork 时的阻塞和子进程的 IO 压力问题
相对来说&＃xff0c;由于 AOF 向硬盘中写数据的频率更高&＃xff0c;因此对 Redis 主进程性能的影响会更大

• 缓存穿透&＃xff1a;恶意用户模拟请求很多缓存中不存在的数据&＃xff0c;由于缓存中都没有&＃xff0c;导致这些请求短时间内直接落在了数据库上&＃xff0c;导致数据库异常&＃xff0c;甚至瞬间宕机。比如用一个不存在的用户id获取用户信息&＃xff0c;不论缓存还是数据库都没有&＃xff0c;若黑客利用此漏洞进行攻击可能压垮数据库。
• 缓存击穿&＃xff1a;key对应的数据存在&＃xff0c;但在redis中过期&＃xff0c;此时若有大量并发请求过来&＃xff0c;这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存&＃xff0c;这个时候大并发的请求可能会瞬间把后端DB压垮。
• 缓存雪崩&＃xff1a;缓存在同一时间内大量key过期&＃xff08;失效&＃xff09;&＃xff0c;接着无数的请求瞬间都落在了数据库中导致连接异常。

1.分布式锁原理

• 当多个客户端访问redis同一个关键数据时&＃xff0c;客户端的请求修改数据时均会使用setnx&＃xff0c;&＃xff08;判断是否存在目标&＃xff09;。
• 当第一个客户端的请求任务在执行修改过程中&＃xff0c;redis 会对比数据进行加锁〈可以通过固定过期时间/watch dcg的形式续期&＃43;通知Lock. unlock{释放锁)
  的机制释放)在锁定期间&＃xff0c;第二个客户端的请求任务不会修改数据&＃xff0c;而是会等待
  目的:缓爱解高并发的压力(因为本身redis 使用的时单线程epoll-I/O复用的机制) 所以第二个任务请求&＃xff08;
  socket所被分配的文件描述符&＃xff0c;不是持续状态&＃xff0c;所以不会消耗太多资源&＃xff09;不会占用太多资源&＃xff09;

核心技术——》 setnx&＃43;分布式锁

• 保存数据库的状态不一样&＃xff0c;RDB 保存数据库的内容&＃xff0c;AOF 保存数据库的命令
• 如果发生服务器异常关闭&＃xff0c;RDB 丢失的数据会更多&＃xff1b;AOF 每秒种保存一次 AOF 文件&＃xff0c;RDB 需在满足时间和次数的条件下才会保存
• redis 默认开启 RDB&＃xff0c;AOF 默认关闭需要手动开启&＃xff1b;RDB 和 AOF 同时开启的情况下&＃xff0c;会只加载 AOF
• AOF 耗费性能&＃xff0c;并且文件内容大&＃xff0c;恢复速度比 RDB 慢
  RDB和AOF
• 持久化方式:
  ① RDB:周期性的快照
  ② AOF :接近实时的持久化(以everysec方式)