java按行读取txt文件内容，搞懂这些直接来阿里入职

什么是Redis的持久化

我们知道Redis的数据都存储在内存中&＃xff0c;如果服务器突然宕机&＃xff0c;那么内存数据将会全部消失&＃xff0c;为了防止这种情况出现&＃xff0c;利用一套机制来保证数据不会因为故障而丢失&＃xff0c;我们将这种机制称之为Redis的持久化机制&＃xff0c;该机制主要目的是将内存数据存入到硬盘中

Redis 提供两种持久化机制RDB&＃xff08;Redis DataBase&＃xff09;和AOF&＃xff08;Append-Only File&＃xff09;机制。

RDB-快照

快照是最简单的Redis持久化模式&＃xff0c;也就是生成某个时间点的数据集&＃xff0c;生成RDB文件&＃xff0c;可以看到RDB文件中的数据是非常紧凑的&＃xff0c;所以在恢复数据的时候读取也是非常快的

触发RDB快照的方式有两种

手动触发

通过手动执行bgsave/save&＃xff0c;显示触发生成快照

• save命令&＃xff1a;阻塞当前Redis服务器&＃xff0c;直到RDB过程完成为止&＃xff0c;对于内存 比较大的实例会造成长时间阻塞&＃xff0c;线上环境不建议使用

• bgsave命令&＃xff1a;Redis进程执行fork操作创建子进程&＃xff0c;RDB持久化过程由子 进程负责&＃xff0c;完成后自动结束。阻塞只发生在fork阶段&＃xff0c;一般时间很短

配置参数自动触发

自动触发有以下几种情况&＃xff1a;

• 使用save相关配置&＃xff0c;命令save m n。表示m秒内数据集存在n次修改时&＃xff0c;自动触发bgsave
• 从节点执行全量复制操作&＃xff0c;主节点自动执行bgsave生成RDB文件发送给从节点
• 执行debug reload命令重新加载Redis时&＃xff0c;自动触发save命令
• 执行shutdown命令时&＃xff0c;如果没有开启AOF持久化功能自动执行bgsave

注意&＃xff1a;在RDB持久化的过程中有两个问题需要考虑

1. RDB快照过程中Redis是否会停止对外提供服务
2. 如果没有停止服务&＃xff0c;如何处理新的请求

针对上述问题我们先看一下RDB的持久化执行流程

根据上图我们可以看到主线程主要是fork一个子线程来进行持久化操作&＃xff0c;同时父子线程会共享一个数据区域&＃xff0c;而且该区域设置为read-only方式&＃xff0c;该方式下读的时候没有问题&＃xff0c;但是写的时候会触发copyonwrite机制来进行&＃xff0c;接下来我们看看什么是 COW(Copy On Write) 机制 。

COW(Copy On Write) 机制

COW(Copy On Write) 机制属于操作系统处理多进程下的一种机制&＃xff0c;Redis在持久化的时候会调用glibc函数fork一个子进程。父子进程会共享内存里面的代码段和数据段。

所以持久化的时候是完全交给子进程&＃xff0c;而父进程继续处理客户端请求&＃xff0c;所以在持久化的时候操作系统采用COW机制进程数据段页面的分离。数据段是由很多操作系统的页面组合而成&＃xff0c;当父进程对其中一个页面进行数据修改的时候&＃xff0c;先将被父子线程共享的这一个页面复制并分离出来&＃xff0c;然后直接对复制的页面进程修改&＃xff0c;而此时子进程对应的页面是没有修改的。

Redis采用该机制的简单流程如下。Lunix在fork之后&＃xff0c;操作系统会将父进程的所有内存也权限设置为read-only&＃xff0c;然后子进程的地址空间指向父进程。当父进程只读时没有问题&＃xff0c;当有写内存时&＃xff0c;CPU硬件检测到内存也是read-only&＃xff0c;于是会触发页异常中断&＃xff08;page-fault&＃xff09;&＃xff0c;陷入到操作系统的一个中断例程。中断例程中&＃xff0c;操作系统采用cow机制会触发异常的也复制一份&＃xff0c;于是父子进程各自持有独立的一份&＃xff0c;如果这个时候又大量写入操作&＃xff0c;会产生大量的分页错误&＃xff08;页异常中断page-fault&＃xff09;&＃xff0c;从而触发cow机制。

之所以称之为快照也就是说在子进程创建的那一时刻开始。内存的数据就固定下来了&＃xff0c;不会发生变化。

RDB的优缺点

优点&＃xff1a;

1. 性能最大化&＃xff0c;fork子进程来完成写操作&＃xff0c;让主进程继续处理命令&＃xff0c;保证了redis的高性能
2. 重启恢复数据的时候。数据量比较大时候&＃xff0c;Redis直接解析RDB二进制文件&＃xff0c;生成对应的数据存储在内存中&＃xff0c;比AOF的启动效率更高

缺点

1. 数据安全性低&＃xff0c;因为是间隔一段时间进行持久化&＃xff0c;如果在持久化之间发生了故障&＃xff0c;会丢失数据&＃xff0c;这也就决定了该方式更适合在数据要求不严谨的时候采用
2. 系统性能耗费&＃xff0c;根据上文提到的Redis执行cow机制时&＃xff0c;可以看到大量的分页错误会耗费不少性能在复制上。

AOF&＃xff08;Append Only File - 仅追加文件&＃xff09;

根据上文&＃xff0c;快照在某些情况下不是可行的选择&＃xff0c;所以AOF很好的支持了。

AOF 原理

该方式非常简单&＃xff1a;也就是修改内存的操作命令都会记录下来&＃xff0c;加入AOF日志记录都是Redis实例创建以来的所有修改性指令序列&＃xff0c;所以恢复也就是顺序执行所有执行。

Redis使用单线程相应命令&＃xff0c;如果每次写AOF文件命令都追加到硬盘&＃xff0c;会极大地影响处理性能&＃xff0c;所以Redis会先写入到aof缓冲区&＃xff0c;根据用户配置的同步硬盘策略写入到aof文件中&＃xff0c;这个策略可以通过appendfsync参数配置&＃xff0c;

• always&＃xff1a;每一次写操作都会调用一次fsync&＃xff0c;这时数据是最安全的&＃xff0c;当然&＃xff0c;由于每次都会执行fsync&＃xff0c;所以其性能也会受到影响
• no&＃xff1a;Redis不会主动调用fsync去将AOF日志内容同步到磁盘&＃xff0c;所以这一切就完全依赖于操作系统的调试了。对大多数Linux操作系统&＃xff0c;是每30秒进行一次fsync&＃xff0c;将缓冲区中的数据写到磁盘上。
• everysec&＃xff1a;Redis会默认每隔一秒进行一次fsync调用&＃xff0c;将缓冲区中的数据写到磁盘。但是当这一次的fsync调用时长超过1秒时。Redis会采取延迟fsync的策略&＃xff0c;再等一秒钟。也就是在两秒后再进行fsync&＃xff0c;这一次的fsync就不管会执行多长时间都会进行。这时候由于在fsync时文件描述符会被阻塞&＃xff0c;所以当前的写操作就会阻塞。

注意&＃xff0c;这也是影响Redis性能的参数之一&＃xff0c;建议采用 appendfsync everysec&＃xff08;缺省方式&＃xff09;

AOF重写

所谓重写&＃xff0c;Redis在长期运行过程中日志会越来越大&＃xff0c;在恢复的时候会非常好使&＃xff0c;所以我们的目的就是对日志做瘦身

会从以下几点做瘦身&＃xff1a;

1. 无效命令可以删除&＃xff0c;比如del key1、hdel key2、srem keys、set a111、set a222等&＃xff0c;直接用最终的数据生成命令保存下来就行
2. 多条命令可以删除&＃xff0c;如&＃xff1a;lpush list a、lpush list b、lpush list c可以转化为&＃xff1a;lpush list a b c
3. 等等&＃xff0c;就不列举了

Redis使用bgrewriteaof指令做瘦身&＃xff0c;主要也是开辟一个子进程对内存遍历转化为一系列指令&＃xff0c;并序列化到新的文件中&＃xff0c;接下来再将操作期间的增量AOF日志追加到新的日志文件中&＃xff0c;最终替换了旧的。

AOF重写机制两种方式触发

1. 手动触发&＃xff1a;bgrewriteaof指令
2. 自动触发&＃xff1a;根据auto-aof-rewrite-min-size和auto-aof-rewrite-percentage参数确定自动触发时机

• auto-aof-rewrite-min-size&＃xff1a;表示运行AOF重写时文件最小体积&＃xff0c;默认为64MB。

• auto-aof-rewrite-percentage&＃xff1a;代表当前AOF文件空间 &＃xff08;aof_current_size&＃xff09;和上一次重写后AOF文件空间&＃xff08;aof_base_size&＃xff09;的比值。

auto-aof-rewrite-min-size    100auto-aof-rewrite-percentage  64mb


如上代表AOF文件的大小小于64mb(默认值)&＃xff0c;且当前AOF文件大小比基准大小增长了100%时会触发。

AOF优缺点

优点

数据安全&＃xff0c;aof持久化配置appendfsync属性&＃xff0c;有always&＃xff0c;每执行一次命令操作就记录到aof文件一次

缺点

数据集大的时候&＃xff0c;比如RDB启动效率低

混合持久化&＃xff08;Redis 4.0版本&＃xff09;

我们根据上文知道&＃xff0c;RDB恢复会存在大量数据&＃xff0c;AOF恢复性能又较慢&＃xff0c;所以在Redis4.0中&＃xff0c;采用混合持久化&＃xff0c;将RDB文件内存和增量的AOF日志文件放在一起&＃xff0c;这里的AOF日志不再是全量日志。而是自持久化开始到持久化结束的这段时间的增量日志&＃xff0c;通常较小&＃xff0c;重启效率因此大幅得到提升

加载的时候&＃xff0c;首先会识别AOF文件是否以REDIS字符串开头&＃xff0c;如果是就按照RDB格式加载&＃xff0c;加载完成后继续按AOF加载剩余的部分

线程、数据库、算法、JVM、分布式、微服务、框架、Spring相关知识

一线互联网P7面试集锦&＃43;各种大厂面试集锦

资料领取方式&＃xff1a;戳这里

学习笔记以及面试真题解析

一线互联网P7面试集锦&＃43;各种大厂面试集锦

[外链图片转存中…(img-eWxMSrWU-1626863308192)]

资料领取方式&＃xff1a;戳这里

学习笔记以及面试真题解析