Redis中的过期元素是如何被处理的？「视频版」——面试突击002期

本文以面试问题「Redis 中的过期元素是如何被处理的&＃xff1f;」为切入点&＃xff0c;用视频加图文的方式和大家聊聊 Redis 过期元素被处理的相关知识点。

涉及的知识点

1. 过期删除策略有哪些&＃xff1f;
2. 这些过期策略有哪些优缺点&＃xff1f;
3. Redis 使用的是什么过期策略&＃xff1f;
4. Redis 是如何优化和执行过期策略的&＃xff1f;

视频答案

点击查看视频内容&＃xff1a;https://www.bilibili.com/video/av88741972/

图文答案

常见的过期策略&＃xff1a;

• 定时删除
• 惰性删除
• 定期删除

1&＃xff09;定时删除

在设置键值过期时间时&＃xff0c;创建一个定时事件&＃xff0c;当过期时间到达时&＃xff0c;由事件处理器自动执行键的删除操作。

① 优点

保证内存可以被尽快的释放

② 缺点

在 Redis 高负载的情况下或有大量过期键需要同时处理时&＃xff0c;会造成 Redis 服务器卡顿&＃xff0c;影响主业务执行。

2&＃xff09;惰性删除

不主动删除过期键&＃xff0c;每次从数据库获取键值时判断是否过期&＃xff0c;如果过期则删除键值&＃xff0c;并返回 null。

① 优点

因为每次访问时&＃xff0c;才会判断过期键&＃xff0c;所以此策略只会使用很少的系统资源。

② 缺点

系统占用空间删除不及时&＃xff0c;导致空间利用率降低&＃xff0c;造成了一定的空间浪费。

③ 源码解析

惰性删除的源码位于 src/db.c 文件的 expireIfNeeded 方法中&＃xff0c;源码如下&＃xff1a;

int expireIfNeeded(redisDb *db, robj *key) {// 判断键是否过期if (!keyIsExpired(db,key)) return 0;if (server.masterhost !&＃61; NULL) return 1;/* 删除过期键 */// 增加过期键个数server.stat_expiredkeys&＃43;&＃43;;// 传播键过期的消息propagateExpire(db,key,server.lazyfree_lazy_expire);notifyKeyspaceEvent(NOTIFY_EXPIRED,"expired",key,db->id);// server.lazyfree_lazy_expire 为 1 表示异步删除&＃xff08;懒空间释放&＃xff09;&＃xff0c;反之同步删除return server.lazyfree_lazy_expire ? dbAsyncDelete(db,key) :dbSyncDelete(db,key);
}
// 判断键是否过期
int keyIsExpired(redisDb *db, robj *key) {mstime_t when &＃61; getExpire(db,key);if (when <0) return 0; /* No expire for this key *//* Don&＃39;t expire anything while loading. It will be done later. */if (server.loading) return 0;mstime_t now &＃61; server.lua_caller ? server.lua_time_start : mstime();return now > when;
}
// 获取键的过期时间
long long getExpire(redisDb *db, robj *key) {dictEntry *de;/* No expire? return ASAP */if (dictSize(db->expires) &＃61;&＃61; 0 ||(de &＃61; dictFind(db->expires,key->ptr)) &＃61;&＃61; NULL) return -1;/* The entry was found in the expire dict, this means it should also* be present in the main dict (safety check). */serverAssertWithInfo(NULL,key,dictFind(db->dict,key->ptr) !&＃61; NULL);return dictGetSignedIntegerVal(de);
}


所有对数据库的读写命令在执行之前&＃xff0c;都会调用 expireIfNeeded 方法判断键值是否过期&＃xff0c;过期则会从数据库中删除&＃xff0c;反之则不做任何处理。

3&＃xff09;定期删除

每隔一段时间检查一次数据库&＃xff0c;随机删除一些过期键。

Redis 默认每秒进行 10 次过期扫描&＃xff0c;此配置可通过 Redis 的配置文件 redis.conf 进行配置&＃xff0c;配置键为 hz 它的默认值是 hz 10 。

需要注意的是&＃xff1a;Redis 每次扫描并不是遍历过期字典中的所有键&＃xff0c;而是采用随机抽取判断并删除过期键的形式执行的。

定期删除的执行流程&＃xff1a;

① 优点

通过限制删除操作的时长和频率&＃xff0c;来减少删除操作对 Redis 主业务的影响&＃xff0c;同时也能删除一部分过期的数据减少了过期键对空间的无效占用。

② 缺点

内存清理方面没有定时删除效果好&＃xff0c;同时没有惰性删除使用的系统资源少。

③ 源码解析

定期删除的核心源码在 src/expire.c 文件下的 activeExpireCycle 方法中&＃xff0c;源码如下&＃xff1a;

void activeExpireCycle(int type) {static unsigned int current_db &＃61; 0; /* 上次定期删除遍历到的数据库ID */static int timelimit_exit &＃61; 0; /* Time limit hit in previous call? */static long long last_fast_cycle &＃61; 0; /* 上一次执行快速定期删除的时间点 */int j, iteration &＃61; 0;int dbs_per_call &＃61; CRON_DBS_PER_CALL; // 每次定期删除&＃xff0c;遍历的数据库的数量long long start &＃61; ustime(), timelimit, elapsed;if (clientsArePaused()) return;if (type &＃61;&＃61; ACTIVE_EXPIRE_CYCLE_FAST) {if (!timelimit_exit) return;// ACTIVE_EXPIRE_CYCLE_FAST_DURATION 是快速定期删除的执行时长if (start server.dbnum || timelimit_exit)dbs_per_call &＃61; server.dbnum;// 慢速定期删除的执行时长timelimit &＃61; 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100;timelimit_exit &＃61; 0;if (timelimit <&＃61; 0) timelimit &＃61; 1;if (type &＃61;&＃61; ACTIVE_EXPIRE_CYCLE_FAST)timelimit &＃61; ACTIVE_EXPIRE_CYCLE_FAST_DURATION; /* 删除操作的执行时长 */long total_sampled &＃61; 0;long total_expired &＃61; 0;for (j &＃61; 0; j ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP)num &＃61; ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP;// 从数据库中随机选取 num 个键进行检查while (num--) {dictEntry *de;long long ttl;if ((de &＃61; dictGetRandomKey(db->expires)) &＃61;&＃61; NULL) break;ttl &＃61; dictGetSignedInteger// 过期检查&＃xff0c;并对过期键进行删除if (activeExpireCycleTryExpire(db,de,now)) expired&＃43;&＃43;;if (ttl > 0) {/* We want the average TTL of keys yet not expired. */ttl_sum &＃43;&＃61; ttl;ttl_samples&＃43;&＃43;;}total_sampled&＃43;&＃43;;}total_expired &＃43;&＃61; expired;if (ttl_samples) {long long avg_ttl &＃61; ttl_sum/ttl_samples;if (db->avg_ttl &＃61;&＃61; 0) db->avg_ttl &＃61; avg_ttl;db->avg_ttl &＃61; (db->avg_ttl/50)*49 &＃43; (avg_ttl/50);}if ((iteration & 0xf) &＃61;&＃61; 0) { /* check once every 16 iterations. */elapsed &＃61; ustime()-start;if (elapsed > timelimit) {timelimit_exit &＃61; 1;server.stat_expired_time_cap_reached_count&＃43;&＃43;;break;}}/* 每次检查只删除 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4 个过期键 */} while (expired > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4);}// .......
}


activeExpireCycle 方法在规定的时间&＃xff0c;分多次遍历各个数据库&＃xff0c;从过期字典中随机检查一部分过期键的过期时间&＃xff0c;删除其中的过期键。

这个函数有两种执行模式&＃xff0c;一个是快速模式一个是慢速模式&＃xff0c;体现是代码中的 timelimit 变量&＃xff0c;这个变量是用来约束此函数的运行时间的。快速模式下 timelimit 的值是固定的&＃xff0c;等于预定义常量 ACTIVE_EXPIRE_CYCLE_FAST_DURATION&＃xff0c;慢速模式下&＃xff0c;这个变量的值是通过 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100 计算的。

总结

本文讲了常见的过期删除策略&＃xff1a;

• 定时删除
• 惰性删除
• 定期删除

Redis 采用的是惰性删除 &＃43; 定期删除的组合策略&＃xff0c;更多内容&＃xff0c;详见视频部分。

关注下面二维码&＃xff0c;订阅更多精彩内容。