在云栖社区举办的在线培训中&＃xff0c;具有十年以上系统底层开发经验的阿里云技术专家鲁振华带来了题为《Redis内存管理和优化》的精彩分享。在分享中&＃xff0c;他以数据结构、过期机制和淘汰机制为原理&＃xff0c;以内存分析为方法论&＃xff0c;详细讲解了Redis在使用过程需要注意的知识和难点。
以下内容根据直播视频和幻灯片整理而成。
数据结构
通过了解数据结构&＃xff0c;就能知道对象性能&＃xff0c;边界条件&＃xff0c;就自然而然知道如何恰当的使用它们&＃xff0c;做业务时就能选到最合适的对象。
上图是Redis最基本的结构体&＃xff0c;所有Redis对象都被封装在RedisObject中。最基本的结构代码往往是最精简的。该结构中有5个成员&＃xff0c;type 4 比特&＃xff0c;encoding也是4比特。从代码得知&＃xff1a;
Redis的数据类型不超过16种&＃xff0c;编码方式不超过16种&＃xff0c;且类型跟编码方式不一一对应&＃xff0c;一种类型可能有多个编码方式&＃xff0c;数据也可以共享。
首先看Object的第一个成员type&＃xff0c;实际上Redis里面一共有5种类型&＃xff1a;字符串、列表、集合、有序集合、哈希&＃xff0c;这几种方式和type的对应关系见下表。
表中第二列是一般情况下数据类型所用的编码方式&＃xff0c;字符串一般的编码方式是RAW&＃xff0c;List对应的是链表&＃xff0c;集合和哈希表用的是HT&＃xff0c;SortedSet用的是SKIPLIST。很多情况下集合都是用红黑树表示&＃xff0c;比如在C&＃43;&＃43;中&＃xff0c;所以性能复杂度都是log n&＃xff0c;但Redis里面的Set用哈希表实现&＃xff0c;所以读写的复杂度都是O&＃xff08;1&＃xff09;。从表中也可以看出&＃xff0c;所有的数据类型都有不止一种编码方式。Redis在数据量小的情况下&＃xff0c;对数据存储做了一些优化。String还有一种特殊类型&＃xff0c;即INT类型的编码&＃xff0c;接下来会介绍如何利用这些特性。
String是Redis里用的最多的一个类型&＃xff0c;所有的Key都是字符串类型&＃xff0c;一般情况下编码方式是RAW&＃xff0c;它的ptr指向一个sds的数据结构&＃xff0c;sds是Redis用来保存一般字符串的数据结构&＃xff0c;包含Len和Free两个成员的头部。从len字段的存在可以看出&＃xff0c;Redis的字符串不依赖结尾’\0’字符的判断&＃xff0c;可以存二进制数据&＃xff0c;而Free字段的存在表明sds采用了某种预分配的机制。
当字符串较小&＃xff0c;Redis里字符串长度<&＃61;39时&＃xff0c;会用EMBSTR编码方式。在这种编码方式下&＃xff0c;字符串跟Object在连续的内存上&＃xff0c;省去了多次内存分配。不过当字符串增长或者改变时&＃xff0c;不能用该种方式&＃xff0c;需要换成第一种&＃xff0c;所以长度限制为39。
String类型还有一种特殊的编码方式&＃xff0c;即字符串数值是整数的时候&＃xff0c;为特殊的INT类型编码。INT类型不需要ptr指到字符空间&＃xff0c;而是直接用指针的值代表字符串的值&＃xff0c;因此ptr已经不是指针。这样就省去了sds开销&＃xff0c;其内存占用最小。实际上在Redis里&＃xff0c;程序启动时直接创建了10000个RedisObject&＃xff0c;代表1-10000的整型&＃xff0c;如果LRU没有意义&＃xff0c;后面就没有其他开销&＃xff0c;用预先分配好的值。简单来说&＃xff0c;整数类型的Value比普通的Value节省内存&＃xff0c;其值为0-10000&＃xff0c;LRU无效情况下的String Object可共享&＃xff0c;而且一般情况下没必要强求EMBSTR。
上图是压缩列表&＃xff0c;它相当于把所有的成员都叠在一起&＃xff0c;没有额外的数据结构&＃xff0c;空间占用比较小。缺点是读写的时候整个压缩列表都需要修改&＃xff0c;所以一般在数据量小的时候才使用&＃xff0c;一般能达到10倍的压缩比。数据量大小都可以通过配置文件更改&＃xff0c;Hash和List的默认情况是512和64&＃xff0c;需要利用时就对业务进行改造&＃xff0c;可以按日期拆分&＃xff0c;每天一个Key&＃xff0c;也可以按数值取模&＃xff0c;或按前缀拆分等。通过合理的拆分&＃xff0c;充分利用压缩列表特性&＃xff0c;压缩率可达10倍&＃xff0c;平均为5倍。
那其他容器在普通情况下用什么样的数据结构呢&＃xff1f;算法类的数据结构里用的最多的为哈希表。因为它的读写复杂度都是O&＃xff08;1&＃xff09;&＃xff0c;是所有数据结构里面最快的一种。Redis中的哈希表使用链地址法解决hash冲突问题&＃xff0c;若有多个key的hash值一致&＃xff0c;通过遍历链表的形式找到目标Key。当哈希表的负载因子过大时&＃xff0c;冲突几率变大&＃xff0c;其性能就会下降。Redis里面哈希表槽的数目是动态增长的&＃xff0c;HT默认初始大小为4。当负载因子超出合理范围(0.1 – 5)时进行扩缩容(rehash)&＃xff0c;将原来哈希表里面的数值rehash&＃xff0c;放在新的哈希表里面&＃xff0c;也就是说同时存在两个哈希表&＃xff0c;一旧一新。不过一次性rehash太多的Key可能导致服务长时间不可用&＃xff0c;Redis采用渐进式rehash&＃xff0c;分批进行。
Redis里用字典结构对Redis进行封装&＃xff0c;主要就是两个哈希表&＃xff0c;读写复杂度均为O(1)。DICT的读写效率最高。那什么时间进行渐进式Rehash的算法呢&＃xff1f;每次对DICT执行添加、删除、查找或者更新操作时&＃xff0c;除了执行指定的操作以外&＃xff0c;还会顺带将ht[0] 哈希表在rehashidx索引上的所有键值对rehash到ht[1]&＃xff0c;并将rehashidx的值增1&＃xff1b;直到整个ht[0]全部完成rehash后&＃xff0c;rehashindex设为-1&＃xff0c;释放ht[0]&＃xff0c;ht[1]置为ht[0]&＃xff0c;在ht[1]中创建一个新的空白表。
跳跃表是哈希里面用来做排序的&＃xff0c;实现简单&＃xff0c;算法巧妙&＃xff0c;算法效率和平衡树一样。算法核心为&＃xff0c;每插入一个节点&＃xff0c;节点是随机数&＃xff0c;第n&＃43;1层的节点数目为第n层的1/4&＃xff0c;性能如上表所示。
过期机制
接下来介绍Redis里的过期机制。Redis作为内存数据库&＃xff0c;和普通的关系型数据库相比&＃xff0c;优势在于快&＃xff0c;劣势是持久化稍差。实际上很多内存数据库都是来存一些时效性数据&＃xff0c;比如限时优惠活动&＃xff0c;缓存或者验证码可以采用Redis过期机制进行管理。这个时候千万不要忘记设立过期时间&＃xff0c;若不设&＃xff0c;只能等内存满了&＃xff0c;一个个查看Key有没有使用。
在Redis里设过期数据很简单&＃xff0c;直接用expire命令即可。在Key过期的时候&＃xff0c;Redis会自动把这个Key删除。“自动”是指有一个触发时机&＃xff0c;很容易想到用定时器。Redis为了不影响正常的读写操作&＃xff0c;一般只会在必要或CPU空闲的时候做过期清理的动作&＃xff1b;必要的时候即访问Key的时候&＃xff0c;CPU空闲的时候具体分为两个&＃xff0c;一是一次事件循环结束&＃xff0c;进入事件侦听前&＃xff0c;二是系统空闲时做后台定期任务。且第二个是有时间限制的。时间限制为25%的CPU时间。
Redis后台清理任务默认1秒钟执行10次&＃xff0c;也就是100ms。相当于若没有其他操作&＃xff0c;全都用来做后台任务&＃xff0c;后台任务如果把CPU占满的话&＃xff0c;一次可以执行100ms。25%的限制表示&＃xff0c;后台任务里面&＃xff0c;100ms里有25ms可以做过期Key清理&＃xff0c;还有一些其他Redis管理方面的任务要做。
过期Key清理算法比较简单。首先&＃xff0c;依次遍历所有db&＃xff1b;然后&＃xff0c;从db中随机取20个Key&＃xff0c;判断是否过期&＃xff0c;若过期&＃xff0c;则逐出&＃xff1b;若有5个以上Key过期&＃xff0c;则重复上述步骤&＃xff0c;否则遍历下一个db&＃xff1b;在清理过程中&＃xff0c;若达到了时间限制&＃xff0c;超过了25ms&＃xff0c;则退出清理过程。
总结一下算法的特点&＃xff1a;
&＃xff08;1&＃xff09;这是一个基于概率的简单算法&＃xff0c;假设抽出的样本能够代表整个Key空间&＃xff08;如果运气不好&＃xff0c;有20个Key没过期&＃xff0c;刚好取到这20个。算法基础为在CPU允许的时间内一直清理&＃xff0c;一直清理到过期Key占整个db中Key的25%以下&＃xff09;。
&＃xff08;2&＃xff09;单次运行时间有25% CPU时间的限制。
&＃xff08;3&＃xff09;Redis持续清理过期的数据&＃xff0c;直至将要过期的Key的百分比降到了25%以下。
&＃xff08;4&＃xff09;长期来看&＃xff0c;任何给定的时刻已经过期但仍占据着内存空间的Key的量&＃xff0c;最多为每秒的写操作量除以4。因为Redis最大的特色就是高效&＃xff0c;所以会牺牲一些无关紧要的部分。
那么在实际中怎样更好地发挥Key呢&＃xff1f;首先&＃xff0c;淘汰过程以Key为单位&＃xff0c;如果有大Key存在&＃xff0c;有可能删除耗时太长&＃xff0c;从而导致长时间服务不可用。其次&＃xff0c;可以调高HZ参数&＃xff0c;从而可以提升淘汰过期Key的频率&＃xff0c;即删除的更加及时&＃xff1b;相应的&＃xff0c;每次淘汰最大时间限制将减少&＃xff0c;可使系统响应时间变快&＃xff1b;在一般情况下并不能降低过期Key所占比率&＃xff1b;另外&＃xff0c;会导致空闲时CPU占用率提高。不过&＃xff0c;一般情况下可用默认值&＃xff0c;不需要调整。
淘汰机制
机器的内存是有限的&＃xff0c;当Redis的内存超了允许的最大内存&＃xff0c;Redis会按照设定的淘汰策略删掉超出部分的内容。在进行淘汰时&＃xff0c;先判断是否设置了最大允许内存(server.maxmemory)&＃xff1b;若是&＃xff0c;会调用函数freeMemoryIfNeeded&＃xff0c;再判断使用内存是否超出最大内存限制&＃xff1b;若是&＃xff0c;就按照设置的淘汰策略淘汰Key&＃xff0c;直到使用内存小于最大内存。
可以设置不同的淘汰策略决定删除的方法。Redis默认有6种淘汰策略&＃xff0c;如上图所示。前三种都是从已经设置过期时间的Key中删除。Key是临时数据&＃xff0c;若设了过期时间&＃xff0c;相比于普通数据&＃xff0c;优先级会低一些。这里要注意&＃xff0c;lru会影响前面所讲的整数对象的共享。
淘汰算法
淘汰算法的步骤分为五步&＃xff1a;首先&＃xff0c;依次遍历所有db&＃xff1b;然后&＃xff0c;按照设置的淘汰策略挑选一个Key进行淘汰&＃xff1b;若策略是lru或ttl&＃xff0c;采用近似算法&＃xff0c;随机取n个样本&＃xff08;默认为5&＃xff0c;可配置&＃xff09;&＃xff0c;从中选出最佳值&＃xff1b;遍历完后&＃xff0c;计算当前使用内存量是否超过允许值&＃xff1b;若是&＃xff0c;则继续步骤1。
因为大部分的操作都是以Key为单位&＃xff0c;若一个容器对象很大&＃xff0c;对整个Key操作&＃xff0c;或直接删除Key耗时过长&＃xff0c;从而导致其他命令长时间内没法响应到。另外&＃xff0c;写入大Key导致内存超出太多&＃xff0c;下次淘汰就需要淘汰很多内存。比如说最大内存是1G&＃xff0c;写1G内存时发现最大内存没有超&＃xff0c;但是若再写入一个5G的数据&＃xff0c;等下一个命令来&＃xff0c;发现Redis里面有6G数据&＃xff0c;说明有5G的数据要去删除&＃xff0c;那么删除时&＃xff0c;不会一下就取到5G的数值&＃xff0c;很有可能会把其他所有的Key都删除之后&＃xff0c;发现还不够&＃xff0c;然后再删除那5G的数据。还有一个情况&＃xff0c;内存100%且无Key可淘汰时&＃xff0c;这些命令全都不允许再操作了。
内存分析
内存分析能提取业务特点&＃xff0c;了解业务瓶颈&＃xff0c;发现业务Bug。比如一些用户说他们的Key并不多&＃xff0c;但是内存却已满&＃xff0c;分析后才发现&＃xff0c;一个List有16G&＃xff0c;相当于把售卖的数据都放到了同一个Key里面。业务量不多的时候没问题&＃xff0c;业务量增加的时候&＃xff0c;Key就已经很大了&＃xff0c;说明当前的代码已经远远跟不上业务的发展。
内存分析方法有两种&＃xff0c;一种在线&＃xff0c;一种离线。一般采用离线方法&＃xff0c;离线内存分析是把Redis的数据存下来&＃xff0c;放到本地&＃xff0c;不会有风险&＃xff0c;数据可以任意操作&＃xff0c;主要分为3步&＃xff1a;一是生成rdb文件&＃xff08;bgsave&＃xff09;&＃xff0c;二是生成内存快照&＃xff0c;三是分析内存快照。每一步都很简单&＃xff0c;生成内存快照会用到一个开源的工具&＃xff0c;Redis-rdb-tools&＃xff0c;用来做rdb文件的分析。命令为db -c memory dump.rdb > memory.csv。生成的内存快照为csv格式&＃xff0c;包含&＃xff1a;
其中每一个Key都有六列数据&＃xff0c;表明属于第几号数据库&＃xff0c;这里要注意理论内存值&＃xff0c;会比实际略低。程序员可以将生成后的快照导入到数据库&＃xff0c;可以用sqlite&＃xff0c;然后进行数据分析&＃xff0c;这里简单列举几条。
接下来是在线内存分析&＃xff0c;这里以简单的Redis-cli为例&＃xff0c;有一个-bigKeys的选项&＃xff0c;可以把每种类型Key的最大Key找出来。
在这里再分享两个其他的内存分析问题。有时候Redis产品可能并没有多少东西&＃xff0c;内存却满了&＃xff0c;从而排查出来是其他方面的内存占用。一个可能是client占用内存的关系&＃xff0c;因为用rdb分析的时候没有client&＃xff0c;线上的很多连接都会带着一个很长的命令&＃xff0c;Redis里面就会有缓存&＃xff0c;dict rehash也会占用一些内存。内存分析时发现有一些哈希表的内存占据特别大&＃xff0c;因为有些Key很少被访问&＃xff0c;导致rehash被很少触发&＃xff0c;中间缓存的表会一直删不掉。这里可以用一个脚本访问触发rehash&＃xff0c;看内存是否变化&＃xff0c;把表删掉即可。
最佳实践
最佳实践就是分享一下平时遇到的一些好案例&＃xff0c;或者从前面的原理导出的一些结论。首先&＃xff0c;最重要的就是选择正确的数据类型&＃xff0c;主要以满足业务&＃xff0c;性能和场景为优先考量。一般数据量不大的业务&＃xff0c;没必要花很大的精力&＃xff1b;但是对一些主要业务&＃xff0c;就需要做比较细致的优化。如STRING类型对象可以考虑使用整数&＃xff0c;如果是浮点型&＃xff0c;就改成整数&＃xff0c;Id等的值可以考虑用整数而不是字符串&＃xff0c;小整数多的时候考虑使用LRU无关逐出策略等。对于数据量大&＃xff0c;比较重要&＃xff0c;需要做深入优化业务&＃xff0c;还可以充分利用压缩列表&＃xff0c;平均来说有5倍的压缩比。
这里举个官网上的例子&＃xff0c;在存Key - Value的时候&＃xff0c;以object后面加一个整数作为ID&＃xff0c;整个数据库里可能都是这种类型的数据&＃xff0c;量又特别大&＃xff0c;想对它优化的时候&＃xff0c;比较通用的优化方法就是取模&＃xff0c;相同前缀的Key单独做hash。整个db空间相当于一个大的哈希表&＃xff0c;这样就把本来分配给整个db空间的Key&＃xff0c;按照不同的前缀分成小的哈希表&＃xff0c;每个哈希表里面保证数据比较小&＃xff0c;那这个哈希表就会用压缩列表来保存。
Redis里其实有7种数据类型&＃xff0c;另外2种是普通的String&＃xff0c;独立出来用于特定场合&＃xff0c;它是效率非常高且有用的一种方式。
第一个是位图Bitmap&＃xff0c;它存储起来实际上就是字符串&＃xff0c;最大可以是512M&＃xff0c;当用一些读写的位操作函数操作时&＃xff0c;位操作很快。其原理是&＃xff0c;若统计一个网站的UV&＃xff0c;用来访问的用户的ID做标识。其好处是节省空间。如果按传统的集合方式实现&＃xff0c;则内存占用大&＃xff0c;且难以合并。如果每天的用户访问都做了集合&＃xff0c;那么统计一周内的访问&＃xff0c;做集合的并集操作&＃xff0c;比较占时间。而用bitmap只需将每天的字符串按位与&＃xff0c;计算较快。比如要统计用户每天有没有访问网站&＃xff0c;1000万个用户实际上只需要430M&＃xff0c;用集合会很大。若统计UV&＃xff0c;一亿两千八百万用户做位操作基本上也是几百毫秒。 Bitmap需要注意的问题是&＃xff0c;字符串的最大长度是用户的ID指定&＃xff0c;用户的ID是多少&＃xff0c;就把bitmap的相应位设为1&＃xff0c;因此如果ID取的很大&＃xff0c;而用户量很少&＃xff0c;Bitmap很稀疏的话&＃xff0c;相比集合并不能体现其优势。而且大的bit位一次分配会导致setbit时间过长。那么&＃xff0c;需要合理的进行bit位的压缩&＃xff0c;可以用相对值不用绝对值&＃xff0c;按位分开成多个Bitmap&＃xff0c;每10000个用户单独用一个bitmap&＃xff0c;存相对值&＃xff1b;再或者用哈希函数映射成定长的ID如64位等。
第二是HyperLogLog&＃xff0c;它是一个算法&＃xff0c;和日志没关系&＃xff0c;用于计数统计&＃xff0c;操作很快&＃xff0c;最大空间占用12K&＃xff0c;可以记2^64个数据&＃xff0c;误差只有0.81%。也就是说&＃xff0c;要追求准确&＃xff0c;就用Bitmap&＃xff0c;但是有些业务允许有一些误差&＃xff0c;可以使用HyperLogLog。HyperLogLog就是用来统计位有没有记成1&＃xff0c;不管IP是多少&＃xff0c;只要12K 的内存就够了。如果用集合&＃xff0c;一百万个IP&＃xff0c;64字节&＃xff0c;一年的数据可能就要5.4G&＃xff0c;1亿个IP&＃xff0c;一年就要540G&＃xff0c;HyperLogLog只要4M就可以。
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有