海量数据和高并发下的 Redis 业务优化实践

转自：码洞 ID：codehole

观众朋友们，我是来自掌阅的工程师钱文品，今天我带来的是分享主题是：Redis 在海量数据和高并发下的优化实践。Redis 对于从事互联 技术工程师来说并不陌生，几乎所有的大中型企业都在使用 Redis 作为缓存数据库，但是对于绝大多数企业来说只会用到它的最基础的 KV 缓存功能，还有很多 Redis 的高级功能可能都未曾认真实践过。今天在这一个小时的时间我会围绕 Redis，分享在平时的日常业务开发中遇到的 9 个经典案例，希望通过此次分享可以帮助大家更好的将 Redis 的高级特性应用到日常的业务开发中来。

掌阅电子书阅读软件 ireader 的总用户量大概是 5亿左右，月活 5kw，日活近 2kw 。服务端有 1000 多个 Redis 实例，100+ 集群，每个实例的内存控制在 20g 以下。

KV 缓存

第一个是最基础也是最常用的就是 KV 功能，我们可以用 Redis 来缓存用户信息、会话信息、商品信息等等。下面这段代码就是通用的缓存读取逻辑。

这个过期时间非常重要，它通常会和用户的单次会话长度成正比，保证用户在单次会话内尽量一直可以使用缓存里面的数据。当然如果贵公司财力雄厚，又极致注重性能体验，可以将时间设置的长点甚至干脆就不设置过期时间。当数据量不断增长时，就使用 Codis 或者 Redis-Cluster 集群来扩容。

除此之外 Redis 还提供了缓存模式，Set 指令不必设置过期时间，它也可以将这些键值对按照一定的策略进行淘汰。打开缓存模式的指令是：config set maxmemory 20gb ，这样当内存达到 20gb 时，Redis 就会开始执行淘汰策略，给新来的键值对腾出空间。这个策略 Redis 也是提供了很多种，总结起来这个策略分为两块：划定淘汰范围，选择淘汰算法。比如我们线上使用的策略是 allkeys-lru。这个 allkeys 表示对 Redis 内部所有的 key 都有可能被淘汰，不管它有没有带过期时间，而volatile只淘汰带过期时间的。Redis 的淘汰功能就好比企业遇到经济寒冬时需要勒紧裤腰带过冬需要进行一轮残酷的人才优化。它会选择只优化临时工呢，还是所有人一律平等都可能被优化。当这个范围圈定之后，会从中选出若干个名额，怎么选择呢，这个就是淘汰算法。最常用的就是 LRU 算法，它有一个弱点，那就是表面功夫做得好的人可以逃过优化。比如你乘机赶紧在老板面前好好表现一下，然后你就安全了。所以到了 Redis 4.0 里面引入了 LFU 算法，要对平时的成绩也进行考核，只做表面功夫就已经不够用了，还要看你平时勤不勤快。最后还一种极不常用的算法 —— 随机摇 算法，这个算法有可能会把 CEO 也给淘汰了，所以一般不会使用它。

分布式锁

下面我们看第二个功能 —— 分布式锁，这个是除了 KV 缓存之外最为常用的另一个特色功能。比如一个很能干的资深工程师，开发效率很快，代码质量也很高，是团队里的明星。所以呢诸多产品经理都要来烦他，让他给自己做需求。如果同一时间来了一堆产品经理都找他，它的思路呢就会陷入混乱，再优秀的程序员，大脑的并发能力也好不到哪里去。所以呢他就在自己的办公室的门把上挂了一个请勿打扰的牌子，当一个产品经理来的时候先看看门把上有没有这个牌子，如果没有呢就可以进来找工程师谈需求，谈之前要把牌子挂起来，谈完了再把牌子摘了。这样其它产品经理也要来烦他的时候，如果看见这个牌子挂在那里，就可以选择睡觉等待或者是先去忙别的事。如是这位明星工程师从此获得了安宁。

当消费者是多线程或者多进程的时候，这里会存在竞争浪费问题。当前线程明明将 task_json 从 zset 中轮询出来了，但是通过 zrem 来争抢时却抢不到手。这时就可以使用 LUA 脚本来解决这个问题，将轮询和争抢操作原子化，这样就可以避免竞争浪费。

为什么我要将分布式锁和延时队列一起讲呢，因为很早的时候线上出了一次故障。故障发生时线上的某个 Redis 队列长度爆表了，导致很多异步任务得不到执行，业务数据出现了问题。后来查清楚原因了，就是因为分布式锁没有用好导致了死锁，而且遇到加锁失败时就 sleep 无限重试结果就导致了异步任务彻底进入了睡眠状态不能处理任务。那这个分布式锁当时是怎么用的呢的就是 setnx + expire，结果在服务升级的时候停止进程直接就导致了个别请求执行了 setnx，但是 expire 没有得到执行，于是就带来了个别用户的死锁。但是后台呢又有一个异步任务处理，也需要对用户加锁，加锁失败就会无限 sleep 重试，那么一旦撞上了前面的死锁用户，这个异步线程就彻底熄火了。因为这次事故我们才有了今天的正确的分布式锁形式以及延时队列的发明，还有就是优雅停机，因为如果存在优雅停机的逻辑，那么服务升级就不会导致请求只执行了一半就被打断了，除非是进程被 kill -9 或者是宕机。

定时任务

分布式定时任务有多种实现方式，最常见的一种是 master-workers 模型。master 负责管理时间，到点了就将任务消息仍到消息中间件里，然后worker们负责监听这些消息队列来消费消息。著名的 Python 定时任务框架 Celery 就是这么干的。但是 Celery 有一个问题，那就是 master 是单点的，如果这个 master 挂了，整个定时任务系统就停止工作了。

如果你觉得 Quartz 内部的代码复杂的让人看不懂，分布式文档又几乎没有，很难折腾，可以试试 Redis，使用它会让你少掉点头发。

频率控制

如果你做过 区就知道，不可避免总是会遇到垃圾内容。一觉醒来你会发现首页突然会某些莫名其妙的广告帖刷屏了。如果不采取适当的机制来控制就会导致用户体验收到严重影响。

控制广告垃圾贴的策略非常多，高级一点的通过 AI，最简单的方式是通过关键词扫描。还有比较常用的一种方式就是频率控制，限制单个用户内容生产速度，不同等级的用户会有不同的频率控制参数。

频率控制就可以使用 Redis 来实现，我们将用户的行为理解为一个时间序列，我们要保证在一定的时间内限制单个用户的时间序列的长度，超过了这个长度就禁止用户的行为。它可以是用 Redis 的 zset 来实现。

这样还不够，因为服务有可能是异常终止，根本没机会执行钩子，所以需要使用一个额外的线程来清理服务列表中的过期项

接下来还有一个重要的问题是如何通知消费者服务列表发生了变更，这里我们同样使用版本 轮询机制。当服务列表变更时，递增版本 。消费者通过轮询版本 的变化来重加载服务列表。

但是还有一个问题，如果消费者依赖了很多的服务列表，那么它就需要轮询很多的版本 ，这样的 IO 效率会比较低下。这时我们可以再增加一个全局版本 ，当任意的服务列表版本 发生变更时，递增全局版本 。这样在正常情况下消费者只需要轮询全局版本 就可以了。当全局版本 发生变更时再挨个比对依赖的服务列表的子版本 ，然后加载有变更的服务列表。

所以呢就有了咆哮位图这个数据结构，它对大位图进行了分段存储，全位零的段可以不用存。另外还对每个段设计了稀疏存储结构，如果这个段上置 1 的位不多，可以只存储它们的偏移量整数。这样位图的存储空间就得到了非常显著的压缩。

这个咆哮位图在大数据精准计数领域非常有价值，感兴趣的同学可以了解一下。

https://juejin.im/post/5cf5c817e51d454fbf5409b0

模糊计数

前面提到这个签到系统，如果产品经理需要知道这个签到的日活月活怎么办呢常我们会直接甩锅——请找数据部门。但是数据部门的数据往往不是很实时，经常前一天的数据需要第二天才能跑出来，离线计算是通常是定时的一天一次。那如何实现一个实时的活跃计数/p>

最简单的方案就是在 Redis 里面维护一个 set 集合，来一个用户，就 sadd 一下，最终集合的大小就是我们需要的 UV 数字。但是这个空间浪费很严重，仅仅为了一个数字要存储这样一个庞大的集合似乎非常不值当。那该怎么办/p>

这时你就可以使用 Redis 提供的 HyperLogLog 模糊计数功能，它是一种概率计数，有一定的误差，误差大约是 0.81%。但是空间占用很小，其底层是一个位图，它最多只会占用 12k 的存储空间。而且在计数值比较小的时候，位图使用稀疏存储，空间占用就更小了。

https://github.com/aviggiano/redis-roaring

布隆过滤器

最后我们要讲一下布隆过滤器，如果一个系统即将会有大量的新用户涌入时，它就会非常有价值，可以显著降低缓存的穿透率，降低数据库的压力。这个新用户的涌入不一定是业务系统的大规模铺开，也可能是因为来自外部的缓存穿透攻击。

比如上面就是这个业务系统的用户状态查询接口代码，现在一个新用户过来了，它会先去缓存里查询有没有这个用户的状态数据，因为是新用户，所以肯定缓存里没有。然后它就要去查数据库，结果数据库也没有。如果这样的新用户大批量瞬间涌入，那么可以预见数据库的压力会比较大，会存在大量的空查询。

我们非常希望 Redis 里面有这样的一个 set，它存放了所有用户的 id，这样通过查询这个 set 集合就知道是不是新用户来了。当用户量非常庞大的时候，维护这样的一个集合需要的存储空间是很大的。这时候就可以使用布隆过滤器，它相当于一个 set，但是呢又不同于 set，它需要的存储空间要小的多。比如你存储一个用户 id 需要 64 个字节，而布隆过滤器存储一个用户 id 只需要 1个字节多点。但是呢它存的不是用户 id，而是用户 id 的指纹，所以会存在一定的小概率误判，它是一个具备模糊过滤能力的容器。

当它说用户 id 不在容器中时，那么就肯定不在。当它说用户 id 在容器里时，99% 的概率下它是正确的，还有 1% 的概率它产生了误判。不过在这个案例中，这个误判并不会产生问题，误判的代价只是缓存穿透而已，相当于有 1% 的新用户没有得到布隆过滤器的保护直接穿透到数据库查询，而剩下的 99% 的新用户都可以被布隆过滤器有效的挡住，避免了缓存穿透。

布隆过滤器的原理有一个很好的比喻，那就是在冬天一片白雪覆盖的地面上，如果你从上面走过，就会留下你的脚印。如果地面上有你的脚印，那么就可以大概率断定你来过这个地方，但是也不一定，也许别人的鞋正好和你穿的一模一样。可是如果地面上没有你的脚印，那么就可以 100% 断定你没来过这个地方