热点Key与缓存穿透雪崩防护

可视化演示

展示热点Key检测（Count-Min Sketch频率统计+本地缓存/分散/限流）、布隆过滤器穿透防护（位数组映射+拦截不存在Key）与缓存雪崩击穿（随机TTL防雪崩+互斥重建防击穿），交互切换核心防护策略。

热点Key识别

奶茶店一天能卖出几百杯，但店员不可能记住每一杯进了谁的肚子。店长的做法是：在点单小票上给每款饮品画“正”字，每隔几分钟数一数，哪款杯子数量突然暴涨，就赶紧把它列为爆款。缓存系统的热点Key识别，做的也是这件事——用访问计数代替人工记忆。

在分布式系统中，每个缓存Key被访问的次数在时间窗口内累计成计数。如果某个Key的计数远超平均水平，就可以判定为热点。但如果阈值设成固定值，大促和平时显然不一样。更聪明的做法是用均值加标准差算出动态阈值：假设窗口内所有Key的访问量近似满足正态分布，那么偏离均值数倍标准差的Key，就是异常热点。

识别热点只是第一步。就像店长发现爆款后，不能干等着柜台被挤爆，而要把小黑板复制到多个窗口——这就是下一节要讲的打散。

热点Key打散

既然爆款把某个窗口挤得水泄不通，最简单的办法就是多开几个窗口。店长把“生椰拿铁”的小黑板抄了三份，分别挂在1号、2号、3号窗口，顾客不用全挤在同一个地方。技术上的说法叫热点Key打散：把原本集中在同一个缓存节点上的Key，拆成多个副本，分散请求压力。

具体做法是给Key加后缀。比如原Key是 hot:drink，拆成 hot:drink#0、hot:drink#1、hot:drink#2 三个副本。请求到来时，对Key做哈希后对副本数取模，路由到不同的副本。这样每个副本只承担原来三分之一的流量。还可以在应用本地放一份热点缓存，就近返回，连网络请求都省了。

需要注意的是，拆分成多个副本后，同一个逻辑Key有了多个物理Key，更新缓存时一定要同时更新所有副本，否则不同窗口的顾客会看到不一样的小黑板，造成数据不一致。

穿透成因

有人走进奶茶店，问：“有飞天茅台奶茶吗？”店员翻了翻菜单，没有。但这个人不死心，天天来问，每次店员都得跑到后厨翻找一遍。后厨本来要忙着做真单，却被这些不存在的订单反复打扰。这就是缓存穿透：查询一个缓存和数据库中都不存在的数据，缓存永远不会命中，请求每次都直接落到数据库。

更糟糕的是，恶意攻击者会故意构造大量不存在的Key，让这些请求绕过缓存直达DB。此时数据库的负载等于所有“无效查询”的代价之和。如果每秒有10万个不存在的Key请求，每个查询耗时10毫秒，数据库就得同时处理1000个并发查询，很容易被打垮。

解决穿透问题的思路，就是让那些“不存在的订单”不要反复跑到后厨去。可以贴一张“暂无”便利贴，也可以放一本全菜单目录。

穿透防护

面对三番五次来问“飞天茅台奶茶”的顾客，店长想出三个办法：第一，在吧台小黑板上也写上“暂不供应”，下次有人问直接指给他看；第二，在门口放一本完整菜单目录，目录里没有的饮品，店员直接回答“没有”，连吧台都不用跑；第三，对频繁点“不存在饮品”的账号限流，超过次数就请出去。

这三个办法对应技术上的空值缓存、布隆过滤器和请求校验/限流。空值缓存把“查询结果为空”也存进缓存，虽然值是一个空标记，但TTL要设得很短，避免占用空间。布隆过滤器则是一个精巧的位图结构，它能把“绝对不存在”的Key快速筛掉，但有个代价：有误判率，可能把不存在的Key误认为存在，但绝不会把存在的Key误认为不存在。

布隆过滤器非常适合“宁可多查一次库，也不能漏掉真实数据”的场景。因为它的误判只会带来少量额外DB查询，而不会导致真实数据被过滤掉。

雪崩成因

奶茶店打烊前，店员把所有便利贴同时撕掉，准备换上新的。就在这几十秒里，新便利贴还没贴好，顾客却已经涌到吧台，发现小黑板上一片空白，只能全都去问店员、跑后厨。后厨一下子接到所有品类的问题，瞬间过载。这就是缓存雪崩：大量Key在同一时刻失效，或缓存节点整体宕机，导致高并发请求直接打到数据库。

很多系统对缓存设置了固定的TTL，比如统一5分钟过期。如果这些Key又恰好是在同一个时间点写入的，那么它们也会在同一时间点集体过期。缓存刚失效的瞬间，所有请求都穿透到DB，数据库承受不住，系统就雪崩了。

既然雪崩的根源之一是“同时失效”，那预防的思路就很明显了：别让所有便利贴同时被撕掉，让它们错开时间，一前一后地更换。

雪崩预防

店长学聪明了，不再让所有便利贴在同一时刻更换，而是给每张便利贴随机加几秒“时差”：1号贴1分钟后换，2号贴1分零3秒后换，3号贴1分零7秒后换。这样就算一批便利贴过期，也不会造成“全员空白”的窗口。技术上的做法是TTL加随机偏移：在基础过期时间上，给每个Key加上一个随机数。

除了错开过期时间，还要做多级缓存兜底：本地缓存挡一层，Redis挡一层，数据库只接最后一层“漏网之鱼”。同时给数据库加上熔断限流——就像后厨门口加一道闸门，每秒最多放行1000个订单，超出的先排队或直接提示“稍后再试”。

多级缓存和熔断限流是雪崩的“最后一层安全网”。即便缓存真的全部失效，数据库也不会被击穿，因为闸门已经提前设好上限。

监控运维

无论小黑板设计得多巧妙，店长也不能当甩手掌柜。他每天要看小票数据，监控哪款饮品销量异常，评估后厨最大产能，还要定期做“停电演练”——模拟便利贴全部被吹落时，系统能不能扛住。缓存系统同样需要监控运维：实时监控热点Key、评估容量、压测演练、准备应急预案。

容量规划可以用一个简单的公式：根据峰值QPS、单次查询耗时的乘积，算出所需的处理能力，再除以单机实例的容量，得到需要多少实例。这样即便流量翻倍，也能提前扩好机器。

监控运维是缓存防护体系的“最终闭环”。识别、打散、防护、预防都不是一次性动作，只有持续观察和演练，才能让奶茶店在每一次爆单来临时都稳如泰山。

AI 应用场景

Python 演示

import timeimport hashlib  class BloomFilter:    def __init__(self, size, hash_num):        self.bits = [False] * size        self.hash_num = hash_num     def _hashes(self, key):        return [int(hashlib.md5((key + str(i)).encode()).hexdigest(), 16) % len(self.bits)                for i in range(self.hash_num)]     def add(self, key):        for pos in self._hashes(key):            self.bits[pos] = True     def contains(self, key):        return all(self.bits[pos] for pos in self._hashes(key))  class Cache:    def __init__(self):        self.data = {}        self.expire_at = {}     def get(self, key):        if key not in self.data:            return None        if time.time() > self.expire_at[key]:            del self.data[key]            del self.expire_at[key]            return None        return self.data[key]     def set(self, key, value, ttl):        self.data[key] = value        self.expire_at[key] = time.time() + ttl  DB = {"goods:1001": "手机", "goods:1002": "耳机"}EMPTY_TTL = 30NORMAL_TTL = 300  def build_bloom_filter(keys, size=1024, hash_num=4):    bf = BloomFilter(size, hash_num)    for k in keys:        bf.add(k)    return bf  bloom = build_bloom_filter(DB.keys())cache = Cache()  def query_with_cache(key):    cached = cache.get(key)    if cached is not None:        return cached, "cache"    if not bloom.contains(key):        return None, "not_exists"    db_value = DB.get(key)    if db_value is None:        cache.set(key, "N/A", EMPTY_TTL)        return None, "empty_cached"    cache.set(key, db_value, NORMAL_TTL)    return db_value, "db"  def detect_hot_keys(count_map, threshold):    return [k for k, c in count_map.items() if c >= threshold]  if __name__ == "__main__":    for _ in range(5):        print(query_with_cache("goods:1001"))    for _ in range(5):        print(query_with_cache("not_exist_key"))    hot = detect_hot_keys({"goods:1001": 100, "goods:1002": 3}, threshold=10)    print("热点Key:", hot)

1. def _hashes(self, key): return [...]用多个哈希函数把Key映射到位数组的多个位置，是布隆过滤器的核心。
2. if not bloom.contains(key): return None, "not_exists"过滤器说没有就是没有，直接返回，不查DB。
3. cache.set(key, "N/A", EMPTY_TTL)空结果也缓存30秒，后续相同的穿透请求被挡住。
4. return [k for k, c in count_map.items() if c >= threshold]统计访问量超过阈值的Key，就是热点Key。

常见误区

面试题