冷启动优化：预留并发与Provisioned

可视化演示

演示冷启动延迟构成、预留并发预热与成本权衡，展示Serverless如何用预置实例消除冷启动。

冷启动成因：灶台为什么是凉的

玲姐的云端面馆，客人扫码下单后才开始捅炉子、烧水、切牛肉。如果刚好赶上厨师换班或食材刚送到，一碗面就要等上十分钟。这种“下单才开火”的等待，在函数计算世界里就是冷启动——请求已经来了，装函数的“灶台”却还是凉的。

Serverless 函数平时不占用资源，请求到达时云平台才创建执行环境。新环境要做一系列准备工作：分配内存、创建沙箱、启动运行时、解压并加载你的代码与依赖，最后还要配置网络。这些环节叠加在一起，就构成了冷启动延迟。代码包越大、依赖越多、运行时越重，每一环就会被拉得越长。

冷启动总耗时近似等于四部分之和：环境创建、运行时启动、代码加载与网络配置：

所以冷启动的本质是“灶凉、人未到、菜未备”。知道了时间花在哪，下一步就能对症下药：要么让灶早点热起来，要么简化备菜流程。

冷启动影响：客人久等的代价

客人等十分钟不见面，气冲冲走了，还留个差评。对互联网应用来说，一次首请求的卡顿可能让用户直接点击“返回”；对电商大促，冷启动等待甚至会拖垮整场活动的转化率。

冷启动最伤的是同步调用。后台异步任务多等几十秒还能接受，但用户直接点击的接口，几百毫秒的额外等待都足以被感知。更麻烦的是“雪崩效应”：突发流量时大量请求同时触发冷启动，平台要在瞬间创建几十上百个环境，CPU、内存、网络争抢让每个新环境的初始化都更慢，延迟进一步被放大。

从整体看，系统平均延迟是冷启动与热启动两种状态的加权平均：

每十个客人里若有两个撞上“临时开灶”，整体体验就会被拖慢。优化的关键，是让“踩雷”变成“零踩雷”。

预留并发：常驻后厨的师傅

玲姐后来雇了两名固定厨师全天驻店，灶台常年有火，熟客来了随时能炒菜。这套“有人、有灶”的做法，就是最朴素的预留。

预留并发（Reserved Concurrency）正是这种思路：为某个函数锁定一定量的并发额度，确保它不会被账户里其他函数抢走资源。它解决的是容量保证问题——即使别的函数把账户并发打满，核心函数依然能拉起自己的实例，避免因排队等资源而陷入超长延迟。

预留并发的资源利用率，定义是实际并发与预留额度的比值：

不过，预留并发更像“保证了时段内一定有灶可用”，并没有保证每口灶都是热的。想做到“坐下就上菜”，还需要 Provisioned 来实现真正的预热。

Provisioned：提前烧热的灶台

每到饭点，玲姐会提前半小时让后厨把所有灶烧热、高汤煮上、浇头摆齐，客人落座就能点菜，三分钟上桌。这就是预置并发（Provisioned Concurrency）的日常。

Provisioned Concurrency 直接创建并保持指定数量的热实例，请求到达后跳过全部初始化环节，立刻进入业务代码执行。它与预留并发的本质区别在于“温度”：预留只保证容量配额，预置则真的把实例初始化好、烤热了等你。它通常配置在函数的某一版本或别名上，发布新版本时可以先预热再引流，避免上线瞬间的冷启动风暴。

省了时间，就不能省成本。预置并发即使没有请求也在计费，总成本由预置成本和调用成本两部分构成：

Provisioned 是“花钱买热灶”，最适合高峰时段和延迟敏感的核心链路。到底配多少才划算？这就要靠监控数据来指挥了。

最佳实践：面馆后厨的系统优化

为了少烧钱，玲姐精简了菜单：去掉卖得慢的菜，提前备好爆款浇头，汤底一早就熬上。冷启动优化同样需要多管齐下。

最直接的是给代码“瘦身”：精简第三方依赖、压缩部署包、去掉无用代码。其次是选择启动更快的运行时，轻量的 Node.js、Python 通常比 Java 冷启动快得多。耗时的初始化（如加载 AI 模型）应改为惰性加载——等真正需要推理时再读文件，避免阻塞启动。还可以用分层（Layers）共享公共依赖，让每次部署包更小。VPC 能不用就不用，或用接口网关加速网络挂载。

衡量每一轮优化的成效，看延迟的加速比：

优化是层层叠加的：菜单精简一点、高汤提前熬、灶台先烧热，综合起来客人等面的时间就能从十分钟压到两分钟。

监控调优：用数据指挥后厨

玲姐每天打烊后记账：哪道菜点得多、几点最忙、客人平均等餐多久。第二天她就根据这些数据决定备多少料、几点开灶。调优冷启动也一样，先看数据，再动配置。

Serverless 平台提供多种关键指标：冷启动次数、调用次数、初始化耗时分布、P95/P99 延迟、并发利用率。把这些指标按时间维度观察，就能锁定冷启动高发时段与具体函数。配合链路追踪工具，还能进一步判断慢在环境创建还是代码初始化，从而决定该走“预置热实例”还是“代码瘦身”路线。

到了调优阶段，要用流量估算需要预置的并发量。一个实用的近似公式来自 Little's Law：

玲姐最终靠数据做到了“几点客多几点开火”，既不多烧一分钱煤气，也不让客人多等一秒。冷启动优化不是拍脑袋，而是一整套“监控 — 分析 — 预置 — 复盘”的循环。

AI 应用场景

Python 演示

import random  class ServerlessSimulator:    def __init__(self, provisioned=0, cold_ms=1200, hot_ms=80, idle_timeout=4):        self.provisioned = provisioned        self.cold_ms = cold_ms        self.hot_ms = hot_ms        self.idle_timeout = idle_timeout        self.instances = []  # hot instances, each stores idle step count        self.cold_count = 0        self.hot_count = 0     def _tick(self):        # remove instances that have been idle too long        self.instances = [t + 1 for t in self.instances if t < self.idle_timeout]     def handle_request(self):        self._tick()        # keep at least provisioned hot instances ready        if len(self.instances) < self.provisioned:            self.instances.append(0)        if self.instances:            # reuse the most recently used hot instance            self.instances.sort()            self.instances[0] = 0            self.hot_count += 1            return self.hot_ms + random.randint(0, 20)        # no hot instance, must cold start        self.cold_count += 1        self.instances.append(0)        return self.cold_ms + random.randint(0, 300)     def run(self, requests):        latencies = []        for _ in range(requests):            latencies.append(self.handle_request())        return latencies  def simulate(provisioned, requests=300):    sim = ServerlessSimulator(provisioned=provisioned)    latencies = sim.run(requests)    avg = sum(latencies) / len(latencies)    cold_ratio = sim.cold_count / requests    return avg, cold_ratio  def main():    print("Serverless Cold Start Simulator")    for provisioned in [0, 5, 20, 50]:        avg_latency, cold_ratio = simulate(provisioned)        print("provisioned=%3d  avg_latency=%6.1f ms  cold_ratio=%.1f%%"              % (provisioned, avg_latency, cold_ratio * 100))  if __name__ == "__main__":    main()

1. self.instances = [t + 1 for t in self.instances if t < self.idle_timeout]模拟平台回收空闲过久的实例，这是“冷”的来源。
2. if len(self.instances) < self.provisioned:预置并发不足时先补齐热实例，相当于提前烧好灶。
3. self.instances.sort(); self.instances[0] = 0优先复用最近空闲的热实例，模拟热启动直接处理。
4. return self.cold_ms + random.randint(0, 300)无热实例时返回冷启动延迟，数值明显高于热启动。
5. print("provisioned=%3d avg_latency=%6.1f ms cold_ratio=%.1f%%"输出对比结果，让读者直观看到预置越大、冷启动率越低。

常见误区

面试题