像勘探金矿一样调参：Hyperband 与 BOHB 高效调参算法

可视化演示

展示连续减半策略的资源分配与淘汰机制、BOHB贝叶斯优化采样过程及三种调参方法的收敛对比。

调参困境：茫茫矿区的两难选择

矿区一眼望不到边，你却只有有限的挖掘队伍。如果像新手一样随便选几个点就往死里挖，大概率白费力气；如果用网格把矿区切成方块逐格深挖，时间和金钱都不允许。这就是超参数调优面临的两难：学习率、批大小、网络层数、dropout 比例……每个维度都有若干个候选值，组合起来的空间大得吓人，而每一次完整训练都要消耗大量算力。

把每个超参数配置想象成一块待勘探的地皮，验证集准确率是地皮的“含金量”，一次完整训练的 epoch 数则是挖井深度。网格搜索相当于把每块地皮都挖到同样的标准深度，成本极高；随机搜索则是不加区分地随机抽查，容易遗漏藏在偏僻角落的富矿。二者都没有回答一个关键问题：如何用有限的勘探预算，尽可能多地覆盖有潜力的区域？

这正是需要系统性思维的地方。理论上看，假设超参数有 d 个维度，第 i 个维度有 k_i 个候选值，那么配置空间大小是各个维度候选数目的乘积：

在如此庞大的搜索空间里，盲目深挖注定低效。幸运的是，聪明的矿工找到了新思路：先浅挖，再淘汰，后深挖——这就是连续减半策略的雏形。

连续减半：先用浅井筛出富矿带

矿区太大，你决定改变策略：先在整片区域打一批浅井，每口井都只挖同样的浅深度。浅井虽然看不到深层矿脉，但地表样本的含金量已经能初步反映这块地皮有没有潜力。打完一批浅井后，你果断放弃含金量最低的那一大半地皮，把有限的队伍集中到剩下的小块区域，把井挖得更深一些，再淘汰一批，再加深……直到最后只留下几块最富的地皮重点开采。

这套流程对应机器学习里的连续减半（Successive Halving）算法：先给所有候选配置分配相同的小额预算（比如 1 个 epoch），评估一轮后按性能排序，淘汰掉表现最差的一部分；幸存配置获得更多预算（比如 3 个 epoch），再评估再淘汰，如此循环。每一步淘汰的比例由超参数 η 控制，η 越大，淘汰越狠，资源越集中。若本轮有 n_t 个配置，下一轮保留数为：

连续减半的精髓在于“浅试快筛”：早期只用一点点资源就能砍掉大部分明显没希望的配置，把省下来的钱集中投给少数高潜选手。但单轮连续减半有一个隐患——它一上来就给所有配置同样的小预算，那些“慢热”的配置可能还没展现实力就被淘汰了。

预算编排：把总账算清楚再开工

连续减半想顺利运转，必须先回答几个财务问题：总预算是多少？浅井最浅挖多浅？深井最深挖多深？每一轮怎么分钱？Hyperband 的设计者把这些账算得明明白白。他们把训练资源（epoch 数、数据量、计算时间）统称为预算，记为 r；最小的预算记为 r_min，最大的预算记为 R。最大最小预算之间呈指数关系：

有了这套预算编排，Hyperband 才能做到心里有数：既不会因为总预算超支而无法落地，也不会因为单轮预算太少而漏掉潜力配置。算好账之后，接下来就要设计多路并行的勘探计划了。

Hyperband核心：多档并行的勘探总指挥

如果你只跑一轮连续减半，所有配置都从同样的浅预算起步，那些需要更多轮次才能显现优势的配置会被早早误杀。Hyperband 给出的解决方案是：同时运行多套连续减半流程，每套流程从一个不同的预算档位起步。就像同时派出好几支勘探队，一支从非常浅的井开始广撒网，另一支从稍深的井开始，还有一支直接从接近最终预算的深度开始——让不同“性格”的配置都有机会展示自己。每一套这样的流程称为一个“bracket”。

在第 s 个 bracket 中，初始配置数 n_s 由总预算 B、最大预算 R、η 和 s 共同决定：

Hyperband 通过这种多档并行设计，兼顾了“快探索”和“深利用”：低档 bracket 覆盖宽广的配置空间，高档 bracket 聚焦少数高潜配置稳定深挖。实验表明，它能在相同总预算下比纯随机搜索找到明显更好的配置。那么，能不能让这套流程更聪明一点——让它在挖矿途中学会总结经验，主动瞄准更可能出金的区域？

BOHB融入：给矿工配一张贝叶斯藏宝图

老矿工挖得多了，会慢慢形成一种直觉：靠近河流的东侧区域出金率似乎更高，下次勘探就多往东边走走。BOHB（Bayesian Optimization + Hyperband）就是把这种“直觉”形式化的产物。它保留了 Hyperband 的连续减半框架，但把每一轮 bracket 中随机采样新配置的做法，替换成了基于历史评估数据的贝叶斯优化采样。历史评估就像一张逐渐完善的藏宝概率地图，指引新配置从高潜区域产生。

BOHB 使用的代理模型是 TPE（Tree-structured Parzen Estimator）。它把已有的评估结果按某个分子（例如前 25% 的优质配置）分成两组：一组是表现好的“富矿区样本”，另一组是表现差的“贫矿区样本”。然后分别估计两组样本的概率密度，用它们的比值作为选择新配置的依据。新配置应该让“落在富矿区附近”的概率尽量大：

需要注意的是，BOHB 并不是全程使用贝叶斯优化。在预算非常小、评估噪声大的阶段，它依然使用随机采样，因为此时历史数据太少，硬套代理模型反而会误导方向；当评估数据积累到足够多时，才切到 TPE 采样。这种“浅层随机、深层贝叶斯”的混合策略，让 BOHB 既保持了探索多样性，又能快速聚焦最优区域。

工程实践：收敛更快、落地更稳的选型参考

回到金矿场景：同样是两个月的勘探周期，使用 Hyperband 的团队能筛完整个矿区的地表样本，锁定最富的几条矿脉；而按部就班的团队可能才挖完网格里的零星几块地。实验数据也印证了这一点：在相同总预算下，Hyperband/BOHB 的收敛速度明显快于纯随机搜索，最终找到的配置性能也更好。BOHB 在 Hyperband 的基础上，进一步借助历史数据加速收敛，在中等预算阶段就能逼近最优结果。

从工程角度，这套方案的“加速比”可以直观地理解成：随机搜索把所有预算平均花在每个配置的完整训练上，而 Hyperband 把同样的预算通过多层筛选花在了刀刃上。

AI 应用场景

Python 演示

import mathimport random  def evaluate(config, budget):    """Toy 目标函数：预算越大评估越稳定。真实调参对应一个 epoch 的验证损失。"""    x = config['x']    noise = 0.6 / budget    return -(x - 0.7) ** 2 + random.gauss(0, noise)  def sample_config():    return {'x': random.uniform(0, 1)}  def run_hyperband(r_min=1, r_max=81, eta=3):    s_max = int(math.log(r_max / r_min) / math.log(eta))    B = (s_max + 1) * r_max    spent = 0    best_config = None    best_score = -1e9    for s in range(s_max, -1, -1):        n = math.ceil(B / ((s + 1) * r_max) * eta ** s)        r = r_min * eta ** s        configs = [sample_config() for _ in range(n)]        while r <= r_max:            scores = [evaluate(c, r) for c in configs]            spent += len(configs) * r            for c, v in zip(configs, scores):                if v > best_score:                    best_score = v                    best_config = c            r = int(r * eta)            if r > r_max:                break            keep = max(1, len(configs) // eta)            idx = sorted(range(len(configs)), key=lambda i: scores[i], reverse=True)[:keep]            configs = [configs[i] for i in idx]    return best_config, best_score, spent  def run_random(budget):    spent = 0    best_config = None    best_score = -1e9    while spent < budget:        c = sample_config()        v = evaluate(c, r_max=81)        spent += 81        if v > best_score:            best_score = v            best_config = c    return best_config, best_score, spent  if __name__ == '__main__':    random.seed(42)    hb_config, hb_score, hb_spent = run_hyperband()    rs_config, rs_score, _ = run_random(hb_spent)    print('Hyperband:', hb_config, round(hb_score, 4), 'spent:', hb_spent)    print('RandomSearch:', rs_config, round(rs_score, 4), 'spent:', hb_spent)

1. def evaluate(config, budget):模拟一次训练评估，budget 越大噪声越小，对应真实场景里更长训练时间带来的更稳定验证性能。
2. s_max = int(math.log(r_max / r_min) / math.log(eta))计算从最小预算到最大预算能翻几番，对应思维导图里的“最大预算”节点。
3. n = math.ceil(B / ((s + 1) * r_max) * eta ** s)计算当前 bracket 首批配置数，s 越大配置越多、起步预算越小。
4. while r <= r_max:对每个 bracket 内部的连续减半循环，逐步放大预算并淘汰低分配置。
5. keep = max(1, len(configs) // eta)每轮只保留约 1/3 的配置，对应连续减半的“淘汰低效”策略。
6. idx = sorted(...)[:keep]按分数排序取前 keep 个，即只把幸存者带入下一轮更深层的评估。
7. run_random(budget)用与 Hyperband 相同的总预算做纯随机搜索，作为公平对照。

常见误区

面试题