想象你是一位美食侦探，受托在一条热闹的美食街寻找最惊艳的配方。街上有几百家店，但你只有有限的预算——不能每家都吃完整份。于是你面临两个问题：下一家去哪试？吃到一半发现难吃，要不要立刻走人？ Optuna 就是帮你解决这两个问题的“寻味管家”。采样器（Sampler）是“探店策略”：有人闭着眼随机闯（随机采样），有人拿着菜单按顺序全扫一遍（网格搜索），有人建了一本“好吃/难吃笔记”，根据过往经验推断哪片区域最有希望（TPE），还有人带着一个美食家团队，互相交流、抱团向好吃的方向搜索（CMA-ES）。剪枝器（Pruner）则是“止损舌头”：尝一口发现明显不如同行，立刻吐掉走人，把时间留给真正有潜力的店（中位数剪枝）。 本文就沿着这条美食街的寻味之旅，带你理解 Optuna 的两个核心机制——采样器决定“去哪儿”，剪枝器决定“何时撤”。懂了这两个车轮如何配合，你就能在算力有限的情况下，又快又稳地找到模型的最优超参数。

岗位关联

对 AI 从业者而言，采样器与剪枝器的搭配是超参数优化的核心技能。掌握 TPE、CMA-ES 与中位数剪枝，意味着你能在大规模模型训练中成倍节省算力，让 AutoML 从“碰运气”升级为“有章法”。

目录
  1. 可视化演示
  2. 采样器概览
  3. 随机与网格
  4. TPE原理
  5. CMA-ES原理
  6. 剪枝器原理
  7. Optuna配置
  8. 最佳实践
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

TPE采样

采样器概览

美食街上有几百家店，你却只有几十次试吃的预算。“下一家去哪？”这个决定看似简单，累积起来却决定了你最终能否吃到最佳配方。随意的探店者凭直觉乱走，而有策略的侦探会把每次试吃都变成信息：哪条巷子口碑好、哪类招牌菜容易踩雷，然后据此规划下一步。

在超参数优化里，场景一模一样。每个候选参数组合（学习率、批量大小、网络层数……）就是一次“试验”，模型在验证集上的表现就像“好不好吃”。采样器的职责，就是根据已经完成的试验反馈，决定下一组参数从哪里抽取。Optuna 中，study.optimize() 每跑完一轮，就会调用采样器生成下一组候选参数。

正式地，超参数优化的目标是让目标函数最小：

美食侦探明白，每一次选择都在为最终答案铺路。采样器不是“猜”，而是把每一次试吃变成信息，让下一步更有方向——这就是超参数优化的第一块基石。

min⁡θ∈Θf(θ)\min_{\theta \in \Theta} f(\theta)
这个公式的意思是：在参数空间 \(\Theta\) 里，找一个参数组合 \(\theta\)，使得评价函数 \(f\)（比如验证损失）尽可能小。
  1. \(\theta\)参数组合：它就是一份“配方”，比如 \(\theta = (\text{学习率}=0.01, \text{层数}=3)\)。
    θ=(θ1,θ2,…,θd)\theta = (\theta_1, \theta_2, \dots, \theta_d)
  2. \(\Theta\)参数空间：所有合法取值的范围，对应美食街上的全部店铺。
    Θ={θ:θmin⁡≤θ≤θmax⁡}\Theta = \{\theta : \theta_{\min} \le \theta \le \theta_{\max}\}
  3. \(\min_{\theta}\)求最小值：在空间里搜索让 \(f\) 最小的 \(\theta\)，采样器就是搜索的导航仪。
    min⁡θ∈Θf(θ)\min_{\theta \in \Theta} f(\theta)

随机与网格

新手探店往往走两种极端。一种人拿着餐厅大全，把甜度分 5 档、辣度分 5 档、温度分 5 档，然后把所有组合挨个吃一遍——这叫网格采样。另一种人干脆闭着眼乱走，走到哪家算哪家——这叫随机采样。

网格采样最直观：把每个参数均匀切几刀，然后笛卡尔积排列组合。听起来很“全面”，但代价惊人。当只有 3 个参数、每个取 5 个值时，试验数是 \(5^3=125\)；当参数变成 10 个，试验数就是 \(5^{10}\approx 977\) 万。这就是高维空间里的“维度爆炸”：

回到美食街：如果餐厅口味有一百个维度（甜度、辣度、温度、配菜、火候……），把每个维度都枚举一遍，神仙也吃不完。而随机采样虽然没章法，但在高维空间里反而能留下更均匀的足迹，可能撞见冷门好店。所以实践中，随机采样常被当作基线，网格采样只适合参数少且离散的场景。

n=O(kD)n = O(k^D)
网格采样的试验数 \(n\) 随参数维度 \(D\) 呈指数增长，\(k\) 是每个参数的档位数。维度一高，网格就查不完了。
  1. \(k\)每个参数的档位数：比如学习率取 5 档，\(k=5\)。
    k=5k = 5
  2. \(D\)参数维度：有 10 个超参数要调，\(D=10\)。
    D=10D = 10
  3. \(O(k^D)\)组合数级数：试验总数按 \(k\) 的 \(D\) 次方膨胀，10 维就是 \(5^{10}\)。
    n=510=9,765,625n = 5^{10} = 9{,}765{,}625

TPE原理

真正的资深老饕会随身带一本小本子：吃过的店里，好吃的记在左页，难吃的记在右页。一段时间后翻看笔记，他总结出规律——“靠近老街的店都不错”“招牌是汤类的容易踩雷”。于是下一次探店，他会重点在“左页店扎堆的区域”寻找新目标。

TPE（Tree-structured Parzen Estimator）就是这个记笔记的老饕。它把已经完成的试验按目标值分成两组：表现最好的前 25% 记为“好样本”，其余记为“坏样本”。然后分别估计两组样本在参数空间里的密度分布函数——好样本集中在哪个区域、坏样本集中在哪个区域，一目了然。

每次要生成新参数时，TPE 从“好样本分布”里抽取候选点，再用一个“采集函数”打分。直观地说，这个分数衡量的是“这个参数出现在好分布中的概率”与“出现在坏分布中的概率”的比值：

于是，老饕的每一次试吃都比上一次更接近好店聚集区。TPE 正是用这种“记笔记 + 找规律”的方式，让超参数搜索越调越准，尤其适合连续参数多、单次试验开销大的场景。

EI⁡y∗(x)∝l(x)g(x)\operatorname{EI}_{y^*}(x) \propto \frac{l(x)}{g(x)}
\(l(x)\) 是参数 \(x\) 属于“好样本分布”的密度，\(g(x)\) 是它属于“坏样本分布”的密度。比值越大，说明 \(x\) 越像好样本、越不像坏样本，就越值得尝试。
  1. \(l(x)\)好分布的密度：参数 \(x\) 在“左页好店”区域的密集程度。
    l(x)=P(x∣好样本)\text{l}(x) = P(x \mid \text{好样本})
  2. \(g(x)\)坏分布的密度：参数 \(x\) 在“右页难吃”区域的密集程度。
    g(x)=P(x∣坏样本)\text{g}(x) = P(x \mid \text{坏样本})
  3. 比值 \(\frac{l(x)}{g(x)}\)越大越说明 \(x\) 大概率是匹黑马，值得抢先去试。
    l(x)g(x)>1  ⟹  更值得采点\frac{\text{l}(x)}{\text{g}(x)} > 1 \implies \text{更值得采点}

CMA-ES原理

假设你不是单枪匹马，而是带着一支美食家天团。每个人有自己的探店路线，每周碰头开会：把各自觉得好吃的店报出来，团队就调整整体的探索重心，朝大家共同认可的方向迈进。几轮之后，整个团队的足迹会不约而同地聚拢在最美味的街区。

CMA-ES（协方差矩阵自适应进化策略）就是这支美食家天团。它每一代生成一批候选解（相当于团队成员各自探的店），按好吃程度排序，挑出最好的前 \(\mu\) 个作为“优秀个体”，然后让下一代围绕这些优秀个体重新采样。核心的均值更新是：

团队开会几次后，协作的威力就显现了。CMA-ES 还通过协方差矩阵记录“优秀个体散布的形状”——是横长、竖长还是圆形，从而知道该往哪个方向扩大或收缩探索范围。正因如此，它在连续参数优化、尤其是有复杂相关性的问题上表现抢眼。

mt+1=∑i=1μwi xi:λm_{t+1} = \sum_{i=1}^{\mu} w_i \, x_{i:\lambda}
新一代的中心 \(m_{t+1}\) 是前 \(\mu\) 个个体的加权平均，\(w_i\) 是权重（越好的权重越大），\(x_{i:\lambda}\) 是按适应度排序的第 \(i\) 好的个体。
  1. \(\lambda\)种群大小：每代生成 \(\lambda\) 个候选解，相当于团队人数。
    λ=每代候选数\lambda = \text{每代候选数}
  2. \(\mu\)保留个数：只取前 \(\mu\) 个优秀个体来指导下一代。
    μ<λ\mu < \lambda
  3. \(w_i\)权重：排名越靠前的个体权重越大。
    ∑i=1μwi=1\sum_{i=1}^{\mu} w_i = 1
  4. \(x_{i\lambda}\)：排序个体：\(i=1\) 是最好的，\(i=\mu\) 是留下的最差的。
    x1:λ⪰x2:λ⪰⋯⪰xλ:λx_{1:\lambda} \succeq x_{2:\lambda} \succeq \dots \succeq x_{\lambda:\lambda}

剪枝器原理

预算有限时，美食侦探最忌讳的事就是：点了一份难吃的菜，却因为“来都来了”硬着头皮吃光。精明的人会在尝到第三口时判断——如果这道菜明显不如同一桌其他菜的平均水平，就立刻放下筷子结账走人，把时间和胃容量留给下一家。

深度学习训练也是如此。每个试验不是一瞬间完成的，它是一条从第 1 轮跑到第 \(E\) 轮的“学习曲线”。中位数剪枝在每个检查点做判断：如果当前试验的目标值明显高于同期所有存活试验的中位数——也就是“比一半以上的同行都差”——就果断终止它，别再浪费计算资源。

判定条件可以写成：

这条动态中位线像一杆移动的标尺：随着一批试验陆续被剪，存活者的平均质量越来越高，标尺也跟着抬高。真正有潜力的试验不会被误伤，而绝大多数平庸的试验会在早期被拦下——预算被集中用在刀刃上。

vt>Mt  ⟹  prunev_t > M_t \implies \text{prune}
\(v_t\) 是当前试验在第 \(t\) 个检查点报出的指标（如验证损失），\(M_t\) 是同一时刻所有存活试验指标的中位数。一旦 \(v_t\) 压过这条动态中位线，试验就被剪掉。
  1. \(v_t\)当前试验第 \(t\) 轮的值：训练到第 \(t\) 轮的验证损失。
    vt=f(θ,t)v_t = f(\theta, t)
  2. \(M_t\)同期中位数：所有还没被剪的试验在同一轮次的值，排序后取中间那个。
    Mt=median⁡{vt(1),vt(2),…,vt(n)}M_t = \operatorname{median}\{v_t^{(1)}, v_t^{(2)}, \dots, v_t^{(n)}\}
  3. \(\implies \text{prune}\)触发剪枝：条件成立就提前终止，省下后面若干轮的算力。
    vt>Mt⇒停止该试验v_t > M_t \Rightarrow \text{停止该试验}

Optuna配置

光有探店策略和止损舌头还不够，美食侦探需要把它们装进一个顺手的工作流：先派采样器决定去哪家，再让舌头在吃到一半时做裁决。Optuna 就是这个帮你组装流程的管家，采样器和剪枝器都可以插拔替换。

在 Optuna 中，采样器通过 study.sampler 指定，剪枝器通过 study.pruner 指定，两者在每次试验中配合：采样器生成参数 → 试验跑若干轮 → 目标函数里调用 trial.report() 上报中间指标 → trial.should_prune() 询问剪枝器是否止损。被剪掉的试验省下的时间可以这样计算：

采样器的“聪明”与剪枝器的“果断”在这里形成了互补：采样器给的候选质量越高，剪枝器就越敢放心地砍；剪枝器砍得越准，采样器就能用省下的预算探索更多好区域。这一对搭档，就是 Optuna 高效调参的秘密。

S=∑j=1Kprune(Ebudget−ej)S = \sum_{j=1}^{K_{\text{prune}}} \bigl( E_{\text{budget}} - e_j \bigr)
\(S\) 是剪枝省下的总训练轮次，\(K_{\text{prune}}\) 是被剪掉的试验数，\(E_{\text{budget}}\) 是每个试验的预算轮数，\(e_j\) 是第 \(j\) 个被剪试验实际跑到的轮数。
  1. \(E_{\text{budget}}\)单试验预算：每个试验最多允许跑的轮数。
    Ebudget=max_epochE_{\text{budget}} = \text{max\_epoch}
  2. \(e_j\)实际跑掉的轮数：被剪枝的试验在第 \(e_j\) 轮中止。
    ej<Ebudgete_j < E_{\text{budget}}
  3. 求和号 \(\sum\)把所有被剪试验的“剩余轮数”累加，就是总节省量。
    S=∑j=1Kprune(Ebudget−ej)S = \sum_{j=1}^{K_{\text{prune}}} (E_{\text{budget}} - e_j)

最佳实践

不同的店要配不同的策略：路边摊试错成本低，随便走；米其林餐厅试吃贵，必须带着笔记有备而去。超参数优化也是如此，没有放之四海皆准的配置，只有与场景匹配的方案。

经验法则是：参数少、试验便宜的阶段，用随机采样做基线；连续参数多、单次试验贵，选 TPE；计算资源充足、可以并行跑多个试验、参数都是实数的场景，CMA-ES 常能给出惊喜。训练时间较长且能中途观测到 loss 或准确率时，务必配上中位数剪枝或 ASHA。执行到最后一轮，你在所有完成的试验里挑最优参数：

美食侦探走了完整的寻味之旅后，收获的其实不是某一家店，而是一套可复用的方法论：带着笔记选方向，含着舌头定止损，最后从容地交出最佳配方。Optuna 里的采样与剪枝，教会你的正是这种既聪明又节俭的工程习惯。

R=f(θ∗)−f(θ0)R = f(\theta^*) - f(\theta_0)
\(R\) 是调参带来的收益（下降了多少损失），\(\theta^*\) 是搜索到的最佳参数，\(\theta_0\) 是默认基线参数。
  1. \(\theta^*\)最优参数：所有试验里目标值最小的那个参数组合，对应 Optuna 的 study.best_params。
    θ∗=arg⁡min⁡θ∈trialsf(θ)\theta^* = \arg\min_{\theta \in \text{trials}} f(\theta)
  2. \(\theta_0\)基线参数：不调参时随手使用的默认值。
    θ0=默认配置\theta_0 = \text{默认配置}
  3. \(R\)收益：\(R\) 为负说明调参后损失下降了，绝对值越大收益越高。
    R=f(θ∗)−f(θ0)R = f(\theta^*) - f(\theta_0)

AI 应用场景

端侧模型训练调参

阶段：超参数优化（Hyperparameter Optimization）

解决的问题：端侧模型（如手机上的轻量识别模型）训练预算有限，手动调参反复实验耗时数天。用 TPE 采样器配合中位数剪枝，可以自动把“不靠谱”的试验提前终止，只让有潜力的配置跑完整轮，整体训练成本可降低 30%-50%。

具体案例：某团队在训练手机端图像分类模型时，有 12 个超参数要调，单次完整训练需 2 小时。接入 Optuna 后，使用 TPE + MedianPruner，试验数从 200 次压缩到 80 次，准确率反而提升了 1.2 个百分点。

大规模分布式训练中的并行搜索

阶段：并行 Trial 调度与资源管理

解决的问题：多 GPU 集群并行跑试验时，不同试验的进度参差不齐。每个试验都可能占用多卡资源，如果任凭低质量试验跑完，会造成大量算力浪费。CMA-ES 天然支持并行评估多个候选，配合 ASHA 剪枝，能在并行环境中高效清退落后者。

具体案例：某大模型团队在调大语言模型的微调超参时，用 CMA-ES 生成 64 个候选分布到 8 张 A100 上并行测试，剪枝器在早期砍掉了 70% 的低潜力试验，使原本需要 3 周的调参周期缩短到 5 天。

AutoML 平台的默认调参引擎

阶段：自动化机器学习流水线

解决的问题：面向非专业用户的 AutoML 平台无法要求用户手工配置采样器，但默认策略如果选错，用户体验天差地别。平台内置 TPE 采样器 + 中位数剪枝作为默认组合，用户只需上传数据和指定优化目标，即可自动获得接近专家水平的参数配置。

具体案例：一个开源 AutoML 平台把默认策略从随机搜索换成 TPE + MedianPruner 后，用户在表格数据竞赛类任务上的平均排名提升了 15%，GPU 使用成本下降了 40%。

Python 演示

python79 行
import mathimport random  def objective(x, y, epoch, max_epoch):    # 模拟一个训练过程：loss 先快速下降，之后趋平    base = 1.0 + (x - 2.0) ** 2 + (y - 0.5) ** 2    return base * math.exp(-4.0 * epoch / max_epoch) + 0.001 * epoch  class MiniTPE:    """极简 TPE 采样器：记住已完成试验，在好样本附近采样候选点"""     def __init__(self):        self.finished = []   # 每条记录: (x, y, final_loss)     def suggest(self, lo=0.0, hi=4.0):        if len(self.finished) < 5:            return (random.uniform(lo, hi), random.uniform(lo, hi))        losses = sorted(t[2] for t in self.finished)        median = losses[len(losses) // 2]        good = [t for t in self.finished if t[2] < median]        cands = []        for _ in range(8):            g = random.choice(good)            cands.append((                max(lo, min(hi, g[0] + random.gauss(0, 0.4))),                max(lo, min(hi, g[1] + random.gauss(0, 0.4)))))        # 挑选离好样本最近的点，模拟"从好分布中采样"        return min(cands, key=lambda c: min(            math.hypot(c[0] - t[0], c[1] - t[1]) for t in good))  def should_prune(pool, latest, min_epoch=6):    """中位数剪枝：当前 loss 高于同期中位数一定比例就提前终止"""    if len(latest) < min_epoch:        return False    peers = []    for _, curve in pool:        if len(curve) >= len(latest):            peers.append(curve[len(latest) - 1])    if len(peers) < 3:        return False    peers.sort()    median = peers[len(peers) // 2]    return latest[-1] > median * 1.05  def main():    random.seed(42)    sampler = MiniTPE()    max_epoch = 30    budget = 40    all_curves = []   # (编号, 曲线)    results = []      # (x, y, final_loss, pruned)    used = 0    for k in range(budget):        x, y = sampler.suggest()        curve = []        for e in range(1, max_epoch + 1):            curve.append(objective(x, y, e, max_epoch))            if should_prune(all_curves + [(k, curve)], curve):                break        used += len(curve)        pruned = len(curve) < max_epoch        final = curve[-1]        results.append((x, y, final, pruned))        all_curves.append((k, curve))        sampler.finished.append((x, y, final))    best = min(results, key=lambda r: r[2])    pruned_count = sum(1 for r in results if r[3])    print("最优参数: x=%.3f y=%.3f loss=%.4f" % (best[0], best[1], best[2]))    print("剪枝试验: %d/%d (%.1f%%)" % (        pruned_count, budget, 100.0 * pruned_count / budget))    print("节省epoch: %.1f%%" % (100.0 * (1.0 - used / (budget * max_epoch))))  if __name__ == "__main__":    main()
目的：演示 TPE 采样与中位数剪枝如何在一次次试验中协作——采样器让新试验越来越靠近最优区域，剪枝器把明显落后的试验提前淘汰。
  1. class MiniTPE:迷你版 TPE 采样器，内部维护 self.finished 记录所有已完成试验的最终损失。
  2. median = losses[len(losses) // 2]取已完成试验损失的中位数作为“好/坏”样本分界线。
  3. good = [t for t in self.finished if t[2] < median]损失低于中位数的试验归入“好样本”集合。
  4. cands.append((max(lo, min(hi, g[0] + random.gauss(0, 0.4))), ...))在好样本附近加高斯噪声生成候选点，模拟 TPE 从好分布中采样。
  5. return min(cands, key=lambda c: min(math.hypot(...)...))挑选离好样本最近的候选点，相当于“采集函数打分”。
  6. if should_prune(all_curves + [(k, curve)], curve): break每跑完一轮就询问剪枝器，一旦命中中位数剪枝条件就跳出循环。
  7. used += len(curve)累加实际消耗的 epoch 数，最后与不剪枝的总预算对比，算出节省比例。

常见误区

误区“我用 TPE 替换随机采样，试验结果肯定立刻变好？其实不是这么简单。搜索空间如果只有两三个离散参数，TPE 的分布估计反而可能不稳定；目标函数噪声很大时，采样器的优势也会被噪声淹没。”

正解采样器只决定“下一组参数从哪来”，不改变目标函数本身的难度。TPE 的优势在连续参数、多参数、单次评估昂贵时最明显；参数少时随机采样已经够用，强行上复杂采样器反而增加不必要的计算和方差。

为何常见：人们容易被“智能算法”的名头吸引，忽略了采样器只是搜索策略，算法的上限仍由问题本身的特性决定。

误区“剪枝器那么早停掉试验，万一那个试验后期突然逆袭成为最优解怎么办？所以剪枝会丢失好结果。”

正解中位数剪枝依赖一个统计直觉：在训练中后期，表现持续低于同批中位数的试验，逆袭概率极低。真正的最优解通常从早期就有上升势头，不太可能一直躺在中位线以下。你可以通过调整剪枝倍数（如只剪掉高于中位数 20% 的试验）来控制误杀风险。

为何常见：人们把“提前终止”理解为“草率判断”，忽略了它背后是基于大量存活试验的动态统计，而非拍脑袋的阈值。

误区“网格搜索把每个参数组合都试一遍，肯定能找到全局最优，比随机和 TPE 都靠谱。”

正解网格的“全面”只在维度极低时成立。参数超过 5 个后，试验数呈指数爆炸，网格在真实空间中反而非常稀疏，每个维度的采样密度低得可怜。随机采样在高维空间能更均匀地覆盖空间，TPE 则能把采样集中在有希望的区域，两者通常比网格更实用。

为何常见：直观上“枚举所有组合”听起来很完备，人们没有意识到高维空间里枚举的代价是指数级的。

误区“剪枝能省时间，那我在任何任务上都开剪枝器，肯定只有好处没有坏处。”

正解剪枝的前提是“中间指标能可靠预测最终结果”。如果训练只有几个 epoch，或目标值震荡剧烈、中位数线毫无规律，剪枝不仅省不了多少时间，还会引入风险。短训练或一次性评估任务，关掉剪枝器更省心。

为何常见：把剪枝当成万能加速器，忽略了它依赖“学习曲线平滑可比较”这一隐含前提。

面试题

Q1. TPE 采样器的核心思想是什么？

单选题 · easy

  • A.完全随机地探索参数空间
  • B.按好坏分布的比例来采样← 正确答案
  • C.按网格顺序穷举参数组合
  • D.每次只在一个维度上搜索

答案：B。TPE 把历史试验分成好/坏两组并估计密度分布，再按“像好样本的程度”采样，B 正确。A 是随机采样，C 是网格采样，D 是坐标下降式的思路。

Q2. Optuna 中剪枝器的核心作用是？

单选题 · easy

  • A.删除已经完成的试验记录
  • B.提前终止没有希望的试验← 正确答案
  • C.减少训练数据的规模大小
  • D.压缩模型的参数文件体积

答案：B。剪枝器在中途判断试验是否值得继续跑，不值得就提前终止，B 正确。A 是数据管理，C 是数据采样，D 是模型压缩，都与剪枝无关。

Q3. 下列哪些属于 Optuna 提供的剪枝策略？

多选题 · mid

  • A.MedianPruner 中位数剪枝← 正确答案
  • B.ASHA 异步连续减半← 正确答案
  • C.GridSampler 网格采样
  • D.RandomSampler 随机采样

答案：AB。MedianPruner（中位数剪枝）和 ASHA（异步连续减半）都是剪枝策略。C 和 D 是采样器而非剪枝器，注意区分“从哪采样”与“何时止损”。

Q4. 网格搜索在高维参数空间的主要问题是？

单选题 · easy

  • A.结果不稳定而且还不可复现
  • B.试验数量随维度指数级增长← 正确答案
  • C.无法处理连续型参数问题
  • D.只适用于小型数据集场景

答案：B。网格试验数 \(O(k^D)\) 随维度 \(D\) 指数增长，这是“维度爆炸”，B 正确。网格结果可复现，也支持连续参数（离散化），并非只能处理小数据集。

Q5. 中位数剪枝的判定依据是什么？

单选题 · mid

  • A.试验是否已跑完所有的轮次
  • B.当前指标是否高于同期中位数← 正确答案
  • C.采样器是否推荐了该组参数
  • D.目标函数是否已经收敛到零

答案：B。中位数剪枝在每个检查点比较当前试验指标与同期存活试验的中位数，高于中位数就剪掉，B 正确。A 是自然结束，C 是采样器职责，D 不现实。

Q6. CMA-ES 中的协方差矩阵主要用来表达什么？

单选题 · mid

  • A.目标函数的梯度方向信息
  • B.优秀解整体的散布形状← 正确答案
  • C.历史试验的数量统计信息
  • D.当前迭代步长的倒数信息

答案：B。协方差矩阵描述了优秀个体在参数空间中的分布形状（横长、竖长或圆形），决定下一代采样的方向和步幅，B 正确。梯度由目标函数求导得到，与协方差无关。

Q7. TPE 中比值 l(x)/g(x) 越大，表示什么？

单选题 · hard

  • A.该参数来自好分布的概率越高← 正确答案
  • B.该参数的目标函数梯度越小
  • C.该参数自身的方差越来越小
  • D.该参数所在的空间维度越低

答案：A。\(l(x)\) 是好分布密度、\(g(x)\) 是坏分布密度，比值越大意味着参数越像好样本，越值得采样，A 正确。梯度、方差、维度都和这个比值无关。

Q8. 关于 Optuna 中采样器与剪枝器的配合，下列说法正确的是？

多选题 · hard

  • A.采样器定参数，剪枝器定止损← 正确答案
  • B.剪枝试验也会被采样器记录← 正确答案
  • C.剪枝后采样器完全不起作用
  • D.剪枝省下的算力支持更多探索← 正确答案

答案：ABD。采样器负责选参数，剪枝器负责止损（A 对）；被剪试验的中间结果仍会进入历史记录，采样器可以利用这些信息（B 对）；剪枝省下的预算能让采样器探索更多区域（D 对）。C 把两者对立起来，是错误的。

Q9. 当试验时间较长且有中间指标时，最合理的做法是？

单选题 · hard

  • A.禁用剪枝器并直接加大预算
  • B.使用中位数剪枝并上报中间指标← 正确答案
  • C.只记录最终结果不检测中间值
  • D.用网格采样器遍历所有组合

答案：B。长时间训练加上可观测的中间指标，正是剪枝器发挥价值的最佳场景。目标函数里用 trial.report 上报、trial.should_prune 决定是否提前停，B 正确。A 浪费算力，C 让剪枝器无米下锅，D 容易维度爆炸。

Q10. 关于随机采样与网格采样的比较，下列说法正确的是？

多选题 · extreme

  • A.网格高维探索比随机更充分
  • B.随机在高维空间多样性更强← 正确答案
  • C.随机可作为其他采样器的基线← 正确答案
  • D.网格适合参数较少且离散的场景← 正确答案

答案：BCD。高维空间里网格的采样密度被维度稀释，随机反而更均匀（B 对，A 错）；随机采样常被用作对比基线（C 对）；参数少且离散时网格枚举简单直观（D 对）。