想象你要在一座从没去过的城市，凭舌头找出全城最好吃的餐厅。没有点评软件，只能亲自上门试吃。最笨的办法是拿一本电话簿挨家挨户排队，试完上千家才敢下结论，这就是“暴力搜索”；稍聪明一点，把城市画成网格，每个格子挑一家试，可一旦同时考虑“菜系、价位、环境、排队时长”四五个维度，网格数量立刻爆炸，这就是“网格搜索”的尴尬。 一位老练的美食评论家会怎么做？他先随机试吃七八家，把结果分成“惊艳”和“一般”两堆，然后总结规律：惊艳的往往藏在老巷子里、桌子很少、老板亲自下厨；一般的多半在霓虹闪烁的商场店。有了这套判断，他下一轮就不再满城乱跑，而是直奔“看起来会惊艳”的巷子接连试好几家，吃完再更新经验。越试越准，花掉的试吃次数却少得多。 HyperOpt 干的就是这件事。它的核心是 TPE 算法：把已经评估过的超参数组合分成“好”与“坏”两类，分别用概率分布建模，再通过一个叫“对数似然比”的指标判断新候选更接近哪一类，从而把采样火力集中在高潜力区域。本文会用“美食家探店”这条故事线，带你拆解 HyperOpt 的搜索空间、TPE 原理、工作流程、分布式扩展与实战技巧。读完你会发现，自动调参不是魔法，而是一套聪明的信息利用策略。

岗位关联

掌握 HyperOpt 与 TPE 原理，意味着你从“靠经验拍超参”升级为“让概率模型替你找超参”，能以更少的训练资源换得更优性能，这也是 AutoML 工程师的核心竞争力。

目录
  1. 可视化演示
  2. 搜索空间设计：给美食家一张候选地图
  3. TPE算法原理：把好吃与一般分开建模
  4. 工作流程：试吃、总结、再出击
  5. 分布式搜索：让美食家团队分头探店
  6. 对比传统搜索：为何概率引导更省力
  7. 应用调参实践：控制预算与小心陷阱
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

动态演示HyperOpt超参数搜索框的核心机制，通过源头/管道/节点/终端四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

HyperOpt超参数搜索框：Hype HyperOpt核心架构与工作 搜索空间定义与分布选择 核心机制可视化 HyperOpt超参数搜索框整体架构与关键组件

搜索空间设计：给美食家一张候选地图

美食家出发前一定要先画地图。他不会漫无目的地上街，而是先圈出几个候选街区，再决定每去一家店要关注哪些信息：是看价格、看翻台率，还是看招牌颜色。HyperOpt 的第一步也是画一张“参数地图”，也就是搜索空间：告诉算法哪些超参数可以动、在什么范围里动、按什么分布抽样。地图画得准不准，直接决定后面的搜索效率。

在代码里，这张地图由 hp 开头的函数逐项绘制。hp.choice 表示从一组离散选项里挑一个，好比“今晚只看川菜或粤菜”；hp.uniform 表示在某个连续区间内均匀取值，好比“预算在 800 到 2000 元之间随机定一个数”；hp.quniform 则把连续值四舍五入成整数或离散步长，相当于只允许花 500、600、700 这种整百金额。

真正讲究的是 hp.loguniform。有些参数比如学习率，在 0.0001 到 0.1 之间跨越了三个数量级，如果 uniform 均匀取值，绝大多数采样点会挤在 0.001 到 0.1 的“大数区”，而 0.0001 附近几乎采不到。loguniform 先在对数空间均匀取一个数，再做指数变换，这样 0.0001、0.001、0.01、0.1 都有同等的被选机会。除此之外，HyperOpt 还支持条件参数与嵌套结构：选择了“CNN“模型时才激活卷积层数参数，选择了”RNN”模型时才激活隐藏单元参数，就像点餐时选了牛排才需要选几分熟。

地图画得越贴合真实需求，TPE 美食家后续的“口味判断”就越靠谱；如果把不重要的特征也塞进地图，只会让他分心——这就像一张标满广告牌的美食地图，反而掩盖了真正的宝藏。

x=exp⁡(Uniform(log⁡a,log⁡b))\displaystyle x = \exp\left(\text{Uniform}(\log a, \log b)\right)
这句话的意思是：把参数放缩到对数尺度上均匀抽样，再通过指数函数还原回原始尺度，从而让“数量级”而不是“数值差”获得均匀的探索机会。
  1. 对数区间采样先在 $\log a$ 到 $\log b$ 之间均匀抽取一个数 $u$
    u∼Uniform(log⁡a,log⁡b)u \sim \text{Uniform}(\log a, \log b)
  2. 指数变换令 $x = e^{u}$，把对数空间的值映射回原始尺度
    x=eux = e^{u}
  3. 对数均匀效果变换后 $\log x$ 仍服从均匀分布，因此不同数量级的取值会被同等对待
    log⁡x∼Uniform(log⁡a,log⁡b)\log x \sim \text{Uniform}(\log a, \log b)

TPE算法原理：把好吃与一般分开建模

吃过几轮之后，美食家开始做一件关键的事：把记忆里的餐厅分成两类，一类“惊艳”，一类“一般”。然后他不再纠结单家店，而是琢磨这两类店在特征分布上到底有什么差异——惊艳的店是不是普遍更小、更便宜、位置更偏？HyperOpt 的 TPE 算法做的正是这件事。

具体操作中，TPE 取一个分位阈值 γ（默认 0.15）：把历史评估结果按损失从小到大排序，前 15% 划为“好组”，其余 85% 划为“坏组”。然后分别对这两组配置做概率密度估计，得到 l(x) 和 g(x)：l(x) 描述“好配置长什么样”，g(x) 描述“坏配置长什么样”。密度估计使用树结构 Parzen 估计，本质上是把每个观测点都铺成一个小高斯核，再叠加成一张平滑的“地形图”。

有了两张地形图，TPE 用期望改进 EI 来挑选下一个候选点。EI 公式里最关键的是一个比值 g(x)/l(x)：如果某个位置在好组地形图上高度很高、在坏组地形图上很低，比值就很小，说明这个位置“很像好配置”，EI 就大，值得去试；反之，比值很大或接近 1 的地方不值得去。这个比值就是文章摘要里提到的“对数似然比”，它把美食家“这店看起来就很好吃”的直觉变成了可计算的分数。

美食家就这样把“经验”变成了“地图”：每次决策前先问自己，这个位置更像是让我惊艳的店，还是让我失望的店？TPE 把这个直觉数量化，变成了一个可计算的分数。

EIy∗(x)∝(γ+(1−γ)g(x)l(x))−1\displaystyle \mathrm{EI}_{y^*}(x) \propto \left(\gamma + (1-\gamma)\frac{g(x)}{l(x)}\right)^{-1}
这个公式是说：新候选点的“期望改进”与坏组密度和好组密度之比成反比——某个点越像好配置（g/l 越小），EI 越大，越值得评估。
  1. 设定分位阈值用 γ 把历史中最优的 15% 结果标记为“好”
    γ=P(y≤y∗)\gamma = P(y \le y^*)
  2. 好组密度l(x) 表示在当前点 $x$ 处“好配置”的概率密度
    l(x)=p(x∣y<y∗)l(x) = p(x \mid y < y^*)
  3. 坏组密度g(x) 表示在当前点 $x$ 处“坏配置”的概率密度
    g(x)=p(x∣y≥y∗)g(x) = p(x \mid y \ge y^*)
  4. 密度比比值 $\rho(x)$ 越小，说明该点越接近好配置的典型特征
    ρ(x)=g(x)l(x)\rho(x) = \frac{g(x)}{l(x)}
  5. 期望改进EI 与 $\gamma + (1-\gamma)\rho(x)$ 成反比，因此好区候选的 EI 更高
    EIy∗(x)∝1γ+(1−γ)ρ(x)\mathrm{EI}_{y^*}(x) \propto \frac{1}{\gamma + (1-\gamma)\rho(x)}

工作流程：试吃、总结、再出击

美食家的完整探店流程是周而复始的：先随便试几家打个底，然后把结果记进小本本，总结规律，再按规律选下一批店，吃完更新小本本。HyperOpt 的 fmin 函数走的就是这个循环。

fmin 接受四个关键参数：fn 是目标函数，也就是“试吃并打分”的过程，输入一组超参数，返回一个损失值；space 是之前画好的搜索空间；algo 指定用哪种搜索策略，tpe.suggest 就是我们的 TPE 美食家；max_evals 是总的试吃预算。Trials 对象则扮演小本本的角色，自动记录每一次评估的超参数、损失和时间戳。

整个循环可以写成：从观测历史 H 中拟合 l(x) 和 g(x)，根据 EI 采样一个新候选 $x_{\text{new}}$，调用 fn(x_new) 得到损失，再把 (x_new, loss) 写回 H，然后重复。HyperOpt 还允许目标函数返回额外信息，例如 {'loss': 1 - score, 'status': 'ok'}，status 告诉算法这次评估是否成功，失败的结果不会污染概率模型。

美食家每一次试吃都在修正自己的“口味模型”，HyperOpt 也是这样：过去每一次评估都转化为概率模型的经验，让下一次选择更聪明。这就是“迭代”的价值——不是一次性碰运气，而是越搜越准。

x∗=arg⁡min⁡x∈Xf(x)\displaystyle x^{*} = \arg\min_{x \in \mathcal{X}} f(x)
这个公式刻画了超参数优化的终极目标：在搜索空间 $\mathcal{X}$ 的所有候选配置中，找到让目标损失函数 $f$ 最小的那个配置 $x^*$。
  1. 候选配置$x$ 是搜索空间 $\mathcal{X}$ 中的一组超参数，例如学习率与网络层数的组合
    x∈Xx \in \mathcal{X}
  2. 目标损失$f(x)$ 返回该配置在验证集上的损失，越小代表模型越好
    f(x)f(x)
  3. 最优解$x^*$ 是所有可行配置中令损失最小的一个
    x∗=arg⁡min⁡x∈Xf(x)x^* = \arg\min_{x \in \mathcal{X}} f(x)

分布式搜索：让美食家团队分头探店

一个人探店效率再高也有限。真正的美食家会带一个团队：几个助手分别在不同城区同时试吃，然后通过聊天群把照片和评分发回共享文档，领队汇总所有人的笔记统一判断。HyperOpt 的分布式搜索就是这套“团队作战”。

分布式搜索的核心是共享“小本本”。单机版的小本本是内存里的 Trials，分布式版则换成 MongoDB 中的 trials 集合。每个 worker 节点从 MongoDB 读取历史评估，计算 TPE 模型，提出自己的候选配置，评估完后把新结果写回 MongoDB。这样 N 个 worker 就相当于 N 个美食家同时在城市里行动，互不干扰却共享知识。

HyperOpt 提供了 MongoTrials 与 SparkTrials 两种主要方式。MongoTrials 适合多机多进程场景，只要指定 mongodb:// 地址即可让多个 Python 进程协同；SparkTrials 则跑在 Spark 集群上，把每次目标函数评估作为一个任务分发到 executor 上并行执行，特别适合每轮评估耗时几分钟到几十分钟的深度学习训练。并行带来的加速接近线性：K 个 worker 理论上把总耗时压缩到原来的约 1/K，但需要考虑网络通信与同步开销。

全城探店团队靠共享笔记本爆发出惊人效率，HyperOpt 靠共享 trials 存储把单机智能扩展到集群智能。只要通信别太频繁，团队越大，找到好店就越快。

Ttotal≈TevalK\displaystyle T_{\text{total}} \approx \frac{T_{\text{eval}}}{K}
这是在理想条件下的加速估计：K 个 worker 同时评估不同配置，总耗时约等于单次评估耗时除以 worker 数。
  1. 单次评估耗时$T_{\text{eval}}$ 是一次完整训练与验证所用的时间
    TevalT_{\text{eval}}
  2. 并行度$K$ 表示同时工作的 worker 数量
    KK
  3. 理想总耗时总耗时近似为单次耗时除以并行度，实际会受通信开销影响而略高
    Ttotal≈TevalKT_{\text{total}} \approx \frac{T_{\text{eval}}}{K}

对比传统搜索：为何概率引导更省力

如果没有 HyperOpt，我们通常怎么做？一种是“棋盘扫街”：把城市划成均匀网格，每个交叉路口吃一家，这就是网格搜索。另一种是“蒙眼乱转”：随机挑地址，吃多少算多少，这就是随机搜索。美食家试吃几轮后基本能判断方向，而前两种方法对前几轮的信息毫无反应。

网格搜索最大的问题是组合爆炸。假设我们有 d 个超参数，第 i 个参数想试 $k_i$ 个值，总试验数就是它们的乘积。当参数只有两个、每个试 10 个值时，100 次还能接受；但到了 10 个参数、每个试 10 个值时，就是 100 亿次，任何团队都吃不消。而且大量试验落在“明显不行的区域”，纯属浪费资源。

随机搜索虽然对维度不敏感，但它同样不利用历史信息：前 100 次已经发现东城好吃，它第 101 次仍可能在五环外瞎逛。TPE 则完全不同：它把“东城好吃”编码进 l(x) 和 g(x) 的密度地形图，把后续采样有意识地导向东城；同时因为 EI 公式里保留了坏组密度，也不会完全放弃探索其他区域，兼顾了利用与探索。

传统搜索像闭卷考试蒙答案，TPE 则像开卷考试：每一轮评估都在为下一轮提供线索。这也是它能在少量评估里逼近更好配置的根本原因。

N=∏i=1dki\displaystyle N = \prod_{i=1}^{d} k_i
网格搜索的总试验数是各维度候选数的乘积，维度一高就会指数爆炸，这也是它不适合高维超参数空间的原因。
  1. 每维候选数$k_i$ 表示第 $i$ 个超参数打算尝试的取值个数
    kik_i
  2. 组合总数把所有维度的候选数相乘，得到网格搜索需要的总试验数
    N=k1×k2×⋯×kdN = k_1 \times k_2 \times \cdots \times k_d
  3. 维度灾难当 $d$ 增大时，$N$ 指数膨胀；而 TPE 只需评估其中很少一部分就可能找到好解
    d→∞⇒N→∞d \to \infty \Rightarrow N \to \infty

应用调参实践：控制预算与小心陷阱

即便有了智能搜索，美食家也懂得控制预算：先花少量时间试吃几家常，确认口味基准，再集中预算精找；若某家店端上来的菜明显不行，就果断走人。HyperOpt 的实战调参也有同样的“预算管理”哲学。

第一个规则是合理分配 max_evals。通常的做法是让 TPE 先用一小段随机采样“热身”——tpe.suggest 内部自带随机采样机制，早期几步用随机搜索积累初始观测，之后才切换到概率建模；也可以手动先用 rand.suggest 跑 5 到 10 次再切换。把总预算分成“热身 + 精搜”两部分，能避免概率模型在一开始数据不足时乱带节奏。

第二个规则是尽早止损。对于每个候选配置，如果训练几个 epoch 后损失明显高于历史最好水平，就应停止后续训练，把预算留给更有可能的配置；HyperOpt 支持早停回调，在目标函数里根据中间结果提前终止。第三个规则是定期检查 Trials：打印最佳损失曲线，若曲线已收敛，就没必要跑满全部预算，把省下的时间留给下一阶段实验。

聪明的美食家不会把探店预算花在明显排队难吃、菜单可疑的店上；HyperOpt 的实践技巧正是让预算花在刀刃上，让每一次评估都物有所值。

ntotal=nwarmup+ntpe\displaystyle n_{\text{total}} = n_{\text{warmup}} + n_{\text{tpe}}
调参预算应拆成两段：先用少量随机采样做热身，再用 TPE 做集中精搜，二者之和受 max_evals 约束。
  1. 热身预算$n_{\text{warmup}}$ 是早期随机探索的次数，用于积累初始好/坏观测
    nwarmupn_{\text{warmup}}
  2. 精搜预算$n_{\text{tpe}}$ 是 TPE 进入概率引导后的采样次数
    ntpen_{\text{tpe}}
  3. 总预算约束热身与精搜之和等于总预算，不能超过 max_evals
    ntotal=nwarmup+ntpe≤max_evalsn_{\text{total}} = n_{\text{warmup}} + n_{\text{tpe}} \le \text{max\_evals}

AI 应用场景

深度学习项目自动调参

阶段：模型训练与优化

解决的问题：手动调参靠经验和运气，一个深度模型动辄要试几十组超参数。用 HyperOpt 自动搜索学习率、网络深度、dropout 等，能把调参时间从几天压缩到几小时，且结果可复现。对小白团队而言，相当于请了一位不知疲倦的美食家替你把整座城市试吃一遍。

具体案例：某推荐系统团队在训练 DeepFM 模型时，用 HyperOpt 搜索 embedding 维度、隐藏层数与学习率，配合 MongoTrials 在 8 台机器上并行，两小时完成原本一天半的 120 组调参，离线 AUC 提升 2.1%。

传统机器学习流水线超参优化

阶段：特征工程与模型选择

解决的问题：XGBoost、LightGBM 的超参数众多，人工网格调参效率低。用 TPE 对 max_depth、min_child_weight、subsample 等联合搜索，相当于把“每个参数试几个值再相乘”的笨办法，换成“根据历史评估聪明地选下一组”的策略。

具体案例：某支付风控团队用 HyperOpt 对 LightGBM 的 8 个超参数联合优化，在同样特征下 KS 值从 0.31 提升到 0.36，训练轮数从人工的 200 组降到 60 组。

分布式集群上的大规模搜索

阶段：部署与扩展

解决的问题：单机串行评估太慢，尤其当每次评估都要训练一个模型时。用 SparkTrials 在集群上并行评估每个候选配置，配合 MongoDB 的 trials 持久化，可实现增量恢复：中途重启任务也不会丢失历史观测。就像美食家团队分头行动，把经验同步到共享笔记本。

具体案例：某公司用 SparkTrials 在 16 个 executor 上并行跑全部候选，将原本 3 天的搜索压缩到 5 小时，并利用 MongoDB 的 trials 做增量恢复，避免了机器故障导致的重复计算。

Python 演示

python37 行
# -*- coding: utf-8 -*-"""使用 HyperOpt 搜索随机森林超参数"""from hyperopt import hp, fmin, tpe, Trialsfrom sklearn.datasets import load_irisfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import cross_val_score # 加载鸢尾花数据集iris = load_iris()X, y = iris.data, iris.target def objective(params):    clf = RandomForestClassifier(        n_estimators=int(params['n_estimators']),        max_depth=int(params['max_depth']),        min_samples_leaf=int(params['min_samples_leaf']),        random_state=42    )    score = cross_val_score(clf, X, y, cv=3, scoring='accuracy').mean()    return {'loss': 1 - score, 'status': 'ok'} # 定义搜索空间space = {    'n_estimators': hp.quniform('n_estimators', 20, 200, 10),    'max_depth': hp.quniform('max_depth', 2, 20, 1),    'min_samples_leaf': hp.quniform('min_samples_leaf', 1, 10, 1),} trials = Trials()best = fmin(fn=objective,            space=space,            algo=tpe.suggest,            max_evals=30,            trials=trials) print('best params:', best)print('best loss:', trials.best_trial['result']['loss'])
目的：在鸢尾花数据集上用 HyperOpt 智能搜索随机森林的 3 个核心超参数，30 次评估内找到较优配置并打印最优参数与损失。
  1. from hyperopt import hp, fmin, tpe, Trials导入 HyperOpt 核心组件：搜索空间、优化入口、TPE 算法和记录器
  2. def objective(params):定义目标函数，HyperOpt 每次调用它来评估一组超参数
  3. score = cross_val_score(clf, X, y, cv=3, scoring='accuracy').mean()用 3 折交叉验证的准确率均值作为模型质量分数
  4. return {'loss': 1 - score, 'status': 'ok'}返回损失值（1 减准确率）与成功状态，status 用于标记异常评估
  5. 'n_estimators': hp.quniform('n_estimators', 20, 200, 10)在 20 到 200 之间按步长 10 量化均匀采样
  6. best = fmin(fn=objective, space=space, algo=tpe.suggest, max_evals=30, trials=trials)启动 TPE 搜索循环，最多评估 30 组配置
  7. print('best loss:', trials.best_trial['result']['loss'])从 Trials 中取出历史最优结果

常见误区

误区HyperOpt 不就是在搜索空间里随机生成几千组参数，然后全部跑一遍选出最好的吗？我以前用网格搜索也是这么干的。

正解不是。HyperOpt 的核心是 TPE 概率模型，它会学习已有评估数据，聪明地猜测哪些区域更可能有好配置。它每轮只评估少量但高潜力的候选，而不是盲目铺量。就像美食家不是每家都吃，而是根据经验挑几家高概率好吃的店。

为何常见：因为很多 AutoML 工具内部确实做了大量评估，且早期人们常用网格搜索，容易把“多跑几组”误当成“智能搜索”。

误区反正都是随机采样，用 `hp.uniform` 还是 `hp.loguniform` 关系不大，随便选一个就行。

正解对数量级跨度的参数（如学习率 0.0001 到 0.1），loguniform 在数量级上均匀，能保证 0.0001、0.001、0.01、0.1 都有机会被选中；uniform 则会把大部分采样点落在 0.001 到 0.1 的大数区间，导致小数区探索不足。就像音量旋钮用对数刻度比线性刻度更合理。

为何常见：人会直觉认为“均匀”就是“公平”，忽略了物理量本身的尺度差异。

误区用 MongoDB 或 Spark 分布式跑，结果应该和单机跑完全一样，否则就是算法有问题。

正解算法逻辑和评估总数不变，理论上分布是同一套 TPE，但由于随机数序列和评估顺序不同，探索轨迹会有差异，最终拿到的最优配置也可能略有不同。分布式解决的是“更快”，而不是“更准”，共享 trials 保证的是经验一致而非结果一致。

为何常见：人们习惯认为“同一算法加同一数据”应该完全复现，忽略了搜索算法本身的随机性。

误区反正 HyperOpt 会自己找，我多放几个参数进去准没错，省得漏掉重要选项。

正解空间越大、维度越多，概率模型越稀疏，找到好点的难度会上升，无关参数还会干扰密度估计。应优先包含少数对模型影响大的关键参数，并合理设置取值范围。这就像给美食家一张标满无关店铺的地图，反而会拖慢他找到目标的速度。

为何常见：看到“自动调参”就放松了对参数进行人工筛选的环节，误以为机器能自动过滤无关维度。

误区TPE 每次都在高概率好区域采样，所以最终找到的配置就是全局最优。

正解TPE 是启发式概率引导，可能收敛到局部最优；它擅长的是在有限预算内找到“足够好”的配置，而不是证明全局最优。就像探店找到一家非常好吃的店，但不保证它就是全城第一。

为何常见：把“概率上更优”误解为“确定性最优”，忽略了超参数优化本身是带随机性的搜索过程。

面试题

Q1. 在 TPE 算法中，l(x) 表示什么？

单选题 · easy

  • A.低分数配置的概率密度
  • B.高分数配置的概率密度← 正确答案
  • C.所有配置的平均密度
  • D.随机采样的先验密度

答案：B。TPE 把历史评估按损失排序后，前 γ 比例划为好组，后 1-γ 划为坏组。l(x) 是好组（即高分数/低损失）配置的概率密度，g(x) 是坏组配置的密度。选 B；A 弄反了分组方向，C、D 都不是 TPE 中的定义。

Q2. HyperOpt 中 hp.choice 的作用是什么？

单选题 · easy

  • A.从连续区间均匀采样
  • B.从离散选项中选择← 正确答案
  • C.生成对数均匀分布
  • D.量化后均匀采样

答案：B。hp.choice 接收一个列表，从其中离散选项里挑一个，比如 hp.choice('optimizer', ['sgd', 'adam'])。A 是 hp.uniform 的职责，C 是 hp.loguniform 的职责，D 是 hp.quniform 的职责。

Q3. 对数似然比 g(x)/l(x) 的值越小，说明什么？

单选题 · mid

  • A.该点与坏区特征越接近
  • B.该点与好区特征越接近← 正确答案
  • C.该点处的采样噪声越大
  • D.该点已被评估的次数越多

答案：B。g(x)/l(x) 是坏组密度与好组密度之比。比值小意味着该点在好组地形图上很高、在坏组地形图上很低，也就是“长得很像好配置”，因此 TPE 会给它更高的期望改进分数。A 说反了，C、D 与密度比无关。

Q4. 关于 tpe.suggest 的核心思想，以下哪些说法正确？

多选题 · mid

  • A.依赖两个密度模型引导← 正确答案
  • B.使用对数似然比判断← 正确答案
  • C.遍历全部网格组合
  • D.基于历史观测采样← 正确答案

答案：ABD。TPE 维护好组 l(x) 与坏组 g(x) 两个密度模型，用 g/l 比值引导采样，并依赖历史观测更新模型。C 是网格搜索的做法，不是 TPE 的枚举方式，因此排除。

Q5. 使用 hp.loguniform 定义学习率这类参数，主要原因是什么？

单选题 · mid

  • A.学习率需多数量级取值← 正确答案
  • B.学习率只能取小于 1 的值
  • C.学习率是离散整数型
  • D.学习率服从正态分布

答案：A。学习率常横跨 1e-5 到 1e-1 多个数量级，loguniform 能保证每个数量级都有同等采样机会；uniform 会把采样点挤在数值较大的区间。B、C、D 都与真实情况不符，学习率既不是只能小于 1，也不是离散型或正态分布。

Q6. 在 TPE 中 γ（默认 0.15）的作用是什么？

单选题 · mid

  • A.划分好坏配置的分位界限← 正确答案
  • B.控制每次采样的随机程度
  • C.指定并行节点的数量
  • D.设置目标函数评估次数

答案：A。γ 决定历史评估中前多少比例被划为好组。默认 0.15 表示前 15% 的低损失配置进入 l(x)，其余进入 g(x)。B 是温度/熵的概念，C 是分布式参数，D 是 max_evals 的职责。

Q7. HyperOpt 分布式搜索常用的共享后端是哪些？

单选题 · easy

  • A.MySQL 与 Redis
  • B.MongoDB 与 Spark← 正确答案
  • C.SQLite 与 HDFS
  • D.Kafka 与 Flink

答案：B。HyperOpt 官方主要支持 MongoTrials（基于 MongoDB）与 SparkTrials（基于 Spark 集群）。MySQL 和 Redis 不承担 trials 存储，SQLite 是单机文件库，Kafka 和 Flink 是流处理组件，都不属于 HyperOpt 的主流分布式后端。

Q8. 高维场景下 TPE 优于网格搜索的原因包括哪些？

多选题 · hard

  • A.利用历史评估的信息← 正确答案
  • B.概率模型引导候选采样← 正确答案
  • C.遍历所有维度的取值
  • D.关注有潜力的局部区域← 正确答案

答案：ABD。TPE 通过历史观测构建两个密度模型，把采样集中到有潜力的局部区域，因此评估效率远高于网格搜索。C 恰恰是网格搜索的做法，在维度升高时会导致组合爆炸，所以不选。

Q9. HyperOpt 目标函数返回值中 status 为 'ok' 表示什么？

单选题 · hard

  • A.本次评估成功完成← 正确答案
  • B.本次评估已经超时
  • C.本次评估结果无效
  • D.本次评估正在排队

答案：A。目标函数需返回字典，status 用于标记评估是否成功。'ok' 表示成功，结果可以写入观测历史；若为其他状态（如 'fail'），该结果会被算法视为无效，不会污染概率模型。B、C、D 都不是 'ok' 的语义。

Q10. 关于 HyperOpt 的搜索空间，以下哪些说法正确？

多选题 · mid

  • A.支持条件参数嵌入← 正确答案
  • B.支持嵌套结构组合← 正确答案
  • C.只能定义连续参数
  • D.支持混合类型参数← 正确答案

答案：ABD。HyperOpt 的搜索空间可以用 hp.choice 内嵌字典实现条件参数，也可以用列表与字典组合实现嵌套结构，同时支持连续、离散、类别等多种类型参数。C 说“只能连续”是错的，因为至少还有 hp.choice 离散选项。