贝叶斯优化：用最少尝试调出最佳超参数

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

优化问题：从挨家试吃学会画地图

想象你是刚搬到陌生城市的美食猎人。目标是在整条街的餐厅里找到最好吃的那家，但每顿都要花不少时间和预算，不可能把每家餐厅都吃一遍。超参数就像“选几分熟、加什么酱、配什么酒”，目标函数就是给这顿饭打出的味道分。网格搜索是拿着菜单按顺序把每家餐厅都试一遍，随机搜索则是站在街口闭眼乱走。这两种方式都没有从“上一顿好不好吃”里学到任何东西。

在机器学习里，我们要调的是学习率、批大小、网络层数等超参数。把每一种超参数组合记为 $\theta$，把验证集上得到的分数记为 $\text{Score}(\theta)$。目标就是找到 $\theta^{*}$ 使分数最高。网格搜索需要的评估次数会随维度爆炸，随机搜索虽然不用暴力穷举，但依旧很盲目。贝叶斯优化的思路完全不同：先吃几口，把“哪片区域更好吃”的概率画成地图，再按地图决定下一口该去哪儿。

与其把预算烧在逐户试吃上，不如让每一次试吃都变成地图上的一笔情报。这正是贝叶斯优化的起点。

代理模型：不断更新的寻味地图

吃过前几顿之后，美食猎人会记住这些口味，画出一张“寻味地图”。去过的地方，地图很清晰；没去过的地方，地图上是一团迷雾。高斯过程就是这种地图的数学版本：它不仅给出每个位置“预测的美味值”，还给出“这个预测到底可不可信”。预测均值 $\mu(x)$ 是估出的味道，不确定度 $\sigma^2(x)$ 是那团迷雾的浓度。

除高斯过程之外，TPE 模型是另一种画法。它不直接画整张地图，而是把已知点分成“表现好”和“表现差”两组，分别统计概率密度 $l(x)$ 和 $g(x)$，再用两个密度的比值判断哪里更可能出现好味道。TPE 在高维和混合类型的超参数空间中往往更灵活。两者都属于“代理模型”：用便宜的计算去近似那个昂贵的目标函数。

地图越画越准，每一次试吃都在修正迷雾。代理模型的价值，就是让下一顿饭不再靠运气。

采集函数：下一站去哪吃

地图画好了，但地图本身不会说话。下一步去哪家店，需要一条“美食猎人直觉”，这就是采集函数。常见的直觉有三种：期望提升 EI 会问“这家店比我当前最爱的店平均能好多少”；置信上界 UCB 会计算“预测美味值 + 冒险津贴”；概率提升 PI 只关心“超过当前最佳的可能性”，不在乎超过多少。

在贝叶斯优化里，采集函数把代理模型的均值和不确定性揉成一个分数。分数最高的位置，就是下一个最值得做真实评估的点。用 EI 来举例，它先看某个候选点是否可能超过当前最佳值，再看超出量有多大，最后按模型给出的概率分布求期望。这样既不是闷头找已知最好的店，也不是盲目探索。

采集函数就是美食猎人的第六感：它把地图上的预测和迷雾统一成一个方向，让你知道下一脚该往哪踩。

探索与利用：尝鲜还是回味

有了地图和直觉之后，猎人还要做一道选择题：去已经确定好吃的店再来一顿，还是去从未踏足的街道碰碰运气。前者叫“利用”，利用已知信息锁定眼前的收益；后者叫“探索”，用一次可能有风险的尝试换取更长远的收获。如果只利用，你会困在一个局部好吃的区域；如果只探索，预算很快花完却不一定吃到什么好味道。

贝叶斯优化把这道选择题揉进了采集函数里。以 UCB 为例，它给每个候选点算两个数：预测均值代表利用价值，不确定度代表探索潜力。用一个系数 $\kappa$ 把两者相加，$\kappa$ 越大，算法越愿意选择认识不足的区域；$\kappa$ 越小，算法越保守，更偏爱预测最好的区域。面对多个看起来都不错的多峰区域，不确定性会自动给冷门方向加分，避免你在一个小山头上自嗨。

最佳策略不是一味尝鲜，也不是反复回味，而是找到两者之间的甜蜜点。$\kappa$ 就是那个可调的火候。

迭代流程：吃一口，改一版地图

贝叶斯优化不是一个一次性公式，而是一套反复更新的流程。美食猎人先在几条街区随便吃几顿，形成最初的吃后感；然后根据这些体验画一张粗糙地图；接着用采集函数选出下一个最值得去的餐厅；真实吃一顿之后，把新口味补充进地图，让下一版地图更准确。这个循环不断重复，每一轮都在逼近真正最好的餐厅。

算法流程依次为：初始化采样、拟合代理模型、最大化采集函数选择新点、评估真实目标函数、更新历史数据集。每一步都很轻量，只有“真实评估”这一步是昂贵的。代理模型和采集函数负责用便宜的计算替代昂贵的试错，把每次试错的信息价值最大化。

每吃一口，地图就改一版；每改一版，下一口就更有方向。这种正反馈循环就是贝叶斯优化高效的核心。

应用优势：省下每一顿昂贵的饭

美食猎人的地图不是万能的。如果一顿饭只花一块钱，认真画地图反而有点小题大做；但如果一次训练要跑几小时，地图省下的预算就非常可观。贝叶斯优化最擅长的是“单次评估非常昂贵”的超参数调优场景：训练一个深度学习模型可能要花数小时 GPU，网格搜索可能在数十种组合里试错，而贝叶斯优化能用更少的尝试逼近同样好的性能。

在 AutoML 和神经架构搜索中，贝叶斯优化也是常用引擎。候选网络结构训练一次同样昂贵，代理模型负责猜测什么结构可能更好，采集函数负责从结构空间里挑出下一个候选。相比网格搜索和随机搜索，贝叶斯优化的样本效率更高，也就是“每一份预算带来的性能提升更大”。不过它也有前提：如果每次评估足够便宜，那么地图建模本身的成本可能超过收益。

贵的饭，才配得上精细的地图。贝叶斯优化不为省钱而省，而是用同样的预算，换取更有价值的每一次尝试。

AI 应用场景

Python 演示

import numpy as npfrom scipy.stats import norm  def objective(x):    # 真实且昂贵的评估函数    return -((x - 0.37) ** 2 + 0.2 * np.sin(8 * x))  class GaussianProcessRegressor:    def __init__(self, length_scale=0.2, noise=1e-4):        self.l = length_scale        self.noise = noise        self.X = np.empty((0, 1))        self.y = np.empty((0,))     def fit(self, X, y):        self.X = X        self.y = y.ravel()     def predict(self, X_test):        K = self._kernel(self.X, self.X) + self.noise * np.eye(len(self.X))        Ks = self._kernel(self.X, X_test)        Kss = self._kernel(X_test, X_test)        L = np.linalg.cholesky(K)        alpha = np.linalg.solve(L.T, np.linalg.solve(L, self.y))        mu = Ks.T @ alpha        v = np.linalg.solve(L, Ks)        var = np.diag(Kss) - np.sum(v * v, axis=0)        return mu, np.sqrt(var)     def _kernel(self, A, B):        sq = np.sum(A ** 2, axis=1)[:, None] + np.sum(B ** 2, axis=1)[None, :] - 2 * A @ B.T        return np.exp(-sq / (2 * self.l * self.l))  def expected_improvement(X, model, y_best):    mu, sigma = model.predict(X)    gamma = (mu - y_best) / sigma    return (mu - y_best) * norm.cdf(gamma) + sigma * norm.pdf(gamma)  if __name__ == "__main__":    x_grid = np.linspace(0, 1, 201).reshape(-1, 1)    X = np.array([[0.2], [0.6], [0.8]])    y = objective(X).ravel()    model = GaussianProcessRegressor()    for step in range(10):        model.fit(X, y)        ei = expected_improvement(x_grid, model, y.max())        x_next = x_grid[np.argmax(ei)]        y_next = objective(x_next)        X = np.vstack([X, x_next.reshape(1, -1)])        y = np.append(y, y_next)        print("step=%d x=%.4f y=%.4f" % (step, float(x_next), float(y_next)))

1. model.fit(X, y)用历史试吃记录更新寻味地图。
2. ei = expected_improvement(x_grid, model, y.max())计算每个候选点相对当前最佳表现的期望提升。
3. x_next = x_grid[np.argmax(ei)]找出 EI 最大的点作为下一顿的候选餐厅。
4. X = np.vstack([X, x_next.reshape(1, -1)])把新评估点加入历史数据，让地图越来越清晰。

常见误区

面试题