强化学习驱动的神经架构搜索

可视化演示

动态演示强化学习驱动的神经架构搜索的核心机制，通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

1. NAS概念动机

阿杰的烦恼是招牌菜三年没换。他也想创新，可每道新菜从选食材到调味全靠自己一道道试，又慢又费钱，折腾一个月只出两三个候选方案，还未必好吃。手工设计神经网络与此相似：专家凭经验选层数、选卷积核、选连接方式，调一次结构就要重新训练，每轮实验以天为单位。更关键的是，人的经验容易错过非直觉的优秀结构。

于是研究者想到把“试菜”自动化：神经架构搜索（Neural Architecture Search, NAS）在给定搜索空间里，让算法自动寻找验证精度尽可能高的网络结构。其中一种主流策略就是强化学习：训练一个“选菜助理”，把“生成结构”建模为决策序列，用“识别精度”当奖励，通过策略梯度不断修正决策。网络设计从“手艺人凭手感”变成“智能体按反馈迭代”。

数学上，NAS 的目标可以写成：

阿杰要的不是再出一道红烧牛肉，而是一套能不停地替他试新菜的“自动化研发流程”。RL-based NAS 正是这个流程：智能体在反馈循环中自动把“好吃”找出来，而不再靠厨师的灵光一现。

2. 搜索空间设计

助理既然要研发，就得知道冷藏柜里到底有什么。太窄的柜子（只有牛肉和土豆）翻不出新意；太乱的柜子（几百种稀有食材）反而让助理无从下手。搜索空间之于 NAS，就是这份“食材清单”。强化学习控制器只能在清单内写菜谱，不可能凭空发明清单外的东西，因此搜索空间直接决定了搜索的上限。

一个典型的搜索空间把网络定义为一串决策：第 1 层用什么操作，第 2 层用什么……每层的可选操作构成候选操作集合 $\mathcal{O}$。常见的 $\mathcal{O}$ 包括普通卷积、深度可分离卷积、池化、全连接、跳跃连接等。把“每层一个选择”拼起来，一个架构就是长度为 $T$ 的选择序列。

所以工程上要先做“减法”：限制层数上限、去掉几乎不可能用的操作，让智能体在合理范围内自由发挥。空间大小是智能体的天花板，但也是它效率的边界——太宽阔反而让探索失去方向。

3. 策略控制器

有了食材柜，助理还得有点“偏好”：今天更倾向用鸡肉还是豆腐？这种偏好不是死规矩，而是概率分布——七成想用鸡肉、三成想用豆腐。在强化学习中，这个会输出概率的“选菜大脑”就叫策略，参数化后写作 $\pi_\theta$。

经典实现是用一个 LSTM（长短期记忆网络）作为控制器。它像助理点菜一样，先吐出第 1 步的选择 token，再基于已选内容吐出第 2 步，一步步把整份菜谱写完。由于每一步都依赖前面所有步骤，整份菜谱的概率等于所有步骤概率的连乘：

助理的“口味”并不是天赋，而是由参数 $\theta$ 控制的、可调整的偏好分布——这正是后面策略梯度要反复修正的对象。

4. 奖励函数设计

菜谱写出来，后厨照做，端给品鉴团试吃。品鉴团在 NAS 里就是验证集：把子网络在训练集上训练若干轮后放到验证集上算准确率。这个准确率就是“食客打分”，是控制器学习的唯一依据，称为奖励 $R(a)$。

但只打好评分，助理可能学坏：为了提分点最贵的进口食材，做出一道“米其林价格、食堂味道”的菜。对应到网络就是疯狂堆参数、FLOPs 巨大，精度涨一点，模型却大到手机装不下。因此奖励函数通常要加“开销惩罚”项：

在真实项目里，工程师常把设备实测延迟也写进 $\mathrm{Cost}$，让控制器自己权衡“这道菜值不值这个价”。奖励设计直接塑造智能体的价值观——它说什么是好，智能体就朝什么方向优化。

5. 策略梯度更新

助理每周复盘：发现上周高分菜谱有个共同点——“用鸡肉配蒜蓉的菜普遍受欢迎”，于是把偏好往“鸡肉+蒜蓉”方向挪一点；低分组合则降低偏好。这个“按分数调偏好”的数学工具就是策略梯度，具体算法常用 REINFORCE。

设目标函数为期望奖励 $J(\theta)=\mathbb{E}_{a\sim\pi_\theta}[R(a)]$。直接求期望的最大值很困难，但 REINFORCE 给出一个巧妙结论：期望奖励的梯度可以写成“奖励 × 对数概率梯度”在采样分布下的期望：

拿到梯度后，用学习率 $\alpha$ 更新参数：

这就是“助理越学越聪明”的本质：每次复盘都把偏好向高分区域移动一点，多个回合后，高奖励架构被采样的概率越来越高。

6. 搜索闭环系统

单回合的“写菜谱→试做→打分→调整→再写”不算完，真正有用的研发是持续转动的闭环。控制器参数越转越准，采样出的架构平均精度一轮比一轮高。整个系统像一台自动运转的“研发厨房”。

闭环里的关键技巧是基线（baseline）：不拿绝对分数当标准，而是跟“历史平均分”比。某道菜打 70 分很诱人，可如果本周平均分就有 75 分，那它其实是低于平均的表现；反过来，一道只有 60 分的菜，若平均分才 50 分，就值得提高它的偏好。减掉基线后梯度公式变为：

除了减方差，工程上还会并行采样：一次开多个灶台同时试做多道菜，用计算资源换墙钟时间，让闭环转得更快。对阿杰来说，多灶并行意味着同一个晚上能试完一整个系列的菜谱。

7. 优化与挑战

梦想很美，现实是冰箱有限、炉灶很贵。RL-based NAS 最大的挑战是计算开销：每做一个候选架构，就要训练一个子网络，一轮搜几十个架构，相当于把原始训练成本放大几十倍。研究者想出了几招“省火”技巧。

第一，代理任务：不在完整大数据集上训练子网络，而是用一个小得多的代理数据集，或显著减少训练轮数，先快速为所有候选排序，最后再让优胜者到完整数据上精训。第二，熵正则：防止助理口味越来越固执——一旦口味固化就再也不尝试新组合，可能错过更优搭配。在目标函数中加入策略熵作为奖励项：

第三，把 FLOPs、延迟直接写进奖励（第 4 节的 $\mathrm{Cost}$ 项），让控制器自己权衡性价比。即便有这些技巧，单次搜索仍可能消耗高昂的 GPU 费用。阿杰的金牌菜最终端上了桌，但新菜谱总有同行模仿、新顾客总有新口味——好的搜索算法，永远在路上。

AI 应用场景

Python 演示

"""极简强化学习NAS：策略梯度搜索最优两层MLP架构。"""import numpy as np rng = np.random.default_rng(42)N = 500X = rng.normal(size=(N, 4))y = ((X[:, 0] > 0) ^ (X[:, 1] > 0)).astype(float)  def sigmoid(z):    return 1.0 / (1.0 + np.exp(-z))  def train_child(arch, epochs=60, lr=0.5):    """训练子网络并返回验证准确率。arch=(隐藏单元数, 激活函数名)"""    hidden, act = arch    W1 = rng.normal(0, 0.5, size=(4, hidden))    b1 = np.zeros(hidden)    W2 = rng.normal(0, 0.5, size=(hidden, 1))    b2 = 0.0    for _ in range(epochs):        z1 = X @ W1 + b1        h1 = np.maximum(z1, 0.0) if act == "relu" else np.tanh(z1)        p = sigmoid(h1 @ W2 + b2).ravel()        grad = (p - y) / N        d_h1 = (grad[:, None] @ W2.T) * ((z1 > 0) if act == "relu" else 1 - h1 * h1)        W2 -= lr * h1.T @ grad[:, None]        b2 -= lr * grad.sum()        W1 -= lr * X.T @ d_h1        b1 -= lr * d_h1.sum(axis=0)    prob = sigmoid(h1 @ W2 + b2).ravel()    return float(((prob > 0.5) == y).mean())  HIDDEN = [4, 8, 16]ACTS = ["relu", "tanh"]LOGITS = [np.zeros(3), np.zeros(2)]ALPHA = 0.5  def softmax(z):    e = np.exp(z - z.max())    return e / e.sum()  def sample_arch():    arch, idxs, dists = [], [], []    for k, cand in enumerate([HIDDEN, ACTS]):        dists.append(softmax(LOGITS[k]))        idx = rng.choice(len(cand), p=dists[-1])        idxs.append(idx)        arch.append(cand[idx])    return arch, idxs, dists  def reinforce_search(rounds=10, batch=6):    for t in range(rounds):        records = []        for _ in range(batch):            arch, idxs, dists = sample_arch()            reward = train_child(arch)            records.append((reward, arch, idxs, dists))        baseline = np.mean([r for r, _, _, _ in records])        for reward, _, idxs, dists in records:            for i in range(2):                one_hot = np.eye(len(dists[i]))[idxs[i]]                LOGITS[i] += ALPHA * (reward - baseline) * (one_hot - dists[i])        best = max(records, key=lambda x: x[0])        print("round", t, "best acc %.3f" % best[0], "arch", best[1],              "baseline %.3f" % baseline)  if __name__ == "__main__":    reinforce_search()

1. def train_child(arch, epochs=60, lr=0.5):训练一个子网络并返回验证准确率，扮演“后厨试做打分”。
2. d_h1 = (grad[:, None] @ W2.T) * ((z1 > 0) if act == "relu" else 1 - h1 * h1)手动计算隐藏层的反传梯度，激活函数按 arch 动态选择。
3. LOGITS = [np.zeros(3), np.zeros(2)]控制器的可学习参数，对应“选材偏好”：第一维管隐藏单元候选，第二维管激活候选。
4. dists.append(softmax(LOGITS[k]))把每维的 logit 软化为概率分布，控制器按此概率采样架构。
5. reward = train_child(arch)获得奖励：验证集上“食客打分”。
6. LOGITS[i] += ALPHA * (reward - baseline) * (one_hot - dists[i])策略梯度更新：高于基线则提高该选项被选中的概率。

常见误区

面试题