DARTS可微分NAS：架构搜索新范式

可视化演示

核心思想：让架构搜索可微

想象那位“智能设计师”拿到你的房子后，并不急着画最终图纸，而是先画一张“万能底稿”：墙可以是白色的也可以是灰色的，地板可以是木质的也可以是瓷砖的——每个选项都配一个旋钮，旋钮转到哪，风格就偏向哪。传统 NAS 是“建好一套样板间，住进去试，不行就拆”，而 DARTS 的核心思想是“让设计图本身可调、可微、可求导”，用梯度一步步拧旋钮，让最优风格自己浮出水面。

技术上，DARTS 的关键一步是连续松弛化：把“从离散候选操作集合里选一个”这个不可导的操作，替换为“对所有候选操作做加权求和”，权重由 softmax 产生。这样一来，网络结构就从离散变量变成了连续变量 \\(\alpha\\)，整个搜索过程就变成了对 \\(\alpha\\) 的连续优化。

为什么这一小步如此重要？因为离散优化通常只能靠枚举、进化、强化学习，样本效率极低；而连续优化可以直接利用深度学习的“老本行”——反向传播与梯度下降。DARTS 把架构搜索从“试错”变成了“求导”，搜索成本从数千 GPU 天降到几十 GPU 天，这正是它的“范式革命”所在。

回扣比喻：传统装修是“建样板间-试住-拆掉-重建”的暴力循环，而 DARTS 的“万能底稿+旋钮”让设计师能在图纸上直接调参。核心理念就是一句话：用连续可导的旋钮取代离散的选择，让建筑过程本身变成一场优雅的梯度下降。

连续松弛化技巧：给每个选项装一个旋钮

装修时，如果你不确定餐厅要铺木地板还是瓷砖，设计师会怎样做？他会在图纸上标一个“混合材质”区域：木地板占 60%，瓷砖占 40%，随着你不断调整偏好，这个比例会逐渐倒向最终选择。DARTS 的连续松弛化正是这个“混合比例”的数学版。

对于单元中连接节点 \\(i\\) 和节点 \\(j\\) 的边，传统方法是从候选操作集合 \\(\mathcal{O}\\)（如 3×3 卷积、5×5 卷积、最大池化、跳跃连接等）里硬选一个。DARTS 把这条边定义为所有候选操作的加权和：

其中 \\(\alpha_{o}^{(i,j)}\\) 是操作 \\(o\\) 在该边上的架构权重，softmax 把权重归一化成概率分布。训练初期，各操作权重接近均匀；训练后期，权重会“两极分化”，最强操作的概率趋近 1。

为什么用 softmax 而不是直接学比例？因为 softmax 的输出恒为正且和为 1，天然是合法的概率分布；而且它对 \\(\alpha\\) 可导，梯度可以从损失函数顺畅地流回每个 \\(\alpha\\)。这就好比每个旋钮都能被一只“无形的手”精准微调，而不是只能“开/关”两档。

回扣比喻：连续松弛化就是那张“万能底稿”上的混合材质层。它让设计师不必在初期就押注某一种风格，而是让所有风格公平竞争，用梯度温和地调大胜者的音量。这种“软决策”正是 DARTS 高效的精髓。

搜索空间设计：设计图的骨架与可选材料

任何设计师都需要一个“材料库”：地板有木、石、瓷砖，墙面有乳胶漆、壁纸、硅藻泥。DARTS 同样先定义了搜索空间的边界——它能搜什么、不能搜什么，完全由这个“材料库”决定。搜索空间设计是 DARTS 的“边界感”所在。

DARTS 的搜索空间以单元（Cell）为基本单位。一个单元是一个有向无环图（DAG），包含若干节点，每个节点代表一个潜在特征图（即网络中某层的输出）。节点之间的每条边绑定一个混合操作。搜索时，我们只搜索单元内部的结构；使用时，将搜索到的单元堆叠若干次，组成完整的大网络。这就像设计师设计一个“标准房间模块”，然后在整个房子里重复使用。

每次搜索默认包含 8 种候选操作：3×3 与 5×5 的可分离卷积、3×3 与 5×5 的空洞卷积、3×3 最大池化、3×3 平均池化、跳跃连接、零操作（即无边）。这种设计既保证了表达力，又控制了搜索空间规模。搜索空间的“词汇量”决定了架构的上限——如果材料库里没有大理石，设计师再怎么调旋钮也变不出大理石地面。

回扣比喻：搜索空间设计就像给设计师一份材料清单。清单决定了他能玩出什么花样，也划定了创意的边界。DARTS 的精妙，在于用“标准房间模块+有限材料库”的组合，在可控成本下搜索出高性能的“住宅图纸”。

梯度优化：双涡轮交替驱动的引擎

图纸有了、材料有了，接下来关键问题是：设计师和工人如何配合，才能高效地把房子盖好？DARTS 的答案是双层优化——工人（网络权重 \\(w\\)）和设计师（架构参数 \\(\alpha\\)）交替干活，像双涡轮增压一样互相推动。

具体来说，每次迭代分两步：第一步，固定当前 \\(\alpha\\)，在训练集上更新 \\(w\\)（工人按图纸施工）；第二步，固定当前 \\(w\\)，在验证集上更新 \\(\alpha\\)（设计师根据验收结果调整图纸）。两者交替进行，直到收敛。这种“训练-验证”交替，保证了 \\(\alpha\\) 的优化方向不是迎合训练集，而是真正提升泛化能力。

为了让优化更高效，DARTS 提出了一阶和二阶两种近似。一阶近似直接忽略 \\(w\\) 对 \\(\alpha\\) 的依赖，更新公式简单但略粗糙；二阶近似用链式法则额外补偿了 \\(w^{*}(\alpha)\\) 的导数项，更准确但计算更重。后者又被称为 DARTS+，是改进版的核心技巧之一。

回扣比喻：双层优化就像设计师与工人的双涡轮配合——工人按图施工，设计师按验收报告改图，循环往复。一阶近似是“施工到一半就验收”，二阶近似是“考虑工人后续行动再改图”，两者各有取舍，共同驱动搜索高效进行。

离散化与重训练：从软决策到硬结构

装修的最后阶段，设计师必须做决定：混合材质的旋钮最终停在哪一档？木地板 95%、瓷砖 5% 的话，现实中不可能真铺成 95/5 的混合地板——你必须二选一。DARTS 也一样：搜索完成后，要把“软混合”变成“硬结构”，这个过程叫做离散化（discretization）。

离散化的规则很直接：对每条边，用 \\(\arg\max\\) 选出权重最大的操作作为唯一操作，剪除其他所有候选操作。然后，用选出的离散结构重新从头训练整个网络。为什么需要重训？因为搜索阶段使用的是混合操作的“软网络”，其性能与真实部署的“硬网络”存在差距——就像样板间的混合材质灯光效果，和实际单一材质的效果并不完全一样。重训就是用最终确定的材料，把房子真正盖好。

回扣比喻：离散化与重训练，就是从“万能底稿”回归“施工蓝图”的过程。旋钮最终停在了唯一挡位，混合图层被替换成真实材料。搜索的全部努力，在这一刻凝结成一座看得见、摸得着的网络大厦。

实现技巧与局限：装修工程的雷区与优化

再优秀的设计师也有翻车的时候。DARTS 在实践中同样存在需要注意的“雷区”，以及针对这些雷区的改进技巧。了解它们，你才算真正掌握这套方法。

第一个雷区是搜索阶段的早停。DARTS 在小数据集（如 CIFAR-10）上搜索时，如果训练时间过长，\\(\alpha\\) 会严重过拟合搜索空间，导致最终离散化后的架构在真实场景中表现不佳。因此实际中常采用“搜索到一半就停”的策略，保留泛化能力更强的中间状态。第二个雷区是批大小敏感性。研究发现，搜索时使用的批大小如果与重训时不一致，架构排序会发生漂移——搜出来的冠军架构不是真正的冠军。DARTS+ 通过引入二阶近似和更多正则化手段缓解了这个问题。

第三个局限是搜索空间的表达力边界。DARTS 的单元结构固定、候选操作有限，这决定了它的性能天花板。如果材料库里没有 Transformer 这类模块，DARTS 永远搜不出 Transformer。后来研究者们正是通过扩充 \\(\mathcal{O}\\)、改变单元拓扑，将 DARTS 应用于更广阔的场景。理解这一点，你就明白了为什么“搜索空间设计”是 NAS 中最具战略意义的一环。

回扣比喻：装修工程的雷区，对应 DARTS 的“早停”“批大小”“搜索空间限制”三大要点。聪明的设计师会提前踩点、控制节奏、合理选材，最终在有限条件下交出最漂亮的答卷。这正是 DARTS 从论文走向工程实践的关键心法。

AI 应用场景

Python 演示

import numpy as np # 候选操作池: 0-恒等, 1-线性放大, 2-线性缩小, 3-置零OPS = ['identity', 'scale_up', 'scale_down', 'zero'] def apply_op(op_name, x):    if op_name == 'identity':        return x    if op_name == 'scale_up':        return x * 1.5    if op_name == 'scale_down':        return x * 0.5    return np.zeros_like(x)  # zero class Cell:    """一个简化 DARTS 单元: 2 个输入节点 -> 1 个输出节点"""     def __init__(self, n_ops=4):        self.n_ops = n_ops        self.alpha = np.zeros((2, n_ops))  # 2 条边 x 4 个操作        self.alpha_norm = np.ones((2, n_ops)) / n_ops        self.w = np.random.randn(n_ops) * 0.1  # 每个操作的权重     def _softmax(self, a):        e = np.exp(a - a.max())        return e / e.sum()     def forward(self, x0, x1):        """连续松弛化前向: 每条边输出=各操作加权和"""        self.alpha_norm[0] = self._softmax(self.alpha[0])        self.alpha_norm[1] = self._softmax(self.alpha[1])        out0 = sum(self.alpha_norm[0][i] * apply_op(OPS[i], x0)                   for i in range(self.n_ops))        out1 = sum(self.alpha_norm[1][i] * apply_op(OPS[i], x1)                   for i in range(self.n_ops))        return out0 + out1  # 输出节点 = 两输入之和     def update_alpha(self, g_alpha, lr=0.05):        """验证集梯度更新架构参数 alpha"""        self.alpha -= lr * g_alpha     def discretize(self):        """离散化: 每条边 argmax 选一个操作"""        chosen = [OPS[int(np.argmax(self.alpha[i]))] for i in range(2)]        return chosen # 模拟训练数据: 目标模式为 x -> x + 1def make_data(n=16):    x0 = np.random.randn(n)    x1 = np.random.randn(n)    y = (x0 + x1) + 1.0    return x0, x1, y if __name__ == '__main__':    np.random.seed(42)    cell = Cell()    x0, x1, y = make_data()     for epoch in range(200):        y_pred = cell.forward(x0, x1)        loss = np.mean((y_pred - y) ** 2)        # 简化梯度: 直接根据 loss 符号更新 alpha        g_alpha = np.sign(y_pred - y).reshape(2, 4) * 0.01        cell.update_alpha(g_alpha)         if epoch % 40 == 0:            print(f'epoch {epoch:3d}  loss={loss:.4f}')     arch = cell.discretize()    print('离散化架构:', arch)

1. import numpy as np引入数值计算库，用于向量运算。
2. self.alpha = np.zeros((2, n_ops))初始化架构参数，每条边对应 4 个候选操作的旋钮。
3. self.alpha_norm[0] = self._softmax(self.alpha[0])将原始 alpha 归一化为概率分布。
4. out0 = sum(self.alpha_norm[0][i] * apply_op(...))连续松弛化的核心：所有操作加权求和。
5. self.alpha -= lr * g_alpha用验证集梯度更新架构参数，这是“设计师”的调参动作。
6. chosen = [OPS[int(np.argmax(...))]]离散化：每条边选出权重最大的操作。
7. y_pred = cell.forward(x0, x1)前向传播，计算当前混合架构的输出。

常见误区

面试题