神经架构搜索NAS如何用于大模型设计

CH-06-07-024·约 19 分钟·机器学习·更新 2026-08-10

大刘是位年轻的建筑设计师。早年间，他主要接些乡村小别墅的活儿——屋子不大，结构简单，画几套图纸，让施工队照着盖，总能轻松控制预算和工期。可这两年，城市规划局找上门来，请他参与设计“智能CBD”——一座几百层的巨型楼群，里面塞满了服务器、复杂的管线和数不清的传感器。小别墅的设计经验，到了摩天大楼面前突然不够用了：层数太多、零件太多、组合太多，靠人手画图试错，几辈子都画不完。于是他开始研究“神经架构搜索”（NAS）——一种让计算机自己画图纸、自己验证、自己挑最优方案的方法。大刘发现，NAS 本来是给“小房子”搜结构的，如今正被搬到大模型这个“巨型工程”上：搜注意力怎么排、专家网络怎么路由、每层用多少位精度计算。这篇文章，就跟着大刘一起看看，NAS 到底如何在大模型设计里施展拳脚。

岗位关联

掌握 NAS 在大模型中的应用，是架构创新与效率优化方向算法工程师的核心竞争力——它能帮你从“手工调参”升级为“自动设计”，在算力预算内找到精度与效率的最佳平衡。

可视化演示
NAS演进之路
LLM搜索对象
搜索空间设计
搜索策略选型
算力代价控制
与剪枝蒸馏协同
落地实践案例
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

动态演示神经架构搜索NAS如何用于大的核心机制，通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

神经架构搜索NAS如何用于大：大模型架大模型架构搜索的必要性与挑战注意力机制变体搜索空间核心机制可视化神经架构搜索NAS如何用于大整体架构与关键组件

NAS演进之路

大刘刚入行时给村口盖小平房，图纸就一张，几根柱子几面墙。后来接城市住宅，户型变多，他开始用电脑辅助排列组合。如今面对智能 CBD，他终于明白：设计这件事，已经从“人画图”变成了“程序搜图”。NAS 的成长轨迹和他一模一样——先在小网络上证明自己，再被推向大模型的舞台。

2017 年前后，谷歌的研究者提出用强化学习搜索卷积网络单元（cell），在 CIFAR-10 这种小数据集上找到的结构，精度反而超过手工设计。这就是 NAS 的第一站：小模型、小数据集、单卡到几卡即可完成搜索。那时没人敢想，几年后 NAS 会被用来设计动辄千亿参数的大模型。

到了大模型时代，NAS 的搜索目标发生了三点变化：一是从搜“整个网络”变成搜“大模型的关键组件”（注意力变体、MoE 路由、混合精度配置）；二是评价一个候选不再只看精度，还要看推理延迟、显存占用、训练稳定性；三是搜索本身不能太贵——训练一个大模型的成本可能高达数百万美元，NAS 不能重复这种代价。于是 NAS 的定义，从“找精度最高的结构”扩展为“在预算约束下找综合收益最高的结构”。

换句话说，大刘现在不追求“最豪华的楼”，而是“预算内最合适的楼”。NAS 从盖小房子时代积累的这套“自动画图—自动打分—自动筛选”流程，正是大模型时代最稀缺的能力。

a^* = \arg\max_{a \in \mathcal{A}} \text{Acc}_{val}(a) \quad \text{s.t.} \quad \text{Cost}(a) \le B

这个公式是 NAS 的第一性原理：在选型手册 \mathcal{A} 中，选出验证精度最高、且成本不超过预算 B 的那个架构 a^*。

a\*最终选出的最优架构，相当于大刘从几十版图纸里挑出的“定稿”。
$a^*$
argmax“取最大者”运算，在所有满足条件的 a 里，找出让验证精度最大的那一个。
$\arg\max_{a \in \mathcal{A}}$
A（搜索空间）所有候选架构组成的集合，相当于图纸库里的全部可能方案。
$\mathcal{A}$
Acc_val(a)候选架构 a 在验证集上的精度，是打分员给图纸打的“宜居分”。
$\text{Acc}_{val}(a)$
约束 Cost(a) ≤ B开销约束，比如显存、延迟或训练预算，保证选出的方案“盖得起、住得起”。
$\text{Cost}(a) \le B$

LLM搜索对象

智能 CBD 的图纸不是一张，而是一整套：楼层用什么承重结构、电梯怎么分组、外墙用什么材料、每层布线用什么标准。大刘要逐项拍板——这就是 NAS 在大模型里的“搜索对象”。

造大模型和盖楼类似，基础结构已经有个“通用模板”——Transformer。但 Transformer 内部的每个零件都有多种替代方案，NAS 要做的，就是把“用哪种方案”这件事交给搜索算法决定。

具体来说，NAS 在 LLM 中主要搜四类东西。第一是注意力变体：标准注意力每个 token 都要关注所有 token，长序列下代价巨大，NAS 可搜“哪些 token 需要关注”的稀疏注意力模式、线性注意力近似等。第二是 MoE 路由：MoE 把模型拆成许多专家子网络，每个 token 只激活少数专家，NAS 搜索路由的 top-k 选择和专家分配。第三是混合精度配置：不同层用 FP32、FP16 还是 INT8，精度位数的组合本身就是一个巨大搜索空间。第四是规模配置：层数、宽度、头的数量等超参数协同搜索。

大刘把“电梯分组”的设计也交给了算法：平时写字楼人少，只需开少数电梯（稀疏激活），高峰再加开——MoE 路由就是那套“看人下菜碟”的电梯调度系统。NAS 搜的，正是这套系统最优的编排方式。

y = \sum_{i \in \text{TopK}(x)} g_i(x) \, E_i(x)

这是 MoE 前向传播的核心公式：一个 token 只召唤最对口的 k 个专家，各自处理后按权重叠加。

TopK(x)对输入 x 打分最高的 k 个专家的下标集合，相当于“只召唤最对口的 k 个施工队”。
$\text{TopK}(x)$
g_i(x)第 i 个专家的路由权重（打分），决定这个 token 分给该专家多少“活”。
$g_i(x)$
E_i(x)第 i 个专家网络对 x 的处理结果。
$E_i(x)$
加权求和把 k 个专家的输出按权重叠加，得到最终输出 y。
$\sum_{i \in \text{TopK}(x)}$

搜索空间设计

大刘有一本厚厚的《选型手册》，从钢筋型号到玻璃幕墙颜色，每一种都有二三十个选项。手册本身没有好坏，但手册太厚，翻起来费时费力；手册太薄，又可能漏掉最优解。搜索空间，就是 NAS 的《选型手册》。

搜索对象确定后，下一步是明确“候选架构的边界”——即搜索空间。它定义了 NAS 能在哪些结构之间自由组合，也划定了算力消耗的上限。

LLM 的搜索空间通常分两类。宏搜索空间关注全局配置，如层数、宽度、注意力类型、MoE 专家数量，候选数量级在千到百万之间；微搜索空间关注每个基础块内部细节，如每个 Transformer 块内的 FFN 维度、激活函数、精度选择。设计时还要植入先验知识——比如已知的标准注意力在短序列上效果好，就把它作为候选之一，避免搜索算法在无意义的区域浪费时间；同时要加入约束条件（显存、延迟），让空间里的任何一个候选都“可训练、可部署”。

手册太厚，大刘就请老师傅们圈几个重点章节（先验知识），再给每页盖上“预算章”（约束）。搜索空间设计得越好，NAS 越能“小步快跑”，而不是在废纸上浪费笔墨。

\mathcal{S} = \mathcal{S}_{depth} \times \mathcal{S}_{width} \times \mathcal{S}_{attn} \times \mathcal{S}_{prec}

总搜索空间等于四个维度选项的笛卡尔积，一个候选就是各维度取一个值组成的四元组。

S（总搜索空间）所有候选架构的集合，相当于合并后的《选型手册》。
$\mathcal{S}$
×（笛卡尔积）把各个维度的选项两两组合，比如“8 层 × 宽 128 × 稀疏注意力 × FP16”就是一个具体候选。
$\times$
S_depth 与 S_width层数、宽度的可选值集合，对应楼体的“高矮胖瘦”。
$\mathcal{S}_{depth}, \mathcal{S}_{width}$
S_attn 与 S_prec注意力变体与精度配置的可选集合，对应“结构方案”与“材料标准”。
$\mathcal{S}_{attn}, \mathcal{S}_{prec}$

搜索策略选型

手册有了，怎么从中找最优方案？大刘试过三种工作方式：第一种，请一位经验老到的总建筑师，他每看到一版图纸就给出改进方向（强化学习）；第二种，发动一群实习生每人画几版，互相借鉴、优胜劣汰（进化算法）；第三种，把“好不好”写成数学函数，直接求导算出最优解（梯度方法）。

搜索策略是 NAS 的“决策引擎”，决定下一个候选架构从哪来。三类主流方法各有各的脾气。

强化学习（RL）：把“生成架构”建模为策略 π_θ 输出架构序列的概率，用验证精度作为奖励做策略梯度更新——就像总建筑师边看边学，越指越准。进化算法：维护一个候选种群，通过变异、交叉产生新个体，按适应度淘汰弱者，天然适合并行，在 LLM 这种“评估一次很贵”的场景下能有效利用算力。梯度方法：把离散的架构选择“松弛”成连续权重（如 DARTS），用梯度上升直接优化架构参数，理论上最省评估次数，但在大模型上容易显存爆炸、排序不稳，一般用于“局部微调”而非全局搜索。

三种方式没有绝对优劣：老法师（RL）在小搜索空间里效率惊人，实习生群体（进化）在并行机器上更稳，数学推导（梯度）则是“最后一公里”微调的好帮手。大刘的工地要选哪种，取决于有多少人手和多少时间。

J(\theta) = \mathbb{E}_{a \sim \pi_\theta(a)} [ R(a) ]

强化学习做 NAS 的目标函数：让策略网络输出的架构，在平均意义下拿到最高的奖励。

J(θ)策略的目标函数，衡量策略 π_θ 的整体表现，相当于总建筑师的“业绩考核分”。
$J(\theta)$
π_θ(a)参数为 θ 的策略网络输出的架构概率分布。
$\pi_\theta(a)$
a ~ π_θ(a)从该分布中采样一个候选架构，即“按概率画一版图纸”。
$a \sim \pi_\theta(a)$
R(a)候选架构的奖励，通常由验证精度和算力代价综合得到。
$R(a)$
期望 E所有可能采样结果的加权平均——好策略的平均业绩高。
$\mathbb{E}[\cdot]$

算力代价控制

每评估一版图纸都要真刀真枪盖一栋楼来试住，谁也耗不起。大刘想了个办法：先搭“缩微沙盘”看大概效果，再让几栋楼“共用一套地基和管线”来分摊成本，还规定每版图纸最多试住两周，不行就毙掉。

NAS 在大模型上的最大敌人是算力。训练一个候选大模型可能花费数百万美元，必须用工程手段把评估成本压下来。

常用手段有四类。权重共享（one-shot）：先训练一个包含所有候选的超级网络（supernet），候选架构只是从中取一条子路径，微调即可获得近似精度，成本从“完整训练”降到“几次前向+少量微调”。代理模型：用一个小型预测器 f̂ 拟合“架构→精度”的映射，先预测后排精训，把上万次评估压缩到几百次。早停机制：训练若干步后精度仍不达标的候选直接淘汰。渐进式搜索：先搜浅层结构再逐步加深，让小成本搜索先锁定大方向。

沙盘、共享地基、试住期限——这套“花小钱办大事”的打法，让大刘敢于面对动辄千亿参数的大工程。NAS 能搬进大模型领域，靠的正是算力控制这套“精打细算”。

\mathcal{L}_{sur} = \frac{1}{N}\sum_{i=1}^{N} \left( \hat{f}(a_i) - \text{Acc}_{val}(a_i) \right)^2

代理模型的训练损失：让“沙盘预测”尽可能逼近“真实入住成绩”，误差越大惩罚越重。

L_sur代理模型的训练损失，衡量预测值和真实值差多远，相当于沙盘的“仿真误差”。
$\mathcal{L}_{sur}$
f̂(a_i)代理模型对候选 a_i 预测的精度。
$\hat{f}(a_i)$
Acc_val(a_i)候选真实训练后得到的验证精度，是“实楼入住”的成绩。
$\text{Acc}_{val}(a_i)$
平方与平均对差异取平方再求平均，误差越大惩罚越重。
$\frac{1}{N}\sum_{i=1}^{N}(\cdot)^2$

与剪枝蒸馏协同

智能 CBD 盖到一半，预算吃紧，大刘发现有些承重墙根本不受力，有些楼层功能重复。他决定：设计阶段就用 NAS 预留“可拆改”结构，完工后再剪掉冗余（剪枝），让原大楼“收徒”培养一栋简化小楼（蒸馏）。

NAS 不是孤军奋战。在大模型落地时，它常和两种经典优化手段配合：剪枝和知识蒸馏。

剪枝负责“瘦身”：把权重接近零的神经元、不重要的注意力头、冗余层删除，得到稀疏或低秩结构。蒸馏负责“传承”：让大模型（教师）的软输出指导小模型（学生）训练，小模型学到的不仅是正确答案，还有大模型的判断方式和暗知识。NAS 和它们的协同在于：NAS 搜索时可以显式加入“可剪性”正则，让搜出的结构天然容易剪；也可以用 NAS 找出最优的蒸馏中间层对齐方式。三者联合，达到“结构更好、模型更小、知识不丢”。

大刘的体会是：剪枝是“拆卸”，蒸馏是“带徒”，而 NAS 是“在设计图纸时就想到以后怎么拆、怎么带”。三者各管一段，合力才能让大模型真正落地。

\mathcal{L} = \alpha \, \text{CE}(f_s, y) + (1-\alpha) \, \text{KL}(f_s, f_t)

蒸馏总损失：一部分让学生学标准答案，一部分让学生学老师的思路，两者按 α 配比。

CE(f_s, y)学生模型的预测与真实标签的交叉熵，是常规的“标准答案损失”。
$\text{CE}(f_s, y)$
KL(f_s, f_t)学生与教师输出分布的 KL 散度，衡量“学生思路和老师有多像”。
$\text{KL}(f_s, f_t)$
α两部分损失的权重系数，控制“学标准答案”和“学老师思路”的配比。
$\alpha$
加权求和 L总训练损失，两者互补，缺一不可。
$\mathcal{L}$

落地实践案例

大刘最得意的项目，是给一家互联网大厂设计的“端侧智能楼”：楼不能大，造价要低，但功能不能缩水。他把 NAS、剪枝、蒸馏全套搬上工地，交出了一份漂亮的成绩单。

把目光放回现实，NAS 已经在多条赛道上服务大模型设计——从云端训练到端侧部署，从结构创新到精度配置。

典型落地场景包括：为长文本模型搜索稀疏注意力模式，实现同等精度下把注意力计算量降一个数量级；为 MoE 大模型搜索每个 token 的专家激活组合，减少多卡通信开销；为端侧小模型搜混合精度配置和紧凑深度宽度，让几十亿参数模型跑进手机和边缘设备。评估指标从“唯一精度”变成综合收益：推理速度提升倍数、显存下降比例、以及任务精度的保持率。

只有 ROI 为正，大刘才会在项目验收单上签字。NAS 在大模型时代的价值，不是“炫技”，而是实打实地把每块 GPU、每瓦电、每毫秒延迟都花在刀刃上。

\text{ROI} = \frac{\Delta \text{Acc}}{\Delta \text{Cost}}

投入产出比公式：NAS 项目值不值，看“每多花一分算力，能换回多少精度收益”。

ROI（投入产出比）衡量一次 NAS 投入值不值，相当于大刘给项目算的“费效比”。
$\text{ROI}$
ΔAcc搜索后相比手工基线提升的精度（或保持的精度）。
$\Delta \text{Acc}$
ΔCost搜索与部署带来的额外算力或成本变化，单位可以是 GPU 时、美元或瓦时。
$\Delta \text{Cost}$

AI 应用场景

大模型推理成本优化工程师

阶段：模型压缩与部署优化

解决的问题：云端 70B 级大模型推理成本高昂，传统做法是人工试注意力变体和精度组合，试错慢且依赖经验，难以覆盖巨大组合空间。用 NAS 搜索“稀疏注意力 + 逐层精度”的配置，在精度几乎不变的前提下显著降低显存与延迟。

具体案例：某公司用 NAS 为长文本模型搜索稀疏注意力模式（保留关键 token 的全局注意力，其余用局部注意力），配合 INT8 混合精度配置，在长文档问答任务上推理吞吐提升约 2 倍，显存占用下降约 40%，精度损失控制在 0.5% 以内。

MoE 大模型路由设计研究员

阶段：模型架构创新

解决的问题：MoE 模型专家数量庞大，路由策略（top-k 选择、专家负载均衡）直接影响训练收敛和推理通信开销。手工设计路由难兼顾“效果”与“均衡”，NAS 可把路由配置纳入搜索空间，自动寻找每层最优的专家激活方案。

具体案例：某基础模型团队把 MoE 的路由 top-k 数值和辅助损失权重纳入 NAS 搜索空间，用进化策略在百卡集群上并行评估，找到的配置相比人工默认设置在相同稀疏度下困惑度更低，且多卡通信量减少约 25%。

端侧大模型部署工程师

阶段：端侧压缩与适配

解决的问题：几十亿参数模型要跑进手机和边缘设备，内存和功耗都是硬约束。NAS 联合剪枝与蒸馏，搜索“紧凑深度宽度 + 混合精度”的架构，让模型在端侧硬件上“刚刚好”运行。

具体案例：某团队在 7B 模型基础上，先用 NAS 搜出可剪枝友好的结构，再结合蒸馏训练出 3B 级学生模型，最终在手机芯片上达到实时推理，端侧任务精度相比直接剪枝方案高 3 个百分点。

Python 演示

python64 行

import random # 候选架构: [depth, width, use_attention, precision_level]# precision_level: 0=FP32, 1=FP16, 2=INT8 SEARCH_SPACE = {    "depth": [2, 4, 6, 8],    "width": [64, 128, 256, 512],    "attention": [0, 1],    "precision": [0, 1, 2],} def toy_val_acc(code):    depth, width, attn, prec = code    acc = 0.55 + 0.003 * width + 0.14 * attn - 0.004 * depth + 0.02 * prec    if prec == 2 and depth >= 6:        acc += 0.03    return max(0.0, min(0.98, acc)) def latency_cost(code):    depth, width, attn, prec = code    base = depth * width * (1.0 if attn == 0 else 1.5)    if prec == 1:        base *= 0.6    elif prec == 2:        base *= 0.35    return base def mutate(code):    new = code[:]    k = random.choice(list(SEARCH_SPACE.keys()))    idx = ["depth", "width", "attention", "precision"].index(k)    new[idx] = random.choice(SEARCH_SPACE[k])    return new def crossover(a, b):    cut = random.randint(1, 3)    return a[:cut] + b[cut:] def evaluate(code, lam=0.02):    acc = toy_val_acc(code)    cost = latency_cost(code)    return acc - lam * cost / 100.0 def evolve(pop_size=20, generations=50, elite=4):    keys = ["depth", "width", "attention", "precision"]    pop = [[random.choice(SEARCH_SPACE[k]) for k in keys] for _ in range(pop_size)]    for gen in range(generations):        pop.sort(key=evaluate, reverse=True)        keep = pop[:elite]        while len(keep) < pop_size:            parent_a, parent_b = random.sample(pop[: pop_size // 2], 2)            child = crossover(parent_a, parent_b)            if random.random() < 0.4:                child = mutate(child)            keep.append(child)        pop = keep    pop.sort(key=evaluate, reverse=True)    return pop[0], toy_val_acc(pop[0]), latency_cost(pop[0]) if __name__ == "__main__":    best, acc, cost = evolve()    print("best architecture:", best)    print("val acc=%.3f, latency=%.1f" % (acc, cost))

目的：用进化算法在微型搜索空间里自动寻找“精度高、延迟低”的架构组合，直观演示 NAS 在大模型设计中的选型流程。

acc = 0.55 + 0.003 * width + 0.14 * attn - 0.004 * depth + 0.02 * prec模拟候选架构的验证精度：宽度和注意力带来收益，层数过多反而略降，INT8 精度略有红利。
base = depth * width * (1.0 if attn == 0 else 1.5)估算推理延迟：层数×宽度是主体，注意力机制让计算量再乘 1.5。
return acc - lam * cost / 100.0综合打分：精度减去按 λ 折算的算力代价，这就是搜索的“奖励函数 R(a)”。
pop.sort(key=evaluate, reverse=True)每代按适应度排序，优胜劣汰，对应进化算法的选择算子。
child = crossover(parent_a, parent_b)交叉操作：把两位“家长”架构的前半段和后半段拼成新候选。
if random.random() < 0.4: child = mutate(child)变异操作：以 40% 概率随机改动一个架构维度，保持种群多样性。

常见误区

误区“NAS 是给 CIFAR 那种小数据集搜卷积网络的，大模型结构都是工程师手工设计的，跟 NAS 没关系。”

正解NAS 已广泛用于大模型组件搜索：注意力变体、MoE 路由、混合精度配置等。区别在于搜索空间从“整个网络”缩小为“大模型的关键零件”，搜索成本靠权重共享、代理模型等手段控制，而不是“不能搜”。就像大刘从设计整栋小楼，变成设计摩天大楼的核心结构件。

为何常见：早期 NAS 论文都在小网络上刷榜，媒体传播也停留在“搜 CNN 单元”的叙事上，形成刻板印象。

误区“给 NAS 的选项越多，越有可能找到完美结构，所以搜索空间一定要做得大而全。”

正解空间越大，采样越稀疏、评估越贵，反而更难找到好解。好的搜索空间通常植入先验知识、加入约束，把范围缩到“大概率包含好结构”的区域内——如同给设计师圈定一本靠谱的户型手册，而不是让他漫无目的地翻完整个建材市场。

为何常见：直觉上“选择多总比少好”，忽略了搜索算法在巨大空间中采样效率急剧下降、算力爆炸的事实。

误区“NAS 就是强化学习，别的都是旁门左道。”

正解RL 只是策略之一。进化算法在并行场景下更稳健，梯度方法（如 DARTS）在微调场景更高效，业界常用“进化+代理模型”或“one-shot+梯度”的组合拳。就像设计楼不仅有老法师，也有实习生团队和数学计算，各有各的用武之地。

为何常见：NAS 开山之作用的是 RL，很多入门教程只讲这一条主线，造成"RL=NAS"的印象。

误区“supernet 训练一次，所有子网络白嫖权重，评估结果绝对可靠。”

正解子路径共享权重会互相干扰，导致排序噪声——预测的最优结构和真实最优结构可能不一致。工程上通常只把 one-shot 用于“粗筛”，再用少量精训或代理模型校准，就像沙盘测出的数据不能完全替代实楼入住体验。

为何常见：权重共享的成本优势太诱人，初学者容易把它当成免费午餐，忽略精度排序偏差。

误区“NAS 是搜索结构，剪枝是压缩模型，蒸馏是训练小模型，三者互不相干，只能选一条路走。”

正解三者完全可以联合使用，而且组合效果更佳。NAS 可以搜出“天然易剪”的结构，可以搜出最优的蒸馏对齐层；剪枝后的模型再用蒸馏恢复精度。这三者分别是“画图”“拆改”“带徒”，本就是一个工程流水线上的不同工序。

为何常见：多数资料把它们分开讲解，导致读者误以为它们是互相替代的方案，而非互补工具。

面试题

Q1. NAS 在 2017 年前后最早取得突破的场景是？

单选题 · easy

A.卷积网络单元搜索← 正确答案
B.大语言模型训练
C.文本数据增强
D.分布式通信优化

答案：A。NAS 的经典起点是在 CIFAR-10 等小数据集上搜索卷积网络单元（cell），精度超过手工设计。大语言模型是后来才被 NAS 关注的场景，文本增强与通信优化并不是 NAS 最初的主战场。

Q2. NAS 中“搜索空间”最准确的理解是？

单选题 · easy

A.候选网络结构的集合边界← 正确答案
B.硬盘的存储空间大小
C.训练数据的来源范围
D.显卡显存的剩余容量

答案：A。搜索空间是所有候选架构的集合，决定 NAS 能在哪些结构之间组合选择，相当于设计师的《选型手册》。存储空间、数据范围、显存容量都与“候选结构”无关。

Q3. 大模型场景下，NAS 最常搜索的注意力变体是？

单选题 · easy

A.稀疏与线性注意力变体← 正确答案
B.标准密集全注意力
C.基于卷积的注意力核
D.循环结构的注意力单元

答案：A。标准全注意力对长序列成本过高，因此 NAS 主要搜索稀疏注意力（哪些 token 要互相关注）和线性注意力近似等变体。标准全注意力是基线而非搜索目标，卷积与循环结构不是 Transformer 的主流注意力变体。

Q4. MoE 路由中 top-k gating 的作用是？

单选题 · mid

A.每个 token 只激活少数专家← 正确答案
B.让所有专家共同输出
C.固定路由权重保持不变
D.直接删除低效的注意力头

答案：A。top-k gating 对输入打分后只选前 k 个专家参与计算，实现稀疏激活，节省计算与通信开销。让所有专家都输出违背了 MoE 的稀疏设计；固定权重和删除注意力头都与路由机制无关。

Q5. 控制 NAS 算力代价的常用手段包括哪些？

多选题 · mid

A.权重共享的超级网络← 正确答案
B.代理模型预测精度← 正确答案
C.提前终止质量差的候选← 正确答案
D.增大完整训练的轮数

答案：ABC。权重共享让候选直接复用 supernet 参数，代理模型用预测代替完整训练，早停把低质量候选尽早淘汰——三者都是为了压缩评估成本。增大训练轮数只会让 NAS 更贵，方向正好相反。

Q6. 强化学习做 NAS 时，策略网络输出的核心是？

单选题 · mid

A.架构序列的采样概率← 正确答案
B.直接输出最终模型的损失
C.决定训练数据的批大小
D.预测显存的使用峰值

答案：A。RL 的策略网络把“生成架构”建模为序列决策，输出的是候选架构各部分的概率分布，再据此采样。损失值、批大小、显存预测都不属于策略网络的输出职责。

Q7. 关于进化算法做 NAS 的说法正确的是？

多选题 · mid

A.用变异与交叉生成新候选← 正确答案
B.种群按适应度优胜劣汰← 正确答案
C.完全不需要任何精度评估
D.天然适合并行化搜索探索← 正确答案

答案：ABD。进化算法的三要素正是变异、交叉与适应度选择，且种群内个体互相独立、天然可并行。它依然需要评估每个个体的精度来确定适应度，C 的说法错误。

Q8. 权重共享 one-shot 方法的主要代价是？

单选题 · hard

A.候选精度评估存在排序噪声← 正确答案
B.完全无法进行梯度回传
C.只支持卷积小网络结构
D.完全不需要训练超级网络

答案：A。one-shot 的子路径共享权重会互相干扰，导致预测精度排序与真实排序不一致，即排序噪声。supernet 训练本身就有梯度回传，也并非只支持卷积网络，说“不需要训练”更是因果颠倒。

Q9. 剪枝、蒸馏与 NAS 联合使用时，正确的关系是？

单选题 · hard

A.NAS 可让剪枝蒸馏更高效← 正确答案
B.三者互斥不可同时使用
C.蒸馏与 NAS 完全无关
D.剪枝只用于小模型压缩

答案：A。NAS 可搜索易剪结构或最优蒸馏对齐层，剪枝后的模型可再用蒸馏恢复精度，三者是互补工序而非互斥方案。蒸馏也可用于大模型间的知识传承，剪枝对大模型同样有效，B/C/D 均不成立。

Q10. 为大模型设计混合精度配置时，NAS 会考虑哪些因素？

多选题 · hard

A.不同层的精度位数组合方案← 正确答案
B.显存占用与推理延迟指标← 正确答案
C.端侧硬件的算子支持种类← 正确答案
D.训练数据的文本主题分类

答案：ABC。混合精度搜索的本质是为不同层选 FP16/INT8 等位数组合，并综合评估显存、延迟和算子兼容性。文本主题是训练数据的内容属性，与精度配置搜索无直接关系。